特表 2024-531878 衣服の仮想試着のためのアバターの改良された生成のためのシステム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-09-03

(54)【発明の名称】衣服の仮想試着のためのアバターの改良された生成のためのシステム及び方法

(51)【国際特許分類】

   G06T 19/20 20110101AFI20240827BHJP

   A41H 43/00 20060101ALI20240827BHJP

   A41H 5/00 20060101ALI20240827BHJP

   G06N 3/04 20230101ALI20240827BHJP

   G06N 3/0464 20230101ALI20240827BHJP

【ＦＩ】

G06T19/20

A41H43/00

A41H5/00 Z

G06N3/04 100

G06N3/0464

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2024503919

(86)(22)【出願日】2022-07-19

(85)【翻訳文提出日】2024-03-14

(86)【国際出願番号】 US2022037542

(87)【国際公開番号】W WO2023003843

(87)【国際公開日】2023-01-26

(31)【優先権主張番号】17/380,761

(32)【優先日】2021-07-20

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＭｙＳＱＬ

２．ＢＬＵＥＴＯＯＴＨ

(71)【出願人】

【識別番号】524027824

【氏名又は名称】ダナ・インコーポレイテッド

(74)【代理人】

【識別番号】110001737

【氏名又は名称】弁理士法人スズエ国際特許事務所

(72)【発明者】

【氏名】ダナ、インドラ、シャミニ

(72)【発明者】

【氏名】ラオ、ギーラパトゥル、スブラマンヤ・ヴェンカタ・ラドハ・クリシュナ

(72)【発明者】

【氏名】ヴェムラ、ディネシュ、レディー

【テーマコード（参考）】

5B050

【Ｆターム（参考）】

5B050BA08

5B050BA09

5B050BA12

5B050BA13

5B050CA07

5B050DA04

5B050EA05

5B050EA12

5B050FA05

5B050FA10

(57)【要約】

衣服ｓの仮想試着のための３Ｄアバターの改良された生成のためのシステム及び方法が提供される。第１のユーザタイプからの入力ｓは、第１の入力ユニットを介して、グラフィカルフォーマットで１つ以上の衣服タイプを生成するために受信される。更に、第２のユーザタイプの３Ｄアバターが、第２の入力ユニットを介してそれぞれ受信された第１の入力タイプ又は第２の入力タイプを取り込むことに基づいて、半自動方式又は自動方式で生成される。第１の入力タイプは、第２のユーザタイプの身体仕様の測定値ｓを含み、第２の入力タイプは、第２のユーザタイプの身体画像を含む。更に、生成された衣服ｓは、仮想試着動作を実行するために、第２のユーザタイプの生成された３Ｄアバター上にレンダリングされる。
【選択図】図１

【特許請求の範囲】

【請求項1】

衣服の仮想試着のための３Ｄアバターの改良された生成のためのシステムであって、前記システムは、
プログラム命令を記憶するメモリと、
前記メモリに記憶された前記命令を実行するプロセッサと、
前記プロセッサによって実行されるアバター生成エンジンと、を備え、前記アバター生成エンジンは、
グラフィカルフォーマットで１つ以上の衣服タイプを生成するために、第１の入力ユニットを介して、第１のユーザタイプから入力を受信することと、
第２の入力ユニットを介してそれぞれ受信された第１の入力タイプ又は第２の入力タイプを取り込むことに基づいて、半自動方式又は自動方式で第２のユーザタイプの３Ｄアバターを生成することであって、前記第１の入力タイプは、前記第２のユーザタイプの身体仕様の測定値を含み、前記第２の入力タイプは、前記第２のユーザタイプの身体画像を含む、ことと、
仮想試着動作を実行するために、前記第２のユーザタイプの前記生成された３Ｄアバター上に前記生成された衣服をレンダリングすることと、を行うように構成されている、システム。

【請求項2】

前記アバター生成エンジンは、前記プロセッサによって実行され、前記第１のユーザタイプから受信された前記入力を処理し、前記グラフィカルフォーマットで前記１つ以上の衣服タイプを生成するための畳み込みニューラルネットワーク（ＣＮＮ）を備える機械学習及び深層学習技術を適用するように構成された衣服生成ユニットを備える、請求項１に記載のシステム。

【請求項3】

前記衣服生成ユニットは、前記第１のユーザタイプからの前記受信された入力及び前記生成された１つ以上の衣服タイプをデータ構造フォーマットで記憶するためのデータベースと通信するように構成され、前記データベースに記憶された前記生成された衣服タイプは、編集されることが可能であり、前記編集は、衣服タイプ構成要素の測定値の変更、衣服タイプ構成要素の材料の変更、及び前記衣服タイプの設計の微調整を含む、請求項２に記載のシステム。

【請求項4】

前記アバター生成エンジンは、前記プロセッサによって実行されるアバター生成ユニットを含み、前記第２の入力ユニットを介して前記第１の入力タイプ及び前記第２の入力タイプを取り込むために前記第２の入力ユニット上に対話型ウェブアプリケーションをレンダリングするように構成され、前記アバター生成ユニットは、前記第１の入力タイプ及び前記第２の入力タイプを取り込むための要求を前記第２のユーザタイプに送信するために前記第２の入力ユニット上に前記対話型ウェブアプリケーションをレンダリングするように構成されている、請求項１に記載のシステム。

【請求項5】

前記第２のユーザタイプの前記アバターは、オフラインモードで、前記半自動方式で生成される、請求項１に記載のシステム。

【請求項6】

前記第２のユーザタイプの前記身体仕様の前記測定値は、胸部サイズ、バストサイズ、ウエストサイズ、ヒップサイズ、身長、腕の長さ、及び股下の長さを含む、請求項１に記載のシステム。

【請求項7】

前記取り込まれた第１の入力タイプは、３Ｄオブジェクト管理アプリケーションプログラミングインターフェース（ＡＰＩ）を使用して前記第２の入力ユニットによって前記アバター生成ユニットに送信される、請求項４に記載のシステム。

【請求項8】

第２のユーザタイプの前記３Ｄアバターの前記半自動方式における前記生成は、
前記第２の入力ユニットから前記第１の入力タイプを受信した後に、予め記憶された１つ以上の３Ｄ身体構成要素モデルをフェッチするためにデータベースを呼び出すステップであって、前記身体構成要素モデルは、３Ｄ身体スキャン技術を使用して予め生成され、前記データベースに予め記憶され、前記身体構成要素モデルは、頭部モデル、上半身モデル、下半身モデル、及び腕モデルの組み合わせを含む、ステップと、
前記受信された第１の入力タイプを、前記フェッチされた身体構成要素モデルとともに、第１の要求の形態で前記アバター生成エンジンのセロリノードユニットに送信するステップであって、前記第１の要求は、前記セロリノードユニットに非同期的に送信される、ステップと、
前記第２のユーザタイプの前記３Ｄアバターを生成するための前記第１の入力タイプに基づいて、少なくともブレンダー技術を採用することによって、前記セロリノードユニットによって、前記受信された身体構成要素モデルを互いにスティッチングするステップであって、前記セロリノードユニットは、少なくともノード１、ノード２、又はノード３を使用して、前記受信された身体構成要素モデルを互いにスティッチングする、ステップと、
前記３Ｄアバターの前記生成を開始するためのオフライン通知を前記第２のユーザタイプに送信するステップであって、前記第２のユーザタイプの前記生成された３Ｄアバターは、修正可能である、ステップと、を含む、請求項１に記載のシステム。

【請求項9】

前記アバター生成エンジンは、前記プロセッサによって実行され、少なくともデジタル画像処理技術及び深層学習技術を適用することに基づいて、前記第２のユーザタイプの前記３Ｄアバターを自動方式で生成するように構成されたアバター生成ユニットを備え、前記第２のユーザタイプの前記３Ｄアバターは、オンラインモード及びリアルタイムで前記自動方式で生成される、請求項１に記載のシステム。

【請求項10】

前記第２のユーザタイプの前記身体画像は、前記第２の入力ユニット上に存在するカメラから取り込まれ、前記第２のユーザタイプは、前記第２の入力ユニット上に存在する前記カメラを介して、前記第２の入力タイプを取り込むために前記第２の入力ユニット上にインストールされた対話型ウェブアプリケーションを使用して異なる角度から全身スキャンを開始する、請求項１に記載のシステム。

【請求項11】

前記全身スキャンは、前記第２のユーザタイプの前記１つ以上の身体画像を２Ｄフォーマットで取り込み、前記取り込まれた１つ以上の身体画像は、前記第２のユーザタイプの直線ポーズ画像、側面ポーズ画像、及び顔画像を含み、前記直線ポーズ画像は、前記第２のユーザタイプの正面ポーズ画像及び背面ポーズ画像を含み、前記側面ポーズ画像は、前記第２のユーザタイプの右側面ポーズ画像及び左側面ポーズ画像を含む、請求項１０に記載のシステム。

【請求項12】

前記アバター生成ユニットは、前記第２の入力タイプに関連付けられた前記第２のユーザタイプの１つ以上の身体測定値を計算するために身体測定値アプリケーションプログラミングインターフェース（ＡＰＩ）を採用することに基づいて、前記第２の入力ユニットから前記第２の入力タイプを受信するように構成され、前記アバター生成ユニットは、前記第２のユーザタイプの前記１つ以上の身体測定値を計算するために、前記第２のユーザタイプの前記第２の入力タイプに対して前記デジタル画像処理技術及び前記深層学習技術を適用するように構成されている、請求項９に記載のシステム。

【請求項13】

前記アバター生成ユニットによって適用される前記深層学習技術は、畳み込みネットワーク（ＣＮＮ）技術、グラフニューラルネットワーク技術、及びカプセルニューラルネットワーク技術を含み、前記アバター生成ユニットは、前記第２のユーザタイプの前記身体測定値を計算するために前記第２の入力タイプに対して前記深層学習技術を並列に適用するように構成されている、請求項１２に記載のシステム。

【請求項14】

前記アバター生成ユニットは、前記第２のユーザタイプの前記身体測定値の前記計算の前に、前記深層学習技術を適用することによって訓練され、前記アバター生成ユニットの前記訓練は、前記第２のユーザタイプの身体画像と相関される前記第２のユーザタイプの複数の身体測定値に関連するサンプルセットを含む複数のデータセットを使用して実行され、前記身体画像は、少なくとも前記第２の入力ユニット上の前記カメラを使用して、前記第２のユーザタイプを含むビデオクリップから取り込まれ、前記身体画像は、少なくともカラー画像、グレースケール画像、及び前記第２のユーザタイプの異なる皮膚タイプの画像である、請求項１２に記載のシステム。

【請求項15】

前記アバター生成エンジンのアバター生成ユニットによる第２のユーザタイプの前記３Ｄアバターの前記自動方式における前記生成は、
前記第２のユーザタイプの身体測定値を計算するために、前記第２の入力タイプに対して前記深層学習技術を並列に実装することによってセグメント化動作を実行するステップであって、前記セグメント化動作は、
第１のマスク画像の形態でデンスポーズ画像を決定することであって、前記デンスポーズ画像は、前記第２の入力タイプにおいて前記人体全体を検出及び識別するために使用される、ことと、
前記身体領域を決定するために、前記第２の入力タイプに関連付けられた前記身体画像の周りにマーカを配置するための前記深層学習技術を使用することによって、正面ポーズ画像を処理することであって、Ｚｈａｎｇ－Ｓｕｅｎ間引きアルゴリズムは、前記第２の入力タイプに関連付けられた前記身体画像の周りにマーカを配置するために使用される、ことと、
前記深層学習技術を適用することによって、前記決定された身体領域を使用して第２のマスク画像として分類器画像を計算することと、
セグメント化された出力画像を処理することによって、前記第２のユーザタイプの外部身体輪郭画像を計算することと、
前記計算された外部身体輪郭画像上の１つ以上のキーポイントを抽出するステップであって、前記キーポイントは、少なくとも１つ以上の論理要素を使用することに基づいて抽出される、ことと、
前記第２のユーザタイプの前記身体測定値を正確に決定するために、前記第２のユーザタイプの身長を使用して、前記第２の入力タイプに関連付けられた前記身体画像を相関させることと、前記第２のユーザタイプの前記身体測定値を近似的に計算するために、前記決定された身体測定値に対して近似演算を実行することと、を含む、ステップと、
前記第２のユーザタイプの前記決定された身体測定値を、前記第２のユーザタイプの顔画像とともに、３Ｄフォーマットで前記第２のユーザタイプの全身アバターを生成するための第２の要求の形態で、前記アバター生成エンジンのセロリノードユニットに送信するステップであって、前記第２の要求は、前記セロリノードユニットに非同期的に送信される、ステップと、
前記第２のユーザタイプの前記全身アバターのリンクとともに、少なくとも通知を前記対話型ウェブアプリケーション又はＳＭＳ及び電子メール上で送信することによって、前記第２のユーザタイプに３Ｄフォーマットでの前記全身アバターの前記生成を開始させるために、前記第２の入力ユニット上でＡＰＩをトリガするステップと、を含む、請求項１４に記載のシステム。

【請求項16】

カプセルニューラルネットワーク（ＣａｐｓＮｅｔ）は、前記セグメント化動作を実行し、前記第２のユーザタイプの前記身体測定値を計算するために前記アバター生成ユニットによって実装され、前記ＣａｐｓＮｅｔアーキテクチャは、２つの畳み込み層（Ｃｏｎｖ１及びＣｏｎｖ２）と、１つの全結合層と、を含む、請求項１５に記載のシステム。

【請求項17】

前記セグメント化動作を実行し、前記第２のユーザタイプの前記身体測定値を計算するための前記ＣａｐｓＮｅｔの実装は、
前記ＣａｐｓＮｅｔに、前記第２のユーザタイプの前記決定された身体部分を提供する次元「５１２×５１２」（縦（Ｈ）及び横（Ｗ））の画像を入力するステップと、
前記画像を前記ＣａｐｓＮｅｔの前記Ｃｏｎｖ１層に渡すステップであって、前記Ｃｏｎｖ１は、次元「５１２×５１２×１×１２８」であり、前記Ｃｏｎｖ１層は、ストライドが１である１２８個の９×９畳み込みカーネルを有し、正規化線形ユニット（ＲｅＬＵ）活性化を含む、ステップと、
前記Ｃｏｎｖ１層の前記出力を前記Ｃｏｎｖ２への入力として渡すステップであって、前記Ｃｏｎｖ２層は、次元「５１２×５１２×１×１２８」であり、前記Ｃｏｎｖ２層は、前記ストライドが１である１２８個の９×９畳み込みカーネルを有し、前記ＲｅＬＵ活性化を含む、ステップと、
前記Ｃｏｎｖ１層及びＣｏｎｖ２層によって、前記身体画像のピクセルサイズを選択し、前記第２の入力タイプに関連付けられた前記身体画像を通して、前記画像の左側から開始して前記画像の前記右側に向かってピクセルごとに所定のサイズのウィンドウを実行するステップであって、ピクセル強度を局所特徴検出器のアクティビティに変換し、ウィンドウの実行は、前記身体画像を、出力画像を決定するために一緒に組み合わされる複数の小さい画像にセグメント化する、ステップと、
前記Ｃｏｎｖ２層からの前記出力画像を次元「５１２×５１２×３２×８」の１次カプセル層への入力として提供するステップと、
前記１次カプセル層からの出力を入力としてセグメント化カプセル（ＳｅｇＣａｐｓ）層に提供するステップであって、前記Ｓｅｇｃａｐｓ層は、「５１２×５１２×１×１６」の次元である、ステップと、
前記ＳｅｇＣａｐｓ層によって、前記受信された入力を処理し、前記第２のマスク画像を生成するために「５１２×５１２×１２８」の次元を有する再構成畳み込み層に出力を提供するステップと、
前記第２のユーザタイプの身体測定値を決定するための「５１２×５１２」の次元を有するセグメント化された出力画像を提供するために、前記受信された入力画像に関連付けられた１つ以上のベクトル長を計算するために、前記ＳｅｇＣａｐｓ層によって前記受信された入力画像を更に処理するステップであって、カプセルｋに関連付けられたＣａｐｓＮｅｔ損失関数（ｌｋ）が計算される、ステップと、を含む、請求項１６に記載のシステム。

【請求項18】

前記アバター生成ユニットは、前記第２のユーザタイプの外部身体輪郭画像を計算するために、前記セグメント化された出力画像に対して１つ以上の分類技術を適用するように構成され、前記分類技術は、ベイズ、ｋ最近傍（ｋ－ＮＮ）、サポートベクターマシン（ＳＶＭ）、決定木、適応ブースティング、ランダムフォレスト、多層パーセプトロン（ＭＬＰ）、及び期待最大化分類器を含む、請求項１５に記載のシステム。

【請求項19】

前記セロリノードユニットによる前記第２の要求の処理は、
１つ以上の予め記憶されたベースモデルから、９０度次元空間における測定値の最近傍である予め記憶されたベースモデルを選択するステップであって、前記ベースモデルは、予め定義された測定値を有する人体３Ｄモデルを表す、ステップと、
前記第２のユーザタイプの前記受信された身体測定値に従って前記ベースモデルの各測定値に対して少なくとも収縮演算又は伸長演算を適用するステップであって、前記セロリノードユニットは、測定値の前記収縮又は前記伸長が前記第２のユーザタイプの前記レンダリングされた全身３Ｄアバターにおいて見えないように、最も近いベース人体３Ｄモデルを選択する、ステップと、
前記ベースモデルを選択するために前記９０度次元空間内の前記最近傍を効率的に計算するためにボールツリーデータ構造を使用するステップであって、前記ボールツリー構造は、距離メトリックによって所与のベースモデルに最も近い前記ツリー内の前記ベースモデルを決定することに基づいて、前記複数のベースモデルの中で前記最も近い人間ベースモデルを決定することを提供し、マハラノビス距離技術は、複数のベースモデルから前記最も近いベースモデルを選択するための前記距離メトリックとして前記セロリノードユニットによって実装される、ステップと、
前記選択されたベースモデルに基づいて、少なくともノード１、ノード２、又はノード３を使用して、前記３Ｄフォーマットで前記第２のユーザタイプの前記全身アバターを生成するステップと、
前記３Ｄフォーマットの前記第２のユーザタイプの前記生成された全身アバターを前記アバター生成ユニットに送信するステップであって、前記アバター生成ユニットは、記憶及び将来の検索のために前記３Ｄオブジェクト管理ＡＰＩを使用して前記データベースに前記第２のユーザタイプの前記生成された全身アバターを送信するように構成される、ステップと、を含む、請求項１５に記載のシステム。

【請求項20】

前記アバター生成エンジンは、前記プロセッサによって実行され、前記アバター生成ユニットの衣服生成ユニット及びアバター生成ユニットを介してデータベースから前記生成された衣服タイプ及び前記生成された前記第２のユーザタイプの全身３Ｄアバターをそれぞれフェッチするように構成された仮想試着ユニットを備え、前記仮想試着ユニットは、前記第２のユーザタイプに対する前記第２の入力ユニットのユーザインターフェース（ＵＩ）上に、前記第２のユーザタイプの前記フェッチされた全身アバター及び前記フェッチされた衣服タイプをレンダリングし、少なくともブレンダー技術を使用することに基づいて前記仮想試着動作を実行するように構成され、前記衣服とともにレンダリングされた前記全身３Ｄアバターは、種々の角度から前記レンダリングされた衣服を可視化して比較するために３６０°の角度ビューで回転可能である、請求項１に記載のシステム。

【請求項21】

衣服の仮想試着のための３Ｄアバターの改良された生成のための方法であって、前記方法は、メモリに記憶されたプログラム命令を実行するプロセッサによって実装され、前記方法は、
グラフィカルフォーマットで１つ以上の衣服タイプを生成するために、第１の入力ユニットを介して第１のユーザタイプから入力を受信することと、
第２の入力ユニットを介してそれぞれ受信された第１の入力タイプ又は第２の入力タイプを取り込むことに基づいて、半自動方式で又は自動方式で第２のユーザタイプの３Ｄアバターを生成することであって、前記第１の入力タイプは、前記第２のユーザタイプの身体仕様の測定値を含み、前記第２の入力タイプは、前記第２のユーザタイプの身体画像を含む、ことと、
仮想試着動作を実行するために、前記第２のユーザタイプの前記生成された３Ｄアバター上に前記生成された衣服をレンダリングすることと、を含む、方法。

【請求項22】

前記第１の入力タイプ及び前記第２の入力タイプを取り込むために対話型ウェブアプリケーションがレンダリングされ、前記対話型ウェブアプリケーションは、前記第１の入力タイプ及び前記第２の入力タイプを取り込むための要求を前記第２のユーザタイプに送信するためにレンダリングされる、請求項２１に記載の方法。

【請求項23】

前記第２のユーザタイプの前記身体仕様の前記測定値は、胸部サイズ、バストサイズ、ウエストサイズ、ヒップサイズ、身長、腕の長さ、及び股下の長さを含む、請求項２１に記載の方法。

【請求項24】

第２のユーザタイプの前記３Ｄアバターの前記半自動方式における前記生成は、
前記第２の入力ユニットから前記第１の入力タイプを受信した後に、予め記憶された１つ以上の３Ｄ身体構成要素モデルをフェッチするステップであって、前記身体構成要素モデルは、３Ｄ身体スキャン技術を使用して予め生成され、予め記憶され、前記身体構成要素モデルは、頭部モデル、上半身モデル、下半身モデル、及び腕モデルの組み合わせを含む、ステップと、
前記受信された第１の入力タイプを、前記フェッチされた身体構成要素モデルとともに、第１の要求の形態でセロリノードユニットに送信するステップであって、前記第１の要求は、前記セロリノードユニットに非同期的に送信される、ステップと、
前記第２のユーザタイプの前記３Ｄアバターを生成するために、少なくともブレンダー技術を採用することによって、前記第１の入力タイプに基づいて、前記セロリノードユニットによって、前記受信された身体構成要素モデルを互いにスティッチングするステップであって、前記セロリノードユニットは、少なくともノード１、ノード２、又はノード３を使用して、前記受信された身体構成要素モデルを一緒にスティッチングする、ステップと、
前記３Ｄアバターの前記生成を開始するためのオフライン通知を前記第２のユーザタイプに送信するステップであって、前記第２のユーザタイプの前記生成された３Ｄアバターは、修正可能である、ステップと、を含む、請求項２１に記載の方法。

【請求項25】

前記第２のユーザタイプの前記３Ｄアバターは、少なくともデジタル画像処理技術及び深層学習技術を適用することに基づいて前記自動方式で生成され、前記第２のユーザタイプの前記３Ｄアバターは、オンラインモード及びリアルタイムで前記自動方式で生成される、請求項２１に記載の方法。

【請求項26】

前記第２のユーザタイプの前記身体画像は、前記第２の入力ユニット上に存在するカメラから取り込まれ、前記第２のユーザタイプは、前記第２の入力ユニット上に存在する前記カメラを介して、前記第２の入力タイプを取り込むために前記第２の入力ユニット上にインストールされた対話型ウェブアプリケーションを使用して異なる角度から全身スキャンを開始する、請求項２１に記載の方法。

【請求項27】

前記全身スキャンは、前記第２のユーザタイプの前記１つ以上の身体画像を２Ｄフォーマットで取り込み、前記取り込まれた１つ以上の身体画像は、前記第２のユーザタイプの直線ポーズ画像、側面ポーズ画像、及び顔画像を含み、前記直線ポーズ画像は、前記第２のユーザタイプの正面ポーズ画像及び背面ポーズ画像を含み、前記側面ポーズ画像は、前記第２のユーザタイプの右側面ポーズ画像及び左側面ポーズ画像を含む、請求項２６に記載の方法。

【請求項28】

前記第２の入力タイプは、前記第２の入力タイプに関連付けられた前記第２のユーザタイプの１つ以上の身体測定値を計算するための身体測定アプリケーションプログラミングインターフェース（ＡＰＩ）を採用することに基づいて受信され、前記第２のユーザタイプの前記１つ以上の身体測定値を計算するために、デジタル画像処理技術及び深層学習技術が前記第２のユーザタイプの前記第２の入力タイプに適用される、請求項２１に記載の方法。

【請求項29】

前記深層学習技術は、畳み込みネットワーク（ＣＮＮ）技術、グラフニューラルネットワーク技術及びカプセルニューラルネットワーク技術を含み、前記深層学習技術は、前記第２のユーザタイプの前記身体測定値を計算するために前記第２の入力タイプに並列に適用され、前記第２のユーザタイプの前記身体測定値の計算において高い精度を提供する深層学習技術は、それぞれの実装のために選択される、請求項２８に記載の方法。

【請求項30】

第２のユーザタイプの前記３Ｄアバターの前記自動方式における前記生成は、
前記第２のユーザタイプの身体測定値を計算するために、前記第２の入力タイプに対して前記深層学習技術を並列に実装することによってセグメント化動作を実行するステップであって、前記セグメント化動作は、
第１のマスク画像の形態でデンスポーズ画像を決定することであって、前記デンスポーズ画像は、前記第２の入力タイプにおいて前記人体全体を検出及び識別するために使用される、ことと、
前記身体領域を決定するために、前記第２の入力タイプに関連付けられた前記身体画像の周りにマーカを配置するための前記深層学習技術を使用することによって、正面ポーズ画像を処理することであって、Ｚｈａｎｇ－Ｓｕｅｎ間引きアルゴリズムは、前記第２の入力タイプに関連付けられた前記身体画像の周りにマーカを配置するために使用される、ことと、
前記深層学習技術を適用することによって、前記決定された身体領域を使用して第２のマスク画像として分類器画像を計算することと、
セグメント化された出力画像を処理することによって、前記第２のユーザタイプの外部身体輪郭画像を計算することと、
前記計算された外部身体輪郭画像上の１つ以上のキーポイントを抽出するステップであって、前記キーポイントは、少なくとも１つ以上の論理要素を使用することに基づいて抽出される、ことと、
前記第２のユーザタイプの前記身体測定値を正確に決定するために、前記第２のユーザタイプの身長を使用して、前記第２の入力タイプに関連付けられた前記身体画像を相関させることと、
前記第２のユーザタイプの前記身体測定値を近似的に計算するために、前記決定された身体測定値に対して近似演算を実行することと、を含む、ステップと、
前記第２のユーザタイプの前記決定された身体測定値を、前記第２のユーザタイプの顔画像とともに、第２の要求の形態で、３Ｄフォーマットで前記第２のユーザタイプの全身アバターを生成するために、セロリノードユニットに送信するステップであって、前記第２の要求は、前記セロリノードユニットに非同期的に送信される、ステップと、
前記第２のユーザタイプの前記全身アバターのリンクとともに、前記対話型ウェブアプリケーション又はＳＭＳ及び電子メール上で少なくとも通知を送信することによって、前記第２のユーザタイプに３Ｄフォーマットでの前記全身アバターの前記生成を開始させるためのＡＰＩをトリガするステップと、を含む、請求項２９に記載の方法。

【請求項31】

前記セグメント化動作を実行し、前記第２のユーザタイプの前記身体測定値を計算するためにカプセルニューラルネットワーク（ＣａｐｓＮｅｔ）が実装され、前記ＣａｐｓＮｅｔアーキテクチャは、２つの畳み込み層（Ｃｏｎｖ１及びＣｏｎｖ２）と、１つの全結合層と、を含む、請求項３０に記載の方法。

【請求項32】

前記セグメント化動作を実行し、前記第２のユーザタイプの前記身体測定値を計算するための前記ＣａｐｓＮｅｔの前記実装は、
前記ＣａｐｓＮｅｔに、前記第２のユーザタイプの前記決定された身体部分を提供する次元「５１２×５１２」（縦（Ｈ）及び横（Ｗ））の画像を入力するステップと、
前記画像を前記ＣａｐｓＮｅｔの前記Ｃｏｎｖ１層に渡すステップであって、前記Ｃｏｎｖ１は、次元「５１２×５１２×１×１２８」であり、前記Ｃｏｎｖ１層は、ストライドが１である１２８個の９×９畳み込みカーネルを有し、正規化線形ユニット（ＲｅＬＵ）活性化を含む、ステップと、
前記Ｃｏｎｖ１層の前記出力を前記Ｃｏｎｖ２への入力として渡すステップであって、前記Ｃｏｎｖ２層は、次元「５１２×５１２×１×１２８」であり、前記Ｃｏｎｖ２層は、前記ストライドが１である１２８個の９×９畳み込みカーネルを有し、前記ＲｅＬＵ活性化を含む、ステップと、
前記Ｃｏｎｖ１層及びＣｏｎｖ２層によって、前記身体画像のピクセルサイズを選択し、前記第２の入力タイプに関連付けられた前記身体画像を通して、前記画像の左側から開始して前記画像の前記右側に向かってピクセルごとに所定のサイズのウィンドウを実行するステップであって、ピクセル強度を局所特徴検出器のアクティビティに変換し、ウィンドウの実行は、前記身体画像を複数の小画像にセグメント化し、前記複数の小画像は、出力画像を決定するために一緒に組み合わされる、ステップと、
前記Ｃｏｎｖ２層からの前記出力画像を次元「５１２×５１２×３２×８」の１次カプセル層への入力として提供するステップと、
前記１次カプセル層からの出力を入力としてセグメント化カプセル（ＳｅｇＣａｐｓ）層に提供するステップであって、前記Ｓｅｇｃａｐｓ層は、「５１２×５１２×１×１６」の次元である、ステップと、
前記ＳｅｇＣａｐｓ層によって、前記受信された入力を処理し、前記第２のマスク画像を生成するために「５１２×５１２×１２８」の次元を有する再構成畳み込み層に出力を提供するステップと、
前記第２のユーザタイプの身体測定値を決定するための「５１２×５１２」の次元を有するセグメント化された出力画像を提供するために、前記受信された入力画像に関連付けられた１つ以上のベクトル長を計算するために、前記ＳｅｇＣａｐｓ層によって前記受信された入力画像を更に処理するステップであって、カプセルｋに関連付けられたＣａｐｓＮｅｔ損失関数（ｌｋ）が計算される、ステップと、を含む、請求項３１に記載の方法。

【請求項33】

前記第２のユーザタイプの外部身体輪郭画像を計算するために、前記セグメント化された出力画像に対して１つ以上の分類技術が適用され、前記分類技術は、ベイズ、ｋ最近傍（ｋ－ＮＮ）、サポートベクターマシン（ＳＶＭ）、決定木、適応ブースティング、ランダムフォレスト、多層パーセプトロン（ＭＬＰ）、及び期待最大化分類器を含み、前記第２のユーザタイプの前記身体輪郭の計算において高い精度を提供する前記分類技術は、それぞれの実装のために選択される、請求項３０に記載の方法。

【請求項34】

前記セロリノードユニットによる前記第２の要求の処理は、
１つ以上の予め記憶されたベースモデルから、９０度次元空間における測定値の最近傍である予め記憶されたベースモデルを選択するステップであって、前記ベースモデルは、予め定義された測定値を有する人体３Ｄモデルを表す、ステップと、
前記第２のユーザタイプの前記受信された身体測定値に従って前記ベースモデルの各測定値に対して少なくとも収縮演算又は伸長演算を適用するステップであって、前記セロリノードユニットは、測定値の前記収縮又は前記伸長が前記第２のユーザタイプの前記レンダリングされた全身３Ｄアバターにおいて見えないように、最も近いベース人体３Ｄモデルを選択する、ステップと、
前記ベースモデルを選択するために前記９０度次元空間内の前記最近傍を効率的に計算するためにボールツリーデータ構造を使用するステップであって、前記ボールツリー構造は、距離メトリックによって所与のベースモデルに最も近い前記ツリー内の前記ベースモデルを決定することに基づいて、前記複数のベースモデルの中で前記最も近い人間ベースモデルを決定することを提供し、マハラノビス距離技術は、複数のベースモデルから前記最も近いベースモデルを選択するための前記距離メトリックとして前記セロリノードユニットによって実装される、ステップと、
前記選択されたベースモデルに基づいて、少なくともノード１、ノード２、又はノード３を使用して、前記３Ｄフォーマットで前記第２のユーザタイプの前記全身アバターを生成するステップと、
前記３Ｄフォーマットの前記第２のユーザタイプの前記生成された全身アバターを前記アバター生成ユニットに送信するステップであって、前記アバター生成ユニットは、記憶及び将来の検索のために前記３Ｄオブジェクト管理ＡＰＩを使用して前記データベースに前記第２のユーザタイプの前記生成された全身アバターを送信するように構成される、ステップと、を含む、請求項３０に記載の方法。

【請求項35】

前記生成された衣服タイプ及び前記第２のユーザタイプの前記生成された全身３Ｄアバターがフェッチされ、前記フェッチされた第２のユーザタイプの前記全身アバター及び前記フェッチされた衣服タイプは、前記第２のユーザタイプへのユーザインターフェース（ＵＩ）上にレンダリングされ、少なくともブレンダー技術を使用することに基づいて前記仮想試着動作を実行し、前記衣服とともにレンダリングされた前記全身３Ｄアバターは、種々の角度から前記レンダリングされた衣服を可視化して比較するために３６０°の角度ビューで回転可能である、請求項１に記載の方法。

【請求項36】

コンピュータプログラム製品であって、コンピュータプログラムコードが記憶された非一時的コンピュータ可読媒体を備え、前記コンピュータ可読プログラムコードは、プロセッサによって実行されると、前記プロセッサに、
グラフィカルフォーマットで１つ以上の衣服タイプを生成するために、第１の入力ユニットを介して、第１のユーザタイプから入力を受信することと、
第２の入力ユニットを介してそれぞれ受信された第１の入力タイプ又は第２の入力タイプを取り込むことに基づいて、半自動方式又は自動方式で第２のユーザタイプの３Ｄアバターを生成することであって、前記第１の入力タイプは、前記第２のユーザタイプの身体仕様の測定値を含み、前記第２の入力タイプは、前記第２のユーザタイプの身体画像を含む、ことと、
仮想試着動作を実行するために、前記第２のユーザタイプの前記生成された３Ｄアバター上に前記生成された衣服をレンダリングすることと、を行わせる命令を含む、コンピュータプログラム製品。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は、２０２１年７月２０日に出願された米国特許出願第１７／３８０，７６１号の継続出願であり、その開示は参照により本明細書に組み込まれる。

【0002】

本発明は、概して、アバター生成及び衣服の仮想試着の分野に関する。より詳細には、本発明は、衣服の仮想試着のための３Ｄアバターの改良された生成のためのシステム及び方法に関する。

【背景技術】

【0003】

消費者は、種々の電子商取引ウェブサイト、ウェブベースのアプリケーション及びポータルを介してオンラインで衣服を購入することが増えている。オンラインで衣服を購入する傾向の急増に伴い、消費者（ユーザ）は、購入前に衣服を仮想的に試着することによって、最もフィットし、自分に合う衣服を探している。衣服の仮想試着は、通常、購入前に、ユーザの１つ以上の人体モデルをアバター形式で生成し、選択された衣服を生成されたアバター上にレンダリングすることによって行われる。既存の電子商取引ウェブサイト、ウェブベースのアプリケーション、及びポータルでは、購入前に、衣服の仮想試着のためのアバターの生成に関連する適切なオプションがなかなか提供されないことが確認されている。

【0004】

典型的には、衣服の仮想試着のためのアバターの生成を提供する電子商取引ウェブサイト、ウェブベースのアプリケーション、及びポータルと関連付けられた既存のシステムは、種々の非効率性を伴っている。既存の電子商取引ウェブサイト、ウェブベースのアプリケーション、及びポータルは、ユーザの正確な身体仕様を有するアバターを生成することができないことが確認されている。更に、既存のシステムは、ユーザが自身のアバターを作成するためのオプションが限られているため、ユーザは自分の側から入力を提供することができない。更に、既存のシステムは、仮想試着技術を使用して衣服を効率的に比較するための適切なオプションをユーザに提供していない。更に、既存のシステムは、ユーザの単一の正面ビューにおいて衣服の仮想試着を提供することに制限され、任意の他のビューでは提供されていない。

【0005】

上記の欠点に鑑みて、衣服の仮想試着のためのアバターの改善された生成のためのシステム及び方法が必要とされている。正確な身体仕様を有するユーザのアバターを生成することを提供するシステム及び方法が必要とされている。更に、アバター生成のためにユーザからの入力を効率的に取り込むことを可能にするシステム及び方法が必要とされている。更に、仮想試着技術を使用して衣服の効率的な比較を提供するシステム及び方法が必要とされている。

【発明の概要】

【0006】

本発明の種々の実施形態では、衣服の仮想試着のための３Ｄアバターの改良された生成のためのシステムが提供される。システムは、プログラム命令を記憶するメモリと、メモリに記憶された命令を実行するプロセッサと、プロセッサによって実行されるアバター生成エンジンと、を備える。アバター生成エンジンは、グラフィカルフォーマットで１つ以上の衣服タイプを生成するために、第１の入力ユニットを介して第１のユーザタイプから入力を受信するように構成される。更に、アバター生成エンジンは、第２の入力ユニットを介してそれぞれ受信された第１の入力タイプ又は第２の入力タイプを取り込むことに基づいて、半自動方式又は自動方式で第２のユーザタイプの３Ｄアバターを生成するように構成される。第１の入力タイプは、第２のユーザタイプの身体仕様の測定値を含み、第２の入力タイプは、第２のユーザタイプの身体画像を含む。最後に、アバター生成エンジンは、仮想試着動作を実行するために、第２のユーザタイプの生成された３Ｄアバター上に生成された衣服をレンダリングするように構成される。

【0007】

本発明の種々の実施形態では、衣服の仮想試着のための３Ｄアバターの改良された生成のための方法が提供される。方法は、メモリに記憶されたプログラム命令を実行するプロセッサによって実装される。方法は、グラフィカルフォーマットで１つ以上の衣服タイプを生成するために、第１の入力ユニットを介して第１のユーザタイプから入力を受信することを含む。更に、方法は、第２の入力ユニットを介してそれぞれ受信された第１の入力タイプ又は第２の入力タイプを取り込むことに基づいて、半自動方式又は自動方式で第２のユーザタイプの３Ｄアバターを生成することを含む。第１の入力タイプは、第２のユーザタイプの身体仕様の測定値を含み、第２の入力タイプは、第２のユーザタイプの身体画像を含む。最後に、方法は、仮想試着動作を実行するために、第２のユーザタイプの生成された３Ｄアバター上に生成された衣服をレンダリングすることを含む。

【0008】

本発明の種々の実施形態では、コンピュータプログラム製品が提供される。コンピュータプログラム製品は、その上に記憶されたコンピュータプログラムコードを有する非一時的コンピュータ可読媒体を備え、コンピュータ可読プログラムコードは、プロセッサによって実行されると、プロセッサに、グラフィカルフォーマットで１つ以上の衣服タイプを生成するために、第１の入力ユニットを介して、第１のユーザタイプから入力を受信させる命令を含む。更に、第２のユーザタイプの３Ｄアバターが、第２の入力ユニットを介してそれぞれ受信された第１の入力タイプ又は第２の入力タイプを取り込むことに基づいて、半自動方式又は自動方式で生成される。第１の入力タイプは、第２のユーザタイプの身体仕様の測定値を含み、第２の入力タイプは、第２のユーザタイプの身体画像を含む。更に、第１のユーザタイプからの入力は、第１の入力ユニットを介して、グラフィカルフォーマットで１つ以上の衣服タイプを生成するために受信される。

【図面の簡単な説明】

【0009】

本発明は、添付の図面に示される実施形態によって説明される。

【0010】

【図1】本発明の一実施形態による、衣服の仮想試着のためのアバターの改良された生成を提供するためのシステムの詳細なブロック図である。

【0011】

【図2a】本発明の一実施形態による、第２のユーザタイプの右側ポーズ画像及び左側ポーズ画像と、第２のユーザタイプの正面ポーズ画像及び背面ポーズ画像と、を含む取得パターンを示す。

【0012】

【図2b】本発明の一実施形態による、第１のマスク画像としてのデンスポーズ画像と、身体画像の周りにマーカを有する正面ポーズ画像と、第２のマスク画像と、身体輪郭画像と、を含むセグメント化動作を示す図である。

【0013】

【図2c】本発明の一実施形態による、計算された外部身体輪郭画像上の１つ以上のキーポイントの抽出を示す。

【0014】

【図3】本発明の一実施形態による、カプセル畳み込みニューラルネットワーク（ＣａｐｓＮｅｔ）アーキテクチャを示す。

【0015】

【図4】本発明の一実施形態に係る、衣服の仮想試着のためのアバターの改良された生成方法を示すフローチャートである。

【0016】

【図5】本発明の種々の実施形態を実装することができる例示的なコンピュータシステムを示す。

【発明を実施するための形態】

【0017】

本発明は、衣服の仮想試着のためのアバターの改良された生成のためのシステム及び方法を開示する。特に、本発明は、アクション可能なユーザインターフェース（ＵＩ）を介したオンラインモード及びオフラインモードでの衣服の仮想試着のための３Ｄアバターの形態の人間モデルの生成を提供する。本発明は、正確な身体仕様を有するユーザのアバターを生成するためのシステム及び方法を提供する。更に、本発明は、アバター生成のためにユーザからの入力を効率的に取り込むためのシステム及び方法を提供する。更に、本発明は、仮想試着技術を使用して衣服を効率的に比較するためのシステム及び方法を提供する。更に、本発明は、少なくともユーザの身体仕様及び２Ｄ画像を使用することによって、ユーザの３Ｄアバター上に衣服を効果的にレンダリングするためのシステム及び方法を提供する。更に、本発明は、仮想試着のためにユーザのアバターの３Ｄモデル上に仮想衣服をレンダリングすることを提供する。更に、本発明は、購入前の衣服の仮想試着、任意の場所での試着、衣服を購入する前のユーザの時間の節約、１人のユーザと他のユーザとの共同作業、より良好なユーザ体験、ユーザの好みの分析、衣服のカスタマイズ、及び衣服に関する関心の構築を提供する。

【0018】

本開示は、当業者が本発明を実施することを可能にするために提供される。本明細書の例示的な実施形態は、例示目的のためにのみ提供され、種々の修正が当業者には容易に明らかになるであろう。本明細書で定義された一般的な原理は、本発明の範囲から逸脱することなく、他の実施形態及び用途に適用され得る。本明細書で使用される用語及び表現は、例示的な実施形態を説明するためのものであり、限定するものと見なされるべきではない。したがって、本発明は、本明細書で開示される原理及び特徴と一致する多数の代替形態、修正形態、及び均等物を包含する最も広い範囲を与えられるべきである。明確にするために、本発明に関連する技術分野において知られている技術的材料に関する詳細は、本発明を不必要に不明瞭にしないように、簡潔に説明されているか、又は省略されている。

【0019】

本発明は、ここで、添付の図面に示されるような実施形態の文脈において議論される。

【0020】

図１は、本発明の実施形態による、衣服の仮想試着のためのアバターの改良された生成を提供するためのシステム１００の詳細なブロック図である。図１を参照すると、システム１００は、アバター生成サブシステム１０２と、第１の入力ユニット１１０と、第２の入力ユニット１１２と、データベース１２２と、を備える。第１の入力ユニット１１０、第２の入力ユニット１１２、及びデータベース１２２は、通信ネットワーク（図示せず）を介してサブシステム１０２と通信する。通信ネットワーク（図示せず）は、限定はしないが、ワイヤなどの物理伝送媒体、又は電気通信及びコンピュータネットワーキングにおける無線チャネルなどの多重化媒体を介した論理接続を含み得る。電気通信及びコンピュータネットワーキングにおける無線チャネルの例としては、ローカルエリアネットワーク（ＬＡＮ）、メトロポリタンエリアネットワーク（ＭＡＮ）、及び広域通信網（ＷＡＮ）が挙げられるが、これらに限定されない。本発明の一実施形態では、第１の入力ユニット１１０は第１のユーザタイプに関連付けられ、第２の入力ユニット１１２は第２のユーザタイプに関連付けられる。第１のユーザタイプは、衣服デザイナーを含むが、これに限定されない。第２のユーザタイプは、消費者（ユーザ）を含むが、これに限定されない。データベース１２２は、サブシステム１０２に対してローカル位置又はリモート位置に配置されてもよい。本発明の例示的な実施形態では、データベース１２２はＭｙＳＱＬベースのデータベースである。

【0021】

本発明の一実施形態では、サブシステム１０２は、データ、アプリケーション、サービス、及び他のリソースが記憶され、共有データセンターを通して配信される、クラウドコンピューティングアーキテクチャで実装され得るプラットフォームである。本発明の例示的な実施形態では、サブシステム１０２の機能は、通信ネットワーク（図示せず）を介してサービス型ソフトウェア（ＳａａＳ）又はサービス型プラットフォーム（ＰａａＳ）としてユーザに配信される。

【0022】

本発明の別の実施形態では、サブシステム１０２は、クライアント－サーバアーキテクチャとして実装され得るプラットフォームである。この実施形態では、クライアントターミナルは、通信ネットワークを経てサブシステム１０２のサーバホスティングにアクセスする。クライアントは、スマートフォン、コンピュータ、タブレット、グラフィカルユーザインターフェース（ＧＵＩ）、アプリケーションプログラミングインターフェース（ＡＰＩ）、マイクロコンピュータ又は他の任意の有線又は無線の端末機を含んでもよいが、これらに限定されない。サーバは、集中型又は分散型サーバであってもよい。

【0023】

本発明の一実施形態では、サブシステム１０２は、第２のユーザタイプの改善されたアバター生成のための認知技術を採用するように構成されたインテリジェント自己最適化プラットフォームである。認知技術は、機械学習技術及び深層学習技術を含み得るが、それらに限定されない。サブシステム１０２は、第１の入力ユニット１１０及び第２の入力ユニット１１２上にレンダリングされるアクション可能なユーザインターフェース（ＵＩ）を介してアクセスされてもよい。本発明の例示的な実施形態では、サブシステム１０２は、サブシステム１０２の種々の機能が任意の時点でユーザに提供されるように、オンデマンドのシステム手法に基づいて動作するように構成される。

【0024】

本発明の一実施形態では、サブシステム１０２は、アバター生成エンジン１０４と、プロセッサ１０６と、メモリ１０８と、を備える。アバター生成エンジン１０４（エンジン１０４）は、衣服の仮想試着のためのアバターの改善された生成を提供するために互いに関連して動作する種々のユニットを含む。エンジン１０４の種々のユニットは、本発明の種々の実施形態による、エンジン１０４のユニットのそれぞれの機能を実行するためにメモリ１０８に記憶された命令を実行するように特にプログラムされたプロセッサ１０６を介して操作される。

【0025】

本発明の一実施形態では、エンジン１０４は、衣服生成ユニット１１４と、アバター生成ユニット１１６と、セロリノードユニット１２４と、仮想試着ユニット１１８と、を備える。

【0026】

本発明の一実施形態では、衣服生成ユニット１１４は、１つ以上の衣服タイプを生成するために第１のユーザタイプから入力を受信するための第１の入力ユニット１１０に接続するように構成される。第１の入力ユニット１１０は、コンピュータ、タブレット、ラップトップ、スマートフォン、及びグラフィカルユーザインターフェース（ＧＵＩ）を含むが、これらに限定されない。衣服のタイプには、男性用衣服、女性用衣服及び子供用衣服が含まれるが、これらに限定されない。衣服のタイプは、種々のデザイン、サイズ及び色である。更に、衣服タイプは、綿、混紡綿、絹、ナイロン、ポリエステル、天然繊維、タケ、リオセルなどの異なる材料のものであるが、これらに限定されない。本発明の一実施形態では、第１の入力ユニット１１０は、機械学習及び深層学習技術を適用することに基づいて１つ以上の衣服タイプを生成するように構成される。衣服生成ユニット１１４は、第１の入力ユニット１１０上に少なくともウェブベースのポータル又はアプリケーションをレンダリングするように構成され、それを介して、第１のユーザタイプは、第２のユーザタイプによる後続の仮想試着のために、種々のデザインの１つ以上の衣服タイプを生成するための入力をアップロードする。１つ以上の衣服タイプを生成するための入力は、少なくとも２Ｄ画像フォーマット及び３Ｄ画像フォーマットでアップロードされる。更に、１つ以上の衣服タイプを生成するためのアップロードされた入力は、少なくとも完全にスティッチングされた衣服画像、衣服の２Ｄ平面画像、又は衣服の３Ｄスケッチ画像を含むことができるが、これらに限定されない。本発明の一実施形態では、衣服生成ユニット１１４は、第１の入力ユニット１１０を介して受信された第１のユーザタイプからの入力を処理し、グラフィカルフォーマットで１つ以上の衣服タイプを生成するために、畳み込みニューラルネットワーク（ＣＮＮ）などの種々の機械学習及び深層学習技術を適用するように構成される。

【0027】

本発明の一実施形態では、衣服生成ユニット１１４は、受信された第１のユーザタイプ入力及び生成された１つ以上の衣服タイプを、記憶された入力及び１つ以上の生成された衣服タイプの将来の検索のためにデータ構造フォーマットで記憶するために、データベース１２２と通信するように構成される。本発明の例示的な実施形態では、第１のユーザタイプは、第１の入力ユニット１１０を介して、衣服タイプ構成要素の材料要件を追加し、衣服タイプ構成要素の重要なサイジング要件に言及し、新しい衣服タイプを追加し、データベース１２２に記憶された既存の衣服タイプを編集することができる。本発明の一実施形態では、データベース１２２に記憶された生成された衣服タイプに対する編集は、衣服タイプ構成要素の測定値の変更、衣服タイプ構成要素の材料の変更、及び衣服タイプの設計の微調整を含むことができるが、これらに限定されない。更に、データベース１２２に記憶された衣服タイプは、第２のユーザタイプにレンダリングされる前に実行された編集に基づいて更新される。

【0028】

本発明の一実施形態では、アバター生成ユニット１１６は、第２の入力ユニット１１２を介して第２のユーザタイプから受信された１つ以上の入力に基づいて、第２のユーザタイプのアバターを生成するように構成される。第２の入力ユニット１１２は、スマートフォン、ラップトップ、コンピュータ、及びタブレットを含むが、これらに限定されない。本発明の一実施形態では、アバター生成ユニット１１６は、第２の入力ユニット１１２を介して第２のユーザタイプから１つ以上の入力を取り込むために、第２の入力ユニット１１２上に対話型ウェブアプリケーションをレンダリングするように構成される。ウェブアプリケーションは、第２のユーザタイプによって第２の入力ユニット１１２にインストールされてもよい。更に、アバター生成ユニット１１６は、第２のユーザタイプからの入力を受信するための３Ｄオブジェクト管理アプリケーションプログラミングインターフェース（ＡＰＩ）で構成される。本発明の例示的な実施形態では、アバター生成ユニット１１６は、第２のユーザタイプのアバターを半自動方式で生成する。本発明の他の実施形態では、アバター生成ユニット１１６は、第２のユーザタイプのアバターを自動方式で生成するように構成される。

【0029】

本発明の一実施形態では、アバター生成ユニット１１６は、第２の入力ユニット１１２を介して第２のユーザタイプによって入力された第１の入力タイプを取り込むことに基づいて、半自動方式で第２のユーザタイプの３Ｄアバターを生成するように構成される。アバター生成ユニット１１６は、オフラインモードで、半自動方式で第２のユーザタイプのアバターを生成するように構成される。本発明の一実施形態では、アバター生成ユニット１１６は、第２のユーザタイプから第１の入力タイプを取り込むための要求を第２のユーザタイプに送信するために、第２の入力ユニット１１２上に対話型ウェブアプリケーションをレンダリングするように構成される。第２のユーザタイプは、第１の入力タイプを入力するために、第２のユーザタイプに関連付けられたユーザＩＤを使用して第２の入力ユニット１１２上でウェブアプリケーションを起動する。本発明の一実施形態では、第１の入力タイプは、限定はしないが、胸部サイズ、バストサイズ、ウエストサイズ、ヒップサイズ、身長、腕の長さ、及び股下の長さを含む、第２のユーザタイプの身体仕様の測定値を含む。身体測定値は、少なくともセンチメートル（ｃｍ）又はインチで取り込まれる。取り込まれた第１の入力タイプは、第２の入力ユニット１１２によって３Ｄオブジェクト管理ＡＰＩを用いてアバター生成ユニット１１６に伝達される。更に、アバター生成ユニット１１６は、記憶及び将来の検索のために、身体測定値をデータベース１２２に送信するように構成される。

【0030】

本発明の一実施形態では、アバター生成ユニット１１６は、オフラインモードで第２のユーザタイプの３Ｄアバターを生成するために、受信された第１の入力タイプを処理するように構成される。オフラインモードにおける第２のユーザタイプのアバターの生成は、改善されたユーザ体験とともに、第２のユーザタイプにプライバシーを提供するのに役立つ。本発明の一実施形態では、アバター生成ユニット１１６は、第２の入力ユニット１１２から第１の入力タイプを受信した後、予め記憶された１つ以上の３Ｄ身体構成要素モデルをフェッチするためにデータベース１２２を呼び出すように構成される。身体構成要素モデルは、３Ｄ身体スキャン技術を使用して予め生成され、データベース１２２に予め記憶される。身体構成要素モデルは、所定の命名法でデータベース１２２に記憶される。身体構成要素モデルは、頭部モデル、上半身モデル、下半身モデル、及び腕モデルの組み合わせを含んでもよいが、それらに限定されない。

【0031】

本発明の一実施形態では、アバター生成ユニット１１６は、第２のユーザタイプの全身３Ｄアバターを生成するために、受信された第１の入力タイプをフェッチされた身体構成要素モデルとともに第１の要求の形態でセロリノードユニット１２４に送信するように更に構成される。第１の要求は、第２のユーザタイプの全身３Ｄアバターを生成するために、セロリノードユニット１２４に非同期的に送信される。セロリノードユニット１２４は、第２のユーザタイプの３Ｄアバターを生成するために、受信した第１の入力タイプ及び身体構成要素モデルを処理するように構成される。少なくともノード１、ノード２、又はノード３を使用するセロリノードユニット１２４は、少なくともブレンダー技術を採用することによって第２のユーザタイプの３Ｄアバターを生成するために、第１の入力タイプに基づいて、受信された身体構成要素モデル（すなわち、頭部モデル、上半身モデル、下半身モデル、及び腕モデル）を互いにスティッチングするように構成される。本発明の例示的な実施形態では、セロリノードユニット１２４は、第２のユーザタイプの生成された３Ｄアバターをアニメーション化するように更に構成される。本発明の別の例示的な実施形態では、セロリノードユニット１２４は、第２のユーザタイプのアバターを正確に生成するために、第２のユーザタイプの身体仕様（第１の入力タイプ）の少なくとも１００個の測定値を使用するように構成される。

【0032】

本発明の一実施形態では、第２のユーザタイプの３Ｄアバターの生成に続いて、セロリノードユニット１２４は、第２のユーザタイプの生成された３Ｄアバターをアバター生成ユニット１１６に送信するように構成される。アバター生成ユニット１１６は、３Ｄアバターの生成を開始するために、第２のユーザタイプに電子メール又はショートメッセージングサービス（ＳＭＳ）の形態でオフライン通知を送信するように構成される。第２のユーザタイプは、生成された３Ｄアバターを、インストールされた対話型ウェブアプリケーションを介して第２の入力ユニット１１２で視聴することができる。更に、第２のユーザタイプの生成された３Ｄアバターは修正可能である。第２のユーザタイプは、生成された３Ｄアバターを修正するための自身の要件を提供することができる。第２のユーザタイプ要件は、生成された３Ｄアバターを修正するために、セロリノードユニット１２４に送信されてもよい。更に、第２のユーザタイプの生成されたアバターは、記憶及び将来の検索のために、アバター生成ユニット１１６によってデータベース１２２に送信される。

【0033】

本発明の別の実施形態では、アバター生成ユニット１１６は、第２の入力ユニット１１２を介して第２のユーザタイプによって入力された第２の入力タイプを少なくとも取り込むことに基づいて、第２のユーザタイプの３Ｄアバターを自動方式で生成するように構成される。アバター生成ユニット１１６は、少なくともデジタル画像処理技術及び深層学習技術を適用することに基づいて、第２のユーザタイプの３Ｄアバターを自動方式で生成するように構成される。アバター生成ユニット１１６は、第２のユーザタイプの３Ｄアバターを、オンラインモードで、自動方式でかつリアルタイムで生成するように構成される。本発明の一実施形態では、アバター生成ユニット１１６は、第２のユーザタイプから第２の入力タイプを取り込むための要求を第２のユーザタイプに送信するために、第２の入力ユニット１１２上に対話型ウェブアプリケーションをレンダリングするように構成される。本発明の例示的な実施形態では、第２の入力タイプは、限定はしないが、第２の入力ユニット１１２上に存在するカメラから取り込まれた第２のユーザタイプの身体画像を含む。本発明の一実施形態では、第２のユーザタイプは、第２の入力ユニット１１２上に存在するカメラを介して、第２の入力タイプを取り込むために第２の入力ユニット１１２上にインストールされた対話型ウェブアプリケーションを使用して異なる角度から全身スキャンを開始する。全身スキャンは、第２のユーザタイプの１つ以上の身体画像を２Ｄフォーマットで取り込む。取り込まれた１つ以上の身体画像は、限定はしないが、第２のユーザタイプの直線ポーズ画像、側面ポーズ画像、及び顔画像を含む。本発明の一実施形態では、図２ａに示すように、直線ポーズ画像は、第２のユーザタイプの正面ポーズ画像及び背面ポーズ画像を含み、側面ポーズ画像は、第２のユーザタイプの右側面ポーズ画像及び左側面ポーズ画像を含み、これらのポーズ画像は、取得パターンと更に称される。更に、第２のユーザタイプの１つ以上の画像は、記憶及び将来の検索のためにデータベース１２２に送信される。

【0034】

本発明の一実施形態では、取り込まれた第２のユーザタイプの第２の入力タイプは、アバター生成ユニット１１６に伝達される。アバター生成ユニット１１６は、第２の入力タイプに関連付けられた第２のユーザタイプの身体測定値を計算するための身体測定値アプリケーションプログラミングインターフェース（ＡＰＩ）を採用することによって、第２の入力タイプを受信するように構成される。アバター生成ユニット１１６は、第２のユーザタイプの１つ以上の身体測定値を計算するために、２Ｄ形態である第２のユーザタイプの第２の入力タイプにデジタル画像処理技術及び深層学習技術を適用するように構成される。本発明の例示的な実施形態では、アバター生成ユニット１１６は、第２のユーザタイプの身体測定値を計算するために、第２の入力タイプ中に存在する少なくとも直線ポーズ画像及び側面ポーズ画像にデジタル画像処理技術及び深層学習技術を適用するように構成される。

【0035】

本発明の一実施形態では、アバター生成ユニット１１６によって適用される深層学習技術は、少なくとも、複数の層を有する畳み込みネットワーク（ＣＮＮ）、グラフニューラルネットワーク、及びカプセルニューラルネットワークを含む。アバター生成ユニット１１６は、第２のユーザタイプの身体測定値を計算するために、第２の入力タイプに対して深層学習技術を並列に適用するように構成される。第２のユーザタイプの身体測定値の計算において高い精度を提供する深層学習技術が、それぞれの実装のためにアバター生成ユニット１１６によって選択される。

【0036】

本発明の一実施形態では、アバター生成ユニット１１６は、深層学習技術を適用することによって、第２のユーザタイプの身体測定値の計算の前に訓練される。アバター生成ユニット１１６の訓練は、第２のユーザタイプの身体画像と相関される第２のユーザタイプの複数の身体測定値に関連するサンプルセットを含む複数のデータセットを使用して実行される。身体画像は、第２のユーザタイプの正面、背面、右側及び左側の身体ポーズを含むが、それらに限定されない。身体画像は、少なくとも第２の入力ユニット１１２上のカメラを使用して、第２のユーザタイプを含むビデオクリップから取り込まれ得る。身体画像は、第２のユーザタイプの異なる皮膚タイプに更に関連してもよい。身体画像は、少なくともカラー画像及びグレースケール画像であってもよい。更に、訓練プロセスの前に画像からのノイズが除去される。

【0037】

本発明の一実施形態では、訓練されたアバター生成ユニット１１６は、第２のユーザタイプの身体測定値を計算するように構成される。本発明の一実施形態では、アバター生成ユニット１１６は、第２のユーザタイプの身体測定値を計算するために、第２の入力タイプに対して深層学習技術を並列に実装することによってセグメント化動作を実行するように構成される。セグメント化動作は、デジタル画像を複数のセグメントに分割して、画像内のオブジェクトを決定し、境界の位置を特定するのに役立つ。図２ｂに示されるように、深層学習技術を使用することによって実装されるセグメント化動作では、まず、第１のマスク画像の形態のデンスポーズ画像が決定される。デンスポーズ画像は、第２の入力タイプにおいて人体全体を検出及び識別するために使用される。第２に、身体領域を決定するために第２の入力タイプに関連付けられた身体画像の周りにマーカを配置するための深層学習技術を使用して、アバター生成ユニット１１６によって正面ポーズ画像が処理される。本発明の例示的な実施形態では、第２の入力タイプに関連する身体画像の周りにマーカを配置するために、Ｚｈａｎｇ－Ｓｕｅｎ間引きアルゴリズムが使用される。第３に、決定された身体領域を使用するアバター生成ユニット１１６は、第２のマスク画像として分類器画像を計算するために深層学習技術を更に適用するように構成される。最後に、第２のユーザタイプの外部身体輪郭画像が、本明細書で以下に詳述されるように、セグメント化された出力画像を処理することによって、アバター生成ユニット１１６によって計算される。

【0038】

動作中、本発明の例示的な実施形態では、セグメント化動作を実行し、第２のユーザタイプの身体測定値を計算するために、カプセルニューラルネットワーク（ＣａｐｓＮｅｔ）がアバター生成ユニット１１６によって実装される。図３に示すように、ＣａｐｓＮｅｔアーキテクチャは、２つの畳み込み層（Ｃｏｎｖ１及びＣｏｎｖ２）と、１つの全結合層と、を含む。ＣａｐｓＮｅｔは、最初に、第２のユーザタイプの決定された身体部分を提供する次元「５１２×５１２」（縦（Ｈ）及び横（Ｗ））の画像を入力される。更に、画像はＣｏｎｖ１層に渡される。Ｃｏｎｖ１は、次元「５１２×５１２×１×１２８」のものであり、Ｃｏｎｖ１層は、１のストライドをもつ１２８個の９×９畳み込みカーネルを有し、正規化線形ユニット（ＲｅＬＵ）活性化を備える。更に、Ｃｏｎｖ１層の出力は、Ｃｏｎｖ２への入力として渡される。Ｃｏｎｖ２層は、次元「５１２×５１２×１×１２８」である。Ｃｏｎｖ２層は、ストライドが１である１２８個の９×９畳み込みカーネルを有し、ＲｅＬＵ活性化を含む。Ｃｏｎｖ１層及びＣｏｎｖ２層は、身体画像のピクセルサイズを選択し、第２の入力タイプに関連付けられた身体画像を通して所定のサイズのウィンドウを実行し、画像の左側から開始して右側に進み、ピクセルごとに、ピクセル強度を局所特徴検出器のアクティビティに変換する。局所特徴は、身体の部分及び身体の輪郭を表す。ウィンドウの実行は、それによって、身体画像を複数の小さい画像にセグメント化し、次いで、出力画像を決定するために一緒に組み合わされる。更に、Ｃｏｎｖ２層からの出力画像は、次元「５１２×５１２×３２×８」の１次カプセル層への入力として提供される。１次カプセル層内の１次カプセルは、多次元エンティティの最低レベルであり、逆グラフィックスの視点から、１次カプセルを活性化することは、レンダリングプロセスを反転させることに対応する。更に、１次カプセル層からの出力は、セグメント化カプセル（ＳｅｇＣａｐｓ）層への入力として提供される。Ｓｅｇｃａｐｓ層は、「５１２×５１２×１×１６」の次元である。ＳｅｇＣａｐｓ層は、受信された入力を処理し、第２のマスク画像を生成するために「５１２×５１２×１２８」の次元を有する再構成畳み込み層に出力を提供するように構成される。第２のマスク画像は、入力画像の再構成画像である。本発明の一実施形態では、ＳｅｇＣａｐｓ層は、第２のユーザタイプの身体測定値を決定するための「５１２×５１２」の次元を有するセグメント化された出力画像を提供するために、受信された入力画像に関連する１つ以上のベクトル長を計算するために、受信された入力を処理するように更に構成される。ＳｅｇＣａｐｓ層は、受信された入力画像に関連する１つ以上のベクトル長を計算するために、同じ空間次元を有する前の層からのカプセルタイプを連結する、スキップ接続を有するディープエンコーダ－デコーダアーキテクチャを含む。

【0039】

本発明の一実施形態では、アバター生成ユニット１１６は、以下の式に基づいて、カプセルｋに関連付けられたカプセルニューラルネットワーク（ＣａｐｓＮｅｔ）損失関数（ｌｋ）を計算するように構成される。

【数1】

式中、Ｔｋは、クラスｋが存在するときは常に１であり、そうでないときは０であり、ｍ＋、ｍ－、及びλは、ＣａｐｓＮｅｔのハイパーパラメータであり、最終損失は、複数のＩｋＳの和である。

【0040】

本発明の一実施形態では、セグメント化動作の適用に続いて、アバター生成ユニット１１６は、第２のユーザタイプの外部身体輪郭画像を計算するために、セグメント化された出力画像に１つ以上の分類技術を適用するように構成される。計算された身体輪郭画像は、第２のユーザタイプの身体測定値を決定するのに役立つ。本発明の例示的な実施形態では、類別技術は、ベイズ、ｋ最近傍法（ｋ－ＮＮ）、サポートベクターマシン（ＳＶＭ）、決定木、適応ブースティング、ランダムフォレスト、多層パーセプトロン（ＭＬＰ）、及び期待最大化クラシファイアを含む。本発明の一実施形態では、第２のユーザタイプの身体輪郭の計算において高い精度を提供する分類技術が、それぞれの実装のためにアバター生成ユニット１１６によって選択される。

【0041】

本発明の一実施形態では、アバター生成ユニット１１６は、図２ｃに示すように、計算された外部身体輪郭画像上の１つ以上のキーポイントを抽出するように構成される。本発明の一実施形態では、キーポイントは、少なくとも１つ以上の論理要素を使用することに基づいて抽出される。例えば、右手と右足との間の極大点が抽出され、右足と左足との間の極大点が抽出される。同様に、頭部及び他の身体部分について極大点及び極小点が抽出され、身体輪郭の左側及び右側からの２対２の組み合わせからの最短距離を有する２つの点が、キーポイントを抽出するために使用される。本発明の一実施形態では、アバター生成ユニット１１６は、第２のユーザタイプの身体測定値を正確に決定するために第２のユーザタイプの身長を使用して第２の入力タイプに関連付けられた身体画像を相関させるように更に構成される。本発明の一実施形態では、アバター生成ユニット１１６は、図２ｃに示すように、第２のユーザタイプの身体測定値を近似的に計算するために、決定された身体測定値に対して近似演算を実行するように構成される。有利なことに、近似演算は、第２のユーザタイプの身体部分の種々の視点を計算するのに役立つ。更に、第２のユーザタイプの決定された身体測定値は、記憶及び将来の検索のためにデータベース１２２に送信される。

【0042】

本発明の一実施形態では、第２のユーザタイプの決定された身体測定値は、３Ｄフォーマットで第２のユーザタイプの全身アバターを生成するために、アバター生成ユニット１１６によって、第２の要求の形態で、第２のユーザタイプの顔画像とともにセロリノードユニット１２４に送信される。本発明の例示的な実施形態では、第２の要求は、第２のユーザタイプの全身３Ｄアバターを生成するために、セロリノードユニット１２４に非同期的に送信される。本発明の一実施形態では、セロリノードユニット１２４は、受信された身体測定値及び第２のユーザタイプの顔画像を処理して、１つ以上の予め記憶されたベースモデルから、９０度次元空間における測定値（すなわち、サードパーティＡＰＩによって返された測定値の数）の最近傍である予め記憶されたベースモデルを選択するように構成される。ベースモデルは、所定の測定値を有する人体３Ｄモデルを表す。セロリノードユニット１２４は、第２のユーザタイプの受信された身体測定値に従って、ベースモデルの各測定値に対して少なくとも収縮演算又は伸長演算を適用するように更に構成される。更に、セロリノードユニット１２４は、測定値の収縮又は伸長が第２のユーザタイプのレンダリングされた全身３Ｄアバターにおいて見えないように、最も近いベース人体３Ｄモデルを選択する。

【0043】

本発明の一実施形態では、セロリノードユニット１２４は、ベースモデルを選択するために９０度次元空間内の最近傍を効率的に計算するためにボールツリーデータ構造を使用するように更に構成される。空間分割データ構造であるボールツリーデータ構造は、ベースモデルを９０度次元空間に組織化する。ボールツリーデータ構造は、ベースモデルをボールとして知られる超球のネストされたセットに分割する。結果として得られるデータ構造は、木構造の生成に基づいて最近傍探索を効率的に実行するために使用される。ボールツリー構造は、距離メトリックによって所与のベースモデルに最も近いツリー内のベースモデルを決定することに基づいて、複数の可能なベースモデルの中で最も近い人間ベースモデルを決定するのを助ける。本発明の例示的な実施形態では、複数の可能なベースモデルから最も近いベースモデルを選択するために、セロリノードユニット１２４によってマハラノビス距離技術（すなわち、距離メトリック）が実装される。ボールツリーデータ構造は、探索空間及び探索時間を短縮するのに役立つ。本発明の例示的な実施形態では、少なくとも４０～５０個のベースモデルが、少なくとも身長、体重、身体周囲（ウエスト、ヒップ、及び四肢）、手、脚の長さと膝下高に関連するがこれらに限定されない第２のユーザタイプの少なくとも９０個の身体測定値を使用して、３Ｄフォーマットでセロリノードユニット１２４によって生成される。更に、当該測定値は、第２のユーザタイプの身体のポーズを示すための種々の角度も含む。

【0044】

本発明の一実施形態では、セロリノードユニット１２４は、ベースモデルを選択した後に、選択されたベースモデルに基づいて少なくともノード１、ノード２、又はノード３を使用して３Ｄフォーマットで第２のユーザタイプの全身アバターを生成するように構成される。本発明の一実施形態では、セロリノードユニット１２４は、３Ｄフォーマットの第２のユーザタイプの生成された全身アバターをアバター生成ユニット１１６に送信するように構成され、次いで、アバター生成ユニット１１６は、記憶及び将来の検索のために、３Ｄオブジェクト管理ＡＰＩを使用して、第２のユーザタイプの生成された全身アバターをデータベース１２２に送信する。第２のユーザタイプの全身アバターは、第２のユーザタイプの一意のＩＤに対してデータベース１２２に記憶される。更に、アバター生成ユニット１１６は、第２のユーザタイプの全身アバターのリンクとともに、少なくとも対話型ウェブアプリケーション上の通知又はＳＭＳ及び電子メールを送信することによって、３Ｄフォーマットでの全身アバターの生成を第２のユーザタイプに指示するために、第２の入力ユニット１１２上のＡＰＩをトリガするように構成される。

【0045】

本発明の一実施形態では、衣服タイプ及び第２のユーザタイプの全身アバターの生成に続いて、エンジン１０４は、それぞれ衣服生成ユニット１１４及びアバター生成ユニット１１６を介してデータベース１２２から（少なくとも半自動方式又は自動方式で生成された）生成された衣服タイプ及び生成された第２のユーザタイプの全身３Ｄアバターをフェッチするために仮想試着ユニット１１８を呼び出すように構成される。仮想試着ユニット１１８は、少なくともブレンダー技術を使用することに基づいて仮想試着動作を実行するために、ＵＩ上のフェッチされた第２のユーザタイプの全身アバター及びフェッチされた衣服タイプを第２のユーザタイプにレンダリングするように構成されている。第２のユーザタイプは、ＵＩ上で衣服を選択し、仮想試着動作を実行するために生成された全身３Ｄアバター上に衣服をレンダリングし、第２の入力ユニット１１２を介して可視化することができる。第２のユーザタイプは、衣服とともにレンダリングされた３Ｄアバターを３６０°の角度ビューで回転させて、種々の角度からレンダリングされた衣服を可視化し、比較することができる。フィッティング及びデザインに基づいて、ユーザは、３Ｄアバター上にレンダリングされた衣服タイプを選択又は拒否することができる。

【0046】

図４は、本発明の種々の実施形態による、衣服の仮想試着のためのアバターの改善された生成を提供するための方法を示すフローチャートである。

【0047】

ステップ４０２において、１つ以上の衣服タイプを生成するために、第１のユーザタイプからの入力が受信される。本発明の一実施形態では、衣服タイプは、男性用衣服、女性用衣服、及び子供用衣服を含むが、これらに限定されない。衣服のタイプは、種々のデザイン、サイズ及び色である。更に、衣服タイプは、限定されないが、綿、混紡綿、絹、ナイロン、ポリエステル、天然繊維、タケ、リオセルなどの異なる材料のものである。本発明の一実施形態では、１つ以上の衣服タイプは、機械学習及び深層学習技術を適用することに基づいて生成される。少なくともウェブベースのポータル又はアプリケーションがレンダリングされ、それを介して、第１のユーザタイプは、第２のユーザタイプによる後続の仮想試着のために、種々のデザインの１つ以上の衣服タイプを生成するための入力をアップロードする。１つ以上の衣服タイプを生成するための入力は、少なくとも２Ｄ画像フォーマット及び３Ｄ画像フォーマットでアップロードされる。更に、１つ以上の衣服タイプを生成するためのアップロードされた入力は、少なくとも完全にスティッチングされた衣服画像、衣服の２Ｄ平面画像、又は衣服の３Ｄスケッチ画像を含むことができるが、これらに限定されない。本発明の一実施形態では、畳み込みニューラルネットワーク（ＣＮＮ）などの種々の機械学習及び深層学習技術が、第１のユーザタイプから受信された入力を処理するために、及びグラフィカルフォーマットで１つ以上の衣服タイプを生成するために適用される。

【0048】

本発明の一実施形態では、受信された第１のユーザタイプ入力及び生成された１つ以上の衣服タイプは、記憶された入力及び１つ以上の生成された衣服タイプの将来の検索のために、データ構造フォーマットでデータベースに記憶される。本発明の例示的な実施形態では、第１のユーザタイプは、衣服タイプ構成要素の材料要件を追加し、衣服タイプ構成要素の重要なサイジング要件に言及し、新しい衣服タイプを追加し、データベースに記憶された既存の衣服タイプを編集することができる。本発明の一実施形態では、データベースに記憶された生成された衣服タイプに対する編集は、衣服タイプ構成要素の測定値の変更、衣服タイプ構成要素の材料の変更、及び衣服タイプの設計の微調整を含むことができるが、これらに限定されない。更に、データベースに記憶された衣服タイプは、第２のユーザタイプにレンダリングされる前に実行された編集に基づいて更新される。

【0049】

ステップ４０４において、第２のユーザタイプの３Ｄアバターが、第２のユーザタイプによって入力された第１の入力タイプに基づいて半自動方式で生成される。本発明の一実施形態では、第２のユーザタイプの３Ｄアバターは、第２のユーザタイプによって入力された第１の入力タイプを取り込むことに基づいて半自動方式で生成される。第２のユーザタイプのアバターは、オフラインモードで、半自動方式で生成される。本発明の一実施形態では、第２のユーザタイプから第１の入力タイプを取り込むための要求を第２のユーザタイプに送信するために、対話型ウェブアプリケーションがレンダリングされる。第２のユーザタイプは、第１の入力タイプを入力するために、第２のユーザタイプに関連付けられたユーザ識別子を使用することに基づいてウェブアプリケーションを起動する。本発明の一実施形態では、第１の入力タイプは、限定はしないが、胸部サイズ、バストサイズ、ウエストサイズ、ヒップサイズ、身長、腕の長さ、及び股下の長さを含む、第２のユーザタイプの身体仕様の測定値を含む。身体測定値は、少なくともセンチメートル（ｃｍ）又はインチで取り込まれる。取り込まれた第１の入力タイプは、３Ｄオブジェクト管理ＡＰＩを使用して送信される。更に、身体測定値は、記憶及び将来の検索のためにデータベースに送信される。

【0050】

本発明の一実施形態では、第１の入力タイプは、オフラインモードで第２のユーザタイプの３Ｄアバターを生成するために処理される。本発明の一実施形態では、第１の入力タイプを受信した後、予め記憶された１つ以上の身体構成要素モデルをフェッチするためにデータベースが呼び出される。身体構成要素モデルは、３Ｄ身体スキャン技術を使用して予め生成され、データベースに予め記憶される。身体構成要素モデルは、予め定義された命名法でデータベースに記憶される。身体構成要素モデルは、頭部モデル、上半身モデル、下半身モデル、及び腕モデルの組み合わせを含んでもよいが、それらに限定されない。

【0051】

本発明の一実施形態では、受信された第１の入力タイプは、フェッチされた身体構成要素モデルとともに、第２のユーザタイプの全身３Ｄアバターを生成するために、第１の要求の形態でセロリノードユニットに送信される。第１の要求は、第２のユーザタイプの全身３Ｄアバターを生成するために、セロリノードユニットに非同期的に送信される。セロリノードユニットは、第２のユーザタイプの３Ｄアバターを生成するために、受信した第１の入力タイプ及び身体構成要素モデルを処理する。本発明の例示的な実施形態では、少なくともノード１、ノード２、又はノード３を使用するセロリノードユニットは、少なくともブレンダー技術を採用することによって、第２のユーザタイプの３Ｄアバターを生成するために、第１の入力タイプに基づいて、受信された身体構成要素モデル（すなわち、頭部モデル、上半身モデル、下半身モデル、及び腕モデル）を一緒にスティッチングするように構成される。本発明の例示的な実施形態では、セロリノードユニット１２４は、第２のユーザタイプの生成された３Ｄアバターをアニメーション化するように更に構成される。本発明の別の例示的な実施形態では、セロリノードユニットは、第２のユーザタイプのアバターを正確に生成するために、第２のユーザタイプの身体仕様（第１の入力タイプ）の少なくとも１００個の測定値を使用する。

【0052】

本発明の一実施形態では、第２のユーザタイプの３Ｄアバターの生成に続いて、３Ｄアバターの生成を開始するために、電子メール又はショートメッセージングサービス（ＳＭＳ）の形態のオフライン通知が第２のユーザタイプに送信される。第２のユーザタイプは、インストールされた対話型ウェブアプリケーションを介して、生成された３Ｄアバターを視聴することができる。更に、第２のユーザタイプの生成された３Ｄアバターは修正可能である。更に、第２のユーザタイプは、生成された３Ｄアバターを修正するための自身の要件を提供することができる。第２のユーザタイプ要件は、生成された３Ｄアバターを修正するために、セロリノードユニットに送信されてもよい。更に、第２のユーザタイプの生成されたアバターは、記憶及び将来の検索のためにデータベースに送信される。

【0053】

ステップ４０６において、第２のユーザタイプによって入力された第２の入力タイプを取り込むことに基づいて、第２のユーザタイプの３Ｄアバターが自動方式で生成される。本発明の一実施形態では、第２のユーザタイプの３Ｄアバターは、少なくともデジタル画像処理技術及び深層学習技術を適用することに基づいて自動方式で生成される。第２のユーザタイプの３Ｄアバターは、オンラインモードでリアルタイムに自動方式で生成される。本発明の一実施形態では、対話型ウェブアプリケーションは、第２のユーザタイプから第２の入力タイプを取り込むための要求を第２のユーザタイプに送信するためにレンダリングされる。本発明の例示的な実施形態では、第２の入力タイプは、カメラから取り込まれた第２のユーザタイプの身体画像を含むが、これに限定されない。本発明の一実施形態では、第２のユーザタイプは、第２の入力ユニット上に存在するカメラを介して、第２の入力タイプを取り込むための対話型ウェブアプリケーションを使用して異なる角度から全身スキャンを開始する。全身スキャンは、第２のユーザタイプの１つ以上の身体画像を２Ｄフォーマットで取り込む。取り込まれた１つ以上の身体画像は、限定はしないが、第２のユーザタイプの直線ポーズ画像、側面ポーズ画像、及び顔画像を含む。本発明の一実施形態では、直線ポーズ画像は、第２のユーザタイプの正面ポーズ画像及び背面ポーズ画像を含み、側面ポーズ画像は、第２のユーザタイプの右側面ポーズ画像及び左側面ポーズ画像を含み、これらのポーズ画像は、取得パターンと更に称される。更に、第２のユーザタイプの１つ以上の画像は、記憶及び将来の検索のためにデータベースに送信される。

【0054】

本発明の一実施形態では、第２の入力タイプに関連付けられた第２のユーザタイプの身体測定値を計算するための身体測定値アプリケーションプログラミングインターフェース（ＡＰＩ）を採用することによって、第２の入力タイプが受信される。デジタル画像処理技術及び深層学習技術は、第２のユーザタイプの１つ以上の身体測定値を計算するための２Ｄ形態である、第２のユーザタイプの第２の入力タイプに適用される。本発明の例示的な実施形態では、デジタル画像処理技術及び深層学習技術は、第２のユーザタイプの身体測定値を計算するために、第２の入力タイプに存在する少なくとも直線ポーズ画像及び側面ポーズ画像に適用される。

【0055】

本発明の一実施形態では、深層学習技術は、複数の層を有する、少なくとも畳み込みネットワーク（ＣＮＮ）、グラフニューラルネットワーク及びカプセルニューラルネットワークを含む。深層学習技術は、第２のユーザタイプの身体測定値を計算するために第２の入力タイプに並列に適用される。第２のユーザタイプの身体測定値の計算において高い精度を提供する深層学習技術が、それぞれの実装のために選択される。

【0056】

本発明の一実施形態では、訓練は、深層学習技術を適用することによって、第２のユーザタイプの身体測定値の計算の前に実行される。訓練は、第２のユーザタイプの身体画像と相関する、第２のユーザタイプの複数の身体測定値に関連するサンプルセットを含む複数のデータセットを使用して実行される。身体画像は、第２のユーザタイプの正面、背面、右側及び左側の身体ポーズを含むが、それらに限定されない。身体画像は、少なくともカメラを使用して、第２のユーザタイプを含むビデオクリップから取り込まれ得る。身体画像は、少なくともカラー及びグレースケール画像であってもよい。身体画像は、第２のユーザタイプの異なる皮膚タイプに更に関連してもよい。更に、訓練プロセスの前に画像からのノイズが除去される。

【0057】

本発明の一実施形態では、訓練に続いて、第２のユーザタイプの身体測定値が計算される。本発明の一実施形態では、セグメント化動作は、第２のユーザタイプの身体測定値を計算するために第２の入力タイプに対して深層学習技術を並列に実装することによって実行される。深層学習技術を使用することによって実装されるセグメント化動作では、まず、第１のマスク画像の形態のデンスポーズ画像が決定される。デンスポーズ画像は、第２の入力タイプにおいて人体全体を検出及び識別するために使用される。第２に、身体領域を決定するために第２の入力タイプに関連付けられた身体画像の周りにマーカを配置するための深層学習技術を使用して、正面ポーズ画像が処理される。本発明の例示的な実施形態では、第２の入力タイプに関連する身体画像の周りにマーカを配置するために、Ｚｈａｎｇ－Ｓｕｅｎ間引きアルゴリズムが使用される。第３に、深層学習技術は、決定された身体領域を使用して、分類器画像、第２のマスク画像を計算するために適用される。最後に、本明細書で以下に詳述されるように、セグメント化された出力画像を処理することによって、第２のユーザタイプの外部身体輪郭画像を計算する。

【0058】

本発明の例示的な実施形態では、カプセルニューラルネットワーク（ＣａｐｓＮｅｔ）が、セグメント化動作を実行し、第２のユーザタイプの身体測定値を計算するために実装される。ＣａｐｓＮｅｔアーキテクチャは、２つの畳み込み層（Ｃｏｎｖ１及びＣｏｎｖ２）と、１つの全結合層と、を含む。ＣａｐｓＮｅｔは、最初に、第２のユーザタイプの決定された身体部分を提供する次元「５１２×５１２」（縦（Ｈ）及び横（Ｗ））の画像を入力される。更に、画像はＣｏｎｖ１層に渡される。Ｃｏｎｖ１は、次元「５１２×５１２×１×１２８」のものであり、Ｃｏｎｖ１層は、１のストライドをもつ１２８個の９×９畳み込みカーネルを有し、正規化線形ユニット（ＲｅＬＵ）活性化を備える。更に、Ｃｏｎｖ１層の出力は、Ｃｏｎｖ２への入力として渡される。Ｃｏｎｖ２層は、次元「５１２×５１２×１×１２８」である。Ｃｏｎｖ２層は、ストライドが１である１２８個の９×９畳み込みカーネルを有し、ＲｅＬＵ活性化を含む。Ｃｏｎｖ１層及びＣｏｎｖ２層は、身体画像のピクセルサイズを選択し、第２の入力タイプに関連付けられた身体画像を通して所定のサイズのウィンドウを実行し、画像の左側から開始して右側に進み、ピクセルごとに、ピクセル強度を局所特徴検出器のアクティビティに変換する。局所特徴は、身体の部分及び身体の輪郭を表す。ウィンドウの実行は、それによって、身体画像を複数の小さい画像にセグメント化し、次いで、出力画像を決定するために一緒に組み合わされる。更に、Ｃｏｎｖ２層からの出力画像は、次元「５１２×５１２×３２×８」の１次カプセル層への入力として提供される。１次カプセル層内の１次カプセルは、多次元エンティティの最低レベルであり、逆グラフィックスの視点から、１次カプセルを活性化することは、レンダリングプロセスを反転させることに対応する。更に、１次カプセル層からの出力は、セグメント化カプセル（ＳｅｇＣａｐｓ）層への入力として提供される。Ｓｅｇｃａｐｓ層は、「５１２×５１２×１×１６」の次元である。ＳｅｇＣａｐｓ層は、受信された入力を処理し、第２のマスク画像を生成するために「５１２×５１２×１２８」の次元を有する再構成畳み込み層に出力を提供するように構成される。第２のマスク画像は、入力画像の再構成画像である。本発明の一実施形態では、ＳｅｇＣａｐｓ層は、第２のユーザタイプの身体測定値を決定するための「５１２×５１２」の次元を有するセグメント化された出力画像を提供するために、受信された入力画像に関連する１つ以上のベクトル長を計算するために、受信された入力を処理するように更に構成される。ＳｅｇＣａｐｓ層は、受信された入力画像に関連する１つ以上のベクトル長を計算するために、同じ空間次元を有する前の層からのカプセルタイプを連結する、スキップ接続を有するディープエンコーダ－デコーダアーキテクチャを含む。

【0059】

本発明の一実施形態では、カプセルｋに関連するカプセルニューラルネットワーク（ＣａｐｓＮｅｔ）損失関数（ｌｋ）は、以下の式に基づいて計算される。

【数2】

ここで、Ｔｋは、クラスｋが存在するときは常に１であり、そうでないときは０であり、ｍ＋、ｍ－、及びλは、ＣａｐｓＮｅｔのハイパーパラメータであり、最終損失は、複数のＩｋＳの和である。

【0060】

本発明の一実施形態では、セグメント化動作の適用に続いて、第２のユーザタイプの外部身体輪郭画像を計算するために、セグメント化された出力画像に１つ以上の分類技術が適用される。計算された身体輪郭画像は、第２のユーザタイプの身体測定値を決定するのに役立つ。本発明の例示的な実施形態では、類別技術は、ベイズ、ｋ最近傍法（ｋ－ＮＮ）、サポートベクターマシン（ＳＶＭ）、決定木、適応ブースティング、ランダムフォレスト、多層パーセプトロン（ＭＬＰ）、及び期待最大化クラシファイアを含む。本発明の一実施形態では、第２のユーザタイプの身体輪郭の計算において高い精度を提供する分類技術が、それぞれの実装のために選択される。

【0061】

本発明の一実施形態では、身体外輪郭画像の計算に続いて、計算された身体外輪郭画像上の１つ以上のキーポイントが抽出される。本発明の一実施形態では、キーポイントは、少なくとも１つ以上の論理要素を使用することに基づいて抽出される。例えば、右手と右足との間の極大点が抽出され、右足と左足との間の極大点が抽出される。同様に、頭部及び他の身体部分について極大点及び極小点が抽出され、身体輪郭の左側及び右側からの２対２の組み合わせからの最短距離を有する２つの点が、キーポイントを抽出するために使用される。本発明の一実施形態では、第２の入力タイプに関連付けられた身体画像は、第２のユーザタイプの身体測定値を正確に決定するために第２のユーザタイプの身長を使用して相関される。本発明の一実施形態では、第２のユーザタイプの身体測定値を近似的に計算するために、決定された身体測定値に対して近似演算が実行される。更に、第２のユーザタイプの決定された身体測定値は、記憶及び将来の検索のためにデータベースに送信される。

【0062】

本発明の一実施形態では、第２のユーザタイプの決定された身体測定値は、３Ｄフォーマットで第２のユーザタイプの全身アバターを生成するために、第２の要求の形態で、第２のユーザタイプの顔画像とともにセロリノードユニットに送信される。本発明の例示的な実施形態では、第２の要求は、第２のユーザタイプの全身３Ｄアバターを生成するために、セロリノードユニットに非同期的に送信される。本発明の一実施形態では、セロリノードユニットは、第２のユーザタイプの全身３Ｄアバターを生成するために、９０度次元空間における測定値（すなわち、サードパーティＡＰＩによって返される測定値の数）の最近傍である予め記憶されたベースモデルを１つ以上の予め記憶されたベースモデルから選択するために、受信された身体測定値と第２のユーザタイプの顔画像とを処理する。ベースモデルは、所定の測定値を有する人体３Ｄモデルを表す。セロリノードユニットは、第２のユーザタイプの受信された身体測定値に従って、ベースモデルの各測定値に対して収縮演算又は伸長演算を更に適用する。更に、セロリノードユニットは、測定値の収縮又は伸長が第２のユーザタイプのレンダリングされた全身３Ｄアバターにおいて見えないように、最も近いベース人体３Ｄモデルを選択する。

【0063】

本発明の一実施形態では、セロリノードユニットは、ベースモデルを選択するために９０度次元空間内の最近傍を効率的に計算するためのボールツリーデータ構造を更に使用する。空間分割データ構造であるボールツリーデータ構造は、ベースモデルを９０度次元空間に組織化する。ボールツリーデータ構造は、ベースモデルをボールとして知られる超球のネストされたセットに分割する。結果として得られるデータ構造は、木構造の生成に基づいて最近傍探索を効率的に実行するために使用される。ボールツリー構造は、距離メトリックによって所与のベースモデルに最も近いツリー内のベースモデルを決定することに基づいて、複数の可能なベースモデルの中で最も近い人間ベースモデルを決定するのを助ける。本発明の例示的な実施形態では、複数の可能なベースモデルから最も近いベースモデルを選択するために、セロリノードユニットによってマハラノビス距離技術（すなわち、距離メトリック）が実装される。本発明の例示的な実施形態では、少なくとも４０～５０個のベースモデルが、少なくとも身長、体重、身体周囲（ウエスト、ヒップ、及び四肢）、手、脚の長さと膝下高に関連するがこれらに限定されない第２のユーザタイプの少なくとも９０個の身体測定値を使用して、３Ｄフォーマットでセロリノードユニットによって生成される。更に、当該測定値は、第２のユーザタイプの身体のポーズを示すための種々の角度も含む。

【0064】

本発明の一実施形態では、セロリノードユニットは、ベースモデルを選択した後、選択されたベースモデルに基づいて、少なくともノード１、ノード２、又はノード３を使用して、３Ｄフォーマットの第２のユーザタイプの全身アバターを生成する。本発明の一実施形態では、セロリノードユニットは、記憶及び将来の検索のために、３Ｄオブジェクト管理ＡＰＩを使用して、３Ｄフォーマットの第２のユーザタイプの生成された全身アバターをデータベースに送信する。第２のユーザタイプの全身アバターは、第２のユーザタイプの一意のＩＤに対してデータベースに記憶される。更に、第２のユーザタイプの全身アバターのリンクとともに、少なくとも対話型ウェブアプリケーション又はＳＭＳ及び電子メールに関する通知を送信することによって、３Ｄフォーマットでの全身アバターの生成に関して第２のユーザタイプを開始するためのＡＰＩがトリガされる。

【0065】

ステップ４０８において、生成された衣服は、仮想試着動作を実行するために、第２のユーザタイプの生成された３Ｄアバター上にレンダリングされる。本発明の一実施形態では、衣服タイプ及び第２のユーザタイプの全身アバターの生成に続いて、生成された衣服タイプ及び（少なくとも半自動方式又は自動方式で生成された）第２のユーザタイプの生成された全身３Ｄアバターがデータベースからフェッチされる。フェッチされた第２のユーザタイプの全身アバター及びフェッチされた衣服タイプは、少なくともブレンダー技術を使用することに基づいて仮想試着動作を実行するために、第２のユーザタイプに対するＵＩ上にレンダリングされる。第２のユーザタイプは、ＵＩ上で衣服を選択し、仮想試着動作及び可視化を実行するために、生成された全身３Ｄアバター上に衣服をレンダリングすることができる。第２のユーザタイプは、衣服とともにレンダリングされた３Ｄアバターを３６０°の角度ビューで回転させて、種々の角度からレンダリングされた衣服を可視化し、比較することができる。フィッティング及びデザインに基づいて、ユーザは、３Ｄアバター上にレンダリングされた衣服タイプを選択又は拒否することができる。

【0066】

有利なことに、本発明の種々の実施形態では、システム１００及び方法は、衣服の仮想試着のためのアバターの改善された生成を提供するように構成される。本発明は、アクション可能ＵＩを介してオンラインモード及びオフラインモードで衣服の仮想試着のためのユーザの３Ｄアバターの生成を提供する。本発明は、アバター生成のためのユーザからの入力を効率的に取り込むことに基づいて、正確な身体仕様を有するユーザのアバターを生成することを提供する。本発明は、仮想試着動作を使用して衣服の効果的な比較を提供する。更に、本発明は、少なくともユーザの身体仕様及び２Ｄ画像を使用して、ユーザの３Ｄアバター上に衣服を効果的にレンダリングすることを提供する。更に、本発明は、購入前の衣服の仮想試着、任意の場所での試着、衣服を購入する前の第２のユーザタイプの時間の節約、１つの第２のユーザタイプと他の第２のユーザタイプとの共同作業、より良好なユーザ体験、ユーザの好みの分析、衣服のカスタマイズ、及び衣服に関する関心の構築を提供する。

【0067】

図５は、本発明の種々の実施形態を実装することができる例示的なコンピュータシステムを示す。コンピュータシステム５０２は、プロセッサ５０４（１０６、図１）及びメモリ５０６（１０８、図１）を備える。プロセッサ５０４（１０６、図１）は、プログラム命令を実行し、実プロセッサである。コンピュータシステム５０２は、説明される実施形態の使用又は機能の範囲に関していかなる限定を示唆することも意図されていない。例えば、コンピュータシステム５０２は、プログラムされたマイクロプロセッサ、マイクロコントローラ、周辺集積回路素子、及び本発明の方法を構成するステップを実装することができる他のデバイス又はデバイスの構成を含むことができるが、これらに限定されない。本発明の一実施形態では、メモリ５０６（１０８、図１）は、本発明の種々の実施形態を実装するためのソフトウェアを記憶することができる。コンピュータシステム５０２は、追加の構成要素を有してもよい。例えば、コンピュータシステム５０２は、１つ以上の通信チャネル５０８、１つ以上の入力デバイス５１０、１つ以上の出力デバイス５１２、及びストレージ５１４を含む。バス、コントローラ、又はネットワークなどの相互接続機構（図示せず）が、コンピュータシステム５０２の構成要素を相互接続する。本発明の種々の実施形態では、オペレーティングシステムソフトウェア（図示せず）は、コンピュータシステム５０２内で実行される種々のソフトウェアのための動作環境を提供し、コンピュータシステム５０２の構成要素の種々の機能を管理する。

【0068】

通信チャネル（複数可）５０８は、通信媒体を介した種々の他のコンピューティングエンティティへの通信を可能にする。通信媒体は、通信媒体内のプログラム命令又は他のデータなどの情報を提供する。通信媒体は、電気、光学、ＲＦ、赤外線、音響、マイクロ波、Ｂｌｕｅｔｏｏｔｈ、又は他の伝送媒体を用いて実装される、有線又は無線方法を含むが、それらに限定されない。

【0069】

入力デバイス（複数可）５１０は、キーボード、マウス、ペン、ジョイスティック、トラックボール、音声デバイス、スキャンデバイス、タッチスクリーン、又はコンピュータシステム５０２に入力を提供することが可能な任意の別のデバイスを含み得るが、これらに限定されない。本発明の一実施形態では、入力デバイス（複数可）５１０は、音声入力をアナログ又はデジタル形式で受け入れるサウンドカード又は同様のデバイスとすることができる。出力デバイス（複数可）５１２は、ＣＲＴ又はＬＣＤ上のユーザインターフェース、プリンタ、スピーカ、ＣＤ／ＤＶＤライタ、又はコンピュータシステム５０２からの出力を提供する任意の他のデバイスを含んでもよいが、これらに限定されない。

【0070】

ストレージ５１４は、限定はしないが、磁気ディスク、磁気テープ、ＣＤ－ＲＯＭ、ＣＤ－ＲＷ、ＤＶＤ、フラッシュドライブ、又は情報を記憶するために使用することができ、コンピュータシステム５０２によってアクセスすることができる任意の他の媒体を含むことができる。本発明の種々の実施形態では、ストレージ５１４は、記載された実施形態を実装するためのプログラム命令を含む。

【0071】

本発明は、コンピュータシステム５０２とともに使用するためのコンピュータプログラム製品として適切に実施することができる。本明細書で説明される方法は、典型的には、コンピュータシステム５０２又は任意の他の同様のデバイスによって実行されるプログラム命令のセットを含むコンピュータプログラム製品として実装される。プログラム命令のセットは、コンピュータ可読記憶媒体（ストレージ５１４）、例えば、ディスケット、ＣＤ－ＲＯＭ、ＲＯＭ、フラッシュドライブ、又はハードディスクなどの有形媒体上に記憶された、あるいは、モデム又は他のインターフェースデバイスを介して、限定はしないが、光又はアナログ通信チャネル（複数可）５０８を含む有形媒体を介してコンピュータシステム５０２に送信可能な、一連のコンピュータ可読コードとすることができる。コンピュータプログラム製品としての本発明の実装は、マイクロウェーブ、赤外線、Ｂｌｕｅｔｏｏｔｈ又は他の伝送技術を含むがこれらに限定されない無線技術を用いた無形の形態であってもよい。これらの命令は、システムに予めロードされるか、又はＣＤ－ＲＯＭなどの記憶媒体に記録されるか、又はインターネット若しくは携帯電話ネットワークなどのネットワークを介してダウンロードするために利用可能にされ得る。一連のコンピュータ可読命令は、本明細書で前に説明した機能の全て又は一部を実施することができる。

【0072】

本発明は、システム、方法、又はプログラミング命令が遠隔地から通信されるコンピュータ可読記憶コンピュータネットワーク若しくは媒体などのコンピュータプログラム製品を含む、多数の方法で実装することができる。

【0073】

本発明の例示的な実施形態が本明細書に記載され図示されているが、それらは単なる例示であることが理解されるであろう。当業者であれば、本発明の範囲から逸脱することなく、又は本発明の範囲に違反することなく、形態及び詳細において種々の修正を行うことができることを理解するであろう。

【図1】

【図2a】

【図2b】

【図2c】

【図3】

【図4】

【図5】

【国際調査報告】