特表 2023-547443 ２次元画像に基づく３次元メッシュ発生器

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-11-10

(54)【発明の名称】２次元画像に基づく３次元メッシュ発生器

(51)【国際特許分類】

   G06T 17/20 20060101AFI20231102BHJP

   G06T 7/00 20170101ALI20231102BHJP

【ＦＩ】

G06T17/20

G06T7/00 350C

G06T7/00 660Z

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023526010

(86)(22)【出願日】2020-10-29

(85)【翻訳文提出日】2023-06-09

(86)【国際出願番号】 IB2020060180

(87)【国際公開番号】W WO2022090775

(87)【国際公開日】2022-05-05

(81)【指定国・地域】

(71)【出願人】

【識別番号】521546728

【氏名又は名称】ヒンジ ヘルス， インコーポレイテッド

(74)【代理人】

【識別番号】100078282

【弁理士】

【氏名又は名称】山本 秀策

(74)【代理人】

【識別番号】100113413

【弁理士】

【氏名又は名称】森下 夏樹

(74)【代理人】

【識別番号】100181674

【弁理士】

【氏名又は名称】飯田 貴敏

(74)【代理人】

【識別番号】100181641

【弁理士】

【氏名又は名称】石川 大輔

(74)【代理人】

【識別番号】230113332

【弁護士】

【氏名又は名称】山本 健策

(72)【発明者】

【氏名】ザンジュネープール， ソエイユ

(72)【発明者】

【氏名】ブラウン， コリン ジョゼフ

(72)【発明者】

【氏名】クルシェウスキ， ポール アンソニー

【テーマコード（参考）】

5B080

5L096

【Ｆターム（参考）】

5B080AA14

5B080BA00

5B080CA00

5L096AA02

5L096AA06

5L096FA66

5L096HA11

5L096KA04

(57)【要約】

装置が、提供される。本装置は、外部ソースから未加工データを受信するための通信インターフェースを含む。未加工データは、オブジェクトの表現を含む。さらに、本装置は、未加工データを記憶するためのメモリ記憶ユニットを含む。本装置はまた、未加工データから粗セグメント化マップおよび関節ヒートマップを発生させるための前処理エンジンも含む。粗セグメント化マップは、オブジェクトの輪郭を描くためのものであり、関節ヒートマップは、オブジェクト上の点を表すためのものである。本装置はさらに、未加工データ、粗セグメント化マップ、および関節ヒートマップを受信するためのニューラルネットワークエンジンも含む。ニューラルネットワークエンジンは、複数の２次元マップを発生させるためのものである。また、本装置は、複数の２次元マップに基づいて３次元メッシュを発生させるためのメッシュ生成器エンジンも含む。

【特許請求の範囲】

【請求項1】

装置であって、
外部ソースから未加工データを受信するための通信インターフェースであって、前記未加工データは、オブジェクトの表現を含む、通信インターフェースと、
前記未加工データを記憶するためのメモリ記憶ユニットと、
前記未加工データから粗セグメント化マップおよび関節ヒートマップを発生させるための前処理エンジンであって、前記粗セグメント化マップは、前記オブジェクトの輪郭を描くためのものであり、前記関節ヒートマップは、前記オブジェクト上の点を表すためのものである、前処理エンジンと、
前記未加工データ、前記粗セグメント化マップ、および前記関節ヒートマップを受信するためのニューラルネットワークエンジンであって、前記ニューラルネットワークエンジンは、複数の２次元マップを発生させるためのものである、ニューラルネットワークエンジンと、
前記複数の２次元マップに基づいて３次元メッシュを発生させるためのメッシュ生成器エンジンと
を備える、装置。

【請求項2】

前記未加工データは、２次元画像である、請求項１に記載の装置。

【請求項3】

前記２次元画像は、ＲＧＢ画像である、請求項２に記載の装置。

【請求項4】

前記オブジェクトは、人である、請求項１－３のいずれか１項に記載の装置。

【請求項5】

前記前処理エンジンは、複数の関節ヒートマップを発生させるためのものであり、前記ニューラルネットワークエンジンは、前記複数の関節ヒートマップを使用し、前記複数の２次元マップを発生させるためのものであり、前記複数の関節ヒートマップは、前記関節ヒートマップを含む、請求項４に記載の装置。

【請求項6】

前記複数の関節ヒートマップは、左眼、右眼、左肩、右肩、左肘、右肘、左手首、右手首、左臀部、右臀部、左膝、右膝、左足首、右足首、左足指、および右足指のそれぞれに関して別個のヒートマップを含む、請求項５に記載の装置。

【請求項7】

前記ニューラルネットワークエンジンは、完全畳み込みネットワークを使用するためのものである、請求項１－６のいずれか１項に記載の装置。

【請求項8】

前記完全畳み込みネットワークは、半教師あり２段積層Ｕ－ｎｅｔを含む、請求項７に記載の装置。

【請求項9】

前記複数の２次元マップは、細セグメント化マップと、距離マップと、厚さマップと、正面赤色マップと、正面緑色マップと、正面青色マップと、背面赤色マップと、背面緑色マップと、背面青色マップと、請求項１－８のいずれか１項に記載の装置。

【請求項10】

前記複数の２次元マップはさらに、第１の正面法線マップと、第２の正面法線マップと、第１の背面法線マップと、第２の背面法線マップとを含み、前記ニューラルネットワークエンジンの訓練プロセスを改良する、請求項９に記載の装置。

【請求項11】

前記距離マップは、基準面と正面との間にある距離を含む、請求項９または１０に記載の装置。

【請求項12】

前記基準面は、カメラ面と前記オブジェクトとの間にある、請求項１１に記載の装置。

【請求項13】

前記ニューラルネットワークエンジンは、前記未加工データから照明および陰データを除去するためのものである、請求項９－１２のいずれか１項に記載の装置。

【請求項14】

前記メッシュ生成器エンジンは、前記細セグメント化マップ内に前記３次元メッシュを発生させ、セグメント化から外れたピクセルを破棄する、請求項９－１３のいずれか１項に記載の装置。

【請求項15】

方法であって、
通信インターフェースを介して外部ソースから未加工データを受信することであって、前記未加工データは、人の表現を含む、ことと、
前記未加工データをメモリ記憶ユニット内に記憶することと、
前処理エンジンを介して前記未加工データから粗セグメント化マップおよび関節ヒートマップを発生させることであって、前記粗セグメント化マップは、前記人の輪郭を描くためのものであり、前記関節ヒートマップは、前記人上の関節を表すためのものである、ことと、
前記未加工データ、前記粗セグメント化マップ、および前記関節ヒートマップにニューラルネットワークを適用し、複数の２次元マップを発生させることと、
前記複数の２次元マップに基づいて３次元メッシュを発生させることと
を含む、方法。

【請求項16】

前記未加工データを受信することは、２次元画像を受信することを含む、請求項１５に記載の方法。

【請求項17】

前記２次元画像を受信することは、ＲＧＢ画像を受信することを含む、請求項１６に記載の方法。

【請求項18】

複数の関節ヒートマップを発生させることをさらに含み、前記複数の関節ヒートマップは、前記ニューラルネットワークによって前記複数の２次元マップを発生させるために使用され、前記複数の関節ヒートマップは、前記関節ヒートマップを含む、請求項１５－１７のいずれか１項に記載の方法。

【請求項19】

前記ニューラルネットワークを適用することは、完全畳み込みネットワークを適用することを含む、請求項１５－１８のいずれか１項に記載の方法。

【請求項20】

前記複数の２次元マップを発生させることは、距離マップを発生させることを含み、前記距離マップは、基準面と正面との間にある距離を含む、請求項１５－１９のいずれか１項に記載の方法。

【請求項21】

カメラ面と前記人との間に前記基準面を設定することをさらに含む、請求項２０に記載の方法。

【請求項22】

前記ニューラルネットワークを用いて前記未加工データから照明および陰データを除去することをさらに含む、請求項１５－２１のいずれか１項に記載の方法。

【請求項23】

コードでエンコードされる非一過性コンピュータ可読媒体であって、前記コードは、プロセッサに、
通信インターフェースを介して外部ソースから未加工データを受信することであって、前記未加工データは、人の表現を含む、ことと、
メモリ記憶ユニット内に前記未加工データを記憶することと、
前処理エンジンを介して前記未加工データから粗セグメント化マップおよび関節ヒートマップを発生させることであって、前記粗セグメント化マップは、前記人の輪郭を描くためのものであり、前記関節ヒートマップは、前記人上の関節を表すためのものである、ことと、
前記未加工データ、前記粗セグメント化マップ、および前記関節ヒートマップにニューラルネットワークを適用し、複数の２次元マップを発生させることと、
前記複数の２次元マップに基づいて３次元メッシュを発生させることと
を行うように指示するためのものである、非一過性コンピュータ可読媒体。

【請求項24】

前記コードは、前記プロセッサに、２次元画像を前記未加工データとして受信するように指示するためのものである、請求項２３に記載の非一過性コンピュータ可読媒体。

【請求項25】

前記２次元画像は、ＲＧＢ画像である、請求項２４に記載の非一過性コンピュータ可読媒体。

【請求項26】

前記コードは、前記プロセッサに、複数の関節ヒートマップを発生させるように指示するためのものであり、前記複数の関節ヒートマップは、前記ニューラルネットワークによって前記複数の２次元マップを発生させるために使用され、前記複数の関節ヒートマップは、前記関節ヒートマップを含む、請求項２３－２５のいずれか１項に記載の非一過性コンピュータ可読媒体。

【請求項27】

適用されるべき前記ニューラルネットワークは、完全畳み込みニューラルネットワークである、請求項２３－２６のいずれか１項に記載の非一過性コンピュータ可読媒体。

【請求項28】

前記コードは、前記プロセッサに、前記複数の２次元マップのうちの１つとして距離マップを発生させるように指示するためのものであり、前記距離マップは、基準面と正面との間にある距離を含む、請求項２３－２５のいずれか１項に記載の非一過性コンピュータ可読媒体。

【請求項29】

前記コードは、前記プロセッサに、前記ニューラルネットワークを用いて前記基準面を設定するように指示するためのものであり、前記基準面は、カメラ面と前記人との間に設定されるためのものである、請求項２８に記載の非一過性コンピュータ可読媒体。

【請求項30】

前記コードは、前記プロセッサに、前記ニューラルネットワークを用いて前記未加工データから照明および陰データを除去するように指示するためのものである、請求項２３－２９のいずれか１項に記載の非一過性コンピュータ可読媒体。

【発明の詳細な説明】

【背景技術】

【0001】

コンピュータアニメーションは、映画、ビデオゲーム、エンターテインメント、生体力学、訓練映像、スポーツシミュレータ、および他の技術における、コンピュータ発生イメージ等、種々の用途内で使用され得る。人々または他のオブジェクトのアニメーションは、コンピュータアニメーションシステムによって操作され、３次元における種々の運動を行い得る、３次元メッシュの発生を伴い得る。運動は、ユーザまたは観衆によって、単一の角度から、または複数の角度から視認され得る。

【0002】

コンピュータアニメーションにおいてアニメーション化されるべきオブジェクトは、典型的には、本システム内で予めプログラムされる。例えば、アーティストまたはイラストレータが、アニメーション化されるべきオブジェクトの一般的外観を開発し得る。いくつかの実施例では、複数の外観が、異なる顔または身体タイプを有する人々等のオブジェクトに関して生成されてもよい。これらの付加的なアバタをデザインすることにおいて、プログラマまたはグラフィックデザイナが、典型的には、アバタ毎に個々にメッシュを発生させ得る。いくつかの実施例では、現実のオブジェクトの走査もまた、複数の角度から捉えられ、３次元メッシュを形成するようにともにスティッチングされ得る。

【発明の概要】

【課題を解決するための手段】

【0003】

コンピュータアニメーションは、人々等の種々のオブジェクトに運動を提供するために広範囲の異なる分野において使用される。コンピュータアニメーションの多くの実施例では、オブジェクトの３次元表現が、種々の特性とともに生成される。特性は、特に限定されず、オブジェクトおよびオブジェクトが有し得る、予期される運動および可動域に依存し得る。例えば、オブジェクトが自動車である場合、自動車は、開放するドアと、旋回し得る車輪と、所定の範囲の角度内で方向転換し得る、前輪とを伴う、セダン等の標準的形状を有することが予期され得る。

【0004】

オブジェクトが人である、他の実施例では、人は、異なる可動域を伴う種々の関節を有するであろう。用語「関節」が、人上の基準点の近似値を表すように、可動域を伴ってモデル化され得る、人における種々の基準点を指すことが、当業者によって、本説明の恩恵とともに理解されるはずである。例えば、関節は、眼等、生理学的関節ではなく、人上の基準点も指し得る。他の実施例では、関節は、手首または足首等、複数の生理学的骨関節に伴う基準点を指し得る。

【0005】

故に、アニメーション化されるべきオブジェクトは、概して、各関節における場所および可動域等の関連のある特性を伴う、予めプログラムされたメッシュによって表され得る。各関節における位置および利用可能な可動域は、オブジェクトに自然な移動の外観を提供するであろう。加えて、メッシュは、その上に追加され、オブジェクトのより明瞭な外観を提供する、質感および色等の付加的な特徴を有してもよい。例えば、人の３次元メッシュは、人の自然な移動を模倣するための生理学的関節を表す関節を伴って発生されてもよい。色が、皮膚の色および／または衣服に合致するようにメッシュに追加されてもよく、質感もまた、実際の人の外観を提供するように追加されてもよい。メッシュは、次いで、上記に説明されるもの等の種々の目的のためにアニメーション化され得る。

【0006】

単一の２次元画像に基づいて３次元メッシュを発生させる装置および方法が、提供される。本装置は、オブジェクトを表す画像を受信し、次いで、入力画像において可視ではないオブジェクトの背面を推論することを含め、完全な３次元メッシュを導出し得る。オブジェクトの背面の発生は、下記に詳細に説明されるであろう、種々の入力パラメータに基づいて背面を近似するように合成データを用いて訓練されている、ニューラルネットワークによって行われる。単一の２次元画像から３次元メッシュを発生させるための手段を提供することによって、生きているようなアバタが、デザイナまたはプログラマによってアバタを手動で発生させることなく、生成され得る。さらに、単一の２次元画像の使用はさらに、３次元メッシュ、色、および質感を補間するために複数の角度からの複数の走査を使用し得る、他の方法と比較して、本プロセスを促進する。

【0007】

本説明では、下記に議論されるモデルおよび技法は、概して、人に適用される。下記に説明される実施例が、動物および機械等の他のオブジェクトにも同様に適用され得ることが、当業者によって、本説明の恩恵とともに理解されるはずである。

【図面の簡単な説明】

【0008】

ここで、単に実施例として、付随の図面が、参照されるであろう。

【0009】

【図1】図１は、単一の２次元画像に基づいて３次元メッシュを発生させるための例示的装置の構成要素の略図である。

【0010】

【図2】図２は、図１の装置において受信される画像を表す、未加工データのある実施例である。

【0011】

【図3A】図３Ａは、図２の画像内の赤色の強度のマップである。

【0012】

【図3B】図３Ｂは、図２の画像内の緑色の強度のマップである。

【0013】

【図3C】図３Ｃは、図２の画像内の青色の強度のマップである。

【0014】

【図4】図４は、図２の画像の粗セグメント化マップである。

【0015】

【図5A】図５Ａは、図２の画像内の人の右肩関節の関節ヒートマップである。

【0016】

【図5B】図５Ｂは、図２の画像内の人の右肘関節の関節ヒートマップである。

【0017】

【図5C】図５Ｃは、図２の画像内の人の右手首関節の関節ヒートマップである。

【0018】

【図5D】図５Ｄは、図２の画像内の人の左肩関節の関節ヒートマップである。

【0019】

【図5E】図５Ｅは、図２の画像内の人の左肘関節の関節ヒートマップである。

【0020】

【図5F】図５Ｆは、図２の画像内の人の左手首関節の関節ヒートマップである。

【0021】

【図5G】図５Ｇは、図２の画像内の人の右股関節の関節ヒートマップである。

【0022】

【図5H】図５Ｈは、図２の画像内の人の右膝関節の関節ヒートマップである。

【0023】

【図5I】図５Ｉは、図２の画像内の人の右足首関節の関節ヒートマップである。

【0024】

【図5J】図５Ｊは、図２の画像内の人の左股関節の関節ヒートマップである。

【0025】

【図5K】図５Ｋは、図２の画像内の人の左膝関節の関節ヒートマップである。

【0026】

【図5L】図５Ｌは、図２の画像内の人の左足首関節の関節ヒートマップである。

【0027】

【図5M】図５Ｍは、図２の画像内の人の右眼の関節ヒートマップである。

【0028】

【図5N】図５Ｎは、図２の画像内の人の左眼の関節ヒートマップである。

【0029】

【図5P】図５Ｐは、図２の画像内の人の左足指の関節ヒートマップである。

【0030】

【図5Q】図５Ｑは、図２の画像内の人の右足指の関節ヒートマップである。

【0031】

【図6】図６は、単一の画像上に重畳された、図５Ａ－５Ｑに示される関節ヒートマップの表現である。

【0032】

【図7】図７は、図２の画像の細セグメント化マップである。

【0033】

【図8A】図８Ａは、ニューラルネットワークエンジンによって発生されるような正面の２次元距離マップである

【0034】

【図8B】図８Ｂは、ニューラルネットワークエンジンによって発生されるような正面の２次元厚さマップである。

【0035】

【図9A】図９Ａは、ニューラルネットワークエンジンによって発生されるような正面の赤色の強度のマップである。

【0036】

【図9B】図９Ｂは、ニューラルネットワークエンジンによって発生されるような正面の緑色の強度のマップである。

【0037】

【図9C】図９Ｃは、ニューラルネットワークエンジンによって発生されるような正面の青色の強度のマップである。

【0038】

【図10A】図１０Ａは、ニューラルネットワークエンジンによって発生されるような背面の赤色の強度のマップである。

【0039】

【図10B】図１０Ｂは、ニューラルネットワークエンジンによって発生されるような背面の緑色の強度のマップである。

【0040】

【図10C】図１０Ｃは、ニューラルネットワークエンジンによって発生されるような背面の青色の強度のマップである。

【0041】

【図11A】図１１Ａは、ニューラルネットワークエンジンによって発生されるような正面の第１の法線値のマップである。

【0042】

【図11B】図１１Ｂは、ニューラルネットワークエンジンによって発生されるような正面の第２の法線値のマップである。

【0043】

【図12A】図１２Ａは、ニューラルネットワークエンジンによって発生されるような背面の第１の法線値のマップである。

【0044】

【図12B】図１２Ｂは、ニューラルネットワークエンジンによって発生されるような背面の第２の法線値のマップである。

【0045】

【図13A】図１３Ａは、ともにスティッチングされた３次元メッシュの正面図である。

【0046】

【図13B】図１３Ｂは、ともにスティッチングされた３次元メッシュの側面図である。

【0047】

【図13C】図１３Ｃは、ともにスティッチングされた３次元メッシュの後面図である。

【0048】

【図14】図１４は、距離および厚さ測定値を図示するためのシステムの略図である。

【0049】

【図15A】図１５Ａは、図９Ａ－９Ｃおよび１０Ａ－１０Ｃの２次元マップに基づく、追加された色とともにスティッチングされた３次元メッシュの正面図である。

【0050】

【図15B】図１５Ｂは、図１５Ａに示されるメッシュの側面図である。

【0051】

【図15C】図１５Ｃは、図１５Ａに示されるメッシュの後面図である。

【0052】

【図16】図１６は、単一の２次元画像に基づいて３次元メッシュを発生させるために本装置へのアクセスを提供するためのシステムの略図である。

【0053】

【図17】図１７は、単一の２次元画像に基づいて３次元メッシュを発生させるための別の例示的装置の構成要素の略図である。

【0054】

【図18】図１８は、単一の２次元画像に基づいて３次元メッシュを発生させる方法のある実施例のフローチャートである。

【発明を実施するための形態】

【0055】

詳細な説明
本明細書で使用されるように、絶対配向を示唆する用語（例えば、「上部」、「底部」、「上方」、「下方」、「左」、「右」、「低い」、「高い」等）のいずれの使用も、例証的利便性のためであり、特定の図に示される配向を指し得る。しかしながら、そのような用語は、種々の構成要素が、実践では、説明または示されるものと同一である、またはそれと異なる配向において利用されるであろうことが想定されるため、限定的な意味で解釈されるべきではない。

【0056】

図１を参照すると、単一の２次元画像に基づいて３次元メッシュを発生させるための装置の略図が、概して、５０に示される。装置５０は、装置５０のユーザと相互作用するための、インジケータ等、種々の付加的なインターフェースおよび／または入力／出力デバイス等の付加的な構成要素を含んでもよい。相互作用は、装置５０またはその中で装置５０が動作するシステムの動作ステータスを視認すること、装置５０のパラメータを更新すること、または装置５０をリセットすることを含み得る。本実施例では、装置５０は、標準的なＲＧＢ画像等の未加工データを受信し、未加工データを処理し、３次元メッシュを発生させるためのものである。本実施例では、装置５０は、通信インターフェース５５と、メモリ記憶ユニット６０と、前処理エンジン６５と、ニューラルネットワークエンジン７０と、メッシュ生成器エンジン７５とを含む。

【0057】

通信インターフェース５５は、オブジェクトを表す未加工データを受信するために、外部ソースと通信するためのものである。本実施例では、通信インターフェース５５は、ＷｉＦｉネットワークまたはセルラーネットワーク等、多数の接続されたデバイスと共有される、パブリックネットワークであり得る、ネットワークを経由して、外部ソースと通信してもよい。他の実施例では、通信インターフェース５５は、イントラネットまたは他のデバイスとの有線接続等のプライベートネットワークを介して、外部ソースからデータを受信してもよい。別の実施例として、通信インターフェース５５は、Ｂｌｕｅｔｏｏｔｈ（登録商標）接続、無線信号、または赤外線信号を介して別の近接デバイスに接続してもよい。特に、通信インターフェース５５は、メモリ記憶ユニット６０上に記憶されることになる、外部ソースからの未加工データを受信するためのものである。

【0058】

本実施例では、未加工データは、オブジェクトの２次元画像であってもよい。オブジェクトが表される様式および２次元画像の厳密なフォーマットは、特に限定されない。本実施例では、２次元画像は、ＲＧＢフォーマットにおいて受信される。ＲＧＢフォーマットが、色画像が３つの値によって表され、値がそれぞれ、赤色、緑色、または青色の強度を表す、付加的色モデルであることが、当業者によって、本説明の恩恵とともに理解されるはずである。故に、２次元画像は、３つの別個のマップによって表され得る。他の実施例では、２次元画像は、カメラによって捕捉および処理された、ラスタグラフィックファイルまたは圧縮された画像ファイル等の異なるフォーマットにおけるものであり得る。

【0059】

さらに、通信インターフェース５５は、発生された３次元メッシュ等の結果を伝送するために使用され得る。例えば、通信インターフェース５５は、装置５０の一部である、または別個のデバイス上に存在し得る、アニメーションエンジン（図示せず）と通信してもよい。故に、装置５０は、外部ソースから未加工データを受信し、付加的な処理および／またはレンダリングのために外部ソースに、または付加的な処理および／またはレンダリングのために付加的なデバイスにのいずれかに戻るように伝送されるような、関節と、表面色と、質感とを有する、３次元オブジェクトを発生させるように動作してもよい。故に、装置５０は、写真の中の個人に似せた新しいアバタを生成することを所望し得る、コンピュータアニメータのためのサービスとして動作してもよい。

【0060】

メモリ記憶ユニット６０は、通信インターフェース５５を介して受信されるデータを記憶するためのものである。特に、メモリ記憶ユニット６０は、３次元メッシュおよび表面データが発生されることになるオブジェクトを表す、２次元画像を含む未加工データを記憶してもよい。本実施例では、メモリ記憶ユニット６０は、３次元アニメーションの目的のために異なるオブジェクトを２次元で表す、複数の２次元画像を記憶してもよい。特に、オブジェクトは、異なるサイズを有する人々の画像であってもよく、異なる関節を示す、異なる姿勢にある人々を含んでもよい。例えば、画像は、複数の略対称的な関節を明確に示す、Ａ字形姿勢にある人のものであってもよい。他の実施例では、人は、標準的なＴ字形姿勢位置にあってもよい。さらなる実施例では、未加工データ内の人は、１つまたはそれを上回る関節が視界から遮られている、自然姿勢にあってもよい。本実施例はそれぞれ、人の２次元画像に関連するが、実施例がまた、動物または機械等の異なるタイプのオブジェクトを表す画像も含み得ることを、本説明の恩恵とともに理解されたい。

【0061】

メモリ記憶ユニット６０はまた、装置５０によって使用されることになる、付加的データを記憶するために使用されてもよい。例えば、メモリ記憶ユニット６０は、テンプレートおよびモデルデータ等の種々の参照データソースを記憶してもよい。メモリ記憶ユニット６０が、複数のデータベースを維持するために使用される、物理的なコンピュータ可読媒体であり得る、または中央サーバまたはクラウドサーバ等の１つまたはそれを上回る外部サーバを横断して分散され得る、複数の媒体を含み得ることを理解されたい。

【0062】

本実施例では、メモリ記憶ユニット６０は、特に限定されず、任意の電子、磁気、光学、または他の物理的記憶デバイスであり得る、非一過性機械可読記憶媒体を含む。メモリ記憶ユニット６０は、通信インターフェース５５を介して外部ソースから受信されたデータ、テンプレートデータ、訓練データ、前処理エンジン６５からの前処理されたデータ、ニューラルネットワークエンジン７０からの結果、またはメッシュ生成器エンジン７５からの結果等の情報を記憶するために使用されてもよい。加えて、メモリ記憶ユニット６０は、装置５０の一般的な動作に関する命令を記憶するために使用されてもよい。さらに、メモリ記憶ユニット６０は、プロセッサによって実行可能である、オペレーティングシステムを記憶し、装置５０に、種々のアプリケーションをサポートするための機能性等の一般的な機能性を提供し得る。メモリ記憶ユニット６０は、加えて、前処理エンジン６５およびニューラルネットワークエンジン７０、またはメッシュ生成器エンジン７５を動作させるための命令を記憶してもよい。さらに、メモリ記憶ユニット６０はまた、他の構成要素、およびカメラおよびユーザインターフェース等、装置５０とともに配設され得る、任意の周辺デバイスを動作させるための制御命令を記憶してもよい。

【0063】

メモリ記憶ユニット６０は、訓練データまたは装置５０の構成要素を動作させるための命令等のデータとともに、事前にロードされてもよい。他の実施例では、命令は、通信インターフェース５５を介して、またはメモリフラッシュドライブ等、装置５０に接続される可搬型メモリ記憶デバイスからの命令を直接転送することによって、ロードされてもよい。他の実施例では、メモリ記憶ユニット６０は、外部ハードドライブ、またはコンテンツを提供するクラウドサービス等の外部ユニットであってもよい。

【0064】

前処理エンジン６５は、メモリ記憶ユニット６０からの未加工データを前処理し、粗セグメント化マップおよび２次元関節ヒートマップを発生させるためのものである。本実施例では、未加工データは、オブジェクトの色画像を含んでもよい。未加工データのフォーマットが、特に限定されないことは、当業者によって理解されるはずである。前処理エンジン６５の動作を図示するために、未加工データは、（図２においてグレースケールで示される）色画像を提供するようにレンダリングされてもよい。本具体的な実施例では、未加工データのオブジェクトは、Ａ字形姿勢にある人の写真を表す。さらに、本具体的な実施例における未加工データは、赤色、緑色、および青色の強度に関する３つの重畳されたマップとして表され得る、ＲＧＢ画像である。マップは、ピクセル毎に、色の強度を表すための、０～１の正規化された値等の値を含んでもよい。本実施例に続いて、図２に示される色画像は、グレースケールのより暗い陰影ほど、個別の色のより低い強度量を表す、赤色マップ（図３Ａ）、緑色マップ（図３Ｂ）、および青色マップ（図３Ｃ）によって表され得る。未加工データがＲＧＢ画像フォーマットではない場合がある、他の実施例では、未加工データは、前処理エンジン６５によって受信されることに先立って、ＲＧＢフォーマットに転換されてもよい。代替として、前処理エンジン６５は、付加的なタイプの画像フォーマットを受信し、取り扱うように構成されてもよい。

【0065】

前処理エンジン６５によって発生される粗セグメント化マップは、概して、オブジェクトの輪郭を提供するためのものである。本実施例では、粗セグメント化マップは、２次元マップである。図４を参照すると、図２に示される画像の粗セグメント化マップのある実施例が、示される。粗セグメント化マップは、ピクセル毎に、ピクセルがオブジェクトの一部であるかどうかを示すための２進値を含む。故に、粗セグメント化マップは、Ａ字形姿勢にある、オリジナル画像内の人に類似する形状を示す。粗セグメント化マップが、ニューラルネットワークエンジン７０等によってさらなる分析のための着目ピクセルを分離するために使用され得ることが、当業者によって、本説明の恩恵とともに理解されるはずである。

【0066】

粗セグメント化マップの発生は、特に限定されず、種々の画像処理エンジンまたはユーザ入力を伴い得る。本実施例では、ｗｒｎｃｈＡＩエンジン等のコンピュータビジョンベースの人間姿勢およびセグメント化システムが、使用される。他の実施例では、ＯｐｅｎＰｏｓｅ、Ｍａｓｋ－Ｒ ＣＮＮ、または他の深度センサ、立体カメラ、またはＭｉｃｒｏｓｏｆｔ ＫｉｎｅｃｔまたはＩｎｔｅｌ ＲｅａｌＳｅｎｓｅ等のＬＩＤＡＲベースの人セグメント化システム等の他のタイプのコンピュータビジョンベースの人間セグメント化システムも、使用され得る。加えて、セグメント化マップは、ＣＶＡＴ等の適切なソフトウェアを用いて手動で、またはＡｄｏｂｅ Ｐｈｏｔｏｓｈｏｐ（登録商標）またはＧＩＭＰにおけるもの等のセグメント化補助ツールを用いた半自動方法において注釈を付けられ得る。

【0067】

前処理エンジン６５によって発生される関節ヒートマップは、概して、オブジェクト上の点の場所の表現を提供するためのものである。本実施例では、関節ヒートマップは、２次元マップである。オブジェクト上の着目点は、オブジェクトがオブジェクトの部分間で相対運動を行う場所に対応し得る、関節である。オブジェクトとしての人の本実施例に続いて、関節は、腕が胴体に対して移動する、肩等の人上の関節を表し得る。関節ヒートマップは、ピクセル毎に、ピクセルが着目関節が位置する場所であるかどうかの尤度を示すための信頼度値を含む。故に、関節ヒートマップは、典型的には、前処理エンジン６５が着目関節が位置すると決定している単一のホットスポットを示す。いくつかの実施例では、前処理エンジン６５が、前処理されたデータを提供する外部システムの一部であり得ること、または前処理されたデータが、ユーザによる手動等、他の方法によって発生され得ることを理解されたい。

【0068】

オブジェクトが、１つを上回る関節ヒートマップを有し得ることが、当業者によって、本説明の恩恵とともに理解されるはずである。特に、別個の関節ヒートマップが、複数の予め定義された関節に関して発生されてもよい。人の具体的な実施例では、複数の関節が、人が相対運動を有し得る点を表すように予め定義されてもよい。さらに、関節毎に、関節についてのある可動域または特性が、近似され得ることも理解されたい。例えば、肩関節は、人間の肩を中心とした運動に近似するような所定の可動域と、自由度とを有し得、肘は、人の肩と肘との間の差異に類似する、より限定された自由度を有し得る。本実施例では、オブジェクトに関して識別されたより多くの所定の関節が、人のより正確かつ現実的な描写を可能にすることもまた、当業者によって、本説明の恩恵とともに理解されるはずである。

【0069】

本具体的な実施例では、前処理エンジン６５は、人上の１６個の関節を識別し、位置特定するように構成される。特に、前処理エンジン６５は、左眼、右眼、左肩、右肩、左肘、右肘、左手首、右手首、左臀部、右臀部、左膝、右膝、左足首、右足首、左足指、および右足指を識別するためのものである。図２に示される未加工データ画像に戻って参照すると、前処理エンジン６５は、右肩（図５Ａ）、右肘（図５Ｂ）、右手首（図５Ｃ）、左肩（図５Ｄ）、左肘（図５Ｅ）、左手首（図５Ｆ）、右臀部（図５Ｇ）、右膝（図５Ｈ）、右足首（図５Ｉ）、左臀部（図５Ｊ）、左膝（図５Ｋ）、左足首（図５Ｌ）、右眼（図５Ｍ）、左眼（図５Ｎ）、左足指（図５Ｐ）、および右足指（図５Ｑ）のための関節ヒートマップを発生させる。図５Ａ－５Ｑを重畳することによって、オリジナルの図２に示される人の関節が、図６においても視認されることができる。関節ヒートマップがそれぞれ、ニューラルネットワークエンジン７０によって使用されることになることと、図６に示される表現が、ユーザによる視認および比較目的のためのものであることとを理解されたい。

【0070】

関節ヒートマップの発生は、特に限定されず、種々の画像処理エンジンを伴ってもよい。本実施例では、ｗｒｎｃｈＡＩエンジン等のコンピュータビジョンベースの人間姿勢システムが、各関節を識別し、信頼度値を未加工データ内の関節の場所に割り当てるために使用される。他の実施例では、ＯｐｅｎＰｏｓｅ、Ｇｏｏｇｌｅ Ｂｌａｚｅ Ｐｏｓｅ、Ｍａｓｋ－Ｒ ＣＮＮ、または他の深度センサ、立体カメラ、またはＭｉｃｒｏｓｏｆｔ ＫｉｎｅｃｔまたはＩｎｔｅｌ ＲｅａｌＳｅｎｓｅ等のＬＩＤＡＲベースの人間姿勢システム等、他のタイプの人間姿勢システムも、使用され得る。さらなる実施例では、人間姿勢は、代替として、Ｋｅｙｍａｋｒ等の適切なキーポイント注釈ツールにおいて手動で注釈を付けられてもよい。

【0071】

本実施例では、前処理エンジン６５によって発生された粗セグメント化マップおよび関節ヒートマップが、ニューラルネットワークエンジン７０による後続の使用のためにメモリ記憶ユニット６０内に記憶される。他の実施例では、前処理エンジン６５によって発生された粗セグメント化マップおよび関節ヒートマップは、後続の処理のためにニューラルネットワークエンジン７０の中に直接フィードされてもよい。

【0072】

ニューラルネットワークエンジン７０は、メモリ記憶ユニット６０から未加工データを、および前処理エンジン６５によって発生された粗セグメント化マップおよび関節ヒートマップを受信する。本実施例では、ニューラルネットワークエンジン７０は、メモリ記憶ユニット６０にアクセスし、入力を読み出し、複数の２次元マップを発生させてもよい。ニューラルネットワークエンジン７０によって受信される入力の量は、特に限定されず、下記の実施例において説明されるものより多いまたは少ない入力を含み得る。ニューラルネットワークエンジン７０によって発生される２次元マップは、特に限定されない。例えば、２次元マップは、他の特性のマップを含んでもよい。さらに、全ての２次元マップが、メッシュ生成器エンジン７５によって使用され得るわけではないことと、いくつかの２次元マップが、ニューラルネットワークエンジン７０を訓練することを改良するために、および予測の改良された正確度のために使用されることになることとが、当業者によって本説明の恩恵とともに理解されるはずである。

【0073】

２次元マップが発生される様式は、特に限定されない。本実施例では、ニューラルネットワークエンジン７０は、完全畳み込みニューラルネットワークを複数の入力に適用し、複数の２次元マップを発生させるためのものである。特に、ニューラルネットワークエンジン７０は、半教師あり２段積層Ｕ－ｎｅｔを伴うアーキテクチャを使用する。他の実施例では、ニューラルネットワークエンジン７０は、単一のＵ－ｎｅｔ、砂時計型、または積層砂時計型等の異なるアーキテクチャを有してもよい。

【0074】

本実施例では、ニューラルネットワークエンジン７０は、合成データを使用して訓練されるためのものである。合成データソースは、特に限定されない。本実施例では、合成データは、Ｕｎｉｔｙプラットフォームによって提供されるもの、ＲｅｎｄｅｒＰｅｏｐｌｅ製のリギングされた人間メッシュデータ、Ａｄｏｂｅ Ｍｉｘａｍｏ製のアニメーション、およびＨＤＲＩ Ｈａｖｅｎ製の現実的なＨＤＲＩ背景等を用いた合成データ発生器を使用して発生されてもよい。他の実施例では、合成データは、Ｍａｙａ、Ｕｎｒｅａｌ Ｅｎｇｉｎｅ、Ｂｌｅｎｄｅｒ、または他の３Ｄレンダリングプラットフォームにおいて、ＣＡＥＳＡＲデータセットまたはＴｕｒｂｏＳｑｕｉｄ等のオンラインソースからソーシングされた身体走査人間メッシュデータを用いてレンダリングされる、または既知の測定値を伴う画像を収集することによって手動で発生されてもよい。本実施例では、訓練データは、５８０個のリギングされたキャラクタと、２２０個のＨＤＲＩ背景と、１，２００個のアニメーションとを含む。キャラクタは、ランダムに選択され、ランダムに選択され、ランダムに回転されたＨＤＲＩ背景の正面に設置される。ランダムなアニメーションが、キャラクタに適用され、スクリーンショットが、撮影される。本プロセスは、本ニューラルネットワークを訓練するための約５０，０００個の画像を発生させるために行われる。他の実施例では、より多いまたは少ない画像もまた、使用され得る。

【0075】

さらに、ニューラルネットワークエンジン７０を訓練するために使用される訓練データは、前処理エンジン６５の結果があまり正確ではない場合でも、結果をさらに改良するためにランダムノイズの追加等を伴う、ノイズが多いものであってもよい。特に、ノイズの強化および追加は、合成データに対するニューラルネットワークの過剰適合の尤度を低減させ、粗セグメント化および関節場所のより低い不正確度に対してロバストであるためのものである。ノイズの強化および追加は、特に限定されない。例えば、ＲＧＢ画像は、ガウシアンぼかし、モーションブラー、加法ガウスノイズ、ＪＰＥＧ圧縮、コントラストおよび輝度の正規化、ごま塩ノイズの追加、およびスケーリングおよび平行移動を使用して修正されてもよい。訓練データのセグメント化もまた、スケーリングおよび平行移動と、収縮／膨張とを含み得る。加えて、訓練データの関節場所（すなわち、関節ヒートマップ）は、関節のｘおよびｙ場所に対するスケーリングおよび平行移動およびガウスノイズ追加を受けてもよい。

【0076】

図２に示される未加工データ画像を処理することに関する上記の具体的実施例に続いて、ニューラルネットワークエンジン７０は、以下の２０個の入力、すなわち、赤色マップ（図３Ａ）、緑色マップ（図３Ｂ）、青色マップ（図３Ｃ）、粗セグメント化マップ（図４）、および右肩（図５Ａ）、右肘（図５Ｂ）、右手首（図５Ｃ）、左肩（図５Ｄ）、左肘（図５Ｅ）、左手首（図５Ｆ）、右臀部（図５Ｇ）、右膝（図５Ｈ）、右足首（図５Ｉ）、左臀部（図５Ｊ）、左膝（図５Ｋ）、左足首（図５Ｌ）、右眼（図５Ｍ）、左眼（図５Ｎ）、左足指（図５Ｐ）、および右足指（図５Ｑ）に関する関節ヒートマップを受信する。

【0077】

本実施例では、ニューラルネットワークエンジン７０は、図７に示されるように、細セグメント化マップを発生させる。前処理エンジンによって発生される粗セグメント化マップと同様に、細セグメント化マップは、ピクセル毎に、ピクセルが人の表面の一部であるかどうかを示す、２進値を含む。故に、細セグメント化マップは、Ａ字形姿勢にある、オリジナル画像（図２）内の人に類似する形状を示す。図４に示されるカースセグメント化マップおよび図７に示される細セグメント化マップの慎重な精査に応じて、細セグメント化マップが、画像内の人の縁により正確に追従していることが、明白となるであろう。細セグメント化マップが、したがって、正面および背面を生成し、メッシュ生成器エンジン７５によって正面を背面にスティッチングするために、着目ピクセルを分離するために使用され得ることが、当業者によって、本説明の恩恵とともに理解されるはずである。

【0078】

本実施例では、ニューラルネットワークエンジン７０はまた、図８Ａに示されるような距離マップを発生させ、ニューラルネットワークエンジン７０によって決定されるようなオブジェクトの正面までの距離を識別してもよい。距離は、オリジナル未加工データを捕捉するカメラが位置する平面からの関数として決定されてもよい。他の実施例では、距離は、基準面からの関数として決定されてもよい。カメラ面とオブジェクトとの間等、基準面をカメラ面以外の平面であるように設定することによって、カメラまでの距離の決定が、必要とされなくなり、したがって、カメラパラメータは、関連のない状態になる。ニューラルネットワークエンジン７０はさらに、画像内の人の背面までの距離が、図８Ｂに示される厚さマップ内の正面からのものであることを決定する。未加工データは、背面についてのいかなる情報も含有しないため、人の厚さが、合成データからの訓練、および状況から得られる手掛かりおよび共通パターンに基づく推論、人の正面および背面の幾何学形状と外観との間の関係および相関に基づいて決定されることが、当業者によって、本説明の恩恵とともに理解されるはずである。

【0079】

本実施例に続いて、ニューラルネットワークエンジン７０はさらに、正面および背面のための色情報を発生させる。特に、ニューラルネットワークエンジンは、正面赤色マップ（図９Ａ）、正面緑色マップ（図９Ｂ）、青色マップ（図９Ｃ）、背面赤色マップ（図１０Ａ）、背面緑色マップ（図１０Ｂ）、背面青色マップ（図１０Ｃ）を発生させる。上記に説明される他の色マップと同様に、ニューラルネットワークエンジン７０によって発生された色マップもまた、０～１の値に正規化され得る。本実施例では、ニューラルネットワークエンジン７０はまた、発生された２次元色マップがオリジナルの未加工データファイル内にあり得る、いかなる陰または付加的なソース照明も含まないように、光および陰データを除去するように、オリジナル色マップを処理してもよい。

【0080】

さらに、ニューラルネットワークエンジン７０は、メッシュ生成器エンジン７５によって使用される２次元マップの正確度のさらなる改良のために、付加的な随意のマップを発生させてもよい。加えて、付加的な２次元マップはまた、ニューラルネットワークエンジン７０のさらなる訓練を補助してもよい。実施例として、ニューラルネットワークエンジン７０は、本目的のために正面および背面の面法線を説明するための２次元マップを発生させてもよい。表面位置の制約および表面に対する法線ベクトルの正規化を用いると、第３の値が、上記に説明される制約を伴う他の２つの値から発生され得るため、２つのみの値が、面法線を説明するために使用されることが、当業者によって、本説明の恩恵とともに理解されるはずである。故に、ニューラルネットワークエンジン７０は、第１の正面法線マップ（図１１Ａ）、第２の正面法線マップ（図１１Ｂ）、第１の背面法線マップ（図１２Ａ）、および第２の背面法線マップ（図１２Ｂ）を発生させ得る。

【0081】

メッシュ生成器エンジン７５は、ニューラルネットワークエンジン７０によって発生された複数の２次元マップに基づいて、３次元メッシュを発生させるためのものである。メッシュ生成器エンジン７５が３次元メッシュを発生させた様式は、特に限定されず、ニューラルネットワークエンジン７０の出力に依存する。

【0082】

本実施例では、メッシュ生成器エンジン７５は、細セグメント化マップ（図７）を使用し、オブジェクトの一部を形成し、セグメント化面積から外れた全てのピクセルを破棄または無視する、ピクセルまたは点を分離する。カメラに最も近接するメッシュの正面が、次いで、距離マップ（図８Ａ）を使用して形成され、メッシュの背面が、メッシュの正面と関連して厚さマップ（図８Ｂ）を使用して形成される。メッシュ生成器エンジン７５が、正面を背面に接続するために、セグメント化面積の境界を使用し、メッシュ内により多くの三角形を生成し得ることが、当業者によって、本説明の恩恵とともに理解されるはずである。それに応じて、距離マップおよび厚さマップから形成される３次元メッシュの輪郭が、正面図（図１３Ａ）、側面図（図１３Ｂ）、および後面図（図１３Ｃ）から示される。

【0083】

図１４を参照すると、３次元メッシュを発生させるために使用される測定値を図示するシステム２００の略図が、示される。本実施例では、システム２００は、カメラ面２１５上の位置に、オブジェクト２０５の画像を捕捉するためのカメラ２１０を含む。上記の実施例において説明されるように、ニューラルネットワークエンジン７０を適用した後、距離マップは、基準プレイン２２０からピクセル（ｘ，ｙ）までの距離ｄ_１を提供する。厚さマップは、次いで、３次元メッシュの背面上の対応する点までの距離ｄ_２を提供する。

【0084】

メッシュ生成器エンジン７５は、続いて、正面赤色マップ（図９Ａ）、正面緑色マップ（図９Ｂ）、青色マップ（図９Ｃ）、背面赤色マップ（図１０Ａ）、背面緑色マップ（図１０Ｂ）、および背面青色マップ（図１０Ｃ）を使用し、メッシュに色を追加し、正面図（図１５Ａ）、側面図（図１５Ｂ）、および後面図（図１５Ｃ）から（グレースケールにおいて）示される３次元メッシュを発生させる。

【0085】

図１６を参照すると、コンピュータネットワークシステムの略図が、概して、１００に示される。システム１００が、純粋に例示的であることを理解されたく、種々のコンピュータネットワークシステムが想定されることが、当業者にとって明白となるであろう。システム１００は、ネットワーク１１０によって接続される、３次元メッシュを発生するための装置５０と、複数の外部ソース２０－１および２０－２（総称的に、これらの外部ソースは、本明細書では、「ｅｘｔｅｒｎａｌ ｓｏｕｒｃｅ（外部ソース２０）」と称され、集合的に、それらは、「ｅｘｔｅｒｎａｌ ｓｏｕｒｃｅｓ ２０（外部ソース２０）」と称される）と、複数のコンテンツ要求器２５－１および２５－２（総称的に、これらのコンテンツ要求器は、本明細書では、「ｃｏｎｔｅｎｔ ｒｅｑｕｅｓｔｅｒｓ ２５（コンテンツ要求器２５）」と称され、集合的に、それらは、「ｃｏｎｔｅｎｔ ｒｅｑｕｅｓｔｅｒｓ ２５（コンテンツ要求器２５）」と称される）とを含む。ネットワーク１１０は、特に限定されず、インターネット、イントラネットまたはローカルエリアネットワーク、携帯電話ネットワーク、またはこれらのタイプのネットワークのうちのいずれかの組み合わせ等、任意のタイプのネットワークを含むことができる。いくつかの実施形態では、ネットワーク１１０はまた、ピアツーピアネットワークも含み得る。

【0086】

本実施形態では、外部ソース２０は、人の画像等の未加工データを提供するために、ネットワーク１１０を経由して、装置５０と通信するために使用される、任意のタイプのコンピューティングデバイスであり得る。例えば、外部ソース２０－１は、パーソナルコンピュータであってもよい。パーソナルコンピュータが、ラップトップコンピュータ、可搬型電子デバイス、ゲーム用デバイス、モバイルコンピューティングデバイス、可搬型コンピューティングデバイス、タブレット型コンピューティングデバイス、携帯電話、およびスマートフォン、または同等物で代用され得ることが、当業者によって、本説明の恩恵とともに理解されるはずである。いくつかの実施例では、外部ソース２０－２は、画像を捕捉するためのカメラであってもよい。未加工データは、外部ソース２０において受信または捕捉された、画像またはビデオから発生されてもよい。他の実施例では、外部ソース２０が、その上で、未加工データがコンテンツから自動的に発生されるようにコンテンツが生成され得る、パーソナルコンピュータであり得ることを、理解されたい。コンテンツ要求器２５はまた、３次元メッシュを受信し、続いて、アニメーション化するための、ネットワーク１１０を経由して装置５０と通信するために使用される、任意のタイプのコンピューティングデバイスであってもよい。例えば、コンテンツ要求器２５は、プログラム内でアニメーション化するための新しいアバタを検索する、コンピュータアニメータであってもよい。

【0087】

図１７を参照すると、単一の２次元画像に基づいて３次元メッシュを発生させるための装置５０ａの別の略図が、概して、示される。添え字「ａ」が続くことを除いて、装置５０ａの同様の構成要素が、装置５０内のその対応物を参照して、同様に描かれている。本実施例では、装置５０ａは、通信インターフェース５５ａと、メモリ記憶ユニット６０ａと、プロセッサ８０ａとを含む。本実施例では、プロセッサ８０ａは、前処理エンジン６５ａと、ニューラルネットワークエンジン７０ａと、メッシュ生成器エンジン７５ａとを含む。

【0088】

本実施例では、メモリ記憶ユニット６０ａはまた、装置５０ａによって使用される種々のデータを記憶するために、データベースを維持し得る。例えば、メモリ記憶ユニット６０ａは、未加工データ画像をＲＧＢ画像フォーマットにおいて記憶するための、データベース３００ａと、前処理エンジン６５ａによって発生されたデータを記憶するための、データベース３１０ａと、ニューラルネットワークエンジン７０ａによって発生された２次元マップを記憶するための、データベース３２０ａと、メッシュ生成器エンジン７５ａによって発生された３次元メッシュを記憶するための、データベース３３０ａとを含んでもよい。加えて、メモリ記憶ユニットは、装置５０ａに一般的な機能性を提供するために、プロセッサ８０ａによって実行可能である、オペレーティングシステム３４０ａを含んでもよい。さらに、メモリ記憶ユニット６０ａは、プロセッサ８０ａに、下記にさらに詳細に説明される方法を実施するための具体的ステップを行うように指示するためのコードでエンコードされてもよい。メモリ記憶ユニット６０ａはまた、ドライバレベルおよび他のハードウェアドライブにおいて、入力を受信する、または出力を提供するための、種々のユーザインターフェース等、装置５０ａの他の構成要素および周辺デバイスと通信するための動作を行うための命令を記憶してもよい。

【0089】

メモリ記憶ユニット６０ａはまた、ニューラルネットワークエンジン７０ａを訓練するための訓練データを記憶するための合成訓練データベース３５０ａを含んでもよい。本実施例が、ローカルで、訓練データを記憶するが、他の実施例が、通信インターフェース５５ａを介して、ニューラルネットワークの訓練の間、アクセスされ得る、ファイルサーバまたはクラウド内等、外部に訓練データを記憶し得ることを理解されたい。

【0090】

図１８を参照すると、単一の２次元画像に基づいて３次元メッシュを発生させる例示的方法のフローチャートが、概して、４００に示される。方法４００の解説を支援するために、方法４００が、装置５０によって実施され得ると仮定されたい。実際に、方法４００は、装置５０が構成され得る、１つの方法であり得る。さらに、方法４００の以下の議論は、装置５０およびその構成要素のさらなる理解につながり得る。加えて、方法４００が、示されるような厳密なシーケンスで実施されなくてもよく、種々のブロックが、順にではなく、並行して、または全く異なるシーケンスで実施され得ることが強調される。

【0091】

ブロック４１０から開始し、装置５０は、通信インターフェース５５を介して外部ソースから未加工データを受信する。本実施例では、未加工データは、人の表現を含む。特に、未加工データは、人の２次元画像である。人が表される様式および２次元画像の厳密なフォーマットは、特に限定されない。本実施例では、２次元画像は、ＲＧＢフォーマットにおいて受信される。他の実施例では、２次元画像は、カメラによって捕捉および処理された、ラスタグラフィックファイルまたは圧縮された画像ファイル等の異なるフォーマットにおけるものであり得る。いったん装置５０において受信されると、未加工データは、ブロック４２０においてメモリ記憶ユニット６０内に記憶されることになる。

【0092】

ブロック４３０は、前処理エンジン６５を用いて前処理されたデータを発生させることを伴う。本実施例では、前処理されたデータは、粗セグメント化マップと、関節ヒートマップとを含む。粗セグメント化マップは、概して、セグメント化から外れたピクセルが、分析目的のために無視され得るように、人の輪郭を提供するためのものである。関節ヒートマップは、概して、人上の点の場所の表現を提供するためのものである。本実施例では、人上の着目点は、人が、腕が胴体に対して移動し得る、肩等の身体の部分間の相対運動を行う場所に対応し得る、関節である。

【0093】

次いで、ブロック４４０は、ニューラルネットワークエンジン７０が、未加工データ、粗セグメント化マップ、および関節ヒートマップにニューラルネットワークを適用し、上記に詳細に説明されるもの等の複数の２次元マップを発生させることを含む。ニューラルネットワークエンジン７０によって発生された２次元マップは、次いで、ブロック４５０において、３次元メッシュを発生させるために使用されてもよい。

【0094】

本実施例では、ブロック４５０は、距離および厚さマップから、３次元の正面および背面メッシュの点を発生させる。各メッシュ内の各点のＸおよびＹ座標は、マップの各ピクセルの座標によって定義され得る。正面メッシュの各点のＺ座標は、距離マップの各ピクセルの値によって定義され得る。背面メッシュの各点のＺ座標は、厚さマップ内の各対応するピクセルの値に追加された、距離マップの各ピクセルの値によって定義され得る。前述のメッシュ生成方法が、純粋に例示的であることを理解されたく、深度および厚さを説明するマップから３次元メッシュを生成する他の方法が、考えられ得ることが、当業者に明白となるであろう。

【0095】

種々の利点が、当業者に明白な状態にはならないであろう。特に、装置５０または装置５０ａは、単一の単純なプロセスにおいてオブジェクトの２次元画像から３次元メッシュを生成するために使用され得る。３次元メッシュは、続いて、コンピュータアニメーションのために使用され得る。別の実施例として、装置５０または装置５０ａによって発生された３次元メッシュはまた、より複雑化されたニューラルネットワークがより精緻化された表面特徴を取得するために、入力として使用され得る。

【0096】

上記に提供される、種々の実施例の特徴および側面が、本開示の範囲内にもある、さらなる実施例に組み合わせられ得ることを認識されたい。

【図1】

【図2】

【図3A】

【図3B】

【図3C】

【図4】

【図5A】

【図5B】

【図5C】

【図5D】

【図5E】

【図5F】

【図5G】

【図5H】

【図5I】

【図5J】

【図5K】

【図5L】

【図5M】

【図5N】

【図5P】

【図5Q】

【図6】

【図7】

【図8A】

【図8B】

【図9A】

【図9B】

【図9C】

【図10A】

【図10B】

【図10C】

【図11A】

【図11B】

【図12A】

【図12B】

【図13A】

【図13B】

【図13C】

【図14】

【図15A】

【図15B】

【図15C】

【図16】

【図17】

【図18】

【手続補正書】

【提出日】2023-06-09

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

装置であって、
外部ソースから未加工データを受信するための通信インターフェースであって、前記未加工データは、オブジェクトの表現を含む、通信インターフェースと、
前記未加工データを記憶するためのメモリ記憶ユニットと、
前記未加工データから粗セグメント化マップおよび関節ヒートマップを発生させるための前処理エンジンであって、前記粗セグメント化マップは、前記オブジェクトの輪郭を描くためのものであり、前記関節ヒートマップは、前記オブジェクト上の点を表すためのものである、前処理エンジンと、
前記未加工データ、前記粗セグメント化マップ、および前記関節ヒートマップを受信するためのニューラルネットワークエンジンであって、前記ニューラルネットワークエンジンは、複数の２次元マップを発生させるためのものである、ニューラルネットワークエンジンと、
前記複数の２次元マップに基づいて３次元メッシュを発生させるためのメッシュ生成器エンジンと
を備える、装置。

【請求項2】

前記未加工データは、２次元画像である、請求項１に記載の装置。

【請求項3】

前記オブジェクトは、人である、請求項１に記載の装置。

【請求項4】

前記前処理エンジンは、複数の関節ヒートマップを発生させるためのものであり、前記ニューラルネットワークエンジンは、前記複数の関節ヒートマップを使用し、前記複数の２次元マップを発生させるためのものであり、前記複数の関節ヒートマップは、前記関節ヒートマップを含む、請求項３に記載の装置。

【請求項5】

前記複数の関節ヒートマップは、左眼、右眼、左肩、右肩、左肘、右肘、左手首、右手首、左臀部、右臀部、左膝、右膝、左足首、右足首、左足指、および右足指のそれぞれに関して別個のヒートマップを含む、請求項４に記載の装置。

【請求項6】

前記ニューラルネットワークエンジンは、完全畳み込みネットワークを使用するためのものであり、前記完全畳み込みネットワークは、半教師あり２段積層Ｕ－ｎｅｔを含む、請求項１に記載の装置。

【請求項7】

前記複数の２次元マップは、細セグメント化マップと、距離マップと、厚さマップと、正面赤色マップと、正面緑色マップと、正面青色マップと、背面赤色マップと、背面緑色マップと、背面青色マップとを含む、請求項１に記載の装置。

【請求項8】

前記複数の２次元マップはさらに、第１の正面法線マップと、第２の正面法線マップと、第１の背面法線マップと、第２の背面法線マップとを含み、前記ニューラルネットワークエンジンの訓練プロセスを改良する、請求項７に記載の装置。

【請求項9】

前記距離マップは、基準面と正面との間にある距離を含み、前記基準面は、カメラ面と前記オブジェクトとの間にある、請求項７または８に記載の装置。

【請求項10】

前記ニューラルネットワークエンジンは、前記未加工データから照明および陰データを除去するためのものである、請求項１に記載の装置。

【請求項11】

前記メッシュ生成器エンジンは、細セグメント化マップ内に前記３次元メッシュを発生させ、セグメント化から外れたピクセルを破棄する、請求項１に記載の装置。

【請求項12】

方法であって、
通信インターフェースを介して外部ソースから未加工データを受信することであって、前記未加工データは、人の表現を含む、ことと、
前記未加工データをメモリ記憶ユニット内に記憶することと、
前処理エンジンを介して前記未加工データから粗セグメント化マップおよび関節ヒートマップを発生させることであって、前記粗セグメント化マップは、前記人の輪郭を描くためのものであり、前記関節ヒートマップは、前記人上の関節を表すためのものである、ことと、
前記未加工データ、前記粗セグメント化マップ、および前記関節ヒートマップにニューラルネットワークを適用し、複数の２次元マップを発生させることと、
前記複数の２次元マップに基づいて３次元メッシュを発生させることと
を含む、方法。

【請求項13】

複数の関節ヒートマップを発生させることをさらに含み、前記複数の関節ヒートマップは、前記ニューラルネットワークによって前記複数の２次元マップを発生させるために使用され、前記複数の関節ヒートマップは、前記関節ヒートマップを含む、請求項１２に記載の方法。

【請求項14】

前記複数の２次元マップを発生させることは、距離マップを発生させることを含み、前記距離マップは、基準面と正面との間にある距離を含み、前記方法は、カメラ面と前記人との間に前記基準面を設定することをさらに含む、請求項１２－１３のいずれか１項に記載の方法。

【請求項15】

前記ニューラルネットワークを用いて前記未加工データから照明および陰データを除去することをさらに含む、請求項１２に記載の方法。

【請求項16】

コードでエンコードされる非一過性コンピュータ可読媒体であって、前記コードは、プロセッサに、
通信インターフェースを介して外部ソースから未加工データを受信することであって、前記未加工データは、人の表現を含む、ことと、
メモリ記憶ユニット内に前記未加工データを記憶することと、
前処理エンジンを介して前記未加工データから粗セグメント化マップおよび関節ヒートマップを発生させることであって、前記粗セグメント化マップは、前記人の輪郭を描くためのものであり、前記関節ヒートマップは、前記人上の関節を表すためのものである、ことと、
前記未加工データ、前記粗セグメント化マップ、および前記関節ヒートマップにニューラルネットワークを適用し、複数の２次元マップを発生させることと、
前記複数の２次元マップに基づいて３次元メッシュを発生させることと
を行うように指示するためのものである、非一過性コンピュータ可読媒体。

【請求項17】

前記コードは、前記プロセッサに、複数の関節ヒートマップを発生させるように指示するためのものであり、前記複数の関節ヒートマップは、前記ニューラルネットワークによって前記複数の２次元マップを発生させるために使用され、前記複数の関節ヒートマップは、前記関節ヒートマップを含む、請求項１６に記載の非一過性コンピュータ可読媒体。

【請求項18】

前記コードは、前記プロセッサに、前記複数の２次元マップのうちの１つとして距離マップを発生させるように指示するためのものであり、前記距離マップは、基準面と正面との間にある距離を含む、請求項１６－１７のいずれか１項に記載の非一過性コンピュータ可読媒体。

【請求項19】

前記コードは、前記プロセッサに、前記ニューラルネットワークを用いて前記基準面を設定するように指示するためのものであり、前記基準面は、カメラ面と前記人との間に設定されるためのものである、請求項１８に記載の非一過性コンピュータ可読媒体。

【請求項20】

前記コードは、前記プロセッサに、前記ニューラルネットワークを用いて前記未加工データから照明および陰データを除去するように指示するためのものである、請求項１６に記載の非一過性コンピュータ可読媒体。

【手続補正2】

【補正対象書類名】明細書

【補正対象項目名】０００１

【補正方法】変更

【補正の内容】

【0001】

コンピュータアニメーションは、映画、ビデオゲーム、エンターテインメント、生体力学、訓練映像、スポーツシミュレータ、および他の技術における、コンピュータ発生イメージ等、種々の用途で使用され得る。人々または他のオブジェクトのアニメーションは、コンピュータアニメーションシステムによって操作され、３次元における種々の運動を行い得る、３次元メッシュの発生を伴い得る。運動は、ユーザまたは観衆によって、単一の角度から、または複数の角度から視認され得る。

【手続補正3】

【補正対象書類名】明細書

【補正対象項目名】０００７

【補正方法】変更

【補正の内容】

【0007】

本説明では、下記に議論されるモデルおよび技法は、概して、人に適用される。下記に説明される実施例が、動物および機械等の他のオブジェクトにも同様に適用され得ることが、当業者によって、本説明の恩恵とともに理解されるはずである。
本発明は、例えば、以下を提供する。
（項目１）
装置であって、
外部ソースから未加工データを受信するための通信インターフェースであって、上記未加工データは、オブジェクトの表現を含む、通信インターフェースと、
上記未加工データを記憶するためのメモリ記憶ユニットと、
上記未加工データから粗セグメント化マップおよび関節ヒートマップを発生させるための前処理エンジンであって、上記粗セグメント化マップは、上記オブジェクトの輪郭を描くためのものであり、上記関節ヒートマップは、上記オブジェクト上の点を表すためのものである、前処理エンジンと、
上記未加工データ、上記粗セグメント化マップ、および上記関節ヒートマップを受信するためのニューラルネットワークエンジンであって、上記ニューラルネットワークエンジンは、複数の２次元マップを発生させるためのものである、ニューラルネットワークエンジンと、
上記複数の２次元マップに基づいて３次元メッシュを発生させるためのメッシュ生成器エンジンと
を備える、装置。
（項目２）
上記未加工データは、２次元画像である、項目１に記載の装置。
（項目３）
上記２次元画像は、ＲＧＢ画像である、項目２に記載の装置。
（項目４）
上記オブジェクトは、人である、項目１－３のいずれか１項に記載の装置。
（項目５）
上記前処理エンジンは、複数の関節ヒートマップを発生させるためのものであり、上記ニューラルネットワークエンジンは、上記複数の関節ヒートマップを使用し、上記複数の２次元マップを発生させるためのものであり、上記複数の関節ヒートマップは、上記関節ヒートマップを含む、項目４に記載の装置。
（項目６）
上記複数の関節ヒートマップは、左眼、右眼、左肩、右肩、左肘、右肘、左手首、右手首、左臀部、右臀部、左膝、右膝、左足首、右足首、左足指、および右足指のそれぞれに関して別個のヒートマップを含む、項目５に記載の装置。
（項目７）
上記ニューラルネットワークエンジンは、完全畳み込みネットワークを使用するためのものである、項目１－６のいずれか１項に記載の装置。
（項目８）
上記完全畳み込みネットワークは、半教師あり２段積層Ｕ－ｎｅｔを含む、項目７に記載の装置。
（項目９）
上記複数の２次元マップは、細セグメント化マップと、距離マップと、厚さマップと、正面赤色マップと、正面緑色マップと、正面青色マップと、背面赤色マップと、背面緑色マップと、背面青色マップとを含む、項目１－８のいずれか１項に記載の装置。
（項目１０）
上記複数の２次元マップはさらに、第１の正面法線マップと、第２の正面法線マップと、第１の背面法線マップと、第２の背面法線マップとを含み、上記ニューラルネットワークエンジンの訓練プロセスを改良する、項目９に記載の装置。
（項目１１）
上記距離マップは、基準面と正面との間にある距離を含む、項目９または１０に記載の装置。
（項目１２）
上記基準面は、カメラ面と上記オブジェクトとの間にある、項目１１に記載の装置。
（項目１３）
上記ニューラルネットワークエンジンは、上記未加工データから照明および陰データを除去するためのものである、項目９－１２のいずれか１項に記載の装置。
（項目１４）
上記メッシュ生成器エンジンは、上記細セグメント化マップ内に上記３次元メッシュを発生させ、セグメント化から外れたピクセルを破棄する、項目９－１３のいずれか１項に記載の装置。
（項目１５）
方法であって、
通信インターフェースを介して外部ソースから未加工データを受信することであって、上記未加工データは、人の表現を含む、ことと、
上記未加工データをメモリ記憶ユニット内に記憶することと、
前処理エンジンを介して上記未加工データから粗セグメント化マップおよび関節ヒートマップを発生させることであって、上記粗セグメント化マップは、上記人の輪郭を描くためのものであり、上記関節ヒートマップは、上記人上の関節を表すためのものである、ことと、
上記未加工データ、上記粗セグメント化マップ、および上記関節ヒートマップにニューラルネットワークを適用し、複数の２次元マップを発生させることと、
上記複数の２次元マップに基づいて３次元メッシュを発生させることと
を含む、方法。
（項目１６）
上記未加工データを受信することは、２次元画像を受信することを含む、項目１５に記載の方法。
（項目１７）
上記２次元画像を受信することは、ＲＧＢ画像を受信することを含む、項目１６に記載の方法。
（項目１８）
複数の関節ヒートマップを発生させることをさらに含み、上記複数の関節ヒートマップは、上記ニューラルネットワークによって上記複数の２次元マップを発生させるために使用され、上記複数の関節ヒートマップは、上記関節ヒートマップを含む、項目１５－１７のいずれか１項に記載の方法。
（項目１９）
上記ニューラルネットワークを適用することは、完全畳み込みネットワークを適用することを含む、項目１５－１８のいずれか１項に記載の方法。
（項目２０）
上記複数の２次元マップを発生させることは、距離マップを発生させることを含み、上記距離マップは、基準面と正面との間にある距離を含む、項目１５－１９のいずれか１項に記載の方法。
（項目２１）
カメラ面と上記人との間に上記基準面を設定することをさらに含む、項目２０に記載の方法。
（項目２２）
上記ニューラルネットワークを用いて上記未加工データから照明および陰データを除去することをさらに含む、項目１５－２１のいずれか１項に記載の方法。
（項目２３）
コードでエンコードされる非一過性コンピュータ可読媒体であって、上記コードは、プロセッサに、
通信インターフェースを介して外部ソースから未加工データを受信することであって、上記未加工データは、人の表現を含む、ことと、
メモリ記憶ユニット内に上記未加工データを記憶することと、
前処理エンジンを介して上記未加工データから粗セグメント化マップおよび関節ヒートマップを発生させることであって、上記粗セグメント化マップは、上記人の輪郭を描くためのものであり、上記関節ヒートマップは、上記人上の関節を表すためのものである、ことと、
上記未加工データ、上記粗セグメント化マップ、および上記関節ヒートマップにニューラルネットワークを適用し、複数の２次元マップを発生させることと、
上記複数の２次元マップに基づいて３次元メッシュを発生させることと
を行うように指示するためのものである、非一過性コンピュータ可読媒体。
（項目２４）
上記コードは、上記プロセッサに、２次元画像を上記未加工データとして受信するように指示するためのものである、項目２３に記載の非一過性コンピュータ可読媒体。
（項目２５）
上記２次元画像は、ＲＧＢ画像である、項目２４に記載の非一過性コンピュータ可読媒体。
（項目２６）
上記コードは、上記プロセッサに、複数の関節ヒートマップを発生させるように指示するためのものであり、上記複数の関節ヒートマップは、上記ニューラルネットワークによって上記複数の２次元マップを発生させるために使用され、上記複数の関節ヒートマップは、上記関節ヒートマップを含む、項目２３－２５のいずれか１項に記載の非一過性コンピュータ可読媒体。
（項目２７）
適用されるべき上記ニューラルネットワークは、完全畳み込みニューラルネットワークである、項目２３－２６のいずれか１項に記載の非一過性コンピュータ可読媒体。
（項目２８）
上記コードは、上記プロセッサに、上記複数の２次元マップのうちの１つとして距離マップを発生させるように指示するためのものであり、上記距離マップは、基準面と正面との間にある距離を含む、項目２３－２５のいずれか１項に記載の非一過性コンピュータ可読媒体。
（項目２９）
上記コードは、上記プロセッサに、上記ニューラルネットワークを用いて上記基準面を設定するように指示するためのものであり、上記基準面は、カメラ面と上記人との間に設定されるためのものである、項目２８に記載の非一過性コンピュータ可読媒体。
（項目３０）
上記コードは、上記プロセッサに、上記ニューラルネットワークを用いて上記未加工データから照明および陰データを除去するように指示するためのものである、項目２３－２９のいずれか１項に記載の非一過性コンピュータ可読媒体。

【手続補正4】

【補正対象書類名】明細書

【補正対象項目名】００７７

【補正方法】変更

【補正の内容】

【0077】

本実施例では、ニューラルネットワークエンジン７０は、図７に示されるように、細セグメント化マップを発生させる。前処理エンジンによって発生される粗セグメント化マップと同様に、細セグメント化マップは、ピクセル毎に、ピクセルが人の表面の一部であるかどうかを示す、２進値を含む。故に、細セグメント化マップは、Ａ字形姿勢にある、オリジナル画像（図２）内の人に類似する形状を示す。図４に示される粗セグメント化マップおよび図７に示される細セグメント化マップの慎重な精査に応じて、細セグメント化マップが、画像内の人の縁により正確に追従していることが、明白となるであろう。細セグメント化マップが、したがって、正面および背面を生成し、メッシュ生成器エンジン７５によって正面を背面にスティッチングするために、着目ピクセルを分離するために使用され得ることが、当業者によって、本説明の恩恵とともに理解されるはずである。

【手続補正5】

【補正対象書類名】明細書

【補正対象項目名】００８３

【補正方法】変更

【補正の内容】

【0083】

図１４を参照すると、３次元メッシュを発生させるために使用される測定値を図示するシステム２００の略図が、示される。本実施例では、システム２００は、カメラ面２１５上の位置に、オブジェクト２０５の画像を捕捉するためのカメラ２１０を含む。上記の実施例において説明されるように、ニューラルネットワークエンジン７０を適用した後、距離マップは、基準面２２０からピクセル（ｘ，ｙ）までの距離ｄ_１を提供する。厚さマップは、次いで、３次元メッシュの背面上の対応する点までの距離ｄ_２を提供する。

【国際調査報告】