特表 2024-512672 複数のカメラからの表面テクスチャリング

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-03-19

(54)【発明の名称】複数のカメラからの表面テクスチャリング

(51)【国際特許分類】

   G06T 15/04 20110101AFI20240312BHJP

   G06T 7/60 20170101ALI20240312BHJP

【ＦＩ】

G06T15/04

G06T7/60 150S

【審査請求】未請求

【予備審査請求】有

(21)【出願番号】P 2023560390

(86)(22)【出願日】2022-03-29

(85)【翻訳文提出日】2023-11-21

(86)【国際出願番号】 IL2022050338

(87)【国際公開番号】W WO2022208497

(87)【国際公開日】2022-10-06

(31)【優先権主張番号】63/167,126

(32)【優先日】2021-03-29

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】523371078

【氏名又は名称】ヨーム．コム リミテッド

(74)【代理人】

【識別番号】110000855

【氏名又は名称】弁理士法人浅村特許事務所

(72)【発明者】

【氏名】カガルリッキー、フセボロド

(72)【発明者】

【氏名】ケイナン、シャーリー

(72)【発明者】

【氏名】ビルンボイム、マイケル

(72)【発明者】

【氏名】ヘッカー、ミカル

(72)【発明者】

【氏名】タルモン、ギラッド

(72)【発明者】

【氏名】タミール、マイケル

【テーマコード（参考）】

5B080

5L096

【Ｆターム（参考）】

5B080AA13

5B080AA17

5B080BA00

5B080CA00

5B080FA03

5B080GA22

5L096AA09

5L096CA05

5L096FA06

5L096FA66

5L096FA67

5L096FA69

5L096GA40

(57)【要約】

２次元（２Ｄ）画像のセットから、少なくとも１つのテクスチャリングされた３次元（３Ｄ）モデルを生成するための方法が開示される。本方法は、モデルの表面を定義するサブ表面のセットを含む少なくとも１つの３Ｄモデルを提供するステップと、２Ｄ画像のセット中の各画像について、当該表面の可視パートに対応する前景ピクセルのセットを決定するステップと、各画像中で、各前景ピクセルについて、スコアを決定し、スコアのセットを生成するステップと、少なくとも１つの３Ｄモデル上の各要素について、スコアの当該セットに基づいてテクスチャを要素に割り当てるステップとを含む。

【特許請求の範囲】

【請求項1】

２次元（２Ｄ）画像のセットから、少なくとも１つのテクスチャリングされた３次元（３Ｄ）モデルを生成するための方法であって、
少なくとも１つの３Ｄモデルを提供するステップであって、前記３Ｄモデルがサブ表面のセットを含み、サブ表面の前記セットが前記モデルの表面を定義する、提供するステップと、
２Ｄ画像の前記セット中の各画像について、前景ピクセルのセットを決定するステップであって、前景ピクセルの前記セットが前記表面の可視パートに対応する、決定するステップと、
各画像中で、前景ピクセルの前記セット中の各前景ピクセルについて、スコアを決定し、スコアのセットを生成するステップと、
前記少なくとも１つの３Ｄモデル上の各要素について、スコアの前記セットに基づいてテクスチャを前記要素に割り当てるステップと
を含む、方法。

【請求項2】

２Ｄ画像の前記セット中の各画像について、前景ピクセルの前記セットがユニットのセットを含み、各ユニットがサブ表面の可視部分を含む、請求項１に記載の方法。

【請求項3】

顔、手、腕、脚、頭部、胴、皮膚、衣類、シャツ、スカート、ズボン、ショーツ、レギンス、髪、及びそれらの任意の組合せからなるグループから前記ユニットを選択するステップをさらに含む、請求項２に記載の方法。

【請求項4】

各イメージング・デバイスについて、前記画像の各々中の各前記前景ピクセルについてのピクセル・スコアを決定するステップをさらに含み、前記ピクセル・スコアが、各前記前景ピクセルｉについて、角度Ａ_ｉ、幾何学的品質Ｑ_ｉ、エッジＥ_ｉ、距離Ｄ_ｉ、鏡面性値Ｓ_ｉ、サブ表面グループＧ_ｉ、及びそれらの任意の組合せからなるスコアリング・グループのメンバーから決定される、請求項１に記載の方法。

【請求項5】

各前記画像中の各前記前景ピクセルについて、前記表面に対する法線と、前記画像を生成するイメージング・デバイスのカメラ光軸との間の角度として前記角度Ａ_ｉを決定し、角度のセット｛Ａ_ｉ｝を生成するステップをさらに含む、請求項４に記載の方法。

【請求項6】

各イメージング・デバイス及び各表面について、ポイント・クラウドへの前記表面の接近の尺度を、前記ポイント・クラウドの密度及び前記ポイント・クラウドの品質尺度と組み合わせることによって、前記幾何学的品質尺度Ｑ_ｉを決定し、幾何学的品質尺度のセット｛Ｑ_ｉ｝を生成するステップをさらに含む、請求項４に記載の方法。

【請求項7】

サブ表面間の少なくとも１つのエッジを識別し、エッジのセット｛Ｅ_ｉ｝を生成するステップをさらに含む、請求項４に記載の方法。

【請求項8】

各前記前景ピクセルについて、前記前景ピクセルとエッジの前記セット｛Ｅ_ｉ｝中の最も近いエッジとの間の前記距離Ｄ_ｉを計算し、距離のセット｛Ｄ_ｉ｝を生成するステップをさらに含む、請求項４に記載の方法。

【請求項9】

各前記前景ピクセルについて、前記鏡面性値｛Ｓ_ｉ｝を計算するステップをさらに含む、請求項４に記載の方法。

【請求項10】

サブ表面グループのセット｛Ｇ_ｉ｝を生成するステップをさらに含む、請求項４に記載の方法。

【請求項11】

前記モデル中の各要素について、要素スコアを生成するステップをさらに含み、前記要素スコアが、前記要素のロケーションに対応するロケーションをもつ前記前景ピクセルの各々についての前記ピクセル・スコアから決定される、請求項４に記載の方法。

【請求項12】

２Ｄ画像の前記セットを受信するステップをさらに含み、２Ｄ画像の前記セットが、複数の２Ｄ画像、２Ｄ画像のシーケンス、及びそれらの任意の組合せからなるグループのメンバーを含む、請求項１に記載の方法。

【請求項13】

複数の２Ｄ画像から、単一の２Ｄ画像から、ダウンロードされた３Ｄモデルから、ストリーミングされた３Ｄモデルから、及びそれらの任意の組合せからなるグループから、前記少なくとも１つの３Ｄモデルを前記提供することを選択するステップをさらに含む、請求項１２に記載の方法。

【請求項14】

前記３Ｄモデルの前記表面の少なくとも１つのモデル・サブ表面を決定するステップをさらに含む、請求項１２に記載の方法。

【請求項15】

前記少なくとも１つのサブ表面の各々についての少なくとも１つのサブ表面エッジを決定するステップをさらに含む、請求項１２に記載の方法。

【請求項16】

各サブ表面エッジについて、サブ表面エッジ・ピクセルのセットを生成するステップをさらに含む、請求項１２に記載の方法。

【請求項17】

前記複数の前記２Ｄ画像の各々中で可視の前記表面の各前記前景ピクセルについてスコアを決定するステップをさらに含む、請求項１２に記載の方法。

【請求項18】

少なくとも１つの最良の画像の各々について、少なくとも１つの画像エッジを決定するステップをさらに含む、請求項１２に記載の方法。

【請求項19】

各少なくとも１つの表面エッジについて、画像エッジ・ピクセルのセットを生成するステップをさらに含む、請求項１２に記載の方法。

【請求項20】

エッジ・ピクセルのセットを生成するステップをさらに含み、エッジ・ピクセルの前記セットが、画像エッジ・ピクセルの前記セットとサブ表面エッジ・ピクセルの前記セットとを含む、請求項１２に記載の方法。

【請求項21】

前記複数の前記２Ｄ画像の各々中の各前記前景ピクセルと、画像エッジ・ピクセルの前記セット、前記サブ表面エッジ・ピクセル、及びそれらの任意の組合せからなるエッジ・ピクセル・グループ中の各ピクセルとの間の測地距離を決定するステップをさらに含む、請求項１２に記載の方法。

【請求項22】

前記複数の前記２Ｄ画像の各々中の各前記前景ピクセルについて、前記測地距離が所定の値よりも大きい場合、前記前景ピクセルがマッピングする前記表面上のロケーションの表面テクスチャを、最高スコアをもつピクセルのテクスチャになるように設定するステップと、前記測地距離が所定の値よりも小さい場合、ローカル・ピクセルのセットを決定するステップであって、ローカル・ピクセルが、所定の値よりも小さい前記測地距離を有する前記エッジ・ピクセル・グループのメンバーである、決定するステップと、前記前景ピクセルがマッピングする前記表面上のロケーションの前記表面テクスチャを、ローカル・ピクセルの前記セットのテクスチャの重み付き平均に設定するステップとをさらに含む、請求項１２に記載の方法。

【請求項23】

要素内ピクセルのセットを生成するステップであって、前記要素内ピクセルの各々が、前記要素内のロケーションにマッピングするロケーションをもつピクセルである、生成するステップと、要素内ピクセルの前記セット中の少なくとも１つのピクセルのテクスチャから各前記要素についてテクスチャを生成するステップとをさらに含む、請求項２２に記載の方法。

【請求項24】

要素内ピクセルの前記セットの前記テクスチャの重み付き平均、要素内ピクセルの前記セットのｓ個のテクスチャの平均、最高スコアをもつ要素内ピクセルのテクスチャ、要素内ピクセルの前記セットのフィルタ処理されたテクスチャ、及びそれらの任意の組合せからなるグループから、各前記要素について前記テクスチャを生成するステップをさらに含む、請求項２３に記載の方法。

【請求項25】

各前記前景ピクセルについて、前記２Ｄ画像を生成したイメージング・デバイスの光学軸に対する表面法線方向、前記ポイント・クラウドとメッシュ中の位置との間の対応、深度境界線、鏡面性、セマンティック・ルール、及びそれらの任意の組合せからなるグループのメンバーから前記スコアを生成するステップをさらに含む、請求項１２に記載の方法。

【請求項26】

画像のシーケンスについて、経時的な空間連続性に従って前記スコアを修正するステップをさらに含む、請求項１２に記載の方法。

【請求項27】

境界領域における少なくとも１つの要素について、ピラミッド・ブレンディング・アルゴリズムを介して近隣イメージング・デバイスからのデータをマージするステップをさらに含む、請求項１２に記載の方法。

【請求項28】

不可視ポイントのうちの少なくとも１つについて、前記スコア、アルファ・マスク、及びそれらの任意の組合せからなるグループのメンバーを使用して、前記不可視ポイントの前記テクスチャを修正するステップをさらに含む、請求項１２に記載の方法。

【請求項29】

少なくとも１つのセマンティック・ルールに従って、前記サブ表面のうちの少なくとも２つをグループになるように組み合わせるステップをさらに含む、請求項１に記載の方法。

【請求項30】

前記複数の前記２Ｄ画像の各々中の各前景ピクセルについて、鏡面性値を決定するステップをさらに含み、前記鏡面性値が、複数の前記画像中の前記前景ピクセルの色及び輝度の比較から決定される、請求項１に記載の方法。

【請求項31】

前記複数の前記２Ｄ画像の各々についてのスコア・マップを決定するステップをさらに含み、前記スコア・マップが、前記複数の前記２Ｄ画像の各々中の各前景ピクセルについてのスコア値を有する、請求項１に記載の方法。

【請求項32】

所与の時間において前記少なくとも１つの２Ｄ画像のいずれにおいても可視でない、前記表面上の各不可視ポイントについて、前記表面の可視部分と前記表面の不可視部分との間の境界上の及び境界の近くの前記表面の前記可視部分上の少なくとも１つの前景ピクセルからの情報を拡張すること、前記表面の可視部分と前記表面の前記不可視部分との間の境界上の及び境界の近くの前記表面の前記可視部分上の少なくとも１つの前景ピクセルからの情報を外挿すること、前の時間においてモデルからテクスチャをコピーすることであって、前記ポイントが前記前の時間において可視である、コピーすること、後続の時間においてモデルからテクスチャをコピーすることであって、前記ポイントが前記後続の時間において可視である、コピーすること、セマンティック・ルールを適用すること、並びにそれらの任意の組合せから選択されるグループのメンバーによって、テクスチャを生成するステップをさらに含む、請求項１に記載の方法。

【請求項33】

実行されたとき、２次元（２Ｄ）画像のセットから、少なくとも１つのテクスチャリングされた３次元（３Ｄ）モデルを生成するように構成される、命令のセットであって、前記命令は、
少なくとも１つの３Ｄモデルを提供することであって、前記３Ｄモデルがサブ表面のセットを含み、サブ表面の前記セットが前記モデルの表面を定義する、提供することと、
２Ｄ画像の前記セット中の各画像について、前景ピクセルのセットを決定することであって、前景ピクセルの前記セットが前記表面の可視パートに対応する、決定することと、
各画像中で、前景ピクセルの前記セット中の各前景ピクセルについて、スコアを決定し、スコアのセットを生成することと、
前記少なくとも１つの３Ｄモデル上の各要素について、スコアの前記セットに基づいてテクスチャを前記要素に割り当てることと
を行うように構成されたステップを含む、命令のセット。

【請求項34】

前記命令が、コンピュータ可読媒体、データベース、プロセッサ、クラウド、及びそれらの任意の組合せからなるグループのメンバーに記憶され得る、請求項３３に記載の命令のセット。

【請求項35】

２Ｄ画像の前記セット中の各画像について、前景ピクセルの前記セットがユニットのセットを含み、各ユニットがサブ表面の可視部分を含む、請求項３３に記載の命令のセット。

【請求項36】

前記ユニットが、顔、手、腕、脚、頭部、胴、皮膚、衣類、シャツ、スカート、ズボン、ショーツ、レギンス、髪、及びそれらの任意の組合せからなるグループから選択される、請求項３５に記載の命令のセット。

【請求項37】

各イメージング・デバイスについて、ピクセル・スコアが、前記画像の各々中の各前記前景ピクセルについて決定され、前記ピクセル・スコアが、各前記前景ピクセルｉについて、角度Ａ_ｉ、幾何学的品質Ｑ_ｉ、エッジＥ_ｉ、距離Ｄ_ｉ、鏡面性値Ｓ_ｉ、サブ表面グループＧ_ｉ、及びそれらの任意の組合せからなるスコアリング・グループのメンバーから決定される、請求項３３に記載の命令のセット。

【請求項38】

各前記画像中の各前記前景ピクセルについて、前記表面に対する法線と、前記画像を生成するイメージング・デバイスのカメラ光軸との間の角度として前記角度Ａ_ｉを決定し、角度のセット｛Ａ_ｉ｝を生成すること、請求項３７に記載の命令のセット。

【請求項39】

各イメージング・デバイス及び各表面について、前記幾何学的品質尺度Ｑ_ｉが、ポイント・クラウドへの前記表面の接近の尺度を、前記ポイント・クラウドの密度及び前記ポイント・クラウドの品質尺度と組み合わせることによって決定されて、幾何学的品質尺度のセット｛Ｑ_ｉ｝が生成される、請求項３７に記載の命令のセット。

【請求項40】

サブ表面間の少なくとも１つのエッジが識別されて、エッジのセット｛Ｅ_ｉ｝が生成される、請求項３７に記載の命令のセット。

【請求項41】

各前記前景ピクセルについて、前記前景ピクセルとエッジの前記セット｛Ｅ_ｉ｝中の最も近いエッジとの間の前記距離Ｄ_ｉが計算されて、距離のセット｛Ｄ_ｉ｝が生成される、請求項３７に記載の命令のセット。

【請求項42】

各前記前景ピクセルについて、前記鏡面性値｛Ｓ_ｉ｝が計算される、請求項３７に記載の命令のセット。

【請求項43】

サブ表面グループのセット｛Ｇ_ｉ｝が生成される、請求項３７に記載の命令のセット。

【請求項44】

前記モデル中の各要素について、要素スコアが生成され、前記要素スコアが、前記要素のロケーションに対応するロケーションをもつ前記前景ピクセルの各々についての前記ピクセル・スコアから決定される、請求項３７に記載の命令のセット。

【請求項45】

２Ｄ画像の前記セットが受信され、２Ｄ画像の前記セットが、複数の２Ｄ画像、２Ｄ画像のシーケンス、及びそれらの任意の組合せからなるグループのメンバーを含む、請求項３３に記載の命令のセット。

【請求項46】

前記少なくとも１つの３Ｄモデルを前記提供することが、複数の２Ｄ画像から、単一の２Ｄ画像から、ダウンロードされた３Ｄモデルから、ストリーミングされた３Ｄモデルから、及びそれらの任意の組合せからなるグループから選択される、請求項４５に記載の命令のセット。

【請求項47】

前記３Ｄモデルの前記表面の少なくとも１つのモデル・サブ表面、請求項４５に記載の命令のセット。

【請求項48】

前記少なくとも１つのサブ表面の各々についての少なくとも１つのサブ表面エッジが決定される、請求項４５に記載の命令のセット。

【請求項49】

各サブ表面エッジについて、サブ表面エッジ・ピクセルのセットが生成される、請求項４５に記載の命令のセット。

【請求項50】

前記複数の前記２Ｄ画像の各々中で可視の前記表面の各前記前景ピクセルについてスコアが決定される、請求項４５に記載の命令のセット。

【請求項51】

少なくとも１つの画像エッジが、少なくとも１つの最良の画像の各々について決定される、請求項４５に記載の命令のセット。

【請求項52】

各少なくとも１つの表面エッジについて、画像エッジ・ピクセルのセットが生成される、請求項４５に記載の命令のセット。

【請求項53】

エッジ・ピクセルのセットが生成され、エッジ・ピクセルの前記セットが、画像エッジ・ピクセルの前記セットとサブ表面エッジ・ピクセルの前記セットとを含む、請求項４５に記載の命令のセット。

【請求項54】

前記複数の前記２Ｄ画像の各々中の各前記前景ピクセルと、画像エッジ・ピクセルの前記セット、前記サブ表面エッジ・ピクセル、及びそれらの任意の組合せからなるエッジ・ピクセル・グループ中の各ピクセルとの間の測地距離が決定される、請求項４５に記載の命令のセット。

【請求項55】

前記複数の前記２Ｄ画像の各々中の各前記前景ピクセルについて、前記測地距離が所定の値よりも大きい場合、前記前景ピクセルがマッピングする前記３Ｄモデルの前記表面上のロケーションの表面テクスチャが、最高スコアをもつピクセルのテクスチャに設定され、前記測地距離が所定の値よりも小さい場合、ローカル・ピクセルのセットが決定され、ローカル・ピクセルが、所定の値よりも小さい前記測地距離を有する前記エッジ・ピクセル・グループのメンバーであり、前記前景ピクセルがマッピングする前記３Ｄモデルの前記表面上の前記ロケーションの前記表面テクスチャが、ローカル・ピクセルの前記セットのテクスチャの重み付き平均に設定される、請求項４５に記載の命令のセット。

【請求項56】

要素内ピクセルのセットが生成され、前記要素内ピクセルの各々が、前記要素内のロケーションにマッピングするロケーションをもつピクセルであり、テクスチャが、各前記要素について、要素内ピクセルの前記セット中の少なくとも１つのピクセルのテクスチャから生成される、請求項５５に記載の命令のセット。

【請求項57】

前記テクスチャが、各前記要素について、要素内ピクセルの前記セットの前記テクスチャの重み付き平均、要素内ピクセルの前記セットのｓ個のテクスチャの平均、最高スコアをもつ要素内ピクセルのテクスチャ、要素内ピクセルの前記セットのフィルタ処理されたテクスチャ、及びそれらの任意の組合せからなるグループから生成される、請求項５６に記載の命令のセット。

【請求項58】

各前記前景ピクセルについて、前記スコアが、前記２Ｄ画像を生成したイメージング・デバイスの光学軸に対する表面法線方向、前記ポイント・クラウドとメッシュ中の位置との間の対応、深度境界線、鏡面性、セマンティック・ルール、及びそれらの任意の組合せからなるグループのメンバーから生成される、請求項４５に記載の命令のセット。

【請求項59】

画像のシーケンスについて、前記スコアが、経時的な空間連続性に従って修正される、請求項４５に記載の命令のセット。

【請求項60】

境界領域における少なくとも１つの要素について、近隣イメージング・デバイスからのデータが、ピラミッド・ブレンディング・アルゴリズムを介してマージされる、請求項４５に記載の命令のセット。

【請求項61】

不可視ポイントのうちの少なくとも１つについて、前記不可視ポイントのテクスチャが、前記スコア、アルファ・マスク、及びそれらの任意の組合せからなるグループのメンバーを使用して修正される、請求項４５に記載の命令のセット。

【請求項62】

前記サブ表面のうちの少なくとも２つが、少なくとも１つのセマンティック・ルールに従ってグループになるように組み合わせられる、請求項３３に記載の命令のセット。

【請求項63】

前記複数の前記２Ｄ画像の各々中の各前景ピクセルについて、鏡面性値が決定され、前記鏡面性値が、複数の前記画像中の前記前景ピクセルの色及び輝度の比較から決定される、請求項３３に記載の命令のセット。

【請求項64】

前記複数の前記２Ｄ画像の各々についてのスコア・マップが決定され、前記スコア・マップが、前記複数の前記２Ｄ画像の各々中の各前景ピクセルについてのスコア値を有する、請求項３３に記載の命令のセット。

【請求項65】

所与の時間において前記少なくとも１つの２Ｄ画像のいずれにおいても可視でない、前記表面上の各不可視ポイントについて、前記表面の可視部分と前記表面の不可視部分との間の境界上の及び境界の近くの前記表面の前記可視部分上の少なくとも１つの前景ピクセルからの情報を拡張すること、前記表面の可視部分と前記表面の前記不可視部分との間の境界上の及び境界の近くの前記表面の前記可視部分上の少なくとも１つの前景ピクセルからの情報を外挿すること、前の時間においてモデルからテクスチャをコピーすることであって、前記ポイントが前記前の時間において可視である、コピーすること、後続の時間においてモデルからテクスチャをコピーすることであって、前記ポイントが前記後続の時間において可視である、コピーすること、セマンティック・ルールを適用すること、並びにそれらの任意の組合せから選択されるグループのメンバーによって、テクスチャが生成される、請求項３３に記載の命令のセット。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、一般に、複数のイメージング・デバイスから供給される２Ｄ画像を使用して３Ｄ表面をテクスチャリングするためのシステム及び方法に関する。

【背景技術】

【0002】

物体の３次元（３Ｄ）ソフトウェア・モデルにテクスチャを適用することに関して、多くの作業が行われてきた。特に興味深いのは、物体の１つ又は複数の２次元（２Ｄ）画像中で見つけられるテクスチャに基づいて、モデルに現実的なテクスチャを適用することであり、そのテクスチャは、２Ｄ画像中で不可視であった物体の部分（ｐｏｒｔｉｏｎ）がある場合でも、３Ｄモデル全体をカバーするが、アルゴリズム的に困難であるとともに、計算集約的でもあるという課題を伴う。

【0003】

米国登録特許第ＵＳ１０８１８０６４号は、人間の顔の表現を有する画像から正確な顔形状及びテクスチャを推定することに関係する技法が説明されることを教示している。そのような技法は、２Ｄランドマーク、３Ｄランドマーク、並びにカメラ及び姿勢パラメータに基づいて線形空間コスト・モデルを最適化する形状パラメータを決定することと、線形テクスチャ推定コスト・モデルを最適化するテクスチャ・パラメータを決定することと、非線形ピクセル強度コスト関数を最適化することによって形状パラメータを改良することとを含み得る。

【0004】

しかしながら、この技法は、顔の画像のみに関係し、異なる角度において撮られる画像をどのようにマッチング又はブレンドすべきかの教示がなく、２Ｄ画像中で不可視であった３Ｄモデルの部分をどのように埋めるべきかの教示もない。

【0005】

米国登録特許第ＵＳ１０５５９１２６号は、３Ｄメディア・コンテンツを符号化、復号、及びレンダリングするための方法及び装置を教示している。この装置は、マルチメディア・ストリームを受信するように構成された通信インターフェースと、通信インターフェースに動作可能に結合された１つ又は複数のプロセッサとを含み、１つ又は複数のプロセッサは、マルチメディア・ストリームを、ジオメトリ（ｇｅｏｍｅｔｒｙ）・フレーム及びテクスチャ・フレームと、２Ｄフレームから３Ｄポイントをレンダリングするための２Ｄ－３Ｄコンバージョン・メタデータと、６自由度（６ＤｏＦ）シーンにおける物体の間の６ＤｏＦ関係を説明するシーン説明メタデータとを含む２Ｄビデオ・ビット・ストリームにパースすることと、２Ｄピクセル・データを生成するためにジオメトリ・データとテクスチャ・データとを含む２Ｄビデオ・ストリームを復号することと、２Ｄ－３Ｄコンバージョン・メタデータを使用して２Ｄピクセル・データを３Ｄボクセル・データにコンバートすることと、シーン説明メタデータを使用して３Ｄボクセル・データから６ＤｏＦシーンを生成することとを行うように構成される。

【0006】

しかしながら、異なる角度において撮られる画像をどのようにマッチング又はブレンドすべきかの教示がなく、２Ｄ画像中で不可視であった３Ｄモデルの部分をどのように埋めるべきかの教示もない。

【0007】

米国登録特許第ＵＳ８３８４７１４号は、フィギュア（ｆｉｇｕｒｅ）のデジタル表現を作成するための様々な方法、デバイス及び記憶媒体を開示している。１つのそのようなコンピュータ実装方法によれば、フィギュアのボリュメトリック（ｖｏｌｕｍｅｔｒｉｃ）表現が、フィギュアの画像と相関させられる。フィギュアの２つの時間的に別個の画像の各々に共通である基準ポイントが見つけられ、基準ポイントは、２つの画像間のフィギュアの移動を表す。基準ポイントとフィギュアのボリュメトリック表現の相関とに応じて、ボリュメトリック変形が、フィギュアのデジタル表現に適用される。粗い／ボリュメトリック変形に応じて、細かい変形が適用される。適用された変形に応答して、フィギュアの更新されたデジタル表現が生成される。

【0008】

しかしながら、ＵＳ８３８４７１４は、２つ以上の時間的に別個の画像に共通の基準ポイントを見つけ、時間とともに移動するモデルを生成するためにボリュメトリック変形を適用して１つの時点から後続の時点にモデルを変換する。操作又は拡張は教示されていない。

【0009】

米国特許出願公開第ＵＳ２０１５／０１７８９８８号は、物体又は生き物についての現実的な３Ｄ再構成モデルを生成するための方法を教示しており、この方法は、
ａ）複数の周囲カメラから物体又は生き物の画像のシーケンスをキャプチャすることと、
ｂ）キャプチャされた画像のシーケンスから物体又は生き物のメッシュを生成することと、
ｃ）物体又は生き物のキャプチャされた画像のシーケンスから取得された情報を使用してテクスチャ・アトラスを作成することと、
ｄ）重要なエリアのより高い精度メッシュに従って、生成されたメッシュを変形することと、
ｅ）関節骨格モデルを使用してメッシュを着飾らせ、上記骨格モデルの複数の頂点に骨の重みを割り当てることとを含み、この方法は、完全自動フレームワークにおけるアニメーションを可能にするセマンティック情報をさらに使用して３Ｄ再構成モデルを関節モデルとして生成することを含む。

【0010】

しかしながら、ＵＳ２０１５０１７８９８８は、所定の関節骨格モデルを必要とする。操作又は拡張は教示されていない。

【0011】

米国登録特許第ＵＳ９３１７９５４号は、適応モデルを使用する顔パフォーマンス・キャプチャのための技法を教示している。たとえば、コンピュータ実装方法は、対象の３次元走査を取得することと、３次元走査を使用して、ブレンド形状のセットを含むカスタマイズされたデジタル・モデルを生成することとを含み得、ブレンド形状のセットのうちの１つ又は複数のブレンド形状の各々は、対象の特性の少なくとも一部分を表す。この方法は、対象の入力データを受信することであって、入力データがビデオ・データと深度データとを含む、受信することと、セットのブレンド形状のうちの１つ又は複数を使用して入力データを適合させることによって対象の身体変形を追跡することと、１つ又は複数の適応主成分分析形状を使用して、改良された線形モデルを入力データ上に適合させることとをさらに含み得る。

【0012】

しかしながら、ＵＳ９３１７９５４は、（１つ又は複数の）初期画像が３Ｄ画像である方法を教示している。ブレンド形状は、初期画像と組み合わせられ得る所定の形状である。（１つ又は複数の）初期画像中で不可視の３Ｄモデルの部分について埋めることは、教示されていない。

【0013】

米国登録特許第ＵＳ１０７９６４８０号は、ユーザの個人化された３Ｄ頭部モデルの画像ファイルを生成する方法を教示しており、この方法は、（ｉ）ユーザの顔の少なくとも１つの２Ｄ画像を収集するステップと、（ｉｉ）ユーザの顔の少なくとも１つの２Ｄ画像に基づいて、自動化された顔２Ｄランドマーク認識を実施するステップと、（ｉｉｉ）形状プライア（ｓｈａｐｅ ｐｒｉｏｒ）を使用して３Ｄ顔ジオメトリ再構成を提供するステップと、（ｉｖ）ユーザの個人化された３Ｄ頭部モデルを生成するために、３Ｄ顔ジオメトリ再構成に関してテクスチャ・マップ生成及び補間を提供するステップと、（ｖ）ユーザの個人化された３Ｄ頭部モデルの画像ファイルを生成するステップとを含む。関係するシステム及びコンピュータ・プログラム製品も提供される。

【0014】

しかしながら、ＵＳ１０７９６４８０は、自動的に測定された顔の特徴を正確な顔にコンバートするために、「形状プライア」、すなわち、所定の民族性固有の顔及び身体形状を必要とする。さらに、手動介入又は複数画像のいずれかが、身体の許容できる３Ｄモデルを生成するために必要とされる。

【0015】

したがって、機械学習を必要とせず、画像間のブレンディングが不可能でなく、２Ｄ画像中で不可視である３Ｄモデルの部分を埋めることが不可能でないシステムを提供することが、長年にわたって必要とされている。

【先行技術文献】

【特許文献】

【0016】

【特許文献1】米国登録特許第ＵＳ１０８１８０６４号

【特許文献2】米国登録特許第ＵＳ１０５５９１２６号

【特許文献3】米国登録特許第ＵＳ８３８４７１４号

【特許文献4】米国特許出願公開第ＵＳ２０１５／０１７８９８８号

【特許文献5】米国登録特許第ＵＳ９３１７９５４号

【特許文献6】米国登録特許第ＵＳ１０７９６４８０号

【発明の概要】

【発明が解決しようとする課題】

【0017】

本発明の目的は、複数のイメージング・デバイスから供給される２Ｄ画像を使用して表面をテクスチャリングするためのシステムを開示することである。

【0018】

本発明の別の目的は、２次元（２Ｄ）画像のセットから、少なくとも１つのテクスチャリングされた３次元（３Ｄ）モデルを生成するための方法であって、
少なくとも１つの３Ｄモデルを提供するステップであって、３Ｄモデルがサブ表面（ｓｕｂ－ｓｕｒｆａｃｅ）のセットを含み、サブ表面のセットがモデルの表面を定義する、提供するステップと、
２Ｄ画像のセット中の各画像について、前景ピクセルのセットを決定するステップであって、前景ピクセルのセットが表面の可視パート（ｐａｒｔ）に対応する、決定するステップと、
各画像中で、前景ピクセルのセット中の各前景ピクセルについて、スコアを決定し、スコアのセットを生成するステップと、
少なくとも１つの３Ｄモデル上の各要素について、スコアのセットに基づいてテクスチャを要素に割り当てるステップと
を含む、方法を開示することである。

【0019】

本発明の別の目的は、２Ｄ画像のセット中の各画像について、前景ピクセルのセットがユニットのセットを含み、各ユニットがサブ表面の可視部分を含む、上記で説明された方法を開示することである。

【0020】

本発明の別の目的は、顔、手、腕、脚、頭部、胴、皮膚、衣類、シャツ、スカート、ズボン、ショーツ、レギンス、髪、及びそれらの任意の組合せからなるグループからユニットを選択するステップをさらに含む、上記で説明された方法を開示することである。

【0021】

本発明の別の目的は、各イメージング・デバイスについて、画像の各々中の各前景ピクセルについてのピクセル・スコアを決定するステップをさらに含み、ピクセル・スコアが、各前景ピクセルｉについて、角度Ａ_ｉ、幾何学的品質Ｑ_ｉ、エッジＥ_ｉ、距離Ｄ_ｉ、鏡面性（ｓｐｅｃｕｌａｒｉｔｙ）値Ｓ_ｉ、サブ表面グループＧ_ｉ、及びそれらの任意の組合せからなるスコアリング・グループのメンバーから決定される、上記で説明された方法を開示することである。

【0022】

本発明の別の目的は、各画像中の各前景ピクセルについて、表面に対する法線と、画像を生成するイメージング・デバイスのカメラ光軸との間の角度として角度Ａ_ｉを決定し、角度のセット｛Ａ_ｉ｝を生成するステップをさらに含む、上記で説明された方法を開示することである。

【0023】

本発明の別の目的は、各イメージング・デバイス及び各表面について、ポイント・クラウドへの表面の接近の尺度を、ポイント・クラウドの密度及びポイント・クラウドの品質尺度と組み合わせることによって、幾何学的品質尺度Ｑ_ｉを決定し、幾何学的品質尺度のセット｛Ｑ_ｉ｝を生成するステップをさらに含む、上記で説明された方法を開示することである。

【0024】

本発明の別の目的は、サブ表面間の少なくとも１つのエッジを識別し、エッジのセット｛Ｅ_ｉ｝を生成するステップをさらに含む、上記で説明された方法を開示することである。

【0025】

本発明の別の目的は、各前景ピクセルについて、前景ピクセルとエッジのセット｛Ｅ_ｉ｝中の最も近いエッジとの間の距離Ｄ_ｉを計算し、距離のセット｛Ｄ_ｉ｝を生成するステップをさらに含む、上記で説明された方法を開示することである。

【0026】

本発明の別の目的は、各前景ピクセルについて、鏡面性値｛Ｓ_ｉ｝を計算するステップをさらに含む、上記で説明された方法を開示することである。

【0027】

本発明の別の目的は、サブ表面グループのセット｛Ｇ_ｉ｝を生成するステップをさらに含む、上記で説明された方法を開示することである。

【0028】

本発明の別の目的は、上記モデル中の各要素について、要素スコアを生成するステップをさらに含み、要素スコアが、要素のロケーションに対応するロケーションをもつ前景ピクセルの各々についてのピクセル・スコアから決定される、上記で説明された方法を開示することである。

【0029】

本発明の別の目的は、２Ｄ画像のセットを受信するステップをさらに含み、２Ｄ画像のセットが、複数の２Ｄ画像、２Ｄ画像のシーケンス、及びそれらの任意の組合せからなるグループのメンバーを含む、上記で説明された方法を開示することである。

【0030】

本発明の別の目的は、複数の２Ｄ画像から、単一の２Ｄ画像から、ダウンロードされた３Ｄモデルから、ストリーミングされた３Ｄモデルから、及びそれらの任意の組合せからなるグループから、少なくとも１つの３Ｄモデルを提供することを選択するステップをさらに含む、上記で説明された方法を開示することである。

【0031】

本発明の別の目的は、３Ｄモデルの表面の少なくとも１つのモデル・サブ表面を決定するステップをさらに含む、上記で説明された方法を開示することである。

【0032】

本発明の別の目的は、少なくとも１つのサブ表面の各々についての少なくとも１つのサブ表面エッジを決定するステップをさらに含む、上記で説明された方法を開示することである。

【0033】

本発明の別の目的は、各サブ表面エッジについて、サブ表面エッジ・ピクセルのセットを生成するステップをさらに含む、上記で説明された方法を開示することである。

【0034】

本発明の別の目的は、複数の２Ｄ画像の各々中で可視の表面の各前景ピクセルについてスコアを決定するステップをさらに含む、上記で説明された方法を開示することである。

【0035】

本発明の別の目的は、少なくとも１つの最良の画像の各々について、少なくとも１つの画像エッジを決定するステップをさらに含む、上記で説明された方法を開示することである。

【0036】

本発明の別の目的は、各少なくとも１つの表面エッジについて、画像エッジ・ピクセルのセットを生成するステップをさらに含む、上記で説明された方法を開示することである。

【0037】

本発明の別の目的は、エッジ・ピクセルのセットを生成するステップをさらに含み、エッジ・ピクセルのセットが、画像エッジ・ピクセルのセットとサブ表面エッジ・ピクセルのセットとを含む、上記で説明された方法を開示することである。

【0038】

本発明の別の目的は、複数の２Ｄ画像の各々中の各前景ピクセルと、画像エッジ・ピクセルのセット、サブ表面エッジ・ピクセル、及びそれらの任意の組合せからなるエッジ・ピクセル・グループ中の各ピクセルとの間の測地距離を決定するステップをさらに含む、上記で説明された方法を開示することである。

【0039】

本発明の別の目的は、複数の２Ｄ画像の各々中の各前景ピクセルについて、測地距離が所定の値よりも大きい場合、前景ピクセルがマッピングする表面上のロケーションの表面テクスチャを、最高スコアをもつピクセルのテクスチャになるように設定するステップと、測地距離が所定の値よりも小さい場合、ローカル・ピクセルのセットを決定するステップであって、ローカル・ピクセルが、所定の値よりも小さい測地距離を有するエッジ・ピクセル・グループのメンバーである、決定するステップと、前景ピクセルがマッピングする表面上のロケーションの表面テクスチャを、ローカル・ピクセルのセットのテクスチャの重み付き平均に設定するステップとをさらに含む、上記で説明された方法を開示することである。

【0040】

本発明の別の目的は、要素内ピクセルのセットを生成するステップであって、要素内ピクセルの各々が、要素内のロケーションにマッピングするロケーションをもつピクセルである、生成するステップと、要素内ピクセルのセット中の少なくとも１つのピクセルのテクスチャから各要素についてテクスチャを生成するステップとをさらに含む、上記で説明された方法を開示することである。

【0041】

本発明の別の目的は、要素内ピクセルのセットのテクスチャの重み付き平均、要素内ピクセルのセットのテクスチャの平均、最高スコアをもつ要素内ピクセルのテクスチャ、要素内ピクセルのセットのフィルタ処理されたテクスチャ、及びそれらの任意の組合せからなるグループから、各要素についてテクスチャを生成するステップをさらに含む、上記で説明された方法を開示することである。

【0042】

本発明の別の目的は、各前景ピクセルについて、２Ｄ画像を生成したイメージング・デバイスの光学軸に対する表面法線方向、ポイント・クラウドとメッシュ中の位置との間の対応、深度境界線（ｄｅｐｔｈ ｂｏｒｄｅｒ）、鏡面性、セマンティック・ルール、及びそれらの任意の組合せからなるグループのメンバーからスコアを生成するステップをさらに含む、上記で説明された方法を開示することである。

【0043】

本発明の別の目的は、画像のシーケンスについて、経時的な空間連続性に従ってスコアを修正するステップをさらに含む、上記で説明された方法を開示することである。

【0044】

本発明の別の目的は、境界（ｂｏｕｎｄａｒｙ）領域における少なくとも１つの要素について、ピラミッド・ブレンディング・アルゴリズムを介して近隣イメージング・デバイスからのデータをマージするステップをさらに含む、上記で説明された方法を開示することである。

【0045】

本発明の別の目的は、不可視ポイントのうちの少なくとも１つについて、スコア、アルファ・マスク、及びそれらの任意の組合せからなるグループのメンバーを使用して、不可視ポイントのテクスチャを修正するステップをさらに含む、上記で説明された方法を開示することである。

【0046】

本発明の別の目的は、少なくとも１つのセマンティック・ルールに従って、サブ表面のうちの少なくとも２つをグループになるように組み合わせるステップをさらに含む、上記で説明された方法を開示することである。

【0047】

本発明の別の目的は、複数の２Ｄ画像の各々中の各前景ピクセルについて、鏡面性値を決定するステップをさらに含み、鏡面性値が、複数の画像中の前景ピクセルの色及び輝度の比較から決定される、上記で説明された方法を開示することである。

【0048】

本発明の別の目的は、複数の２Ｄ画像の各々についてのスコア・マップを決定するステップをさらに含み、スコア・マップが、複数の２Ｄ画像の各々中の各前景ピクセルについてのスコア値を有する、上記で説明された方法を開示することである。

【0049】

本発明の別の目的は、所与の時間において少なくとも１つの２Ｄ画像のいずれにおいても可視でない、表面上の各不可視ポイントについて、表面の可視部分と表面の不可視部分との間の境界上の及び境界の近くの表面の可視部分上の少なくとも１つの前景ピクセルからの情報を拡張すること、表面の可視部分と表面の不可視部分との間の境界上の及び境界の近くの表面の可視部分上の少なくとも１つの前景ピクセルからの情報を外挿すること、前の時間においてモデルからテクスチャをコピーすることであって、ポイントが前の時間において可視である、コピーすること、後続の時間においてモデルからテクスチャをコピーすることであって、ポイントが後続の時間において可視である、コピーすること、セマンティック・ルールを適用すること、並びにそれらの任意の組合せから選択されるグループのメンバーによって、テクスチャを生成するステップをさらに含む、上記で説明された方法を開示することである。

【0050】

本発明の別の目的は、実行されたとき、２次元（２Ｄ）画像のセットから、少なくとも１つのテクスチャリングされた３次元（３Ｄ）モデルを生成するように構成される、命令のセットであって、命令は、
少なくとも１つの３Ｄモデルを提供することであって、３Ｄモデルがサブ表面のセットを含み、サブ表面のセットがモデルの表面を定義する、提供することと、
２Ｄ画像のセット中の各画像について、前景ピクセルのセットを決定することであって、前景ピクセルのセットが表面の可視パートに対応する、決定することと、
各画像中で、前景ピクセルのセット中の各前景ピクセルについて、スコアを決定し、スコアのセットを生成することと、
少なくとも１つの３Ｄモデル上の各要素について、スコアのセットに基づいてテクスチャを要素に割り当てることと
を行うように構成されたステップを含む、命令のセットを開示することである。

【0051】

本発明の別の目的は、命令が、コンピュータ可読媒体、データベース、プロセッサ、クラウド、及びそれらの任意の組合せからなるグループのメンバーに記憶され得る、上記で説明された命令のセットを開示することである。

【0052】

本発明の別の目的は、２Ｄ画像のセット中の各画像について、前景ピクセルのセットがユニットのセットを含み、各ユニットがサブ表面の可視部分を含む、上記で説明された命令のセットを開示することである。

【0053】

本発明の別の目的は、ユニットが、顔、手、腕、脚、頭部、胴、皮膚、衣類、シャツ、スカート、ズボン、ショーツ、レギンス、髪、及びそれらの任意の組合せからなるグループから選択される、上記で説明された命令のセットを開示することである。

【0054】

本発明の別の目的は、各イメージング・デバイスについて、ピクセル・スコアが、画像の各々中の各前景ピクセルについて決定され、ピクセル・スコアが、各前景ピクセルｉについて、角度Ａ_ｉ、幾何学的品質Ｑ_ｉ、エッジＥ_ｉ、距離Ｄ_ｉ、鏡面性値Ｓ_ｉ、サブ表面グループＧ_ｉ、及びそれらの任意の組合せからなるスコアリング・グループのメンバーから決定される、上記で説明された命令のセットを開示することである。

【0055】

本発明の別の目的は、各画像中の各前景ピクセルについて、表面に対する法線と、画像を生成するイメージング・デバイスのカメラ光軸との間の角度として角度Ａ_ｉを決定し、角度のセット｛Ａ_ｉ｝を生成すること、上記で説明された命令のセットを開示することである。

【0056】

本発明の別の目的は、各イメージング・デバイス及び各表面について、幾何学的品質尺度Ｑ_ｉが、ポイント・クラウドへの表面の接近の尺度を、ポイント・クラウドの密度及びポイント・クラウドの品質尺度と組み合わせることによって決定されて、幾何学的品質尺度のセット｛Ｑ_ｉ｝が生成される、上記で説明された命令のセットを開示することである。

【0057】

本発明の別の目的は、サブ表面間の少なくとも１つのエッジが識別されて、エッジのセット｛Ｅ_ｉ｝が生成される、上記で説明された命令のセットを開示することである。

【0058】

本発明の別の目的は、各前景ピクセルについて、前景ピクセルとエッジのセット｛Ｅ_ｉ｝中の最も近いエッジとの間の距離Ｄ_ｉが計算されて、距離のセット｛Ｄ_ｉ｝が生成される、上記で説明された命令のセットを開示することである。

【0059】

本発明の別の目的は、各前景ピクセルについて、鏡面性値｛Ｓ_ｉ｝が計算される、上記で説明された命令のセットを開示することである。

【0060】

本発明の別の目的は、サブ表面グループのセット｛Ｇ_ｉ｝が生成される、上記で説明された命令のセットを開示することである。

【0061】

本発明の別の目的は、上記モデル中の各要素について、要素スコアが生成され、要素スコアが、要素のロケーションに対応するロケーションをもつ前景ピクセルの各々についてのピクセル・スコアから決定される、上記で説明された命令のセットを開示することである。

【0062】

本発明の別の目的は、２Ｄ画像のセットが受信され、２Ｄ画像のセットが、複数の２Ｄ画像、２Ｄ画像のシーケンス、及びそれらの任意の組合せからなるグループのメンバーを含む、上記で説明された命令のセットを開示することである。

【0063】

本発明の別の目的は、少なくとも１つの３Ｄモデルを提供することが、複数の２Ｄ画像から、単一の２Ｄ画像から、ダウンロードされた３Ｄモデルから、ストリーミングされた３Ｄモデルから、及びそれらの任意の組合せからなるグループから選択される、上記で説明された命令のセットを開示することである。

【0064】

本発明の別の目的は、３Ｄモデルの表面の少なくとも１つのモデル・サブ表面、上記で説明された命令のセットを開示することである。

【0065】

本発明の別の目的は、少なくとも１つのサブ表面の各々についての少なくとも１つのサブ表面エッジが決定される、上記で説明された命令のセットを開示することである。

【0066】

本発明の別の目的は、各サブ表面エッジについて、サブ表面エッジ・ピクセルのセットが生成される、上記で説明された命令のセットを開示することである。

【0067】

本発明の別の目的は、複数の２Ｄ画像の各々中で可視の表面の各前景ピクセルについてスコアが決定される、上記で説明された命令のセットを開示することである。

【0068】

本発明の別の目的は、少なくとも１つの画像エッジが、少なくとも１つの最良の画像の各々について決定される、上記で説明された命令のセットを開示することである。

【0069】

本発明の別の目的は、各少なくとも１つの表面エッジについて、画像エッジ・ピクセルのセットが生成される、上記で説明された命令のセットを開示することである。

【0070】

本発明の別の目的は、エッジ・ピクセルのセットが生成され、エッジ・ピクセルのセットが、画像エッジ・ピクセルのセットとサブ表面エッジ・ピクセルのセットとを含む、上記で説明された命令のセットを開示することである。

【0071】

本発明の別の目的は、複数の２Ｄ画像の各々中の各前景ピクセルと、画像エッジ・ピクセルのセット、サブ表面エッジ・ピクセル、及びそれらの任意の組合せからなるエッジ・ピクセル・グループ中の各ピクセルとの間の測地距離が決定される、上記で説明された命令のセットを開示することである。

【0072】

本発明の別の目的は、複数の２Ｄ画像の各々中の各前景ピクセルについて、測地距離が所定の値よりも大きい場合、前景ピクセルがマッピングする３Ｄモデルの表面上のロケーションの表面テクスチャが、最高スコアをもつピクセルのテクスチャに設定され、測地距離が所定の値よりも小さい場合、ローカル・ピクセルのセットが決定され、ローカル・ピクセルが、所定の値よりも小さい測地距離を有するエッジ・ピクセル・グループのメンバーであり、前景ピクセルがマッピングする３Ｄモデルの表面上のロケーションの表面テクスチャが、ローカル・ピクセルのセットのテクスチャの重み付き平均に設定される、上記で説明された命令のセットを開示することである。

【0073】

本発明の別の目的は、要素内ピクセルのセットが生成され、要素内ピクセルの各々が、要素内のロケーションにマッピングするロケーションをもつピクセルであり、テクスチャが、各要素について、要素内ピクセルのセット中の少なくとも１つのピクセルのテクスチャから生成される、上記で説明された命令のセットを開示することである。

【0074】

本発明の別の目的は、テクスチャが、各要素について、要素内ピクセルのセットのテクスチャの重み付き平均、要素内ピクセルのセットのｓ個のテクスチャの平均、最高スコアをもつ要素内ピクセルのテクスチャ、要素内ピクセルのセットのフィルタ処理されたテクスチャ、及びそれらの任意の組合せからなるグループから生成される、上記で説明された命令のセットを開示することである。

【0075】

本発明の別の目的は、各前景ピクセルについて、スコアが、２Ｄ画像を生成したイメージング・デバイスの光学軸に対する表面法線方向、ポイント・クラウドとメッシュ中の位置との間の対応、深度境界線、鏡面性、セマンティック・ルール、及びそれらの任意の組合せからなるグループのメンバーから生成される、上記で説明された命令のセットを開示することである。

【0076】

本発明の別の目的は、画像のシーケンスについて、スコアが、経時的な空間連続性に従って修正される、上記で説明された命令のセットを開示することである。

【0077】

本発明の別の目的は、境界領域における少なくとも１つの要素について、近隣イメージング・デバイスからのデータが、ピラミッド・ブレンディング・アルゴリズムを介してマージされる、上記で説明された命令のセットを開示することである。

【0078】

本発明の別の目的は、不可視ポイントのうちの少なくとも１つについて、不可視ポイントのテクスチャが、スコア、アルファ・マスク、及びそれらの任意の組合せからなるグループのメンバーを使用して修正される、上記で説明された命令のセットを開示することである。

【0079】

本発明の別の目的は、サブ表面のうちの少なくとも２つが、少なくとも１つのセマンティック・ルールに従ってグループになるように組み合わせられる、上記で説明された命令のセットを開示することである。

【0080】

本発明の別の目的は、複数の２Ｄ画像の各々中の各前景ピクセルについて、鏡面性値が決定され、鏡面性値が、複数の画像中の前景ピクセルの色及び輝度の比較から決定される、上記で説明された命令のセットを開示することである。

【0081】

本発明の別の目的は、複数の２Ｄ画像の各々についてのスコア・マップが決定され、スコア・マップが、複数の２Ｄ画像の各々中の各前景ピクセルについてのスコア値を有する、上記で説明された命令のセットを開示することである。

【0082】

本発明の別の目的は、所与の時間において少なくとも１つの２Ｄ画像のいずれにおいても可視でない、表面上の各不可視ポイントについて、表面の可視部分と表面の不可視部分との間の境界上の及び境界の近くの表面の可視部分上の少なくとも１つの前景ピクセルからの情報を拡張すること、表面の可視部分と表面の不可視部分との間の境界上の及び境界の近くの表面の可視部分上の少なくとも１つの前景ピクセルからの情報を外挿すること、前の時間においてモデルからテクスチャをコピーすることであって、ポイントが前の時間において可視である、コピーすること、後続の時間においてモデルからテクスチャをコピーすることであって、ポイントが後続の時間において可視である、コピーすること、セマンティック・ルールを適用すること、並びにそれらの任意の組合せから選択されるグループのメンバーによって、テクスチャが生成される、上記で説明された命令のセットを開示することである。

【0083】

本発明及びそれの実装形態を実際により良く理解するために、次に、複数の実施例が、単に非限定的な実例として、添付の図面を参照しながら説明される。

【図面の簡単な説明】

【0084】

【図1A】画像中のピクセルとモデル中の要素との間の関係を示す図である。

【図2A】本方法の実施例のフロー・チャート（１０００）を示す図である。

【図2B】本方法の実施例のフロー・チャート（１０００）を示す図である。

【図2C】本方法の実施例のフロー・チャート（１０００）を示す図である。

【図2D】本方法の実施例のフロー・チャート（１０００）を示す図である。

【発明を実施するための形態】

【0085】

以下の説明は、本発明のすべてのチャプターと一緒に、当業者が本発明を利用することを可能にするように提供され、発明者によって企図される、本発明を行う最良の形態を記載する。ただし、本発明の一般原理は、複数のイメージング・デバイスから供給される２Ｄ画像を使用して表面をテクスチャリングするための手段及び方法を提供するために特に定義されているので、依然として、様々な修正が当業者には明らかであろう。

【0086】

「物体」という用語は、以下で、元の画像中の可視の、個々のアイテムを指す。

【0087】

「画像」という用語は、以下で、イメージング・デバイスによってキャプチャされる単一のピクチャを指す。壇上の位置からキャプチャされる、踊っているカップルのビューが、画像の非限定的な実例となる。黒い背景上に顔のみを示す、顔のビューが、画像の非限定的な実例となる。

【0088】

「画像のシーケンス」という用語は、以下で、シーケンス中の各画像と次の画像との間に関係がある、同じイメージング・デバイスからの２つ以上の画像を指す。画像のシーケンスは、一般に、ビデオ又はフィルムの少なくともパートを形成する。

【0089】

「モデル」という用語は、以下で、所与の時点においてソフトウェアによって生成される物体の表現を指す。本明細書で使用される非限定的な実例では、人が物体となる。ビデオ画像中でキャプチャされる人も、物体となる。ソフトウェアに入力され、したがって、操作可能な人が、モデルとなる。

【0090】

「モデルのシーケンス」という用語は、以下で、シーケンス中の各モデルと次のモデルとの間に関係がある、２つ以上のモデルを指す。一般に、シーケンス中のあるモデルとシーケンス中の次のモデルとの間の時間間隔は、シーケンス中のモデルのすべてのそのようなペアについて同じである。

【0091】

「複数の画像」という用語は、以下で、各画像が異なるイメージング・デバイスによってキャプチャされる、同時に撮られる２つ以上の画像を指す。非限定的な実例では、人がスタジオの中に立ち、４つの画像、すなわち、（１）前面画像、（２）後面からの画像、（３）右側画像、及び（４）左側画像がキャプチャされる。それら４つの画像は、複数の画像である。４つのビデオ・カメラ、すなわち、人の前面を狙うビデオ・カメラ、左側にあるビデオ・カメラ、人の後面にあるビデオ・カメラ、及び右側にあるビデオ・カメラが稼働された場合、４つのビデオ・シーケンスは、複数の画像シーケンスであることになる。

【0092】

「表面」という用語は、以下で、モデルの最外パートの全体を指す。非限定的な実例では、人の皮膚が、人の表面を定義する。

【0093】

「サブ表面」という用語は、以下で、表面法線が表面にわたって著しく異ならないか、又は表面の部分が単一の構成要素として認識可能であるかのいずれかである、表面の部分を指す。非限定的な実例では、人の胸部の前面と人の背面とが、異なるサブ表面を含む。別の非限定的な実例では、人の脚、腕、及び頭部が、サブ表面である。人の胴は、１つのサブ表面として、又は４つのサブ表面（前面、背面、左側、右側）のセットとして定義され得る。

【0094】

「ユニット」という用語は、以下で、所与の画像について、遮られた又は不可視であるサブ表面のパートがない、サブ表面の部分を指す。言い換えれば、ユニットは、所与の画像において可視であるサブ表面のパートである。ユニットのサイズ及び形状は、異なるイメージング・デバイスからの所与の時間における画像と、異なる時間における同じイメージング・デバイスからの画像の両方について、画像間で異なることがある。

【0095】

「仮想現実画像」又は「ＶＲ画像」という用語は、以下で、非限定的な実例では、ＶＲヘッドセットを介して仮想現実環境において観察されるようにレンダリングされる１つ又は複数の３Ｄモデルを指す。

【0096】

「前景物体」という用語は、以下で、画像中の関心のある物体を指す。非限定的な実例では、画像は、人、テーブル、３つの椅子、及び壁上の２つのピクチャを含む。人は前景物体である。

【0097】

「背景物体」という用語は、以下で、画像中の関心のない物体を指す。非限定的な実例では、画像は、人、テーブル、３つの椅子、及び壁上の２つのピクチャを含む。テーブル、椅子、ピクチャ、及び壁は、背景物体である。

【0098】

「前景マスク境界」という用語は、以下で、前景物体と（１つ又は複数の）背景物体との間の境界を指す。

【0099】

「要素」という用語は、以下で、モデルの幾何学的表面のエリアを指す。メッシュによって記述されるモデル表面の場合、メッシュは、表面を、重複しないが連続するエリアのセットに分割する。重複しないが連続するエリアの各々は、メッシュの要素となる。

【0100】

「前景ピクセル」という用語は、以下で、前景物体のパートを形成するピクセルを指す。一般に、前景ピクセルは、要素上にマッピングすることになる。３Ｄモデルを生成する１つの方法は、物体（イメージングされるべき１つ又は複数のアイテム）を、複数の２Ｄイメージング・デバイスがあるロケーションに、それらのイメージング・デバイスが複数の角度から対象を観察する状態で、配置することである。好ましい実施例では、対象は、２Ｄ画像の生成中に移動することができる。いくつかの実施例では、対象は、２Ｄ画像の生成中に静止している。対象が移動することができる実施例では、一般に、各２Ｄイメージング・デバイスは、画像のシーケンス、２Ｄビデオを生成することになる。２Ｄ画像から、１つ又は複数の３Ｄモデルが生成され得る。

【0101】

本発明は、モデルを生成するために使用される画像が複数のイメージング・デバイスによってキャプチャされた、モデルについてのテクスチャを生成する方法を開示する。一般に、モデルの生成のための画像は、複数のイメージング・デバイス、一般に、限定はしないがＲＧＢカメラを用いたボリュメトリック・キャプチャリング・スタジオにおいてキャプチャされ、ここで、カメラの数は２から１００超まで変動することができる。

【0102】

図１Ａは、物体のモデル（１１０）と、異なる角度からの物体の２Ｄ表現を前景（２１０、３１０）が含む２つの画像（２００、３００）とを概略的に示す。簡潔及び明快のために、モデル（１１０）の単一の要素（１２０）が示されている。画像前景（２１０、３１０）の各々において、単一のピクセル（２２０、３２０）が示されている。ピクセル（２２０、３２０）は、要素上にマッピングする（破線矢印）ロケーションを有する。以下で説明されるように、要素（１２０）は、ピクセル（２２０、３２０）とは異なるサイズであり得、ピクセル（２２０、３２０）は、破線矢印が要素（１２０）の異なるパートにおいて終了することによって示されているように、要素（１２０）の異なるパート上にマッピングすることができる。

【0103】

３Ｄモデルのシーケンスが生成された場合、２つの種類の連続性、空間連続性と時間連続性とが必要とされる。空間連続性は、所与の時間におけるモデルの表面にわたるテクスチャの連続性を指し、時間連続性は、異なる時間におけるモデル間のテクスチャの連続性を指す。

【0104】

空間連続性の場合、概して、物体の表面のいくつかの部分は、１つ又は複数のイメージング・デバイスによって観察されることになるが、表面の他の部分は、イメージング・デバイスによって観察されないことになる。モデルがテクスチャリングされるとき、テクスチャが空間にわたって整合しており、モデル全体をカバーすることが望ましく、したがって、たとえば、元の物体は自分の両腕を両脇につけて立っている人であったが、モデルが、踊っている人を示す仮想現実画像のシーケンスを生成するために使用される場合、踊っている人のシャツは、現実的に見えることになり、すなわち、カメラから見られなかった身体の両脇のシャツのパターンは、シャツの前面及び背面上のパターンと連続しており、そのパターンに整合することになり、あるカメラによってキャプチャされた画像が別のカメラによってキャプチャされた画像よりも明るかったようなスタジオにおける照明のアーテファクトにより、シャツの色又は輝度の予期しない変化がないことになる。

【0105】

時間連続性の場合、概して、物体の表面のいくつかの部分は、ある時間において１つ又は複数のイメージング・デバイスによって観察されることになるが、表面の同じ部分は、異なる時間においてイメージング・デバイスによって観察されないことがある。モデルがテクスチャリングされるとき、ある時間において表面上に見えるアイテムが、別の時間において表面上に残っているように、テクスチャが経時的に整合することが望ましい。非限定的な実例では、胸部の左側にロゴを有するラグビー・シャツを着た人の複数のシーケンスが生成される。イメージング・デバイスは、ほぼ胸部レベルにある。ある時間において、その人の両腕は、その人の上側胸部の前にあり、したがって、ロゴは、複数の画像のすべてにおいて不可視であるが、少なくとも１つの他の時間において、少なくとも一方の腕が、異なる位置にあり、したがって、ロゴは、その時間において撮られた複数の画像のうちの少なくとも１つにおいて可視である。スタジアムにおける上層の座席からなど、観察者が下を向いている場合その人が見えるようになるように、その人を示す仮想現実画像のシーケンスを生成するためにモデルのシーケンスが使用される場合、ロゴは、その人の両腕が胸部にわたっていたときに可視であるはずである。空間連続性のみが使用される場合、ロゴ位置は空白であり、シャツの色及びパターンになる。時間連続性が使用される場合、ロゴの画像は見えることになり、ロゴの形状、サイズ及び着色は、異なる時間において生成されたテクスチャからとられ、ロゴのロケーションは、胸部の移動を、ロゴが複数の画像中で可視であった時間におけるそれのロケーション及び配向から、ロゴが複数の画像中で不可視であった時間におけるそれのロケーション及び配向まで、追跡することによって生成される。

【0106】

時間連続性に関する別の重要な論点は、ちらつきの回避である。イメージング・デバイスが名目上同等である場合でも、一般に、イメージング・デバイス間の小さい差がある。異なるイメージング・デバイスによって観察される照明条件間の差もあり得る。非限定的な実例では、人が、最も明るい光に面していることがある。顔は、光の下のイメージング・デバイス（イメージング・デバイスＡ）にとって、光の左６０°にあるイメージング・デバイス（イメージング・デバイスＢ）にとってよりも明るく見えることになる。モデルが光の左３０°に面するべきである場合、システムは、顔についてのテクスチャを生成するためにイメージング・デバイスＡを選択することと、顔についてのテクスチャを生成するためにイメージング・デバイスＢを選択することとの間で交互し得る。顔の輝度がイメージング・デバイスＡとイメージング・デバイスＢとの間で異なるので、ちらつきが観測されることになる。

【0107】

好ましい実施例では、画像の少なくとも１つのシーケンスが生成され、使用される各イメージング・デバイスについて画像の１つのシーケンスが生成される。画像の（１つ又は複数の）シーケンスは、（１つ又は複数の）モデルについてのテクスチャを生成するために使用され、（１つ又は複数の）モデルについてのジオメトリを生成するために使用され得る。

【0108】

モデル・ジオメトリについて、ポイント・クラウドが提供され得るか、又はモデル・ジオメトリが、モデルのジオメトリを提供する従来の手段によって提供され得る。

【0109】

モデル・ジオメトリを提供するすべての方法は欠陥を有し、したがって、表面品質尺度が使用される。モデル・ジオメトリがポイント・クラウドに関連する場合、表面品質尺度は、ポイント・クラウド密度、ポイント・クラウド精度、一般にクラウド中のポイントのロケーションと最も近い幾何学的ロケーションとの間の差、外れ値の数、外れ値密度、及びそれらの任意の組合せに基づき得る。

【0110】

ポイント・クラウドは独立して生成され、システムに提供され得るか、又はポイント・クラウドは、画像のシーケンスのうちの１つ又は複数からの複数の画像から生成され得る。モデルの表面がポイント・クラウドから生成される場合、ポイント・クラウド中のポイントは、表面の精度の尺度を得るために使用され、表面の精度の尺度は、限定はしないが、ポイント・クラウド自体の品質、表面のロケーションに関するいくつかのデバイスからの一致、及びそれらの任意の組合せなどの手段から導出され得る。

【0111】

好ましい実施例では、各モデルについて、モデルの表面は、非限定的な実例では、メッシュ又はボクセルによって定義される。表面のジオメトリを定義する従来の手段が使用され得る。簡潔のために、以下で、表面は、メッシュによって定義されるものとして説明されるが、本方法は、表面を定義する従来の方法とともに機能することができる。メッシュは、表面を、重複しないが連続するエリアのセットに分割し、これらの重複しないが連続するエリアの各々は、メッシュの要素である。

【0112】

画像中の前景ピクセルとメッシュ中の要素との間の関係は、前景ピクセル・サイズと、要素サイズと、イメージング・デバイス光学軸に対する表面法線方向とに依存する。前景ピクセルと要素との間に、又は、前景ピクセル・サイズと要素サイズとの間に固定関係がない。一般に（常にとは限らないが）所与のイメージング・デバイスのすべてのピクセルは、同じサイズである。一般に（常にとは限らないが）メッシュ中のいくつかの要素は、メッシュ中の他の要素よりも大きくなる。前景ピクセルは、（１つ又は複数の）前景ピクセルとそれらがマッピングする（１つ又は複数の）要素とが表面の同じ断片をカバーするように、要素にマッピングされる。

【0113】

前景ピクセルは要素よりも大きくなり得るか、前景ピクセルは要素と同じサイズであり得るか、又は前景ピクセルは要素よりも小さくなり得る。前景ピクセルは、単一の要素上にマッピングすることができるか、前景ピクセルは、複数の要素の少なくとも一部分上にマッピングすることができるか、又は複数の要素の少なくとも一部分は、前景ピクセル上にマッピングすることができる。

【0114】

少なくとも１つの画像について、ピクセルがマッピングしない１つ又は複数の要素があり得る。非限定的な実例では、画像中で物体の一部分が遮られるか、画像中で物体の一部分が不可視であるか、又は少なくとも１つの時点における物体のその部分を示す画像がない。特に、イメージング・デバイスについてピクセルがマッピングしない要素があり得る。

【0115】

本発明の方法では、各画像について、各前景ピクセルについてのスコアとともに、スコア・マップが作成され、各前景ピクセルは、要素の少なくとも一部分上にマッピングする。いくつかのピクセルは、それらが背景のパートをイメージングするので、要素にマッピングされず、したがって、スコアは、要素へのマッピングを有する前景ピクセルのみのためのものである。

【0116】

スコアは、以下によって決定される。
１． イメージング・デバイス光学軸に対する表面法線方向。球面座標系では、これは、２つの角度、極角θであって、角度の水平投影を測定する、極角θと、方位角φであって、角度の垂直投影を測定する、方位角φとから構成されることになる。
２． ポイント・クラウド、すなわち、画像中の前景ピクセルから決定される空間中の位置のセットと、画像中で可視であるものに対応するモデルのパートのモデル・メッシュ中の位置との間の対応。ポイント・クラウドとメッシュとの間のこの対応は、「表面の品質」を表し、対応が不十分であるほど、表面の精度の信頼性は低くなる。概して、不十分な対応はまた、表面が画像から不十分に定義されることを意味する。
３． 深度境界線。前景マスク境界（関心のある物体、すなわち、前景物体と、すべての関心のない物体、すなわち、（１つ又は複数の）背景物体との間の境界）により近い前景ピクセル、及びイメージング・デバイスへの垂線（イメージング・デバイスの光軸）に対する大きい角度を有する物体の一部分上の前景ピクセルが、より低い重みを受ける。
４． 鏡面性がある（ｓｐｅｃｕｌａｒ）と見なされる前景ピクセルは、著しくより低い重みを受ける。
５． 連続性考慮事項と空間考慮事項と品質考慮事項との間の平衡を変更することができるセマンティック・ルール、ただし、ルール変更は表面のタイプ（セマンティクス）に依存する。非限定的な実例では、顔について、時間連続性により重点が与えられるが、胸部について、空間連続性により重点が与えられる。
６． さらに、画像のシーケンスがあるとき、スコアは、可能である限り、空間連続性と時間連続性の両方を提供するように修正され、空間連続性要件が、時間連続性要件とは別に考慮される。時間連続性について、可能である限り、同じイメージング・デバイスが経時的に選択される。これは、異なるイメージング・デバイス角度と異なる方向からの異なる照明とによるアーテファクトの確率を低減する。空間連続性について、可能である限り、選定される各イメージング・デバイスは、モデルのあるパートについて、実行可能である、最も大きい表面のエリアを提供するイメージング・デバイスである。

【0117】

各イメージング・デバイスについて、各時点において、一般に、モデルの３Ｄ表面のパートは可視であることになり、他のパートは、隠れており、可視でないことになる。あるパートが、所与のイメージング・デバイスについて所与の時点において可視である場合、そのパートは、そのイメージング・デバイスについてのスコアを有する。そのパートがその時点において可視でないイメージング・デバイスは、スコア（又はそのパートがそのイメージング・デバイス及びその時点では不可視であることを明らかに示す、所定の値のスコア）を有しない。

【0118】

各時点、各イメージング・デバイス、及び各サブ表面の各ユニット上の各要素について、スコアは、（１つ又は複数の）どのカメラを選定すべきかを決定し、そのスコアを使用してテクスチャ・アトラス画像が構築される。モデル中の各要素について、テクスチャは、以下で説明されるように、複数のイメージング・デバイスのテクスチャから生成され得る。所与の前景ピクセルについてテクスチャに与えられる重みは、テクスチャの生成中に、上記で説明されたように、各イメージング・デバイスについてのその前景ピクセルについてのスコアと、その前景ピクセルの空間的近傍と時間的近傍の両方における前景ピクセルについてのスコアとに依存することになる。境界領域（あるイメージング・デバイス、すなわち、第１の近隣イメージング・デバイスの使用から別のイメージング・デバイス、すなわち、第２の近隣イメージング・デバイスの使用への変更がある境界の近くのエリア）では、スコアは、一般にＵＶテクスチャ・ドメインにおいて、ピラミッド・ブレンディング・アルゴリズムを使用して近隣イメージング・デバイスからのデータをマージするために使用されるが、ピラミッド・ブレンディングは、他のテクスチャ・ドメインにおいて使用され得る。スコアは、不連続性領域における滑らかな合成のためにブレンディング・プロセスにおいてアルファ・マスク（透過性マスク）を導出するために使用される。一般に、境界領域の一部分では、あるイメージング・デバイスについてのアルファ値が増加している場合、他のイメージング・デバイスについてのアルファ値は減少していることになり、境界領域のあるエッジにおいては、アルファは、第１のイメージング・デバイスについて１（又はほぼ１）であることになり、第２のイメージング・デバイスについて０（又はほぼ０）であることになり、境界領域の他のエッジにおいては、アルファは、第１のイメージング・デバイスについて０（又はほぼ０）であることになり、第２のイメージング・デバイスについて１（又はほぼ１）であることになる。前景ピクセルがあるイメージング・デバイスについて低いスコアを有し、対応するピクセルが別のイメージング・デバイスについてより高いスコアを有する場合、アルファ値は、第１のイメージング・デバイスについて低下させられ、第２のイメージング・デバイスについて上げられることになり、第２のデバイスからの画像が、場合によっては予想されるよりも多く最終画像に影響を及ぼすことになることは、明らかである。

【0119】

境界の近くのテクスチャを決定するための上記のプロシージャは、３つ以上のイメージング・デバイスが同じエリアをカバーする境界について容易に拡張され得る。そのような領域では、各イメージング・デバイスについて１つのアルファ・マスクがあることになり、各画像についてのアルファ値は、境界領域にわたって滑らかな合成が生成されるように相関される。

【0120】

所与の時点について、画像のシーケンス中で、モデル表面の不可視部分、すなわち、その時点についての複数の画像のいずれにおいても見えない表面の一部分がある場合、不可視部分は、以下の技法のうちの１つ又は複数、又はそれらの組合せを使用してテクスチャリングされ得る。
１． 表面の可視部分と不可視部分との間の境界上の及び境界の近くの前景ピクセルからの情報が、表面の可視部分から不可視部分に拡張又は外挿され得る。スコアリング及びアルファ・マスキングは、上記で説明されたように、境界の異なる側からの情報を滑らかに組み合わせるために使用され得る。
２． 時間連続性が使用され得る。表面の一部分が、時点ｔ_１においてすべての画像中で不可視であるが、少なくとも１つの他の時点ｔ_２において少なくとも１つの画像中で可視であった場合、表面のその部分は時点ｔ_２においてテクスチャリングされた。したがって、テクスチャが経時的に著しく変化することが予想されないので、時点ｔ_２における表面のその部分のテクスチャは、時点ｔ_１表面のその部分に適用され得る。
３． セマンティクスが使用され得、すなわち、ルールが、非限定的な実例では、空間考慮事項と時間考慮事項と法線角度考慮事項との間の平衡を決定することができる。他の考慮事項が、本明細書で開示される。ルールは、１つ又は複数のタイプの表面上で使用されるべき１つ又は複数のタイプのテクスチャを指定することができ、深層学習方法によって決定されたルールから、ルールは、テクスチャが複数の画像、画像のシーケンス、及びそれらの任意の組合せ中で遮られるか又は不可視である場合、テクスチャを埋めるために使用され得る。
いくつかの実施例では、顔、手、及びそれらの任意の組合せの少なくともパートを含むエリア、時間連続性と鏡面性の回避とにより重点が置かれることになるが、衣類の少なくとも一部分を含むエリアでは、空間連続性により重点が置かれることになる。

【0121】

図２Ａ～図２Ｄは、本方法の実施例のフロー・チャート（１０００）を示す。図２Ａは、本方法の最初の４つのステップを示し、図２Ｂは、後続の４つのステップを示し、図２Ｃは、それの後続の３つのステップを示し、図２Ｄは、最後の３つのステップを示す。

【0122】

図２Ａに示されているように、画像のシーケンスが生成される（１００５）と、各イメージング・デバイス及び表面の各部分について、表面に対する法線とカメラ光軸との間の角度を計算し（１０１０）、角度のセット｛Ａｉ｝を生成する。

【0123】

各イメージング・デバイス及び各表面について、そのエリア中のポイント・クラウドの密度及びポイント・クラウド自体の品質尺度と組み合わせられる、ポイント・クラウドへの、そのメッシュによって定義されるような、表面の接近からの幾何学的品質尺度Ｑ_ｉを割り当て（１０１５）、幾何学的品質尺度のセット｛Ｑｉ｝を生成する。

【0124】

図２Ｂに示されているように、ユニット間のエッジが見つけられ（１０２０）、エッジのセット｛Ｅ_ｉ｝を生成する。

【0125】

各前景ピクセルについて、前景ピクセルとエッジのセット｛Ｅｉ｝中の最も近いエッジとの間の測地距離Ｄ_ｉが計算され（１０２５）、距離のセット｛Ｄｉ｝を生成する。

【0126】

各前景ピクセルについて、鏡面性値｛Ｓｉ｝が、いくつかのイメージング・デバイスから決定されるピクセルの色及び輝度を比較することによって計算され（１０３０）、鏡面性値のセット｛Ｓｉ｝を生成する。異なるイメージング・デバイスからの画像中の対応する前景ピクセル間で色及び輝度が著しく変化する前景ピクセルは、すべての画像にわたって対応する前景ピクセルについて色及び輝度が実質的に同じままである前景ピクセルよりも鏡面性がある。

【0127】

サブ表面は、セマンティック・ルールに従って、限定はしないが、顔、手、腕、脚、頭部、胴、皮膚、衣類、シャツ、スカート、ズボン、ショーツ、レギンス、及び髪など、グループＧ_ｉに組み合わせられ（１０３５）、したがって、サブ表面グループのセット｛Ｇｉ｝を生成し得る。

【0128】

図２Ｃに示されているように、各イメージング・デバイスｉにおける各前景ピクセルｊについて、以下のステップを行う。
Ａ．ベクトルＶ_ｉｊを割り当てる（１０４０）、ここで、Ｖ_ｉｊ＝［Ａ_ｉｊ，Ｑ_ｉｊ，Ｇ_ｉｊ，Ｓ_ｉｊ，Ｄ_ｉｊ］であり、Ａ_ｉｊは、イメージング・デバイスｉにおける前景ピクセルｊについての角度であり、Ｑ_ｉは前景ピクセルについての品質であり、Ｇ_ｉｊはグループであり、Ｓ_ｉｊは鏡面性であり、Ｄ_ｉｊはエッジまでの距離である。
Ｂ．Ｖ_ｉｊと｛Ｖ_ｉｋ｝とに基づいてスコアＳＣ_ｉｊを割り当てる（１０４５）、ここで、ｉｋは、前景ピクセルｊの近傍にあるイメージング・デバイスｉの前景ピクセルである。

【0129】

次いで、スコアのセット｛ＳＣ_ｉｊ｝を用いて、各前景ピクセルｊについて、最良のスコアをもつイメージング・デバイスｉを見つける（１０５０）。

【0130】

概して、スコアリングの目的は、各モデルについて、モデル・テクスチャに加わった画像を生成するために使用されるイメージング・デバイスの数を最小限に抑えること、及びまた、モデルのシーケンスについて、各モデルに加わった画像を生成するために使用されるイメージング・デバイスの数を最小限に抑えることと、また、イメージング・デバイスが、モデル変更の領域のテクスチャのための画像を提供する回数を最小限に抑えることの両方を行うことである。スコアはまた、モデル・テクスチャ中のアーテファクトの可能性を最小限に抑えることによってモデル・テクスチャの品質を最大にするように構成され、ここで、アーテファクトは、鏡面反射、表面に対する法線が迅速に変化するか又は著しく変化する大きく軸から外れた表面境界（非限定的な実例では、立方体の面が合う境界）から生じることがある。さらに、スコアは、サブ領域のあまり良好でない画像が、サブ領域がそのパートである領域について、サブ領域とその領域とが単一のパートを形成する場合、より自然に見えるモデル・テクスチャを提供することができることを考慮に入れることができる。非限定的な実例では、概して、額、眼、及び口のための１つのカメラと、鼻のための２つの他のカメラと、耳に近接する頬のパートのためのさらに他のカメラとを使用するのではなく、顔の全体のために同じイメージング・デバイスを使用したほうが良い。

【0131】

図２Ｄに示されているように、エッジ・ピクセルのセット｛Ｅ_ｉｑ｝を見つけ（１０５５）、ここで、Ｅ_ｉｑは、カメラｉにおけるｑ番目のエッジ・ピクセルである。エッジ・ピクセルは、近隣前景ピクセルの最良のイメージング・デバイスとは異なる最良のイメージング・デバイスを用いた前景ピクセルとして定義される。

【0132】

各前景ピクセルｊについて、以下のステップを行う。
Ａ．前景ピクセルｊと最も近いエッジ・ピクセルｑとの間の測地距離Ｈ_ｉｊを見つける（１０６０）。
Ｂ．スコアＳ_ｉｊと、測地距離Ｈ_ｉｊと、前景ピクセルｉｊ及びｍｊの色とを使用してピクセル色のアトラスを構築する（１０６５）、ここで、前景ピクセルｉｊはカメラｉのｊ番目の前景ピクセルであり、ｍｊはカメラｍのｊ番目の前景ピクセルである。ピクセルの色を決定するためのルールは、以下の通りである。Ｈ_ｉｊが大きい場合、ピクセル色は、最高スコアＳ_ｉｊをもつカメラのものである。他の場合、ピクセル色は、イメージング・デバイスｉ及びｍの前景ピクセルについてのスコアの重み付き平均であり、重みは、スコアＳ_ｉｊ及びＳ_ｍｊから計算される。

【0133】

要素色は、ピクセル色のアトラスから生成され、ここで、要素の色（要素のテクスチャ）は、要素の境界内のロケーションを有するピクセル色のアトラス中のピクセル（「要素内ピクセル」）の色から生成される。

【0134】

要素内ピクセルのピクセル色を組み合わせる従来の手段が使用され得る。

【0135】

非限定的な実例では、いくつかの実施例では、要素内ピクセルはフィルタ処理される。非限定的な実例では、外れ値は削除され得、過度に暗いピクセルは削除され得、過度に明るいピクセルは削除され得る。

【0136】

要素のテクスチャは、非限定的な実例では、要素内ピクセル色の重み付き平均、要素内ピクセル色の平均、最高スコアをもつ要素内ピクセルのテクスチャ、フィルタ処理された要素内ピクセル色の（重み付けされたか又は重み付けされないかのいずれかの）平均、及びそれらの任意の組合せから生成され得る。

【図1A】

【図2A】

【図2B】

【図2C】

【図2D】

【手続補正書】

【提出日】2023-07-24

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

複数のイメージング・デバイスによって生成された２次元（２Ｄ）画像のセットから、少なくとも１つのテクスチャリングされた物体の３次元（３Ｄ）モデルを生成するための方法であって、
２Ｄ画像の前記セット中の各画像ｉについて、前景ピクセルｊのセットを決定するステップであって、前景ピクセルｊの前記セットが前記表面の可視部分に対応する、決定するステップと、
少なくとも１つの物体の３Ｄモデルを提供するステップであって、物体の前記３Ｄモデルが表面を含み、前記表面が複数の要素を含み、前景ピクセルｊの前記セット中の各前景ピクセルｊと前記複数の要素の１つとの間で１対１の対応である、提供するステップと、
各前記画像ｉ中の各前景ピクセルｊについて、鏡面性値Ｓ _ｉｊ を決定するステップであって、前記鏡面性値Ｓ _ｉｊ が、複数の前記画像ｉ中の前記前景ピクセルｊの色及び輝度の比較から決定される、決定するステップと、
各前記画像ｉ中の各前景ピクセルｊについて、各前景ピクセルｊと、前記各前景ピクセルｊに対して最も近いエッジ・ピクセルとの間の測地距離Ｄ _ｉｊ を決定するステップと、
各前記画像ｉ中で、前景ピクセルｊの前記セット中の各メンバーについて、ピクセル・スコアを決定し、ピクセル・スコアのセットを生成するステップと、
前記少なくとも１つの３Ｄモデル上の各要素について、ピクセル・スコアの前記セットに基づいてテクスチャを前記要素に割り当てるステップと
を含み、
前記ピクセル・スコアは
ａ. 角度Ａ _ｉｊ であって、前記各前景ピクセルｊに対応する前記複数の要素の前記１つについて、表面法線方向とイメージング・デバイスの光学軸との間の角度であり、第１の画像からのより小さい角度の前景ピクセルｊは、第２の画像からのより大きい角度の前景ピクセルｊよりも前記ピクセル・スコアにおいてより大きい重みを有する、角度Ａ _ｉｊ と
ｂ. 前記鏡面性値Ｓ _ｉｊ であって、より鏡面性が大きい前景ピクセルは、より鏡面性が小さい前景ピクセルよりも前記ピクセル・スコアにおいてより低い重みを有し、前記鏡面性がある前景ピクセルは前景ピクセルｊであり、前記色及び輝度は異なるイメージング・デバイスからの画像中の対応する前景ピクセルｊ間で著しく変化する、鏡面性値Ｓ _ｉｊ と
ｃ. 測地品質Ｑ _ｉｊ であって、第１の画像中のより高い測地品質Ｑ _ｉｊ を有する前記前景ピクセルｊは、第２の画像中のより低い測地品質Ｑ _ｉｊ を有する前記前景ピクセルｊよりも大きい重みを有する、測地品質Ｑ _ｉｊ と
ｄ. 前記ａからｃの任意の組合せと
を含むスコアリング・グループから決定でき、
さらに、ピクセル色のアトラスは前記ピクセル・スコア、前記前景ピクセルｊの前記測地距離及び色、２Ｄ画像の前記セットの異なる１つからの各前記前景ピクセルｊ、並びに同じアトラス・ピクセル上にマッピングする各前記前景ピクセルｊを使用して構築でき、各前記アトラス・ピクセルの色は、大きい測地距離Ｄ _ｉｊ については、各前景ピクセルｊの前記ピクセル色が各前記前景ピクセルｊについて最高のスコア値をもつイメージング・デバイスからのものであり、小さい測地距離Ｄ _ｉｊ については、前記ピクセル色が前記ピクセル・スコアから計算された重みを有する２Ｄ画像の前記セットの異なる１つからの各前記前景ピクセルｊについて前記ピクセル・スコアの重み付き平均であり、要素の色はピクセル色の前記アトラスから生成でき、各要素のテクスチャは、前記要素の境界内のロケーションを有するアトラス・ピクセルの色から生成できる、方法。

【請求項2】

各時点について、前記表面がユニットのセットに細分可能であり、ユニットの前記セット中の各ユニットが少なくとも１つの要素を含み、各前記画像について、ピクセル・グループのセットが生成でき、ピクセル・グループの前記セット中の各ピクセル・グループがユニットの前記セット中のユニットに対応する、請求項１に記載の方法。

【請求項3】

顔、手、腕、脚、頭部、胴、皮膚、衣類、シャツ、スカート、ズボン、ショーツ、レギンス、髪、及びそれらの任意の組合せからなるグループから選択されたラベルを有するピクセル・グループの前記セット中の各ピクセル・グループをラベリングするステップをさらに含む、請求項２に記載の方法。

【請求項4】

前記複数のイメージング・デバイス中の各イメージング・デバイス及び各前景ピクセルｊについて、サブ表面グループ｛Ｇ_ｉｊ ｝を生成し、前記サブ表面Ｇ _ｉｊ は、前記表面に対する前記法線が著しく異ならないか、又は前記表面の前記部分が単一の構成要素として認識可能であるかのいずれかである、前記表面の部分である、請求項１に記載の方法。

【請求項5】

各前記前景ピクセルｊについて、角度のセット｛Ａ_ｉｊ ｝を生成するステップをさらに含む、請求項１に記載の方法。

【請求項6】

各イメージング・デバイス及び各サブ表面Ｇ _ｉｊ について、ポイント・クラウドへの前記サブ表面Ｇ _ｉｊ の接近の尺度を、前記ポイント・クラウドの密度及び前記ポイント・クラウドの精度の尺度と前記ポイント・クラウド中の外れ値の数の尺度と前記ポイント・クラウド中の外れ値密度の尺度と組み合わせることによって、各前記サブ表面Ｇ _ｉｊ 中の各要素と対応する各前景ピクセルｊについて前記ポイント・クラウドが前記３Ｄモデルの前記表面のジオメトリの定義を提供する、前記幾何学的品質尺度Ｑ_ｉｊ を決定し、幾何学的品質尺度のセット｛Ｑ_ｉｊ ｝を生成するステップをさらに含む、請求項４に記載の方法。

【請求項7】

各前記イメージング・デバイスと各前記サブ表面Ｇ _ｉｊ について、前記サブ表面Ｇ _ｉｊ と各近隣サブ表面Ｇ _ｉｊ との間の少なくとも１つのエッジＥ _ｉ を識別し、エッジのセット｛Ｅ_ｉ｝を生成するステップをさらに含む、請求項４に記載の方法。

【請求項8】

各前記前景ピクセルｊについて、前記前景ピクセルｊとエッジの前記セット｛Ｅ_ｉ｝中の最も近いエッジとの間の前記測地距離Ｄ_ｉｊ を計算し、測地距離のセット｛Ｄ_ｉｊ ｝を生成するステップをさらに含む、請求項７に記載の方法。

【請求項9】

前記モデル中の各要素について、要素スコアを生成するステップをさらに含み、前記要素スコアが、前記要素のロケーションに対応するロケーションをもつ各前記前景ピクセルｊの各々についての前記ピクセル・スコアから決定される、請求項１に記載の方法。

【請求項10】

２Ｄ画像の前記セットを受信するステップをさらに含み、２Ｄ画像の前記セットが、複数の２Ｄ画像、２Ｄ画像のシーケンス、及びそれらの任意の組合せからなるグループのメンバーを含む、請求項１に記載の方法。

【請求項11】

複数の２Ｄ画像から、単一の２Ｄ画像から、ダウンロードされた物体の３Ｄモデルから、ストリーミングされた物体の３Ｄモデルから、及びそれらの任意の組合せからなるグループから、前記少なくとも１つの物体の３Ｄモデルを前記提供することを選択するステップをさらに含む、請求項１０に記載の方法。

【請求項12】

前記少なくとも１つの物体の３Ｄモデルの前記表面の少なくとも１つのモデル・サブ表面を決定するステップをさらに含む、請求項１０に記載の方法。

【請求項13】

前記少なくとも１つのサブ表面の各々についての少なくとも１つのサブ表面エッジＧ _ｉｊ を決定するステップをさらに含む、請求項１０に記載の方法。

【請求項14】

各サブ表面エッジについて、サブ表面エッジ・ピクセルのセットを生成するステップをさらに含む、請求項１０に記載の方法。

【請求項15】

前記複数の前記２Ｄ画像の各々中で可視の前記表面の各前記前景ピクセルｊについて前記ピクセル・スコアを決定するステップをさらに含む、請求項１０に記載の方法。

【請求項16】

各前景ピクセルｊについて、少なくとも１つの最良の画像を選択し、前記最良の画像が最高の画像スコアをもつ画像であり、各前記画像について、前記画像スコアが各前記画像中の全ての前景ピクセルｊについての前記ピクセル・スコアから決定でき、少なくとも１つの最良の画像の各々について、少なくとも１つの画像エッジを決定するステップをさらに含む、請求項１０に記載の方法。

【請求項17】

各少なくとも１つの表面エッジについて、画像エッジ・ピクセルのセットを生成するステップをさらに含む、請求項１０に記載の方法。

【請求項18】

各前記画像中の各前記前景ピクセルｊについて、前記測地距離Ｄ _ｉｊ が所定の値よりも大きい場合、前記前景ピクセルがマッピングする前記表面上のロケーションの表面テクスチャを、最高スコアをもつピクセルのテクスチャになるように設定するステップと、前記測地距離Ｄ _ｉｊ が所定の値よりも小さい場合、ローカル・ピクセルのセットを決定するステップであって、ローカル・ピクセルが、所定の値よりも小さい前記測地距離Ｄ _ｉｊ を有する前記エッジ・ピクセル・グループのメンバーである、決定するステップと、前記前景ピクセルｊがマッピングする前記表面上のロケーションの前記表面テクスチャを、ローカル・ピクセルの前記セットのテクスチャの重み付き平均に設定するステップとをさらに含む、請求項１０に記載の方法。

【請求項19】

要素内ピクセルのセットを生成するステップであって、前記要素内ピクセルの各々が、前記要素内のロケーションにマッピングするロケーションをもつピクセルである、生成するステップと、要素内ピクセルの前記セット中の少なくとも１つのピクセルのテクスチャから各前記要素についてテクスチャを生成するステップとをさらに含む、請求項１８に記載の方法。

【請求項20】

要素内ピクセルの前記セットの前記テクスチャの重み付き平均、要素内ピクセルの前記セットのｓ個のテクスチャの平均、最高スコアをもつ要素内ピクセルのテクスチャ、要素内ピクセルの前記セットのフィルタ処理されたテクスチャ、及びそれらの任意の組合せからなるグループから、各前記要素について前記テクスチャを生成するステップをさらに含む、請求項１９に記載の方法。

【請求項21】

各前記前景ピクセルｊについて、前記画像を生成したイメージング・デバイスの光学軸に対する表面法線方向、前記ポイント・クラウドとメッシュ中の位置との間の対応、深度境界線、前記鏡面性値Ｓ _ｉｊ 、セマンティック・ルール、及びそれらの任意の組合せからなるグループのメンバーから前記ピクセル・スコアを生成するステップをさらに含む、請求項１０に記載の方法。

【請求項22】

画像のシーケンスについて、経時的な空間連続性に従って前記ピクセル・スコアを修正するステップをさらに含む、請求項１０に記載の方法。

【請求項23】

境界領域における少なくとも１つの要素について、ピラミッド・ブレンディング・アルゴリズムを介して近隣イメージング・デバイスからのデータをマージするステップをさらに含む、請求項１０に記載の方法。

【請求項24】

前記表面の不可視部分のうちの少なくとも１つについて、所与の時間において前記表面の前記少なくとも１つの不可視部分が前記画像のいずれにおいても可視ではない、前記ピクセル・スコア、アルファ・マスク、及びそれらの任意の組合せからなるグループのメンバーを使用して、前記表面の前記少なくとも１つの不可視部分の前記テクスチャを修正するステップをさらに含む、請求項１０に記載の方法。

【請求項25】

少なくとも１つのセマンティック・ルールに従って、前記サブ表面Ｇ _ｉｊ のうちの少なくとも２つをグループになるように組み合わせるステップをさらに含む、請求項４に記載の方法。

【請求項26】

前記画像の各々についてのスコア・マップを決定するステップをさらに含み、前記スコア・マップが、前記画像の各々中の各前記前景ピクセルｊについての前記ピクセル・スコアを有する、請求項１に記載の方法。

【請求項27】

前記表面の前記少なくとも１つの各不可視部分について、前記表面の可視部分と前記表面の不可視部分との間の境界上の及び境界の近くの前記表面の前記可視部分上の少なくとも１つの前景ピクセルｊからの情報を拡張すること、前記表面の可視部分と前記表面の前記不可視部分との間の境界上の及び境界の近くの前記表面の前記可視部分上の少なくとも１つの前景ピクセルｊからの情報を外挿すること、前の時間においてモデルからテクスチャをコピーすることであって、前記ポイントが前記前の時間において可視である、コピーすること、後続の時間においてモデルからテクスチャをコピーすることであって、前記ポイントが前記後続の時間において可視である、コピーすること、セマンティック・ルールを適用すること、並びにそれらの任意の組合せから選択されるグループによって、テクスチャを生成するステップをさらに含む、請求項２４に記載の方法。

【請求項28】

実行されたとき、複数のイメージング・デバイスによって生成された２次元（２Ｄ）画像のセットから、少なくとも１つのテクスチャリングされた物体の３次元（３Ｄ）モデルを生成するように構成される、実行可能なパッケージとして、複数のコンピュータ実行可能命令を記憶するコンピュータ可読記憶媒体であって、前記コンピュータ可読記憶媒体は、
２Ｄ画像の前記セット中の各画像ｉについて、前景ピクセルｊのセットを決定するステップであって、前景ピクセルｊの前記セットが前記表面の可視部分に対応する、決定することと、
少なくとも１つの物体の３Ｄモデルを提供することであって、物体の前記３Ｄモデルが表面を含み、前記表面が複数の要素を含み、前景ピクセルｊの前記セット中の各前景ピクセルｊと前記複数の要素の１つとの間で１対１の対応である、提供することと、
前記画像ｉ中の各前景ピクセルｊについて、鏡面性値Ｓ _ｉｊ を決定することであって、前記鏡面性値Ｓ _ｉｊ が、複数の前記画像ｉ中の前記前景ピクセルｊの色及び輝度の比較から決定される、決定することと、
各前記画像ｉ中の各前景ピクセルｊについて、各前景ピクセルｊと、前記各前景ピクセルｊに対して最も近いエッジ・ピクセルとの間の測地距離Ｄ _ｉｊ を決定することと、
各前記画像ｉ中で、前景ピクセルｊの前記セット中の各前景ピクセルについて、ピクセル・スコアを決定し、ピクセル・スコアのセットを生成することと、
前記少なくとも１つの３Ｄモデル上の各要素について、ピクセル・スコアの前記セットに基づいてテクスチャを前記要素に割り当てることと
を行うように構成されたソフトウェアを含み、
前記ピクセル・スコアは
ａ. 角度Ａ _ｉｊ であって、前記各前景ピクセルｊに対応する前記複数の要素の前記１つについて、表面法線方向とイメージング・デバイスの光学軸との間の角度であり、第１の画像からのより小さい角度の前景ピクセルｊは、第２の画像からのより大きい角度の前景ピクセルｊよりも前記ピクセル・スコアにおいてより大きい重みを有する、角度Ａ _ｉｊ と
ｂ. 前記鏡面性値Ｓ _ｉｊ であって、鏡面性がある前景ピクセルは、より鏡面性が小さい前景ピクセルよりも前記ピクセル・スコアにおいてより低い重みを有し、前記鏡面性がある前景ピクセルは前景ピクセルｊであり、前記色及び輝度は異なるイメージング・デバイスからの画像中の対応する前景ピクセルｊ間で著しく変化する、鏡面性値Ｓ _ｉｊ と
ｃ. 測地品質Ｑ _ｉｊ であって、第１の画像中のより高い測地品質Ｑ _ｉｊ を有する前記前景ピクセルｊは、第２の画像中のより低い測地品質Ｑ _ｉｊ を有する前記前景ピクセルｊよりも大きい重みを有する、測地品質Ｑ _ｉｊ と
ｄ. 前記ａからｃの任意の組合せと
を含むスコアリング・グループから決定でき、
さらに、ピクセル色のアトラスは前記ピクセル・スコア、前記前景ピクセルｊの前記測地距離及び色、２Ｄ画像の前記セットの異なる１つからの各前記前景ピクセルｊ、並びに同じアトラス・ピクセル上にマッピングする各前記前景ピクセルｊを使用して構築でき、各前記アトラス・ピクセルの色は、大きい測地距離Ｄ _ｉｊ については、各前景ピクセルｊの前記ピクセル色が各前記前景ピクセルｊについて最高のスコア値をもつイメージング・デバイスからのものであり、小さい測地距離Ｄ _ｉｊ については、前記ピクセル色が前記ピクセル・スコアから計算された重みを有する２Ｄ画像の前記セットの異なる１つからの各前記前景ピクセルｊについて前記ピクセル・スコアの重み付き平均であり、要素の色はピクセル色の前記アトラスから生成でき、各要素のテクスチャは、前記要素の境界内のロケーションを有するアトラス・ピクセルの色から生成できる、コンピュータ可読記憶媒体。

【請求項29】

コンピュータ可読媒体、データベース、プロセッサ、クラウド、及びそれらの任意の組合せからなる、請求項２８に記載のコンピュータ可読記憶媒体。

【請求項30】

各時点について、前記表面がユニットのセットに細分可能であり、ユニットの前記セット中の各ユニットが少なくとも１つの要素を含み、各前記画像について、ピクセル・グループのセットが生成でき、ピクセル・グループの前記セット中の各ピクセル・グループがユニットの前記セット中のユニットに対応する、請求項２８に記載のコンピュータ可読記憶媒体。

【請求項31】

前記ピクセル・グループの前記セット中の各ピクセル・グループが、顔、手、腕、脚、頭部、胴、皮膚、衣類、シャツ、スカート、ズボン、ショーツ、レギンス、髪、及びそれらの任意の組合せからなるグループから選択されたラベルでラベリングされる、請求項３０に記載のコンピュータ可読記憶媒体。

【請求項32】

前記複数のイメージング・デバイス中の各イメージング・デバイス及び各前景ピクセルｊについて、サブ表面グループ｛Ｇ_ｉｊ ｝が生成され、各前記サブ表面Ｇ _ｉｊ は、前記表面に対する前記法線が著しく異ならないか、又は前記表面の前記部分が単一の構成要素として認識可能であるかのいずれかである、前記表面の部分である、請求項２８に記載のコンピュータ可読記憶媒体。

【請求項33】

各前記前景ピクセルｊについて、角度のセット｛Ａ_ｉｊ ｝が生成される、請求項２８に記載のコンピュータ可読記憶媒体。

【請求項34】

各イメージング・デバイス及び各サブ表面Ｇ _ｉｊ について、前記幾何学的品質尺度Ｑ_ｉｊ が、ポイント・クラウドへの前記サブ表面Ｇ _ｉｊ の接近の尺度を、前記ポイント・クラウドの密度及び前記ポイント・クラウドの精度の尺度と前記ポイント・クラウド中の外れ値の数の尺度と前記ポイント・クラウド中の外れ値密度の尺度と組み合わせることによって決定され、各前記サブ表面Ｇ _ｉｊ 中の各要素と対応する各前景ピクセルｊについて前記ポイント・クラウドが前記３Ｄモデルの前記表面のジオメトリの定義を提供し、幾何学的品質尺度のセット｛Ｑ_ｉｊ ｝を生成する、請求項３２に記載のコンピュータ可読記憶媒体。

【請求項35】

各前記イメージング・デバイスと各前記サブ表面Ｇ _ｉｊ について、前記サブ表面Ｇ _ｉｊ と各近隣サブ表面Ｇ _ｉｊ との間の少なくとも１つのエッジＥ _ｉ が識別されて、エッジのセット｛Ｅ_ｉ｝が生成される、請求項３２に記載のコンピュータ可読記憶媒体。

【請求項36】

各前記前景ピクセルｊについて、前記前景ピクセルｊとエッジの前記セット｛Ｅ_ｉ｝中の最も近いエッジとの間の前記測地距離Ｄ_ｉｊ が計算されて、測地距離のセット｛Ｄ_ｉｊ ｝が生成される、請求項３５に記載のコンピュータ可読記憶媒体。

【請求項37】

前記モデル中の各要素について、要素スコアが生成され、前記要素スコアが、前記要素のロケーションに対応するロケーションをもつ前記前景ピクセルｊの各々についての前記ピクセル・スコアから決定される、請求項２８に記載のコンピュータ可読記憶媒体。

【請求項38】

２Ｄ画像の前記セットが受信され、２Ｄ画像の前記セットが、複数の２Ｄ画像、２Ｄ画像のシーケンス、及びそれらの任意の組合せからなるグループのメンバーを含む、請求項２８に記載のコンピュータ可読記憶媒体。

【請求項39】

前記少なくとも１つの物体の３Ｄモデルを前記提供することが、複数の２Ｄ画像から、単一の２Ｄ画像から、ダウンロードされた物体の３Ｄモデルから、ストリーミングされた物体の３Ｄモデルから、及びそれらの任意の組合せからなるグループから選択される、請求項３８に記載のコンピュータ可読記憶媒体。

【請求項40】

前記少なくとも１つの物体の３Ｄモデルの前記表面の少なくとも１つのモデル・サブ表面である、請求項３８に記載のコンピュータ可読記憶媒体。

【請求項41】

前記少なくとも１つのサブ表面の各々についての少なくとも１つのサブ表面エッジが決定される、請求項３８に記載のコンピュータ可読記憶媒体。

【請求項42】

各サブ表面エッジについて、サブ表面エッジ・ピクセルのセットが生成される、請求項３８に記載のコンピュータ可読記憶媒体。

【請求項43】

前記複数の前記２Ｄ画像の各々中で可視の前記表面の各前記前景ピクセルｊについて前記ピクセル・スコアが決定される、請求項３８に記載のコンピュータ可読記憶媒体。

【請求項44】

各前景ピクセルｊについて、少なくとも１つの最良の画像は最高の画像スコアをもつ画像として選択され、各前記画像について、前記画像スコアは各前記画像中の全ての前景ピクセルｊについての前記ピクセル・スコアから決定でき、少なくとも１つの画像エッジが、少なくとも１つの最良の画像の各々について決定される、請求項３８に記載のコンピュータ可読記憶媒体。

【請求項45】

各少なくとも１つの表面エッジについて、画像エッジ・ピクセルのセットが生成される、請求項３８に記載のコンピュータ可読記憶媒体。

【請求項46】

各前記画像中の各前記前景ピクセルｊについて、前記測地距離Ｄ _ｉｊ が所定の値よりも大きい場合、前記前景ピクセルｊがマッピングする前記表面上のロケーションの表面テクスチャが、最高スコアをもつピクセルのテクスチャに設定され、前記測地距離Ｄ _ｉｊ が所定の値よりも小さい場合、ローカル・ピクセルのセットが決定され、ローカル・ピクセルが、所定の値よりも小さい前記測地距離Ｄ _ｉｊ を有する前記エッジ・ピクセル・グループのメンバーであり、前記前景ピクセルｊがマッピングする前記表面上の前記ロケーションの前記表面テクスチャが、ローカル・ピクセルの前記セットのテクスチャの重み付き平均に設定される、請求項３８に記載のコンピュータ可読記憶媒体。

【請求項47】

要素内ピクセルのセットが生成され、前記要素内ピクセルの各々が、前記要素内のロケーションにマッピングするロケーションをもつピクセルであり、テクスチャが、各前記要素について、要素内ピクセルの前記セット中の少なくとも１つのピクセルのテクスチャから生成される、請求項４６に記載のコンピュータ可読記憶媒体。

【請求項48】

前記テクスチャが、各前記要素について、要素内ピクセルの前記セットの前記テクスチャの重み付き平均、要素内ピクセルの前記セットのｓ個のテクスチャの平均、最高スコアをもつ要素内ピクセルのテクスチャ、要素内ピクセルの前記セットのフィルタ処理されたテクスチャ、及びそれらの任意の組合せからなるグループから生成される、請求項４７に記載のコンピュータ可読記憶媒体。

【請求項49】

各前記前景ピクセルｊについて、前記ピクセル・スコアが、前記画像を生成したイメージング・デバイスの光学軸に対する表面法線方向、前記ポイント・クラウドとメッシュ中の位置との間の対応、深度境界線、前記鏡面性値Ｓ _ｉｊ 、セマンティック・ルール、及びそれらの任意の組合せからなるグループのメンバーから生成される、請求項３８に記載のコンピュータ可読記憶媒体。

【請求項50】

画像のシーケンスについて、前記ピクセル・スコアが、経時的な空間連続性に従って修正される、請求項３８に記載のコンピュータ可読記憶媒体。

【請求項51】

境界領域における少なくとも１つの要素について、近隣イメージング・デバイスからのデータが、ピラミッド・ブレンディング・アルゴリズムを介してマージされる、請求項３８に記載のコンピュータ可読記憶媒体。

【請求項52】

前記表面の不可視部分のうちの少なくとも１つについて、所与の時間において前記表面の前記不可視部分が前記少なくとも１つの２Ｄ画像のいずれにおいても可視ではない、前記表面の前記少なくとも１つの不可視部分の前記テクスチャが、前記ピクセル・スコア、アルファ・マスク、及びそれらの任意の組合せからなるグループのメンバーを使用して修正される、請求項３８に記載のコンピュータ可読記憶媒体。

【請求項53】

前記サブ表面Ｇ _ｉｊ のうちの少なくとも２つが、少なくとも１つのセマンティック・ルールに従ってグループになるように組み合わせられる、請求項３２に記載のコンピュータ可読記憶媒体。

【請求項54】

前記画像の各々についてのスコア・マップが決定され、前記スコア・マップが、前記画像の各々中の各前景ピクセルｊについての前記ピクセル・スコアを有する、請求項２８に記載のコンピュータ可読記憶媒体。

【請求項55】

前記表面上の前記少なくとも１つの各不可視部分について、前記表面の可視部分と前記表面の不可視部分との間の境界上の及び境界の近くの前記表面の前記可視部分上の少なくとも１つの前景ピクセルｊからの情報を拡張すること、前記表面の可視部分と前記表面の前記不可視部分との間の境界上の及び境界の近くの前記表面の前記可視部分上の少なくとも１つの前景ピクセルｊからの情報を外挿すること、前の時間においてモデルからテクスチャをコピーすることであって、前記ポイントが前記前の時間において可視である、コピーすること、後続の時間においてモデルからテクスチャをコピーすることであって、前記ポイントが前記後続の時間において可視である、コピーすること、セマンティック・ルールを適用すること、並びにそれらの任意の組合せから選択されるグループによって、テクスチャが生成される、請求項５４に記載のコンピュータ可読記憶媒体。

【国際調査報告】