特表 2025-532407 オルソアトラス（ＯＲＴＨＯＡＴＬＡＳ）：正投影を使用した動的メッシュのテクスチャマップ生成

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2025-09-29

(54)【発明の名称】オルソアトラス（ＯＲＴＨＯＡＴＬＡＳ）：正投影を使用した動的メッシュのテクスチャマップ生成

(51)【国際特許分類】

   G06T 15/04 20110101AFI20250919BHJP

【ＦＩ】

G06T15/04

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2025520073

(86)(22)【出願日】2023-09-29

(85)【翻訳文提出日】2025-04-07

(86)【国際出願番号】 IB2023059792

(87)【国際公開番号】W WO2024074961

(87)【国際公開日】2024-04-11

(31)【優先権主張番号】63/378,565

(32)【優先日】2022-10-06

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】18/114,905

(32)【優先日】2023-02-27

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】000002185

【氏名又は名称】ソニーグループ株式会社

(71)【出願人】

【識別番号】504257564

【氏名又は名称】ソニー コーポレイション オブ アメリカ

(74)【代理人】

【識別番号】100092093

【弁理士】

【氏名又は名称】辻居 幸一

(74)【代理人】

【識別番号】100109070

【弁理士】

【氏名又は名称】須田 洋之

(74)【代理人】

【識別番号】100067013

【弁理士】

【氏名又は名称】大塚 文昭

(74)【代理人】

【識別番号】100141553

【弁理士】

【氏名又は名称】鈴木 信彦

(74)【代理人】

【識別番号】100151987

【弁理士】

【氏名又は名称】谷口 信行

(72)【発明者】

【氏名】グラジオッシ ダニーロ

(57)【要約】

正投影を使用したテクスチャマップの生成は、高速かつ効率的に実行される。ここでは、テクスチャマップを生成するための方法であって、その所要時間を大幅に短縮するとともに、マップが時間内の異なるフレームのコンテンツ間の相関関係を利用できるようにする方法を説明する。テクスチャマッピングは、ボリュームコンテンツの自動生成のために、又は動的メッシュのより効率的な圧縮のために使用することができる。ここで説明するテクスチャマップ生成は、正投影を使用してテクスチャアトラスを生成する方法を含む。正投影の新しいストレッチメトリック（ｓｔｒｅｔｃｈ ｍｅｔｒｉｃ）について説明し、マージアルゴリズムは、三角形を単一のパッチに最適にクラスタ化するように考案される。更に、サイズ及び時間的安定性を最適化しようとするメッシュパッチのために、パッキング技術を使用することができる。
【選択図】図１

【特許請求の範囲】

【請求項1】

デバイスの非一時的メモリにプログラムされた方法であって、
動的メッシュ情報からパッチを生成するステップと、
正投影を使用して、テクスチャアトラスに前記パッチをパッキングするステップと、
を含むことを特徴とする方法。

【請求項2】

動的メッシュ情報から前記パッチを生成するステップは、
隣接する三角形のリストを生成することと、
三角形の特性を計算することと、
近隣の三角形を追加することと、
頂点の遮蔽をチェックすることと、
表面の遮蔽をチェックすることと、
を更に含むことを特徴とする、請求項１に記載の方法。

【請求項3】

前記隣接する三角形のリストを生成することは、三角形と頂点を共有する三角形を前記リストに追加することを含むことを特徴とする、請求項２に記載の方法。

【請求項4】

前記隣接する三角形のリストを生成することは、三角形と辺を共有する三角形を前記リストに追加することを含むことを特徴とする、請求項２に記載の方法。

【請求項5】

前記三角形の特性を計算することは、各三角形の法線及び表面積を計算することを含むことを特徴とする、請求項２に記載の方法。

【請求項6】

法線が最も頻繁な向きと最も良く位置合わせされ、パッチに追加されていないシード三角形を選択するステップを更に含むことを特徴とする、請求項２に記載の方法。

【請求項7】

前記方法は、計算されたコストに基づいて前記パッチをマージするステップを更に含み、前記計算されたコストは、前記パッチの周囲長及びオルソストレッチ（ｏｒｔｈｏ ｓｔｒｅｔｃｈ）値に基づくことを特徴とする、請求項２に記載の方法。

【請求項8】

正投影を使用して前記テクスチャアトラスに前記パッチをパッキングするステップは、フレームスケーリング、パッチの向き、及び時間的安定化を実装することを含むことを特徴とする、請求項１に記載の方法。

【請求項9】

装置であって、
アプリケーションを記憶するための非一時的メモリであって、前記アプリケーションは、
動的メッシュ情報からパッチを生成し、
正投影を使用して、テクスチャアトラスに前記パッチをパッキングする、
ためのものである、非一時的メモリと、
前記メモリに結合されて、前記アプリケーションを処理するように構成されるプロセッサと、
を含むことを特徴とする装置。

【請求項10】

動的メッシュ情報から前記パッチを生成することは、
隣接する三角形のリストを生成することと、
三角形の特性を計算することと、
近隣の三角形を追加することと、
頂点の遮蔽をチェックすることと、
表面の遮蔽をチェックすることと、
を更に含むことを特徴とする、請求項９に記載の装置。

【請求項11】

前記隣接する三角形のリストを生成することは、三角形と頂点を共有する三角形を前記リストに追加することを含むことを特徴とする、請求項１０に記載の装置。

【請求項12】

前記隣接する三角形のリストを生成することは、三角形と辺を共有する三角形を前記リストに追加することを含むことを特徴とする、請求項１０に記載の装置。

【請求項13】

前記三角形の特性を計算することは、各三角形の法線及び表面積を計算することを含むことを特徴とする、請求項１０に記載の装置。

【請求項14】

前記アプリケーションは、法線が最も頻繁な向きと最も良く位置合わせされ、パッチに追加されていないシード三角形を選択するように更に構成されることを特徴とする、請求項１０に記載の装置。

【請求項15】

前記アプリケーションは、計算されたコストに基づいて前記パッチをマージするように更に構成され、前記計算されたコストは、前記パッチの周囲長及びオルソストレッチ値に基づくことを特徴とする、請求項１０に記載の装置。

【請求項16】

正投影を使用して前記テクスチャアトラスに前記パッチをパッキングすることは、フレームスケーリング、パッチの向き、及び時間的安定化を実装することを含むことを特徴とする、請求項９に記載の装置。

【請求項17】

システムであって、
３次元コンテンツを取得するための１又は２以上のカメラと、
動的メッシュ情報からパッチを生成し、
正投影を使用して、テクスチャアトラスに前記パッチをパッキングする、
ように構成されるエンコーダと、
を含むことを特徴とするシステム。

【請求項18】

動的メッシュ情報から前記パッチを生成することは、
隣接する三角形のリストを生成することと、
三角形の特性を計算することと、
近隣の三角形を追加することと、
頂点の遮蔽をチェックすることと、
表面の遮蔽をチェックすることと、
を更に含むことを特徴とする、請求項１７に記載のシステム。

【請求項19】

前記隣接する三角形のリストを生成することは、三角形と頂点を共有する三角形を前記リストに追加することを含むことを特徴とする、請求項１８に記載のシステム。

【請求項20】

前記隣接する三角形のリストを生成することは、三角形と辺を共有する三角形を前記リストに追加することを含むことを特徴とする、請求項１８に記載のシステム。

【請求項21】

前記三角形の特性を計算することは、各三角形の法線及び表面積を計算することを含むことを特徴とする、請求項１８に記載のシステム。

【請求項22】

前記エンコーダは、法線が最も頻繁な向きと最も良く位置合わせされ、パッチに追加されていないシード三角形を選択するように更に構成されることを特徴とする、請求項１８に記載のシステム。

【請求項23】

前記エンコーダは、計算されたコストに基づいて前記パッチをマージするように更に構成され、前記計算されたコストは、前記パッチの周囲長及びオルソストレッチ値に基づくことを特徴とする、請求項１８に記載のシステム。

【請求項24】

正投影を使用して前記テクスチャアトラスに前記パッチをパッキングすることは、フレームスケーリング、パッチの向き、及び時間的安定化を実装することを含むことを特徴とする、請求項１７に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

〔関連出願の相互参照〕
本出願は、２０２２年１０月６日に出願された「オルソアトラス：正投影を使用した動的メッシュのテクスチャマップ生成（ＯＲＴＨＯＡＴＬＡＳ： ＴＥＸＴＵＲＥ ＭＡＰ ＧＥＮＥＲＡＴＩＯＮ ＦＯＲ ＤＹＮＡＭＩＣ ＭＥＳＨＥＳ ＵＳＩＮＧ ＯＲＴＨＯＧＲＡＰＨＩＣ ＰＲＯＪＥＣＴＩＯＮＳ）」という名称の米国仮特許出願第６３／３７８，５６５号の米国特許法第１１９条に基づく優先権を主張するものであり、この出願は、全ての目的に対してその全体が引用により本明細書に組み込まれる。

【0002】

本発明は、３次元グラフィックスに関する。より具体的には、本発明は、正投影を使用してテクスチャマップを生成することに関する。

【背景技術】

【0003】

近年、３Ｄから２Ｄへの投影に基づいて、ポイントクラウドなどのボリュームコンテンツを圧縮する新しい方法が標準化されつつある。Ｖ３Ｃ（視覚ボリュームビデオベースの圧縮）としても知られるこの方法は、３Ｄボリュームデータをいくつかの２Ｄパッチにマッピングし、更にパッチをアトラス画像に配置し、その後、ビデオエンコーダで符号化する。アトラス画像は、ポイントのジオメトリ、それぞれのテクスチャ、及びポイントクラウド再構築のためにどの位置を考慮すべきかを示す占有マップに対応する。

【0004】

２０１７年、ＭＰＥＧは、ポイントクラウドの圧縮のための提案募集（ＣｆＰ）を実施した。いくつかの提案の評価の後、現在、ＭＰＥＧは、ポイントクラウド圧縮のための２つの異なる技術、すなわち、３Ｄネイティブコーディング技術（オクツリー及び同様のコーディング方法に基づく）、又は３Ｄから２Ｄへの投影後に従来のビデオコーディングを行うことを検討している。動的３Ｄシーンの場合、ＭＰＥＧは、パッチ表面モデリング、３Ｄから２Ｄ画像へのパッチの投影、及びＨＥＶＣなどのビデオエンコーダによる２Ｄ画像のコーディングに基づいて、テストモデルソフトウェア（ＴＭＣ２）を使用している。この方法は、ネイティブ３Ｄコーディングよりも効率的であることが判明しており、許容できる品質で競争力のあるビットレートを実現することができる。

【0005】

投影ベースの方法（ビデオベースの方法、又はＶ－ＰＣＣとしても知られる）による３Ｄポイントクラウドのコーディングが成功したため、この標準の将来のバージョンでは、３Ｄメッシュなどの更なる３Ｄデータを含むことが予想される。しかしながら、この標準の現在のバージョンは、接続されていないポイントのセットの送信にのみ適しているため、３Ｄメッシュ圧縮で必要とされるようなポイントの接続性を送信する機構がない。

【0006】

Ｖ－ＰＣＣの機能をメッシュに拡張するための方法も提案されている。１つの可能な方法は、Ｖ－ＰＣＣを使用して頂点を符号化し、次に、ＴＦＡＮ又はＥｄｇｅｂｒｅａｋｅｒなどのメッシュ圧縮方法を使用して接続性を符号化することである。この方法の制限は、頂点から生成されるポイントクラウドがまばらではなく、投影後に効率的に符号化することができるように、元のメッシュが密でなければならないことである。更に、頂点の順序は接続性のコーディングに影響を及ぼすため、メッシュの接続性を再編成するための異なる方法が提案されている。まばらなメッシュを符号化するための代替の方法は、ＲＡＷパッチデータを使用して、３Ｄの頂点の位置を符号化することである。ＲＡＷパッチは（ｘ，ｙ，ｚ）を直接符号化するので、この方法では、全ての頂点がＲＡＷデータとして符号化され、一方、接続性は、前述のような同様のメッシュ圧縮方法によって符号化される。ＲＡＷパッチにおいて、頂点は任意の好ましい順序で送信することができるため、接続性符号化から生成される順序を使用することができることに留意されたい。この方法は、まばらなポイントクラウドを符号化することができるが、ＲＡＷパッチは、３Ｄデータを符号化するのに効率的ではなく、この方法から、三角形の面の属性などの更なるデータが欠落している場合がある。

【0007】

ＭｉｃｒｏｓｏｆｔのＵＶＡｔｌａｓは、最先端の自動テクスチャマップ生成であるが、かなりの時間がかかり、ローカルフレームに対してのみ最適化を行う。Ｖ－ＰＣＣは、正投影を使用してパッチを生成するが、ポイントクラウドのみを対象としているため、メッシュのパッチ生成には対応していない。

【発明の概要】

【発明が解決しようとする課題】

【0008】

正投影を使用したテクスチャマップの生成は、高速かつ効率的に実行される。本明細書では、テクスチャマップを生成するための方法であって、その所要時間を大幅に短縮するとともに、マップが時間内の異なるフレームのコンテンツ間の相関関係を利用できるようにする方法を説明する。テクスチャマッピングは、ボリュームコンテンツの自動生成のために、又は動的メッシュのより効率的な圧縮のために使用することができる。本明細書で説明するテクスチャマップ生成は、正投影を使用してテクスチャアトラスを生成する方法を含む。正投影の新しいストレッチメトリック（ｓｔｒｅｔｃｈ ｍｅｔｒｉｃ）について説明し、マージアルゴリズムは、三角形を単一のパッチに最適にクラスタ化するように考案される。更に、サイズ及び時間的安定性を最適化しようとするメッシュパッチのために、パッキング技術を使用することができる。

【課題を解決するための手段】

【0009】

一態様では、デバイスの非一時的メモリにプログラムされた方法は、動的メッシュ情報からパッチを生成するステップと、正投影を使用して、テクスチャアトラスに前記パッチをパッキングするステップと、を含む。動的メッシュ情報から前記パッチを生成するステップは、隣接する三角形のリストを生成することと、三角形の特性を計算することと、近隣の三角形を追加することと、頂点の遮蔽をチェックすることと、表面の遮蔽をチェックすることと、を更に含む。前記隣接する三角形のリストを生成することは、三角形と頂点を共有する三角形を前記リストに追加することを含む。前記隣接する三角形のリストを生成することは、三角形と辺を共有する三角形を前記リストに追加することを含む。前記三角形の特性を計算することは、各三角形の法線及び表面積を計算することを含む。前記方法は、法線が最も頻繁な向きと最も良く位置合わせされ、パッチに追加されていないシード三角形を選択するステップを更に含む。前記方法は、計算されたコストに基づいて前記パッチをマージするステップを更に含み、前記計算されたコストは、前記パッチの周囲長及びオルソストレッチ（ｏｒｔｈｏ ｓｔｒｅｔｃｈ）値に基づく。正投影を使用して前記テクスチャアトラスに前記パッチをパッキングするステップは、フレームスケーリング、パッチの向き、及び時間的安定化を実装することを含む。

【0010】

別の態様では、装置は、アプリケーションを記憶するための非一時的メモリであって、前記アプリケーションは、動的メッシュ情報からパッチを生成し、正投影を使用して、テクスチャアトラスに前記パッチをパッキングする、ためのものである、非一時的メモリと、前記メモリに結合されて、前記アプリケーションを処理するように構成されるプロセッサと、を含む。動的メッシュ情報から前記パッチを生成することは、隣接する三角形のリストを生成することと、三角形の特性を計算することと、近隣の三角形を追加することと、頂点の遮蔽をチェックすることと、表面の遮蔽をチェックすることと、を更に含む。前記隣接する三角形のリストを生成することは、三角形と頂点を共有する三角形を前記リストに追加することを含む。前記隣接する三角形のリストを生成することは、三角形と辺を共有する三角形を前記リストに追加することを含む。前記三角形の特性を計算することは、各三角形の法線及び表面積を計算することを含む。前記アプリケーションは、法線が最も頻繁な向きと最も良く位置合わせされ、パッチに追加されていないシード三角形を選択するように更に構成される。前記アプリケーションは、計算されたコストに基づいて前記パッチをマージするように更に構成され、前記計算されたコストは、前記パッチの周囲長及びオルソストレッチ値に基づく。正投影を使用して前記テクスチャアトラスに前記パッチをパッキングすることは、フレームスケーリング、パッチの向き、及び時間的安定化を実装することを含む。

【0011】

別の態様では、システムは、３次元コンテンツを取得するための１又は２以上のカメラと、動的メッシュ情報からパッチを生成し、正投影を使用して、テクスチャアトラスに前記パッチをパッキングする、ように構成されるエンコーダと、を含む。動的メッシュ情報から前記パッチを生成することは、隣接する三角形のリストを生成することと、三角形の特性を計算することと、近隣の三角形を追加することと、頂点の遮蔽をチェックすることと、表面の遮蔽をチェックすることと、を更に含む。前記隣接する三角形のリストを生成することは、三角形と頂点を共有する三角形を前記リストに追加することを含む。前記隣接する三角形のリストを生成することは、三角形と辺を共有する三角形を前記リストに追加することを含む。前記三角形の特性を計算することは、各三角形の法線及び表面積を計算することを含む。前記エンコーダは、法線が最も頻繁な向きと最も良く位置合わせされ、パッチに追加されていないシード三角形を選択するように更に構成される。前記エンコーダは、計算されたコストに基づいて前記パッチをマージするように更に構成され、前記計算されたコストは、前記パッチの周囲長及びオルソストレッチ値に基づく。正投影を使用して前記テクスチャアトラスに前記パッチをパッキングすることは、フレームスケーリング、パッチの向き、及び時間的安定化を実装することを含む。

【図面の簡単な説明】

【0012】

【図1】いくつかの実施形態によるテクスチャパラメータ化の図である。

【図2】いくつかの実施形態による隣接三角形分析の図である。

【図3】いくつかの実施形態による三角形の特性を計算する図である。

【図4】いくつかの実施形態によるシードを選択する図である。

【図5】いくつかの実施形態による接続されたコンポーネントの異なるセットの図である。

【図6】いくつかの実施形態によるオルソストレッチを実行する図である。

【図7】いくつかの実施形態によるオルソストレッチの結果を示す図である。

【図8】いくつかの実施形態によるパッキングの図である。

【図9】いくつかの実施形態によるフレームスケーリングの画像を示す図である。

【図10】いくつかの実施形態によるパッチの向きの画像を示す図である。

【図11】いくつかの実施形態による時間的安定化の画像を示す図である。

【図12】いくつかの実施形態による正投影を使用したテクスチャマップ生成方法を実装するように構成される例示的なコンピュータ装置のブロック図である。

【発明を実施するための形態】

【0013】

メッシュは、通常、ボリュームの表面を表すポリゴンのセットで構成されている。メッシュの表面特性（例えば、色特性）を表す効率的な方法は、３Ｄ表面の特性を２Ｄ表面にマッピングするテクスチャアトラスを生成することである。しかしながら、３Ｄ表面を２Ｄにマッピングすることは簡単な問題ではなく、ＭｉｃｒｏｓｏｆｔのＵＶＡｔｌａｓなどの最先端の方法では、メッシュ内の適切なカットを見つけ、表面調和関数（ｓｕｒｆａｃｅ ｈａｒｍｏｎｉｃｓ）を使用してマッピングするために、時間のかかる最適化が行われる。最新の国際ポイントクラウド圧縮規格では、正投影を使用してポイントクラウドのテクスチャマップ画像が生成されている。テクスチャマップ画像は簡単に生成できるが、テクスチャマップ画像はポイントクラウドのみに使用されるため、メッシュに存在する接続構造は考慮されない。本明細書で説明する方法は、Ｖ－ＰＣＣ規格で使用されているものと同様に、正投影を使用するメッシュのテクスチャ画像を生成することができる。テクスチャマッピングは、ボリュームコンテンツの自動生成のために使用することができるか、又は動的メッシュのより効率的な圧縮のために使用することができる。

【0014】

本明細書で説明するテクスチャマップ生成は、正投影を使用してテクスチャアトラスを生成する方法を含む。正投影の新しいストレッチメトリックについて説明し、マージアルゴリズムは、三角形を単一のパッチに最適にクラスタ化するように考案される。更に、サイズ及び時間的安定性を最適化しようとするメッシュパッチのために、パッキング技術を使用することができる。

【0015】

正投影を使用したテクスチャマップ生成は、パッチ生成及びパッチパッキングを含む。パッチ生成は、接続されたコンポーネント（例えば、辺／頂点を共有する三角形）を使用したシード選択と、正投影の投影歪み測定であるオルソストレッチと、オルソストレッチ及びパッチの周囲長を使用したレート歪みベースのマージアルゴリズムとを含む。パッチパッキングは、フレーム／パッチのスケーリング、パッチの回転、及び時間的位置合わせを含む。

【0016】

図１に、いくつかの実施形態によるテクスチャパラメータ化の図を示す。ステップ１００において、パッチを生成する。パッチが生成された後、ステップ１０２において、パッチをパッキングする。例えば、パッチは、テクスチャアトラスにパッキングされる。

【0017】

パッチを生成することは、ステップ１１０において接続されたコンポーネントを生成することと、ステップ１３０において投影することと、を含む。

【0018】

接続されたコンポーネントを生成することは、ステップ１１２において、隣接する三角形のリストを生成することと、ステップ１１４において、各三角形について、三角形の特性を計算することと、ステップ１１６において、シード（三角形）を選択することと、ステップ１１８において、基準に応じて、隣接する三角形から近隣の三角形を追加することと、全ての隣接する三角形を確認した後、パッチに追加できない三角形がある場合は、ステップ１１６において、異なるシード（三角形）を用いてプロセスを再開することと、三角形が残っていない場合は、ステップ１２０において、パッチをマージして、接続された三角形の大きな表面を生成することと、を含む。投影が実行され、これは、ステップ１３２において、頂点の遮蔽をチェックすることと、ステップ１３４において、表面の遮蔽をチェックすることと、を含む。頂点の遮蔽又は表面の遮蔽がある場合は、三角形がパッチから削除され、異なるパッチに含められる。

【0019】

図２に、いくつかの実施形態による隣接三角形分析の図を示す。三角形２００は、多くの隣接する三角形及び近隣の三角形を有する。三角形の近隣は、単一の頂点を共有する（ｐａｒａｍｓ．ｕｓｅＶｅｒｔｅｘＣｒｉｔｅｒｉａ＝ｔｒｕｅ）か、又は辺を共有する（ｐａｒａｍｓ．ｕｓｅＶｅｒｔｅｘＣｒｉｔｅｒｉａ＝ｆａｌｓｅ）ことによって定義することができる。隣接する三角形とは、指定された三角形と少なくとも１つの頂点を共有する三角形である。例えば、三角形１～１５｛Ｔ₁、．．．、Ｔ₁₅｝は全て、三角形２００と頂点を共有する。近隣の三角形は、三角形と辺を共有する。例えば、三角形４、１０、及び１４｛Ｔ₄、Ｔ₁₀、及びＴ₁₄｝は、三角形２００と辺を共有する。隣接する三角形及び近隣の三角形のリストは、三角形ごとに保持することができる。境界を保持するために、フラグを含めることもできる。

【0020】

図３に、いくつかの実施形態による三角形の特性を計算する図を示す。各三角形について、いくつかの特性が計算される（例えば、３Ｄでの法線及び表面積）。三角形の表面積及び法線は、投影された面積から導出することができる。

【0021】

図４に、いくつかの実施形態によるシードを選択する図を示す。最も頻繁な向きは、三角形のカテゴリのヒストグラムをチェックすることによって取得される。ｐａｒａｍｓ．ｂＵｓｅＳｅｅｄＨｉｓｔｏｇｒａｍ＝ｔｒｕｅの場合、シードは、法線が最も頻繁な向きと最も良く位置合わせされ、接続されたコンポーネントに追加されていない三角形である。ｐａｒａｍｓ．ｂＵｓｅＳｅｅｄＨｉｓｔｏｇｒａｍ＝ｆａｌｓｅの場合、シードは、最初の利用可能な三角形である（例えば、まだ接続されたコンポーネントではない）。

【0022】

近隣の三角形をリストに追加するために、次の基準、すなわち、三角形のカテゴリが接続されたコンポーネントの向きと同じかどうか、最後に挿入された法線と現在の法線との間の角度が特定の閾値より小さいかどうか、パッチの面積が総面積の一部より小さいかどうか、及び三角形の数が閾値より小さいかどうかがチェックされる。いくつかの実施形態では、上記の基準が全て満たされている場合にのみ、近隣の三角形がリストに追加される。

【0023】

図５に、いくつかの実施形態による接続されたコンポーネントの異なるセットの図を示す。

【0024】

マージ関数は、接続されたコンポーネントの周囲長及びオルソストレッチ（例えば、正投影による伸縮）に基づいて、コストに応じて近隣の接続されたコンポーネントをマージする。マージアルゴリズムは、接続されたコンポーネントの順序付きリストを生成することによって開始する。リストは、１）三角形の数が最も少ない、２）向きと最も良く位置合わせされる平均法線（三角形の面積で重み付け）の順に並べられる。各接続されたコンポーネントは、コストＣＯＳＴ（Ｍ_i）＝Ｌ²（Ｍ_i）＋λＰＥＲＩＭＥＴＥＲ（Ｍ_i）から始まる。ここで、Ｍ_iは接続されたコンポーネント、Ｌはレート歪み、λはレート歪みと周囲長との間の重みを提供するパラメータである。λが０の場合、周囲長はコストで考慮されない。λが非常に高い値の場合、コストでは周囲長のみが考慮され、レート歪みは無関係になる。この例を更に進めると、使用可能なビットが非常に少ない場合、歪みはそれほど重要ではなく、λに非常に大きな値が使用される。品質が非常に重要である場合、λは０又は非常に小さくなり、コストを最小限に抑えるために、歪みが最小限に抑えられる。

【0025】

リストが空でない場合、次のステップが実行される：
リストの最上位要素（Ｍ_i）が削除される；
近隣の三角形候補のリスト（

が取得される。ここで、

は、Ｍ_iと辺／頂点を共有する接続されたコンポーネントのリストである）；
各近隣の候補について：
マージコストを計算する：ＣＯＳＴ（Ｍ_i＋Ｍ_j）＝Ｌ²（Ｍ_i＋Ｍ_j）＋λＰＥＲＩＭＥＴＥＲ（Ｍｉ）；
近隣の三角形（少なくとも１つの辺を共有する接続されたコンポーネント）のうちの１つとのマージ操作によってコストが低減される場合（ＣＯＳＴ（Ｍ_i＋Ｍ_j）＜ＣＯＳＴ（Ｍ_i）＋ＣＯＳＴ（Ｍ_j））、結合コストを最小化する近隣の三角形を選択する：

近隣の三角形がマージ対象として選択された場合は、接続されたコンポーネント（Ｍ_i→Ｍ_j）を更新し、リストを並べ替える。

【0026】

図６に、いくつかの実施形態によるオルソストレッチを実行する図を示す。本明細書では、３Ｄ空間の点を２Ｄ空間にマッピングする関数（例えば、投影関数）について説明する。３Ｄ空間の点を２Ｄ空間の点に接続するのは、重心補間である。重心補間では、投影された三角形の面積を使用して重みを生成し、重みを使用して表面上の任意の点を導出する。これは、任意の方向（例えば、ｘ、ｙ、ｚ）で実行することができる。例えば、頂点を点ｐに接続することによって、三角形６００（及びその他の三角形）内に三角形を生成することができる。その後、投影された空間内のそれらの三角形の面積を補間することによって、３Ｄ空間の点ｐの値を取得することができる。値ｑは、頂点ｑ₁、ｑ₂、ｑ₃の点を投影された三角形の面積で重み付けすることによって取得することができる。以下の方程式を解くことによって、面積の比率が求められ、２Ｄ空間の投影に基づいて３Ｄ空間の点が再生成される。
Ｓ^XY（ｐ）＝ｑ

ここで、

上記を踏まえると、関数のヤコビアンを取得することが可能である。ヤコビアンを固有値と固有ベクトルに分解することによって、ストレッチ（例えば、３Ｄ空間から２Ｄ空間への三角形のサイズの縮小）を決定することができる。ストレッチは、３Ｄ空間と２Ｄ空間の面積の比率である。いくつかの実施形態では、面積が事前に計算されているため、ストレッチを事前に又は迅速に計算することができる。

最大（Γ）及び最小（Υ）特異値：

ここで、

三角形ストレッチＬ² _XY、Ｌ² _XZ、Ｌ² _ZY：

メッシュＬ²ストレッチ：

ここで、

【0027】

図７に、いくつかの実施形態によるオルソストレッチの結果を示す。元のメッシュ７００には、２３５１個の接続されたコンポーネント（例えば、最初は個々の三角形）があり、周囲長は１８６０７１、ストレッチは１．０９７８である。メッシュ７０２では、近隣の三角形とのクラスタ化が実行され（追加の分析なし）、接続されたコンポーネントは２５１個になり、周囲長は５０７２１．７に減少したが、ストレッチはわずかに増加して１．１４０３７になった。メッシュ７０４では、マージも実装されているため、接続されたコンポーネントは５５個あり、周囲長は２８９３５．２であるが、ストレッチは１．６５０６である。接続されたコンポーネントが５５個あるため、必要なビット数は大幅に少なくなる。メッシュ７０６では、投影分析が実行され（例えば、接続されたコンポーネントが重ならないようにする）、その結果、６８個の接続されたコンポーネント、３１４５５．１の周囲長、及び１．６９３１５のストレッチが生成される。投影により、投影情報によってテクスチャ座標を決定することができる。

【0028】

図８に、いくつかの実施形態によるパッキングの図を示す。パッチ（例えば、接続されたコンポーネント）が生成された後、パッチはビデオ内の２Ｄ画像に配置され、その後、ビデオが符号化される。パッチは、表面に収まるようにスケーリングされる（例えば、フレームスケーリング）。各パッチに対して、パッチスケーリングが実装される。

【0029】

図９に、いくつかの実施形態によるフレームスケーリングの画像を示す。初期スケーリングは、テクスチャマップ表面の大部分を占める投影を生成するために使用される。例えば、２Ｋｘ２Ｋ表面の場合、パッチは、可能な限り最も効率的に表面を占めるように調整される。パッチのサイズは、表面全体を占めるように最大化される。パッキングが成功しない場合は、投影された接続されたコンポーネントに更に多くの空間を提供するために、スケーリングが１０％（又は別の値）低減される。

ここで、調整（ａｄｊｕｓｔｍｅｎｔ）はスケーリング値（例えば、１０％）、ＢＢは境界ボックス９００の寸法、高さ（ｈｅｉｇｈｔ）はテクスチャマップ９０２の高さ、ｏｃｃＲｅｓは占有解像度である。占有解像度は、ピクセル単位ではなく、１６ｘ１６（又は別のサイズ）のブロックの解像度である。

【0030】

例示的な画像では、ＢＢ_Yが最大寸法であるため、テクスチャマップの高さは、ＢＢ_Yの高さに近いか又は同じに設定される。しかしながら、パッチが大きすぎてテクスチャマップに収まらない場合がある。パッチが大きすぎる場合は、全てのパッチが１０％縮小される。縮小されたパッチがまだテクスチャマップに収まらない場合は、パッチが更に１０％縮小され、パッチがテクスチャマップに収まるまでプロセスがループする。

【0031】

各パッチについて、パッチのスケール、向き、及び位置を調整することができる。

【0032】

パッチスケーリングは、フレームスケーリングに加えて実行されて、パッチごとにテクスチャサイズを適合させることができる。パッチスケーリングにより、詳細度の高い特定の領域（例えば、顔）でより多くのテクスチャ空間を使用できるようになる。例示的な実装では、ｐａｒａｍｓ．ｂＰａｔｃｈＳｃａｌｉｎｇ＝ｔｒｕｅの場合、パッチの初期サイズが２倍になる（又は別の量だけ増加する）。パッチをパッキングできない場合は、そのサイズが１０％縮小される。合計サイズ縮小がパッチのサイズの５０％を超える場合、パッキングは失敗したとみなされ、新しいフレームスケーリングが計算される。

【0033】

図１０に、いくつかの実施形態によるパッチの向きの画像を示す。Ｖ－ＰＣＣと同様に、パッチは、テクスチャアトラスドメイン内で回転して、より良いフィットを得ることができる。しかしながら、いくつかの実施形態では、三角形の曲がりを維持するために、０°、９０°、１８０°、及び２７０°の回転のみが許可される。例えば、画像１０００は、テクスチャマップ内の回転されていないパッチを示し、画像１００２は、回転されたパッチを示す。

【0034】

図１１に、いくつかの実施形態による時間的安定化の画像を示す。一致するパッチは、投影方向と、３Ｄでの両パッチの交差部分の体積と３Ｄでの両パッチの結合部分の体積との比率とをチェックすることによって決定される。一致したパッチは、一致したパッチと同じ位置（Ｕ０、Ｖ０）、同じ向き（Ｏ）、及び同じスケール（Ｓ）を有する。画像１１００は、時間的安定化のないテクスチャマップを示し、画像１１０２は、時間的安定化のあるテクスチャマップを示す。

【0035】

テクスチャマップ座標は、次の変換を適用することによって導出することができる。

ここで、

ここで、

【0036】

図１２に、いくつかの実施形態による正投影を使用したテクスチャマップ生成方法を実装するように構成される例示的なコンピュータ装置のブロック図を示す。コンピュータ装置１２００を使用して、３Ｄコンテンツを含む画像及びビデオなどの情報を取得、記憶、計算、処理、通信及び／又は表示することができる。コンピュータ装置１２００は、符号化／復号の態様のいずれかを実装することができる。一般に、コンピュータ装置１２００を実装するのに適したハードウェア構造は、ネットワークインターフェイス１２０２、メモリ１２０４、プロセッサ１２０６、（単複の）Ｉ／Ｏデバイス１２０８、バス１２１０、及び記憶装置１２１２を含む。プロセッサの選択は、十分な速度を有する好適なプロセッサが選ばれる限り重要ではない。メモリ１２０４は、当該技術分野で公知の任意の従来のコンピュータメモリとすることができる。記憶装置１２１２は、ハードドライブ、ＣＤＲＯＭ、ＣＤＲＷ、ＤＶＤ、ＤＶＤＲＷ、高精細ディスク／ドライブ、超高精細ドライブ、フラッシュメモリカード又は他の任意の記憶装置を含むことができる。コンピュータ装置１２００は、１又は２以上のネットワークインターフェイス１２０２を含むことができる。ネットワークインターフェイスの一例は、イーサネット又は他のタイプのＬＡＮに接続されるネットワークカードを含む。（単複の）Ｉ／Ｏデバイス１２０８は、キーボード、マウス、モニタ、スクリーン、プリンタ、モデム、タッチスクリーン、ボタンインターフェイス及び他のデバイスのうちの１又は２以上を含むことができる。正投影を使用したテクスチャマップ生成実装を実装するために使用される（単複の）正投影を使用したテクスチャマップ生成アプリケーション１２３０は、記憶装置１２１２及びメモリ１２０４に記憶されて、アプリケーションが通常処理されるように処理される可能性が高い。コンピュータ装置１２００は、図１２に示すより多い又は少ない構成要素を含むことができる。いくつかの実施形態では、正投影を使用したテクスチャマップ生成ハードウェア１２２０が含まれる。図１２のコンピュータ装置１２００は、正投影を使用したテクスチャマップ生成実装のためのアプリケーション１２３０及びハードウェア１２２０を含むが、正投影を使用したテクスチャマップ生成方法は、コンピュータ装置に、ハードウェア、ファームウェア、ソフトウェア又はそれらの任意の組み合わせとして実装することができる。例えば、いくつかの実施形態では、正投影を使用したテクスチャマップ生成アプリケーション１２３０は、メモリにプログラムされて、プロセッサを使用して実行される。別の例では、いくつかの実施形態において、正投影を使用したテクスチャマップ生成ハードウェア１２２０は、正投影を使用したテクスチャマップ生成方法を実装するように専用に設計されるゲートを含む、プログラムされたハードウェアロジックである。

【0037】

いくつかの実施形態では、（単複の）正投影を使用したテクスチャマップ生成アプリケーション１２３０は、いくつかのアプリケーション及び／又はモジュールを含む。いくつかの実施形態では、モジュールは、１又は２以上のサブモジュールも含む。いくつかの実施形態では、より少ない又は追加のモジュールを含むことができる。

【0038】

好適なコンピュータ装置の例は、パーソナルコンピュータ、ラップトップコンピュータ、コンピュータワークステーション、サーバ、メインフレームコンピュータ、ハンドヘルドコンピュータ、携帯情報端末、セルラ電話／携帯電話、スマート家電、ゲーム機、デジタルカメラ、デジタルカムコーダ、カメラ付き携帯電話、スマートフォン、携帯音楽プレーヤー、タブレットコンピュータ、モバイルデバイス、ビデオプレーヤー、ビデオディスクライター／プレーヤー（例えば、ＤＶＤライター／プレーヤー、高精細ディスクライター／プレーヤー、超高精細ディスクライター／プレーヤー）、テレビジョン、家庭用娯楽システム、拡張現実デバイス、仮想現実デバイス、スマートジュエリー（例えば、スマートウォッチ）、車両（例えば、自動運転車両）又は他の任意の好適なコンピュータ装置を含む。

【0039】

正投影を使用したテクスチャマップ生成方法を利用するために、デバイスは、３Ｄコンテンツ（例えば、ポイントクラウドコンテンツ）を取得又は受信する。正投影を使用したテクスチャマップ生成方法は、ユーザの援助によって又はユーザが関与することなく自動的に実装することができる。

【0040】

動作時、正投影を使用したテクスチャマップの生成は、高速かつ効率的に実行される。現在、テクスチャマップの生成は、マッピングの歪み及びテクスチャの継ぎ目を減らすために複雑な最適化に依拠している。しかしながら、このような手順はリアルタイムアプリケーションには適しておらず、通常はフレームごとに実行されるため、テクスチャマップ間の時間的な相関関係は利用されない。本明細書では、テクスチャマップを生成するための方法であって、その所要時間を大幅に短縮するとともに、マップが時間内の異なるフレームのコンテンツ間の相関関係を利用できるようにする方法を説明する。テクスチャマッピングは、ボリュームコンテンツの自動生成のために使用することができるか、又は動的メッシュのより効率的な圧縮のために使用することができる。

【0041】

オルソアトラス：正投影を使用した動的メッシュのテクスチャマップ生成のいくつかの実施形態
１．デバイスの非一時的メモリにプログラムされた方法であって、
動的メッシュ情報からパッチを生成するステップと、
正投影を使用して、テクスチャアトラスに前記パッチをパッキングするステップと、
を含む方法。

【0042】

２．動的メッシュ情報から前記パッチを生成するステップは、
隣接する三角形のリストを生成することと、
三角形の特性を計算することと、
近隣の三角形を追加することと、
頂点の遮蔽をチェックすることと、
表面の遮蔽をチェックすることと、
を更に含む、第１項に記載の方法。

【0043】

３．前記隣接する三角形のリストを生成することは、三角形と頂点を共有する三角形を前記リストに追加することを含む、第２項に記載の方法。

【0044】

４．前記隣接する三角形のリストを生成することは、三角形と辺を共有する三角形を前記リストに追加することを含む、第２項に記載の方法。

【0045】

５．前記三角形の特性を計算することは、各三角形の法線及び表面積を計算することを含む、第２項に記載の方法。

【0046】

６．法線が最も頻繁な向きと最も良く位置合わせされ、パッチに追加されていないシード三角形を選択するステップを更に含む、第２項に記載の方法。

【0047】

７．前記方法は、計算されたコストに基づいて前記パッチをマージするステップを更に含み、前記計算されたコストは、前記パッチの周囲長及びオルソストレッチ値に基づく、第２項に記載の方法。

【0048】

８．正投影を使用して前記テクスチャアトラスに前記パッチをパッキングするステップは、フレームスケーリング、パッチの向き、及び時間的安定化を実装することを含む、第１項に記載の方法。

【0049】

９．装置であって、
アプリケーションを記憶するための非一時的メモリであって、前記アプリケーションは、
動的メッシュ情報からパッチを生成し、
正投影を使用して、テクスチャアトラスに前記パッチをパッキングする、
ためのものである、非一時的メモリと、
前記メモリに結合されて、前記アプリケーションを処理するように構成されるプロセッサと、
を含む装置。

【0050】

１０．動的メッシュ情報から前記パッチを生成することは、
隣接する三角形のリストを生成することと、
三角形の特性を計算することと、
近隣の三角形を追加することと、
頂点の遮蔽をチェックすることと、
表面の遮蔽をチェックすることと、
を更に含む、第９項に記載の装置。

【0051】

１１．前記隣接する三角形のリストを生成することは、三角形と頂点を共有する三角形を前記リストに追加することを含む、第１０項に記載の装置。

【0052】

１２．前記隣接する三角形のリストを生成することは、三角形と辺を共有する三角形を前記リストに追加することを含む、第１０項に記載の装置。

【0053】

１３．前記三角形の特性を計算することは、各三角形の法線及び表面積を計算することを含む、第１０項に記載の装置。

【0054】

１４．前記アプリケーションは、法線が最も頻繁な向きと最も良く位置合わせされ、パッチに追加されていないシード三角形を選択するように更に構成される、第１０項に記載の装置。

【0055】

１５．前記アプリケーションは、計算されたコストに基づいて前記パッチをマージするように更に構成され、前記計算されたコストは、前記パッチの周囲長及びオルソストレッチ値に基づく、第１０項に記載の装置。

【0056】

１６．正投影を使用して前記テクスチャアトラスに前記パッチをパッキングすることは、フレームスケーリング、パッチの向き、及び時間的安定化を実装することを含む、第９項に記載の装置。

【0057】

１７．システムであって、
３次元コンテンツを取得するための１又は２以上のカメラと、
動的メッシュ情報からパッチを生成し、
正投影を使用して、テクスチャアトラスに前記パッチをパッキングする、
ように構成されるエンコーダと、
を含むシステム。

【0058】

１８．動的メッシュ情報から前記パッチを生成することは、
隣接する三角形のリストを生成することと、
三角形の特性を計算することと、
近隣の三角形を追加することと、
頂点の遮蔽をチェックすることと、
表面の遮蔽をチェックすることと、
を更に含む、第１７項に記載のシステム。

【0059】

１９．前記隣接する三角形のリストを生成することは、三角形と頂点を共有する三角形を前記リストに追加することを含む、第１８項に記載のシステム。

【0060】

２０．前記隣接する三角形のリストを生成することは、三角形と辺を共有する三角形を前記リストに追加することを含む、第１８項に記載のシステム。

【0061】

２１．前記三角形の特性を計算することは、各三角形の法線及び表面積を計算することを含む、第１８項に記載のシステム。

【0062】

２２．前記エンコーダは、法線が最も頻繁な向きと最も良く位置合わせされ、パッチに追加されていないシード三角形を選択するように更に構成される、第１８項に記載のシステム。

【0063】

２３．前記エンコーダは、計算されたコストに基づいて前記パッチをマージするように更に構成され、前記計算されたコストは、前記パッチの周囲長及びオルソストレッチ値に基づく、第１８項に記載のシステム。

【0064】

２４．正投影を使用して前記テクスチャアトラスに前記パッチをパッキングすることは、フレームスケーリング、パッチの向き、及び時間的安定化を実装することを含む、第１７項に記載のシステム。

【0065】

本発明の構成及び動作の原理の理解を容易にするために、詳細内容を組み込んだ特定の実施形態に関して本発明を説明してきた。このような本明細書における特定の実施形態及びその詳細内容への言及は、本明細書に添付される特許請求の範囲を限定することを意図するものではない。特許請求の範囲によって規定される本発明の精神及び範囲から逸脱することなく、例示のために選択された実施形態に、他の様々な修正を行うことができることは、当業者に容易に理解されるであろう。

【符号の説明】

【0066】

１００ パッチを生成
１０２ パッチをパッキング
１１０ 接続されたコンポーネント
１１２ 隣接する三角形
１１４ 三角形の特性
１１６ シードを選択
１１８ 近隣の三角形を追加
１２０ マージ
１３０ 投影
１３２ 頂点の遮蔽をチェック
１３４ 表面の遮蔽をチェック
２００ 三角形
６００ 三角形
７００ 元のメッシュ
７０２ メッシュ
７０４ メッシュ
７０６ メッシュ
９００ 境界ボックス
９０２ テクスチャマップ
１０００ 画像
１００２ 画像
１１００ 画像
１１０２ 画像
１２００ コンピュータ装置
１２０２ ネットワークインターフェイス
１２０４ メモリ
１２０６ プロセッサ
１２０８ Ｉ／Ｏデバイス
１２１０ バス
１２１２ 記憶装置
１２２０ 正投影を使用したテクスチャマップ生成ハードウェア
１２３０ 正投影を使用したテクスチャマップ生成アプリケーション

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【国際調査報告】