特表 2024-533326 動的メッシュ圧縮のための境界情報を用いた三角形分割法、装置及びコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-09-12

(54)【発明の名称】動的メッシュ圧縮のための境界情報を用いた三角形分割法、装置及びコンピュータプログラム

(51)【国際特許分類】

   G06T 17/20 20060101AFI20240905BHJP

【ＦＩ】

G06T17/20 500

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024515113

(86)(22)【出願日】2023-03-20

(85)【翻訳文提出日】2024-03-07

(86)【国際出願番号】 US2023015603

(87)【国際公開番号】W WO2023196107

(87)【国際公開日】2023-10-12

(31)【優先権主張番号】63/327,209

(32)【優先日】2022-04-04

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】18/185,117

(32)【優先日】2023-03-16

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】520353802

【氏名又は名称】テンセント・アメリカ・エルエルシー

(74)【代理人】

【識別番号】100110364

【弁理士】

【氏名又は名称】実広 信哉

(74)【代理人】

【識別番号】100150197

【弁理士】

【氏名又は名称】松尾 直樹

(72)【発明者】

【氏名】シャン・ジャン

(72)【発明者】

【氏名】チャオ・フアン

(72)【発明者】

【氏名】ジュン・ティアン

(72)【発明者】

【氏名】シャオジョン・シュ

(72)【発明者】

【氏名】シャン・リュウ

(57)【要約】

エンコーダからコーディングされたビデオビットストリームを受信し、コーディングされたビデオビットストリームから、ボリュームオブジェクトの表面を記述する複数のポリゴンを含むメッシュを取り出し、メッシュの境界上またはメッシュの内部に位置する、メッシュの１つまたは複数の頂点を三角形分割し、１つまたは複数の頂点の三角形分割を使用して、１つまたは複数の頂点間の接続性情報を推測し、接続性情報に基づいて１つまたは複数の境界ＵＶ座標を再構成する、方法および装置。

【特許請求の範囲】

【請求項1】

デコーダ内の少なくとも１つのプロセッサによって実行される方法であって、前記方法は、
エンコーダからコーディングされたビデオビットストリームを受信するステップと、
前記コーディングされたビデオビットストリームから、ボリュームオブジェクトの表面を記述する複数のポリゴンを含むメッシュを取り出すステップと、
前記メッシュの１つまたは複数の頂点を三角形分割するステップであって、前記１つまたは複数の頂点は、前記メッシュの境界上または前記メッシュの内部に位置する、ステップと、
前記１つまたは複数の頂点の前記三角形分割を使用して、前記１つまたは複数の頂点間の接続性情報を推測するステップと、
前記接続性情報に基づいて１つまたは複数の境界ＵＶ座標を再構成するステップとを含む、方法。

【請求項2】

前記メッシュの前記境界上に位置する前記１つまたは複数の頂点は、可逆的にコーディングされる、請求項１に記載の方法。

【請求項3】

前記メッシュの前記内部に位置する前記１つまたは複数の頂点は、サンプリングされる、請求項１に記載の方法。

【請求項4】

前記メッシュ内の複数のサンプリングされた近傍点の間の接続性情報を推測するステップをさらに含む、請求項１に記載の方法。

【請求項5】

前記再構成された境界ＵＶ座標は、１つまたは複数の三角形メッシュおよび１つまたは複数の四角形メッシュを生成するハイブリッドメッシュを形成する、請求項１に記載の方法。

【請求項6】

前記メッシュの前記境界上に位置する前記１つまたは複数の頂点は、非可逆的にコーディングされる、請求項１に記載の方法。

【請求項7】

１つまたは複数の重複した頂点をセットから除去して１セットの一意の境界頂点を生成するステップと、
前記１つまたは複数の重複した頂点の１つまたは複数のインデックスを記録するステップと、
サンプリングされた前記メッシュの前記内部に位置する前記頂点とともに、前記１セットの一意の境界頂点を三角形分割するステップと
をさらに含む、請求項６に記載の方法。

【請求項8】

プログラムコードを記憶するように構成された少なくとも１つのメモリと、
前記プログラムコードを読み取り、前記プログラムコードの指示に従って動作するように構成された少なくとも１つのプロセッサであって、前記プログラムコードは、
前記少なくとも１つのプロセッサに、エンコーダからコーディングされたビデオビットストリームを受信させるように構成された受信コードと、
前記少なくとも１つのプロセッサに、ボリュームオブジェクトの表面を記述する複数のポリゴンを含むメッシュを、前記コーディングされたビデオビットストリームから取り出させるように構成された取り出しコードと、
前記少なくとも１つのプロセッサに、前記メッシュの１つまたは複数の頂点を三角形分割させるように構成された第１の三角形分割コードであって、前記１つまたは複数の頂点は、前記メッシュの境界上または前記メッシュの内部に位置する、第１の三角形分割コードと、
前記１つまたは複数の頂点の前記三角形分割を使用して、前記少なくとも１つのプロセッサに、前記１つまたは複数の頂点間の接続性情報を推測させるように構成された推測コードと、
前記少なくとも１つのプロセッサに、前記接続性情報に基づいて１つまたは複数の境界ＵＶ座標を再構成させるように構成された再構成コードとを含む、少なくとも１つのプロセッサと
を備える、装置。

【請求項9】

前記メッシュの前記境界上に位置する前記１つまたは複数の頂点は、可逆的にコーディングされる、請求項８に記載の装置。

【請求項10】

前記メッシュの前記内部に位置する前記１つまたは複数の頂点は、サンプリングされる、請求項８に記載の装置。

【請求項11】

前記メッシュ内の複数のサンプリングされた近傍点の間の接続性情報を推測するステップをさらに含む、請求項１に記載の方法。

【請求項12】

前記再構成された境界ＵＶ座標は、１つまたは複数の三角形メッシュおよび１つまたは複数の四角形メッシュを生成するハイブリッドメッシュを形成する、請求項８に記載の装置。

【請求項13】

前記メッシュの前記境界上に位置する前記１つまたは複数の頂点は、非可逆的にコーディングされる、請求項８に記載の装置。

【請求項14】

前記プログラムコードは、
前記少なくとも１つのプロセッサに、１つまたは複数の重複した頂点をセットから除去して１セットの一意の境界頂点を生成させるように構成された除去コードと、
前記少なくとも１つのプロセッサに、前記１つまたは複数の重複した頂点の１つまたは複数のインデックスを記録させるように構成された記録コードと、
前記少なくとも１つのプロセッサに、サンプリングされた前記メッシュの前記内部に位置する前記頂点とともに、前記１セットの一意の境界頂点を三角形分割させるように構成された第２の三角形分割コードとをさらに含む、請求項１３に記載の装置。

【請求項15】

少なくとも１つのプロセッサによって実行されると、前記少なくとも１つのプロセッサに、
エンコーダからコーディングされたビデオビットストリームを受信させ、
前記コーディングされたビデオビットストリームから、ボリュームオブジェクトの表面を記述する複数のポリゴンを含むメッシュを取り出させ、
前記メッシュの１つまたは複数の頂点を三角形分割させ、前記１つまたは複数の頂点は、前記メッシュの境界上または前記メッシュの内部に位置し、
前記１つまたは複数の頂点の前記三角形分割を使用して、前記１つまたは複数の頂点間の接続性情報を推測させ、
前記接続性情報に基づいて１つまたは複数の境界ＵＶ座標を再構成させる命令を記憶する、非一時的なコンピュータ可読記憶媒体。

【請求項16】

前記メッシュの前記境界上に位置する前記１つまたは複数の頂点は、可逆的にコーディングされる、請求項１５に記載の非一時的なコンピュータ可読記憶媒体。

【請求項17】

前記メッシュの前記内部に位置する前記１つまたは複数の頂点は、サンプリングされる、請求項１５に記載の非一時的なコンピュータ可読記憶媒体。

【請求項18】

前記メッシュ内の複数のサンプリングされた近傍点の間の接続性情報を推測することをさらに含む、請求項１５に記載の非一時的なコンピュータ可読記憶媒体。

【請求項19】

前記再構成された境界ＵＶ座標は、１つまたは複数の三角形メッシュおよび１つまたは複数の四角形メッシュを生成するハイブリッドメッシュを形成する、請求項１５に記載の非一時的なコンピュータ可読記憶媒体。

【請求項20】

前記メッシュの前記境界上に位置する前記１つまたは複数の頂点は、非可逆的にコーディングされる、請求項１５に記載の非一時的なコンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は、２０２２年４月４日に出願された米国仮出願第６３／３２７，２０９号および２０２３年３月１６日に出願された米国特許出願第１８／１８５，１１７号の優先権を主張し、これらの開示はその全体が参照により本明細書に組み込まれる。

【0002】

本開示は、高度なビデオコーディング技術のセットを対象とする。より具体的には、本開示は、動的メッシュ圧縮のための境界情報を用いた三角形分割法を対象とする。

【背景技術】

【0003】

３Ｄキャプチャ、モデリング、レンダリングの進歩により、いくつかのプラットフォームおよびデバイスにわたる３Ｄコンテンツのユビキタスな存在が促進された。現在では、ある大陸で赤ちゃんの最初の一歩を撮影し、祖父母が別の大陸でその子どもを見て（そしておそらく交流し）、完全な没入体験を楽しむことができる。それにもかかわらず、そのような現実性を実現するために、モデルは、これまで以上に洗練されてきており、かなりの量のデータがそれらのモデルの作成および消費に結び付けられる。３Ｄメッシュがそのような没入型コンテンツを表現するために広く使用される。

【0004】

動的メッシュシーケンスは、これが経時的に変化するかなりの量の情報で構成されうるので、大量のデータを必要とする場合がある。したがって、そのようなコンテンツを保存し、かつ送信するために効率的な圧縮技術が必要となる。メッシュ圧縮規格ＩＣ、ＭＥＳＨＧＲＩＤ、ＦＡＭＣは、常時接続性および時変ジオメトリおよび頂点属性を有する動的メッシュに対処するためにＭＰＥＧによって以前に開発された。しかしながら、これらの規格は、時変属性マップおよび接続性情報を考慮に入れない。通常、ＤＣＣ（デジタルコンテンツ作成）ツールは、このような動的メッシュを生成する。一方、特にリアルタイム制約下で、ボリューム取得技術が一定の接続性動的メッシュを生成することは困難である。この種のコンテンツは、既存の規格ではサポートされていない。ＭＰＥＧは、時変接続性情報を有する動的メッシュを直接扱うための新たなメッシュ圧縮規格を開発することを計画しており、時変属性マップが含まれうる。この規格は、リアルタイム通信、記憶、自由視点ビデオ、ＡＲ、およびＶＲなどの様々な用途のための非可逆圧縮および可逆圧縮を対象としている。ランダムアクセスおよびスケーラブル／プログレッシブコーディングなどの機能も考慮される。

【発明の概要】

【課題を解決するための手段】

【0005】

以下は、本開示の１つまたは複数の実施形態の基本的な理解を提供するために、そのような実施形態の簡略化された概要を提示する。本概要は、すべての企図された実施形態の広範な概要ではなく、すべての実施形態の主要なまたは重要な要素を特定することも、いずれかまたはすべての実施形態の範囲を線引きすることも意図されていない。その唯一の目的は、後で提示されるより詳細な説明の前置きとして、本開示の１つまたは複数の実施形態の一部の概念を簡略化された形で提示することである。

【0006】

本開示は、動的メッシュ圧縮のための境界情報を用いた三角形分割法を提供する。

【0007】

いくつかの実施形態によれば、少なくとも１つのプロセッサによって実行される方法が提供される。この方法は、エンコーダからコーディングされたビデオビットストリームを受信するステップを含む。この方法は、コーディングされたビデオビットストリームから、ボリュームオブジェクトの表面を記述する複数のポリゴンを含むメッシュを取り出すステップをさらに含む。この方法は、メッシュの１つまたは複数の頂点を三角形分割するステップをさらに含み、１つまたは複数の頂点は、メッシュの境界上またはメッシュの内部に位置する。この方法は、１つまたは複数の頂点の三角形分割を使用して、１つまたは複数の頂点間の接続性情報を推測するステップをさらに含む。この方法は、接続性情報に基づいて１つまたは複数の境界ＵＶ座標を再構成するステップをさらに含む。

【0008】

いくつかの実施形態によれば、装置は、プログラムコードを記憶するように構成された少なくとも１つのメモリと、プログラムコードを読み取り、プログラムコードの指示に従って動作するように構成された少なくとも１つのプロセッサとを含む。プログラムコードは、少なくとも１つのプロセッサに、エンコーダからコーディングされたビデオビットストリームを受信させるように構成された受信コードを含む。プログラムコードは、少なくとも１つのプロセッサに、ボリュームオブジェクトの表面を記述する複数のポリゴンを含むメッシュを、コーディングされたビデオビットストリームから取り出させるように構成された取り出しコードをさらに含む。プログラムコードは、少なくとも１つのプロセッサに、メッシュの１つまたは複数の頂点を三角形分割させるように構成された三角形分割コードをさらに含み、１つまたは複数の頂点は、メッシュの境界上またはメッシュの内部に位置する。プログラムコードは、１つまたは複数の頂点の三角形分割を使用して、少なくとも１つのプロセッサに、１つまたは複数の頂点間の接続性情報を推測させるように構成された推測コードをさらに含む。プログラムコードは、少なくとも１つのプロセッサに、接続性情報に基づいて１つまたは複数の境界ＵＶ座標を再構成させるように構成された再構成コードをさらに含む。

【0009】

いくつかの実施形態によれば、非一時的なコンピュータ可読記憶媒体は、少なくとも１つのプロセッサによって実行されると、少なくとも１つのプロセッサに、エンコーダからコーディングされたビデオビットストリームを受信させる命令を記憶する。この命令はさらに、少なくとも１つのプロセッサに、コーディングされたビデオビットストリームから、ボリュームオブジェクトの表面を記述する複数のポリゴンを含むメッシュを取り出させる。この命令はさらに、少なくとも１つのプロセッサに、メッシュの境界上またはメッシュの内部に位置する、メッシュの１つまたは複数の頂点を三角形分割させる。この命令はさらに、少なくとも１つのプロセッサに、１つまたは複数の頂点の三角形分割を使用して、１つまたは複数の頂点間の接続性情報を推測させる。この命令はさらに、少なくとも１つのプロセッサに、接続性情報に基づいて１つまたは複数の境界ＵＶ座標を再構成させる。

【0010】

追加の実施形態は、以下の説明に記載され、部分的には、説明から明らかになり、および／または本開示の提示された実施形態の実施によって知られうる。

【0011】

開示された主題のさらなる特徴、性質、および様々な利点は、以下の詳細な説明および添付の図面からより明らかになるであろう。

【図面の簡単な説明】

【0012】

【図1】いくつかの実施形態による通信システムの簡略化されたブロック図の概略図である。

【図2】いくつかの実施形態によるストリーミングシステムの簡略化されたブロック図の概略図である。

【図3】いくつかの実施形態によるビデオエンコーダおよびデコーダの簡略化されたブロック図の概略図である。

【図4】いくつかの実施形態による、３Ｄメッシュセグメントから２Ｄチャート上へのＵＶパラメータ化マッピングのプロセスを示す図である。

【図5】いくつかの実施形態による、３Ｄメッシュセグメントが複数の別々のチャートにマッピングされる異なるＵＶパラメータ化を示す図である。

【図6】いくつかの実施形態による、複数のチャートを有する一般的な２Ｄ－ＵＶアトラスである。

【図7】いくつかの実施形態による、２Ｄチャート内の境界頂点を示す図である。

【図8】いくつかの実施形態による、可逆的な境界ＵＶ頂点および内部サンプリングされた頂点を用いた三角形分割を示す図である。

【図9】いくつかの実施形態による、デコーディングされた占有マップ上の近傍点からの接続性を示す図である。

【図10】いくつかの実施形態による、２Ｄ占有マップからの接続性再構成を示す図である。

【図11】いくつかの実施形態による、非可逆的な境界ＵＶ頂点および内部サンプリングされた頂点を用いた三角形分割を示す図である。

【図12】内部境界頂点を用いた三角形分割を示す図である。

【図13】いくつかの実施形態による、動的メッシュ圧縮のための境界情報を用いた三角形分割のためのプログラムによって実行されるステップを示す動作フローチャートである。

【図14】実施形態を実装するのに適したコンピュータシステムの図である。

【発明を実施するための形態】

【0013】

例示的な実施形態の以下の詳細な説明は、添付の図面を参照する。異なる図面における同じ参照番号は、同じまたは同様の要素を識別しうる。

【0014】

メッシュは、ボリュームオブジェクトの表面を記述するいくつかのポリゴンを含んでよい。３Ｄ空間内のその頂点および頂点がどのように接続されているかの情報は、接続性情報と呼ばれる各ポリゴンを画定することができる。色、法線などの頂点属性をメッシュ頂点に関連付けることができる。属性は、メッシュを２Ｄ属性マップでパラメータ化するマッピング情報を利用することにより、メッシュの表面にも関連付けられてよい。いくつかの実施形態では、接続性情報は、ポリゴンの３Ｄ空間内の頂点に関する情報を含んでもよく、頂点の互いに対する相対位置、および／または頂点がどのように接続されうるかを記述、指定、またはその他の方法で示してもよい。そのようなマッピングは、ＵＶ座標またはテクスチャ座標と呼ばれ、メッシュ頂点に関連するパラメトリック座標のセットを使用して定義されうる。テクスチャ、法線、変位などの高解像度属性情報を保存するために２Ｄ属性マップが使用されうる。高解像度属性情報は、テクスチャマッピングやシェーディングなどの様々な目的に使用されうる。

【0015】

上記のように、３Ｄメッシュまたは動的メッシュは、経時的に変化するかなりの量の情報からなりうるので、大量のデータを必要としうる。特に、境界情報は、メッシュ全体の重要な部分を占める。したがって、そのようなコンテンツを保存し、かつ送信するために効率的な圧縮技術が必要となる。２Ｄアトラスサンプリングベースの方法のフレームワークでは、１つの重要な手順は、デコーダ側でサンプリングされた頂点と境界頂点から接続性情報を推測することである。これは、デコーディングプロセスの主要な部分であり、本開示の焦点である。

【0016】

この開示では、動的メッシュ圧縮のためのいくつかの方法が提案される。これらの方法は、個別に適用することも、任意の組合せの形態で適用することもできる。また、この方法は、メッシュのフレームが１つだけ存在するか、またはメッシュのコンテンツが時間の経過とともに変化しない静的メッシュにも適用できる。

【0017】

提案した方法は、別々に使用されてもよく、任意の順序で組み合わされてもよい。さらに、方法（または実施形態）、エンコーダ、およびデコーダの各々は、処理回路（例えば、１つもしくは複数のプロセッサ、または１つもしくは複数の集積回路）によって実装されてもよい。一例では、１つまたは複数のプロセッサは、非一時的コンピュータ可読媒体に記憶されたプログラムを実行する。

【0018】

接続性情報は、デコーダ側の各チャートの境界頂点とサンプリングされた頂点から推測されうる。推測された三角形の方向（時計回りまたは反時計回り）は、シーケンスヘッダ、スライスヘッダなどの高レベル構文で、すべてのチャートに対して通知されうるか、またはエンコーダとデコーダによって固定され（想定され）うる。推測された三角形の方向も、チャートごとに異なる方法で通知されうる。

【0019】

再構成されたメッシュは、元のメッシュとは異なる接続性を有することができる。例えば、元のメッシュは三角形メッシュであるが、再構成されたメッシュはポリゴンメッシュ（例えば、四角形メッシュ）であってもよい。

【0020】

図１および図２を参照すると、本開示のエンコーディング構造およびデコーディング構造を実施するための本開示の一実施形態が説明される。

【0021】

図１は、本開示の一実施形態による通信システム１００の簡略ブロック図を例示している。システム１００は、ネットワーク１５０を通じて相互接続された少なくとも２つの端末１１０、１２０を含むことができる。データの単方向送信の場合、第１の端末１１０は、ネットワーク１５０を通じて他の端末１２０に送信するために、ローカルロケーションでメッシュデータを含みうるビデオデータをコーディングすることができる。第２の端末１２０は、ネットワーク１５０から他方の端末のコーディングされたビデオデータを受信し、コーディングされたデータをデコーディングし、復元されたビデオデータを表示しうる。単方向データ送信は、メディア提供用途などで一般的でありうる。

【0022】

図１は、例えばビデオ会議中に発生しうるコーディングされたビデオの双方向伝送をサポートするために設けられた端末１３０、１４０の第２のペアを例示している。データの双方向伝送の場合、各端末１３０、１４０は、ネットワーク１５０を介して他の端末に伝送するために、ローカルロケーションでキャプチャされたビデオデータをコーディングすることができる。各端末１３０、１４０はまた、他の端末によって伝送されたコーディングされたビデオデータを受信することができ、コーディングされたデータをデコーディングすることができ、復元されたビデオデータをローカル表示装置に表示することができる。

【0023】

図１では、端末１１０～１４０は、例えば、サーバ、パーソナルコンピュータ、およびスマートフォン、および／または任意の他のタイプの端末であってもよい。例えば、端末（１１０～１４０）は、ラップトップコンピュータ、タブレットコンピュータ、メディアプレーヤ、および／または専用ビデオ会議機器であってもよい。ネットワーク１５０は、例えば、有線および／またはワイヤレスの通信ネットワークを含む、端末１１０～１４０の間でコーディングされたビデオデータを伝達する任意の数のネットワークを表す。通信ネットワーク１５０は、回線交換および／またはパケット交換チャネルでデータを交換しうる。代表的なネットワークは、電気通信ネットワーク、ローカルエリアネットワーク、ワイドエリアネットワークおよび／またはインターネットを含む。本考察の目的では、ネットワーク１５０のアーキテクチャおよびトポロジーは、本明細書で以下に説明されない限り、本開示の動作にとって重要ではない場合がある。

【0024】

図２は、開示された主題の用途の一例として、ストリーミング環境でのビデオエンコーダおよびデコーダの配置を示している。開示の主題は、例えば、ビデオ会議、デジタルテレビ、ＣＤ、ＤＶＤ、メモリスティックなどを含むデジタルメディアへの圧縮ビデオの記憶などを含む他のビデオ対応用途で使用されてもよい。

【0025】

図２に示すように、ストリーミングシステム２００は、ビデオソース２０１およびエンコーダ２０３を含むキャプチャサブシステム２１３を含むことができる。ストリーミングシステム２００は、少なくとも１つのストリーミングサーバ２０５および／または少なくとも１つのストリーミングクライアント２０６をさらに含むことができる。

【0026】

ビデオソース２０１は、例えば、３Ｄメッシュおよび３Ｄメッシュと関連付けられたメタデータを含むストリーム２０２を作成しうる。ビデオソース２０１は、例えば、３Ｄセンサ（例えば、深度センサ）または３Ｄイメージング技術（例えば、（１つもしくは複数の）デジタルカメラ）と、３Ｄセンサまたは３Ｄイメージング技術から受信されたデータを使用して３Ｄメッシュを生成するように構成されたコンピューティングデバイスとを含んでもよい。サンプルストリーム２０２は、エンコーディングされたビデオビットストリームと比較して高いデータ量を有する可能性があり、ビデオソース２０１に結合されたエンコーダ２０３によって処理されうる。エンコーダ２０３は、以下でより詳細に説明されるように、開示の主題の態様を可能にするかまたは実装するために、ハードウェア、ソフトウェア、またはそれらの組合せを含んでもよい。エンコーダ２０３はまた、エンコーディングされたビデオビットストリーム２０４をさらに生成しうる。エンコーディングされたビデオビットストリーム２０４は、圧縮されていないストリーム２０２と比較して低いデータ量を有する可能性があり、後で使用するためにストリーミングサーバ２０５上に記憶されうる。１つまたは複数のストリーミングクライアント２０６は、ストリーミングサーバ２０５にアクセスして、エンコーディングされたビデオビットストリーム２０４のコピーでありうるビデオビットストリーム２０９を取り出しうる。

【0027】

ストリーミングクライアント２０６は、ビデオデコーダ２１０およびディスプレイ２１２を含みうる。ビデオデコーダ２１０は、例えば、エンコーディングされたビデオビットストリーム２０４の着信コピーである、ビデオビットストリーム２０９をデコーディングし、ディスプレイ２１２または他のレンダリングデバイス（図示せず）上にレンダリングされうる発信ビデオサンプルストリーム２１１を作成することができる。一部のストリーミングシステムでは、ビデオビットストリーム２０４、２０９は、特定のビデオコーディング／圧縮規格に従ってエンコーディングされうる。

【0028】

図３は、エンコーダおよびデコーダを使用して動的メッシュ圧縮およびメッシュ再構成するためのフレームワーク３００の例示的な図である。入力メッシュの各フレームは、トラッキング、再メッシュ化、パラメータ化、ボクセル化などの一連の操作によって前処理されうる。これらの操作は、エンコーダのみで行われる可能性があり、これは、デコーディングプロセスの一部ではあり得ないことを意味する。その後、２Ｄ ＵＶアトラスを用いてメッシュを取得でき、メッシュの各頂点には、２Ｄアトラス上の１つまたは複数の関連するＵＶ座標がある。次に、メッシュは、２Ｄアトラス上でサンプリングすることによって、占有マップ、ジオメトリマップ、および属性マップを含む複数のマップに変換されうる。次に、これらの２Ｄマップは、ＨＥＶＣ、ＶＶＣ、ＡＶ１、ＡＶＳ３などのビデオ／画像コーデックによってコーディングされうる。デコーダ側では、メッシュが、デコーディングされた２Ｄマップから再構成されうる。再構成されたメッシュには、後処理およびフィルタリングも適用されうる。他のメタデータが、３Ｄメッシュ再構成を目的としてデコーダ側にシグナリングされてもよい。占有マップは、各チャートの境界頂点がシグナリングされる場合にデコーダ側から推測されうる。

【0029】

図３に見られるように、フレームワーク３００は、エンコーダ３０１およびデコーダ３５１を含むことができる。エンコーダ３０１は、１つまたは複数の入力メッシュ３０５、ＵＶアトラスを有する１つまたは複数のメッシュ３１０、チャート境界情報３１５、ジオメトリマップ３２０、および属性マップ３２５を含むことができる。デコーダ３５１は、デコーディングされたチャート境界３３５、デコーディングされたジオメトリマップ３４０、デコーディングされた属性マップ３４５、および再構成されたメッシュ３６０を含むことができ、フィルタリングされたメッシュ３６５を含むことができる。

【0030】

本開示の一態様によれば、入力メッシュ３０５は、１つまたは複数のフレームを含むことができ、１つまたは複数のフレームはそれぞれ、一連の動作によって前処理され、ＵＶアトラスを有するメッシュ３１０を生成するために使用されうる。一例として、前処理動作は、トラッキング、パラメータ化、再メッシュ化、ボクセル化などを含みうるが、これらに限定されなくてもよい。いくつかの実施形態では、前処理動作は、エンコーダ側でのみ実行され、デコーダ側では実行されなくてもよい。

【0031】

ＵＶアトラスを有するメッシュ３１０は、２Ｄメッシュとすることができる。ＵＶアトラスを有する２Ｄメッシュは、メッシュの各頂点が２Ｄアトラス上のＵＶ座標に関連しうるメッシュとすることができる。ＵＶアトラスを有するメッシュ３１０は、サンプリングに基づいて、処理され、複数のマップに変換されうる。一例として、ＵＶアトラス３１０は、ＵＶアトラスを有する２Ｄメッシュをサンプリングすることに基づいて処理され、占有マップ、ジオメトリマップ、および属性マップに変換されうる。ジオメトリマップ３２０、および属性マップ３２５は、適切なコーデック（例えば、ＨＶＥＣ、ＶＶＣ、ＡＶ１など）を使用してエンコーディングされ、デコーダに送信されうる。いくつかの実施形態では、メタデータ（例えば、接続性情報など）もデコーダに送信されうる。

【0032】

一態様によれば、デコーダ３５１は、エンコーダからコーディングされた占有マップ、ジオメトリマップ、および属性マップを受信することができる。デコーダ３５１は、本明細書に記載の実施形態に加えて、チャート境界情報、ジオメトリマップ、および属性マップをデコーディングするために適切な技術および方法を使用することができる。一実施形態では、デコーダ３５１は、デコーディングされたチャート境界３３５、デコーディングされたジオメトリマップ３４０、およびデコーディングされた属性マップ３４５を生成してもよい。入力メッシュ３０５は、デコーディングされたチャート境界情報３３５、デコーディングされたジオメトリマップ３４０、およびデコーディングされた属性マップ３４５に基づいて、１つまたは複数の再構成フィルタおよび技術を使用して再構成されたメッシュ３６０に再構成されうる。再メッシュ化、パラメータ化、トラッキング、ボクセル化などを含むが、これらに限定されないポストフィルタリング技術が、再構成されたメッシュ３６０に適用されて、フィルタリングされたメッシュ３６５を生成することができる。

【0033】

いくつかの実施形態では、３Ｄメッシュは、いくつかのセグメント（またはパッチ／チャート）に分割することができる。各セグメントは、そのジオメトリ、属性、および接続性情報と関連付けられた接続された頂点のセットを含むことができる。図４に例示されるように、ＵＶパラメータ化プロセスは、メッシュセグメントを２Ｄ ＵＶアトラス内の２Ｄチャート上にマッピングする。メッシュセグメント内の各頂点には、２Ｄ ＵＶアトラス内の２Ｄ ＵＶ座標が割り当てられる。２Ｄチャート内の頂点は、それらの３Ｄ対応頂点として接続構成要素を形成する。各頂点のジオメトリ、属性、および接続性情報は、それらの３Ｄ対応物からも同様に継承されうる。

【0034】

３Ｄメッシュセグメントはまた、複数の別々の２Ｄチャートにもマッピングされうる。この場合、３Ｄクラウドにおける頂点は、２Ｄ ＵＶアトラスの複数の頂点に対応しうる。図５に示されるように、同じ３Ｄメッシュセグメントは、２Ｄ ＵＶアトラスにおいて、単一のチャートの代わりに２ ２Ｄチャートにマッピングされる。３Ｄ頂点ｖ_１およびｖ_４は、それぞれ２つの２Ｄ対応関係を有する。

【0035】

３Ｄメッシュの一般的な２Ｄ ＵＶアトラスは、図６に示されるように、複数のチャートで構成されてよく、各チャートは、それらの３Ｄジオメトリ、属性、および接続性情報に関連付けられた複数の（通常は３つ以上の）頂点を含んでもよい。

【0036】

境界頂点は、２Ｄ ＵＶ空間内に定義される。図７に示されるように、塗りつぶされた頂点は、接続構成要素（パッチ／チャート）の境界エッジ上にあるため、境界頂点である。境界エッジは、そのエッジが１つの三角形にのみに現れるかどうかをチェックすることによって決定されてよい。境界頂点の次の情報は重要であり、ビットストリームでシグナリングされる必要がある。
・ジオメトリ情報、つまり３Ｄ ｘｙｚ座標。
・２Ｄ ＵＶ座標。

【0037】

図５に示されるように、３Ｄの境界頂点が２Ｄ ＵＶアトラスの複数の頂点に対応する場合については、３Ｄ ＸＹＺから２Ｄ ＵＶへのマッピングは、１対複数であってもよい。したがって、ＵＶ－ｔｏ－ＸＹＺ（またはＵＶ２ＸＹＺと呼ばれる）インデックスは、マッピング関数を示すためにシグナリングされうる。ＵＶ２ＸＹＺは、各２Ｄ ＵＶ頂点を３Ｄ ｘｙｚ頂点に対応させるインデックスの１Ｄ配列である。

【0038】

境界ＵＶ座標が可逆的にコーディングされている場合、境界上に（同じＵＶ座標をもつ）重複する頂点は存在しない。次に、外部境界頂点および内部のサンプリングされた頂点を含むすべての頂点の集合に対して三角形分割法を実行することができる。図８に示されるように、Ｂ_０からＢ_７までの外部頂点（より大きなサイズで示される）は、可逆的にコーディングされた境界頂点であり、内部頂点（より小さなサイズで示される）は、サンプリングされた頂点である。

【0039】

内部頂点は、元のＵＶ空間内の外部境界頂点によって定義されるポリゴン内部の頂点である。元のＵＶ空間とは、すべての境界ＵＶ座標がサンプリングレート（サンプリングステップサイズ）によってスケーリングされ、オフセットによってシフトされた後に再構成されることを意味する。サンプリングされたすべての頂点は、サンプリング位置の規則的なグリッド上にあるが、境界頂点にはサンプリング位置に対してオフセットがある場合がある。

【0040】

いくつかの実施形態では、内部のサンプリングされた頂点は、境界エッジ上または境界頂点上にある頂点を含まない。

【0041】

頂点（境界頂点およびサンプリングされた頂点を含む）間の接続性を生成するには、任意の三角形分割法が適用されうる。ただし、境界頂点およびサンプリングされた頂点には異なる三角形分割法を使用できる。

【0042】

一実施形態では、サンプリングされた位置の４つの近傍点ごとに、占有点の数が３以上である場合、４つの点の間の三角形の接続性は、特定の規則によって推測することができる。例えば、図９に示されるように、４点のうち３点が占有されている場合、それらを直接接続して三角形を形成でき、４つの点がすべて占有されている場合、それらは２つの三角形を形成できる。異なる数の近接点に異なる規則が適用されうる。この実施形態では、再構成されたメッシュは、三角形メッシュである。

【0043】

別の実施形態では、４つの近接点がすべて占有されると、四角形メッシュが再構成される。

【0044】

第３の実施形態では、再構成されたメッシュはハイブリッド型であってもよく、例えば、メッシュフレーム内のいくつかの領域が三角形メッシュを生成し、他の領域は四角形メッシュを生成する。接続性タイプは、シーケンスヘッダやスライスヘッダなどの高レベルシンタックスでシグナリングされうる。

【0045】

いくつかの実施形態では、明示的にシグナリングすることにより、接続性情報も再構成されうる。暗黙的規則によってポリゴンが復元されることができない場合、エンコーダはビットストリーム内の接続性情報をシグナリングすることができる。ポリゴンの境界に応じてなど、明示的シグナリングのオーバーヘッドを低減するための任意の手段が使用されうる。図１０に示されるように、三角形の接続性情報は、暗黙的規則（図９に示される）と明示的なシグナリングの両方によって再構成される。

【0046】

いくつかの実施形態では、境界ＵＶ座標は、非可逆的な方法でコーディングされうる。図１１は、境界ＵＶ座標がサンプリングされた位置に存在する場合を示しており、その場合、サンプリングされた位置からのオフセットは、まったくシグナリングされない。別のケースでは、量子化後にオフセットがシグナリングされる場合があり、その場合、境界ＵＶ座標には、依然としてサンプリングされた位置からのオフセットが含まれている可能性がある。この場合は、図８に示されるケースと同様のものとなりうるが、オフセットが量子化されているため、境界ＵＶ位置は、元の位置と異なる場合がある。

【0047】

可逆的境界ＵＶの場合と同様に、非可逆的な境界ＵＶの場合でも、頂点（境界頂点とサンプリングされた頂点を含む）間の接続性を生成するために任意の三角形分割法を適用できる。境界頂点とサンプリングされた頂点に対して異なる三角形分割法を使用することもできる。

【0048】

ただし、非可逆コーディングにより、境界ＵＶ座標が重複する場合がある。このような場合、同じＵＶ座標をもついくつかの境界頂点が存在する可能性がある。この場合に対処するためにいくつかの特別な手順が適用される場合があり、そうでない場合は、三角形分割法に問題が生じる可能性がある。Ｂ_０、Ｂ_１、…Ｂ_Ｎ－１をデコーダ側から再構成された境界ＵＶ座標のセットとする。Ｎは、チャート内の境界頂点の数である。非可逆圧縮により、セット内に重複した頂点が存在する可能性がある。

【0049】

いくつかの実施形態では、重複した頂点が最初にセットから削除され、重複した頂点のインデックスが記録される。重複を削除した後の一意の境界頂点のセットをＢ_０’、Ｂ_１’、．．．Ｂ_Ｍ－１’とし、ここで、Ｍ（Ｍ≦Ｎ）は一意の境界頂点の数である。Ｉ_０、Ｉ_１、．．．、Ｉ_Ｋ－１を重複頂点のインデックスであるとし、ここで、Ｉ_ｉ∈｛０，１，．．．，Ｎ－１｝である。Ｋ＝Ｎ－Ｍは、重複の数である。次に、一意の境界頂点Ｂ_０’、Ｂ_１’、．．．Ｂ_Ｍ－１’が、内部サンプリングされた頂点とともに、三角形分割アルゴリズムに入力される。任意の三角形分割アルゴリズムが適用されうる。次に、別の方法で重複した境界頂点に対して追加の三角形を形成することができる。具体的には、重複した境界頂点ごとに、その近傍の境界頂点と重複された頂点自体に基づいて新しい三角形が構成される。

【0050】

一実施形態では、重複した頂点の各Ｉ_ｉ（ｉ＝０、１、…、Ｋ－１）について、頂点間

【数1】

で新しい三角形分割が構成される。

【0051】

別の実施形態では、重複した頂点の各Ｉ_ｉ（ｉ＝０、１、…、Ｋ－１）について、新しい三角形分割が頂点間

【数2】

で構成される。

【0052】

別の実施形態では、重複した頂点の各Ｉ_ｉ（ｉ＝０、１、…、Ｋ－１）について、新しい三角形分割が頂点間

【数3】

で構成される。

【0053】

図１１に示されるように、非可逆圧縮のため、再構成された境界頂点は、（図８に示されるような）元の境界頂点とは異なる可能性がある。テクスチャマップは、再構成された境界ＵＶ座標に合わせて更新されうる。この目的のために、様々な補間法が適用されうる。すべての三角形を元の位置から新しい位置にワープすることによって、テクスチャマップを再充填することができる。一実施形態では、少なくとも境界頂点を有する三角形にのみこの操作を適用することができる。

【0054】

図１２に示されるように、チャートには外部境界ポリゴンに穴がある場合があり、この場合、外部境界ポリゴンは、外部境界頂点（Ｂ_０、Ｂ_１、…、Ｂ_７）によって定義される。穴は、内部境界頂点（図１２のＢ_８、Ｂ_９、…Ｂ_１３）によって通知され、再構成されうる。内部境界頂点は、外部境界頂点がどのようにコーディングされるかに関係なく、可逆的または非可逆的のいずれかでコーディングされうる。図１２では、外部境界頂点は可逆的にコーディングされ、内部境界頂点は非可逆的にコーディングされる。

【0055】

デコーダ側では、任意の三角形分割法を適用できるが、内部境界頂点がポリゴンの内側に穴を生成することを目的としており、これは、穴の内側に構成された三角形は存在しないことを意味する。

【0056】

図１３は、動的メッシュ圧縮のための境界情報を用いた三角形分割法の例示的なプロセス１３００のフローチャートである。いくつかの実装形態では、図１３の１つまたは複数のプロセスブロックは、上述した要素のいずれかによって実行されうる。

【0057】

図１３に示されるように、プロセス１３００は、コーディングされたビデオビットストリームをエンコーダから受信することを含みうる（ブロック１３１０）。

【0058】

さらに図１３に示されるように、プロセス１３００は、コーディングされたビデオビットストリームからメッシュを取り出すことを含むことができる（ブロック１３２０）。

【0059】

さらに図１３に示されるように、プロセス１３００は、メッシュの１つまたは複数の頂点を三角形分割することを含むことができ、１つまたは複数の頂点は、メッシュの境界上またはメッシュの内部に位置する（ブロック１３３０）。

【0060】

さらに図１３に示されるように、プロセス１３００は、１つまたは複数の頂点の三角形分割を使用して、１つまたは複数の頂点間の接続性情報を決定することを含むことができる（ブロック１３４０）。

【0061】

さらに図１３に示されるように、プロセス１３００は、接続性情報に基づいて１つまたは複数の境界ＵＶ座標を再構成することを含むことができる（ブロック１３５０）。

【0062】

図１３はプロセス１３００のブロック例を示しているが、いくつかの実装形態では、プロセス１３００は図１３に示されているものと比較して、追加のブロックを含んでもよいし、より少数のブロックを含んでもよいし、異なるブロックを含んでもよいし、異なる配置のブロックを含んでもよい。追加的または代替的に、プロセス１３００のブロックのうちの２つ以上が並列に実行されてもよい。

【0063】

上述された技術は、コンピュータ可読命令を使用するコンピュータソフトウェアとして実装され、１つまたは複数のコンピュータ可読媒体に物理的に記憶されてもよい。例えば、図１４は、本開示の特定の実施形態を実装するために適したコンピュータシステム１４００を示している。

【0064】

コンピュータソフトウェアは、コンピュータ中央処理装置（ＣＰＵ）、グラフィックスプロセッシングユニット（ＧＰＵ）などによって直接、または解釈、マイクロコード実行などを介して実行されうる命令を含むコードを作成するためにアセンブリ、コンパイル、リンクなどのメカニズムを施されうる、任意の適切な機械コードまたはコンピュータ言語を使用してコーディングされうる。

【0065】

命令は、例えばパーソナルコンピュータ、タブレットコンピュータ、サーバ、スマートフォン、ゲーミングデバイス、およびモノのインターネットデバイスなどを含む様々なタイプのコンピュータまたはその構成要素上で実行されうる。

【0066】

コンピュータシステム１４００について図１４に示される構成要素は、例であり、本開示の実施形態を実装するコンピュータソフトウェアの使用範囲または機能に関する制限を示唆することを意図するものではない。構成要素の構成は、コンピュータシステム１４００の非限定的な実施形態に示されている構成要素のいずれか１つ、または構成要素の組合せに関して、依存性を有するものとも、要件を有するものとも解釈されてはならない。

【0067】

コンピュータシステム１４００は、特定のヒューマンインターフェース入力デバイスを含みうる。このようなヒューマンインターフェース入力デバイスは、例えば、触覚入力（キーストローク、スワイプ、データグローブの動きなど）、オーディオ入力（音声、拍手など）、視覚入力（ジェスチャなど）、嗅覚入力（図示せず）を介した、１人以上の人間ユーザによる入力に応答しうる。ヒューマンインターフェースデバイスはまた、音声（発話、音楽、周囲音など）、画像（スキャン画像、静止画像カメラから取得される写真画像など）、ビデオ（二次元ビデオ、立体ビデオを含む三次元ビデオなど）など、人間による意識的な入力に必ずしも直接関係ない特定のメディアを取り込むために使用されうる。

【0068】

入力ヒューマンインターフェースデバイスは、キーボード１４０１、マウス１４０２、トラックパッド１４０３、タッチスクリーン１４１０、データグローブ、ジョイスティック１４０５、マイク１４０６、スキャナ１４０７、カメラ１４０８のうちの１つまたは複数（それぞれの１つのみを図示）を含んでもよい。

【0069】

コンピュータシステム１４００は、特定のヒューマンインターフェース出力デバイスも含みうる。このようなヒューマンインターフェース出力デバイスは、例えば、触覚出力、音、光、および匂い／味を介して、１人以上の人間のユーザの感覚を刺激しうる。そのようなヒューマンインターフェース出力デバイスは、触覚出力デバイス（例えば、タッチスクリーン１４１０、データグローブ、またはジョイスティック１４０５による触覚フィードバックであるが、入力デバイスとして機能しない触覚フィードバックデバイスも存在しうる）を含みうる。例えば、そのようなデバイスは、音声出力デバイス（スピーカ１４０９、ヘッドホン（図示せず）など）、視覚出力デバイス（ＣＲＴスクリーン、ＬＣＤスクリーン、プラズマスクリーン、ＯＬＥＤスクリーンを含むスクリーン１４１０など、それぞれタッチスクリーン入力機能の有無にかかわらず、それぞれ触覚フィードバック機能の有無にかかわらず、そのいくつかはステレオグラフィック出力などの手段を通して、２次元視覚出力または３次元を超える出力を出力できるものもある、仮想現実メガネ（図示せず）、ホログラフィックディスプレイ、およびスモークタンク（図示せず））、およびプリンタ（図示せず）でありうる。

【0070】

コンピュータシステム１４００はまた、ＣＤ／ＤＶＤまたは同様の媒体１４２１を有するＣＤ／ＤＶＤ ＲＯＭ／ＲＷ １４２０を含む光学媒体、サムドライブ１４２２、リムーバブルハードドライブまたはソリッドステートドライブ１４２３、テープおよびフロッピーディスクなどのレガシー磁気媒体（図示せず）、セキュリティドングルなどの特殊なＲＯＭ／ＡＳＩＣ／ＰＬＤベースのデバイス（図示せず）など、人間がアクセス可能な記憶デバイスおよびそれらに関連する媒体を含みうる。

【0071】

当業者はまた、本開示の主題に関連して使用される「コンピュータ可読メディア」という用語が、伝送メディア、搬送波、または他の一時的信号を包含しないことを理解すべきである。

【0072】

コンピュータシステム１４００はまた、１つまたは複数の通信ネットワークへのインターフェースを含みうる。ネットワークは、例えば、無線、有線、光であってもよい。ネットワークはさらに、ローカル、広域、都市、車両および産業、リアルタイム、遅延耐性などであってよい。ネットワークの例には、Ｅｔｈｅｒｎｅｔなどのローカルエリアネットワーク、無線ＬＡＮ、ＧＳＭ、３Ｇ、４Ｇ、５Ｇ、ＬＴＥなどを含むセルラネットワーク、ケーブルテレビ、衛星テレビおよび地上波テレビを含むテレビの有線または無線ワイドエリアデジタルネットワーク、ＣＡＮＢｕｓを含む車両用および産業用などが含まれる。特定のネットワークは、一般に、特定の汎用データポートまたは周辺バス１４４９（例えば、コンピュータシステム１４００のＵＳＢポートなど）に接続された外部ネットワークインターフェースアダプタを必要とし、他のものは一般に、以下に記載されるようにシステムバスへの接続によってコンピュータシステム１４００のコアに統合される（例えば、ＰＣコンピュータシステムへのイーサネットインターフェースまたはスマートフォンコンピュータシステムへのセルラネットワークインターフェース）。これらのネットワークのいずれかを使用して、コンピュータシステム１４００は、他のエンティティと通信しうる。そのような通信は、単方向の受信のみ（例えば、放送ＴＶ）、単方向送信のみ（例えば、特定のＣＡＮｂｕｓデバイスへのＣＡＮｂｕｓ）、または双方向、例えばローカルエリアまたはワイドエリアデジタルネットワークを使用する他のコンピュータシステムへの通信でありうる。そのような通信は、クラウドコンピューティング環境１４５５への通信を含みうる。特定のプロトコルおよびプロトコルスタックは、上記で説明したように、それらのネットワークおよびネットワークインターフェースのそれぞれで使用されうる。

【0073】

前述のヒューマンインターフェースデバイス、人間がアクセス可能な記憶デバイス、およびネットワークインターフェース１４５４は、コンピュータシステム１４００のコア１４４０に取り付けられうる。

【0074】

コア１４４０は、１つまたは複数の中央処理装置（ＣＰＵ）１４４１、グラフィックスプロセッシングユニット（ＧＰＵ）１４４２、フィールドプログラマブルゲートエリア（ＦＰＧＡ）１４４３の形式の専用プログラマブル処理ユニット、特定のタスク用のハードウェアアクセラレータ１４４４などを含んでもよい。これらのデバイスは、読み取り専用メモリ（ＲＯＭ）１４４５、ランダムアクセスメモリ１４４６、ユーザがアクセスすることができない内部ハードドライブ、ＳＳＤなどの内部大容量ストレージ１４４７とともに、システムバス１４４８を介して接続されうる。いくつかのコンピュータシステムでは、システムバス１４４８は、追加のＣＰＵ、ＧＰＵなどによる拡張を可能にするために、１つまたは複数の物理プラグの形態でアクセス可能でありうる。周辺デバイスは、コアのシステムバス１４４８に直接取り付けられても、周辺バス１４４９を介して取り付けられてもよい。周辺バス用のアーキテクチャには、ＰＣＩ、ＵＳＢなどが含まれる。グラフィックスアダプタ１４５０は、コア１４４０に含まれてもよい。

【0075】

ＣＰＵ１４４１、ＧＰＵ１４４２、ＦＰＧＡ１４４３、およびアクセラレータ１４４４は、組み合わさって、前述のコンピュータコードを構成しうる特定の命令を実行してもよい。そのコンピュータコードは、ＲＯＭ１４４５またはＲＡＭ１４４６に記憶されてもよい。ＲＡＭ１４４６には暫定的なデータも記憶されうるが、永続データは、例えば、内部大容量ストレージ１４４７に記憶されうる。メモリデバイスのいずれかへの高速記憶および取り出しは、１つまたは複数のＣＰＵ１４４１、ＧＰＵ１４４２、大容量ストレージ１４４７、ＲＯＭ１４４５、ＲＡＭ１４４６などと密接に関連付けられうるキャッシュメモリの使用によって可能とされてもよい。

【0076】

コンピュータ可読媒体は、様々なコンピュータ実施動作を実施するためのコンピュータコードを有しうる。媒体およびコンピュータコードは、本開示の目的のために特別に設計および構成されたものであってもよいし、またはコンピュータソフトウェア技術の当業者に周知の利用可能な種類のものであってもよい。

【0077】

限定ではなく、例として、コンピュータシステム１４００のアーキテクチャを有するコンピュータシステム、特にコア１４４０は、１つまたは複数の有形のコンピュータ可読媒体で具現化されたソフトウェアを実行するプロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡ、アクセラレータなどを含む）の結果として機能を提供することができる。そのようなコンピュータ可読媒体は、上記で紹介されたようなユーザアクセス可能な大容量ストレージ、ならびにコア内部の大容量ストレージ１４４７やＲＯＭ １４４５などの非一時的な性質のものであるコア１４４０の特定のストレージと関連付けられた媒体であってもよい。本開示の様々な実施形態を実装するソフトウェアは、そのようなデバイスに記憶され、コア１４４０によって実行されてもよい。コンピュータ可読媒体は、特定のニーズに応じて、１つまたは複数のメモリデバイスまたはチップを含みうる。ソフトウェアは、コア１４４０、具体的にはその中のプロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡなどを含む）に、ＲＡＭ１４４６に記憶されたデータ構造を定義すること、およびソフトウェアによって定義されたプロセスに従ってそのようなデータ構造を修正することを含む、本明細書で説明された特定のプロセスまたは特定のプロセスの特定の部分を実行させうる。加えて、または代替として、コンピュータシステムは、ソフトウェアの代わりに、またはソフトウェアとともに本明細書で説明された特定のプロセスまたは特定のプロセスの特定の部分を実行するように動作しうる回路（例えば、アクセラレータ１４４４）に配線されるかまたは他の方法で具体化されたロジックの結果として機能を提供してもよい。ソフトウェアへの参照は、ロジックを包含してもよく、適宜その逆も同様である。コンピュータ可読媒体への言及は、実行のためのソフトウェアを記憶する回路（集積回路（ＩＣ）など）、実行のためのロジックを具体化する回路、またはこれらの両方を包含しうる。本開示は、ハードウェアとソフトウェアの任意の適切な組合せを包含する。

【0078】

本開示は、いくつかの非限定的な実施形態を説明しているが、本開示の範囲内にある変更、順列、および様々な代替的な同等物が存在する。したがって、当業者は、本明細書に明示的に示されていないかまたは記載されていないが、本開示の原理を具現化し、したがって本開示の趣旨および範囲内にある多数のシステムおよび方法を考案することができることが理解されよう。

【符号の説明】

【0079】

１００ 通信システム
１５０ 通信ネットワーク
２００ ストリーミングシステム
２０１ ビデオソース
２０２ サンプルストリーム
２０３ エンコーダ
２０４ ビデオビットストリーム
２０５ ストリーミングサーバ
２０６ ストリーミングクライアント
２０９ ビデオビットストリーム
２１０ ビデオデコーダ
２１１ 発信ビデオサンプルストリーム
２１２ ディスプレイ
２１３ キャプチャサブシステム
３００ フレームワーク
３０１ エンコーダ
３０５ 入力メッシュ
３１０ メッシュ
３１５ チャート境界情報
３２０ ジオメトリマップ
３２５ 属性マップ
３３５ チャート境界
３４０ ジオメトリマップ
３４５ 属性マップ
３５１ デコーダ
３６０ メッシュ
３６５ メッシュ
１３００ プロセス
１４００ コンピュータシステム
１４０１ キーボード
１４０２ マウス
１４０３ トラックパッド
１４０５ ジョイスティック
１４０６ マイク
１４０７ スキャナ
１４０８ カメラ
１４０９ スピーカ
１４１０ スクリーン
１４２１ 媒体
１４２２ サムドライブ
１４２３ ソリッドステートドライブ
１４４０ コア
１４４１ 中央処理装置（ＣＰＵ）
１４４２ グラフィックスプロセッシングユニット（ＧＰＵ）
１４４３ フィールドプログラマブルゲートエリア（ＦＰＧＡ）
１４４４ ハードウェアアクセラレータ
１４４５ 読み取り専用メモリ（ＲＯＭ）
１４４６ ランダムアクセスメモリ
１４４７ 大容量ストレージ
１４４８ システムバス
１４４９ 周辺バス
１４５０ グラフィックスアダプタ
１４５４ ネットワークインターフェース
１４５５ クラウドコンピューティング環境

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【手続補正書】

【提出日】2024-03-07

【手続補正2】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

デコーダ内の少なくとも１つのプロセッサによって実行される方法であって、前記方法は、
エンコーダからコーディングされたビデオビットストリームを受信するステップと、
前記コーディングされたビデオビットストリームから、ボリュームオブジェクトの表面を記述する複数のポリゴンを含むメッシュを取り出すステップと、
前記メッシュの１つまたは複数の頂点を三角形分割するステップであって、前記１つまたは複数の頂点は、前記メッシュの境界上または前記メッシュの内部に位置する、ステップと、
前記１つまたは複数の頂点の前記三角形分割を使用して、前記１つまたは複数の頂点間の接続性情報を推測するステップと、
前記接続性情報に基づいて１つまたは複数の境界ＵＶ座標を再構成するステップとを含む、方法。

【請求項2】

前記メッシュの前記境界上に位置する前記１つまたは複数の頂点は、可逆的にコーディングされる、請求項１に記載の方法。

【請求項3】

前記メッシュの前記内部に位置する前記１つまたは複数の頂点は、サンプリングされる、請求項１に記載の方法。

【請求項4】

前記メッシュ内の複数のサンプリングされた近傍点の間の接続性情報を推測するステップをさらに含む、請求項１に記載の方法。

【請求項5】

前記再構成された境界ＵＶ座標は、１つまたは複数の三角形メッシュおよび１つまたは複数の四角形メッシュを生成するハイブリッドメッシュを形成する、請求項１に記載の方法。

【請求項6】

前記メッシュの前記境界上に位置する前記１つまたは複数の頂点は、非可逆的にコーディングされる、請求項１に記載の方法。

【請求項7】

１つまたは複数の重複した頂点をセットから除去して１セットの一意の境界頂点を生成するステップと、
前記１つまたは複数の重複した頂点の１つまたは複数のインデックスを記録するステップと、
サンプリングされた前記メッシュの前記内部に位置する前記頂点とともに、前記１セットの一意の境界頂点を三角形分割するステップと
をさらに含む、請求項６に記載の方法。

【請求項8】

請求項１から７のいずれか一項に記載の方法を実行するように構成された、装置。

【請求項9】

少なくとも１つのプロセッサによって実行されると、前記少なくとも１つのプロセッサに、請求項１から７のいずれか一項に記載の方法を実行させる命令を備える、コンピュータプログラム。

【国際調査報告】