特表2024-539001 | 知財ポータル「IP Force」

知財求人 - 知財ポータルサイト「IP Force」

青山学院大学 (神奈川県相模原市中央区淵野辺)

▶ テンセント・アメリカ・エルエルシーの特許一覧

特表2024-539001一般的トポロジーのチャートを用いたアトラスサンプリングに基づくメッシュ圧縮

書誌要約請求の範囲詳細な説明課題実施例実施するための形態図面の説明

目に優しい文字サイズ小中大 PDF Top

< >

1
2
3
4
5
6
7A
7B
7C
8
9
10

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-10-28

(54)【発明の名称】一般的トポロジーのチャートを用いたアトラスサンプリングに基づくメッシュ圧縮

(51)【国際特許分類】

G06T 9/00 20060101AFI20241018BHJP

H04N 19/597 20140101ALI20241018BHJP

H04N 19/85 20140101ALI20241018BHJP

【ＦＩ】

G06T9/00 100

H04N19/597

H04N19/85

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024522106

(86)(22)【出願日】2023-03-15

(85)【翻訳文提出日】2024-04-11

(86)【国際出願番号】 US2023015304

(87)【国際公開番号】W WO2023192027

(87)【国際公開日】2023-10-05

(31)【優先権主張番号】63/326,182

(32)【優先日】2022-03-31

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】18/121,334

(32)【優先日】2023-03-14

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】520353802

【氏名又は名称】テンセント・アメリカ・エルエルシー

(74)【代理人】

【識別番号】100110364

【弁理士】

【氏名又は名称】実広信哉

(74)【代理人】

【識別番号】100150197

【弁理士】

【氏名又は名称】松尾直樹

(72)【発明者】

【氏名】チャオ・フアン

(72)【発明者】

【氏名】シャオジョン・シュ

(72)【発明者】

【氏名】シアン・ジャン

(72)【発明者】

【氏名】ジュン・ティアン

(72)【発明者】

【氏名】シャン・リュウ

【テーマコード（参考）】

5C159

【Ｆターム（参考）】

5C159LC01

5C159PP03

5C159PP13

5C159PP16

5C159UA02

5C159UA04

(57)【要約】

アトラスサンプリングベースの動的メッシュ圧縮のための方法、装置、およびシステムが提供される。プロセスは、オブジェクトの表面を表す多角形を有するメッシュフレームを受信するステップ、メッシュフレーム内の1つまたは複数の特異点構成要素に応答して、前記メッシュフレームが不規則なUVチャートに関連付けられていると決定するステップ、UVチャート内の1つまたは複数の境界ループを識別するためにUVチャートに対して境界検出を実行するステップ、および識別された1つまたは複数の境界ループの情報をビットストリームに圧縮するステップを含み得る。

【特許請求の範囲】

【請求項1】

少なくとも1つのプロセッサによって実行される、アトラスサンプリングベースの動的メッシュ圧縮のための方法であって、
オブジェクトの表面を表す多角形を有するメッシュフレームを受信するステップと、
前記メッシュフレーム内の1つまたは複数の特異点構成要素に応答して、前記メッシュフレームが不規則なUVチャートに関連付けられていると決定するステップと、
前記UVチャート内の1つまたは複数の境界ループを識別するために前記UVチャートに対して境界検出を実行するステップと、
前記識別された1つまたは複数の境界ループの情報をビットストリームに圧縮するステップと
を含む方法。

【請求項2】

前記UVチャートが非マニホールドおよび非単純接続の少なくとも一方である場合、UVチャートが不規則である、請求項1に記載の方法。

【請求項3】

前記メッシュフレームが1つまたは複数の領域に分割され、前記1つまたは複数の領域の各々が前記領域に対してそれぞれのサンプリングレートを有する、請求項1に記載の方法。

【請求項4】

前記1つまたは複数の領域の前記サンプリングレートが、前記ビットストリーム内の高レベルシンタックスで信号伝達される、請求項3に記載の方法。

【請求項5】

前記メッシュフレームが少なくとも1つの非マニホールド頂点を有するとき、前記メッシュフレームが不規則なUVチャートに関連付けられていると決定される、請求項1に記載の方法。

【請求項6】

前記メッシュフレーム内の頂点が、前記頂点が3つ以上の入射境界エッジを有するときに非マニホールドである、請求項5に記載の方法。

【請求項7】

前記UVチャート内の1つまたは複数の境界ループを識別するために前記UVチャートに対して境界検出を実行する前記ステップが、
前記UVチャートのオイラー特性を決定するステップと、
前記UVチャートの前記決定されたオイラー特性に基づいて、前記UVチャート内の前記1つまたは複数の境界ループを識別するステップと
をさらに含む、請求項1に記載の方法。

【請求項8】

前記識別された1つまたは複数の境界ループの情報をビットストリームに圧縮する前記ステップが、
前記ビットストリーム内の前記識別された1つまたは複数の境界ループの数を信号伝達するステップと、
前記ビットストリーム内の境界マップの各々の頂点のUV座標および対応する3D座標を信号伝達するステップと
をさらに含む、請求項1に記載の方法。

【請求項9】

コンピューティングデバイスであって、
プログラムコードを記憶するように構成された少なくとも1つのメモリと、
前記プログラムコードを実行して、アトラスサンプリングベースの動的メッシュ圧縮のための方法を実行するように構成された少なくとも1つのプロセッサであって、前記方法は、
オブジェクトの表面を表す多角形を有するメッシュフレームを受信するステップと、
前記メッシュフレーム内の1つまたは複数の特異点構成要素に応答して、前記メッシュフレームが不規則なUVチャートに関連付けられていると決定するステップと、
前記UVチャート内の1つまたは複数の境界ループを識別するために前記UVチャートに対して境界検出を実行するステップと、
前記識別された1つまたは複数の境界ループの情報をビットストリームに圧縮するステップと
を含む、プロセッサと
を備える、コンピューティングデバイス。

【請求項10】

前記UVチャートが非マニホールドおよび非単純接続の少なくとも一方である場合、UVチャートが不規則である、請求項9に記載のコンピューティングデバイス。

【請求項11】

前記メッシュフレームが1つまたは複数の領域に分割され、前記1つまたは複数の領域の各々が前記領域に対してそれぞれのサンプリングレートを有する、請求項9に記載のコンピューティングデバイス。

【請求項12】

前記1つまたは複数の領域の前記サンプリングレートが、前記ビットストリーム内の高レベルシンタックスで信号伝達される、請求項11に記載のコンピューティングデバイス。

【請求項13】

前記メッシュフレームが少なくとも1つの非マニホールド頂点を有するとき、前記メッシュフレームが不規則なUVチャートに関連付けられていると決定される、請求項9に記載のコンピューティングデバイス。

【請求項14】

前記メッシュフレーム内の頂点が、前記頂点が3つ以上の入射境界エッジを有するときに非マニホールドである、請求項13に記載のコンピューティングデバイス。

【請求項15】

【請求項16】

【請求項17】

コンピューティングデバイスの1つまたは複数のプロセッサによって実行されると、前記コンピューティングデバイスに、アトラスサンプリングベースの動的メッシュ圧縮のための方法を実行させる命令を記憶する非一時的コンピュータ可読媒体であって、前記方法は、
オブジェクトの表面を表す多角形を有するメッシュフレームを受信するステップと、
前記メッシュフレーム内の1つまたは複数の特異点構成要素に応答して、前記メッシュフレームが不規則なUVチャートに関連付けられていると決定するステップと、
前記UVチャート内の1つまたは複数の境界ループを識別するために前記UVチャートに対して境界検出を実行するステップと、
前記識別された1つまたは複数の境界ループの情報をビットストリームに圧縮するステップと
を含む、非一時的コンピュータ可読媒体。

【請求項18】

前記UVチャートが非マニホールドおよび非単純接続の少なくとも一方である場合、UVチャートが不規則である、請求項17に記載の非一時的コンピュータ可読媒体。

【請求項19】

前記メッシュフレームが少なくとも1つの非マニホールド頂点を有するとき、前記メッシュフレームが不規則なUVチャートに関連付けられていると決定される、請求項17に記載の非一時的コンピュータ可読媒体。

【請求項20】

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は、2022年3月31日に出願された「Atlas Sampling Based Mesh Compression with Charts of General Topology」と題する米国仮出願第63／326，182号の優先権を主張し、2023年3月14日に出願された「Atlas Sampling Based Mesh Compression with Charts of General Topology」と題する米国特許出願第18／121，334号の継続であり、その優先権を主張し、その全体が参照により本明細書に組み込まれる。

【0002】

本開示は、高度なビデオコーディング技術のセットに関する。より詳細には、本開示は、ビデオベースの動的メッシュ圧縮（dynamic mesh compression）に関する。

【背景技術】

【0003】

世界の高度な3次元（3D）表現により、さらに没入型の相互作用および通信が可能になっている。3D表現の臨場感を実現するために、3Dモデルは、これまで以上に洗練されてきており、かなりの量のデータがこれらの3Dモデルの作成および消費に結び付けられる。3Dメッシュが3Dモデル没入型コンテンツに広く使用される。

【0004】

3Dメッシュは、ボリュームオブジェクトの表面を記述するいくつかの多角形から構成され得る。動的メッシュシーケンスは、これが経時的に変化するかなりの量の情報を有し得るので、大量のデータを必要とする場合がある。したがって、そのようなコンテンツを保存し、かつ送信するために効率的な圧縮技術が必要となる。

【0005】

メッシュ圧縮規格IC、MESHGRID、FAMCは、常時接続性および時変ジオメトリおよび頂点属性を有する動的メッシュに対処するために以前に開発された。しかしながら、これらの規格は、時変属性マップおよび接続性情報を考慮していない。

【0006】

さらに、特にリアルタイム制約下で、ボリューム取得技術が一定の接続性動的メッシュを生成することも困難である。このタイプの動的メッシュコンテンツは、既存の規格によってサポートされていない。

【発明の概要】

【課題を解決するための手段】

【0007】

諸実施形態によれば、サンプリングベースの動的メッシュ圧縮の方法が提供され得る。本方法は、少なくとも1つのプロセッサによって実行されてもよく、1つまたは複数のサンプリングレートに基づいて入力メッシュに関連する1つまたは複数のサンプル位置を決定するステップと、1つまたは複数のサンプル位置のそれぞれにそれぞれ関連する占有状況を決定するステップであって、占有状況は、1つまたは複数のサンプル位置のそれぞれが入力メッシュによって画定された1つまたは複数の多角形の境界内にあるかどうかを示す、ステップと、1つまたは複数のサンプル位置のそれぞれにそれぞれ関連する占有状況に基づいてサンプルベースの占有マップを生成するステップと、ビデオコーデックを使用してサンプルベースの占有マップを複数の単一チャネルまたは多チャネル画像に圧縮するステップと、を含むことができる。

【0008】

諸実施形態によれば、サンプリングベースの動的メッシュ圧縮のための装置が提供され得る。本デバイスは、プログラムコードを記憶するように構成された少なくとも1つのメモリと、プログラムコードを読み出し、プログラムコードによって命令されるように動作するように構成された少なくとも1つのプロセッサと、を含むことができる。本プログラムコードは、少なくとも1つのプロセッサに、1つまたは複数のサンプリングレートに基づいて入力メッシュに関連する1つまたは複数のサンプル位置を決定させるように構成された第1の決定コードと、少なくとも1つのプロセッサに、1つまたは複数のサンプル位置のそれぞれにそれぞれ関連する占有状況を決定させるように構成された第2の決定コードであって、占有状況が、1つまたは複数のサンプル位置のそれぞれが入力メッシュによって画定された1つまたは複数の多角形の境界内にあるかどうかを示す、第2の決定コードと、少なくとも1つのプロセッサに、1つまたは複数のサンプル位置のそれぞれにそれぞれ関連する占有状況に基づいてサンプルベースの占有マップを生成させるように構成された第1の生成コードと、少なくとも1つのプロセッサに、ビデオコーデックを使用してサンプルベースの占有マップを複数の単一チャネル画像または多チャネル画像に圧縮させるように構成された圧縮コードと、を含むことができる。

【0009】

諸実施形態によれば、コンピュータ命令を記憶する非一時的コンピュータ可読媒体が提供され得る。本命令は、サンプリングベースの動的メッシュ圧縮のためのデバイスの1つまたは複数のプロセッサによって実行されるときに、1つまたは複数のプロセッサに、1つまたは複数のサンプリングレートに基づいて入力メッシュに関連する1つまたは複数のサンプル位置を決定させ、1つまたは複数のサンプル位置のそれぞれにそれぞれ関連する占有状況を決定させ、占有状況は、1つまたは複数のサンプル位置のそれぞれが入力メッシュによって画定された1つまたは複数の多角形の境界内にあるかどうかを示し、1つまたは複数のサンプル位置のそれぞれにそれぞれ関連する占有状況に基づいてサンプルベースの占有マップを生成させ、ビデオコーデックを使用してサンプルベースの占有マップを複数の単一チャネルまたは多チャネル画像に圧縮させる1つまたは複数の命令を含むことができる。

【0010】

開示された主題のさらなる特徴、性質、および様々な利点は、以下の詳細な説明および添付の図面からより明らかなるであろう。

【図面の簡単な説明】

【0011】

【図1】本開示の実施形態による、通信システムの簡略化されたブロック図の概略図である。

【図2】本開示の実施形態による、ストリーミングシステムの簡略化されたブロック図の概略図である。

【図3】本開示の実施形態による、ビデオエンコーダおよびデコーダの簡略化されたブロック図の概略図である。

【図4】本開示の実施形態による、メッシュの2Dアトラスサンプリングの例示的な図である。

【図5】本開示の実施形態による、メッシュにおける接続性の例示的な図である。

【図6】本開示の実施形態による、再構成されたメッシュの例示的な図である。

【図7A】本開示の実施形態による、2Dの単純に接続されたマニホールドチャートを示す図である。

【図7B】本開示の実施形態による、2Dの単純に接続された非マニホールドチャートを示す図である。

【図7C】本開示の実施形態による、2Dの非単純に接続された非マニホールドチャートを示す図である。

【図8】本開示の実施形態による、アトラスサンプリングを使用した圧縮を示す流れ図である。

【図9】本開示の実施形態による、メッシュ再構成を示す流れ図である。

【図10】本開示の実施形態を実装するのに適したコンピュータシステムのブロック図である。

【発明を実施するための形態】

【0012】

メッシュは、ボリュームオブジェクトの表面を記述するいくつかの多角形から構成され得る。3D空間内のその頂点および頂点がどのように接続されているかの情報は、接続性情報と呼ばれる各多角形を画定することができる。いくつかの実施形態では、色、法線などの頂点属性をメッシュ頂点に関連付けることができる。属性は、メッシュを2D属性マップでパラメータ化するマッピング情報を利用することにより、メッシュの表面にも関連付けられてよい。そのようなマッピングは、UV座標またはテクスチャ座標と呼ばれ、メッシュ頂点に関連するパラメトリック座標のセットを使用して定義され得る。テクスチャ、法線、変位などの高解像度属性情報を保存するために2D属性マップが使用され得る。高解像度属性情報は、テクスチャマッピングやシェーディングなどの様々な目的に使用され得る。

【0013】

上記のように、3Dメッシュまたは動的メッシュは、これが経時的に変化するかなりの量の情報からなり得るので、大量のデータを必要とする場合がある。既存の規格は、時変属性マップおよび接続性情報を考慮していない。既存の規格はまた、特にリアルタイム条件下で、常時接続性動的メッシュを生成するボリューム取得技術をサポートしていない。

【0014】

したがって、時変接続性情報および場合によっては時変属性マップを有する動的メッシュを直接処理するための新たなメッシュ圧縮規格が必要とされる。本開示の諸実施形態は、一般的なトポロジーでそのような動的メッシュを保存および送信するための効率的な圧縮技術を可能にする。本開示の実施形態は、リアルタイム通信、記憶、自由視点ビデオ、ARおよびVRなどの様々な用途のための不可逆圧縮および／または可逆圧縮を可能にする。

【0015】

本開示の一態様によれば、動的メッシュ圧縮のための方法、システム、および非一時的記憶媒体が提供される。本開示の実施形態はまた、メッシュの1つのフレームまたはメッシュコンテンツのみが経時的に変化しない静的メッシュにも適用され得る。

【0016】

図1および図2を参照すると、本開示の符号化構造および復号化構造を実施するための本開示の一実施形態が説明される。

【0017】

図1は、本開示の一実施形態による通信システム100の簡略化されたブロック図を示している。通信システム100は、ネットワーク150を介して相互接続された少なくとも2つの端末110、120を含み得る。データの単方向送信の場合、第1の端末110は、ネットワーク150を通じて他の端末120に送信するために、ローカルロケーションでメッシュデータを含み得るビデオデータをコード化することができる。第2の端末120は、ネットワーク150から他方の端末のコード化されたビデオデータを受信し、コード化データを復号し、復元されたビデオデータを表示し得る。単方向データ送信は、媒体提供用途などで一般的であり得る。

【0018】

図1は、例えばビデオ会議中に発生し得るコード化されたビデオの双方向伝送をサポートするために設けられた端末130、140の第2の対を示している。データの双方向伝送の場合、各端末130、140は、ネットワーク150を介して他の端末に伝送するために、ローカルロケーションでキャプチャされたビデオデータをコード化することができる。各端末130、140はまた、他の端末によって伝送されたコード化されたビデオデータを受信することができ、コード化されたデータを復号することができ、復元されたビデオデータをローカル表示デバイスに表示することができる。

【0019】

図1では、端末110～140は、関連するアプリケーションをサポートするために、例えば、サーバ、パーソナルコンピュータ、およびスマートフォン、スマートTV、ならびに／またはビデオコーデックおよびネットワーク伝送ソフトウェアなどを伴う任意の他のタイプの端末であってもよい。ネットワーク150は、例えば、有線および／またはワイヤレスの通信ネットワークを含む、端末110～140の間でコード化されたビデオデータを伝達する任意の数のネットワークを表す。通信ネットワーク150は、回線交換および／またはパケット交換チャネルでデータを交換し得る。代表的なネットワークは、電気通信ネットワーク、ローカルエリアネットワーク、ワイドエリアネットワークおよび／またはインターネットを含む。本解説の目的のために、ネットワーク150のアーキテクチャおよびトポロジーは、本明細書で以下に説明されない限り、本開示の動作にとって重要ではない場合がある。

【0020】

図2は、開示された主題の用途の一例として、ストリーミング環境でのビデオエンコーダおよびデコーダの配置を示している。開示された主題は、例えば、ビデオ会議、デジタルTV、CD、DVD、メモリスティックなどを含むデジタル媒体への圧縮ビデオの記憶を含む、他のビデオ対応アプリケーションで使用され得る。

【0021】

図2に示すように、ストリーミングシステム200は、ビデオソース201およびエンコーダ203を含むキャプチャサブシステム213を含み得る。ストリーミングシステム200は、少なくとも1つのストリーミングサーバ205および／または少なくとも1つのストリーミングクライアント206をさらに含み得る。

【0022】

ビデオソース201は、例えば、3Dメッシュおよび3Dメッシュに関連するメタデータを含むストリーム202を作成することができる。ビデオソース201は、例えば、3Dセンサ（例えば、深度センサ）または3D撮像技術（例えば、デジタルカメラ（複数可））と、3Dセンサから受信されたデータまたは3D撮像技術を使用して3Dメッシュを生成するように構成されたコンピューティングデバイスと、を含むことができる。符号化されたビデオビットストリームと比較してデータ量が大きくてもよいサンプルストリーム202は、ビデオソース201に接続されたエンコーダ203によって処理され得る。以下で詳細に説明するように、エンコーダ203は、開示の主題の態様を可能にする、または実施するために、ハードウェア、ソフトウェア、またはこれらの組み合わせを含み得る。エンコーダ203はまた、符号化されたビデオビットストリーム204を生成し得る。符号化されたビデオビットストリーム204は、圧縮されていないストリーム202と比較して、より少ないデータ量を有してよく、将来の使用のために、ストリーミングサーバ205に記憶され得る。1つまたは複数のストリーミングクライアント206は、ストリーミングサーバ205にアクセスして、符号化されたビデオビットストリーム204のコピーであり得るビデオビットストリーム209を取得することができる。

【0023】

ストリーミングクライアント206は、ビデオデコーダ210およびディスプレイ212を含み得る。ビデオデコーダ210は、例えば、符号化されたビデオビットストリーム204の入力されるコピーであるビデオビットストリーム209を復号し、ディスプレイ212または別のレンダリングデバイス（図示せず）上にレンダリングすることができる出力されるビデオサンプルストリーム211を生成することができる。いくつかのストリーミングシステムでは、ビデオビットストリーム204、209は、特定のビデオコード化／圧縮規格に従って符号化され得る。

【0024】

図3は、エンコーダおよびデコーダを使用して動的メッシュ圧縮およびメッシュ再構成するためのフレームワーク300の例示的な図である。

【0025】

図3に示されるように、フレームワーク300は、エンコーダ301およびデコーダ351を含むことができる。エンコーダ301は、UVアトラスを伴うメッシュ310に変換される入力メッシュ305を含み得、次いで、UVアトラスを伴うメッシュ310は、占有マップ315、ジオメトリマップ320、属性マップ325、およびメタデータ330に変換される。デコーダ351は、復号された占有マップ335、復号されたジオメトリマップ340、復号された属性マップ345、復号されたメタデータ350、および再構成されたメッシュ360を含むことができる。

【0026】

本開示の一態様によれば、入力メッシュ305は、1つまたは複数のフレームを含むことができ、1つまたは複数のフレームはそれぞれ、一連の動作によって前処理され、UVアトラスを伴うメッシュ310を生成するために使用され得る。一例として、前処理動作は、トラッキング、パラメータ化、再メッシュ化、ボクセル化などを含み得るが、これらに限定されなくてもよい。いくつかの実施形態では、前処理動作は、エンコーダ側でのみ実行され、デコーダ側では実行されなくてもよい。

【0027】

UVアトラスを伴うメッシュ310は、2Dメッシュとし得る。UVアトラスを伴う2Dメッシュは、メッシュの各頂点が2Dアトラス上のUV座標と関連付けられ得るメッシュであり得る。UVアトラスを伴うメッシュ310は、サンプリングに基づいて処理され、複数のマップに変換され得る。一例として、UVアトラス310は、UVアトラスを伴う2Dメッシュをサンプリングすることに基づいて処理され、占有マップ、ジオメトリマップ、および属性マップに変換され得る。生成された占有マップ335、ジオメトリマップ340、および属性マップ345は、適切なコーデック（例えば、HVEC、VVC、AV1など）を使用して符号化され、ネットワークを介してデコーダに送信され得る。いくつかの実施形態では、メタデータ（例えば、接続性情報など）もデコーダに送信され得る。

【0028】

一態様によれば、デコーダ351は、エンコーダから符号化された占有マップ、ジオメトリマップ、および属性マップを受信することができる。デコーダ315は、本明細書に記載の実施形態に加えて、占有マップ、ジオメトリマップ、および属性マップを復号するために適切な技法および方法を使用することができる。一実施形態では、デコーダ351は、復号された占有マップ335、復号されたジオメトリマップ340、復号された属性マップ345、および復号されたメタデータ350を生成してもよい。入力メッシュ305は、復号された占有マップ335、復号されたジオメトリマップ340、復号された属性マップ345、および復号されたメタデータ350に基づいて、1つまたは複数の再構成フィルタおよび技術を使用して再構成されたメッシュ360に再構成され得る。いくつかの実施形態では、メタデータ330はデコーダ351に直接伝送されてもよく、デコーダ351は、復号された占有マップ335、復号されたジオメトリマップ340、および復号された属性マップ345に基づいて、再構成されたメッシュ360を生成するために、メタデータを使用することができる。再メッシュ化、パラメータ化、トラッキング、ボクセル化などを含むが、これらに限定されないポストフィルタリング技法が、再構成されたメッシュ360に適用されてもよい。

【0029】

2D UVアトラスを伴う入力メッシュは頂点を有し得、各頂点は、2Dアトラス上の関連するUV座標のセットを有し得る。占有マップ、ジオメトリマップ、および属性マップは、UVアトラス上の1つまたは複数の点／位置をサンプリングすることによって生成され得る。各サンプル位置は、その位置がメッシュ頂点によって定義された多角形の内側にある場合、占有される場合も占有されない場合もある。各占有サンプル位置について、関連する多角形頂点のセットから補間することによって、その対応する3Dジオメトリ座標および属性を計算することができる。

【0030】

本開示の一態様によれば、サンプリングレートは、2Dアトラス全体にわたって一貫していてもよい。いくつかの実施形態では、u軸およびv軸のサンプリングレートは異なっていてもよく、異方性再メッシュ化を可能にする。いくつかの実施形態では、2Dアトラス全体は、スライスやタイルなどの複数の領域に分割されてもよく、そのような各領域は異なるサンプリングレートを有することができる。

【0031】

本開示の一態様によれば、各領域（または2Dアトラス全体）のサンプリングレートは、以下に限定されるものではないが、シーケンスヘッダ、フレームヘッダ、スライスヘッダなどを含む高レベルシンタックスで信号伝達され得る。いくつかの実施形態では、各領域（または2Dアトラス全体）のサンプリングレートは、エンコーダとデコーダの両方によって仮定されている予め確立されたレートのセットから選択され得る。エンコーダとデコーダの両方によって知られている予め確立されたレートのセットのため、1つの特定のサンプリングレートの信号伝達は、予め確立されたレートセット内のインデックスを信号で送ることのみを必要とする。そのような予め確立されたセットの例が、2画素ごと、4画素ごと、8画素ごとなどであり得る。いくつかの実施形態では、メッシュフレームの各領域（または2Dアトラス全体）のサンプリングレートは、予め確立されたレートセットから、同じフレームの他の既にコード化された領域内での以前に使用されたサンプリングレートから、または他の既にコード化されたメッシュフレーム内での以前に使用されたサンプリングレートから予測され得る。

【0032】

いくつかの実施形態では、各領域（または2Dアトラス全体）のサンプリングレートは、各領域（または2Dアトラス全体）の何らかの特性に基づくことができる。一例として、サンプルレートはアクティビティに基づくことができ、リッチテクスチャード領域（または2Dアトラス全体）、あるいは高アクティビティの領域（または2Dアトラス全体）の場合、サンプルレートは高く設定することができる。別の例として、滑らかな領域（または2Dアトラス全体）、または低アクティビティの領域（または2Dアトラス全体の場合、サンプルレートは低く設定することができる。

【0033】

いくつかの実施形態では、メッシュフレームの各領域（または2Dアトラス全体）のサンプリングレートは、予測と直接信号伝達とを組み合わせることが可能にされ得るような方法で信号伝達され得る。シンタックスは、サンプリングレートが予測されるか直接信号で伝達されるかを指示するように構成され得る。予測される場合、どの予測子サンプリングレートが使用されるべきかがさらに信号で伝達されてよい。直接信号で送られる場合、レートの値を表すべきシンタックスは信号で伝達されてよい。

【0034】

図4は、本開示の実施形態による、三角形メッシュ400の2Dアトラスサンプリングの例示的な図である。

【0035】

図4に示されるように、三角形メッシュ400は、複数の位置および頂点を有し、各整数画素は単に円として表される。他の表現形態が使用されてもよい。

【0036】

V₁、V₂、．．．、V_Dをメッシュ上の多角形の頂点とすると、Dは各多角形の形状を定義する。三角形メッシュの場合、Dは3に等しい、すなわち、各三角形は3つの頂点を有する。一般性を失うことなく、本開示の残りの部分では、メッシュは三角形メッシュから構成される、すなわちD＝3と仮定する。

【0037】

各頂点V_iについて、その頂点のUV座標は（u_i，v_i）で表され、その頂点の3D位置は（x_i，y_i，z_i）で表され、その頂点の他の属性（色および法線など）はa_iで表され得る。頂点のUV座標、すなわち（u_i，v_i）は、整数位置または小数位置にあってもよい。入力メッシュの2D UVアトラスは、W×Hのサイズであってもよく、Aは、座標（u_A，v_A）を有する2D UVアトラス上のサンプル点であってもよい。Aがその3つの頂点V₁、V₂、V₃のUV座標（u_i，v_i）によって定義される2D UVアトラスの三角形の内側にある場合、Aは、占有されているとマークを付けることができ、そうでなければ、占有されていないとマークを付けることができる。

【0038】

本開示の一態様によれば、占有マップが、2D UVアトラス（時にはメッシュ）をサンプリングすることに基づいて生成され得る。占有マップ上の点および／または位置の接続性は、（例えば、メタデータを使用して、またはSPSやPPSなどで）信号伝達され得るか、またはデコーダによって推測され得る。接続性の向き（時計回りまたは反時計回り）は、シーケンスヘッダやスライスヘッダなどの高レベルシンタックスで信号伝達されるか、エンコーダおよびデコーダによって固定（想定）されるかのどちらかでよい。

【0039】

一実施形態では、1チャネルバイナリ占有マップが、2Dマップ上のすべてのサンプリング点をスキャンすることによって生成され得る。1チャネルバイナリ占有マップ上の各点は、サンプル点が任意の三角形（またはメッシュ多角形の他の形状）の内側にあるかどうかを示すことができる。一実施形態では、サンプル点が頂点位置または境界に属するかどうかを示すために、他の値を使用して1チャネル非バイナリ占有マップを生成することができる。異なるチャネルが異なる指示を有することができる多チャネル占有マップが生成され得る。いくつかの実施形態では、頂点位置のみを有する占有マップが生成され得る。これらの頂点の接続性は、デコーダに信号で送られるか、デコーダによって推測されるかのどちらかでよい。

【0040】

占有マップは、任意の適切な画像コーデックおよびビデオコーデックによって圧縮され得る。占有マップは、単一チャネル画像または多チャネル画像、例えば、YUV420、YUV400、YUV444、RGB 444などとして圧縮され得る。占有マップはまた、バイナリ画像または任意のビット深度画像、例えば、1ビット、2ビット、8ビット、12ビット、16ビットなどとして圧縮され得る。占有マップは、不可逆コーデックまたは可逆コーデックによって圧縮され得る。

【0041】

本開示の一態様によれば、ジオメトリマップが、2D UVアトラス（時にはメッシュ）をサンプリングすることに基づいて生成され得る。RGB色を有する通常の画像とは異なり、ジオメトリマップが、それらのチャネルに対応するサンプル点の3Dジオメトリ座標を保存することができる。2D UVアトラスにおける各占有サンプル点Aについて、その3Dジオメトリ位置は、三角形の3つの頂点（V₁，V₂，V₃）によって補間され得る。ここで、任意の適切な補間方法が採用され得る。例えば、重心ベースの方法が、Aの3Dジオメトリ位置を推定するために使用され得る。

【0042】

一例として、（λ₁，λ₂，λ₃）が三角形（V₁，V₂，V₃）に対するAの重心座標であると仮定すると、下記通りである。
（u_A，v_A）＝λ₁・（u₁，v₁）＋λ₂・（u₂，v₂）＋λ₃・（u₃，v₃）
（u_A，v_A）＝λ₁・（u₁，v₁）＋λ₂・（u₂，v₂）＋λ₃・（u₃，v₃）．．．式（1）
λ₁＋λ₂＋λ₃＝1．．．．式（2）

【0043】

UV座標と3D座標との間の線形関係について、A_u，vの3D位置、すなわち（x_A，y_A，z_A）は、以下のように計算することができる。
（x_A，y_A，z_A）＝λ₁・（x₁，y₁，z₁）＋λ₂・（x₂，y₂，z₂）＋λ₃・（x₃，y₃，z₃）．．．．式（3）

【0044】

いくつかの実施形態では、Aの推定された3Dジオメトリ位置、すなわち、（x_A，y_A，z_A）は、画像コーデックおよびビデオコーデックによってコード化されるために符号なし整数に変換され得る。

【0045】

非占有点Aの場合、その3Dジオメトリ位置（x_A，y_A，z_A）は任意の数とすることができる。いくつかの実施形態では、ジオメトリマップのコーディング効率を容易にするために、非占有点の3Dジオメトリ位置は、それらの空間的および時間的近傍に類似するように割り当てられてもよい。いくつかの実施形態では、非占有点の3Dジオメトリ位置に、ジオメトリ位置に対して不可能な値、例えば（－1，－1，－1）を割り当てることができ、その場合、占有マップは信号伝達されない可能性がある。

【0046】

サンプリングされた位置に関連するジオメトリマップを生成するために、本開示の一態様によれば、3チャネルジオメトリマップ上の各点がその3Dジオメトリ位置を示す2Dマップ上のすべてのサンプリング点をスキャンすることにより、3チャネルジオメトリマップが生成され得る。一例として、第1のチャネルはx位置を示すことができ、第2のチャネルはy位置を示すことができ、第3のチャネルはz位置を示すことができる。いくつかの実施形態では、各マップが1つの軸線の3Dジオメトリ位置を示す3つの単一チャネルジオメトリマップが生成され得る。一例として、第1のマップはx位置を示すことができ、第2のマップはy位置を示すことができ、第3のマップはz位置を示すことができる。いくつかの実施形態では、投影面までの深さ（距離）を示す単一チャネルジオメトリマップが生成され得る。投影面は異なる三角形ごとに異なっていてもよく、その場合、投影面情報はサイド情報としてデコーダに信号伝達され得る。

【0047】

本開示の一態様によれば、属性マップが、2D UVアトラス（時にはメッシュ）をサンプリングすることに基づいて生成され得る。

【0048】

各占有サンプル点Aは属性を有することができ、その属性（例えば、法線、色）は三角形の3つの頂点（V₁，V₂，V₃）によって補間され得る。任意の適切な補間方法が採用され得る。

【0049】

一例として、（λ₁，λ₂，λ₃）が三角形（V₁，V₂，V₃）に対するAの重心座標であると仮定すると、下記通りである。
（u_A，v_A）＝λ₁・（u₁，v₁）＋λ₂・（u₂，v₂）＋λ₃・（u₃，v₃）．．．．式（4）
λ₁＋λ₂＋λ₃＝1．．．．式（5）

【0050】

A_u，vの属性値、すなわちa_Aは、下記のようにして算出することができる。
a_A＝λ₁・a₁＋λ₂・a₂＋λ₃・a₃．．．．式（6）

【0051】

いくつかの実施形態では、各非占有点Aについて、その属性a_Aは任意の数とすることができる。いくつかの実施形態では、属性マップのコーディング効率を容易にするために、非占有点の属性値は、それらの空間的および時間的近傍に類似するように割り当てられてもよい。いくつかの実施形態では、非占有点の属性値に、属性に対して不可能な値、例えば（－1，－1，－1）を割り当てることができ、その場合、占有マップは信号伝達されない可能性がある。

【0052】

サンプリングされた位置に関連する属性マップを生成するために、本開示の一態様によれば、マップ上の各点がその属性値を示すNチャネル属性マップが、2Dマップ上のすべてのサンプリング点をスキャンすることによって生成され得る。一例として、色である属性の場合、第1のチャネルはR色を示すことができ、第2のチャネルはG色を示すことができ、第3のチャネルはB色を示すことができる。属性が法線である実施形態では、3つのチャネルは、x軸、y軸、およびz軸上の法線値とすることができる。いくつかの実施形態では、各マップが属性値を示すN個の単一チャネル属性マップが生成され得る。一例として、色である属性の場合、第1のマップはR色を示すことができ、第2のマップはG色を示すことができ、第3のマップはB色を示すことができる。いくつかの実施形態では、メッシュに関連するテクスチャマップは、追加の属性マップと見なされ、任意の適切な画像コーデックまたはビデオコーデックによってコード化され得る。

【0053】

図5は、本開示の実施形態による、エンコーダが接続性情報を生成し、デコーダがメッシュを再構成するために使用され得るメッシュにおける接続性の例を示す。

【0054】

デコーダは、占有マップ、ジオメトリマップ、および属性マップを復号した後でメッシュを再構成することができる。占有マップ上の各占有点について、デコーダはメッシュ上の1つまたは複数の頂点を復元することができ、点の対応するジオメトリおよび属性値は、復号されたジオメトリおよび属性マップ内の対応する位置から取得され得る。頂点の間の接続性情報は、占有位置から暗黙的に推測するか明示的に信号伝達するかのどちらかにより、デコーダによって復元され得る。

【0055】

本開示の一態様によれば、入力メッシュおよび／または2D UVアトラスに関連する接続性情報は、特定の規則により、復号された占有マップ上の隣接する点の占有状況から暗黙的に推測され得る。接続性の向き（時計回りまたは反時計回り）は、シーケンスヘッダやスライスヘッダなどの高レベルシンタックスからパースされ得る、あるいはエンコーダおよびデコーダによって固定（想定）され得る。いくつかの実施形態によれば、再構成されたメッシュは、入力メッシュとは異なる接続性を有することができる。一例として、入力メッシュは三角形メッシュであってもよく、再構成されたメッシュは四角形メッシュであってもよい。

【0056】

本開示の一態様によれば、復号された占有マップ上の4つの隣接する点ごとに、占有点の数が3以上である場合、4つの点の間の三角形の接続性は、特定の規則によって推測することができる。一例として、図5の例（2）～（5）で示されているように、4つの点のうち3つが占有される場合、これらの点は、三角形を形成するように直接接続することができる。一例として、図5の例（1）で示されているように、4つの点がすべて占有される場合、これらの点は、2つの三角形を形成することができる。いくつかの実施形態では、異なる数の隣接する点に異なる規則が適用され得る。

【0057】

いくつかの実施形態では、4つの隣接する点がすべて占有されると、四角形メッシュが再構成され得る。いくつかの他の実施形態では、再構成されたメッシュはハイブリッド型メッシュであってもよく、例えば、メッシュフレーム内のいくつかの領域が三角形メッシュを生成し、他の領域は四角形メッシュを生成する。接続性タイプは、シーケンスヘッダまたはスライスヘッダなどの高レベルシンタックスで信号伝達され得る。

【0058】

いくつかの実施形態では、明示的に信号伝達することにより、接続性情報も再構成され得る。暗黙的規則によって多角形が復元されることができない場合、エンコーダはビットストリーム内の接続性情報を、例えば、メタデータとして信号で送ることができる。多角形の境界に応じてなど、明示的信号伝達のオーバーヘッドを低減するための任意の適切な手段が使用され得る。

【0059】

図6は、図5に記載の暗黙的規則と明示的信号伝達との組み合わせを使用して生成された再構成されたメッシュ600の例示的な図である。

【0060】

アトラスサンプリングベースの方法がメッシュ圧縮に使用されるとき、メッシュのジオメトリ情報は、2D UVアトラスからサンプリングされたジオメトリ画像としてコード化される。図7A～図7Cに示すように、UVアトラス700は、マニホールドチャート（「UVチャート」としても知られる）であってもなくてもよく、単純に接続されていてもされていなくてもよい。2D UVチャートは、チャート内の各頂点がオープンディスクまたはハーフディスクに対して同型である近傍を有するときのマニホールドチャートである。2D UVチャートは、チャート内の各頂点が経路接続され、2点間の各経路が同じ2点間の任意の他の経路と同型であるときに、2D単純接続チャートである。

【0061】

例えば、図7Aは、本開示の実施形態による、2Dの単純に接続されたマニホールドチャートを示す。図7Bは、本開示の実施形態による、2Dの単純に接続された非マニホールドチャートを示す。2Dの単純に接続された非マニホールドチャートは、ボウタイのように見え、2つ以上の領域が単一の点で接触する（例えば、頂点v3）。頂点v1は、内部頂点であり、したがって正規頂点である。頂点v2およびv4～v10は、境界頂点であり、それぞれ式（1）を満たし、正規頂点である。例えば、頂点v2は、2つの入射面および3つの入射エッジを有し、頂点v4は、2つの入射面および3つの入射エッジを有し、頂点v5は、2つの入射面および3つの入射エッジを有し、頂点v6は、2つの入射面および3つの入射エッジを有し、頂点v7は、1つの入射面および2つの入射エッジを有し、頂点v8は、1つの入射面および2つの入射エッジを有し、頂点v9は、1つの入射面および2つの入射エッジを有し、頂点v10は、1つの入射面と2つの入射エッジを有する。一方、頂点v3は境界頂点であり、2つの入射面と4つの入射エッジを有する。したがって、頂点v3は、式（1）を満たさず、特異な頂点である。

【0062】

本開示の他の態様によれば、入射境界エッジの数によって特異な頂点を識別することができる。例えば、正規境界頂点は2つの入射境界エッジのみを有することができ、一方、特異な境界頂点は3つ以上の入射境界エッジを有する。

【0063】

本開示のいくつかの態様によれば、非マニホールドメッシュ内の境界ループを検出するために、非マニホールドメッシュは、境界ループ構成に影響を与えることなくマニホールドメッシュに変換することができ、したがって、マニホールドメッシュ内の境界ループは、非マニホールドメッシュ内の境界ループに対応することができる。マニホールドメッシュの境界ループは、適切なアルゴリズムによって検出することができる。マニホールドメッシュの境界ループに基づいて、非マニホールドメッシュの対応する境界ループを決定することができる。

【0064】

いくつかの例では、非マニホールドメッシュの境界ループ検出手順は、第1のステップ、第2のステップ、および第3のステップと呼ばれる3つのステップを含む。

【0065】

第1のステップ（トポロジカル手術ステップとも呼ばれる）では、メッシュのそれぞれの特異な頂点ごとに、入射エッジを時計回りまたは反時計回りのいずれかの方向で巡回シーケンスへとインデックス付け（例えば、順序付け）することができる。巡回シーケンスにおいて、最初の入射エッジおよび最後の入射エッジは連続する入射エッジである。特異な頂点に対する入射エッジの巡回シーケンスに基づいて、ループエッジ対を検出することができる。ループエッジ対は、同じ面のエッジではない巡回シーケンス内の2つの連続する入射エッジとして定義される。インデックス付けの周期的な性質に起因して、最初と最後の入射エッジが同じ面のエッジでない限り、最初と最後の入射エッジをループエッジ対として定義するためにモジュラ算術規則を使用できることに留意されたい。

【0066】

それぞれのループエッジ対ごとに、2つの入射面を識別することができ、エイリアス頂点を特異な頂点から分割して、2つの識別された入射面における特異な頂点を置き換えることができる。エイリアス頂点は、ループエッジ対である2つの入射境界エッジのみを有するように構成することができる。具体的には、一例では、2つの識別された入射面内の特異な頂点の元のインデックスを新しいインデックスと置き換えることができ、新しいインデックスは、特異な頂点の元のインデックスのエイリアスとして記録される。

【0067】

第1のステップ（トポロジカル手術ステップ）の後、非マニホールドメッシュはマニホールドメッシュになる。

【0068】

第2のステップ（境界ループ検出ステップと呼ばれる）では、マニホールドメッシュにおける境界ループを検出するために開発された適切なアルゴリズムによって、マニホールドメッシュの境界ループを検出することができる。

【0069】

第3のステップ（非マニホールドメッシュの境界ループと呼ばれる）では、マニホールドメッシュの境界ループが決定された後、非マニホールドメッシュの対応する境界ループを決定するために、エイリアス関係に従って新しいインデックスを元のインデックスと置き換えることができる。

【0070】

いくつかの例では、第3のステップで検証動作を実行することができる。検証動作は、非マニホールドメッシュ内の検出された内部境界ループの数が、オイラー特性およびBetti数に基づいて検出された孔の数と一致するかどうかを検証することができる。

【0071】

本開示の一態様によれば、単純に接続されたメッシュのオイラー特性χとBetti数の間の関係は、式（7）として表現することができる。

【数1】

式中、k_i（i＝0，1，2）はi番目のシンプレックスの数であり、b_i（i＝0，1，2）はi番目のBetti数である。例えば、b₀は接続された構成要素の数であり、これは接続された外部境界の数に等しく、b₁＝h＋2gであり、ここで、hは内部境界エッジによって囲まれた孔の数であり、gは「ハンドル」、すなわち属の数であり、b₂は閉じた2つのマニホールドによって囲まれた孔の数である。いくつかの例では、k_i（i＝0，1，2，3）およびb₀を計算することができる。b₂およびgを計算することができるとき、内部境界エッジによって囲まれた孔の数は、式（7）から推論することができ、これは、単純に接続されたメッシュにおける内部境界ループの予想数である。

【0072】

さらに、本開示の一態様によれば、特異なエッジの2つの頂点は特異な頂点である。第1のステップにおけるトポロジカル手術は、非マニホールドメッシュ内の境界ループを検出するために、非マニホールドメッシュをマニホールドメッシュに変換するべく単体2－複合メッシュ内の特異なエッジの頂点に適用することができる。

【0073】

図7Cは、本開示の実施形態による、2Dの非単純に接続された非マニホールドチャートを示す。この例では、2D非単純接続非マニホールドチャートは、頂点v0からv10を含み、図7Cに示すように、チャート内のさらに2つの領域およびさらに「孔」が接触する単一の点（例えば、頂点v5）を有する。

【0074】

頂点v10は、内部頂点であり、したがって正規頂点である。頂点v0からv9は境界頂点である。頂点v0－v4およびv6－v9はそれぞれ、2つの入射境界エッジを有するため、正規境界頂点である。頂点5は、4つの入射境界エッジを有し、特異な頂点である。

【0075】

本開示の一態様によれば、上述したような非マニホールドメッシュのための3ステップ境界ループ検出手順は、境界ループを検出するために2D非単純接続非マニホールドチャートに適用することができる。

【0076】

いくつかの例において、境界ループ検出結果は、オイラー特性およびBetti数に従って検証することができる。図7Cの例では、オイラー特性χ＝11－22＋11＝0であり、Betti数b₀＝1、b₂＝0、属g＝0であるため、予想される孔の数はh＝b₁－2g＝b₀＋b₂－χ－2g＝1である。したがって、オイラー特性およびBetti数によれば、メッシュには、非マニホールドメッシュのための境界ループ検出手順からの結果と一致する1つの孔（内部境界ループ）がある。

【0077】

本開示の一態様によれば、非マニホールドメッシュの境界ループ検出手順は、高次元の単純に接続されたメッシュを処理するために一般化することができる。例えば、単純に接続されたメッシュ3Dメッシュの場合、第1のステップのトポロジカル手術は、非マニホールドメッシュを3Dマニホールドメッシュに変換するために、2つ以上の四面体が接触する頂点／エッジなどの3Dの特異な頂点／エッジを分割するために同様に実行することができる。次に、3Dマニホールドメッシュ内で「境界面」を決定することができる。

【0078】

また、境界ループ検出手順は、単体から形成されないメッシュに関して適用できることにも留意されたい。いくつかの例では、単体から形成されないメッシュを、単純に接続された複合体を伴うメッシュへと再メッシュ化することができる。例えば、四角形のメッシュを三角形のメッシュに分割することができる。次に、境界ループ検出手順は、単体複合体を伴うメッシュに適用することができる。

【0079】

本開示の一態様によれば、一般的なトポロジーを伴うUVチャートのための既存のアトラスサンプリングベースのメッシュ圧縮方法を改善するためのいくつかの方法が提案される。例えば、2D UVチャートは、それがマニホールドであり、（図7Aに示すように）単純に接続されている場合、規則的なチャートであり、そうでない場合、2D UVチャートは（図7Bおよび図7Cに示すように）不規則なチャートである。

【0080】

いくつかの実施形態では、アトラスサンプリングベースのメッシュ圧縮不規則チャートの問題は、アイソチャートアルゴリズムのようなアルゴリズムを使用して規則的なUVチャートを生成するアルゴリズムを使用してメッシュ圧縮前にメッシュを再パラメータ化することによって対処することができる。再パラメータ化の後、各UVチャートについて、UVチャートが規則的であるかどうかがエンコーダ301によって決定され、次いで不規則なUVチャートを規則的なUVチャートに変換する。不規則なUVチャートを規則的なUVチャートに変換した後、既存のアトラスサンプリングベースの方法は、変更なしに容易に適用することができ、ビットストリームで追加の情報を信号伝達する必要はない。再パラメータ化前処理の別の利点は、慎重に調整されたアルゴリズムで、UVチャートの数を減らすこと、ならびに／または空間的および／もしくは時間的にコヒーレントなUVチャートを生成してメッシュ圧縮効率を改善することが可能であることである。

【0081】

いくつかの他の実施形態では、UVチャートが規則的であるかどうかが決定される。例えば、図7Bに示すように、頂点の入射境界エッジの数が2でない場合、非マニホールド頂点が識別され、図7Cに示すように、UVチャートの「孔」の数は、UVチャートのオイラー特性を計算することによって導出される。UVチャートが規則的である場合、既存のアトラスサンプリングベースの方法を使用してチャートを処理することができる。そうでなければ、トポロジカル手術に基づくものなどの境界ループ検出アルゴリズムを使用して、「孔」を囲む外部境界ループおよび内部境界ループを含む、チャートのすべての境界ループを検出する。チャートが規則的であっても不規則であっても、チャートに対して1つの外部境界ループのみが存在し得ることに留意されたい。メッシュを適切に再構成するために、すべての境界ループ情報（外部境界および内部境界を含む）がビットストリームで信号伝達される。

【0082】

一実施形態では、境界ループの数および各境界ループの長さは、ビットストリームで信号伝達される。境界ループを所定の方式でどのようにソートするかについて、エンコーダ301とデコーダ351の間にプロトコルを確立し得る。例えば、1つの所定の方式は、他の境界ループ情報を信号伝達する前に、最初にビットストリーム内の境界ループの総数を信号伝達することである。したがって、境界ループの総数が1である場合、それはUVチャートが内側に孔を有さないことを意味する。別の所定の方式は、ビットストリーム内の他の内部ループの前に外部境界ループの情報を信号伝達することである。各境界ループが信号伝達され、境界ループは、境界頂点のUV座標および3D座標、ならびにこれらの2つのタイプの座標間のマッピングを含む。

【0083】

別の実施形態では、各境界ループの長さは、デコーダ側から予測または推測することができる。例えば、境界頂点（XYZ座標またはUV座標のいずれか）の予測残差が閾値よりも大きい場合に、それが現在の頂点からの新しい境界ループを示すことができるように、エンコーダ301とデコーダ351の間にプロトコルを確立することができる。閾値は、エンコーダ301およびデコーダ351に対して固定されるか、またはビットストリームで信号伝達されることができる。

【0084】

いくつかの実施形態では、デコーダ351は、ビットストリームから境界ループ情報を復号し、そのUVチャートの三角測量（頂点を面に接続する）のために各UVチャートの復号された境界ループを使用する。例えば、UVチャートに対してただ1つの境界ループが信号伝達される場合には、デコーダ351は、既存の方法を使用してUVチャートを三角測量する。そうでない場合、デコーダ351は、UVチャート内に1つまたは複数の内部境界ループがあると決定する。外部境界ループおよび内部境界ループは、ビットストリームから復号され、三角測量アルゴリズムで指定される。結果として、内部境界によって囲まれた「孔」は三角測量されない。このようにして、メッシュは、UVチャートのトポロジーに関係なく、アトラスサンプリングベースの方法によって適切に再構成される。

【0085】

図8は、本開示の実施形態による、アトラスサンプリングベースの動的メッシュ圧縮を使用して2D UVチャートを符号化するためのプロセス800を示す流れ図である。

【0086】

動作S801において、エンコーダ301は、アトラスサンプリングベースの動的メッシュ圧縮プロセスを開始する。

【0087】

動作S810において、エンコーダ301は、オブジェクトの表面を表す多角形を有するメッシュフレームを受信する。いくつかの実施形態では、メッシュフレームに関連する1つまたは複数のサンプル位置は、1つまたは複数のサンプリングレートに基づいて決定され得る。一例として、エンコーダ301が、1つまたは複数のサンプリングレートに基づいて入力メッシュフレーム305に関連する1つまたは複数のサンプル位置を決定することができる。いくつかの実施形態では、エンコーダ301は、1つまたは複数のサンプリングレートに基づいて、UVアトラスを伴う処理済みメッシュ310に関連する1つまたは複数のサンプル位置を決定することができる。

【0088】

いくつかの実施形態では、1つまたは複数のサンプリングレートは、第1の軸線の第1のサンプリングレートおよび第2の軸線の第2のサンプリングレートに基づくことができる。いくつかの実施形態では、1つまたは複数のサンプリングレートは、高レベルシンタックスで信号伝達され得る。いくつかの実施形態では、入力メッシュおよび／または処理済みメッシュは、1つまたは複数の領域に分割されてもよく、1つまたは複数のサンプリングレートは、1つまたは複数の領域のそれぞれに対する1つまたは複数のそれぞれのサンプリングレートに基づくことができる。いくつかの実施形態では、1つまたは複数の領域のそれぞれに対する1つまたは複数のそれぞれのサンプリングレートは、1つまたは複数の領域のそれぞれの特性に基づくことができる。それぞれの特性は、領域のテクスチャ、領域のアクティビティ、および領域の平滑性を含むことができる。いくつかの実施形態では、1つまたは複数のサンプリングレートは、隣接領域のサンプリングレートに基づくことができる。いくつかの実施形態では、1つまたは複数のサンプリングレートは、1つまたは複数の既にコード化されたメッシュフレームの以前の1つまたは複数のサンプリングレートに基づくことができる。

【0089】

動作S820において、エンコーダ301は、メッシュフレーム内の1つまたは複数の特異点構成要素に応答して、メッシュフレームが不規則なUVチャートに関連付けられているかどうかを決定する。例えば、2D UVチャートは、それがマニホールドであり、単純に接続されている場合、規則的なチャートである。図7Aに示すように、頂点v1は、規則的な内部頂点である。頂点v2およびv4～v6は規則的な境界頂点であり、それぞれ式（1）を満たす。具体的には、頂点v2は、2つの入射面および3つの入射エッジを有し、頂点v4は、2つの入射面および3つの入射エッジを有し、頂点v5は、2つの入射面および3つの入射エッジを有し、頂点v6は2つの入射面および3つの入射エッジを有する。したがって、図7Aに示すメッシュに関連するUVチャートは、規則的なUVチャートである。対照的に、図7Bに示すメッシュの頂点v3は、境界頂点であり、2つの入射面および4つの入射エッジを有する。したがって、頂点v3は、式（1）を満たさず、特異な頂点であり、一方、頂点v7～v10は規則的な境界頂点であり、それぞれ式（1）を満たす。したがって、図7Bおよび図7Cに示すメッシュに関連する2D UVチャートは、不規則なUVチャートである（図7Cに示すメッシュは、内部境界ループを有する）。言い換えれば、UVチャートが非マニホールドおよび非単純接続の少なくとも一方である場合、UVチャートは不規則である。メッシュフレームが少なくとも1つの非マニホールド頂点を有するとき、メッシュフレームは不規則なUVチャートに関連付けられていると決定される。頂点が3つ以上の入射境界エッジを有するとき、メッシュフレーム内の頂点（例えば、図7Bのv3または図7Cのv5）は非マニホールドである。

【0090】

動作S830において、エンコーダ301は、UVチャート内の1つまたは複数の境界ループを識別するために、UVチャートに対して境界検出を実行する。いくつかの実施形態では、UVチャートが不規則なUVチャートであると決定した後、エンコーダ301は、UVチャートのオイラー特性を決定し、次いで、UVチャートの決定されたオイラー特性に基づいて、UVチャート内の1つまたは複数の境界ループを識別する。上述のように、非マニホールドメッシュ内の検出された内部境界ループの数は、オイラー特性およびBetti数に基づいてUVチャートで検出された孔の数と一致する。図7Cに示されるように、オイラー特性χ＝11－22＋11＝0であり、Betti数b₀＝1、b₂＝0、属g＝0であるため、予想される孔の数はh＝b₁－2g＝b₀＋b₂－χ－2g＝1である。したがって、オイラー特性およびBetti数によれば、メッシュには、非マニホールドメッシュのための境界ループ検出手順からの結果と一致する1つの孔（内部境界ループ）がある。

【0091】

動作S840において、エンコーダ301は、識別された1つまたは複数の境界ループの情報を、占有マップ315、ジオメトリマップ320、属性マップ325などを含むビデオコーデックの残りの部分とともに、メッシュフレームに関連付けられたビットストリーム内のメタデータ330に圧縮する（例えば、符号化する）。いくつかの実施形態では、エンコーダ301は、識別された1つまたは複数の境界ループの数、ならびにビットストリーム内の各境界マップの頂点のUV座標および対応する3D座標を信号伝達する。いくつかの実施形態では、エンコーダ301は、デコーダ351がビットストリームから識別された1つまたは複数の境界ループの情報を復号し、それに応じてメッシュフレームを再構築することができるように、所定のプロトコルに従って識別された1つまたは複数の境界ループの情報を符号化する。

【0092】

図9は、本開示の実施形態による、メッシュ再構成を示す流れ図である。

【0093】

動作S901において、デコーダ351は、メッシュ再構成プロセッサを開始する。動作S910において、デコーダ315は、ビットストリームから、オブジェクトの表面を表す多角形を有するメッシュフレームに関連付けられた境界ループの情報を復号する。いくつかの実施形態では、エンコーダ301とデコーダ351の間に所定のプロトコルがある。プロトコルにより、エンコーダ301は、メッシュフレームに関連付けられた境界ループの情報をビットストリームに符号化し、デコーダ351は、それに応じて情報を復号する。

【0094】

動作S920において、デコーダ351は、ビットストリームからの情報の復号化に基づいて、メッシュフレームが1つまたは複数の内部境界ループを伴うUVチャートを有すると決定する。上述のように、UVチャートは、メッシュフレームが少なくとも1つの内部境界ループを有する場合、不規則なUVチャートである。

【0095】

動作S930において、デコーダ351は、UVチャート内の1つまたは複数の内部境界ループに基づいてメッシュフレームの頂点を三角測量する。

【0096】

動作S940において、デコーダ351は、UVチャートのアトラスサンプリングを通してメッシュフレームを再構成する。

【0097】

いくつかの実施形態では、デコーダ351は、受信された占有マップ、属性マップ、およびジオメトリマップを復号することができる。一例として、デコーダ351は、符号化された占有マップ315、ジオメトリマップ320、および属性マップ325を復号して、復号された占有マップ335、復号されたジオメトリマップ340、および復号された属性マップ345を生成することができる。復号された占有マップ内の各占有位置に関連するそれぞれの頂点が復元され得る。一例として、デコーダ351が、復号された占有マップ335に基づいて、各占有位置および／または画素に関連するそれぞれの頂点を復元することができる。各占有位置に関連する3Dジオメトリ座標が、復号された占有マップおよび復号されたジオメトリマップに基づいて取得され得る。一例として、デコーダ351が、復号された占有マップ335および復号されたジオメトリマップ340に基づいて、各占有位置に関連する3Dジオメトリ座標を取得することができる。各占有位置に関連する属性値が、復号された占有マップおよび復号された属性マップに基づいて取得され得る。一例として、デコーダ351が、復号された占有マップ335および復号された属性マップ345に基づいて、各占有位置に関連する属性値を取得することができる。

【0098】

接続性情報が、復号されたマップに基づいて推測され得る、またはメタデータの明示的信号伝達から推測され得る。一例として、デコーダ351が、復号された占有マップ335、復号されたジオメトリマップ340、復号された属性マップ345、およびメタデータ350に基づいて接続性情報を推測することができる。

【0099】

いくつかの実施形態では、入力メッシュおよび／または2D UVアトラスに関連する接続性情報は、特定の規則（例えば、図5（1）～（5））により、復号された占有マップ上の隣接する点の占有状況から暗黙的に推測され得る。接続性の向き（時計回りまたは反時計回り）は、シーケンスヘッダやスライスヘッダなどの高レベルシンタックスからパースされ得る、あるいはエンコーダおよびデコーダによって固定（想定）され得る。いくつかの実施形態では、再構成されたメッシュはハイブリッド型メッシュであってもよく、例えば、メッシュフレーム内のいくつかの領域が三角形メッシュを生成し、他の領域は四角形メッシュを生成する。接続性タイプは、シーケンスヘッダやスライスヘッダなどの高レベルシンタックスで信号伝達され得る。

【0100】

いくつかの実施形態では、明示的信号伝達により、接続性情報も再構成され得る。暗黙的規則によって多角形が復元されることができない場合、エンコーダはビットストリーム内の接続性情報を（例えば、メタデータとして）信号で送ることができる。多角形の境界に応じてなど、明示的信号伝達のオーバーヘッドを低減するための任意の適切な手段が使用され得る。

【0101】

最終的に、復号されたマップおよび接続性情報に基づいてメッシュが再構成され得る。一例として、デコーダ351は、復号された占有マップ335、復号されたジオメトリマップ340、復号された属性マップ345、およびメタデータ350に基づいて再構成されたメッシュ360を生成することができる。デコーダ351は、適切な再構成フィルタおよび／または後処理技法を使用して、再構成されたメッシュ360を生成することができる。いくつかの実施形態によれば、再構成されたメッシュは、入力メッシュとは異なる接続性を有することができる。一例として、入力メッシュは三角形メッシュであってもよく、再構成されたメッシュは四角形メッシュであってもよい。

【0102】

上述した技術は、コンピュータ可読命令を使用し、1つまたは複数のコンピュータ可読媒体に物理的に記憶されたコンピュータソフトウェアとして実装され得る。例えば、図10は、本開示の特定の実施形態を実装するのに適したコンピュータシステム1000を示している。

【0103】

コンピュータソフトウェアは、コンピュータ中央処理装置（CPU）、グラフィックス処理装置（GPU）などにより、直接、または解釈、マイクロコード実行などを介して実行され得る命令を含むコードを作成するために、アセンブル、コンパイル、リンク、または同様のメカニズムを受け得る任意の適切なマシンコードまたはコンピュータ言語を使用してコード化され得る。

【0104】

命令は、例えば、パーソナルコンピュータ、タブレットコンピュータ、サーバ、スマートフォン、ゲーム機、モノのインターネットデバイスなどを含む様々なタイプのコンピュータまたはコンピュータの構成要素上で実行されることができる。

【0105】

コンピュータシステム1000について図10に示される構成要素は、例であり、本開示の実施形態を実装するコンピュータソフトウェアの使用または機能の範囲に関する限定を示唆することを意図されていない。構成要素の構成は、コンピュータシステム1000の非限定的な実施形態に例示される構成要素のいずれか1つまたは組み合わせに関連するいかなる依存性も要件も有すると解釈されるべきではない。

【0106】

コンピュータシステム1000は、特定のヒューマンインターフェース入力デバイスを含んでもよい。このようなヒューマンインターフェース入力デバイスは、例えば、触覚入力（キーを押す、スワイプする、データグローブを動かすなど）、音声入力（声、手をたたくなど）、視覚入力（身振りなど）、嗅覚入力（図示せず）による、1人または複数のユーザによる入力に応答し得る。ヒューマンインターフェースデバイスは、オーディオ（例えば、音声、音楽、周囲音）、画像（例えば、スキャンされた画像、写真画像は静止画像カメラから取得する）、ビデオ（2次元ビデオ、立体ビデオを含む3次元ビデオなど）など、必ずしも人間による意識的な入力に直接関連しない特定の媒体を取り込むために使用することもできる。

【0107】

入力ヒューマンインターフェースデバイスは、キーボード1001、マウス1002、トラックパッド1003、タッチスクリーン1010、データグローブ、ジョイスティック1005、マイクロフォン1006、スキャナ1007、カメラ1008のうちの1つまたは複数（各々の1つのみを図示）を含んでもよい。

【0108】

コンピュータシステム1000はまた、特定のヒューマンインターフェース出力デバイスを含んでもよい。このような人的インターフェース出力デバイスは、触覚出力、音声、光、および臭い／味など、1人以上のユーザの感覚を刺激し得る。このような人的インターフェース出力デバイスは、触覚出力デバイス（例えば、タッチスクリーン1010、データグローブ、またはジョイスティック1005による触覚フィードバック、ただし入力デバイスとして機能しない触覚フィードバックデバイスもあり得る）を含んでもよい。例えば、そのようなデバイスは、オーディオ出力デバイス（スピーカ1009、ヘッドホン（図示せず）など）、視覚出力デバイス（各々タッチスクリーン入力能力を有するかまたは有さず、各々触覚フィードバック能力を有するかまたは有さず、その一部は2次元視覚出力または立体出力などの手段による3次元を超える出力を出力することが可能であり得る、CRTスクリーン、LCDスクリーン、プラズマスクリーン、OLEDスクリーンを含むスクリーン1010、仮想現実メガネ（図示せず）、ホログラフィックディスプレイおよびスモークタンク（図示せず）など）、ならびにプリンタ（図示せず）であってもよい。

【0109】

コンピュータシステム1000は、人的にアクセス可能な記憶デバイス、およびCD／DVDなどの媒体1021を含むCD／DVD ROM／RW 1020、USBメモリ（thumb－drive）1022、取り外し可能なハードドライブまたはソリッドステートドライブ1023、テープおよびフロッピーディスクなどのレガシー磁気媒体（図示せず）、セキュリティドングルなどの専門化されたROM／ASIC／PLDに基づくデバイス（図示せず）を含む光学媒体などの、その関連媒体をさらに含むことができる。

【0110】

当業者はまた、本開示の主題に関連して使用される「コンピュータ可読媒体」という用語が、伝送媒体、搬送波、または他の一時的信号を包含しないことを理解すべきである。

【0111】

コンピュータシステム1000は、1つまたは複数の通信ネットワークに対するインターフェースをさらに備えることができる。ネットワークは、例えば、無線、有線、光であってもよい。ネットワークはさらに、ローカル、ワイドエリア、メトロポリタン、車両および産業用、リアルタイム、遅延耐性、などとすることができる。ネットワークの例は、イーサネットなどのローカルエリアネットワーク、無線LAN、GSM、3G、4G、5G、LTEなどを含む移動体通信ネットワーク、ケーブルテレビ、衛星テレビ、および地上波テレビを含む有線テレビまたは無線の広域デジタルネットワーク、車載およびCANBusを含む産業用ネットワークなどを含む。いくつかのネットワークは一般に、いくつかの汎用データポートまたは周辺バス1049（例えば、コンピュータシステム1000のUSBポート）に取り付けられる外部ネットワークインターフェースアダプタを必要とし、他のネットワークは一般に、後述するようにシステムバスに取り付けることによって（例えば、イーサネットインターフェースをPCコンピュータシステムに、または移動体通信ネットワークインターフェースをスマートフォンのコンピュータシステムに）、コンピュータシステム1000のコアに統合される。このような任意のネットワークを使用して、コンピュータシステム1000は他のエンティティと通信することができる。このような通信は、一方向通信、受信専用通信（例えば、テレビ放送）、一方向送信専用通信（例えば、CANbusから一定のCANbusデバイスに送信する）、あるいは、例えば、ローカルまたは広域デジタルネットワークを使用する、他のコンピュータシステムに対する双方向通信であってもよい。このような通信は、クラウドコンピューティング環境1055との通信を含むことができる。特定のプロトコルおよびプロトコルスタックは、上述したように、それらのネットワークおよびネットワークインターフェースの各々で使用され得る。

【0112】

前述した人的インターフェースデバイス、人的にアクセス可能な記憶デバイス、およびネットワークインターフェース1054は、コンピュータシステム1000のコア1040に取り付けることができる。

【0113】

コア1040は、1つ以上の中央処理ユニット（CPU）1041、グラフィック処理ユニット（GPU）1042、フィールドプログラマブルゲートエリア（FPGA）1043の形態の専門化されたプログラム可能処理ユニット、いくつかのタスク用のハードウェアアクセラレータ1044などを含むことができる。このようなデバイスは、読出し専用メモリ（ROM）1045、ランダムアクセスメモリ1046、内部のユーザがアクセスできないハードドライブ、SSDなど1047の内部大容量記憶装置とともに、システムバス1048を介して接続されてもよい。いくつかのコンピュータシステムでは、システムバス1048は、追加のCPU、GPUなどによる拡張が可能なように、1つまたは複数の物理プラグの形態でアクセスすることができる。周辺デバイスは、コアのシステムバス1048に直接取り付ける、または周辺バス1049を介して取り付けることができる。周辺バスのアーキテクチャは、PCI、USBなどを含む。グラフィックスアダプタ1050がコア1040に含まれてもよい。

【0114】

CPU1041、GPU1042、FPGA1043、およびアクセラレータ1044は、前述したコンピュータコードを作成できるいくつかの命令を、組み合わせて実行することができる。コンピュータコードは、ROM1045またはRAM1046に記憶させることができる。過渡的なデータもRAM1046に記憶でき、これに反し永続的なデータは、例えば、内部大容量記憶装置1047に記憶することができる。キャッシュメモリを使用することによって、任意のメモリデバイスに素早く記憶し検索することが可能になり、1つまたは複数のCPU1041、GPU1042、大容量記憶装置1047、ROM1045、RAM1046などに密接に関連付けることができる。

【0115】

コンピュータ可読媒体は、様々なコンピュータ実装動作を行うためのコンピュータコードを有することができる。媒体およびコンピュータコードは、本開示の目的のために特別に設計および構築されたものとすることができ、またはコンピュータソフトウェア技術の当業者に周知の利用可能な種類のものとすることができる。

【0116】

一例として、かつ制限する目的ではなく、アーキテクチャ1000、具体的にはコア1040を有するコンピュータシステムは、1つまたは複数の有形のコンピュータ可読媒体に具体化されたソフトウェアを実行する、（複数の）プロセッサ（CPU、GPU、FPGA、アクセラレータなど）の結果としての機能性を提供することができる。このようなコンピュータ可読媒体は、先に紹介したようなユーザがアクセス可能な大容量記憶装置、ならびにコア内部大容量記憶装置1047またはROM1045などの、非一時的な性質をもつ、コア1040のいくつかの記憶装置に関連する媒体であってもよい。本開示の様々な実施形態を実施するソフトウェアは、このようなデバイスに記憶させて、コア1040によって実行することができる。非一時的コンピュータ可読媒体は、特定の必要性に応じて、1つまたは複数のメモリデバイスまたはチップを含むことができる。ソフトウェアは、コア1040および具体的にはその中のプロセッサ（CPU、GPU、FPGAなどを含む）に、RAM1046に記憶されているデータ構造の定義、およびソフトウェアによって定義されたプロセスに従ったこのようなデータ構造の変更を含む、本明細書で説明する特定のプロセス、または特定のプロセスの特定の部分を実行させることができる。これに加えて、またはこれに代えて、コンピュータシステムは、回路（例えば、アクセラレータ1044）に配線された、あるいは回路で具体化された論理の結果としての機能性を提供でき、本明細書で説明する特定のプロセス、または特定のプロセスの特定の部分を実行するために、ソフトウェアの代わりに、またはソフトウェアとともに動作させることができる。ソフトウェアに対する言及は、必要に応じて論理を包含することができ、その逆もまた可能である。コンピュータ可読媒体への言及は、必要に応じて、実行のためのソフトウェアを記憶する回路（集積回路（IC）など）、実行のための論理を具現化する回路、またはその両方を包含することができる。本開示は、ハードウェアとソフトウェアの任意の適切な組み合わせを包含する。

【0117】

本開示は、いくつかの非限定的な実施形態を説明しているが、本開示の範囲内にある変更、順列、および様々な代替的な同等物が存在する。したがって、当業者は、本明細書に明示的に示されていないかまたは記載されていないが、本開示の原理を具現化し、したがって本開示の趣旨および範囲内にある多数のシステムおよび方法を考案することができることが理解されよう。

【符号の説明】

【0118】

100 通信システム
110 端末
120 端末
130 端末
140 端末
150 ネットワーク
200 ストリーミングシステム
201 ビデオソース
202 3Dメッシュおよび3Dメッシュに関連するメタデータを含むストリーム
203 エンコーダ
204 符号化されたビデオビットストリーム
205 ストリーミングサーバ
206 ストリーミングクライアント
209 入力されるコピーであるビデオビットストリーム
210 ビデオデコーダ
211 レンダリングすることができる出力されるビデオサンプルストリーム
212 ディスプレイ
213 キャプチャサブシステム
300 フレームワーク
301 エンコーダ
305 入力メッシュ
310 UVアトラスを伴うメッシュ
315 占有マップ
320 ジオメトリマップ
325 アトリビュートマップ
330 メタデータ
335 復号された占有マップ
340 復号されたジオメトリマップ
345 復号された属性マップ
350 復号されたメタデータ
351 デコーダ
360 再構成されたメッシュ
400 三角形メッシュ
600 図5に記載の暗黙的規則と明示的信号伝達との組み合わせを使用して生成された再構成されたメッシュ
700 UVアトラス
800 アトラスサンプリングベースの動的メッシュ圧縮を使用して2D UVチャートを符号化するためのプロセス
1000 コンピュータシステム
1001 キーボード
1002 マウス
1003 トラックパッド
1005 ジョイスティック
1006 マイクロフォン
1007 スキャナ
1008 カメラ
1009 スピーカ
1010 CRTスクリーン、LCDスクリーン、プラズマスクリーン、OLEDスクリーンを含むスクリーン
1020 CD／DVD ROM／RW
1021 CD／DVDなどの媒体
1022 USBメモリ（thumb－drive）
1023 取り外し可能なハードドライブまたはソリッドステートドライブ
1040 コア
1041 CPU
1042 GPU
1043 フィールドプログラマブルゲートエリア
1044 ハードウェアアクセラレータ
1045 読出し専用メモリ
1046 ランダムアクセスメモリ
1047 大容量記憶装置
1048 システムバス
1049 周辺バス
1050 グラフィックスアダプタ
1054 ネットワークインターフェース
1055 クラウドコンピューティング環境

【図1】