(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-11-21
(54)【発明の名称】チャートベースのメッシュ圧縮
(51)【国際特許分類】
H04N 19/597 20140101AFI20241114BHJP
H04N 19/46 20140101ALI20241114BHJP
【ＦＩ】
H04N19/597
H04N19/46
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2024527694
(86)(22)【出願日】2023-04-06
(85)【翻訳文提出日】2024-05-13
(86)【国際出願番号】 US2023017678
(87)【国際公開番号】W WO2023200662
(87)【国際公開日】2023-10-19
(31)【優先権主張番号】63/331,711
(32)【優先日】2022-04-15
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】18/127,432
(32)【優先日】2023-03-28
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】520353802
【氏名又は名称】テンセント・アメリカ・エルエルシー
(74)【代理人】
【識別番号】100112656
【弁理士】
【氏名又は名称】宮田 英毅
(74)【代理人】
【識別番号】100089118
【弁理士】
【氏名又は名称】酒井 宏明
(72)【発明者】
【氏名】ジャン，シアン
(72)【発明者】
【氏名】ホアン，チャオ
(72)【発明者】
【氏名】シュ，シャオジョン
(72)【発明者】
【氏名】ティエン，ジュン
(72)【発明者】
【氏名】リウ，シャン
【テーマコード（参考）】
5C159
【Ｆターム（参考）】
5C159MD02
5C159ME01
5C159PP03
5C159PP13
5C159RC11
5C159UA02
5C159UA05
5C159UA11
(57)【要約】
デコーダで実行される方法は、３Ｄメッシュに対応する１つ又は複数の２Ｄメッシュを含むコード化されたビデオビットストリームを受信するステップを含む。前記方法は、前記１つ又は複数の２Ｄメッシュのそれぞれの１つ又は複数の境界頂点を再構築するステップを含む。前記方法は、前記１つ又は複数の２Ｄメッシュのそれぞれの１つ又は複数の内部頂点を再構築するための再構築モードが、（ｉ）サンプリングモードと、（ｉｉ）非サンプリングモードのうちの１つであるか否かを決定するステップを含む。前記方法は、決定された前記再構築モードに基づいて、前記１つ又は複数の２Ｄメッシュのそれぞれの前記１つ又は複数の内部頂点を再構築するステップを含む。前記方法は、前記１つ又は複数の２Ｄメッシュのそれぞれの再構築された前記１つ又は複数の境界頂点と、前記１つ又は複数の２Ｄメッシュのそれぞれの再構築された前記１つ又は複数の内部頂点とに基づいて、前記３Ｄメッシュを再構築するステップをさらに含む。
【特許請求の範囲】
【請求項1】
デコーダの少なくとも１つのプロセッサが実行する方法であって、３次元（３Ｄ）メッシュに対応する１つ又は複数の２次元（２Ｄ）メッシュを含むコード化されたビデオビットストリームを受信するステップと、
前記１つ又は複数の２Ｄメッシュのそれぞれの１つ又は複数の境界頂点を再構築するステップと、
前記１つ又は複数の２Ｄメッシュのそれぞれの１つ又は複数の内部頂点を再構築するための再構築モードが、（ｉ）サンプリングモードと、（ｉｉ）非サンプリングモードのうちの１つであるか否かを決定するステップと、
決定された前記再構築モードに基づいて、前記１つ又は複数の２Ｄメッシュのそれぞれの前記１つ又は複数の内部頂点を再構築するステップと、
前記１つ又は複数の２Ｄメッシュのそれぞれの再構築された前記１つ又は複数の境界頂点と、前記１つ又は複数の２Ｄメッシュのそれぞれの再構築された前記１つ又は複数の内部頂点とに基づいて、前記３Ｄメッシュを再構築するステップと、
を含む、方法。
【請求項2】
前記再構築モードの決定は、前記コード化されたビデオビットストリームに含まれるフラグに基づいている、請求項１に記載の方法。
【請求項3】
前記コード化されたビデオビットストリームに含まれる１つ又は複数のジオメトリマップをデコードするステップをさらに含む、請求項１に記載の方法。
【請求項4】
前記再構築モードが前記サンプリングモードであると決定することに基づいて、前記１つ又は複数の２Ｄメッシュのそれぞれの前記１つ又は複数の内部頂点を再構築するステップは、
前記１つ又は複数の２Ｄメッシュのそれぞれの境界ポリゴンを、前記１つ又は複数の２Ｄメッシュのそれぞれの対応する再構築された境界頂点に基づいて決定するステップと、
前記１つ又は複数の２Ｄメッシュのそれぞれの前記境界ポリゴンに含まれる各頂点を内部頂点として識別するステップと、を含む、請求項３に記載の方法。
【請求項5】
前記３Ｄメッシュを再構築するステップは、デコードされた前記１つ又は複数のジオメトリマップにおける対応する位置、サンプリングレート、及びデコードされた前記１つ又は複数のジオメトリマップにおけるオフセットに基づいて、前記３Ｄメッシュにおける内部頂点を導出するステップを含む、請求項４に記載の方法。
【請求項6】
前記再構築モードが前記非サンプリングモードであると決定することに基づいて、１つ又は複数の２Ｄメッシュのそれぞれの前記１つ又は複数の内部頂点は、前記１つ又は複数の２Ｄメッシュのそれぞれの再構築された前記１つ又は複数の境界頂点に基づいて再構築される、請求項１に記載の方法。
【請求項7】
前記３Ｄメッシュを再構築するステップは、前記１つ又は複数の２Ｄメッシュの再構築された内部頂点と、前記１つ又は複数の２Ｄメッシュにおける対応する再構築された境界頂点とを連接することによって、前記３Ｄメッシュにおける内部頂点を再構築するステップを含む、請求項６に記載の方法。
【請求項8】
前記３Ｄメッシュを再構築するステップは、前記３Ｄメッシュにおける境界頂点を、前記１つ又は複数の２Ｄメッシュのそれぞれの対応する１つ又は複数の再構築された境界頂点を前記３Ｄメッシュにおける前記境界頂点にマッピングする２Ｄから３Ｄへのインデックス配列に基づいて再構築するステップを含む、請求項１に記載の方法。
【請求項9】
プログラムコードを記憶するように構成される少なくとも１つのメモリと、前記プログラムコードを読み取り、前記プログラムコードによって指示される通りに動作するように構成される少なくとも１つのプロセッサと、を備え、
前記プログラムコードは、
前記少なくとも１つのプロセッサに、３次元（３Ｄ）メッシュに対応する１つ又は複数の２次元（２Ｄ）メッシュを含むコード化されたビデオビットストリームを受信させるように構成される受信コードと、
前記少なくとも１つのプロセッサに、前記１つ又は複数の２Ｄメッシュのそれぞれの１つ又は複数の境界頂点を再構築させるように構成される第１の再構築コードと、
前記少なくとも１つのプロセッサに、前記１つ又は複数の２Ｄメッシュのそれぞれの１つ又は複数の内部頂点を再構築するための再構築モードが、（ｉ）サンプリングモードと、（ｉｉ）非サンプリングモードのうちの１つであるか否かを決定させるように構成される第１の決定コードと、
前記少なくとも１つのプロセッサに、決定された前記再構築モードに基づいて、前記１つ又は複数の２Ｄメッシュのそれぞれの前記１つ又は複数の内部頂点を再構築させるように構成される第２の再構築コードと、
前記少なくとも１つのプロセッサに、前記１つ又は複数の２Ｄメッシュのそれぞれの再構築された前記１つ又は複数の境界頂点と、前記１つ又は複数の２Ｄメッシュのそれぞれの再構築された前記１つ又は複数の内部頂点とに基づいて、前記３Ｄメッシュを再構築させるように構成される第３の再構築コードと、
を含むデコーダ。
【請求項10】
前記再構築モードの決定は、前記コード化されたビデオビットストリームに含まれるフラグに基づいている、請求項９に記載のデコーダ。
【請求項11】
前記プログラムコードは、前記少なくとも１つのプロセッサに、前記コード化されたビデオビットストリームに含まれる１つ又は複数のジオメトリマップをデコードさせるように構成されるデコードコードをさらに含む、請求項９に記載のデコーダ。
【請求項12】
前記再構築モードが前記サンプリングモードであると決定することに基づいて、前記第２の再構築コードは、
前記少なくとも１つのプロセッサに、前記１つ又は複数の２Ｄメッシュのそれぞれの境界ポリゴンを、前記１つ又は複数の２Ｄメッシュのそれぞれの対応する再構築された境界頂点に基づいて決定させるように構成される第２の決定コードと、
前記少なくとも１つのプロセッサに、前記１つ又は複数の２Ｄメッシュのそれぞれの前記境界ポリゴンに含まれる各頂点を内部頂点として識別させるように構成される識別コードと、をさらに含む、請求項１１に記載のデコーダ。
【請求項13】
前記第３の再構築コードは、前記少なくとも１つのプロセッサに、デコードされた前記１つ又は複数のジオメトリマップにおける対応する位置、サンプリングレート、及びデコードされた前記１つ又は複数のジオメトリマップにおけるオフセットに基づいて、前記３Ｄメッシュにおける内部頂点を導出させるように構成される導出コードをさらに含む、請求項１２に記載のデコーダ。
【請求項14】
前記再構築モードが前記非サンプリングモードであると決定することに基づいて、１つ又は複数の２Ｄメッシュのそれぞれの前記１つ又は複数の内部頂点は、前記１つ又は複数の２Ｄメッシュのそれぞれの再構築された前記１つ又は複数の境界頂点に基づいて再構築される、請求項９に記載のデコーダ。
【請求項15】
前記第３の再構築コードは、前記少なくとも１つのプロセッサに、前記１つ又は複数の２Ｄメッシュの再構築された内部頂点と、前記１つ又は複数の２Ｄメッシュにおける対応する再構築された境界頂点とを連接することによって、前記３Ｄメッシュにおける内部頂点を再構築させるように構成される第４の再構築コードをさらに含む、請求項１４に記載のデコーダ。
【請求項16】
前記第３の再構築コードは、前記少なくとも１つのプロセッサに、前記３Ｄメッシュにおける境界頂点を、前記１つ又は複数の２Ｄメッシュのそれぞれの対応する１つ又は複数の再構築された境界頂点を前記３Ｄメッシュにおける前記境界頂点にマッピングする２Ｄから３Ｄへのインデックス配列に基づいて再構築させるように構成される第４の再構築コードをさらに含む、請求項９に記載のデコーダ。
【請求項17】
デコーダにおける少なくとも１つのプロセッサによって実行されると、前記少なくとも１つのプロセッサに、３次元（３Ｄ）メッシュに対応する１つ又は複数の２次元（２Ｄ）メッシュを含むコード化されたビデオビットストリームを受信するステップと、
前記１つ又は複数の２Ｄメッシュのそれぞれの１つ又は複数の境界頂点を再構築するステップと、
前記１つ又は複数の２Ｄメッシュのそれぞれの１つ又は複数の内部頂点を再構築するための再構築モードが、（ｉ）サンプリングモードと、（ｉｉ）非サンプリングモードのうちの１つであるか否かを決定するステップと、
決定された前記再構築モードに基づいて、前記１つ又は複数の２Ｄメッシュのそれぞれの前記１つ又は複数の内部頂点を再構築するステップと、
前記１つ又は複数の２Ｄメッシュのそれぞれの再構築された前記１つ又は複数の境界頂点と、前記１つ又は複数の２Ｄメッシュのそれぞれの再構築された前記１つ又は複数の内部頂点とに基づいて、前記３Ｄメッシュを再構築するステップと、
を実行させる命令を記憶した非一時的なコンピュータ読取可能な媒体。
【請求項18】
前記再構築モードの決定は、前記コード化されたビデオビットストリームに含まれるフラグに基づいている、請求項１７に記載の非一時的なコンピュータ読取可能な媒体。
【請求項19】
前記命令は、さらに、前記少なくとも１つのプロセッサに、前記コード化されたビデオビットストリームに含まれる１つ又は複数のジオメトリマップをデコードするステップを実行させる、請求項１７に記載の非一時的なコンピュータ読取可能な媒体。
【請求項20】
前記再構築モードが前記サンプリングモードであると決定することに基づいて、前記１つ又は複数の２Ｄメッシュのそれぞれの前記１つ又は複数の内部頂点を再構築するステップは、
前記１つ又は複数の２Ｄメッシュのそれぞれの境界ポリゴンを、前記１つ又は複数の２Ｄメッシュのそれぞれの対応する再構築された境界頂点に基づいて決定するステップと、
前記１つ又は複数の２Ｄメッシュのそれぞれの前記境界ポリゴンに含まれる各頂点を内部頂点として識別するステップと、をさらに含む、請求項１９に記載の非一時的なコンピュータ読取可能な媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本願は、２０２２年４月１５日に出願された米国仮出願第６３／３３１，７１１号及び２０２３年３月２８日に出願された米国特許出願第１８／１２７，４３２号に基づく優先権を主張し、それらの開示内容は、その全体が参照により本明細書に援用される。
【0002】
本開示は、一連の高度なビデオコーディング技術に関する。より具体的には、本開示は、チャートベースのメッシュ圧縮のコーディング方法を含む、ビデオベースのメッシュ圧縮に関する。
【背景技術】
【0003】
世界の高度な３次元（３Ｄ）表現は、より没入的な形式のインタラクション及びコミュニケーションを可能にしている。３Ｄ表現におけるリアリズムを達成するために、３Ｄモデルはますます洗練されてきており、これらの３Ｄモデルの作成と消費には、かなりの量のデータが関連している。３Ｄメッシュは、没入型コンテンツの３Ｄモデリングに広く使用されている。
【0004】
３Ｄメッシュは、ボリュメトリックオブジェクトの表面を記述する複数のポリゴンで構成され得る。動的メッシュシーケンスでは、そのメッシュシーケンスが経時的に変化するかなりの量の情報を有し得るため、大量のデータを必要とする可能性がある。したがって、このようなコンテンツを記憶及び伝送するには、効率的な圧縮技術が必要となる。
【0005】
メッシュ圧縮規格ＩＣ、ＭＥＳＨＧＲＩＤ、ＦＡＭＣは、一定の連結性と時間変化するジオメトリと頂点属性とを持つ動的メッシュに対処するために以前に開発された。しかし、これらの規格は、時間変化する属性マップ及び連結性情報を考慮していない。
【0006】
さらに、ボリュメトリック取得技術にとって、特にリアルタイムの制約下で、一定の連結性を持つ動的メッシュを生成することも課題となる。この種の動的メッシュコンテンツは、既存の規格ではサポートされていない。
【発明の概要】
【課題を解決するための手段】
【0007】
１つ又は複数の実施形態によれば、デコーダの少なくとも１つのプロセッサが実行する方法は、３次元（３Ｄ）メッシュに対応する１つ又は複数の２次元（２Ｄ）メッシュを含むコード化されたビデオビットストリームを受信するステップを含む。前記方法は、前記１つ又は複数の２Ｄメッシュのそれぞれの１つ又は複数の境界頂点を再構築するステップを含む。前記方法は、前記１つ又は複数の２Ｄメッシュのそれぞれの１つ又は複数の内部頂点を再構築するための再構築モードが、（ｉ）サンプリングモードと、（ｉｉ）非サンプリングモードのうちの１つであるか否かを決定するステップを含む。前記方法は、決定された前記再構築モードに基づいて、前記１つ又は複数の２Ｄメッシュのそれぞれの前記１つ又は複数の内部頂点を再構築するステップを含む。前記方法は、前記１つ又は複数の２Ｄメッシュのそれぞれの再構築された前記１つ又は複数の境界頂点と、前記１つ又は複数の２Ｄメッシュのそれぞれの前記再構築された１つ又は複数の内部頂点とに基づいて、前記３Ｄメッシュを再構築するステップを含む。
【0008】
１つ又は複数の実施形態によれば、デコーダは、プログラムコードを記憶するように構成される少なくとも１つのメモリと、前記プログラムコードを読み取り、前記プログラムコードによって指示される通りに動作するように構成される少なくとも１つのプロセッサと、を備える。前記プログラムコードは、前記少なくとも１つのプロセッサに、３次元（３Ｄ）メッシュに対応する１つ又は複数の２次元（２Ｄ）メッシュを含むコード化されたビデオビットストリームを受信させるように構成される受信コードを含む。前記プログラムコードは、前記少なくとも１つのプロセッサに、前記１つ又は複数の２Ｄメッシュのそれぞれの１つ又は複数の境界頂点を再構築させるように構成される第１の再構築コードを含む。前記プログラムコードは、前記少なくとも１つのプロセッサに、前記１つ又は複数の２Ｄメッシュのそれぞれの１つ又は複数の内部頂点を再構築するための再構築モードが、（ｉ）サンプリングモードと、（ｉｉ）非サンプリングモードのうちの１つであるか否かを決定させるように構成される第１の決定コードを含む。前記プログラムコードは、前記少なくとも１つのプロセッサに、決定された前記再構築モードに基づいて、前記１つ又は複数の２Ｄメッシュのそれぞれの前記１つ又は複数の内部頂点を再構築させるように構成される第２の再構築コードを含む。前記プログラムコードは、前記少なくとも１つのプロセッサに、前記１つ又は複数の２Ｄメッシュのそれぞれの再構築された前記１つ又は複数の境界頂点と、前記１つ又は複数の２Ｄメッシュのそれぞれの前記再構築された１つ又は複数の内部頂点とに基づいて、前記３Ｄメッシュを再構築させるように構成される第３の再構築コードを含む。
【0009】
１つ又は複数の実施形態によれば、命令を記憶した非一時的なコンピュータ読取可能な媒体であって、前記命令は、デコーダにおけるプロセッサによって実行されると、前記プロセッサに、３次元（３Ｄ）メッシュに対応する１つ又は複数の２次元（２Ｄ）メッシュを含むコード化されたビデオビットストリームを受信するステップと、前記１つ又は複数の２Ｄメッシュのそれぞれの１つ又は複数の境界頂点を再構築するステップと、前記１つ又は複数の２Ｄメッシュのそれぞれの１つ又は複数の内部頂点を再構築するための再構築モードが、（ｉ）サンプリングモードと、（ｉｉ）非サンプリングモードのうちの１つであるか否かを決定するステップと、決定された前記再構築モードに基づいて、前記１つ又は複数の２Ｄメッシュのそれぞれの前記１つ又は複数の内部頂点を再構築するステップと、前記１つ又は複数の２Ｄメッシュのそれぞれの再構築された前記１つ又は複数の境界頂点と、前記１つ又は複数の２Ｄメッシュのそれぞれの前記再構築された１つ又は複数の内部頂点とに基づいて、前記３Ｄメッシュを再構築するステップと、を実行させる。
【図面の簡単な説明】
【0010】
開示された主題の更なる特徴、性質、及び様々な利点は、以下の詳細な説明及び添付の図面からより明らかになるであろう。
【0011】
【図1】本開示の実施形態に係る通信システムの概略ブロック図である。
【図2】本開示の実施形態に係るストリーミングシステムの概略ブロック図である。
【図3】本開示の実施形態に係るビデオエンコーダ及びデコーダの概略ブロック図である。
【図4】本開示の実施形態に係る、３Ｄメッシュセグメントから２ＤチャートへのＵＶパラメータ化マッピングの例を示す。
【図5】３Ｄメッシュセグメントが複数の別々のチャートにマッピングされる、異なるＵＶパラメータ化の例を示す。
【図6】本開示の実施形態に係る、複数のチャートを持つ例示的な２Ｄ ＵＶアトラスを示す。
【図7】本開示の実施形態に係る、２Ｄパッチにおける境界頂点の例を示す。
【図8】本開示の実施形態に係る例示的なジオメトリエンコードパイプラインを示す。
【図9(A)-(B)】本開示の実施形態に係るチャート境界の検出の例を示す。
【図10(A)-(B)】本開示の実施形態に係る、非占有ピクセルを埋める前及び埋めた後のジオメトリマップの例をそれぞれ示す。
【図11】本開示の実施形態に係る例示的なジオメトリデコードパイプラインを示す。
【図12】境界によって定義されるポリゴンの内側の内部サンプリング点を見つける例を示す。
【図13】本開示の実施形態に係る、ビデオビットストリームをエンコードするための例示的なフローチャートを示す。
【図14】本開示の実施形態に係る、コード化されたビデオビットストリームをデコードするための例示的なフローチャートを示す。
【図15】本開示の実施形態を実現するのに適したコンピュータシステムを示す図である。
【発明を実施するための形態】
【0012】
以下の例示的な実施形態の詳細な説明は、添付の図面を参照する。異なる図面における同じ符号は、同じ又は類似の要素を特定することができる。
【0013】
前述の開示は、例示及び説明を提供するが、網羅的であること、又は実装を開示された正確な形態に限定することを意図するものではない。上記の開示に照らして修正及び変形が可能であるか、又は実装の実践から獲得され得る。さらに、１つの実施形態の１つ又は複数の特徴又は構成要素を、別の実施形態（又は別の実施形態の１つ又は複数の特徴）に組み込むか、又はそれと組み合わせてもよい。加えて、以下に提供される動作のフローチャート及び説明において、１つ又は複数の動作を省略してもよく、１つ又は複数の動作を追加してもよく、１つ又は複数の動作を（少なくとも部分的に）同時に行ってもよく、１つ又は複数の動作の順序を入れ替えてもよいことが理解される。
【0014】
本明細書で説明されたシステム及び／又は方法は、異なる形態のハードウェア、ファームウェア、又はハードウェアとソフトウェアとの組み合わせで実施され得ることが明らかであろう。これらのシステム及び／又は方法を実装するために使用される実際の特殊な制御ハードウェア又はソフトウェアコードは、実装を限定するものではない。したがって、システム及び／又は方法の動作及び行動は、特定のソフトウェアコードを参照することなく本明細書に記載された。ソフトウェア及びハードウェアは、本明細書の記載に基づいてシステム及び／又は方法を実装するように設計されてもよいことが理解される。
【0015】
特徴の特定の組み合わせが特許請求の範囲に記述され、及び／又は本明細書に開示されていても、これらの組み合わせは、可能な実装の開示を限定することを意図するものではない。実際には、これらの特徴の多くは、特に特許請求の範囲に記述されていない方法及び／又は本明細書に開示されていない方法で組み合わされることができる。以下にリストされる各従属請求項は、１つの請求項にのみ直接依存し得るが、可能な実装の開示は、請求項セット内の他のすべての請求項との組み合わせで各従属請求項を含む。
【0016】
本明細書で使用されるいかなる要素、行為、又は指示も、そのように明示的に記載されない限り、重要又は必須であると解釈されることはない。また、本明細書で使用されるように、冠詞「ａ」及び「ａｎ」は、１つ又は複数のアイテムを含むことを意図しており、「１つ又は複数」と交換可能に使用されてもよい。１つのみのアイテムが意図される場合、用語「１つ」又は類似の言語が使用される。また、本明細書で使用されるように、用語「有する」、「有している」、「含む」、「含んでいる」などは、オープンエンドな用語であることを意図している。さらに、「・・・に基づく」という句は、特に明記しない限り、「少なくとも部分的に、・・・に基づく」を意味することを意図している。さらに、「［Ａ］及び［Ｂ］のうちの少なくとも１つ」又は「［Ａ］又は［Ｂ］のうちの少なくとも１つ」といった表現は、Ａのみ、Ｂのみ、又はＡ及びＢの両方を含むものとして理解されるものとする。
【0017】
本明細書全体を通して、「一実施形態」、「実施形態」、又は類似の言語への参照は、示された実施形態に関連して説明された特定の特徴、構造、又は特性が、本解決的手段の少なくとも１つの実施形態に含まれることを意味する。したがって、本明細書全体を通して「一実施形態では」、「実施形態では」、及び類似の言語は、すべて同じ実施形態を指してもよいが、必ずしもそうではない。
【0018】
さらに、本開示の記載された特徴、利点、及び特性を、１つ又は複数の実施形態において任意の好適な方法で組み合わせることができる。当業者であれば、本明細書の説明に照らして、本開示は、特定の実施形態の１つ又は複数の特定の特徴又は利点がなくても実施され得ることを認識するであろう。他の例では、本開示のすべての実施形態に存在しない可能性がある追加の特徴及び利点が、特定の実施形態に認められる可能性がある。
【0019】
本開示の実施形態は、メッシュを圧縮することに関する。メッシュは、ボリュメトリックオブジェクトの表面を記述するいくつかのポリゴンで構成され得る。３Ｄ空間におけるその頂点、及び、連結性情報と呼ばれる、頂点がどのように連結されているかの情報によって、各ポリゴンを定義することができる。任意選択で、色、法線などの頂点属性は、メッシュ頂点に関連付けられてもよい。属性は、２Ｄ属性マップでメッシュをパラメータ化するマッピング情報を利用することで、メッシュの表面に関連付けられることもできる。このようなマッピングは、メッシュ頂点に関連付けられたＵＶ座標又はテクスチャ座標と呼ばれるパラメトリック座標のセットを使用して定義されることができる。２Ｄ属性マップは、テクスチャ、法線、変位などの高解像度の属性情報を記憶するために使用されることができる。高解像度の属性情報は、テクスチャマッピング及びシェーディングなどの様々な目的に使用されることができる。
【0020】
上述のように、３Ｄメッシュ又は動的メッシュは、経時的に変化するかなりの量の情報から構成され得るため、大量のデータを必要とする可能性がある。既存の規格は、時間変化する属性マップ及び連結性情報を考慮していない。また、既存の規格は、特にリアルタイムの条件下で、一定の連結性を有する動的メッシュを生成するボリュメトリック取得技術もサポートしていない。
【0021】
したがって、時間変化する連結性情報を持っており、任意選択で時間変化する属性マップを持ってもよい動的メッシュを直接取り扱うための新しいメッシュ圧縮規格が必要となる。本開示の実施形態は、このような動的メッシュを記憶及び伝送するための効率的な圧縮技術を可能にする。本開示の実施形態は、リアルタイム通信、ストレージ、自由視点ビデオ、ＡＲ及びＶＲなどの様々なアプリケーションのための非可逆圧縮及び／又は可逆圧縮を可能にする。
【0022】
本開示の１つ又は複数の実施形態によれば、動的メッシュ圧縮のための方法、システム、及び非一時的な記憶媒体が提供される。本開示の実施形態は、メッシュの１つのフレーム又はメッシュコンテンツのみが経時的に変化しない静的メッシュにも適用されることができる。
【0023】
【0024】
図１は、本開示の一実施形態による通信システム１００の概略ブロック図を示す。システム１００は、ネットワーク１５０を介して相互接続された少なくとも２つの端末１１０、１２０を含み得る。データの単方向伝送の場合、第１の端末１１０は、ネットワーク１５０を介して他方の端末１２０に伝送するために、メッシュデータを含み得るビデオデータをローカル位置でコード化することができる。第２の端末１２０は、ネットワーク１５０から他方の端末のコード化されたビデオデータを受信し、コード化されたデータをデコードし、復元されたビデオデータを表示することができる。単方向のデータ伝送は、メディアサービング用途などにおいて一般的であり得る。
【0025】
図１は、例えば、テレビ会議中に発生し得るコード化されたビデオの双方向伝送をサポートするために設けられた第２対の端末１３０、１４０を示す。データの双方向伝送の場合、各端末１３０、１４０は、ネットワーク１５０を介して他方の端末に伝送するために、ローカル位置でキャプチャされたビデオデータをコード化することができる。各端末１３０、１４０はまた、他方の端末によって送信されたコード化されたビデオデータを受信することができ、コード化されたデータをデコードすることができ、復元されたビデオデータをローカル表示装置に表示することができる。
【0026】
図１において、端末１１０～１４０は、例えば、サーバ、パーソナルコンピュータ、スマートフォン、及び／又は、他の任意のタイプの端末であってもよい。例えば、端末（１１０～１４０）は、ラップトップコンピュータ、タブレットコンピュータ、メディアプレーヤ及び／又は専用のビデオ会議機器であってもよい。ネットワーク１５０は、例えば有線及び／又は無線通信ネットワークを含む、端末１１０～１４０間でコード化されたビデオデータを伝達する任意の数のネットワークを表す。通信ネットワーク１５０は、回線交換及び／又はパケット交換チャネルでデータを交換することができる。代表的なネットワークは、電気通信ネットワーク、ローカルエリアネットワーク、ワイドエリアネットワーク及び／又はインターネットを含む。本議論の目的のために、ネットワーク１５０のアーキテクチャ及びトポロジーは、以下に本明細書で説明されない限り、本開示の動作にとって重要でない場合がある。
【0027】
図２は、開示する主題の用途の例として、ストリーミング環境におけるビデオエンコーダ及びデコーダの配置を示す。開示する主題は、例えば、ビデオ会議、デジタルＴＶ、及びＣＤ、ＤＶＤ、メモリスティックなどを含むデジタルメディアへの圧縮ビデオの格納など、を含む他のビデオ対応アプリケーションと共に使用されることができる。
【0028】
図２に示すように、ストリーミングシステム２００は、ビデオソース２０１とエンコーダ２０３とを含むキャプチャサブシステム２１３を含むことができる。ストリーミングシステム２００は、少なくとも１つのストリーミングサーバ２０５及び／又は少なくとも１つのストリーミングクライアント２０６をさらに含んでもよい。
【0029】
ビデオソース２０１は、例えば、３Ｄメッシュと３Ｄメッシュに関連付けられたメタデータとを含むストリーム２０２を作成してもよい。３Ｄメッシュは、ボリュメトリックオブジェクトの表面を記述するいくつかのポリゴンで構成され得る。例えば、３Ｄメッシュは、各頂点が３Ｄ座標（例えば、ｘ、ｙ、ｚ）に関連付けられる３Ｄ空間における複数の頂点を含んでもよい。ビデオソース２０１は、例えば、３Ｄセンサ（例えば、深度センサ）又は３Ｄ撮像技術（例えば、デジタルカメラ）と、３Ｄセンサ又は３Ｄ撮像技術から受信したデータを使用して３Ｄメッシュを生成するように構成されるコンピューティングデバイスとを含んでもよい。エンコードされたビデオビットストリームと比較して高データ量を有する可能性があるサンプルストリーム２０２は、ビデオソース２０１に結合されたエンコーダ２０３によって処理されることができる。エンコーダ２０３は、以下でより詳細に説明されるように、開示する主題の態様を可能にする又は実現するためのハードウェア、ソフトウェア、又はそれらの組み合わせを含んでもよい。エンコーダ２０３はまた、エンコードされたビデオビットストリーム２０４を生成することができる。非圧縮のストリーム２０２と比較してより低いデータ量を有する可能性がある、エンコードされたビデオビットストリーム２０４は、将来の使用のためにストリーミングサーバ２０５に記憶されることができる。１つ又は複数のストリーミングクライアント２０６は、ストリーミングサーバ２０５にアクセスして、エンコードされたビデオビットストリーム２０４のコピーであり得るビデオビットストリーム２０９を検索することができる。
【0030】
ストリーミングクライアント２０６は、ビデオデコーダ２１０及びディスプレイ２１２を含み得る。ビデオデコーダ２１０は、例えば、エンコードされたビデオビットストリーム２０４の入方向のコピーであるビデオビットストリーム２０９をデコードし、ディスプレイ２１２又は別のレンダリングデバイス（図示せず）でレンダリングされ得る出方向のビデオサンプルストリーム２１１を作成することができる。一部のストリーミングシステムにおいて、ビデオビットストリーム２０４、２０９は、特定のビデオコーディング／圧縮規格に従ってエンコードされることができる。
【0031】
図３は、エンコーダ及びデコーダを使用する動的メッシュ圧縮及びメッシュ再構築のためのフレームワーク３００の例示的な図である。
【0032】
図３に示すように、フレームワーク３００は、エンコーダ３０１及びデコーダ３５１を含み得る。エンコーダ３０１は、１つ又は複数の入力メッシュ３０５、ＵＶアトラス３１０を持つ１つ又は複数のメッシュ、占有マップ３１５、ジオメトリマップ３２０、属性マップ３２５、及びメタデータ３３０を含んでもよい。デコーダ３５１は、デコードされた占有マップ３３５、デコードされたジオメトリマップ３４０、デコードされた属性マップ３４５、デコードされたメタデータ３５０、及び再構築メッシュ３６０を含んでもよい。
【0033】
本開示の１つ又は複数の実施形態によれば、入力メッシュ３０５は、１つ又は複数のフレームを含んでもよく、１つ又は複数のフレームのそれぞれは、一連の動作によって前処理され、ＵＶアトラス３１０を持つメッシュを生成するために使用されることができる。一例として、前処理動作は、追跡、パラメータ化、再メッシュ化、ボクセル化などを含んでもよいが、これらに限定されるものではない。いくつかの実施形態では、前処理動作は、エンコーダ側でのみ行われ、デコーダ側では行われない場合がある。
【0034】
ＵＶアトラス３１０を持つメッシュは、２Ｄメッシュであってもよい。２Ｄメッシュは、それぞれが２Ｄ空間における座標（例えば、２Ｄ座標）に関連付けられた頂点のチャートであってもよい。２Ｄメッシュにおける各頂点は、３Ｄメッシュにおける対応する頂点に関連付けられてもよく、ここで、３Ｄメッシュにおける頂点は、３Ｄ空間における座標に関連付けられる。圧縮された２Ｄメッシュは、非圧縮の２Ｄメッシュと比較して情報が低減された２Ｄメッシュのバージョンであってもよい。例えば、２Ｄメッシュを、圧縮された２Ｄメッシュがサンプリングされた点を含むサンプリングレートでサンプリングすることができる。ＵＶアトラスを持つ２Ｄメッシュは、メッシュの各頂点が２Ｄアトラス上のＵＶ座標に関連付けられ得るメッシュであってもよい。ＵＶアトラス３１０を持つメッシュを、サンプリングに基づいて処理し、複数のマップに変換することができる。一例として、ＵＶアトラス３１０を、ＵＶアトラスを持つ２Ｄメッシュのサンプリングに基づいて処理し、占有マップ、ジオメトリマップ、及び属性マップに変換することができる。生成された占有マップ３３５、ジオメトリマップ３４０、及び属性マップ３４５を、適切なコーデック（例えば、ＨＶＥＣ、ＶＶＣ、ＡＶ１、ＡＶＳ３など）を使用してエンコードし、デコーダに伝送することができる。いくつかの実施形態では、メタデータ（例えば、連結性情報など）もデコーダに伝送されることができる。
【0035】
いくつかの実施形態では、デコーダ側では、デコードされた２Ｄマップからメッシュを再構築することができる。また、再構築メッシュに対して後処理及びフィルタリングを適用することもできる。いくつかの例では、３Ｄメッシュの再構築の目的で、メタデータをデコーダ側にシグナリングしてもよい。各パッチの境界頂点がシグナリングされていれば、デコーダ側から占有マップを推測することができる。
【0036】
ある態様によれば、デコーダ３５１は、エンコーダから、エンコードされた占有マップ、ジオメトリマップ、及び属性マップを受信することができる。デコーダ３１５は、本明細書で説明される実施形態に加えて、適切な技術及び方法を使用して、占有マップ、ジオメトリマップ、及び属性マップをデコードすることができる。いくつかの実施形態では、デコーダ３５１は、デコードされた占有マップ３３５、デコードされたジオメトリマップ３４０、デコードされた属性マップ３４５、及びデコードされたメタデータ３５０を生成することができる。１つ又は複数の再構築フィルタ及び技術を使用して、デコードされた占有マップ３３５、デコードされたジオメトリマップ３４０、デコードされた属性マップ３４５、及びデコードされたメタデータ３５０に基づいて、入力メッシュ３０５を再構築メッシュ３６０に再構築することができる。いくつかの実施形態では、メタデータ３３０を直接デコーダ３５１に送信してもよく、デコーダ３５１は、デコードされた占有マップ３３５、デコードされたジオメトリマップ３４０、及びデコードされた属性マップ３４５に基づいて、メタデータを使用して再構築メッシュ３６０を生成することができる。再メッシュ化、パラメータ化、追跡、ボクセル化などを含むがこれらに限定されないポストフィルタリング技術も、再構築メッシュ３６０に適用され得る。
【0037】
いくつかの実施形態によれば、３Ｄメッシュを、若干のセグメント（又はパッチ／チャート）にパーティション化することができる。各セグメントは、ジオメトリ、属性、及び連結性情報に関連付けられた、連結された頂点のセットで構成され得る。図４に示すように、ＵＶパラメータ化プロセスは、メッシュセグメント４００を２Ｄ ＵＶアトラスにおける２Ｄチャート（４０２，４０４）にマッピングする。メッシュセグメントにおける各頂点には、２Ｄ ＵＶアトラスにおける２Ｄ ＵＶ座標が割り当てられてもよい。２Ｄチャート（例えば、２Ｄメッシュ）における頂点は、それらの３Ｄ対応物として連結成分を形成することができる。各頂点のジオメトリ、属性、及び連結性情報は、同様に、それらの３Ｄ対応物から継承されてもよい。
【0038】
いくつかの実施形態によれば、３Ｄメッシュセグメントも、複数の別々の２Ｄチャートにマッピングすることができる。３Ｄメッシュセグメントが別々の２Ｄチャートにマッピングされる場合、３Ｄメッシュセグメントにおける頂点は、２Ｄ ＵＶアトラスにおける複数の頂点に対応し得る。図５に示すように、３Ｄメッシュセグメント４００に対応し得る３Ｄメッシュセグメント５００を、２Ｄ ＵＶアトラスにおいて、単一のチャートではなく、２つの２Ｄチャート（５０２Ａ，５０２Ｂ）にマッピングしてもよい。図５に示すように、３Ｄ頂点v1及びv4は、それぞれ２つの２Ｄ対応頂点v1'及びv4'を有する。
【0039】
図６は、複数のチャートを含む３Ｄメッシュの一般的な２Ｄ ＵＶアトラス６００の例を示しており、ここで、各チャートは、それらの３Ｄジオメトリ、属性、及び連結性情報に関連付けられた複数（例えば、３つ以上）の頂点を含み得る。
【0040】
境界頂点は、２Ｄ ＵＶ空間で定義されてもよい。図７に示すように、塗りつぶされた頂点は、連結成分（パッチ／チャート）の境界エッジ上にあるため、境界頂点である。境界エッジは、そのエッジが１つの三角形にのみ現れるか否かをチェックすることによって決定されてもよい。ジオメトリ情報（例えば、３Ｄ ｘｙｚ座標）及び２Ｄ ＵＶ座標は、ビットストリームでシグナリングされてもよい。
【0041】
動的メッシュシーケンスは、経時的に変化するかなりの量の情報から構成され得るため、大量のデータを必要とする可能性がある。したがって、このようなコンテンツを記憶及び伝送するには、効率的な圧縮技術が必要となる。
【0042】
本開示の実施形態を、個別に使用することも、任意の順序で組み合わせることもできる。さらに、方法（又は実施形態）、エンコーダ、及びデコーダのそれぞれを、処理回路（例えば、１つ又は複数のプロセッサ或いは１つ又は複数の集積回路）によって実現することができる。一例では、１つ又は複数のプロセッサは、非一時的なコンピュータ読取可能な媒体に記憶されるプログラムを実行する。
【0043】
図８は、１つ又は複数の実施形態による、例示的なジオメトリエンコードパイプライン８００を示す。エンコードパイプライン８００は、エンコーダ３０１によって実行されてもよい。ジオメトリエンコードパイプラインは、メッシュを連結成分（例えば、チャート又は２Ｄメッシュ）にパーティション化すること（８０２）を含み得る。パーティション化後、チャート境界抽出（８０４）及びチャート分類（８０６）を行うことができる。
【0044】
１つ又は複数の例では、チャートの統計に基づいて、各チャートを生（ｒａｗ）チャートモード又はサンプリングモードのいずれかによってコード化することができる。生チャートモードの場合、内部頂点を予測によって直接コード化（８０８）することができる。サンプリングモードの場合、チャートを２Ｄ ＵＶ空間において適応的にサンプリングし（８１０）、２Ｄジオメトリ画像アトラスにパックし（８１２）、続いてコード化する（８１８）。適応的サンプリング（８１０）は、異なるサンプリングレートを持つ異なるチャートを可能にするために適用されてもよい。次に、ジオメトリ画像を、ビデオコーデックによってコード化する（８１８）。境界頂点を抽出し、予測、量子化、及びエントロピーコーディングによってコード化する（８１６）。１つ又は複数の例では、再構築されたジオメトリに基づいて色を元のテクスチャマップから新しいテクスチャマップにトランスファーするために、テクスチャマップを、再カラー化アルゴリズムによって更新してもよい。
【0045】
１つ又は複数の実施形態によれば、各チャートについて、境界頂点を検出することができる。境界頂点は、境界エッジ上にある頂点であってもよく、ここで、境界エッジは、単一の三角形に関連付けられるエッジである。図９（Ａ）及び図９（Ｂ）に示すように、２種類の境界（例えば、外部境界及び内部境界）が存在する。図９（Ａ）及び図９（Ｂ）は、チャート境界の検出の例を示す。太線の頂点とエッジは、外部境界上にあってもよく、破線の頂点とエッジは、内部境界上にあり、他の頂点とエッジは、どの境界にも属さない。図９（Ａ）では、１つの外部境界を持つホールは存在せず、図９（Ｂ）では、１つの外部境界と１つの内部境界を持つホールが１つ存在する。
【0046】
各チャートについて、１つの外部境界ループ（例えば、図９（Ａ）及び図９（Ｂ）の実線境界）が存在する。外部境界ループは、頂点Ｂ０、Ｂ１、Ｂ２、Ｂ３、Ｂ４、Ｂ５、Ｂ６、及びＢ７によって定義されてもよい。これらの頂点は境界頂点と呼ばれてもよい。図９（Ａ）及び図９（Ｂ）に示すように、境界頂点によって定義されるエッジは、単一の三角形に現れる。例えば、頂点Ｂ０とＢ１の間に定義されるエッジは、単一の三角形に現れる。１つ又は複数の例では、外部境界ループは、チャートの外部ポリゴンを定義し、他のすべての頂点は、このポリゴンの内側にあってもよい。１つ又は複数の例では、外部境界ループの内側に内部境界ループが存在してもよい（例えば、図９（Ｂ）の破線）。内部境界ループは、三角形を定義しない頂点によって定義されるループであってもよい。例えば、図９（Ａ）の構成は、内部境界ループを一切含まないが、図９（Ｂ）の構成は、少なくとも１つの内部境界ループ（例えば、破線）を含む。図９（Ｂ）に示すように、破線は、三角形を定義していない。内部境界ループは、チャートのホールに対応し得る。１つ又は複数の例では、いずれの外部境界ループにもいずれの内部境界ループにも属さない頂点を、内部頂点として識別してもよい。
【0047】
いくつかの実施形態では、エンコーダの再パラメータ化アルゴリズムは、チャートの内側のホールを排除することができる。エンコーダ側のホールを排除することにより、内部境界ループをチャート（例えば、２Ｄメッシュ）から排除することができる。
【0048】
１つ又は複数の実施形態によれば、チャートの特性及び／又は１つ又は複数の応用シナリオに基づいて、各チャートを異なる方法によってコード化することができる。いくつかの実施形態では、２つのコーディング方法を使用することができる。１つ目の方法は、チャートを所定のサンプリングレート（例えば、ステップサイズ）でサンプリングし、生成されたジオメトリ及び属性マップをビデオコーデックによってコード化し得るサンプリングベースの方法であってもよい。２つ目の方法は、内部頂点と、頂点間の連結性とをサンプリングせずに直接コード化し得る生チャートコーディングモードであってもよい。
【0049】
１つ又は複数の実施形態によれば、適応的サンプリング法が適用されるか否かを示すために、高レベルシンタックスで最初に制御フラグをシグナリングすることができる。フラグが真の場合、各チャートに対して異なるサンプリングレートが適用され得るように、適応的サンプリングを有効化することができる。フラグが偽の場合、すべてのチャートに対して同じサンプリングレートが適用され得るように、適応的サンプリングを無効化することができる。
【0050】
１つ又は複数の例では、適応的サンプリングが有効化されるか否かにかかわらず、高レベルシンタックスで基本サンプリングレート（ＢＳ）をシグナリングしてもよい。基本サンプリングレートは、以下の１つ又は複数の側面で使用されることができる。適応的サンプリングが有効化される場合、基本サンプリングレートを、予測子として使用してもよい。各チャートは、基本サンプリングレートとの差(例えば、Ｓ－ＢＳ)によってサンプリングレートをシグナリングすることができる。適応的サンプリングが無効化される場合、基本サンプリングレートは、すべてのチャートの一定のサンプリングレートとして使用されることができる。基本サンプリングレートは、生チャートを含むチャートにおける境界ＵＶ座標のコーディングにおける量子化ステップとして使用されてもよく、これにより、より効率的な境界情報のコーディングが可能になる。
【0051】
元のサンプリング位置からのＵＶ座標のオフセットをチャートごとにシグナリングしてもよい。(offsetu,offsetv)として示されるオフセットは、パックされたジオメトリ画像におけるサンプリングされた頂点を見つけるために使用されることができる。これは、テクスチャ画像及びジオメトリ画像の異なる配置を可能にする。
【0052】
１つ又は複数の実施形態によれば、ジオメトリマップを、１つ又は複数のビデオコーデックによってエンコードすることができる。ジオメトリマップのコーディング効率を向上させるために、図１０（Ａ）及び図１０（Ｂ）に示すように、ジオメトリマップにおいて、非占有ピクセルを、隣接する占有ピクセルで埋めてもよい。図１０（Ａ）は、非占有ピクセルを埋める前の例示的なジオメトリマップを示し、図１０（Ｂ）は、非占有ピクセルを埋めた後の例示的なジオメトリマップを示す。１つ又は複数の例では、占有情報を、ビットストリーム内でエンコードしないが、代わりに境界頂点から推測することができる。デコーダ側では、占有マップを、 境界頂点のＵＶ座標から差し引くことができ、ジオメトリマップにおける占有ピクセル値は、メッシュ再構築に使用されることができる。
【0053】
境界頂点のＵＶ座標とＸＹＺ座標を含む境界情報を、ビットストリーム内で予測、量子化、エントロピーコーディングすることができる。量子化ステップサイズを、品質とビットレートのトレードオフのためにエンコーダ側で設定してもよい。異なるＵＶ座標を持つ境界頂点は、同じ３Ｄ点からのものであるため、同じＸＹＺ座標を有してもよい。デコーダによって再構築されたメッシュが３Ｄ境界エッジ全体にわたって正確であることを確保するために、３Ｄから２Ｄへのマッピング関数が維持され、そうでなければ、３Ｄ再構築には、再構築された３Ｄメッシュの視覚的品質を著しく低下させ得るホールやクラックが生じる可能性がある。したがって、ＵＶからＸＹＺへ（例えば、ＵＶ２ＸＹＺと呼ばれる）のインデックス配列を、境界頂点のマッピング関数を示すためにシグナリングしてもよい。ＵＶ２ＸＹＺインデックス配列は、各２Ｄ ＵＶ頂点を３Ｄ ＸＹＺ頂点にマッピングするインデックスの１Ｄ配列であってもよい。
【0054】
１つ又は複数の例では、各チャートについて、チャートにおける境界ループの数をシグナリングしてもよく、各境界ループについて、境界ループにおける頂点の数をシグナリングしてもよい。外部境界ループを、他の内部境界ループよりも先にシグナリングしてもよい。以下の情報をシグナリングして、境界情報を伝達することができる。すなわち、（ｉ）各チャートの２Ｄ ＵＶ座標、（ｉｉ）各チャートのＵＶ２ＸＹＺインデックス配列、及び（ｉｉｉ）一意の３Ｄ ＸＹＺ座標。重複する３Ｄ座標は除去してもよいが、対応関係をＵＶ２ＸＹＺインデックス配列に保持してもよい。一意の境界ＸＹＺ座標を一度コード化し、すべてのチャートに共有させてもよい。エンコーダ側では、各チャートが外部境界ループを１つだけ持ち得ることを保証できるため、各チャートの境界ループの数をシグナリングするのをスキップすることにより、シンタックステーブルをさらに簡素化してもよい。ＵＶ２ＸＹＺのコーディングにより、異なるチャートで複数の対応関係を有する場合に境界ｘｙｚ頂点の一意性が維持されるため、再構築されたジオメトリがホールやクラックなく境界全体にわたって正確であることが保証される。
【0055】
１つ又は複数の実施形態によれば、再構築されたジオメトリ画像（例えば、サンプリングされたチャートの場合）、又は以前に再構築された境界ＸＹＺ頂点（例えば、生チャートの場合）のいずれかから、境界ＸＹＺ頂点情報を予測することができる。境界ＸＹＺ頂点の予測残差を、次のように予測値から元のジオメトリを減算することによって導出し得る。
【数1】
【0056】
【0057】
予測残差を量子化し、エントロピーコーディングしてもよい。例えば、残差を次のようにスカラー値で量子化することができる。
【数2】
【0058】
ここで、QSxyzは、高レベルシンタックスでシグナリングされ得る量子化ステップサイズである。
【0059】
再構築された境界ＸＹＺ頂点を、次のように導出し得る。
【数3】
【0060】
境界ＸＹＺ頂点の予測を、次のように決定してもよい。少なくとも１つのサンプリングされたチャートで対応関係を有する境界ＸＹＺ頂点について、予測を次のように再構築されたジオメトリ画像から導出し得る。
【数4】
【0061】
ここで、Set(i)は、同じ境界ＸＹＺ頂点に対応する境界ＵＶ頂点のすべてのインデックスとインデックスｉの集合である。
【数5】
【0062】
【数6】
【0063】
対応するすべてのＵＶ座標が生チャートに属する境界ＸＹＺ頂点については、予測を、次のように以前に再構築された境界ＸＹＺ頂点から導出し得る。
【数7】
【0064】
いくつかの実施形態によれば、生チャートコーディングモードは、内部頂点をサンプリングすることなく直接エンコードする。１つ又は複数の例では、生チャートの内部頂点は、境界頂点として扱われてもよく、これらを境界頂点と連接することができ、ここで、上述したのと同じコーディング方法が適用され得る。１つ又は複数の例では、生チャートの内部頂点を境界頂点から分離してもよい。例えば、各生チャートについて、内部頂点なしで境界頂点を最初にコード化することができ、その後に内部頂点をコード化することができる。内部頂点には、境界頂点と同様の予測、量子化、及びエントロピーコーディングスキームを適用してもよい。１つ又は複数の例では、ＵＶ座標とＸＹＺ座標のみはコード化される必要があり、内部頂点にはＵＶ２ＸＹＺインデックス配列は不要である。境界頂点の数と内部頂点の数の両方を、生チャートごとにシグナリングしてもよい。
【0065】
図１１は、１つ又は複数の実施形態による、例示的なジオメトリデコードパイプライン１１００を示す。デコードパイプライン１１００は、デコーダ３５１によって行われてもよい。境界情報サブストリームから境界頂点をデコード（１１０２）及び再構築（１１０６）することができる。ビデオサブストリームからジオメトリ画像をデコードする（１１０４）ことができる。各チャートについて、内部頂点の再構築は、コーディングモード（例えば、生チャートモード、サンプリングモード）の点で異なる。生チャートモードが使用される場合、直接境界情報サブストリームから内部頂点をデコードする（１１０８）。内部頂点が、境界頂点によって定義されるポリゴンにおけるサンプリングされた頂点であるサンプリングモードが使用される場合、サンプリングされた頂点を再構築する（１１１０）。再構築後、各チャートに対して三角測量（１１１２）を適用して、再構築された境界頂点と内部頂点の間の連結性情報を導出することができ、再構築メッシュ（１１１４）を得ることができる。１つ又は複数の例では、メッシュフィルタリング処理（１１１６）を適用して、再構築品質を向上させるために境界上などのジオメトリをさらに平滑化してもよい。
【0066】
１つ又は複数の例では、正しい対応関係を見つけるために、デコードされたＵＶ２ＸＹＺインデックス配列を使用して境界ＸＹＺ頂点を再構築してもよい。例えば、各チャートについて、デコードされた境界ＵＶ座標を次式によって導出し得る。
【数8】
【0067】
【0068】
１つ又は複数の例では、i=0,1,…,Nj-1であり、ここで、Njは、ｊ番目のチャートの境界頂点の数である。チャートにおけるデコードされた境界ＸＹＺ座標を次式によって導出し得る。
【数9】
【0069】
【0070】
いくつかの実施形態によれば、サンプリングベースの方法によってコード化されるチャートについて、内部頂点を、デコードされた境界頂点とジオメトリ画像によって再構築することができる。例えば、まず、再構築された境界ＵＶ座標は、チャートのポリゴンを定義してもよく、次に、チャートのバウンディングボックスの内側のすべてのサンプリング点をチェックして、その点がポリゴンの内側にあるか否かを確認する。もしその点がポリゴンの内側にあれば、その点を内部サンプリング点として識別する。図１２は、境界ポリゴン（例えば、連結点）の例を示しており、ここで、内部サンプリング点が境界ポリゴンの内側にある。１つ又は複数の例では、点がポリゴンの内側にあるか否かをチェックする「クロスカウント」アルゴリズムを使用することができる。点がポリゴンの内側にあるか否かをチェックするために、当業者に知られている他の適切なアルゴリズムを使用してもよい。例えば、再構築された境界ｕｖ座標によって定義されるポリゴンを次のように示す。
【数10】
【0071】
内部サンプリングＵＶ座標を次のように示してもよい。
【数11】
【0072】
ここで、i=0,1,…,Kj-1であり、Kjは、ｊ番目のチャートの内部頂点の数である。
【0073】
【数12】
【0074】
【0075】
【0076】
【0077】
図１３は、３Ｄメッシュを圧縮し、コード化されたビデオビットストリームを生成するための、エンコーダ３０１などのエンコーダによって行われる例示的なプロセス１３００を示す。プロセスは、図５に示すように、さらに動作８０２（図８）に従って、３Ｄメッシュを１つ又は複数の２Ｄメッシュに変換する動作Ｓ１３０２から開始してもよい。プロセスは、境界抽出を行って１つ又は複数の２Ｄメッシュにおける境界頂点を識別することができる動作Ｓ１３０４に進む。例えば、境界抽出を動作８０４（図８）に従って行ってもよい。
【0078】
プロセスは、例えば動作８０６に従って、チャート分類を行う動作Ｓ１３０６に進む。プロセスは、内部頂点のコーディングを行う動作Ｓ１３０８に進む。例えば、１つ又は複数の２Ｄメッシュの内部頂点を、生チャートモード（動作８０８）又はサンプリングモード（動作８１０、８１２、８１８）に従ってエンコードしてもよい。プロセスは、例えば動作８１６に従って、境界頂点のコーディングを行う動作Ｓ１３１０に進む。プロセスは、エンコードされたメッシュ情報と、例えば内部頂点のコーディングモードなどの任意の他のシグナリング情報とを含むコード化されたビデオビットストリームを生成する動作Ｓ１３１２に進む。
【0079】
図１４は、ビデオビットストリームをデコードし、３Ｄメッシュを再構築するための、デコーダ３５１などのデコーダによって行われる例示的なプロセス１４００を示す。プロセスは、コード化されたビデオビットストリームを受信する動作Ｓ１４０２から開始してもよい。コード化されたビデオビットストリームは、動作Ｓ１３１２（図１３）で生成されたビットストリームに対応し得る。コード化されたビデオビットストリームは、３Ｄメッシュに対応する１つ又は複数の２Ｄメッシュを含み得る。
【0080】
プロセスは、各２Ｄメッシュにおける１つ又は複数の境界頂点を再構築する動作Ｓ１４０４に進む。境界頂点の再構築を動作１１０６（図１１）に従って行ってもよい。プロセスは、１つ又は複数の２Ｄメッシュの内部頂点を再構築するための再構築モードを決定する動作Ｓ１４０６に進む。例えば、コード化されたビデオビットストリームに含まれるフラグに基づいて、内部頂点をデコードするために生チャートモードを使用するかサンプリングモードを使用するかを決定することができる。
【0081】
プロセスは、決定された再構築モードに基づいて１つ又は複数の２Ｄメッシュの内部頂点を再構築する動作Ｓ１４０８に進む。プロセスは、１つ又は複数の２Ｄメッシュの再構築された境界頂点及び１つ又は複数の２Ｄメッシュの内部頂点に基づいて３Ｄメッシュを再構築する動作Ｓ１４１０に進む。動作Ｓ１４１０で行われる再構築は、図１１の三角測量動作１１１２、メッシュ再構築動作１１１４、及びメッシュフィルタリング動作１１１６を含み得る。
【0082】
上述の技術は、コンピュータ読取可能な命令を使用し、１つ又は複数のコンピュータ読取可能な媒体に物理的に記憶されたコンピュータソフトウェアとして実現され得る。例えば、図１５は、本開示の特定の実施形態を実現するのに適したコンピュータシステム１５００を示す。
【0083】
コンピュータソフトウェアは、コンピュータ中央処理装置（CPU）、グラフィックス処理装置（GPU）などにより、直接、または解釈、マイクロコード実行などを介して実行され得る命令を含むコードを作成するために、アセンブル、コンパイル、リンク、または同様のメカニズムを受け得る任意の適切なマシンコードまたはコンピュータ言語を使用してコーディングされ得る。
【0084】
命令は、例えば、パーソナルコンピュータ、タブレットコンピュータ、サーバ、スマートフォン、ゲームデバイス、モノのインターネットデバイスなどを含む、様々なタイプのコンピュータ又はその構成要素上で実行されることができる。
【0085】
コンピュータシステム１５００について図１５に示される構成要素は、本質的に例示的なものであり、本開示の実施形態を実現するコンピュータソフトウェアの使用範囲又は機能に関する制限を示唆することを意図するものではない。構成要素の構成は、コンピュータシステム１５００の非限定的な実施形態に示されている構成要素のいずれか1つ、または構成要素の組合せに関して、依存性を有するものとも、要件を有するものとも解釈されてはならない。
【0086】
コンピュータシステム１５００は、特定のヒューマンインタフェース入力デバイスを含んでもよい。そのようなヒューマンインタフェース入力デバイスは、例えば、触覚入力（例えば、キーストローク、スワイプ、データグローブの動きなど）や、オーディオ入力（例えば、音声、拍手など）、視覚入力（例えば、ジェスチャーなど）、嗅覚入力（図示せず）を介して、1人または複数の人間のユーザによる入力に応答することができる。ヒューマンインタフェースデバイスは、例えばオーディオ（例えば、音声、音楽、環境音など）、画像（例えば、スキャン画像、静止画カメラから得られた写真画像など）、ビデオ（例えば、２次元ビデオ、立体映像を含む３次元ビデオなど）など、人間による意識的な入力に必ずしも直接関連しない特定のメディアをキャプチャするために使用されることもできる。
【0087】
入力ヒューマンインタフェースデバイスは、キーボード１５０１、マウス１５０２、トラックパッド１５０３、タッチスクリーン１５１０、データグローブ、ジョイスティック１５０５、マイク１５０６、スキャナ１５０７、及びカメラ１５０８のうちの１つ又は複数（それぞれの1つのみを図示）を含んでもよい。
【0088】
コンピュータシステム１５００は、特定のヒューマンインタフェース出力デバイスも含み得る。そのようなヒューマンインタフェース出力デバイスは、例えば、触覚出力、音、光、および嗅覚／味覚を通して、1人または複数の人間のユーザの感覚を刺激することができる。そのようなヒューマンインタフェース出力デバイスは、触覚出力デバイス（例えば、タッチスクリーン１５１０、データグローブ、又はジョイスティック１５０５による触覚フィードバックであるが、入力デバイスとして機能しない触覚フィードバックデバイスも存在し得る）を含み得る。例えば、そのようなデバイスは、オーディオ出力デバイス（例えば、スピーカ１５０９、ヘッドホン（図示せず）など）、視覚出力デバイス（例えば、ＣＲＴスクリーン、ＬＣＤスクリーン、プラズマスクリーン、ＯＬＥＤスクリーンを含むスクリーン１５１０など、それぞれタッチスクリーン入力機能の有無にかかわらず、それぞれ触覚フィードバック機能の有無にかかわらず、そのいくつかはステレオグラフィック出力などの手段を通して、２次元視覚出力又は３次元を超える出力を出力できるものもある、仮想現実メガネ（図示せず）、ホログラフィックディスプレイ、及びスモークタンク（図示せず））、及びプリンタ（図示せず）であり得る。
【0089】
コンピュータシステム１５００は、人間がアクセス可能な記憶デバイス、及びそれらに関連する媒体、例えば、ＣＤ／ＤＶＤなどの媒体１５２１を伴うＣＤ／ＤＶＤ ＲＯＭ／ＲＷ１５２０を含む光学媒体、サムドライブ１５２２、リムーバブルハードドライブ又はソリッドステートドライブ１５２３、例えばテープやフロッピーディスク等のレガシー磁気媒体（図示せず）、例えばセキュリティドングル等の特殊なＲＯＭ／ＡＳＩＣ／ＰＬＤベースのデバイス（図示せず）などを含むことも可能である。
【0090】
現在開示されている主題に関連して使用される「コンピュータ読取可能な媒体」という用語は、伝送媒体、搬送波、又は他の一時的な信号を含まないことも、当業者は理解されたい。
【0091】
コンピュータシステム１５００は、１つ又は複数の通信ネットワークへのインタフェースを含むこともできる。ネットワークは、例えば、無線、有線、光であり得る。ネットワークはさらに、ローカル、広域、メトロポリタン、車両および産業用、リアルタイム、遅延耐性などであり得る。ネットワークの例は、イーサネットなどのローカルエリアネットワーク、無線ＬＡＮ、ＧＳＭ、３Ｇ、４Ｇ、５Ｇ、ＬＴＥなどを含むセルラーネットワーク、ケーブルＴＶ、衛星ＴＶ、地上波放送ＴＶを含むＴＶ有線または無線ワイドエリアデジタルネットワーク、ならびにＣＡＮＢｕｓを含む車両および産業用などを含む。特定のネットワークは一般に、特定の汎用データポートまたは周辺バス１５４９に接続された外部ネットワークインタフェースアダプタを必要とする（例えば、コンピュータシステム１５００のUSBポートなど、他のものは、以下に説明するようにシステムバスへの接続によってコンピュータシステム１５００のコアに、共通的に統合される（例えば、ＰＣコンピュータシステムへのイーサネットインタフェース、またはスマートフォンコンピュータシステムへのセルラーネットワークインタフェース）。これらのネットワークのいずれかを使用して、コンピュータシステム１５００は、他のエンティティと通信することができる。このような通信は、単方向、受信のみ（例えば、ＴＶの放送）、単方向の送信のみ（例えば、特定のＣＡＮＢｕｓデバイスへのＣＡＮＢｕｓ）、または双方向、例えば、ローカルまたはワイドエリアデジタルネットワークを使用する他のコンピュータシステム向けであり得る。そのような通信は、クラウドコンピューティング環境１５５５への通信を含むことができる。上述のように、特定のプロトコルおよびプロトコルスタックは、それらのネットワークおよびネットワークインタフェースのそれぞれで使用されることができる。
【0092】
前述のヒューマンインタフェースデバイス、ヒューマンアクセス可能な記憶デバイス、及びネットワークインタフェース１５５４は、コンピュータシステム１５００のコア１５４０に接続されることができる。
【0093】
コア１５４０は、１つ又は複数の中央処理装置（ＣＰＵ）１５４１、グラフィックス処理装置（ＧＰＵ）１５４２、フィールドプログラマブルゲートエリア（ＦＰＧＡ）１５４３の形態の特殊なプログラマブル処理装置、特定のタスク用のハードウェアアクセラレータ１５４４等を含むことができる。これらのデバイスは、リードオンリーメモリ（ＲＯＭ）１５４５、ランダムアクセスメモリ１５４６、例えばユーザがアクセスできない内部ハードディスク、ＳＳＤなどの内部大容量ストレージ１５４７とともに、システムバス１５４８を介して接続されてもよい。いくつかのコンピュータシステムでは、システムバス１５４８は、１つ又は複数の物理プラグの形態でアクセス可能であり、追加のＣＰＵ、ＧＰＵなどによる拡張が可能である。周辺デバイスは、コアのシステムバス１５４８に直接接続されても、又は周辺バス１５４９を介して接続されてもよい。周辺バスのアーキテクチャは、ＰＣＩ、ＵＳＢなどを含む。グラフィックスアダプタ１５５０は、コア１５４０に含まれてもよい。
【0094】
ＣＰＵ１５４１、ＧＰＵ１５４２、ＦＰＧＡ１５４３、及びアクセラレータ１５４４は、組み合わせて、前述のコンピュータコードを構成し得る特定の命令を実行することができる。そのコンピュータコードは、ＲＯＭ１５４５又はＲＡＭ１５４６に記憶されることができる。移行データはまた、ＲＡＭ１５４６に記憶されることができるが、永久データは、例えば、内部大容量ストレージ１５４７に記憶されることができる。１つ又は複数のＣＰＵ１５４１、ＧＰＵ１５４２、大容量ストレージ１５４７、ＲＯＭ１５４５、ＲＡＭ１５４６などと密接に関連付けられることができるキャッシュメモリの使用によって、任意のメモリデバイスへの高速な記憶及び検索を可能にすることができる。
【0095】
コンピュータ読取可能な媒体は、様々なコンピュータ実装動作を実施するためのコンピュータコードをその上に持つことができる。媒体及びコンピュータコードは、本開示の目的のために特別に設計及び構築されたものであってもよいし、コンピュータソフトウェア分野の技術に精通する者によく知られ利用可能な種類のものであってもよい。
【0096】
一例として、限定ではなく、アーキテクチャ１５００、具体的にはコア１５４０を有するコンピュータシステムは、プロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡ、アクセラレータなどを含む）が１つ又は複数の有形のコンピュータ読取可能な媒体で具現化されたソフトウェアを実行する結果として、機能を提供することができる。そのようなコンピュータ読取可能な媒体は、上述したようにユーザがアクセス可能な大容量ストレージのほか、コア内部大容量ストレージ１５４７又はＲＯＭ１５４５などの非一時的な性質のコア１５４０の特定のストレージにも関連する媒体であり得る。本開示の様々な実施形態を実現するソフトウェアは、そのようなデバイスに記憶され、コア１５４０によって実行され得る。コンピュータ読取可能な媒体は、特定のニーズに応じて、１つ又は複数のメモリデバイス又はチップを含むことができる。ソフトウェアにより、コア１５４０、特にその中のプロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡなどを含む）は、ＲＡＭ１５４６に記憶されたデータ構造の定義、及びソフトウェアによって定義された処理による、そのようなデータ構造の変更を含む、本明細書に記載の特定の処理、又は特定の処理の特定の部分を実行することができる。加えて、又は代替として、コンピュータシステムは、本明細書に記載の特定の処理、または特定の処理の特定の部分を実行するために、ソフトウェアの代わりに、または共に動作し得る回路（例えば、アクセラレータ１５４４）に配線された、またはそうでなければ具体化されたロジックの結果として機能を提供することができる。ソフトウェアへの参照には、ロジックを含めることができ、必要に応じてその逆も可能である。必要に応じて、コンピュータ読み取り可能な媒体への参照は、実行のためのソフトウェアを記憶する回路（例えば、集積回路（ＩＣ）など）、実行のためのロジックを具体化する回路、またはこれらの両方を包含することができる。本開示は、ハードウェアとソフトウェアの任意の適切な組合せを包含する。
【0097】
本開示は、いくつかの非限定的な実施形態を説明したが、本開示の範囲内にある変更、置換、及び様々な代替の等価物が存在する。したがって、当業者は、本明細書で明示的に示されていないか又は説明されていないが、本開示の原理を具現化し、ゆえにその趣旨及び範囲内にある多数のシステム及び方法を発明することができることが理解されるであろう。
【0098】
上記の開示は、以下に列記する実施形態も包含する。
【0099】
（１）デコーダの少なくとも１つのプロセッサが実行する方法であって、３次元（３Ｄ）メッシュに対応する１つ又は複数の２次元（２Ｄ）メッシュを含むコード化されたビデオビットストリームを受信するステップと、前記１つ又は複数の２Ｄメッシュのそれぞれの１つ又は複数の境界頂点を再構築するステップと、前記１つ又は複数の２Ｄメッシュのそれぞれの１つ又は複数の内部頂点を再構築するための再構築モードが、（ｉ）サンプリングモードと、（ｉｉ）非サンプリングモードのうちの１つであるか否かを決定するステップと、決定された前記再構築モードに基づいて、前記１つ又は複数の２Ｄメッシュのそれぞれの前記１つ又は複数の内部頂点を再構築するステップと、前記１つ又は複数の２Ｄメッシュのそれぞれの再構築された前記１つ又は複数の境界頂点と、前記１つ又は複数の２Ｄメッシュのそれぞれの前記再構築された１つ又は複数の内部頂点とに基づいて、前記３Ｄメッシュを再構築するステップと、を含む、方法。
【0100】
（２）前記再構築モードの決定は、前記コード化されたビデオビットストリームに含まれるフラグに基づいている、特徴（１）に記載の方法。
【0101】
（３）前記コード化されたビデオビットストリームに含まれる１つ又は複数のジオメトリマップをデコードするステップをさらに含む、特徴（１）又は（２）に記載の方法。
【0102】
（４）前記再構築モードが前記サンプリングモードであると決定することに基づいて、前記１つ又は複数の２Ｄメッシュのそれぞれの前記１つ又は複数の内部頂点を再構築するステップは、前記１つ又は複数の２Ｄメッシュのそれぞれの境界ポリゴンを、前記１つ又は複数の２Ｄメッシュのそれぞれの対応する再構築された境界頂点に基づいて決定するステップと、前記１つ又は複数の２Ｄメッシュのそれぞれの前記境界ポリゴンに含まれる各頂点を内部頂点として識別するステップと、を含む、特徴（３）に記載の方法。
【0103】
（５）前記３Ｄメッシュを再構築するステップは、デコードされた前記１つ又は複数のジオメトリマップにおける対応する位置、サンプリングレート、及びデコードされた前記１つ又は複数のジオメトリマップにおけるオフセットに基づいて、前記３Ｄメッシュにおける内部頂点を導出するステップを含む、特徴（４）に記載の方法。
【0104】
（６）前記再構築モードが前記非サンプリングモードであると決定することに基づいて、１つ又は複数の２Ｄメッシュのそれぞれの前記１つ又は複数の内部頂点は、前記１つ又は複数の２Ｄメッシュのそれぞれの再構築された前記１つ又は複数の境界頂点に基づいて再構築される、特徴（１）ないし（５）のいずれか一項に記載の方法。
【0105】
（７）前記３Ｄメッシュを再構築するステップは、前記１つ又は複数の２Ｄメッシュの再構築された内部頂点と、前記１つ又は複数の２Ｄメッシュにおける対応する再構築された境界頂点とを連接することによって、前記３Ｄメッシュにおける内部頂点を再構築するステップを含む、特徴（６）に記載の方法。
【0106】
（８）前記３Ｄメッシュを再構築するステップは、前記３Ｄメッシュにおける境界頂点を、前記１つ又は複数の２Ｄメッシュのそれぞれの対応する１つ又は複数の再構築された境界頂点を前記３Ｄメッシュにおける前記境界頂点にマッピングする２Ｄから３Ｄへのインデックス配列に基づいて再構築するステップを含む、特徴（１）ないし（７）のいずれか一項に記載の方法。
【0107】
（９）プログラムコードを記憶するように構成される少なくとも１つのメモリと、前記プログラムコードを読み取り、前記プログラムコードによって指示される通りに動作するように構成される少なくとも１つのプロセッサと、を備え、前記プログラムコードは、前記少なくとも１つのプロセッサに、３次元（３Ｄ）メッシュに対応する１つ又は複数の２次元（２Ｄ）メッシュを含むコード化されたビデオビットストリームを受信させるように構成される受信コードと、前記少なくとも１つのプロセッサに、前記１つ又は複数の２Ｄメッシュのそれぞれの１つ又は複数の境界頂点を再構築させるように構成される第１の再構築コードと、前記少なくとも１つのプロセッサに、前記１つ又は複数の２Ｄメッシュのそれぞれの１つ又は複数の内部頂点を再構築するための再構築モードが、（ｉ）サンプリングモードと、（ｉｉ）非サンプリングモードのうちの１つであるか否かを決定させるように構成される第１の決定コードと、前記少なくとも１つのプロセッサに、決定された前記再構築モードに基づいて、前記１つ又は複数の２Ｄメッシュのそれぞれの前記１つ又は複数の内部頂点を再構築させるように構成される第２の再構築コードと、前記少なくとも１つのプロセッサに、前記１つ又は複数の２Ｄメッシュのそれぞれの再構築された前記１つ又は複数の境界頂点と、前記１つ又は複数の２Ｄメッシュのそれぞれの前記再構築された１つ又は複数の内部頂点とに基づいて、前記３Ｄメッシュを再構築させるように構成される第３の再構築コードと、を含むデコーダ。
【0108】
（１０）前記再構築モードの決定は、前記コード化されたビデオビットストリームに含まれるフラグに基づいている、特徴（９）に記載のデコーダ。
【0109】
（１１）前記プログラムコードは、前記少なくとも１つのプロセッサに、前記コード化されたビデオビットストリームに含まれる１つ又は複数のジオメトリマップをデコードさせるように構成されるデコードコードをさらに含む、特徴（９）又は（１０）に記載のデコーダ。
【0110】
（１２）前記再構築モードが前記サンプリングモードであると決定することに基づいて、前記第２の再構築コードは、前記少なくとも１つのプロセッサに、前記１つ又は複数の２Ｄメッシュのそれぞれの境界ポリゴンを、前記１つ又は複数の２Ｄメッシュのそれぞれの対応する再構築された境界頂点に基づいて決定させるように構成される第２の決定コードと、前記少なくとも１つのプロセッサに、前記１つ又は複数の２Ｄメッシュのそれぞれの前記境界ポリゴンに含まれる各頂点を内部頂点として識別させるように構成される識別コードと、をさらに含む、特徴（１１）に記載のデコーダ。
【0111】
（１３）前記第３の再構築コードは、前記少なくとも１つのプロセッサに、デコードされた前記１つ又は複数のジオメトリマップにおける対応する位置、サンプリングレート、及びデコードされた前記１つ又は複数のジオメトリマップにおけるオフセットに基づいて、前記３Ｄメッシュにおける内部頂点を導出させるように構成される導出コードをさらに含む、特徴（１２）に記載のデコーダ。
【0112】
（１４）前記再構築モードが前記非サンプリングモードであると決定することに基づいて、１つ又は複数の２Ｄメッシュのそれぞれの前記１つ又は複数の内部頂点は、前記１つ又は複数の２Ｄメッシュのそれぞれの再構築された前記１つ又は複数の境界頂点に基づいて再構築される、特徴（９）ないし（１３）のいずれか一項に記載のデコーダ。
【0113】
（１５）前記第３の再構築コードは、前記少なくとも１つのプロセッサに、前記１つ又は複数の２Ｄメッシュの再構築された内部頂点と、前記１つ又は複数の２Ｄメッシュにおける対応する再構築された境界頂点とを連接することによって、前記３Ｄメッシュにおける内部頂点を再構築させるように構成される第４の再構築コードをさらに含む、特徴（１４）に記載のデコーダ。
【0114】
（１６）前記第３の再構築コードは、前記少なくとも１つのプロセッサに、前記３Ｄメッシュにおける境界頂点を、前記１つ又は複数の２Ｄメッシュのそれぞれの対応する１つ又は複数の再構築された境界頂点を前記３Ｄメッシュにおける前記境界頂点にマッピングする２Ｄから３Ｄへのインデックス配列に基づいて再構築させるように構成される第４の再構築コードをさらに含む、特徴（９）ないし（１５）のいずれか一項に記載のデコーダ。
【0115】
（１７）デコーダにおける少なくとも１つのプロセッサによって実行されると、前記少なくとも１つのプロセッサに、３次元（３Ｄ）メッシュに対応する１つ又は複数の２次元（２Ｄ）メッシュを含むコード化されたビデオビットストリームを受信するステップと、前記１つ又は複数の２Ｄメッシュのそれぞれの１つ又は複数の境界頂点を再構築するステップと、前記１つ又は複数の２Ｄメッシュのそれぞれの１つ又は複数の内部頂点を再構築するための再構築モードが、（ｉ）サンプリングモードと、（ｉｉ）非サンプリングモードのうちの１つであるか否かを決定するステップと、決定された前記再構築モードに基づいて、前記１つ又は複数の２Ｄメッシュのそれぞれの前記１つ又は複数の内部頂点を再構築するステップと、前記１つ又は複数の２Ｄメッシュのそれぞれの再構築された前記１つ又は複数の境界頂点と、前記１つ又は複数の２Ｄメッシュのそれぞれの前記再構築された１つ又は複数の内部頂点とに基づいて、前記３Ｄメッシュを再構築するステップと、を実行させる命令を記憶した非一時的なコンピュータ読取可能な媒体。
【0116】
（１８）前記再構築モードの決定は、前記コード化されたビデオビットストリームに含まれるフラグに基づいている、特徴（１７）に記載の非一時的なコンピュータ読取可能な媒体。
【0117】
（１９）前記命令は、さらに、前記少なくとも１つのプロセッサに、前記コード化されたビデオビットストリームに含まれる１つ又は複数のジオメトリマップをデコードするステップを実行させる、特徴（１７）又は（１８）に記載の非一時的なコンピュータ読取可能な媒体。
【0118】
（２０）前記再構築モードが前記サンプリングモードであると決定することに基づいて、前記１つ又は複数の２Ｄメッシュのそれぞれの前記１つ又は複数の内部頂点を再構築するステップは、前記１つ又は複数の２Ｄメッシュのそれぞれの境界ポリゴンを、前記１つ又は複数の２Ｄメッシュのそれぞれの対応する再構築された境界頂点に基づいて決定するステップと、前記１つ又は複数の２Ｄメッシュのそれぞれの前記境界ポリゴンに含まれる各頂点を内部頂点として識別するステップと、をさらに含む、特徴（１９）に記載の非一時的なコンピュータ読取可能な媒体。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9(A)】
【図9(B)】
【図10(A)】
【図10(B)】
【図11】
【図12】
【図13】
【図14】
【図15】
【手続補正書】
【提出日】2024-05-13
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
デコーダの少なくとも１つのプロセッサが実行する方法であって、３次元（３Ｄ）メッシュに対応する１つ又は複数の２次元（２Ｄ）メッシュを含むコード化されたビデオビットストリームを受信するステップと、
前記１つ又は複数の２Ｄメッシュのそれぞれの１つ又は複数の境界頂点を再構築するステップと、
前記１つ又は複数の２Ｄメッシュのそれぞれの１つ又は複数の内部頂点を再構築するための再構築モードが、（ｉ）サンプリングモードと、（ｉｉ）非サンプリングモードのうちの１つであるか否かを決定するステップと、
決定された前記再構築モードに基づいて、前記１つ又は複数の２Ｄメッシュのそれぞれの前記１つ又は複数の内部頂点を再構築するステップと、
前記１つ又は複数の２Ｄメッシュのそれぞれの再構築された前記１つ又は複数の境界頂点と、前記１つ又は複数の２Ｄメッシュのそれぞれの再構築された前記１つ又は複数の内部頂点とに基づいて、前記３Ｄメッシュを再構築するステップと、
を含む、方法。
【請求項2】
前記再構築モードの決定は、前記コード化されたビデオビットストリームに含まれるフラグに基づいている、請求項１に記載の方法。
【請求項3】
前記コード化されたビデオビットストリームに含まれる１つ又は複数のジオメトリマップをデコードするステップをさらに含む、請求項１に記載の方法。
【請求項4】
前記再構築モードが前記サンプリングモードであると決定することに基づいて、前記１つ又は複数の２Ｄメッシュのそれぞれの前記１つ又は複数の内部頂点を再構築するステップは、
前記１つ又は複数の２Ｄメッシュのそれぞれの境界ポリゴンを、前記１つ又は複数の２Ｄメッシュのそれぞれの対応する再構築された境界頂点に基づいて決定するステップと、
前記１つ又は複数の２Ｄメッシュのそれぞれの前記境界ポリゴンに含まれる各頂点を内部頂点として識別するステップと、を含む、請求項３に記載の方法。
【請求項5】
前記３Ｄメッシュを再構築するステップは、デコードされた前記１つ又は複数のジオメトリマップにおける対応する位置、サンプリングレート、及びデコードされた前記１つ又は複数のジオメトリマップにおけるオフセットに基づいて、前記３Ｄメッシュにおける内部頂点を導出するステップを含む、請求項４に記載の方法。
【請求項6】
前記再構築モードが前記非サンプリングモードであると決定することに基づいて、１つ又は複数の２Ｄメッシュのそれぞれの前記１つ又は複数の内部頂点は、前記１つ又は複数の２Ｄメッシュのそれぞれの再構築された前記１つ又は複数の境界頂点に基づいて再構築される、請求項１に記載の方法。
【請求項7】
前記３Ｄメッシュを再構築するステップは、前記１つ又は複数の２Ｄメッシュの再構築された内部頂点と、前記１つ又は複数の２Ｄメッシュにおける対応する再構築された境界頂点とを連接することによって、前記３Ｄメッシュにおける内部頂点を再構築するステップを含む、請求項６に記載の方法。
【請求項8】
前記３Ｄメッシュを再構築するステップは、前記３Ｄメッシュにおける境界頂点を、前記１つ又は複数の２Ｄメッシュのそれぞれの対応する１つ又は複数の再構築された境界頂点を前記３Ｄメッシュにおける前記境界頂点にマッピングする２Ｄから３Ｄへのインデックス配列に基づいて再構築するステップを含む、請求項１に記載の方法。
【請求項9】
プログラムコードを記憶するように構成される少なくとも１つのメモリと、前記プログラムコードを読み取り、前記プログラムコードによって指示される通りに動作するように構成される少なくとも１つのプロセッサと、を備え、
前記プログラムコードは、
前記少なくとも１つのプロセッサに、請求項１乃至８のうちのいずれか一項に記載の方法を実行させるように構成される、デコーダ。
【請求項10】
コンピュータに、請求項１乃至８のうちのいずれか一項に記載の方法を実行させるように構成される、コンピュータプログラム。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【0009】
１つ又は複数の実施形態によれば、コンピュータプログラムにおけるコンピュータが実行する方法は、３次元（３Ｄ）メッシュに対応する１つ又は複数の２次元（２Ｄ）メッシュを含むコード化されたビデオビットストリームを受信するステップと、前記１つ又は複数の２Ｄメッシュのそれぞれの１つ又は複数の境界頂点を再構築するステップと、前記１つ又は複数の２Ｄメッシュのそれぞれの１つ又は複数の内部頂点を再構築するための再構築モードが、（ｉ）サンプリングモードと、（ｉｉ）非サンプリングモードのうちの１つであるか否かを決定するステップと、決定された前記再構築モードに基づいて、前記１つ又は複数の２Ｄメッシュのそれぞれの前記１つ又は複数の内部頂点を再構築するステップと、前記１つ又は複数の２Ｄメッシュのそれぞれの再構築された前記１つ又は複数の境界頂点と、前記１つ又は複数の２Ｄメッシュのそれぞれの前記再構築された１つ又は複数の内部頂点とに基づいて、前記３Ｄメッシュを再構築するステップと、を含む。
【国際調査報告】