特表2023-550110動的メッシュ圧縮のための２Ｄ ＵＶアトラスサンプリングベースの方法、装置及びプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-11-30
(54)【発明の名称】動的メッシュ圧縮のための２Ｄ ＵＶアトラスサンプリングベースの方法、装置及びプログラム
(51)【国際特許分類】
H04N 19/597 20140101AFI20231122BHJP
G06T 9/00 20060101ALI20231122BHJP
H04N 19/85 20140101ALI20231122BHJP
【ＦＩ】
H04N19/597
G06T9/00 100
H04N19/85
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2023530054
(86)(22)【出願日】2022-08-16
(85)【翻訳文提出日】2023-05-17
(86)【国際出願番号】 US2022040401
(87)【国際公開番号】W WO2023023011
(87)【国際公開日】2023-02-23
(31)【優先権主張番号】63/233,475
(32)【優先日】2021-08-16
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】17/887,918
(32)【優先日】2022-08-15
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】520353802
【氏名又は名称】テンセント・アメリカ・エルエルシー
(74)【代理人】
【識別番号】100110364
【弁理士】
【氏名又は名称】実広 信哉
(74)【代理人】
【識別番号】100150197
【弁理士】
【氏名又は名称】松尾 直樹
(72)【発明者】
【氏名】シャン・ジャン
(72)【発明者】
【氏名】チャオ・フアン
(72)【発明者】
【氏名】シャオジョン・シュ
(72)【発明者】
【氏名】ジュン・ティアン
(72)【発明者】
【氏名】シャン・リュウ
【テーマコード（参考）】
5C159
【Ｆターム（参考）】
5C159PP03
(57)【要約】
サンプリングベースの動的メッシュ圧縮のための方法、装置、およびシステムが提供される。プロセスは、１つまたは複数のサンプリングレートに基づいて入力メッシュに関連する１つまたは複数のサンプル位置を決定するステップを含むことができ、１つまたは複数のサンプル位置のそれぞれが入力メッシュによって画定された１つまたは複数の多角形の境界内にあるかどうかを示す、１つまたは複数のサンプル位置のそれぞれにそれぞれ関連する占有状況が決定される。プロセスは、１つまたは複数のサンプル位置のそれぞれにそれぞれ関連する占有状況に基づいてサンプルベースの占有マップを生成するステップを含むことができる。
【特許請求の範囲】
【請求項1】
サンプリングベースの動的メッシュ圧縮の方法であって、前記方法は少なくとも１つのプロセッサによって実行され、１つまたは複数のサンプリングレートに基づいて入力メッシュに関連する１つまたは複数のサンプル位置を決定するステップと、
前記１つまたは複数のサンプル位置のそれぞれにそれぞれ関連する占有状況を決定するステップであって、前記占有状況は、前記１つまたは複数のサンプル位置のそれぞれが前記入力メッシュによって画定された１つまたは複数の多角形の境界内にあるかどうかを示す、ステップと、
前記１つまたは複数のサンプル位置のそれぞれにそれぞれ関連する前記占有状況に基づいてサンプルベースの占有マップを生成するステップと、
ビデオコーデックを使用して前記サンプルベースの占有マップを複数の単一チャネル画像または多チャネル画像に圧縮するステップと
を含む、方法。
【請求項2】
前記１つまたは複数のサンプリングレートが、第１の軸線の第１のサンプリングレートおよび第２の軸線の第２のサンプリングレートに基づく、請求項１に記載の方法。
【請求項3】
前記入力メッシュが１つまたは複数の領域に分割され、前記１つまたは複数のサンプリングレートが、前記１つまたは複数の領域のそれぞれに対する１つまたは複数のそれぞれのサンプリングレートに基づく、請求項１に記載の方法。
【請求項4】
前記１つまたは複数のサンプリングレートが、高レベルシンタックスで信号伝達される、請求項１に記載の方法。
【請求項5】
前記１つまたは複数の領域のそれぞれに対する前記１つまたは複数の当該サンプリングレートが、前記１つまたは複数の領域の当該特性に基づく、請求項３に記載の方法。
【請求項6】
前記当該特性が、領域のテクスチャ、
前記領域のアクティビティ、および
前記領域の平滑性
のうちの少なくとも１つである、請求項５に記載の方法。
【請求項7】
前記１つまたは複数のサンプリングレートが、隣接領域のサンプリングレートに基づく、請求項１に記載の方法。
【請求項8】
前記１つまたは複数のサンプリングレートが、１つまたは複数の既にコード化されたメッシュフレームの以前の１つまたは複数のサンプリングレートに基づく、請求項１に記載の方法。
【請求項9】
前記方法は、前記入力メッシュによって画定された前記１つまたは複数の多角形の頂点に基づいて、前記１つまたは複数のサンプル位置のそれぞれにそれぞれ関連する３Ｄジオメトリ座標を決定するステップと、
前記１つまたは複数のサンプル位置のそれぞれにそれぞれ関連する前記３Ｄジオメトリ座標に基づいてサンプルベースのジオメトリマップを生成するステップと
をさらに含む、請求項１に記載の方法。
【請求項10】
前記サンプルベースのジオメトリマップが３つの単一チャネルジオメトリマップを含み、前記３つの単一チャネルジオメトリマップの第１のマップが、前記１つまたは複数のサンプル位置のそれぞれに関連するｘ軸位置を示し、前記３つの単一チャネルジオメトリマップの第２のマップが、前記１つまたは複数のサンプル位置のそれぞれに関連するｙ軸位置を示し、前記３つの単一チャネルジオメトリマップの第３のマップが、前記１つまたは複数のサンプル位置のそれぞれに関連するｚ軸位置を示す、請求項９に記載の方法。
【請求項11】
前記方法は、前記入力メッシュによって画定された前記１つまたは複数の多角形の頂点に基づいて、前記１つまたは複数のサンプル位置のそれぞれにそれぞれ関連する属性値を決定するステップと、
前記１つまたは複数のサンプル位置のそれぞれにそれぞれ関連する前記属性値に基づいてサンプルベースの属性マップを生成するステップと
をさらに含む、請求項１に記載の方法。
【請求項12】
前記サンプルベースの属性マップが、ｎチャネル属性マップまたはｎ個の単一チャネル属性マップの一方である、請求項１１に記載の方法。
【請求項13】
前記方法は、１つまたは複数の隣接するサンプル位置に関連する前記占有状況に基づいて、１つまたは複数のサンプル位置のそれぞれにそれぞれ関連する接続性情報を生成するステップ
をさらに含む、請求項１に記載の方法。
【請求項14】
サンプリングベースの動的メッシュ圧縮のための装置であって、前記装置は、プログラムコードを記憶するように構成された少なくとも１つのメモリと、
前記プログラムコードを読み取り、前記プログラムコードによって命令されたとおり動作するように構成された少なくとも１つのプロセッサと
を含み、前記プログラムコードは、
前記少なくとも１つのプロセッサに、１つまたは複数のサンプリングレートに基づいて入力メッシュに関連する１つまたは複数のサンプル位置を決定させるように構成された第１の決定コードと、
前記少なくとも１つのプロセッサに、前記１つまたは複数のサンプル位置のそれぞれにそれぞれ関連する占有状況を決定させるように構成された第２の決定コードであって、前記占有状況が、前記１つまたは複数のサンプル位置のそれぞれが前記入力メッシュによって画定された１つまたは複数の多角形の境界内にあるかどうかを示す、第２の決定コードと、
前記少なくとも１つのプロセッサに、前記１つまたは複数のサンプル位置のそれぞれにそれぞれ関連する前記占有状況に基づいてサンプルベースの占有マップを生成させるように構成された第１の生成コードと、
前記少なくとも１つのプロセッサに、ビデオコーデックを使用して前記サンプルベースの占有マップを複数の単一チャネル画像または多チャネル画像に圧縮させるように構成された圧縮コードと
を含む、装置。
【請求項15】
前記プログラムコードが、前記少なくとも１つのプロセッサに、前記入力メッシュによって画定された前記１つまたは複数の多角形の頂点に基づいて前記１つまたは複数のサンプル位置のそれぞれにそれぞれ関連する３Ｄジオメトリ座標を決定させるように構成された第３の決定コードと、
前記少なくとも１つのプロセッサに、前記１つまたは複数のサンプル位置のそれぞれにそれぞれ関連する前記３Ｄジオメトリ座標に基づいてサンプルベースのジオメトリマップを生成させるように構成された第２の生成コードと
をさらに含む、請求項１４に記載の装置。
【請求項16】
前記プログラムコードが、前記少なくとも１つのプロセッサに、前記入力メッシュによって画定された前記１つまたは複数の多角形の頂点に基づいて前記１つまたは複数のサンプル位置のそれぞれにそれぞれ関連する属性値を決定させるように構成された第４の決定コードと、
前記少なくとも１つのプロセッサに、前記１つまたは複数のサンプル位置のそれぞれにそれぞれ関連する前記属性値に基づいてサンプルベースの属性マップを生成させるように構成された第３の生成コードと
をさらに含む、請求項１４に記載の装置。
【請求項17】
前記プログラムコードが、前記少なくとも１つのプロセッサに、１つまたは複数の隣接するサンプル位置に関連する前記占有状況に基づいて前記１つまたは複数のサンプル位置のそれぞれにそれぞれ関連する接続性情報を生成させるように構成された第４の生成コード
をさらに含む、請求項１４に記載の装置。
【請求項18】
前記入力メッシュが１つまたは複数の領域に分割され、前記１つまたは複数のサンプリングレートが、前記１つまたは複数の領域のそれぞれに対する１つまたは複数のそれぞれのサンプリングレートに基づく、請求項１４に記載の装置。
【請求項19】
前記１つまたは複数の領域のそれぞれに対する前記１つまたは複数の当該サンプリングレートが、前記１つまたは複数の領域の当該特性に基づく、請求項１８に記載の装置。
【請求項20】
命令を記憶する非一時的コンピュータ可読媒体であって、前記命令が、サンプリングベースの動的メッシュ圧縮のための装置の１つまたは複数のプロセッサによって実行されると、前記１つまたは複数のプロセッサに、１つまたは複数のサンプリングレートに基づいて入力メッシュに関連する１つまたは複数のサンプル位置を決定させ、
前記１つまたは複数のサンプル位置のそれぞれにそれぞれ関連する占有状況を決定させ、前記占有状況は、前記１つまたは複数のサンプル位置のそれぞれが前記入力メッシュによって画定された１つまたは複数の多角形の境界内にあるかどうかを示し、
前記１つまたは複数のサンプル位置のそれぞれにそれぞれ関連する前記占有状況に基づいてサンプルベースの占有マップを生成させ、
ビデオコーデックを使用して前記サンプルベースの占有マップを複数の単一チャネル画像または多チャネル画像に圧縮させる
１つまたは複数の命令を含む、非一時的コンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本出願は、２０２１年８月１６日に出願された米国仮特許出願第６３／２３３，４７５号および２０２２年８月１５日に出願された米国特許出願第１７／８８７，９１８号の優先権を主張し、これらの開示はその全体が参照により本明細書に組み込まれる。
本出願は、２０２１年８月１６日に出願された米国仮特許出願第６３／２３３，４７５号および２０２２年８月１５日に出願された米国特許出願第１７／８８７，９１８号の優先権を主張し、これらの開示はその全体が参照により本明細書に組み込まれる。
【0002】
本開示は、高度なビデオコーディング技術のセットに関する。より詳細には、本開示は、ビデオベースの動的メッシュ圧縮（ｄｙｎａｍｉｃ ｍｅｓｈ ｃｏｍｐｒｅｓｓｉｏｎ）に関する。
【背景技術】
【0003】
世界の高度な３次元（３Ｄ）表現により、さらに没入型の相互作用および通信が可能になっている。３Ｄ表現の臨場感を実現するために、３Ｄモデルは、これまで以上に洗練されてきており、かなりの量のデータがこれらの３Ｄモデルの作成および消費に結び付けられる。３Ｄメッシュが３Ｄモデル没入型コンテンツに広く使用される。
【0004】
３Ｄメッシュは、ボリュームオブジェクト（ｖｏｌｕｍｅｔｒｉｃ ｏｂｊｅｃｔ）の表面を記述するいくつかの多角形（ｐｏｌｙｇｏｎｓ）から構成され得る。動的メッシュシーケンスは、これが経時的に変化するかなりの量の情報を有し得るので、大量のデータを必要とする場合がある。したがって、そのようなコンテンツを保存しかつ送信するために効率的な圧縮技術が必要となる。
【0005】
メッシュ圧縮規格ＩＣ、ＭＥＳＨＧＲＩＤ、ＦＡＭＣは、常時接続性および時変ジオメトリおよび頂点属性を有する動的メッシュに対処するために以前に開発された。しかしながら、これらの規格は、時変属性マップおよび接続性情報を考慮していない。
【0006】
さらに、特にリアルタイム制約下で、ボリューム取得技術が常時接続性動的メッシュを生成することも困難である。この種の動的メッシュコンテンツは、既存の規格ではサポートされない。
【発明の概要】
【課題を解決するための手段】
【0007】
諸実施形態によれば、サンプリングベースの動的メッシュ圧縮の方法が提供され得る。本方法は、少なくとも１つのプロセッサによって実行されてもよく、１つまたは複数のサンプリングレートに基づいて入力メッシュに関連する１つまたは複数のサンプル位置を決定するステップと、１つまたは複数のサンプル位置のそれぞれにそれぞれ関連する占有状況を決定するステップであって、占有状況は、１つまたは複数のサンプル位置のそれぞれが入力メッシュによって画定された１つまたは複数の多角形の境界内にあるかどうかを示す、ステップと、１つまたは複数のサンプル位置のそれぞれにそれぞれ関連する占有状況に基づいてサンプルベースの占有マップを生成するステップと、ビデオコーデックを使用してサンプルベースの占有マップを複数の単一チャネルまたは多チャネル画像に圧縮するステップと、を含むことができる。
【0008】
諸実施形態によれば、サンプリングベースの動的メッシュ圧縮のための装置が提供され得る。本装置は、プログラムコードを記憶するように構成された少なくとも１つのメモリと、プログラムコードを読み出し、プログラムコードによって命令されるように動作するように構成された少なくとも１つのプロセッサと、を含むことができる。本プログラムコードは、少なくとも１つのプロセッサに、１つまたは複数のサンプリングレートに基づいて入力メッシュに関連する１つまたは複数のサンプル位置を決定させるように構成された第１の決定コードと、少なくとも１つのプロセッサに、１つまたは複数のサンプル位置のそれぞれにそれぞれ関連する占有状況を決定させるように構成された第２の決定コードであって、占有状況が、１つまたは複数のサンプル位置のそれぞれが入力メッシュによって画定された１つまたは複数の多角形の境界内にあるかどうかを示す、第２の決定コードと、少なくとも１つのプロセッサに、１つまたは複数のサンプル位置のそれぞれにそれぞれ関連する占有状況に基づいてサンプルベースの占有マップを生成させるように構成された第１の生成コードと、少なくとも１つのプロセッサに、ビデオコーデックを使用してサンプルベースの占有マップを複数の単一チャネル画像または多チャネル画像に圧縮させるように構成された圧縮コードと、を含むことができる。
【0009】
諸実施形態によれば、コンピュータ命令を記憶する非一時的コンピュータ可読媒体が提供され得る。本命令は、サンプリングベースの動的メッシュ圧縮のための装置の１つまたは複数のプロセッサによって実行されるときに、１つまたは複数のプロセッサに、１つまたは複数のサンプリングレートに基づいて入力メッシュに関連する１つまたは複数のサンプル位置を決定させ、１つまたは複数のサンプル位置のそれぞれにそれぞれ関連する占有状況を決定させ、占有状況は、１つまたは複数のサンプル位置のそれぞれが入力メッシュによって画定された１つまたは複数の多角形の境界内にあるかどうかを示し、１つまたは複数のサンプル位置のそれぞれにそれぞれ関連する占有状況に基づいてサンプルベースの占有マップを生成させ、ビデオコーデックを使用してサンプルベースの占有マップを複数の単一チャネルまたは多チャネル画像に圧縮させる１つまたは複数の命令を含むことができる。
【0010】
開示された主題のさらなる特徴、性質、および様々な利点は、以下の詳細な説明および添付の図面からより明らかなるであろう。
【図面の簡単な説明】
【0011】
【図1】本開示の実施形態による、通信システムの簡略化されたブロック図の概略図である。
【図2】本開示の実施形態による、ストリーミングシステムの簡略化されたブロック図の概略図である。
【図3】本開示の実施形態による、ビデオエンコーダおよびデコーダの簡略化されたブロック図の概略図である。
【図4】本開示の実施形態による、メッシュの２Ｄアトラスサンプリングの例示的な図である。
【図5】本開示の実施形態による、メッシュにおける接続性の例示的な図である。
【図6】本開示の実施形態による、再構成されたメッシュの例示的な図である。
【図7】本開示の実施形態による、サンプリングを使用したメッシュ圧縮を示す流れ図である。
【図8】本開示の実施形態による、メッシュ再構成を示す流れ図である。
【図9】実施形態を実施するのに適したコンピュータシステムの図である。
【発明を実施するための形態】
【0012】
メッシュは、ボリュームオブジェクトの表面を記述するいくつかの多角形から構成され得る。３Ｄ空間内のメッシュの頂点および頂点がどのように接続されているかの情報は、接続性情報と呼ばれる各多角形を画定することができる。随意に、色や法線などの頂点属性は、メッシュ頂点に関連することができる。属性は、メッシュを２Ｄ属性マップでパラメータ化するマッピング情報を利用することにより、メッシュの表面にも関連することができる。そのようなマッピングは、ＵＶ座標またはテクスチャ座標と呼ばれ、メッシュ頂点に関連するパラメトリック座標のセットを使用して定義され得る。テクスチャ、法線、変位などの高解像度属性情報を保存するために２Ｄ属性マップが使用され得る。高解像度属性情報は、テクスチャマッピングやシェーディングなどの様々な目的に使用され得る。
【0013】
上記のように、３Ｄメッシュまたは動的メッシュは、これが経時的に変化するかなりの量の情報からなり得るので、大量のデータを必要とする場合がある。既存の規格は、時変属性マップおよび接続性情報を考慮していない。既存の規格はまた、特にリアルタイム条件下で、常時接続性動的メッシュを生成するボリューム取得技法をサポートしていない。
【0014】
したがって、時変接続性情報および随意に時変属性マップを有する動的メッシュを直接処理するための新たなメッシュ圧縮規格が必要とされる。本開示の諸実施形態は、そのような動的メッシュを保存および送信するための効率的な圧縮技術を可能にする。本開示の実施形態は、リアルタイム通信、記憶、自由視点ビデオ、ＡＲおよびＶＲなどの様々なアプリケーションのための不可逆圧縮および／または可逆圧縮を可能にする。
【0015】
本開示の一態様によれば、動的メッシュ圧縮のための方法、システム、および非一時的記憶媒体が提供される。本開示の実施形態はまた、メッシュの１つのフレームまたはメッシュコンテンツのみが経時的に変化しない静的メッシュにも適用され得る。
【0016】
【0017】
図１は、本開示の一実施形態による通信システム１００の簡略化されたブロック図を示す。システム１００は、ネットワーク１５０を通じて相互接続された少なくとも２つの端末１１０、１２０を含むことができる。データの単方向送信の場合、第１の端末１１０は、ネットワーク１５０を通じて他の端末１２０に送信するために、ローカルロケーションでメッシュデータを含み得るビデオデータをコード化することができる。第２の端末１２０は、ネットワーク１５０から他の端末のコード化されたビデオデータを受信し、コード化されたデータを復号し、復元されたビデオデータを表示することができる。単方向データ送信は、メディア提供用途などで一般的であり得る。
【0018】
図１は、例えばビデオ会議中に行われ得るコード化されたビデオの双方向伝送をサポートするために設けられた第２の端末対１３０、１４０を示す。データの双方向送信の場合、各端末１３０、１４０は、ネットワーク１５０を通じて他の端末に送信するために、ローカルロケーションで取り込まれたビデオデータをコード化することができる。各端末１３０、１４０はまた、他の端末によって送信されたコード化されたビデオデータを受信することができ、コード化されたデータを復号することができ、復元されたビデオデータをローカル表示装置に表示することができる。
【0019】
図１では、端末１１０～１４０は、例えば、サーバ、パーソナルコンピュータ、およびスマートフォン、ならびに／あるいは他のタイプの端末とすることができる。例えば、端末（１１０～１４０）は、ラップトップコンピュータ、タブレットコンピュータ、メディアプレーヤ、および／または専用ビデオ会議機器とすることができる。ネットワーク１５０は、例えば、有線および／または無線通信ネットワークを含む、端末１１０～１４０の間でコード化されたビデオデータを伝達する任意の数のネットワークを表す。通信ネットワーク１５０は、回線交換チャネルおよび／またはパケット交換チャネルでデータを交換することができる。代表的なネットワークには、電気通信ネットワーク、ローカルエリアネットワーク、ワイドエリアネットワーク、および／またはインターネットが含まれる。本解説の目的のために、ネットワーク１５０のアーキテクチャおよびトポロジは、本明細書で以下に説明されない限り、本開示の動作にとって重要ではない場合がある。
【0020】
図２は、開示された主題の用途の一例として、ストリーミング環境におけるビデオエンコーダおよびデコーダの配置を示す。開示された主題は、例えば、ビデオ会議、デジタルＴＶ、ＣＤ、ＤＶＤ、メモリスティックなどを含むデジタル媒体への圧縮ビデオの保存などを含む、他のビデオ対応アプリケーションで使用され得る。
【0021】
図２に示すように、ストリーミングシステム２００は、ビデオソース２０１およびエンコーダ２０３を含むキャプチャサブシステム２１３を含むことができる。ストリーミングシステム２００は、少なくとも１つのストリーミングサーバ２０５および／または少なくとも１つのストリーミングクライアント２０６をさらに含むことができる。
【0022】
ビデオソース２０１は、例えば、３Ｄメッシュおよび３Ｄメッシュに関連するメタデータを含むストリーム２０２を作成することができる。ビデオソース２０１は、例えば、３Ｄセンサ（例えば、深度センサ）または３Ｄ撮像技術（例えば、デジタルカメラ（複数可））と、３Ｄセンサから受信されたデータまたは３Ｄ撮像技術を使用して３Ｄメッシュを生成するように構成された計算装置と、を含むことができる。サンプルストリーム２０２は、符号化されたビデオビットストリームに比べて大きいデータ量を有し得るものであり、ビデオソース２０１に結合されたエンコーダ２０３によって処理することができる。エンコーダ２０３は、以下でより詳細に説明するように、開示された主題の態様を可能にするかまたは実施するために、ハードウェア、ソフトウェア、またはこれらの組合せを含むことができる。エンコーダ２０３は、符号化されたビデオビットストリーム２０４を生成することもできる。符号化されたビデオビットストリーム２０４は、圧縮されていないストリーム２０２に比べて小さいデータ量を有し得るものであり、将来使用するためにストリーミングサーバ２０５に保存することができる。１つまたは複数のストリーミングクライアント２０６は、符号化されたビデオビットストリーム２０４のコピーであり得るビデオビットストリーム２０９を検索するために、ストリーミングサーバ２０５にアクセスすることができる。
【0023】
ストリーミングクライアント２０６は、ビデオデコーダ２１０およびディスプレイ２１２を含むことができる。ビデオデコーダ２１０は、例えば、符号化されたビデオビットストリーム２０４の着信コピーであるビデオビットストリーム２０９を復号し、ディスプレイ２１２または別のレンダリング装置（図示せず）上にレンダリングされ得る発信ビデオサンプルストリーム２１１を作成することができる。いくつかのストリーミングシステムでは、ビデオビットストリーム２０４、２０９は、特定のビデオコーディング／圧縮規格に従って符号化され得る。
【0024】
図３は、エンコーダおよびデコーダを使用して動的メッシュ圧縮およびメッシュ再構成するためのフレームワーク３００の例示的な図である。
【0025】
図３に見られるように、フレームワーク３００は、エンコーダ３０１およびデコーダ３５１を含むことができる。エンコーダ３０１は、１つまたは複数の入力メッシュ３０５、ＵＶアトラスを有する１つまたは複数のメッシュ３１０、占有マップ３１５、ジオメトリマップ３２０、属性マップ３２５、およびメタデータ３３０を含むことができる。デコーダ３５１は、復号された占有マップ３３５、復号されたジオメトリマップ３４０、復号された属性マップ３４５、復号されたメタデータ３５０、および再構成されたメッシュ３６０を含むことができる。
【0026】
本開示の一態様によれば、入力メッシュ３０５は、１つまたは複数のフレームを含むことができ、１つまたは複数のフレームはそれぞれ、一連の動作によって前処理され、ＵＶアトラスを有するメッシュ３１０を生成するために使用され得る。一例として、前処理動作は、トラッキング、パラメータ化、再メッシュ化、ボクセル化などを含み得るが、これらに限定されなくてもよい。いくつかの実施形態では、前処理動作は、エンコーダ側でのみ実行され、デコーダ側では実行されなくてもよい。
【0027】
ＵＶアトラスを有するメッシュ３１０は、２Ｄメッシュとすることができる。ＵＶアトラスを有する２Ｄメッシュは、メッシュの各頂点が２Ｄアトラス上のＵＶ座標に関連し得るメッシュとすることができる。ＵＶアトラスを有するメッシュ３１０は、サンプリングに基づいて処理され、複数のマップに変換され得る。一例として、ＵＶアトラス３１０は、ＵＶアトラスを有する２Ｄメッシュをサンプリングすることに基づいて処理され、占有マップ、ジオメトリマップ、および属性マップに変換され得る。生成された占有マップ３３５、ジオメトリマップ３４０、および属性マップ３４５は、適切なコーデック（例えば、ＨＶＥＣ、ＶＶＣ、ＡＶ１など）を使用して符号化され、デコーダに送信され得る。いくつかの実施形態では、メタデータ（例えば、接続性情報など）もデコーダに送信され得る。
【0028】
一態様によれば、デコーダ３５１は、エンコーダから符号化された占有マップ、ジオメトリマップ、および属性マップを受信することができる。デコーダ３１５は、本明細書に記載の実施形態に加えて、占有マップ、ジオメトリマップ、および属性マップを復号するために適切な技法および方法を使用することができる。一実施形態では、デコーダ３５１は、復号された占有マップ３３５、復号されたジオメトリマップ３４０、復号された属性マップ３４５、および復号されたメタデータ３５０を含むことができる。入力メッシュ３０５は、復号された占有マップ３３５、復号されたジオメトリマップ３４０、復号された属性マップ３４５、および復号されたメタデータ３５０に基づいて、１つまたは複数の再構成フィルタおよび技法を使用して再構成されたメッシュ３６０に再構成され得る。いくつかの実施形態では、メタデータ３３０はデコーダ３５１に直接送信されてもよく、デコーダ３５１は、復号された占有マップ３３５、復号されたジオメトリマップ３４０、および復号された属性マップ３４５に基づいて再構成されたメッシュ３６０を生成するために、メタデータを使用することができる。再メッシュ化、パラメータ化、トラッキング、ボクセル化などを含むが、これらに限定されないポストフィルタリング技法が、再構成されたメッシュ３６０に適用されてもよい。
【0029】
２Ｄ ＵＶアトラスを有する入力メッシュは頂点を有することができ、メッシュの各頂点は、２Ｄアトラス上の関連するＵＶ座標を有することができる。占有マップ、ジオメトリマップ、および属性マップは、ＵＶアトラス上の１つまたは複数の点／位置をサンプリングすることによって生成され得る。各サンプル位置は、その位置がメッシュ頂点によって画定された多角形の内側にある場合、占有されていても占有されていなくてもよい。各占有サンプルについて、関連する多角形頂点から補間することにより、そのサンプルの対応する３Ｄジオメトリ座標および属性を計算することができる。
【0030】
本開示の一態様によれば、サンプリングレートは、２Ｄアトラス全体にわたって一貫していてもよい。いくつかの実施形態では、ｕ軸およびｖ軸のサンプリングレートは異なっていてもよく、異方性再メッシュ化を可能にする。いくつかの実施形態では、２Ｄアトラス全体は、スライスやタイルなどの複数の領域に分割されてもよく、そのような各領域は異なるサンプリングレートを有することができる。
【0031】
本開示の一態様によれば、各領域（または２Ｄアトラス全体）のサンプリングレートは、以下に限定されるものではないが、シーケンスヘッダ、フレームヘッダ、スライスヘッダなどを含む高レベルシンタックスで信号伝達され得る。いくつかの実施形態では、各領域（または２Ｄアトラス全体）のサンプリングレートは、エンコーダとデコーダの両方によって仮定されている予め確立されたレートのセットから選択され得る。エンコーダとデコーダの両方によって知られている予め確立されたレートのセットのため、１つの特定のサンプリングレートのシグナリングは、予め確立されたレートセット内のインデックスを信号で送ることのみを必要とする。そのような予め確立されたセットの例が、２画素ごと、４画素ごと、８画素ごとなどであり得る。いくつかの実施形態では、メッシュフレームの各領域（または２Ｄアトラス全体）のサンプリングレートは、予め確立されたレートセットから、同じフレームの他の既にコード化された領域内での以前に使用されたサンプリングレートから、または他の既にコード化されたメッシュフレーム内での以前に使用されたサンプリングレートから予測され得る。
【0032】
いくつかの実施形態では、各領域（または２Ｄアトラス全体）のサンプリングレートは、各領域（または２Ｄアトラス全体）の何らかの特性に基づくことができる。一例として、サンプルレートはアクティビティに基づくことができ、リッチテクスチャード領域（ｒｉｃｈ－ｔｅｘｔｕｒｅｄ ｒｅｇｉｏｎ）（または２Ｄアトラス全体）、または高アクティビティの領域（または２Ｄアトラス全体）の場合、サンプルレートは高く設定することができる。別の例として、滑らかな領域（または２Ｄアトラス全体）、または低アクティビティの領域（または２Ｄアトラス全体）の場合、サンプルレートは低く設定することができる。
【0033】
いくつかの実施形態では、メッシュフレームの各領域（または２Ｄアトラス全体）のサンプリングレートは、予測と直接シグナリングとを組み合わせることが可能にされ得るように信号伝達され得る。シンタックスは、サンプリングレートが予測されるか直接信号で送られるかを指示するように構成され得る。予測される場合、どの予測子サンプリングレートが使用されるべきかがさらに信号で送られ得る。直接信号で送られる場合、レートの値を表すべきシンタックスは信号で送られ得る。
【0034】
図４は、本開示の実施形態による、三角形メッシュ４００の２Ｄアトラスサンプリングの例示的な図である。
【0035】
図４に見られるように、三角形メッシュ４００は、複数の位置および頂点を有することができ、各整数画素は単に円として表される。他の表現形態が使用されてもよい。
【0036】
Ｖ１、Ｖ２、．．．、ＶＤをメッシュ上の多角形の頂点とすると、Ｄは各多角形の形状を定義する。三角形メッシュの場合、Ｄは３に等しい、すなわち、各三角形は３つの頂点を有する。一般性を失うことなく、本開示の残りの部分では、メッシュは三角形メッシュから構成される、すなわちＤ＝３と仮定する。
【0037】
各頂点Ｖ１について、その頂点のＵＶ座標は（ｕｉ，ｖｉ）で表され、その頂点の３Ｄ位置は（ｘｉ，ｙｉ，ｚｉ）で表され、その頂点の他の属性（色および法線など）はａｉで表わされ得る。頂点のＵＶ座標、すなわち（ｕｉ，ｖｉ）は、整数位置または小数位置にあってもよい。入力メッシュの２Ｄ ＵＶアトラスマップは、Ｗ×Ｈのサイズであってもよく、Ａは、座標（ｕＡ，ｖＡ）を有する２Ｄ ＵＶアトラスマップ上のサンプル点であってもよい。Ａがその３つの頂点Ｖ１、Ｖ２、Ｖ３のＵＶ座標（ｕｉ，ｖｉ）によって定義されるメッシュの三角形の内側にある場合、Ａは、占有されているとマークを付けることができ、そうでなければ、占有されていないとマークを付けることができる。
【0038】
本開示の一態様によれば、占有マップが、２Ｄ ＵＶアトラスマップ（時にはメッシュ）をサンプリングすることに基づいて生成され得る。占有マップ上の点および／または位置の接続性は、（例えば、メタデータを使用して、またはＳＰＳやＰＰＳなどで）信号伝達され得るか、またはデコーダによって推測され得る。接続性の向き（時計回りまたは反時計回り）は、シーケンスヘッダやスライスヘッダなどの高レベルシンタックスで信号伝達されるか、エンコーダおよびデコーダによって固定（想定）されるかのどちらかでよい。
【0039】
一実施形態では、１チャネルバイナリ占有マップが、２Ｄマップ上のすべてのサンプリング点をスキャンすることによって生成され得る。１チャネルバイナリ占有マップ上の各点は、サンプル点が任意の三角形（メッシュ多角形の形状）の内側にあるか否かを示すことができる。一実施形態では、１チャネル非バイナリ占有マップが生成され得る。一例として、サンプル点が頂点位置または境界に属するかどうかを示すために他の値を使用する。異なるチャネルが異なる指示を有することができる多チャネル占有マップが生成され得る。いくつかの実施形態では、頂点位置のみを有する占有マップが生成され得る。これらの頂点の接続性は、デコーダに信号で送られるか、デコーダによって推測されるかのどちらかでよい。
【0040】
占有マップは、任意の適切な画像コーデックおよびビデオコーデックによって圧縮され得る。占有マップは、単一チャネル画像または多チャネル画像、例えば、ＹＵＶ４２０、ＹＵＶ４００、ＹＵＶ４４４、ＲＧＢ ４４４などとして圧縮され得る。占有マップはまた、バイナリ画像または任意のビット深度画像、例えば、１ビット、２ビット、８ビット、１２ビット、１６ビットなどとして圧縮され得る。占有マップは、不可逆コーデックまたは可逆コーデックによって圧縮され得る。
【0041】
本開示の一態様によれば、ジオメトリマップが、２Ｄ ＵＶアトラスマップ（時にはメッシュ）をサンプリングすることに基づいて生成され得る。ＲＧＢ色を有する通常の画像とは異なり、ジオメトリ画像が、それらのチャネルに対応するサンプル点の３Ｄジオメトリ座標を保存することができる。各占有サンプル点Ａについて、その３Ｄジオメトリ位置は、三角形の３つの頂点（Ｖ１、Ｖ２、Ｖ３）によって補間され得る。ここで、任意の適切な補間方法が採用され得る。例えば、重心ベースの方法が、Ａの３Ｄジオメトリ位置を推定するために使用され得る。
【0042】
一例として、（λ１，λ２，λ３）が三角形（Ｖ１，Ｖ２，Ｖ３）に対するＡの重心座標であると仮定すると、下記
（ｕＡ，ｖＡ）＝λ１・（ｕ１，ｖ１）＋λ２・（ｕ２，ｖ２）＋λ３・（ｕ３，ｖ３）．．．式（１）
λ１＋λ２＋λ３＝１．…式（２）
（ｕＡ，ｖＡ）＝λ１・（ｕ１，ｖ１）＋λ２・（ｕ２，ｖ２）＋λ３・（ｕ３，ｖ３）．．．式（１）
λ１＋λ２＋λ３＝１．…式（２）
【0043】
ＵＶ座標と３Ｄ座標との間の線形関係について、Ａｕ，ｖの３Ｄ位置、すなわち（ｘＡ，ｙＡ，ｚＡ）は、以下のように計算することができる。
（ｘＡ，ｙＡ，ｚＡ）＝λ１・（ｘ１，ｙ１，ｚ１）＋λ２・（ｘ２，ｙ２，ｚ２）＋λ３・（ｘ３，ｙ３，ｚ３）．．．式（３）
（ｘＡ，ｙＡ，ｚＡ）＝λ１・（ｘ１，ｙ１，ｚ１）＋λ２・（ｘ２，ｙ２，ｚ２）＋λ３・（ｘ３，ｙ３，ｚ３）．．．式（３）
【0044】
いくつかの実施形態では、推定された３Ｄジオメトリ位置（ｘＡ，ｙＡ，ｚＡ）は、画像コーデックおよびビデオコーデックによってコード化されるために符号なし整数に変換され得る。
【0045】
非占有点Ａの場合、その３Ｄジオメトリ位置（ｘＡ，ｙＡ，ｚＡ）は任意の数とすることができる。いくつかの実施形態では、ジオメトリマップのコーディング効率を容易にするために、非占有点の３Ｄジオメトリ位置は、それらの空間的および時間的近傍に類似するように割り当てられてもよい。いくつかの実施形態では、非占有点の３Ｄジオメトリ位置に、ジオメトリ位置に対して不可能な値、例えば（－１，－１，－１）を割り当てることができ、その場合、占有マップは信号伝達されない可能性がある。
【0046】
サンプリングされた位置に関連するジオメトリマップを生成するために、本開示の一態様によれば、３チャネルジオメトリマップ上の各点がその３Ｄジオメトリ位置を示す２Ｄマップ上のすべてのサンプリング点をスキャンすることにより、３チャネルジオメトリマップが生成され得る。一例として、第１のチャネルはｘ位置を示すことができ、第２のチャネルはｙ位置を示すことができ、第３のチャネルはｚ位置を示すことができる。いくつかの実施形態では、各マップが１つの軸線の３Ｄジオメトリ位置を示す３つの単一チャネルジオメトリマップが生成され得る。一例として、第１のマップはｘ位置を示すことができ、第２のマップはｙ位置を示すことができ、第３のマップはｚ位置を示すことができる。いくつかの実施形態では、投影面までの深さ（距離）を示す単一チャネルジオメトリマップが生成され得る。投影面は異なる三角形ごとに異なっていてもよく、その場合、投影面情報はサイド情報として信号伝達され得る。
【0047】
本開示の一態様によれば、属性マップが、２Ｄ ＵＶアトラスマップ（時にはメッシュ）をサンプリングすることに基づいて生成され得る。
【0048】
各占有サンプル点Ａは属性を有することができ、その属性（例えば、法線、色）は三角形の３つの頂点（Ｖ１、Ｖ２、Ｖ３）によって補間され得る。任意の適切な補間方法が採用され得る。
【0049】
一例として、（λ１，λ２，λ３）が三角形（Ｖ１，Ｖ２，Ｖ３）に対するＡの重心座標であると仮定すると、下記
（ｕＡ，ｖＡ）＝λ１・（ｕ１，ｖ１）＋λ２・（ｕ２，ｖ２）＋λ３・（ｕ３，ｖ３）．．．式（１）
λ１＋λ２＋λ３＝１．…式（２）
（ｕＡ，ｖＡ）＝λ１・（ｕ１，ｖ１）＋λ２・（ｕ２，ｖ２）＋λ３・（ｕ３，ｖ３）．．．式（１）
λ１＋λ２＋λ３＝１．…式（２）
【0050】
Ａｕ，ｖの属性値、すなわちａＡは、下記のようにして算出することができる。
ａＡ＝λ１・ａ１＋λ２・ａ２＋λ３・ａ３…式（４）
ａＡ＝λ１・ａ１＋λ２・ａ２＋λ３・ａ３…式（４）
【0051】
いくつかの実施形態では、各非占有点Ａについて、その属性ａＡは任意の数とすることができる。いくつかの実施形態では、属性マップのコーディング効率を容易にするために、非占有点の属性値は、それらの空間的および時間的近傍に類似するように割り当てられてもよい。いくつかの実施形態では、非占有点の属性値に、属性に対して不可能な値、例えば（－１，－１，－１）を割り当てることができ、その場合、占有マップは信号伝達されない可能性がある。
【0052】
サンプリングされた位置に関連する属性マップを生成するために、本開示の一態様によれば、マップ上の各点がその属性値を示すＮチャネル属性マップが、２Ｄマップ上のすべてのサンプリング点をスキャンすることによって生成され得る。一例として、色である属性の場合、第１のチャネルはＲ色を示すことができ、第２のチャネルはＧ色を示すことができ、第３のチャネルはＢ色を示すことができる。属性が法線である実施形態では、３つのチャネルは、ｘ軸、ｙ軸、およびｚ軸上の法線値とすることができる。いくつかの実施形態では、各マップが属性値を示すＮ個の単一チャネル属性マップが生成され得る。一例として、色である属性の場合、第１のマップはＲ色を示すことができ、第２のマップはＧ色を示すことができ、第３のマップはＢ色を示すことができる。いくつかの実施形態では、メッシュに関連するテクスチャマップは、追加の属性マップと見なされ、任意の適切な画像コーデックまたはビデオコーデックによってコード化され得る。
【0053】
図５は、本開示の実施形態による、エンコーダが接続性情報を生成し、デコーダがメッシュを再構成するために使用され得るメッシュにおける接続性の例を示す。
【0054】
デコーダは、占有マップ、ジオメトリマップ、および属性マップを復号した後でメッシュを再構成することができる。占有マップ上の各占有点について、デコーダはメッシュ上の頂点を復元することができ、点の対応するジオメトリおよび属性値は、復号されたジオメトリおよび属性マップ内の対応する位置から取得され得る。頂点の間の接続性情報は、占有位置から暗黙的に推測するか明示的に信号伝達するかのどちらかにより、デコーダによって復元され得る。
【0055】
本開示の一態様によれば、入力メッシュおよび／または２Ｄ ＵＶアトラスに関連する接続性情報は、特定の規則により、復号された占有マップ上の隣接する点の占有状況から暗黙的に推測され得る。接続性の向き（時計回りまたは反時計回り）は、シーケンスヘッダやスライスヘッダなどの高レベルシンタックスからパースされ得る、あるいはエンコーダおよびデコーダによって固定（想定）され得る。いくつかの実施形態によれば、再構成されたメッシュは、入力メッシュとは異なる接続性を有することができる。一例として、入力メッシュは三角形メッシュであってもよく、再構成されたメッシュは四角形メッシュであってもよい。
【0056】
本開示の一態様によれば、復号された占有マップ上の４つの隣接する点ごとに、占有点の数が３以上である場合、４つの点の間の三角形の接続性は、特定の規則によって推測することができる。一例として、図５を参照すると、４つの点のうち３つが占有される場合、これらの点は、図５の例（２）～（５）のように三角形を形成するように直接接続することができる。一例として、４つの点がすべて占有される場合、これらの点は、図５の例（１）のように２つの三角形を形成することができる。いくつかの実施形態では、異なる数の隣接する点に異なる規則が適用され得る。
【0057】
いくつかの実施形態では、４つの隣接する点がすべて占有されると、四角形メッシュが再構成され得る。いくつかの実施形態では、再構成されたメッシュはハイブリッド型メッシュであってもよく、例えば、メッシュフレーム内のいくつかの領域が三角形メッシュを生成し、他の領域は四角形メッシュを生成する。接続性タイプは、シーケンスヘッダやスライスヘッダなどの高レベルシンタックスで信号伝達され得る。
【0058】
いくつかの実施形態では、明示的に信号伝達することにより、接続性情報も再構成され得る。暗黙的規則によって多角形が復元されることができない場合、エンコーダはビットストリーム内の接続性情報を（例えば、メタデータとして）信号で送ることができる。多角形の境界に応じてなど、明示的シグナリングのオーバーヘッドを低減するための任意の適切な手段が使用され得る。
【0059】
【0060】
図７は、本開示の実施形態による、サンプリングを使用してメッシュ２Ｄ ＵＶアトラスを符号化するためのプロセス７００を示す流れ図である。
【0061】
動作７０５において、入力メッシュに関連する１つまたは複数のサンプル位置が、１つまたは複数のサンプリングレートに基づいて決定され得る。一例として、エンコーダ３０１が、１つまたは複数のサンプリングレートに基づいて入力メッシュ３０５に関連する１つまたは複数のサンプル位置を決定することができる。いくつかの実施形態では、エンコーダ３０１は、１つまたは複数のサンプリングレートに基づいて、ＵＶアトラスを有する処理済みメッシュ３１０に関連する１つまたは複数のサンプル位置を決定することができる。
【0062】
いくつかの実施形態では、１つまたは複数のサンプリングレートは、第１の軸線の第１のサンプリングレートおよび第２の軸線の第２のサンプリングレートに基づくことができる。いくつかの実施形態では、１つまたは複数のサンプリングレートは、高レベルシンタックスで信号伝達され得る。いくつかの実施形態では、１つまたは複数の領域のそれぞれに対する１つまたは複数の当該サンプリングレートは、１つまたは複数の領域の当該特性に基づくことができる。当該特性は、領域のテクスチャ、領域のアクティビティ、および領域の平滑性を含むことができる。いくつかの実施形態では、入力メッシュおよび／または処理済みメッシュは、１つまたは複数の領域に分割されてもよく、１つまたは複数のサンプリングレートは、１つまたは複数の領域のそれぞれに対する１つまたは複数の当該サンプリングレートに基づくことができる。いくつかの実施形態では、１つまたは複数のサンプリングレートは、隣接領域のサンプリングレートに基づくことができる。いくつかの実施形態では、１つまたは複数のサンプリングレートは、１つまたは複数の既にコード化されたメッシュフレームの以前の１つまたは複数のサンプリングレートに基づくことができる。
【0063】
動作７１０において、１つまたは複数のサンプル位置のそれぞれにそれぞれ関連する占有状況が決定され得る。占有状況は、１つまたは複数のサンプル位置のそれぞれが入力メッシュおよび／または処理済みメッシュによって画定された１つまたは複数の多角形の境界内にあるかどうかを示すことができる。動作７１５において、１つまたは複数のサンプル位置のそれぞれにそれぞれ関連する占有状況に基づいて、サンプルベースの占有マップが生成され得る。一例として、エンコーダ３０１は、動作３０５からの１つまたは複数のサンプル位置のそれぞれにそれぞれ関連する占有状況に基づいてサンプルベースの占有マップ（例えば、占有マップ３１５）を生成することができる。
【0064】
動作７２０において、１つまたは複数のサンプル位置のそれぞれにそれぞれ関連する３Ｄジオメトリ座標が、入力メッシュによって画定された１つまたは複数の多角形の頂点に基づいて決定される。いくつかの実施形態では、処理済みメッシュが使用され得る。動作７２５において、１つまたは複数のサンプル位置のそれぞれにそれぞれ関連する３Ｄジオメトリ座標に基づいて、サンプルベースのジオメトリマップが生成され得る。一例として、エンコーダ３０１が、入力メッシュ３０５および／または処理済みメッシュ（例えば、ＵＶアトラスを有するメッシュ３１０）によって画定された１つまたは複数の多角形の頂点に基づいて、１つまたは複数のサンプル位置のそれぞれにそれぞれ関連する３Ｄジオメトリ座標を決定することができる。次いで、エンコーダ３０１は、１つまたは複数のサンプル位置のそれぞれにそれぞれ関連する３Ｄジオメトリ座標に基づいて、サンプルベースのジオメトリマップ（例えば、ジオメトリマップ３２０）を生成することができる。いくつかの実施形態では、サンプルベースのジオメトリマップは３つの単一チャネルジオメトリマップを含むことができ、３つの単一チャネルジオメトリマップの第１のマップが、１つまたは複数のサンプル位置のそれぞれに関連するｘ軸位置を示し、３つの単一チャネルジオメトリマップの第２のマップが、１つまたは複数のサンプル位置のそれぞれに関連するｙ軸位置を示し、３つの単一チャネルジオメトリマップの第３のマップが、１つまたは複数のサンプル位置のそれぞれに関連するｚ軸位置を示す。
【0065】
動作７３０において、１つまたは複数のサンプル位置のそれぞれにそれぞれ関連する属性値が、入力メッシュによって画定された１つまたは複数の多角形の頂点に基づいて決定され得る。次いで、１つまたは複数のサンプル位置のそれぞれにそれぞれ関連する属性値は、動作３３５においてサンプルベースの属性マップを生成するために使用され得る。一例として、エンコーダ３０１は、入力メッシュ３０５および／または処理済みメッシュ（例えば、ＵＶアトラスを有するメッシュ３１５）によって画定された１つまたは複数の多角形の頂点に基づいて、１つまたは複数のサンプル位置のそれぞれにそれぞれ関連する属性値を決定することができる。次いで、エンコーダ３０１は、１つまたは複数のサンプル位置のそれぞれにそれぞれ関連する属性値に基づいて、サンプルベースの属性マップ（例えば、属性マップ３２５）を生成することができる。いくつかの実施形態では、サンプルベースの属性マップは、ｎチャネル属性マップまたはｎ個の単一チャネル属性マップの一方とすることができる。
【0066】
いくつかの実施形態では、エンコーダ３０１はまた、１つまたは複数の隣接するサンプル位置に関連する占有状況に基づいて、１つまたは複数のサンプル位置のそれぞれにそれぞれ関連する生成済み接続性情報を（例えば、メタデータ３３０の形態で）生成しかつ／または送信することができる。
【0067】
図８は、本開示の実施形態による、メッシュ再構成を示す流れ図である。
【0068】
動作８０５において、受信された占有マップ、属性マップ、およびジオメトリマップが復号され得る。一例として、デコーダ３５１は、符号化された占有マップ３１５、ジオメトリマップ３２０、および属性マップ３２５を復号して、復号された占有マップ３３５、復号されたジオメトリマップ３４０、および復号された属性マップ３４５を生成することができる。
【0069】
動作８１０において、復号された占有マップ内の各占有位置に関連する当該頂点が復元され得る。一例として、デコーダ３５１が、復号された占有マップ３３５に基づいて、各占有位置および／または画素に関連する当該頂点を復元することができる。
【0070】
動作８１５において、各占有位置に関連する３Ｄジオメトリ座標が、復号された占有マップおよび復号されたジオメトリマップに基づいて取得され得る。一例として、デコーダ３５１が、復号された占有マップ３３５および復号されたジオメトリマップ３４０に基づいて、各占有位置に関連する３Ｄジオメトリ座標を取得することができる。
【0071】
動作８２０において、各占有位置に関連する属性値が、復号された占有マップおよび復号された属性マップに基づいて取得され得る。一例として、デコーダ３５１が、復号された占有マップ３３５および復号された属性マップ３４５に基づいて、各占有位置に関連する属性値を取得することができる。
【0072】
動作８２５において、接続性情報が、復号されたマップに基づいて推測され得る、または明示的シグナリングから推測され得る。一例として、デコーダ３５１が、復号された占有マップ３３５、復号されたジオメトリマップ３４０、復号された属性マップ３４５、およびメタデータ３５０に基づいて接続性情報を推測することができる。
【0073】
いくつかの実施形態では、入力メッシュおよび／または２Ｄ ＵＶアトラスに関連する接続性情報は、特定の規則（例えば、図５（１）～（５））により、復号された占有マップ上の隣接する点の占有状況から暗黙的に推測され得る。接続性の向き（時計回りまたは反時計回り）は、シーケンスヘッダやスライスヘッダなどの高レベルシンタックスからパースされ得る、あるいはエンコーダおよびデコーダによって固定（想定）され得る。いくつかの実施形態では、再構成されたメッシュはハイブリッド型メッシュであってもよく、例えば、メッシュフレーム内のいくつかの領域が三角形メッシュを生成し、他の領域は四角形メッシュを生成する。接続性タイプは、シーケンスヘッダやスライスヘッダなどの高レベルシンタックスで信号伝達され得る。
【0074】
いくつかの実施形態では、明示的シグナリングにより、接続性情報も再構成され得る。暗黙的規則によって多角形が復元されることができない場合、エンコーダはビットストリーム内の接続性情報を（例えば、メタデータとして）信号で送ることができる。多角形の境界に応じてなど、明示的シグナリングのオーバーヘッドを低減するための任意の適切な手段が使用され得る。
【0075】
動作８３０において、復号されたマップおよび接続性情報に基づいてメッシュが再構成され得る。一例として、デコーダ３５１は、復号された占有マップ３３５、復号されたジオメトリマップ３４０、復号された属性マップ３４５、およびメタデータ３５０に基づいて再構成されたメッシュ３６０を生成することができる。デコーダ３５１は、適切な再構成フィルタおよび／または後処理技法を使用して、再構成されたメッシュ３６０を生成することができる。いくつかの実施形態によれば、再構成されたメッシュは、入力メッシュとは異なる接続性を有することができる。一例として、入力メッシュは三角形メッシュであってもよく、再構成されたメッシュは四角形メッシュであってもよい。
【0076】
上述した技法は、コンピュータ可読命令を使用するコンピュータソフトウェアとして実施され、１つまたは複数のコンピュータ可読媒体に物理的に保存され得る。例えば、図９は、本開示の特定の実施形態を実施するのに適したコンピュータシステム９００を示す。
【0077】
コンピュータソフトウェアは、コンピュータ中央処理装置（ＣＰＵ）やグラフィックス処理装置（ＧＰＵ）などにより、直接、または解釈やマイクロコード実行などを通して実行され得る命令を含むコードを作成するために、アセンブリ、コンパイル、リンキング、または同様のメカニズムを受けることができる任意の適切なマシンコードまたはコンピュータ言語を使用してコード化することができる。
【0078】
命令は、例えば、パーソナルコンピュータ、タブレットコンピュータ、サーバ、スマートフォン、ゲーミングデバイス、インターネット・オブ・シングス・デバイスなどを含む、様々なタイプのコンピュータまたはその構成要素で実行され得る。
【0079】
コンピュータシステム９００の図９に示される構成要素は、例であり、本開示の実施形態を実施するコンピュータソフトウェアの使用または機能の範囲に関して制限を示唆することを意図するものではない。構成要素の構成は、コンピュータシステム９００の非限定的な実施形態に示されている構成要素のいずれか１つまたは組合せに関して、依存関係を有するものとも要件を有するものとも解釈されるべきではない。
【0080】
コンピュータシステム９００は、特定のヒューマンインタフェース入力装置を含むことができる。そのようなヒューマンインタフェース入力装置は、例えば、触覚入力（キーストローク、スワイプ、データグローブの動きなど）、オーディオ入力（音声、拍手など）、視覚入力（ジェスチャなど）、嗅覚入力（図示せず）を通じて、１人または複数の人間ユーザによる入力に応答することができる。ヒューマンインタフェース装置は、オーディオ（発話、音楽、周囲音など）、画像（スキャン画像、静止画像カメラから得られた写真画像など）、ビデオ（２次元ビデオ、立体ビデオを含む３次元ビデオなど）など、人間による意識的な入力に必ずしも直接関連しない特定の媒体を取り込むために使用することもできる。
【0081】
入力ヒューマンインタフェース装置は、キーボード９０１、マウス９０２、トラックパッド９０３、タッチスクリーン９１０、データグローブ、ジョイスティック９０５、マイクロフォン９０６、スキャナ９０７、カメラ９０８のうちの１つまたは複数（それぞれの１つのみを図示）を含むことができる。
【0082】
コンピュータシステム９００は、特定のヒューマンインタフェース出力装置も含むことができる。そのようなヒューマンインタフェース出力装置は、例えば、触覚出力、音、光、および嗅覚／味覚を通して、１人または複数の人間ユーザの感覚を刺激していることがある。そのようなヒューマンインタフェース出力装置は、触覚出力装置（例えば、タッチスクリーン９１０、データグローブ、またはジョイスティック９０５による触覚フィードバックであるが、入力装置として機能しない触覚フィードバック装置も存在し得る）を含むことができる。例えば、そのような装置は、オーディオ出力装置（スピーカ９０９、ヘッドホン（図示せず）など）、視覚的出力装置（ＣＲＴスクリーン、ＬＣＤスクリーン、プラズマスクリーン、ＯＬＥＤスクリーンを含むスクリーン９１０など、それぞれタッチスクリーン入力機能の有無にかかわらず、それぞれ触覚フィードバック機能の有無にかかわらず、それらのうちのいくつかは、ステレオグラフィック出力、仮想現実眼鏡（図示せず）、ホログラフィックディスプレイ、およびスモークタンク（図示せず）などの手段を通じて、２次元視覚的出力または３次元を超える出力を出力することが可能であり得る）、およびプリンタ（図示せず）とすることができる。
【0083】
コンピュータシステム９００は、人間がアクセス可能な記憶装置およびそれらに関連する媒体、例えば、ＣＤ／ＤＶＤなどの媒体９２１を有するＣＤ／ＤＶＤ ＲＯＭ／ＲＷ９２０を含む光学媒体、サムドライブ９２２、リムーバブルハードドライブまたはソリッドステートドライブ９２３、テープやフロッピーディスク（図示せず）などの旧来の磁気媒体、セキュリティドングル（図示せず）などの特殊なＲＯＭ／ＡＳＩＣ／ＰＬＤベースの装置、なども含むことができる。
【0084】
当業者はまた、本開示の主題に関連して使用される「コンピュータ可読媒体」という用語が、伝送媒体、搬送波、または他の一時的な信号を包含しないことを理解するべきである。
【0085】
コンピュータシステム９００は、１つまたは複数の通信ネットワークへのインタフェースも含むことができる。ネットワークは、例えば、無線、有線、光とすることができる。ネットワークはさらに、ローカル、広域、メトロポリタン、車両および産業用、リアルタイム、遅延耐性、などとすることができる。ネットワークの例には、イーサネットなどのローカルエリアネットワーク、無線ＬＡＮ、ＧＳＭ、３Ｇ、４Ｇ、５Ｇ、ＬＴＥなどを含むセルラーネットワーク、ケーブルＴＶ、衛星ＴＶ、および地上波放送ＴＶを含むＴＶ有線または無線ワイドエリアデジタルネットワーク、ＣＡＮＢｕｓを含む車両および産業用、などが含まれる。特定のネットワークは一般に、特定の汎用データポートまたは周辺バス９４９に取り付けられる外部ネットワークインタフェースアダプタ（例えば、コンピュータシステム９００のＵＳＢポートなど）を必要とし、他のものは一般に、下記のようにシステムバスに取り付けることによりコンピュータシステム９００のコアに統合される（例えば、ＰＣコンピュータシステムへのイーサネットインタフェースまたはスマートフォンコンピュータシステムへのセルラーネットワークインタフェース）。これらのネットワークのいずれかを使用して、コンピュータシステム９００は他のエンティティと通信することができる。このような通信は、単方向、受信のみ（例えば、放送ＴＶ）、単方向の送信のみ（例えば、ＣＡＮｂｕｓから特定のＣＡＮｂｕｓ装置へ）、または双方向、例えば、ローカルエリアまたはワイドエリアデジタルネットワークを使用する他のコンピュータシステム向けであり得る。そのような通信は、クラウドコンピューティング環境９５５への通信を含むことができる。特定のプロトコルおよびプロトコルスタックは、上述したように、それらのネットワークおよびネットワークインタフェースのそれぞれで使用され得る。
【0086】
前述のヒューマンインタフェース装置、人間がアクセス可能な記憶装置、およびネットワークインタフェース９５４は、コンピュータシステム９００のコア９４０に取り付けることができる。
【0087】
コア９４０は、１つまたは複数の中央処理装置（ＣＰＵ）９４１、グラフィックス処理装置（ＧＰＵ）９４２、フィールドプログラマブルゲートエリア（ＦＰＧＡ）９４３の形式の特殊なプログラマブル処理装置、特定のタスクのためのハードウェアアクセラレータ９４４などを含むことができる。これらの装置は、読取り専用メモリ（ＲＯＭ）９４５、ランダムアクセスメモリ９４６、ユーザがアクセスできない内部ハードドライブやＳＳＤなどの内部大容量記憶装置９４７と共に、システムバス９４８を介して接続され得る。いくつかのコンピュータシステムでは、システムバス９４８は、追加のＣＰＵ、ＧＰＵなどによる拡張を可能にするために、１つまたは複数の物理プラグの形でアクセス可能とすることができる。周辺装置は、コアのシステムバス９４８に直接取り付けられることも、周辺バス９４９を介して取り付けられることもできる。周辺バスのアーキテクチャは、ＰＣＩ、ＵＳＢなどを含む。グラフィックスアダプタ９５０は、コア９４０に含まれてもよい。
【0088】
ＣＰＵ９４１、ＧＰＵ９４２、ＦＰＧＡ９４３、およびアクセラレータ９４４は、組み合わせて、前述のコンピュータコードを構成することができる特定の命令を実行することができる。そのコンピュータコードは、ＲＯＭ９４５またはＲＡＭ９４６に保存され得る。移行データもまたＲＡＭ９４６に保存され得るが、永続データは、例えば、内部大容量記憶装置９４７に保存され得る。１つまたは複数のＣＰＵ９４１、ＧＰＵ９４２、大容量記憶装置９４７、ＲＯＭ９４５、ＲＡＭ９４６などと密接に関連付けられ得るキャッシュメモリを使用することにより、メモリ装置のいずれかへの高速記憶および検索が有効にされ得る。
【0089】
コンピュータ可読媒体には、様々なコンピュータ実施動作を実行するためのコンピュータコードを搭載することができる。媒体およびコンピュータコードは、本開示の目的ために特別に設計および構成されたものとすることができる、あるいは、コンピュータソフトウェア技術の当業者によく知られ、当業者が入手可能な種類のものとすることができる。
【0090】
一例として、限定としてではなく、アーキテクチャ、具体的にはコア９４０を有するコンピュータシステム９００は、１つまたは複数の有形のコンピュータ可読媒体で具体化されたソフトウェアを実行するプロセッサ（複数可）（ＣＰＵ、ＧＰＵ、ＦＰＧＡ、アクセラレータなどを含む）の結果として機能を提供することができる。そのようなコンピュータ可読媒体は、上記で紹介したユーザがアクセス可能な大容量記憶装置、ならびにコア内部大容量記憶装置９４７やＲＯＭ９４５などの、非一時的性質のコア９４０の特定の記憶装置に関連する媒体とすることができる。本開示の様々な実施形態を実施するソフトウェアは、そのような装置に記憶され、コア９４０によって実行され得る。コンピュータ可読媒体は、特定の必要性に応じて、１つまたは複数のメモリ装置またはチップを含むことができる。ソフトウェアは、コア９４０、具体的にはその中のプロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡなどを含む）に、ＲＡＭ９４６に記憶されたデータ構造を定義すること、およびソフトウェアによって定義されたプロセスに従ってかかるデータ構造を修正することを含む、本明細書に記載の特定のプロセスまたは特定のプロセスの特定の部分を実行させることができる。加えて、または代替として、コンピュータシステムは、回路（例えば、アクセラレータ９４４）に配線で接続された、またはそうでなければ具現化されたロジックの結果として機能を提供することができ、回路は、本明細書に記載の特定のプロセスまたは特定のプロセスの特定の部分を実行するために、ソフトウェアの代わりに、またはソフトウェアと共に動作することができる。ソフトウェアへの言及は、必要に応じて、ロジックを包含することができ、その逆も同様である。コンピュータ可読媒体への言及は、必要に応じて、実行のためのソフトウェアを記憶する回路（集積回路（ＩＣ）など）、実行のためのロジックを具現化する回路、またはこれらの両方を包含することができる。本開示は、ハードウェアとソフトウェアの任意の適切な組合せを包含する。
【0091】
本開示は、いくつかの非限定的な実施形態を説明しているが、本開示の範囲内にある変更、順列、および様々な代替の同等物が存在する。したがって、当業者は、本明細書に明示的に示されていないかまたは記載されていないが、本開示の原理を具現化し、したがって本開示の趣旨および範囲内にある多数のシステムおよび方法を考案することができることが理解されよう。
【符号の説明】
【0092】
１００ 通信システム
１１０ 端末
１２０ 端末
１３０ 端末
１４０ 端末
１５０ ネットワーク
２００ ストリーミングシステム
２０１ ビデオソース
２０２ ストリーム
２０３ エンコーダ
２０４ 符号化されたビデオビットストリーム
２０５ ストリーミングサーバ
２０６ ストリーミングクライアント
２０９ ビデオビットストリーム
２１０ ビデオデコーダ
２１１ 発信ビデオサンプルストリーム
２１２ ディスプレイ
２１３ キャプチャサブシステム
３００ フレームワーク
３０１ エンコーダ
３０５ 入力メッシュ
３１０ ＵＶアトラスを有するメッシュ
３１５ 占有マップ
３２０ ジオメトリマップ
３２５ 属性マップ
３３０ メタデータ
３３５ 復号された占有マップ
３４０ 復号されたジオメトリマップ
３４５ 復号された属性マップ
３５０ 復号されたメタデータ
３５１ デコーダ
３６０ 再構成されたメッシュ
４００ 三角形メッシュ
６００ 再構成されたメッシュ
７００ プロセス
７０５ 動作
７１０ 動作
７１５ 動作
７２０ 動作
７２５ 動作
７３０ 動作
８０５ 動作
８１０ 動作
８１５ 動作
８２０ 動作
８２５ 動作
８３０ 動作
９００ コンピュータシステム
９０１ キーボード
９０２ マウス
９０３ トラックパッド
９０５ ジョイスティック
９０６ マイクロフォン
９０７ スキャナ
９０８ カメラ
９０９ スピーカ
９１０ スクリーン
９２０ 光学媒体
９２１ 媒体
９２２ サムドライブ
９２３ リムーバブルハードドライブ、ソリッドステートドライブ
９４０ コア
９４１ 中央処理装置（ＣＰＵ）
９４２ グラフィックス処理装置（ＧＰＵ）
９４３ フィールドプログラマブルゲートエリア（ＦＰＧＡ）
９４４ ハードウェアアクセラレータ
９４５ 読取り専用メモリ（ＲＯＭ）
９４６ ランダムアクセスメモリ
９４７ 大容量記憶装置
９４８ システムバス
９４９ 特定の汎用データポート、周辺バス
９５０ グラフィックスアダプタ
９５４ ネットワークインタフェース
９５５ クラウドコンピューティング環境
１１０ 端末
１２０ 端末
１３０ 端末
１４０ 端末
１５０ ネットワーク
２００ ストリーミングシステム
２０１ ビデオソース
２０２ ストリーム
２０３ エンコーダ
２０４ 符号化されたビデオビットストリーム
２０５ ストリーミングサーバ
２０６ ストリーミングクライアント
２０９ ビデオビットストリーム
２１０ ビデオデコーダ
２１１ 発信ビデオサンプルストリーム
２１２ ディスプレイ
２１３ キャプチャサブシステム
３００ フレームワーク
３０１ エンコーダ
３０５ 入力メッシュ
３１０ ＵＶアトラスを有するメッシュ
３１５ 占有マップ
３２０ ジオメトリマップ
３２５ 属性マップ
３３０ メタデータ
３３５ 復号された占有マップ
３４０ 復号されたジオメトリマップ
３４５ 復号された属性マップ
３５０ 復号されたメタデータ
３５１ デコーダ
３６０ 再構成されたメッシュ
４００ 三角形メッシュ
６００ 再構成されたメッシュ
７００ プロセス
７０５ 動作
７１０ 動作
７１５ 動作
７２０ 動作
７２５ 動作
７３０ 動作
８０５ 動作
８１０ 動作
８１５ 動作
８２０ 動作
８２５ 動作
８３０ 動作
９００ コンピュータシステム
９０１ キーボード
９０２ マウス
９０３ トラックパッド
９０５ ジョイスティック
９０６ マイクロフォン
９０７ スキャナ
９０８ カメラ
９０９ スピーカ
９１０ スクリーン
９２０ 光学媒体
９２１ 媒体
９２２ サムドライブ
９２３ リムーバブルハードドライブ、ソリッドステートドライブ
９４０ コア
９４１ 中央処理装置（ＣＰＵ）
９４２ グラフィックス処理装置（ＧＰＵ）
９４３ フィールドプログラマブルゲートエリア（ＦＰＧＡ）
９４４ ハードウェアアクセラレータ
９４５ 読取り専用メモリ（ＲＯＭ）
９４６ ランダムアクセスメモリ
９４７ 大容量記憶装置
９４８ システムバス
９４９ 特定の汎用データポート、周辺バス
９５０ グラフィックスアダプタ
９５４ ネットワークインタフェース
９５５ クラウドコンピューティング環境
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【手続補正書】
【提出日】2023-05-17
【手続補正2】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
サンプリングベースの動的メッシュ圧縮の方法であって、前記方法は少なくとも１つのプロセッサによって実行され、１つまたは複数のサンプリングレートに基づいて入力メッシュに関連する１つまたは複数のサンプル位置を決定するステップと、
前記１つまたは複数のサンプル位置のそれぞれにそれぞれ関連する占有状況を決定するステップであって、前記占有状況は、前記１つまたは複数のサンプル位置のそれぞれが前記入力メッシュによって画定された１つまたは複数の多角形の境界内にあるかどうかを示す、ステップと、
前記１つまたは複数のサンプル位置のそれぞれにそれぞれ関連する前記占有状況に基づいてサンプルベースの占有マップを生成するステップと、
ビデオコーデックを使用して前記サンプルベースの占有マップを複数の単一チャネル画像または多チャネル画像に圧縮するステップと
を含む、方法。
【請求項2】
前記１つまたは複数のサンプリングレートが、第１の軸線の第１のサンプリングレートおよび第２の軸線の第２のサンプリングレートに基づく、請求項１に記載の方法。
【請求項3】
前記入力メッシュが１つまたは複数の領域に分割され、前記１つまたは複数のサンプリングレートが、前記１つまたは複数の領域のそれぞれに対する１つまたは複数のそれぞれのサンプリングレートに基づく、請求項１に記載の方法。
【請求項4】
前記１つまたは複数のサンプリングレートが、高レベルシンタックスで信号伝達される、請求項１に記載の方法。
【請求項5】
前記１つまたは複数の領域のそれぞれに対する前記１つまたは複数の当該サンプリングレートが、前記１つまたは複数の領域の当該特性に基づく、請求項３に記載の方法。
【請求項6】
前記当該特性が、領域のテクスチャ、
前記領域のアクティビティ、および
前記領域の平滑性
のうちの少なくとも１つである、請求項５に記載の方法。
【請求項7】
前記１つまたは複数のサンプリングレートが、隣接領域のサンプリングレートに基づく、請求項１に記載の方法。
【請求項8】
前記１つまたは複数のサンプリングレートが、１つまたは複数の既にコード化されたメッシュフレームの以前の１つまたは複数のサンプリングレートに基づく、請求項１に記載の方法。
【請求項9】
前記方法は、前記入力メッシュによって画定された前記１つまたは複数の多角形の頂点に基づいて、前記１つまたは複数のサンプル位置のそれぞれにそれぞれ関連する３Ｄジオメトリ座標を決定するステップと、
前記１つまたは複数のサンプル位置のそれぞれにそれぞれ関連する前記３Ｄジオメトリ座標に基づいてサンプルベースのジオメトリマップを生成するステップと
をさらに含む、請求項１に記載の方法。
【請求項10】
前記サンプルベースのジオメトリマップが３つの単一チャネルジオメトリマップを含み、前記３つの単一チャネルジオメトリマップの第１のマップが、前記１つまたは複数のサンプル位置のそれぞれに関連するｘ軸位置を示し、前記３つの単一チャネルジオメトリマップの第２のマップが、前記１つまたは複数のサンプル位置のそれぞれに関連するｙ軸位置を示し、前記３つの単一チャネルジオメトリマップの第３のマップが、前記１つまたは複数のサンプル位置のそれぞれに関連するｚ軸位置を示す、請求項９に記載の方法。
【請求項11】
前記方法は、前記入力メッシュによって画定された前記１つまたは複数の多角形の頂点に基づいて、前記１つまたは複数のサンプル位置のそれぞれにそれぞれ関連する属性値を決定するステップと、
前記１つまたは複数のサンプル位置のそれぞれにそれぞれ関連する前記属性値に基づいてサンプルベースの属性マップを生成するステップと
をさらに含む、請求項１に記載の方法。
【請求項12】
前記サンプルベースの属性マップが、ｎチャネル属性マップまたはｎ個の単一チャネル属性マップの一方である、請求項１１に記載の方法。
【請求項13】
前記方法は、１つまたは複数の隣接するサンプル位置に関連する前記占有状況に基づいて、１つまたは複数のサンプル位置のそれぞれにそれぞれ関連する接続性情報を生成するステップ
をさらに含む、請求項１に記載の方法。
【請求項14】
請求項１から１３のいずれか一項に記載の方法を実行する、サンプリングベースの動的メッシュ圧縮のための装置。
【請求項15】
サンプリングベースの動的メッシュ圧縮のための装置の１つまたは複数のプロセッサによって実行されると、前記１つまたは複数のプロセッサに、請求項１から１３のいずれか一項に記載の方法を実行させる１つまたは複数の命令を含む、プログラム。
【国際調査報告】