特許 7593547 メッシュ圧縮のための頂点の並べ替え

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-25

(45)【発行日】2024-12-03

(54)【発明の名称】メッシュ圧縮のための頂点の並べ替え

(51)【国際特許分類】

   H04N 19/597 20140101AFI20241126BHJP

   G06T 9/00 20060101ALI20241126BHJP

【ＦＩ】

H04N19/597

G06T9/00 100

【請求項の数】 12

(21)【出願番号】P 2023534146

(86)(22)【出願日】2022-09-07

(65)【公表番号】

(43)【公表日】2023-12-15

(86)【国際出願番号】 US2022076054

(87)【国際公開番号】W WO2023039432

(87)【国際公開日】2023-03-16

【審査請求日】2023-06-05

(31)【優先権主張番号】63/241,876

(32)【優先日】2021-09-08

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】63/241,883

(32)【優先日】2021-09-08

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】17/903,505

(32)【優先日】2022-09-06

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】520353802

【氏名又は名称】テンセント・アメリカ・エルエルシー

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】ホアン，チャオ

(72)【発明者】

【氏名】ジャン，シァン

(72)【発明者】

【氏名】ティエン，ジュン

(72)【発明者】

【氏名】シュー，シャオジョン

(72)【発明者】

【氏名】リウ，シャン

【審査官】久保 光宏

(56)【参考文献】

【文献】国際公開第２０２１／１１６８３８（ＷＯ，Ａ１）

【文献】米国特許第６０４７０８８（ＵＳ，Ａ）

【文献】米国特許出願公開第２０２１／０２０９８０６（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０２１／００９０３０１（ＵＳ，Ａ１）

【文献】国際公開第２０２１／１３６８７６（ＷＯ，Ａ１）

【文献】国際公開第２０２１／１３６８７８（ＷＯ，Ａ１）

【文献】Martin Roa Villescas，"3D Face Reconstruction using Structured Light on a Hand-held Device"，[online], Eindhoven University of Technology，2020年06月29日，Pages 28-29，[令和6年4月22日検索], インターネット，<URL: https://web.archive.org/web/20200627154956/https://research.tue.nl/en/studentTheses/3d-face-reconstruction-using-structured-light-on-a-hand-held-devi> and <URL: https://web.archive.org/web/20200629062412/https://pure.tue.nl/ws/portalfiles/portal/46965337/777871-1.pdf>.

【文献】Archana Balagondar，"Mesh compression: Theory & practice"，[online], University of Windsor，2013年03月21日，Pages i-xii and 67-81，[令和6年4月22日検索], インターネット, <URL: https://scholar.uwindsor.ca/etd/2707/>.

【文献】Junhui Hou, et al.，"Rate-Distortion Model Based Bit Allocation for 3-D Facial Compression Using Geometry Video"，IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY，2013年09月，Vol.23, No.9，Pages 1537-1541，ISSN: 1051-8215, <DOI: 10.1109/TCSVT.2013.2248971>.

【文献】Danillo Graziosi, et al.，"[VPCC] [EE2.6-related] Mesh Patch Data"，m55368，[online], ISO/IEC JTC 1/SC 29/WG 7，2020年10月20日，全１４頁，[令和6年9月18日検索], インターネット, <URL: https://mpeg-pcc.org/index.php/public-contributions/mpeg-132-sony-contribution-list/> and <URL: https://mpeg-pcc.org/wp-content/uploads/2020/10/m55368-v1-m55368_V-PCCEE2.6-related-Mesh-Patch-Data.zip>.，(See document file "m55368_mesh_patch_data.docx" in the zip file "m55368-v1-m55368_V-PCCEE2.6-related-Mesh-Patch-Data.zip".)

【文献】Esmaeil Faramarzi, et al.，"[V-PCC] EE2.6 Report on mesh coding with V-PCC"，m49588，[online], ISO/IEC JTC1/SC29/WG11 MPEG2019，2019年07月05日，全７頁，[令和6年3月1日検索], インターネット, <URL: https://mpeg-pcc.org/index.php/public-contributions/mpeg127-m49588v-pcc-ee2-6-report-on-mesh-coding-with-v-pcc/> and <URL: https://mpeg-pcc.org/wp-content/uploads/2019/07/m49588-v1.zip>.，(See document file "m49588-VPCC-EE2.6-Report_on_Mesh_Coding-Samsung-v1.docx" in the zip file "m49588-v1.zip".)

【文献】Esmaeil Faramarzi, et al.，"Mesh Coding Extensions to MPEG-I V-PCC"，Proceedings of 2020 IEEE 22nd International Workshop on Multimedia Signal Processing (MMSP)，IEEE，2020年09月24日，全５頁，Electronic ISBN: 978-1-7281-9320-5, <DOI: 10.1109/MMSP48831.2020.9287057>.

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ１９／００－１９／９８

Ｇ０６Ｔ９／００－９／４０

ＣＳＤＢ（日本国特許庁）

学術文献等データベース（日本国特許庁）

ＩＥＥＥＸｐｌｏｒｅ（ＩＥＥＥ）

(57)【特許請求の範囲】

【請求項1】

メッシュ解凍のための方法であって：
複数のパッチを含む3次元(３Ｄ)メッシュフレームを運ぶビットストリームから属性の配列をデコーディングするステップであって、前記属性の配列は、前記３Ｄメッシュフレームの頂点に対応し、前記３Ｄメッシュフレームの前記頂点は、前記複数のパッチにそれぞれ属するサブセットに順序付けられる、ステップと；
前記３Ｄメッシュフレームの前記頂点の第１のサブセットに対応する前記属性の配列の第１の部分を決定するステップであって、前記第１のサブセットは、第１のパッチに属する、ステップと；
前記頂点の前記第１のサブセットの第１の接続性情報を決定するステップと；
前記属性の配列の前記第１の部分と前記第１の接続性情報に基づいて前記３Ｄメッシュフレームの前記第１のパッチを再構成するステップと；を含み、
前記属性の配列をデコーディングする前記ステップは：
前記頂点の3次元座標を示す３チャネル要素の配列に対応する2次元(２Ｄ)イメージをデコーディングするステップ；
前記頂点のuv座標を示す２チャネル要素の配列に対応する２Ｄイメージをデコーディングするステップ；又は
前記頂点のu座標の第１の配列と前記頂点のv座標の第２の配列にそれぞれ対応する第１の２Ｄイメージと第２の２Ｄイメージをデコーディングするステップ；のうちの少なくとも１つを含む、
方法。

【請求項2】

前記属性の配列の前記第１の部分を決定する前記ステップは：
前記ビットストリームから、前記３Ｄメッシュフレームの前記頂点の前記第１のサブセット内の頂点の数を示す第１の値をデコーディングするステップと；
前記第１の値に基づいて前記属性の配列の前記第１の部分を選択するステップと；を含む、
請求項１に記載の方法。

【請求項3】

前記ビットストリームから、前記第１のサブセット内の境界頂点の数を示す第２の値をデコーディングするステップと；
前記第２の値に基づいて前記属性の配列の前記第１の部分から前記境界頂点の属性を決定するステップと；をさらに含む、
請求項２に記載の方法。

【請求項4】

前記属性の配列の前記第１の部分から、前記第１のサブセット内の他の頂点の前記属性の前に順序付けられた前記境界頂点の前記属性を選択するステップをさらに含む、
請求項３に記載の方法。

【請求項5】

前記属性は、座標を含み、前記方法は、さらに：
前記境界頂点についての境界座標残差をデコーディングするステップと；
前記境界頂点の回復された座標を取得するために、前記境界頂点の前記座標を前記境界頂点の前記境界座標残差を組み合わせるステップと；を含む、
請求項３に記載の方法。

【請求項6】

前記境界頂点の前記座標は、前記境界頂点の3次元(３Ｄ)座標及び/又は前記境界頂点のuv座標のうちの少なくとも１つを含み、前記境界頂点についての前記境界座標残差は、境界３Ｄ座標残差及び/又は境界uv座標残差のうちの少なくとも１つを含む、
請求項５に記載の方法。

【請求項7】

第１の頂点と第２の頂点が同じ座標を持つことを検出するステップと；
前記再構成するステップから、前記第１の頂点と前記第２の頂点のうちの１つを削除するステップと；をさらに含む、
請求項５に記載の方法。

【請求項8】

前記第１のパッチの非境界頂点が前記第１のパッチの前記境界頂点によって形成される境界の外側にあることを検出するステップと；
前記非境界頂点なしで前記３Ｄメッシュフレームの前記第１のパッチを再構成するステップと；をさらに含む、
請求項５に記載の方法。

【請求項9】

前記頂点の前記第１のサブセットの前記第１の接続性情報を決定するステップはさらに：
前記頂点の前記第１のサブセットの前記第１の接続性情報を推測するステップを含む、
請求項１に記載の方法。

【請求項10】

前記頂点の前記第１のサブセットの前記第１の接続性情報を決定するステップはさらに：
前記ビットストリームから、前記頂点の前記第１のサブセットの前記第１の接続性情報をデコーディングするステップを含む、
請求項１に記載の方法。

【請求項11】

メッシュ解凍のための装置であって、請求項１乃至１０のいずれか１項に記載の方法を実行するように構成された処理回路を有する、
装置。

【請求項12】

コンピュータによって実行されるとき前記コンピュータの少なくとも１つのプロセッサに、請求項１乃至１０のいずれか１項に記載の方法を実行させる、コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

［参照による援用］
本出願は、2022年9月6日に出願された米国特許出願第１7/903,505号「VERTEX REORDERING FOR MESH COMPRESSION」に対する優先権の利益を主張するものであり、当該出願は、2021年9月8日に出願された米国仮出願第63/241,876号「Vertex Reordering for Mesh Compression」に対する優先権の利益を主張するものである。先の出願の開示の全内容を参照により援用する。

【0002】

［技術分野］
本開示は、概してメッシュコーディング(符号化）に関連する実施形態を記載する。

【背景技術】

【0003】

本明細書で提供される背景説明は、本開示の文脈を概括的に提示するためのものである。本願で名前が挙がっている発明者の仕事であってその仕事がこの背景セクションに記載されている範囲におけるもの、また、その他の点で出願時に先行技術として適格でないことがあり得る本記述の態様は、明示的にも暗黙的にも本開示に対する先行技術として認められない。

【0004】

様々な技術が、３次元（３Ｄ）空間において、ワールド（world）内の物体、ワールド内の環境など、ワールドをキャプチャし、表すための開発されている。ワールドの３Ｄ表現は、より没入型の（immersive）形態のインタラクション（interaction）及びコミュニケーションを可能にする。いくつかの例では、ポイントクラウド（point clouds）及びメッシュをワールドの３Ｄ表現として使用することができる。

【発明の概要】

【0005】

本開示の態様は、メッシュコーディング（例えば、圧縮及び解凍（decompression））のための方法及び装置を提供する。いくつかの例では、メッシュコーディングのための装置が処理回路を含む。処理回路は、複数のパッチを含む3次元(３Ｄ)メッシュフレームを運ぶビットストリームから属性の配列(array）をデコーディングする。属性の配列は、３Ｄメッシュフレームの頂点に対応する。３Ｄメッシュフレームの頂点は、複数のパッチにそれぞれ属するサブセットに順序付けられる。処理回路は、３Ｄメッシュフレームの頂点の第１のサブセットに対応する属性の配列の第１の部分を決定する。第１のサブセットは、複数のパッチ内の第１のパッチに属する。処理回路は、頂点の第１のサブセットの第１の接続性情報(connectivity information)を決定し、属性の配列の第１の部分と第１の接続性情報に基づいて３Ｄメッシュフレームの第１のパッチを再構成する。

【0006】

一例では、処理回路は、頂点の3次元座標の配列に対応する2次元(２Ｄ)イメージをデコーディングする。別の例では、処理回路は、頂点のuv座標の配列に対応する２Ｄイメージをデコーディングする。別の例では、処理回路は、頂点のu座標の第１の配列と頂点のv座標の第２の配列にそれぞれ対応する第１の２Ｄイメージと第２の２Ｄイメージをデコーディングする。

【0007】

いくつかの例では、処理回路は、ビットストリームから、３Ｄメッシュフレームの頂点の第１のサブセット内の頂点の数を示す第１の値をデコーディングし、第１の値に基づいて属性の配列の第１の部分を選択する。さらに、一例では、処理回路は、ビットストリームから、第１のサブセット内の境界頂点の数を示す第２の値をデコーディングし、第２の値に基づいて属性の配列の第１の部分から境界頂点の属性を決定する。

【0008】

いくつかの例では、処理回路は、属性の配列の第１の部分から、第１のサブセット内の他の頂点の属性の前に順序付けられた境界頂点の属性を選択する。

【0009】

いくつかの例では、属性は、座標を含み、処理回路は、境界頂点についての境界座標残差(boundary coordinate residuals）をデコーディングし、境界頂点の座標と境界頂点の境界座標残差を組み合わせて、境界頂点の回復された座標を取得する。境界頂点の座標は、境界頂点の3次元(３Ｄ)座標及び/又は境界頂点のuv座標であることができ、境界頂点についての境界座標残差は、境界３Ｄ座標残差及び/又は境界uv座標残差であることができる。

【0010】

いくつかの例では、処理回路は、第１の頂点と第２の頂点が同じ座標を持つことを検出し、第１のパッチの再構成から第１の頂点と第２の頂点のうちの１つを削除する。

【0011】

いくつかの例では、処理回路は、第１のパッチの非境界頂点が第１のパッチの境界頂点によって形成される境界(境界エッジ）の外側にあることを検出し、処理回路は、非境界頂点を削除し、非境界頂点なしで３Ｄメッシュフレームの第１のパッチを再構成する。

【0012】

いくつかの例では、処理回路は、頂点の第１のサブセットの第１の接続性情報を推測する。いくつかの他の例では、処理回路は、ビットストリームから頂点の第１のサブセットの第１の接続性情報をデコーディングする。

【0013】

本開示の態様はまた、コンピュータによって実行されるときコンピュータにメッシュコーディングのための方法のいずれか又は組み合わせを実行させる命令を格納する非一時的コンピュータ可読媒体を提供する。

【図面の簡単な説明】

【0014】

開示された主題のさらなる特徴、性質、及び様々な利点は、以下の詳細な説明及び添付の図面からより明白になるであろう。

【0015】

【図1】いくつかの例における通信システムのブロック図を示す。

【0016】

【図2】いくつかの例におけるストリーミングシステムのブロック図を示す。

【0017】

【図3】いくつかの例におけるポイントクラウドフレームをエンコーディングするためのエンコーダのブロック図を示す。

【0018】

【図4】いくつかの例におけるポイントクラウドフレームに対応する圧縮ビットストリームをデコーディングするためのデコーダのブロック図を示す。

【0019】

【図5】いくつかの例におけるビデオデコーダのブロック図を示す。

【0020】

【図6】いくつかの例におけるビデオエンコーダのブロック図を示す。

【0021】

【図7】いくつかの例におけるポイントクラウドフレームをエンコーディングするエンコーダのブロック図を示す。

【0022】

【図8】いくつかの例におけるポイントクラウドフレームを運ぶ圧縮ビットストリームをデコーディングするデコーダのブロック図を示す。

【0023】

【図9】いくつかの例にけるメッシュのアトラスへのマッピングを示す図を示す。

【0024】

【図10】いくつかの例における２つのUVアトラスフレームを示す図を示す。

【0025】

【図11】本開示のいくつかの実施形態によるメッシュ圧縮のフレームワークの図を示す。

【0026】

【図12】本開示のいくつかの実施形態によるメッシュ圧縮のためのフレームワークの図を示す。

【0027】

【図13】本開示のいくつかの実施形態によるメッシュ内の頂点を並べ替えるプロセスの概要を示すフローチャートを示す。

【0028】

【図14】いくつかの例におけるプロセス例の概要を示すフローチャートを示す。

【0029】

【図15】いくつかの例におけるプロセス例の概要を示すフローチャートを示す。

【0030】

【図16】いくつかの例におけるコンピュータシステムの概略図である。

【発明を実施するための形態】

【0031】

本開示の態様は、３次元（３Ｄ）メディア処理の分野における技術を提供する。

【0032】

３次元（３Ｄ）キャプチャ、３Ｄモデリング、及び３Ｄレンダリングの進歩など、３Ｄメディア処理における技術開発は、いくつかのプラットフォーム及びデバイスにわたって３Ｄメディアコンテンツのユビキタスな存在を促進した。一例では、赤ちゃんの第一歩をある大陸でキャプチャすることができ、メディア技術は祖父母が別の大陸で赤ちゃんとの没入体験を視聴（及び場合によっては交流）して楽しむことを可能にする。開示の一態様によると、没入体験を向上させるために、３Ｄモデルはますます洗練されてきており、３Ｄモデルの作成と消費は、データストレージ、データ伝送リソースなど、かなりの量のデータリソースを占めている。

【0033】

本開示のいくつかの態様によると、ポイントクラウド及びメッシュを、没入型コンテンツ（immersive contents）を表現するために３Ｄモデルとして使用することができる。

【0034】

ポイントクラウドは、一般に、色、材料特性、テクスチャ情報、強度属性、反射属性、モーション関連属性、モダリティ属性、及びその他のさまざまな属性などの関連属性を持つ、３Ｄ空間内のポイント（points）のセットを指し得る。ポイントクラウドは、そのようなポイントの構成（composition）としてオブジェクト又はシーンを再構成するために使用することができる。

【0035】

オブジェクトのメッシュ（メッシュモデルとも呼ばれる）は、オブジェクトのサーフェスを記述するポリゴンを含むことができる。各ポリゴンは、３Ｄ空間内のポリゴンの頂点と、頂点がポリゴンにどのように接続されているかの情報によって定義することができる。頂点がどのように接続されているかの情報は、接続性情報と呼ばれる。いくつかの例では、メッシュはまた、頂点に関連付けられた色、法線などの属性を含むことができる。

【0036】

本開示のいくつかの態様によると、ポイントクラウド圧縮（ＰＣＣ）のためのいくつかのコーディングツールをメッシュ圧縮に使用することができる。例えば、メッシュは、新しいメッシュの接続性情報を推測することができる新しいメッシュを生成するために、再メッシュされることができる。新しいメッシュの頂点、及び新しいメッシュの頂点に関連付けられた属性は、ポイントクラウド内のポイントと見なすことができ、ＰＣＣコーデックを使用して圧縮されることができる。

【0037】

ポイントクラウドは、オブジェクト又はシーンをポイントの構成として再構成するために使用することができる。ポイントは、複数のカメラ、深度センサ、又はライダー（Lidar）をさまざまな設定で使用してキャプチャすることができ、再構成されたシーン又はオブジェクトをリアルに表現するために、数千から数十億のポイントで構成される場合がある。パッチが、概して、ポイントクラウドによって記述されるサーフェスの連続したサブセットを指す場合がある。一例では、パッチは、しきい値量未満で互いにずれているサーフェス（表面）法線ベクトルを持つポイントを含む。

【0038】

ＰＣＣは、Ｇ－ＰＣＣと呼ばれるジオメトリベースのスキーム、Ｖ－ＰＣＣと呼ばれるビデオコーディングベースのスキームなど、さまざまなスキームに従って実行することができる。本開示のいくつかの態様によると、Ｇ－ＰＣＣは３Ｄジオメトリを直接エンコーディングし、ビデオコーディングと共有することがあまりない純粋にジオメトリベースのアプローチであり、Ｖ－ＰＣＣはビデオコーディングに大きく基づいている。例えば、Ｖ－ＰＣＣは３Ｄクラウドのポイントを２Ｄグリッド（イメージ）のピクセルにマッピングすることができる。Ｖ－ＰＣＣスキームは、ポイントクラウド圧縮のために汎用ビデオコーデックを利用することができる。本開示におけるＰＣＣコーデック（エンコーダ／デコーダ）は、Ｇ－ＰＣＣコーデック（エンコーダ／デコーダ）又はＶ－ＰＣＣコーデックとすることができる。

【0039】

本開示の一態様によると、Ｖ－ＰＣＣスキームは、ポイントクラウドのジオメトリ、占有率（occupancy）及びテクスチャを３つの別個のビデオシーケンスとして圧縮するために、既存のビデオコーデックを使用することができる。３つのビデオシーケンスを解釈するために必要な追加のメタデータは、別々に圧縮される。全体のビットストリームのごく一部がメタデータであり、これは、一例ではソフトウェア実装を使用して効率的にエンコーディング／デコーディングできる。情報の大部分はビデオコーデックによって処理される。

【0040】

図１は、いくつかの例における通信システム（１００）のブロック図を示す。通信システム（１００）は、例えばネットワーク（１５０）を介して相互に通信できる複数の端末装置を含む。例えば、通信システム（１００）は、ネットワーク（１５０）を介して相互に接続された端末装置（１１０）と（１２０）のペアを含む。図１の例では、端末装置（１１０）と（１２０）の第１のペアは、ポイントクラウドデータの単方向伝送を行い得る。例えば、端末装置（１１０）は、端末装置（１１０）と接続されたセンサ（１０５）によってキャプチャされたポイントクラウド（例えば、構造を表すポイント）を圧縮し得る。圧縮されたポイントクラウドは、例えばビットストリームの形で、ネットワーク（１５０）を介して他の端末装置（１２０）に送信されることができる。端末装置（１２０）は、ネットワーク（１５０）から圧縮されたポイントクラウドを受信し、ポイントクラウドを再構成するためにビットストリームを解凍し、再構成されたポイントクラウドを適切に表示し得る。一方向データ伝送は、メディアサービスアプリケーションなどで一般的である。

【0041】

図１の例では、端末装置（１１０）及び（１２０）は、サーバ、及びパーソナルコンピュータとして図示されることができるが、本開示の原理はそのように限定されない。本開示の実施形態は、ラップトップコンピュータ、タブレットコンピュータ、スマートフォン、ゲーム端末、メディアプレーヤー、及び/又は専用の３次元（３Ｄ）機器での適用を見出す。ネットワーク（１５０）は、端末装置（１１０）と（１２０）との間で圧縮されたポイントクラウドを送信する任意の数のネットワークを表す。ネットワーク（１５０）は、例えばワイヤライン（有線）及び/又は無線通信ネットワークを含むことができる。ネットワーク（１５０）は、回線交換チャネル及び/又はパケット交換チャネルでデータを交換し得る。代表的なネットワークは、電気通信ネットワーク、ローカルエリアネットワーク、ワイドエリアネットワーク、インターネットなどを含む。

【0042】

図２は、いくつかの例におけるストリーミングシステム（２００）のブロック図を示す。ストリーミングシステム（２００）は、ポイントクラウドの利用アプリケーションである。開示された主題は、３Ｄテレプレゼンスアプリケーション、仮想現実アプリケーションなど、他のポイントクラウド対応アプリケーションに同様に適用可能であることができる。

【0043】

ストリーミングシステム（２００）は、キャプチャサブシステム（２１３）を含み得る。キャプチャサブシステム（２１３）は、ポイントクラウドソース（２０１）、例えば非圧縮のポイントクラウド（２０２）を生成する、例えば光検出及び測距（ライダー）システム、三次元カメラ、三次元スキャナ、ソフトウェアで非圧縮のポイントクラウドを生成するグラフィックス生成コンポーネントなどを含むことができる。一例では、ポイントクラウド（２０２）は３Ｄカメラによってキャプチャされるポイントを含む。ポイントクラウド（２０２）は、圧縮されたポイントクラウド（２０４）（圧縮されたポイントクラウドのビットストリーム）と比較して高いデータ量を強調するために太線で示されている。圧縮されたポイントクラウド（２０４）は、ポイントクラウドソース（２０１）に結合されたエンコーダ（２０３）を含む電子デバイス（２２０）によって生成することができる。エンコーダ（２０３）は、以下により詳細に説明されるように、開示された主題の態様を有効化又は実装するために、ハードウェア、ソフトウェア、又はそれらの組み合わせを含むことができる。圧縮されたポイントクラウド（２０４）（又は圧縮されたポイントクラウドのビットストリーム（２０４））は、ポイントクラウド（２０２）のストリームと比較して低いデータ量を強調するために細い線として表現され、将来の使用のためにストリーミングサーバ（２０５）に格納することができる。図２のクライアントサブシステム（２０６）及び（２０８）などの１つ以上のストリーミングクライアントサブシステムは、圧縮されたポイントクラウド（２０４）のコピー（２０７）及び（２０９）を取得するために、ストリーミングサーバ（２０５）にアクセスすることができる。クライアントサブシステム（２０６）は、例えば電子デバイス（２３０）にデコーダ（２１０）を含むことができる。デコーダ（２１０）は、圧縮されたポイントクラウドの入ってくる（incoming）コピー（２０７）をデコーディングし、レンダリングデバイス（２１２）でレンダリングできる再構成されたポイントクラウド（２１１）の出ていく（outgoing）ストリームを作成する。

【0044】

電子デバイス（２２０）及び（２３０）は、他のコンポーネント（図示せず）を含むことができることが留意される。例えば、電子デバイス（２２０）は、デコーダ（図示せず）を含むことができ、電子デバイス（２３０）はエンコーダ（図示せず）を含むこともできる。

【0045】

一部のストリーミングシステムでは、圧縮されたポイントクラウド（２０４）、（２０７）及び（２０９）（例えば、圧縮されたポイントクラウドのビットストリーム）を特定の標準に従って圧縮することができる。いくつかの例では、ポイントクラウドの圧縮にビデオコーディング標準が使用される。これらの標準の例は、高効率ビデオコーディング（ＨＥＶＣ）、バーサタイルビデオコーディング（ＶＶＣ）などを含む。

【0046】

図３は、いくつかの実施形態による、ポイントクラウドフレームをエンコーディングするためのＶ－ＰＣＣエンコーダ（３００）のブロック図を示している。いくつかの実施形態では、Ｖ－ＰＣＣエンコーダ（３００）を通信システム（１００）及びストリーミングシステム（２００）で使用することができる。例えば、エンコーダ（２０３）は、Ｖ－ＰＣＣエンコーダ（３００）と同様の方法で構成及び動作することができる。

【0047】

Ｖ－ＰＣＣエンコーダ（３００）は、ポイントクラウドフレームを非圧縮入力として受信し、圧縮されたポイントクラウドフレームに対応するビットストリームを生成する。いくつかの実施形態では、Ｖ－ＰＣＣエンコーダ（３００）は、ポイントクラウドソース（２０１）などのポイントクラウドソースからポイントクラウドフレームを受信し得る。

【0048】

図３の例では、Ｖ－ＰＣＣエンコーダ（３００）は、パッチ生成モジュール（３０６）、パッチパッキングモジュール（３０８）、ジオメトリイメージ生成モジュール（３１０）、テクスチャイメージ生成モジュール（３１２）、パッチ情報モジュール（３０４）、占有率（occupancy）マップモジュール（３１４）、スムージングモジュール（３３６）、イメージパディングモジュール（３１６）及び（３１８）、グループ拡張モジュール（３２０）、ビデオ圧縮モジュール（３２２）、（３２３）及び（３３２）、補助パッチ情報圧縮モジュール（３３８）、エントロピー圧縮モジュール（３３４）、マルチプレクサ（３２４）を含む。

【0049】

本開示の一態様によると、Ｖ－ＰＣＣエンコーダ（３００）は、圧縮されたポイントクラウドを解凍されたポイントクラウドに変換して戻すために使用されるいくつかのメタデータ（例えば、占有率マップ及びパッチ情報）とともに、３Ｄポイントクラウドフレームをイメージベースの表現に変換する。いくつかの例では、Ｖ－ＰＣＣエンコーダ（３００）は、３Ｄポイントクラウドフレームをジオメトリイメージ、テクスチャイメージ及び占有率マップに変換し、その後、ジオメトリイメージ、テクスチャイメージ及び占有率マップをビットストリームにエンコーディングするためにビデオコーディング技術を使用することができる。概して、ジオメトリイメージは、ピクセルに投影されたポイントに関連付けられたジオメトリ値で満たされた（filled）ピクセルを持つ２Ｄイメージであり、ジオメトリ値で満たされたピクセルをジオメトリサンプルと呼ぶことができる。テクスチャイメージは、ピクセルに投影されたポイントに関連付けられたテクスチャ値で満たされたピクセルを持つ２Ｄイメージであり、テクスチャ値で満たされたピクセルをテクスチャサンプルと呼ぶことができる。占有率マップは、パッチによって占有又は占有されていないことを示す値で満たされたピクセルを持つ２Ｄイメージである。

【0050】

パッチ生成モジュール（３０６）は、ポイントクラウドをパッチのセット（例えば、パッチはポイントクラウドによって記述されるサーフェスの連続したサブセットとして定義される）にセグメント化し、これは、各パッチが２Ｄ空間内の平面に対する深度フィールドによって記述され得るように、パッチは重複していてもいなくてもよい。いくつかの実施形態では、パッチ生成モジュール（３０６）は、再構成エラーを最小限に抑えながら、スムーズな境界を持つパッチの最小数にポイントクラウドを分解することを目的としている。

【0051】

いくつかの例では、パッチ情報モジュール（３０４）は、パッチのサイズ及び形状を示すパッチ情報を収集することができる。いくつかの例では、パッチ情報は、イメージフレームにパックされ、その後、圧縮された補助パッチ情報を生成するために補助パッチ情報圧縮モジュール（３３８）によってエンコーディングされることができる。

【0052】

いくつかの例では、パッチパッキングモジュール（３０８）は、未使用スペースを最小限に抑え、グリッドのすべてのＭ×Ｍ（例えば、１６×１６）ブロックがユニークなパッチに関連付けられることを保証しながら、抽出されたパッチを２次元（２Ｄ）グリッドにマップするように構成される。効率的なパッチパッキングは、未使用スペースを最小限に抑える又は時間的一貫性を確保することによって、圧縮効率に直接影響を与えることができる。

【0053】

ジオメトリイメージ生成モジュール（３１０）は、所与のパッチ位置でポイントクラウドのジオメトリに関連付けられた２Ｄジオメトリイメージを生成することができる。テクスチャイメージ生成モジュール（３１２）は、所与のパッチ位置でポイントクラウドのテクスチャに関連付けられた２Ｄテクスチャイメージを生成することができる。ジオメトリイメージ生成モジュール（３１０）及びテクスチャイメージ生成モジュール（３１２）は、ポイントクラウドのジオメトリ及びテクスチャをイメージとして格納するために、パッキングプロセス中に計算された３Ｄから２Ｄへのマッピングを利用する。複数のポイントが同じサンプルに投影される場合をより適切に処理するために、各パッチはレイヤーと呼ばれる２つのイメージに投影される。一例では、ジオメトリイメージは、ＹＵＶ ４２０－８ビット形式のＷｘＨの単色フレームで表される。テクスチャイメージを生成するために、再サンプリングされたポイントに関連付けられる色を計算するために、テクスチャ生成プロシージャは再構成／スムージングされた（smoothed）ジオメトリを利用する。

【0054】

占有率マップモジュール（３１４）は、各ユニットのパディング情報を記述する占有率マップを生成することができる。例えば、占有率イメージは、グリッドの各セルについて、セルが空のスペースに属しているかポイントクラウドに属しているかを示すバイナリマップを含む。一例では、占有率マップは、各ピクセルについて、ピクセルがパディングされているか否かを記述するバイナリ情報を使用する。別の例では、占有率マップは、ピクセルの各ブロックについて、ピクセルのブロックがパディングされているか否かを記述するバイナリ情報を使用する。

【0055】

占有率マップモジュール（３１４）によって生成された占有率マップは、可逆（ロスレス）コーディング（lossless coding）又は不可逆（ロッシー）コーディング（lossy coding）を使用して圧縮することができる。可逆コーディングを使用する場合、エントロピー圧縮モジュール（３３４）は、占有率マップを圧縮するために使用される。不可逆コーディングを使用する場合、ビデオ圧縮モジュール（３３２）は、占有率マップを圧縮するために使用される。

【0056】

パッチパッキングモジュール（３０８）は、イメージフレームにパックされた２Ｄパッチの間にいくつかの空のスペースを残す可能性があることが留意される。イメージパディングモジュール（３１６）及び（３１８）は、２Ｄビデオ及びイメージコーデックに適し得るイメージフレームを生成するために、空のスペースを埋めることができる（パディングと呼ばれる）。イメージパディングは、冗長な情報で未使用のスペースを埋めることができるバックグラウンド充填（background filling）とも呼ばれる。いくつかの例では、良好なバックグラウンド充填は、ビットレートを最小限に増加させる一方で、パッチ境界の周りに重大なコーディングの歪みを導入しない。

【0057】

ビデオ圧縮モジュール（３２２）、（３２３）、（３３２）は、ＨＥＶＣ、ＶＶＣなどの適切なビデオコーディング標準に基づいて、パディングされたジオメトリイメージ、パディングされたテクスチャイメージ、占有率マップなどの２Ｄイメージをエンコーディングすることができる。一例では、ビデオ圧縮モジュール（３２２）、（３２３）、（３３２）は、個別に動作する個々のコンポーネントである。ビデオ圧縮モジュール（３２２）、（３２３）、（３３２）は、別の例では、単一のコンポーネントとして実装することができることが留意される。

【0058】

いくつかの例では、スムージングモジュール（３３６）が、再構成されたジオメトリイメージのスムージングされたイメージを生成するように構成される。スムージングされたイメージは、テクスチャイメージ生成（３１２）に提供できる。次に、テクスチャイメージ生成（３１２）は、再構成されたジオメトリイメージに基づいてテクスチャイメージの生成を調整し得る。例えば、エンコーディング及びデコーディング中にパッチシェイプ（例えば、ジオメトリ）がわずかに歪んだ場合、その歪みは、パッチシェイプの歪みを補正するために、テクスチャイメージを生成するときに考慮され得る。

【0059】

いくつかの実施形態では、グループ拡張（３２０）は、再構成されたポイントクラウドの視覚的品質だけでなく、コーディングゲインを改善するために、冗長な低周波コンテンツを持つオブジェクト境界の周囲のピクセルをパディングするように構成される。

【0060】

マルチプレクサ（３２４）は、圧縮されたジオメトリイメージ、圧縮されたテクスチャイメージ、圧縮された占有率マップ、圧縮された補助パッチ情報を圧縮されたビットストリームに多重化することができる。

【0061】

図４は、いくつかの例において、ポイントクラウドフレームに対応する圧縮されたビットストリームをデコーディングするためのＶ－ＰＣＣデコーダ（４００）のブロック図を示す。いくつかの例では、Ｖ－ＰＣＣデコーダ（４００）は、通信システム（１００）及びストリーミングシステム（２００）で使用することができる。例えば、デコーダ（２１０）は、Ｖ－ＰＣＣデコーダ（４００）と同様の方法で動作するように構成することができる。Ｖ－ＰＣＣデコーダ（４００）は、圧縮されたビットストリームを受信し、圧縮されたビットストリームに基づいて再構成されたポイントクラウドを生成する。

【0062】

図４の例では、Ｖ－ＰＣＣデコーダ（４００）は、デマルチプレクサ（４３２）、ビデオ解凍モジュール（４３４）及び（４３６）、占有率マップ解凍モジュール（４３８）、補助パッチ情報解凍モジュール（４４２）、ジオメトリ再構成モジュール（４４４）、スムージングモジュール（４４６）、テクスチャ再構成モジュール（４４８）及びカラースムージングモジュール（４５２）を含む。

【0063】

デマルチプレクサ（４３２）は、圧縮されたビットストリームを受信し、圧縮されたテクスチャイメージ、圧縮されたジオメトリイメージ、圧縮された占有率マップ、及び圧縮された補助パッチ情報に分離することができる。

【0064】

ビデオ解凍モジュール（４３４）及び（４３６）は、適切な標準（例えば、ＨＥＶＣ、ＶＶＣなど）に従って圧縮されたイメージをデコーディングし、解凍されたイメージを出力することができる。例えば、ビデオ解凍モジュール（４３４）は、圧縮されたテクスチャイメージをデコーディングし、解凍されたテクスチャイメージを出力する。ビデオ解凍モジュール（４３６）は、圧縮されたジオメトリイメージをデコーディングし、解凍されたジオメトリイメージを出力する。

【0065】

占有率マップ解凍モジュール（４３８）は、適切な標準（例えば、ＨＥＶＣ、ＶＶＣなど）に従って圧縮された占有率マップをデコーディングし、解凍された占有率マップを出力することができる。

【0066】

補助パッチ情報解凍モジュール（４４２）は、適切な標準（例えば、ＨＥＶＣ、ＶＶＣなど）に従って圧縮された補助パッチ情報をデコーディングし、解凍された補助パッチ情報を出力することができる。

【0067】

ジオメトリ再構成モジュール（４４４）は、解凍されたジオメトリイメージを受信し、解凍された占有率マップ及び解凍された補助パッチ情報に基づいて再構成されたポイントクラウドジオメトリを生成することができる。

【0068】

スムージングモジュール（４４６）は、パッチのエッジで不一致（incongruences）をスムージングすることができる。スムージング手順は、圧縮アーティファクトによってパッチ境界で発生する可能性のある潜在的な不連続性を緩和することを目的としている。いくつかの実施形態では、スムージングフィルタが、圧縮／解凍によって発生する可能性のある歪みを緩和するために、パッチ境界に位置するピクセルに適用され得る。

【0069】

テクスチャ再構成モジュール（４４８）は、解凍されたテクスチャイメージ及びスムージングジオメトリに基づいて、ポイントクラウド内のポイントのテクスチャ情報を決定することができる。

【0070】

カラースムージングモジュール（４５２）は、カラーリングの不一致をスムージングすることができる。３Ｄ空間の隣接しないパッチは、しばしば、２Ｄビデオでは互いに隣接してパックされる。いくつかの例では、隣接しないパッチからのピクセル値がブロックベースのビデオコーデックによって混同されることがある。カラースムージングの目的は、パッチ境界に現れる目に見えるアーティファクトを減らすことである。

【0071】

図５は、いくつかの例におけるビデオデコーダ（５１０）のブロック図を示している。ビデオデコーダ（５１０）は、Ｖ－ＰＣＣデコーダ（４００）で使用することができる。例えば、ビデオ解凍モジュール（４３４）及び（４３６）、占有率マップ解凍モジュール（４３８）は、ビデオデコーダ（５１０）として同様に構成することができる。

【0072】

ビデオデコーダ（５１０）は、コーディングされたビデオシーケンスなどの圧縮イメージからシンボル（５２１）を再構成するパーサ（５２０）を含み得る。これらのシンボルのカテゴリは、ビデオデコーダ（５１０）の動作を管理するために使用される情報を含む。パーサ（５２０）は、受信されたコーディングされたビデオシーケンスを解析／エントロピーデコーディングすることができる。コーディングされたビデオシーケンスのコーディングは、ビデオコーディング技術又は標準に従うことができ、可変長コーディング、ハフマンコーディング、コンテキスト感度有りの又は無しの算術コーディングなど、さまざまな原理に従うことができる。パーサ（５２０）は、グループに対応する少なくとも１つのパラメータに基づいて、ビデオデコーダ内のピクセルのサブグループの少なくとも１つのサブグループパラメータのセットを、コード化されたビデオシーケンスから抽出し得る。サブグループは、ピクチャのグループ（Group of Pictures）（GOP）、ピクチャ、タイル、スライス、マクロブロック、コーディングユニット（Coding Units）（ＣＵ）、ブロック、変換ユニット（Transform Units）（TU）、予測ユニット（Prediction Units）（ＰＵ）などを含むことができる。パーサ（５２０）は、また、変換係数、量子化パラメータ値、動きベクトルなどのコーディングされたビデオシーケンス情報から抽出され得る。

【0073】

パーサ（５２０）は、シンボル（５２１）を作成するために、バッファメモリから受信したビデオシーケンスに対してエントロピーデコーディング／解析動作を実行し得る。

【0074】

シンボル（５２１）の再構成は、コーディングされたビデオピクチャ又はその一部（インター及びイントラピクチャ、インター及びイントラブロックなど）の種類、及びその他の要因に応じて、複数の異なるユニットを含むことができる。どのユニットが関与し、どのように関与するかは、パーサ（５２０）によってコーディングされたビデオシーケンスから解析されたサブグループ制御情報によって制御することができる。パーサ（５２０）と以下の複数のユニットとの間のこのようなサブグループ制御情報の流れは、明確にするために描かれていない。

【0075】

既に述べた機能ブロックを超えて、ビデオデコーダ（５１０）は、以下に説明するように、概念的にいくつかの機能ユニットに細分化することができる。商業的制約の下で動作する実用的な実装では、これらのユニットの多くは、相互に密接に相互作用し、少なくとも部分的には相互に統合することができる。しかし、開示された主題を説明する目的では、以下の機能ユニットへの概念的な細分化が適切である。

【0076】

第１のユニットは、スケーラ／逆変換ユニット（５５１）である。スケーラ／逆変換ユニット（５５１）は、量子化された変換係数だけでなく、どの変換を使用するか、ブロックサイズ、量子化係数、量子化スケーリング行列などをシンボル（複数可）（５２１）として含む制御情報をパーサ（５２０）から受信する。スケーラ／逆変換ユニット（５５１）は、アグリゲータ（５５５）に入力されることができるサンプル値を含むブロックを出力することができる。

【0077】

場合によっては、スケーラ／逆変換（５５１）の出力サンプルは、イントラコーディングされたブロックに関係することができる；すなわち：以前に再構成されたピクチャからの予測情報を使用していないが、現在のピクチャの以前に再構成された部分からの予測情報を使用することができるブロック。このような予測情報は、イントラピクチャ予測ユニット（５５２）によって提供することができる。場合によっては、イントラピクチャ予測ユニット（５５２）は、現在のピクチャバッファ（５５８）からフェッチされた（fetched）周囲の既に再構成された情報を使用して、再構成中のブロックと同じサイズ及び形状のブロックを生成する。現在のピクチャバッファ（５５８）は、例えば、部分的に再構成された現在のピクチャ及び/又は完全に再構成された現在のピクチャをバッファする。アグリゲータ（５５５）は、場合によっては、スケーラ／逆変換ユニット（５５１）によって提供される出力サンプル情報に、イントラ予測ユニット（５５２）が生成した予測情報を、サンプルベースで追加する。

【0078】

他の場合には、スケーラ／逆変換ユニット（５５１）の出力サンプルは、インターコーディングされた、潜在的に動き補償ブロックに関係することができる。このような場合、動き補償予測ユニット（５５３）は、予測に使用されるサンプルをフェッチするために参照ピクチャメモリ（５５７）にアクセスすることができる。ブロックに関連するシンボル（５２１）に従って、フェッチされたサンプルを動き補償した後、これらのサンプルは、出力サンプル情報を生成するために、アグリゲータ（５５５）によってスケーラ／逆変換ユニット（５５１）の出力（この場合、残差サンプル又は残差信号と呼ばれる）に追加することができる。動き補償予測ユニット（５５３）が予測サンプルをフェッチする参照ピクチャメモリ（５５７）内のアドレスは、動きベクトルによって制御することができ、例えばＸ、Ｙ、及び参照ピクチャコンポーネントを有することができるシンボル（５２１）の形式で動き補償予測ユニット（５５３）に利用可能であることができる。動き補償は、また、サブサンプルの正確な動きベクトルが使用されているときに参照ピクチャメモリ（５５７）からフェッチされたサンプル値の補間、動きベクトル予測メカニズムなどを含むことができる。

【0079】

アグリゲータ（５５５）の出力サンプルは、ループフィルタユニット（５５６）でさまざまなループフィルタリング技術の対象とすることができる。ビデオ圧縮技術は、コーディングされたビデオシーケンス（コーディングされたビデオビットストリームとも呼ばれる）に含まれるパラメータによって制御され、パーサ（５２０）からシンボル（５２１）としてループフィルタユニット（５５６）に利用可能にされるインループフィルタ技術を含むことができるが、コーディングされたピクチャ又はコーディングされたビデオシーケンスの以前の（デコーディング順の）部分のデコーディング中に取得されたメタ情報に応答したり、以前に再構成されループフィルタリングされたサンプル値に応答したりすることもできる。

【0080】

ループフィルタユニット（５５６）の出力は、レンダーデバイスに出力できるだけでなく、将来のインターピクチャ予測で使用するために参照ピクチャメモリ（５５７）に格納することができるサンプルストリームにすることができる。

【0081】

特定のコーディングされたピクチャは、完全に再構成されると、将来の予測のための参照ピクチャとして使用することができる。例えば、現在のピクチャに対応するコーディングされたピクチャが完全に再構成され、コーディングされたピクチャが参照ピクチャとして識別されたら（例えばパーサ（５２０）によって）、現在のピクチャバッファ（５５８）を参照ピクチャメモリ（５５７）の一部にすることができ、次のコーディングされたピクチャの再構成を開始する前に新しい現在のピクチャバッファを再割り当てすることができる。

【0082】

ビデオデコーダ（５１０）は、ITU-T勧告H.265などの標準で、所定のビデオ圧縮技術に従ってデコード操作を実行することができる。コーディングされたビデオシーケンスは、コーディングされたビデオシーケンスがビデオ圧縮技術又は標準のシンタックス及びビデオ圧縮技術又は標準に記載されているプロファイルの両方に準拠しているという意味で、使用されているビデオ圧縮技術又は標準によって指定されたシンタックスに準拠し得る。具体的には、プロファイルは、ビデオ圧縮技術又は標準で使用可能なすべてのツールから、そのプロファイルで使用可能な唯一のツールとして特定のツールを選択できる。また、コンプライアンスに必要なのは、コーディングされたビデオシーケンスの複雑さが、ビデオ圧縮技術又は標準のレベルによって定義される範囲内にあることであることができる。場合によっては、レベルは、最大ピクチャサイズ、最大フレームレート、最大再構成サンプルレート（例えばメガサンプル／秒などで測定される）、最大参照ピクチャサイズなどを制限する。レベルによって設定された制限は、場合によっては、コーディングされたビデオシーケンスでシグナリングされる（signaled）仮想参照デコーダ（ＨＲＤ）仕様及びＨＲＤバッファ管理のためのメタデータによってさらに制限されることができる。

【0083】

図６は、本開示の一実施形態によるビデオエンコーダ（６０３）のブロック図を示す。ビデオエンコーダ（６０３）は、ポイントクラウドを圧縮するＶ－ＰＣＣエンコーダ（３００）で使用することができる。一例では、ビデオ圧縮モジュール（３２２）及び（３２３）、並びにビデオ圧縮モジュール（３３２）は、エンコーダ（６０３）と同様に構成される。

【0084】

ビデオエンコーダ（６０３）は、パディングされたジオメトリイメージ、パディングされたテクスチャイメージなどのイメージを受信し、圧縮されたイメージを生成し得る。

【0085】

一実施形態によれば、ビデオエンコーダ（６０３）は、リアルタイムで、又はアプリケーションによって要求されるその他の時間制約の下で、ソースビデオシーケンス（イメージ）のピクチャをコーディングし、コーディングされたビデオシーケンス（圧縮されたイメージ）に圧縮し得る。適切なコーディング速度を強制することは、コントローラ（６５０）の機能の１つである。いくつかの実施形態では、コントローラ（６５０）は、以下に説明するように他の機能ユニットを制御し、他の機能ユニットに機能的に結合される。明確にするために結合は描かれていない。コントローラ（６５０）によって設定されるパラメータは、レート制御関連パラメータ（ピクチャスキップ、量子化、レート歪み最適化手法のラムダ値、...）、ピクチャサイズ、ピクチャのグループ(ＧＯＰ)レイアウト、最大動きベクトル検索範囲などを含むことができる。コントローラ（６５０）は、特定のシステム設計に最適化されたビデオエンコーダ（６０３）に関連する他の適切な機能を持つように構成することができる。

【0086】

いくつかの実施形態では、ビデオエンコーダ（６０３）は、コーディングループで動作するように構成される。過度に単純化された説明として、一例では、コーディングループは、ソースコーダ（６３０）（例えば、コーディングされる入力ピクチャと、参照ピクチャ（複数可）に基づいて、シンボルストリームなどのシンボルを作成する責任がある）と、ビデオエンコーダ（６０３）に埋め込まれた（ローカル）デコーダ（６３３）を含むことができる。デコーダ（６３３）は、（リモート）でコーダが作成するのと同様の方法でサンプルデータを作成するためにシンボルを再構成する（開示された主題で考慮されるビデオ圧縮技術では、シンボルとコーディングされたビデオビットストリームとの間の圧縮は可逆であるため）。再構成されたサンプルストリーム（サンプルデータ）は、参照ピクチャメモリ（６３４）に入力される。シンボルストリームのデコーディングはデコーダの場所（ローカル又はリモート）に依存しないビット正確な結果をもたらすため、参照ピクチャメモリ（６３４）内のコンテンツもローカルエンコーダとリモートエンコーダとの間でビット正確である。言い換えると、エンコーダの予測部分は、デコーディング中に予測を使用する場合にデコーダが「見る」サンプル値とまったく同じサンプル値を参照ピクチャサンプルとして「見る」。この参照ピクチャの同期性（チャネルエラーなどで同期性を維持できない場合は、結果としてドリフトが発生する）の基本原理は、いくつかの関連技術でも使用されている。

【0087】

「ローカル」デコーダ（６３３）の動作は、すでに図５と併せて詳細に説明したビデオデコーダ（５１０）などの「リモート」デコーダと同じであることができる。しかし、図５も簡単に参照すると、シンボルが利用可能であり、エントロピーコーダ（６４５）とパーサ（５２０）によるコーディングされたビデオシーケンスへのシンボルのエンコーディング／デコーディングは可逆であることができるため、パーサ（５２０）を含むビデオデコーダ（５１０）のエントロピーデコーディング部分は、ローカルデコーダ（６３３）で完全には実装されていない可能性がある。

【0088】

動作中、いくつかの例では、ソースコーダ（６３０）は、「参照ピクチャ」として指定されたビデオシーケンスから１つ以上の以前にコーディングされたピクチャを参照して、入力ピクチャを予測的にコーディングする動き補償予測コーディングを実行し得る。このようにして、コーディングエンジン（６３２）は、入力ピクチャのピクセルブロックと、入力ピクチャへの予測参照（複数可）として選択され得る参照ピクチャ（複数可）のピクセルブロックとの間の違いをコーディングする。

【0089】

ローカルビデオデコーダ（６３３）は、ソースコーダ（６３０）によって作成されたシンボルに基づいて、参照ピクチャとして指定され得るピクチャのコーディングされたビデオデータをデコーディングし得る。コーディングエンジン（６３２）の動作は、有利には不可逆プロセスであり得る。コーディングされたビデオデータがビデオデコーダ（図６には示さず）でデコーディングされ得る場合、再構成されたビデオシーケンスは、通常、いくつかのエラーを持つソースビデオシーケンスのレプリカであり得る。ローカルビデオデコーダ（６３３）は、ビデオデコーダによって参照ピクチャに対して実行され得、再構成された参照ピクチャを参照ピクチャキャッシュ（６３４）に格納させ得る、デコーディングプロセスを複製する。このようにして、ビデオエンコーダ（６０３）は、共通の内容を持つ再構成された参照ピクチャのコピーを、遠端ビデオデコーダ（伝送エラーがない）によって取得される再構成された参照ピクチャとしてローカルに格納し得る。

【0090】

予測子（６３５）は、コーディングエンジン（６３２）の予測検索を実行し得る。すなわち、コーディングされる新しいピクチャについて、予測子（６３５）は、新しいピクチャの適切な予測参照として役立ち得る、サンプルデータ（候補参照ピクセルブロックとして）又は参照ピクチャ動きベクトル、ブロック形状などの特定のメタデータについて、参照ピクチャメモリ（６３４）を検索し得る。予測子（６３５）は、適切な予測参照を見つけるために、サンプルブロック／ピクセルブロック単位で動作し得る。場合によっては、予測子（６３５）によって得られた検索結果によって決定されるように、入力ピクチャは、参照ピクチャメモリ（６３４）に格納された複数の参照ピクチャから引き出された予測参照を有し得る。

【0091】

コントローラ（６５０）は、例えば、ビデオデータをエンコーディングするために使用されるパラメータ及びサブグループパラメータの設定を含む、ソースコーダ（６３０）のコーディング動作を管理し得る。

【0092】

前述のすべての機能ユニットの出力は、エントロピーコーダ（６４５）でのエントロピーコーディングを受け得る。エントロピーコーダ（６４５）は、ハフマンコーディング、可変長コーディング、算術コーディングなどの技術に従ってシンボルを可逆圧縮することによって、さまざまな機能ユニットによって生成されたシンボルをコーディングされたビデオシーケンスに変換する。

【0093】

コントローラ（６５０）は、ビデオエンコーダ（６０３）の動作を管理し得る。コーディング中、コントローラ（６５０）は、各コード化されたピクチャに特定のコーディングされたピクチャタイプを割り当て得、これは、それぞれのピクチャに適用され得るコーディング技術に影響を与え得る。例えば、ピクチャは、多くの場合、次のピクチャタイプのいずれかとして割り当てられ得る：

【0094】

イントラピクチャ（Ｉピクチャ）は、予測のソースとしてシーケンス内の他のピクチャを使用せずにコーディング及びデコーディングされ得るものであり得る。いくつかのビデオコーデックは、例えば、独立したデコーダリフレッシュ（Independent Decoder Refresh）（「ＩＤＲ」）ピクチャを含む、異なる種類のイントラピクチャを可能にする。当業者は、Ｉピクチャのこれらのバリアント並びにそれぞれの用途及び特徴を認識している。

【0095】

予測ピクチャ（Ｐピクチャ）は、各ブロックのサンプル値を予測するために、多くても１つの動きベクトル及び参照インデックスを使用して、イントラ予測又はインター予測を使用してコーディング及びデコーディングされ得るものであり得る。

【0096】

双方向予測ピクチャ（Ｂピクチャ）は、各ブロックのサンプル値を予測するために、多くても２つの動きベクトル及び参照インデックスを使用して、イントラ予測又はインター予測を使用して、コーディング及びデコーディングされ得るものであり得る。同様に、複数予測ピクチャは、単一のブロックの再構成のために、２つより多い参照ピクチャ及び関連するメタデータを使用することができる。

【0097】

ソースピクチャは、一般に、複数のサンプルブロック（例えば、夫々、４×４、８×８、４×８、又は１６×１６のサンプルのブロック）に空間的に細分化され、ブロックごとにコーディングされ得る。ブロックは、ブロックのそれぞれのピクチャに適用されているコーディング割り当てによって決定される他の（既にコーディングされた）ブロックを参照して予測的にコーディングされ得る。例えば、Ｉピクチャのブロックは、非予測的にコーディングされ得る、又は、それらは、同じピクチャの既にコーディングされたブロックを参照して予測的にコーディングされ得る（空間予測又はイントラ予測）。Ｐピクチャのピクセルブロックは、１つの以前にコーディングされた参照ピクチャを参照して空間予測により又は時間予測により、予測的にコーディングされ得る。Ｂピクチャのブロックは、１つ又は２つの以前にコーディングされた参照ピクチャを参照して空間予測により又は時間予測により、予測的にコーディングされ得る。

【0098】

ビデオエンコーダ（６０３）は、ＩＴＵ－Ｔ勧告Ｈ．２６５のような所定のビデオコーディング技術又は標準に従ってコーディング動作を実行し得る。その動作において、ビデオエンコーダ（６０３）は、入力ビデオシーケンスにおける時間的及び空間的冗長性を利用する予測コーディング動作を含む様々な圧縮動作を実行し得る。従って、コーディングされたビデオデータは、使用されているビデオコーディング技術又は標準によって定められているシンタックスに従い得る。

【0099】

ビデオは、時間的シーケンスにおいて複数のソースピクチャ（イメージ）の形式であり得る。イントラピクチャ予測（しばしばイントラ予測と省略される）は、所与のピクチャにおける空間相関を利用し、インターピクチャ予測は、ピクチャ間の（時間的又は他の）相関を利用する。一例では、現在のピクチャと呼ばれる、エンコーディング／デコーディング中の特定のピクチャは、ブロックにパーティション化される（partitioned）。現在のピクチャ内のあるブロックが、ビデオ内の以前にコーディングされ、依然としてバッファリングされている参照ピクチャ内の参照ブロックと類似している場合に、現在のピクチャ内のそのブロックは、動きベクトルと呼ばれるベクトルによってコーディングされることができる。動きベクトルは、参照ピクチャ内の参照ブロックを指し、複数の参照ピクチャが使用されている場合には、参照ピクチャを識別する第３の次元を有することができる。

【0100】

いくつかの実施形態では、双予測技術がインターピクチャ予測において使用されることができる。双予測技術に従って、２つの参照ピクチャ、例えば、ビデオ内で現在のピクチャに対してデコード順序において両方とも先行する（しかし、表示順序では、夫々、過去及び将来にあり得る）第１の参照ピクチャ及び第２の参照ピクチャが、使用される。現在のピクチャ内のブロックは、第１の参照ピクチャ内の第１の参照ブロックを指す第１の動きベクトルと、第２の参照ピクチャ内の第２の参照ブロックを指す第２の動きベクトルとによって、コーディングされることができる。ブロックは、第１の参照ブロック及び第２の参照ブロックの組み合わせによって予測することができる。

【0101】

さらに、マージモード技術が、コーディング効率を向上させるためにインターピクチャ予測において使用されることができる。

【0102】

本開示のいくつかの実施形態に従って、インターピクチャ予測及びイントラピクチャ予測などの予測は、ブロックのユニットにおいて実行される。例えば、ＨＥＶＣ標準に従って、ビデオピクチャのシーケンス内のピクチャが、圧縮のためにコーディングツリーユニット（ＣＴＵ）にパーティション化され、ピクチャ内のＣＴＵは、６４×６４ピクセル、３２×３２ピクセル、又は１６×１６ピクセルなどの同じサイズを有する。一般に、ＣＴＵは、３つのコーディングツリーブロック（ＣＴＢ）を含み、これは、１つのルマＣＴＢ及び２つのクロマＣＴＢである。各ＣＴＵは、１つ又は複数のコーディングユニット（ＣＵ）に再帰的に四分木分割される（quadtree split）ことができる。例えば、６４×６４ピクセルのＣＴＵは、６４×６４ピクセルの１つのＣＵ、又は３２×３２ピクセルの４つのＣＵ、又は１６×１６ピクセルの１６のＣＵに分割されることができる。一例では、各ＣＵは、インター予測タイプ又はイントラ予測タイプなどのＣＵのための予測タイプを決定するために解析される。ＣＵは、時間的及び/又は空間的予測可能性に応じて１つ以上の予測ユニット（ＰＵ）に分割される。概して、各ＰＵは、１つのルマ予測ブロック（ＰＢ）及び２つのクロマＰＢを含む。一実施形態では、コーディング（エンコーディング／デコーディング）における予測動作は、予測ブロックの単位で実行される。予測ブロックの一例としてルマ予測ブロックを使用すると、予測ブロックは、８×８ピクセル、１６×１６ピクセル、８×１６ピクセル、１６×８ピクセルなどのような、ピクセルの値（例えば、ルマ値）の行列を含む。

【0103】

図７は、いくつかの例におけるＧ－ＰＣＣエンコーダ（７００）のブロック図を示す。Ｇ－ＰＣＣエンコーダ（７００）は、ポイントクラウドデータを受信し、圧縮されたポイントクラウドデータを運ぶビットストリームを生成するためにポイントクラウドデータを圧縮するよう構成されることができる。一実施形態では、Ｇ－ＰＣＣエンコーダ（７００）は、位置量子化モジュール（７１０）、重複ポイント除去（duplicated points removal）モジュール（７１２）、八分木エンコーディング（octree encoding）モジュール（７３０）、属性転送（attribute transfer）モジュール（７２０）、詳細のレベル（level of detail）（ＬＯＤ）生成モジュール（７４０）、属性予測モジュール（７５０）、残差量子化モジュール（７６０）、算術コーディングモジュール（７７０）、逆残差量子化モジュール（７８０）、加算モジュール（７８１）及び再構成された属性値を格納するメモリ（７９０）を含むことができる。

【0104】

図示のように、入力ポイントクラウド（７０１）は、Ｇ－ＰＣＣエンコーダ（７００）で受信されることができる。ポイントクラウド（７０１）の位置（例えば、３Ｄ座標）は、量子化モジュール（７１０）に供給される。量子化モジュール（７１０）は、量子化された位置を生成するために座標を量子化するよう構成される。重複ポイント除去モジュール（７１２）は、量子化された位置を受信し、重複ポイントを識別し除去するためにフィルタプロセスを実行するように構成される。八分木エンコーディングモジュール（７３０）は、重複ポイント除去モジュール（７１２）からフィルタ処理された位置を受信し、ボクセルの３Ｄグリッドを記述する占有コード（occupancy codes）のシーケンスを生成するために八分木ベースのエンコーディングプロセスを実行するように構成される。占有コードは、算術コーディングモジュール（７７０）に提供される。

【0105】

属性転送モジュール（７２０）は、入力ポイントクラウドの属性を受信し、複数の属性値がそれぞれのボクセルに関連づけられる場合に各ボクセルに属性値を決定するために属性転送プロセスを実行するように構成される。属性転送プロセスは、八分木エンコーディングモジュール（７３０）から出力された再順序付けされたポイントに対して実行されることができる。転送動作後の属性は、属性予測モジュール（７５０）に供給される。ＬＯＤ生成モジュール（７４０）は、八分木エンコーディングモジュール（７３０）から出力された再順序付けされたポイントに作用し、ポイントを異なるＬＯＤに再編成する（re-organize）ように構成される。ＬＯＤ情報は、属性予測モジュール（７５０）に供給される。

【0106】

属性予測モジュール（７５０）は、ＬＯＤ生成モジュール（７４０）からのＬＯＤ情報によって示されているＬＯＤベースの順序に従って、ポイントを処理する。属性予測モジュール（７５０）は、メモリ（７９０）に格納されている現在のポイントの隣接するポイントのセットの再構成された属性に基づいて、現在のポイントに対する属性予測を生成する。予測残差は、属性転送モジュール（７２０）から受信され元の属性値と、ローカルで生成された属性予測とに基づいて、その後に取得されることができる。候補インデックスがそれぞれの属性予測プロセスで使用される場合、選択された予測候補に対応するインデックスは、算術コーディングモジュール（７７０）に供給され得る。

【0107】

残差量子化モジュール（７６０）は、属性予測モジュール（７５０）から予測残差を受信し、量子化された残差を生成するために量子化を実行するように構成される。量子化された残差は、算術コーディングモジュール（７７０）に供給される。

【0108】

逆残差量子化モジュール（７８０）は、残差量子化モジュール（７６０）から量子化された残差を受信し、残差量子化モジュール（７６０）で実行された量子化動作の逆を実行することによって、再構成された予測残差を生成するように構成される。加算モジュール（７８１）は、逆残差量子化モジュール（７８０）からの再構成された予測残差と、属性予測モジュール（７５０）からのそれぞれの属性予測とを受信するように構成される。再構成された予測残差と属性予測とを組み合わせることによって、再構成された属性値は生成され、メモリ（７９０）に格納される。

【0109】

算術コーディングモジュール（７７０）は、占有コード、（使用される場合）候補インデックス、（生成される場合）量子化された残差、及び他の情報を受信し、受信された値又は情報を更に圧縮するためにエントロピエンコーディングを実行するように構成される。結果として、圧縮された情報を運ぶ圧縮されたビットストリーム（７０２）を生成することができる。ビットストリーム（７０２）は、圧縮されたビットストリームをデコーディングするデコーダに伝送され得る、又は別の方法で提供され得る、あるいは、ストレージデバイスに格納され得る。

【0110】

図８は、一実施形態によるＧ－ＰＣＣデコーダ（８００）のブロック図を示す。Ｇ－ＰＣＣデコーダ（８００）は、圧縮されたビットストリームを受信し、デコーディングされたポイントクラウドデータを生成するためにビットストリーム解凍するポイントクラウドデータ解凍を実行するように構成されることができる。一実施形態では、Ｇ－ＰＣＣデコーダ（８００）は、算術デコーディングモジュール（８１０）、逆残差量子化モジュール（８２０）、八分木デコーディングモジュール（８３０）、ＬＯＤ生成モジュール（８４０）、属性予測モジュール（８５０）及び再構成された属性値を格納するメモリ（８６０）を含むことができる。

【0111】

図示されるように、圧縮されたビットストリーム（８０１）は、算術デコーディングモジュール（８１０）で受信されることができる。算術デコーディングモジュール（８１０）は、（生成される場合）量子化された残差及びポイントクラウドの占有コードを取得するために、圧縮されたビットストリームをデコーディングするように構成される。八分木デコーディングモジュール（８３０）は、占有コードに従って、ポイントクラウドの中のポイントの再構成された位置を決定するように構成される。ＬＯＤ生成モジュール（８４０）は、再構成された位置に基づいてポイントを異なるＬＯＤに再編成し、ＬＯＤベースの順序を決定するように構成される。逆残差量子化モジュール（８２０）は、算術デコーディングモジュール（８１０）から受信された量子化された残差に基づいて、再構成された残差を生成するよう構成される。

【0112】

属性予測モジュール（８５０）は、ＬＯＤベースの順序に従ってポイントに対する属性予測を決定するために、属性予測プロセスを実行するように構成される。例えば、現在のポイントの属性予測は、メモリ（８６０）に格納されている現在のポイントの隣接するポイントの再構成された属性値に基づいて決定されることができる。いくつかの例では、属性予測は、現在のポイントに対する再構成された属性を生成するために、それぞれの再構成された残差と組み合わされることができる。

【0113】

八分木デコーディングモジュール（８３０）から生成された再構成された位置とともに属性予測モジュール（８５０）から生成された再構成された属性のシーケンスは、一例では、Ｇ－ＰＣＣデコーダ（８００）から出力されるデコーディングされたポイントクラウド（８０２）に対応する。加えて、再構成された属性はまた、メモリ（８６０）に格納され、その後に、後続のポイントについての属性予測を導出するために使用されることができる。

【0114】

様々な実施形態では、エンコーダ（３００）、デコーダ（４００）、エンコーダ（７００）、及び/又はデコーダ（８００）は、ハードウェア、ソフトウェア、又はそれらの組み合わせにより実装されることができる。例えば、エンコーダ（３００）、デコーダ（４００）、エンコーダ（７００）、及び/又はデコーダ（８００）は、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、などのような、ソフトウェアの有無によらず動作する１つ以上の集積回路（ＩＣ）などの処理回路により実装されることができる。他の例では、エンコーダ（３００）、デコーダ（４００）、エンコーダ（７００）、及び/又はデコーダ（８００）は、不揮発性の（又は非一時的な）コンピュータ可読記憶媒体に格納されている命令を含むソフトウェア又はファームウェアとして実装されることができる。命令は、１つ以上のプロセッサなどの処理回路によって実行される場合、処理回路に、エンコーダ（３００）、デコーダ（４００）、エンコーダ（７００）、及び/又はデコーダ（８００）の機能を実行させる。

【0115】

本明細書で開示されている属性予測技術を実装するよう構成される属性予測モジュール（７５０）及び（８５０）は、図７及び図８に示されているものと類似した又は異なる構造を有し得る他のデコーダ又はエンコーダに含まれることができることが留意される。加えて、エンコーダ（７００）及びデコーダ（８００）は、様々な例において、同じデバイス又は別個のデバイスに含まれることができる。

【0116】

本開示のいくつかの態様によれば、メッシュ圧縮は、ＰＣＣコーディングツールとは異なるコーディングツールを使用することができる、又は、上記のＰＣＣ（例えば、Ｇ－ＰＣＣ、Ｖ－ＰＣＣ）エンコーダ、上記のＰＣＣ（例えば、Ｇ－ＰＣＣ、Ｖ－ＰＣＣ）でコーダなどのようなＰＣＣコーディングツールを使用することができる。

【0117】

オブジェクトのメッシュ（メッシュモデル、メッシュフレームとも呼ばれる）は、オブジェクトのサーフェスを記述するポリゴンを含むことができる。各ポリゴンは、３Ｄ空間内のポリゴンの頂点及び頂点がどのように接続されているかの情報によって定義することができる。頂点がどのように接続されているかの情報は、接続性情報と呼ばれる。いくつかの例では、メッシュは、また、頂点に関連付けられた色、法線などの属性を含むことができる。属性は、２Ｄ属性マップでメッシュをパラメータ化するマッピング情報を利用することによって、メッシュのサーフェスに関連付けることができる。マッピング情報は通常、メッシュ頂点に関連付けられた、ＵＶ座標又はテクスチャ座標と呼ばれるパラメトリック座標のセットによって記述される。２Ｄ属性マップ（いくつかの例ではテクスチャマップと呼ばれる）は、テクスチャ、法線、変位などの高解像度の属性情報を格納するために使用される。このような情報は、テクスチャマッピング及びシェーディングなどのさまざまな目的に使用できる。

【0118】

いくつかの実施形態では、メッシュは、ジオメトリ情報、接続性情報、マッピング情報、頂点属性、及び属性マップと呼ばれるコンポーネントを含むことができる。いくつかの例では、ジオメトリ情報は、メッシュの頂点に関連付けられた３Ｄ位置のセットによって記述される。一例では、（ｘ、ｙ、ｚ）座標が、頂点の３Ｄ位置を記述するために使用されることができ、３Ｄ座標とも呼ばれる。いくつかの例では、接続性情報は、３Ｄサーフェスを作成するためにどのように頂点を接続するかを記述する頂点インデックスのセットを含む。いくつかの例では、マッピング情報は、メッシュサーフェスを平面の２Ｄ領域にどのようにマッピングするかを記述する。例では、マッピング情報は、接続性情報とともに、メッシュ頂点に関連付けられたＵＶパラメトリック／テクスチャ座標（ｕ、ｖ）のセットによって記述される。いくつかの例では、頂点属性は、メッシュ頂点に関連付けられたスカラー又はベクトル属性値を含む。いくつかの例では、属性マップは、メッシュサーフェスに関連付けられ、２Ｄイメージ／ビデオとして格納される属性を含む。一例では、ビデオ（例えば、２Ｄイメージ／ビデオ）とメッシュサーフェスとの間のマッピングは、マッピング情報によって定義される。

【0119】

本開示の一態様によると、３Ｄドメイン内のメッシュのサーフェスを２Ｄドメインにマッピングするために、ＵＶマッピング又はメッシュパラメータ化と呼ばれるいくつかの手法が使用される。いくつかの例では、メッシュは３Ｄドメイン内のパッチにパーティション化される。パッチは、境界エッジで形成された境界を持つメッシュの連続したサブセットである。パッチの境界エッジは、パッチの１つのポリゴンのみに属し、パッチ内の隣接する２つのポリゴンによって共有されないエッジである。パッチ内の境界エッジの頂点は、パッチの境界頂点と呼ばれ、パッチ内の非境界頂点は、いくつかの例では、パッチの内部頂点と呼ばれることがある。

【0120】

いくつかの例では、オブジェクトのメッシュは接続された三角形によって形成され、メッシュはパッチにパーティション化されることができ、各パッチは接続された三角形のサブセットである。パッチの境界エッジは、パッチ内の１つの三角形のみに属し、パッチ内の隣接する三角形によって共有されないエッジである。パッチ内の境界エッジの頂点は、パッチの境界頂点と呼ばれ、パッチ内の非境界頂点は、いくつかの例では、パッチの内部頂点と呼ばれることがある。

【0121】

本開示の一態様によると、いくつかの例では、パッチはそれぞれ２Ｄ形状（ＵＶパッチとも呼ばれる）にパラメータ化される。２Ｄ形状は、いくつかの例では、アトラスとも呼ばれるマップにパック（例えば、方向付けられ、配置される）されることができる。いくつかの例では、マップは、２Ｄイメージ又はビデオ処理技術を使用してさらに処理されることができる。

【0122】

一例では、ＵＶマッピング技術は、３Ｄメッシュのパッチに対応する２ＤのＵＶアトラス（ＵＶマップとも呼ばれる）と１つ以上のテクスチャアトラス（テクスチャマップとも呼ばれる）を生成する。ＵＶアトラスは、３Ｄメッシュの３Ｄ頂点の２Ｄドメイン内の２Ｄポイントへの割り当てを含む（例えば、長方形）。ＵＶアトラスは、３Ｄサーフェスの座標から２Ｄドメインの座標へのマッピングである。一例では、２Ｄ座標（ｕ，ｖ）におけるＵＶアトラス内のポイントは、３Ｄドメイン内の頂点の座標（ｘ，ｙ，ｚ）によって形成される値を有する。一例では、テクスチャアトラスは、３Ｄメッシュの色情報を含む。例えば、２Ｄ座標（ｕ，ｖ）におけるテクスチャアトラス内のポイント（ＵＶアトラスの（ｘ，ｙ，ｚ）の３Ｄ値を有する）は、３Ｄドメイン内の（ｘ，ｙ，ｚ）にあるポイントの色属性を指定する色を有する。いくつかの例では、３Ｄドメインの座標（ｘ，ｙ，ｚ）は、３Ｄ座標、又はｘｙｚ座標と呼ばれ、２Ｄ座標（ｕ，ｖ）はｕｖ座標と呼ばれる。

【0123】

本開示のいくつかの態様によると、メッシュ圧縮は、１つ以上の２Ｄマップ（いくつかの例では２Ｄアトラスとも呼ばれる）を使用してメッシュを表現し、次にイメージ又はビデオコーデックを使用して２Ｄマップをエンコーディングすることによって実行することができる。

【0124】

図９は、いくつかの例において、３Ｄメッシュ（９１０）の２Ｄアトラス（９２０）へのマッピングを示す図を示している。図９の例では、３Ｄメッシュ（９１０）は、４つのパッチＡ～Ｄを形成する４つの頂点１～４を含む。パッチの各々は、頂点のセット及び関連する属性情報を有する。例えば、パッチＡは、三角形に接続された頂点１、２及び３によって形成される；パッチＢは、三角形に接続された頂点１、３及び４によって形成される；パッチＣは、三角形に接続された頂点１、２及び４によって形成される；パッチＤは、三角形に接続された頂点２、３及び４によって形成される。いくつかの例では、頂点１、２、３及び４は、それぞれの属性を有することができ、頂点１、２、３及び４によって形成される三角形はそれぞれの属性を有することができる。

【0125】

一例では、３ＤのパッチＡ、Ｂ、Ｃ及びＤは、マップ（９２０）とも呼ばれる２Ｄアトラス（９２０）などの２Ｄドメインにマッピングされる。例えば、パッチＡはマップ（９２０）において２Ｄ形状（ＵＶパッチとも呼ばれる）Ａ’にマッピングされ、パッチＢはマップ（９２０）において２Ｄ形状（ＵＶパッチとも呼ばれる）Ｂ’にマッピングされ、パッチＣはマップ（９２０）において２Ｄ形状（ＵＶパッチとも呼ばれる）Ｃ’にマッピングされ、パッチＤはマップ（９２０）において２Ｄ形状（ＵＶパッチとも呼ばれる）Ｄ’にマッピングされる。いくつかの例では、３Ｄドメインの座標は（ｘ，ｙ，ｚ）座標と呼ばれ、マップ（９２０）などの２Ｄドメインの座標はＵＶ座標と呼ばれる。３Ｄメッシュ内の頂点は、マップ（９２０）内の対応するＵＶ座標を有することができる。

【0126】

マップ（９２０）は、ジオメトリ情報を含むジオメトリマップであることができる、又は、色、テキスタイル、若しくはその他の属性情報を持つテクスチャマップであることができる、又は、占有率情報を持つ占有率マップであることができる。

【0127】

図９の例では、各パッチは三角形で表されているが、パッチは、メッシュの連続したサブセットを形成するように接続されている任意の適切な数の頂点を含むことができることが留意される。いくつかの例では、パッチ内の頂点は三角形に接続される。パッチ内の頂点は、他の適切な形状を使用して接続できることが留意される。

【0128】

一例では、頂点のジオメトリ情報は、２Ｄのジオメトリマップに格納することができる。例えば、ジオメトリマップは、２Ｄジオメトリマップ内の対応するポイントにおけるサンプリングポイントの（ｘ，ｙ，ｚ）座標を格納する。例えば、（ｕ，ｖ）位置におけるジオメトリマップのポイントは、３Ｄメッシュ内の対応するサンプリングポイントのｘ、ｙ及びｚ値にそれぞれ対応する３つの成分のベクトル値である。

【0129】

本開示の一態様によると、マップ内の領域は完全に占有されていない可能性がある。例えば、図９では、２Ｄ形状Ａ’、Ｂ’、Ｃ’及びＤ’の外側の領域は未定義である。デコーディング後の２Ｄ形状Ａ’、Ｂ’、Ｃ’及びＤ’の外側の領域のサンプル値は破棄されることができる。場合によっては、占有率マップが、ピクセルがパッチに属しているか未定義であるかを識別するためのバイナリ値を格納するなど、ピクセルごとにいくつかの追加情報を格納するために使用される。

【0130】

本開示の一態様によれば、動的メッシュは、コンポーネント（ジオメトリ情報、接続性情報、マッピング情報、頂点属性、属性マップ）の少なくとも１つが時間とともに変化するメッシュである。動的メッシュは、メッシュのシーケンス（メッシュフレームとも呼ばれる）によって記述することができる。動的メッシュは、時間の経過とともに変化する大量の情報を含む場合があるため、動的メッシュは大量のデータを必要とすることがある。メッシュの圧縮技術は、メッシュ表現におけるメディアコンテンツの効率的なストレージ及び伝送を可能にする。

【0131】

いくつかの例では、動的メッシュは、一定の接続性情報、時変ジオメトリ及び時変頂点属性を有することができる。いくつかの例では、動的メッシュは、時変接続性情報を有することができる。一例では、デジタルコンテンツ作成ツールは通常、時変属性マップ及び時変接続性情報を持つ動的メッシュを生成する。いくつかの例では、動的メッシュを生成するためにボリューム取得技術が使用される。ボリューム取得技術は、特にリアルタイムの制約の下で、時変接続性情報を持つ動的メッシュを生成することができる。

【0132】

いくつかの技術はメッシュ圧縮のために使用される。いくつかの例では、ＵＶアトラスサンプリング及びＶ－ＰＣＣがメッシュ圧縮のために使用されることができる。例えば、ＵＶアトラスは、通常のグリッドサンプルでジオメトリイメージを生成するために、通常のグリッドでサンプリングされる。通常のグリッドサンプルの接続性(connectivity)を推測することができる。通常のグリッドサンプルは、ポイントクラウド内のポイントと見なすことができ、したがって、Ｖ－ＰＣＣコーデックなどのＰＣＣコーデックを使用してコーディングされることができる。UVアトラスサンプリング及びＶ－ＰＣＣベースの方法は、元のメッシュ頂点のサンプリングに基づいており、サンプリングによって生成される通常のグリッドサンプルの数は、通常、元の頂点の数よりもはるかに多い。また、一定のサンプリングステップが使用されるとき、密な頂点の領域がアンダーサンプリングされ、一方、疎な頂点の領域がオーバーサンプリングされることがある。さらに、UVアトラスサンプリング方法では、UVアトラス内のパッチが異なるフレームで異なって配置される可能性があるため、生成されたジオメトリイメージがフレーム間で一貫しないことがある。

【0133】

図１０は、いくつかの例における、２つのUVアトラスフレーム（１０１０）及び（１０２０）を示している。一例では、UVアトラスフレーム（１０１０）及び（１０２０）は連続したフレームである。図１０に示すように、パッチは異なるUVアトラスフレーム間で一貫性なく割り当てられる。たとえば、UVアトラスフレーム（１０１０）のパッチ（１０１１）とUVアトラスフレーム（１０２０）のパッチ（１０２１）は、異なる時間におけるオブジェクトの同じ部分に対応できるが、UVアトラスフレーム（１０１０）とUVアトラスフレーム（１０２０）の異なる領域に割り当てられ、向きも異なる。

【0134】

UVアトラスサンプリングベースの方法は、アンダーサンプリング、オーバーサンプリング、圧縮するより多くの頂点、フレーム間での一貫性のないサンプリングデータなどの問題が発生することがある。この問題は、圧縮率に悪影響を及ぼす可能性がある。

【0135】

本開示の態様は、メッシュ圧縮のための頂点並べ替え技術を提供する。メッシュの頂点は、隣接する頂点の相関を高めるために特定のルールに従って並べ替えられ、したがって、予測コーディング方法を使用してコーディング効率を高めることができる。一例では、頂点は、シーケンス内の隣接する頂点の相関を高めるために並べ替えられる。別の例では、メッシュの頂点は、2次元(２Ｄ)フレーム内で並べ替えられて再配置され、２Ｄフレームのローカル領域内の隣接する頂点の相関を高め、したがって、２Ｄフレームを、イントラ予測手法を使用するなどのイメージ/ビデオコーデックによってより効率的にコーディングできる。別の例では、異なるメッシュフレームの頂点を、２Ｄフレーム内で並べ替えて再配置し、２Ｄフレーム間の相関を高め、したがって、２Ｄフレームを、インター予測手法を使用するなどのビデオコーデックによってより効率的にコーディングできる。

【0136】

図１１は、本開示のいくつかの実施例によるメッシュ圧縮のためのフレームワーク（１１００）の図を示している。フレームワーク（１１００）は、メッシュエンコーダ（１１１０）及びメッシュデコーダ（１１５０）を含む。メッシュエンコーダ（１１１０）は、入力メッシュ（１１０５）（動的メッシュ処理の場合はメッシュフレーム）をビットストリーム（１１４５）にエンコーディングし、メッシュデコーダ（１１５０）は、再構成されたメッシュ（１１９５）（動的メッシュ処理の場合は再構成されたメッシュフレーム）を生成するためにビットストリーム（１１４５）をデコーディングする。

【0137】

メッシュエンコーダ（１１１０）は、コンピュータ、サーバコンピュータ、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、スマートフォン、ゲーミングデバイス、ARデバイス、VRデバイスなど、任意の適切なデバイスであることができる。メッシュデコーダ（１１５０）は、コンピュータ、クライアントコンピュータ、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、スマートフォン、ゲーミングデバイス、ARデバイス、VRデバイスなど、任意の適切なデバイスであることができる。ビットストリーム（１１４５）は、任意の適切な通信ネットワーク（図示せず）を介してメッシュエンコーダ（１１１０）からメッシュデコーダ（１１５０）に送信することができる。

【0138】

図１１の例では、メッシュエンコーダ（１１１０）は、頂点並べ替えモジュール（１１２０）、１Ｄ/２Ｄエンコーダ（１１３０）、及び一緒に結合された補助データエンコーダ（１１４０）を含む。頂点並べ替えモジュール（１１２０）は、入力メッシュ（１１０５）を受信し、並べ替えを実行して、並べ替えられた頂点のメッシュ情報（１１２５）を生成する。いくつかの例では、入力メッシュ（１１０５）は、元の順序のメッシュの頂点の３Ｄ位置情報、頂点の接続性情報、メッシュを２Ｄにパラメータ化するマッピング情報(例えば、UVアトラス)、及びその他の２Ｄ属性マップ(例えば、２Ｄカラーマップ）を含む。頂点並べ替えモジュール（１１２０）は、隣接する頂点の属性相関(例えば、シーケンス(例えば、１Ｄ配列）の隣接する頂点の属性相関、２Ｄ配列の領域内の隣接する頂点の属性相関、隣接するフレームの属性相関）を高めるために、頂点の並べ替え及び/又は再配置を行うことができる。

【0139】

頂点並べ替えモジュール（１１２０）は、並べ替えられた頂点のメッシュ情報（１１２５）を出力する。いくつかの例では、並べ替えられた頂点のメッシュ情報（１１２５）は接続性情報を含んでいない。一例では、並べ替えられた頂点のメッシュ情報（１１２５）は、並べ替えられたシーケンスの頂点の頂点情報を含む。例えば、各頂点の頂点情報は、メッシュ内の３Ｄ空間情報(例えば、xyz座標)、２Ｄへのマッピング情報(例えば、uv座標)、色情報(例えば、RGB値)など、さまざまな属性を含むことができる。

【0140】

別の例では、並べ替えられた頂点のメッシュ情報（１１２５）は、２Ｄイメージの形式の頂点の頂点情報を含む。例えば、並べ替えられた頂点は、２Ｄ(例えば、ラスタースキャンラインなどに基づく）のサンプル(ピクセル）に再配置され、並べ替えられた頂点のメッシュ情報は１つ以上の２Ｄイメージを形成できる。

【0141】

１Ｄ/２Ｄエンコーダ（１１３０）は、並べ替えられた頂点のメッシュ情報（１１２５）をビットストリーム（１１４５）にエンコーディングするように構成される。並べ替えられた頂点のメッシュ情報（１１２５）が、並べ替えられたシーケンス(１Ｄ）の頂点の頂点情報を含む場合、１Ｄ/２Ｄエンコーダ（１１３０）は、並べ替えられたシーケンスの頂点の頂点情報を、１Ｄエンコーディング技術を使用してエンコーディングできまる。並べ替えられた頂点のメッシュ情報（１１２５）が２Ｄイメージを含む場合、１Ｄ/２Ｄエンコーダ（１１３０）は、イメージエンコード及び/又はビデオエンコーディング技術を使用して(例えば、イメージコーデックやビデオコーデックを使用して)２Ｄイメージをエンコーディングできる。

【0142】

頂点並べ替えモジュール（１１２０）はまた、支援情報を含む補助データ（１１２７）を生成する。補助データエンコーダ（１１４０）は、補助データ（１１２７）を受信し、補助データ（１１２７）をビットストリーム（１１４５）にエンコーディングする。例えば、頂点並べ替えモジュール（１１２０）は、頂点パッチをパッチごとに並べ替えることができる。頂点並べ替えモジュール（１１２０）は、補助データ（１１２７）内の各パッチ内の頂点の数を示す値を提供できる。さらに、一例では、頂点並べ替えモジュール（１１２０）は、各パッチに対して、非境界頂点の前の境界頂点を並び替えることができる。頂点並べ替えモジュール（１１２０）は、補助データ（１１２７）内の各パッチ内の境界頂点の数を示す値を提供できる。

【0143】

いくつかの例では、補助データエンコーダ（１１４０）は、１Ｄ/２Ｄエンコーダ（１１３０）から再構成情報（１１３１）を受信できる。一例では、不可逆圧縮が１Ｄ/２Ｄエンコーダ（１１３０）で使用される。１Ｄ/２Ｄエンコーダ（１１３０）は、再構成情報（１１３１）の再構成された境界座標などの再構成された頂点情報を提供することができる。一例では、補助データエンコーダ（１１４０）は、元の境界座標と再構成された境界座標に基づいて境界座標残差を決定し、境界座標残差をビットストリーム（１１４５）にエンコーディングできる。

【0144】

頂点並べ替えモジュール（１１２０）、１Ｄ/２Ｄエンコーダ（１１３０）及び補助データエンコーダ（１１４０）の動作は、本開示でさらに説明される。

【0145】

図１１の例では、ビットストリーム（１１４５）はメッシュデコーダ（１１５０）に提供される。メッシュデコーダ（１１５０）は、図１１に示すように一緒に結合された１Ｄ/２Ｄデコーダ（１１６０）、接続性決定モジュール（１１８０）、補助データデコーダ（１１７０）、及びメッシュ再構成モジュール（１１９０）を含む。一例では、１Ｄ/２Ｄデコーダ（１１６０）は、１Ｄ/２Ｄエンコーダ（１１３０）に対応し、１Ｄ/２Ｄエンコーダ（１１３０）によってエンコーディングされたビットストリーム（１１４５）の一部をデコーディングし、デコーディングされた情報（１１６５）を生成することができる。

【0146】

図１１の例では、補助データデコーダ（１１７０）は、補助データエンコーダ（１１４０）に対応し、補助データエンコーダ（１１４０）によってエンコーディングされたビットストリーム（１１４５）の一部をデコーディングし、デコーディングされた補助データ（１１７５）を生成することができる。

【0147】

図１１の例では、接続性決定モジュール（１１８０）は、デコーディングされた情報（１１６５）から接続性情報（１１８５）を決定(推測)することができる。

【0148】

図１１の例では、デコーディングされた情報（１１６５）、デコーディングされた補助データ（１１７５）及び接続性情報（１１８５）はメッシュ再構成モジュール（１１９０）に提供される。メッシュ再構成モジュール（１１９０）は、デコーディングされた情報（１１６５）、デコーディングされた補助データ（１１７５）及び接続性情報（１１８５）に基づいて再構成メッシュ（１１９５）を生成する。１Ｄ/２Ｄデコーダ（１１６０）、補助データデコーダ（１１７０）及び接続性決定モジュール（１１８０）の動作は、本開示でさらに説明される。

【0149】

頂点並べ替えモジュール（１１２０）、補助データエンコーダ（１１４０）及び１Ｄ/２Ｄエンコーダ（１１３０）などのメッシュエンコーダ（１１１０）のコンポーネントは、さまざまな技術によってそれぞれ実装できることが留意される。一例では、コンポーネントは集積回路によって実装される。別の例では、コンポーネントは、１つ以上のプロセッサで実行できるソフトウェアを使用して実装される。

【0150】

１Ｄ/２Ｄデコーダ（１１６０）、補助データデコーダ（１１７０）、接続性決定モジュール（１１８０）、及びメッシュ再構成モジュール（１１９０）などのメッシュデコーダ（１１５０）のコンポーネントは、さまざまな手法でそれぞれ実装できることが留意される。一例では、コンポーネントは集積回路によって実装される。別の例では、コンポーネントは、１つ以上のプロセッサで実行できるソフトウェアを使用して実装される。

【0151】

図１２は、本開示のいくつかの実施形態によるメッシュ圧縮のためのフレームワーク（１２００）の図を示す。フレームワーク（１２００）は、メッシュエンコーダ（１２１０）とメッシュデコーダ（１２５０）を含む。メッシュエンコーダ（１２１０）は入力メッシュ（１２０５）(動的メッシュ処理の場合はメッシュフレーム）をビットストリーム（１２４５）にエンコーディングし、メッシュデコーダ（１２５０）はビットストリーム（１２４５）をデコーディングして再構成メッシュ（１２９５）(動的メッシュ処理の場合は再構成メッシュフレーム）を生成する。

【0152】

メッシュエンコーダ（１２１０）は、コンピュータ、サーバコンピュータ、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、スマートフォン、ゲームデバイス、ARデバイス、VRデバイスなど、任意の適切なデバイスとすることができる。メッシュデコーダ（１２５０）は、コンピュータ、クライアントコンピュータ、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、スマートフォン、ゲームデバイス、ARデバイス、VRデバイスなど、任意の適切なデバイスとすることができる。ビットストリーム（１２４５）は、任意の適切な通信ネットワーク(図示さず）を介してメッシュエンコーダ（１２１０）からメッシュデコーダ（１２５０）に送信されることができる。

【0153】

図12の例では、メッシュエンコーダ（１２１０）は、一緒に結合された頂点並べ替えモジュール（１２２０）、１Ｄ/２Ｄエンコーダ（１２３０）、補助データエンコーダ（１２４０）及び接続性エンコーダ（１２３５）を含む。頂点並べ替えモジュール（１２２０）は、頂点並べ替えモジュール（１１２０）と同様に動作する。頂点並べ替えモジュール（１２２０）は、入力メッシュ（１２０５）を受信し、並べ替えを実行して、並べ替えられた頂点のメッシュ情報（１２２５）を生成する。いくつかの例では、入力メッシュ（１２０５）は、元の順序のメッシュの頂点の３Ｄ位置情報、頂点の接続性情報、メッシュを２Ｄ(例えば、UVアトラス）にパラメータ化するマッピング情報、及び２Ｄ属性マップを含む。頂点並べ替えモジュール（１２２０）は、隣接する頂点の相関(例えば、逐次隣接相関、空間隣接相関、時間隣接相関）を高めるように、頂点の並べ替え及び/又は再配置を行うことができる。

【0154】

頂点並べ替えモジュール（１２２０）は、並べ替えられた頂点のメッシュ情報（１２２５）を出力する。いくつかの例では、並べ替えられた頂点のメッシュ情報（１２２５）は接続性情報を含まない。一例では、並べ替えられた頂点のメッシュ情報（１２２５）は、並べ替えられたシーケンスの頂点の頂点情報を含む。たとえば、各頂点の頂点情報は、メッシュ内の３Ｄ空間情報(例えば、xyz座標)、２Ｄ(例えば、uv座標)へのマッピング情報、色情報(例えば、RGB値)など、さまざまな属性を含むことができる。

【0155】

別の例では、並べ替えられた頂点のメッシュ情報（１２２５）は、２Ｄイメージの形式の頂点の頂点情報を含む。たとえば、並べ替えられた頂点は、２Ｄのサンプル(ピクセル）に再配置され、並べ替えられた頂点のメッシュ情報は１つ以上の２Ｄイメージを形成できる。

【0156】

１Ｄ/２Ｄエンコーダ（１２３０）は、並べ替えられた頂点のメッシュ情報（１２２５）をビットストリーム（１２４５）にエンコーディングするように構成される。並べ替えられた頂点のメッシュ情報（１２２５）が並べ替えられたシーケンス(１Ｄ）の頂点の頂点情報を含む場合、１Ｄ/２Ｄエンコーダ（１２３０）は、１Ｄエンコーディング技術を使用して並べ替えられたシーケンスの頂点の頂点情報をエンコーディングできる。並べ替えられた頂点のメッシュ情報（１２２５）が２Ｄイメージを含む場合、１Ｄ/２Ｄエンコーダ（１２３０）は、イメージエンコーディング及び/又はビデオエンコーディング技術を使用して(例えば、イメージコーデックやビデオコーデックを使用して)２Ｄイメージをエンコーディングできる。

【0157】

さらに、図12の例では、接続性エンコーダ（１２３５）は、入力メッシュ（１２０５）の接続性情報をビットストリーム（１２４５）にエンコーディングできる。接続性エンコーダ（１２３５）は、接続性情報をエンコーディングするために任意の適切な手法を使用できる。

【0158】

頂点並べ替えモジュール（１２２０）は、補助情報を含む補助データ（１２２７）も生成する。補助データエンコーダ（１２４０）は、補助データ（１２２７）を受信し、補助データ（１２２７）をビットストリーム（１２４５）にエンコーディングする。たとえば、頂点並べ替えモジュール（１２２０）は、頂点パッチをパッチごとに並べ替えることができる。頂点並べ替えモジュール（１２２０）は、補助データ（１２２７）内の各パッチ内の頂点の数を示す値を提供できる。さらに、一例では、頂点並べ替えモジュール（１２２０）は、各パッチについて、非境界頂点の前の境界頂点を並べ替えることができる。頂点並べ替えモジュール（１２２０）は、補助データ（１２２７）内の各パッチ内の境界頂点の数を示す値を提供できる。

【0159】

いくつかの例では、補助データエンコーダ（１２４０）は、１Ｄ/２Ｄエンコーダ（１２３０）から再構成された情報（１２３１）を受信できる。一例では、不可逆圧縮が１Ｄ/２Ｄエンコーダ（１２３０）で使用される。１Ｄ/２Ｄエンコーダ（１２３０）は、再構成された情報（１２３１）の再構成された境界座標など、再構成された頂点情報を提供できる。一例では、補助データエンコーダ（１２４０）は、元の境界座標と再構成された境界座標に基づいて境界座標残差を決定し、境界座標残差をビットストリーム（１２４５）にエンコーディングすることができる。

【0160】

頂点並べ替えモジュール（１２２０）、補助データエンコーダ（１２４０）及び１Ｄ/２Ｄエンコーダ（１２３０）の動作は、頂点並べ替えモジュール（１１２０）、補助データエンコーダ（１１４０）及び１Ｄ/２Ｄエンコーダ（１１３０）の動作と同様であり、本開示でさらに説明される。

【0161】

図12の例では、ビットストリーム（１２４５）はメッシュデコーダ（１２５０）に提供される。メッシュデコーダ（１２５０）は、図12に示すように一緒に結合された、１Ｄ/２Ｄデコーダ（１２６０）、補助データデコーダ（１２７０）、接続性デコーダ（１２８０）及びメッシュ再構成モジュール（１２９０）を含む。一例では、１Ｄ/２Ｄデコーダ（１２６０）は、１Ｄ/２Ｄエンコーダ（１２３０）に対応し、１Ｄ/２Ｄエンコーダ（１２３０）によってエンコーディングされたビットストリーム（１２４５）の一部をデコーディングし、デコーディングされた情報（１２６５）を生成できる。

【0162】

図12の例では、補助データデコーダ（１２７０）は補助データエンコーダ（１２４０）に対応し、補助データエンコーダ（１２４０）によってエンコーディングされたビットストリーム（１２４５）の一部をデコーディングし、デコーディングされた補助データ（１２７５）を生成できる。

【0163】

図12の例では、接続性デコーダ（１２８０）は接続性エンコーダ（１２３５）に対応し、接続性エンコーダ（１２３５）によってエンコーディングされたビットストリーム（１２４５）の一部をデコーディングし、デコーディングされた接続性（１２８５）を生成できる。

【0164】

図12の例では、デコーディングされた情報（１２６５）、デコーディングされた補助データ（１２７５）及びデコーディングされた接続性（１２８５）がメッシュ再構成モジュール（１２９０）に提供される。メッシュ再構成モジュール（１２９０）は、デコーディングされた情報（１２６５）、デコーディングされた補助データ（１２７５）及びデコーディングされた接続性（１２８５）に基づいて再構成メッシュ（１２９５）を生成する。１Ｄ/２Ｄデコーダ（１２６０）及び接続性デコーダ（１２８０）の動作は、本開示でさらに説明される。

【0165】

頂点並べ替えモジュール（１２２０）、補助データエンコーダ（１２４０）、１Ｄ/２Ｄエンコーダ（１２３０）及び接続性エンコーダ（１２３５）などのメッシュエンコーダ（１２１０）内のコンポーネントは、さまざまな技法でそれぞれ実装できることが留意される。一例では、コンポーネントは、集積回路によって実装される。別の例では、１つ以上のプロセッサで実行できるソフトウェアを使用してコンポーネントが実装される。

【0166】

１Ｄ/２Ｄデコーダ（１２６０）、補助データデコーダ（１２７０）、接続性デコーダ（１２８０）、及びメッシュ再構成モジュール（１２９０）などのメッシュデコーダ（１２５０）内のコンポーネントは、さまざまな技法でそれぞれ実装できることが留意される。一例では、コンポーネントは集積回路によって実装される。別の例では、１つ以上のプロセッサで実行できるソフトウェアを使用してコンポーネントが実装される。

【0167】

本開示のいくつかの態様によれば、メッシュの頂点は、メッシュ内の頂点の空間プロパティ(spatial properties)に基づいてパッチごとに並べ替えることができる。

【0168】

図13は、本開示のいくつかの実施形態による、メッシュ(動的メッシュ処理のためのメッシュフレーム）内の頂点を並べ替えるプロセス（１３００）を概説するフローチャートを示している。いくつかの例では、プロセス（１３００）は、頂点並べ替えモジュール（１１２０）、頂点並べ替えモジュール（１２２０）などの頂点並べ替えモジュールによって実行される。さまざまな実施例では、プロセス（１３００）は処理回路によって実行される。いくつかの実施形態では、プロセス（１３００）はソフトウェア命令で実装されるため、処理回路がソフトウェア命令を実行するとき、処理回路はプロセス（１３００）を実行する。プロセス（１３００）は（Ｓ１３０１）において開始し、（Ｓ１３１０）に進む。

【0169】

（Ｓ１３１０）において、メッシュ内の開始頂点が決定され、開始頂点を含む現在パッチが決定される。いくつかの例では、メッシュは複数の頂点を含み、頂点はエッジで接続することができる。いくつかの例では、メッシュはエッジによって形成される三角形を含む。２つの三角形がエッジを共有している場合、２つの三角形は接続される。メッシュは３Ｄドメインにおいてパッチにパーティション化される（partitioned）。パッチは、接続された三角形を持つメッシュの連続したサブセットである。一例では、パッチ内のエッジがパッチの隣接する２つの三角形によって共有されていない場合、たとえば、エッジがパッチの１つの三角形のみに属している場合、エッジはパッチの境界エッジであり、境界エッジの頂点は境界頂点である。パッチ内の頂点は、境界頂点と非境界頂点に分類できる。

【0170】

いくつかの実施形態では、特定の空間プロパティを持つ頂点属性は、動的メッシュ内のメッシュフレームのグループ内の各フレームに対して頂点トラバーサル（vertex traversal）がほぼ同じ位置から開始するように開始頂点を選択するために使用される。一例では、メッシュフレームのグループは、２Ｄのピクチャのグループ(ＧＯＰ)と同様の概念のものである。

【0171】

いくつかの例では、３Ｄの座標に基づいて開始頂点が選択される。一例では、最大の垂直座標(例えば、最大z座標）を持つ頂点が開始頂点として選択されるため、開始頂点が最も高い頂点である。ガウス曲率、ローカル頂点密度、色情報などの他の属性を使用して開始頂点を選択できることが留意される。

【0172】

開始頂点が選択された後、開始頂点を含む対応するパッチが、処理されることになる第１のパッチとして決定される。したがって、第１のパッチは処理のための現在パッチであり、開始頂点は現在パッチの開始頂点でもある。

【0173】

（Ｓ１３２０）において、現在パッチの頂点が、現在パッチの開始頂点から開始して、トラバースされる（traversed）。現在パッチの頂点は、さまざまな技法でトラバースできる。一例では、トラバースに対して幅優先検索を実行できる。別の例では、トラバースに対して奥行き優先検索を実行できる。別の例では、現在パッチの境界頂点が最初にトラバースされ、現在パッチの内部頂点(非境界頂点とも呼ばれる）が後からトラバースされる。したがって、境界頂点はより適切にグループ化される。いくつかの例では、不可逆圧縮が頂点の属性のエンコーディングに使用されるが、境界頂点に追加の処理を適用できるため、境界頂点の座標を情報損失なしで圧縮できる（例えば、可逆圧縮）。

【0174】

（Ｓ１３３０）において、未訪問（unvisited）（頂点トラバーサルが行われていない)パッチが存在する場合、処理は（Ｓ１３４０）に進む。それ以外の場合は、すべてのパッチが処理され(トラバースされ)、処理は（Ｓ１３９９）に進み、終了する。

【0175】

（Ｓ１３４０）において、現在パッチの（例えば、頂点がトラバースされた古い現在パッチ）後の次のトラバーサルのためのパッチが決定され、決定された次のパッチが処理のために現在パッチ（例えば、更なるトラバーサル処理のための新しい現在パッチ)となるように設定される。たとえば、第１のパッチのすべての頂点をトラバーサルした後、第１のパッチの後のトラバーサルのためのパッチが決定される。次のパッチを決定するために、さまざまな技法を使用できる。一例では、次のパッチは、未訪問の（頂点トラバーサルが行われていない）頂点のうち最も高い頂点を含むパッチとして選択される。たとえば、第１のパッチが最も高い頂点を含むパッチとして選択された場合、第１のパッチの次のパッチは、未訪問の頂点のうち最も大きな垂直座標を持つ頂点を含むパッチとして決定できる。

【0176】

いくつかの例では、現在パッチ(例えば、頂点がトラバースされた古い現在パッチ）に最も近い(例えば、最短距離を持つ)パッチが、トラバーサルのための次のパッチとして選択される。現在パッチ(例えば、頂点がトラバースされた古い現在パッチ)と別のパッチとの間の距離は、さまざまな技法で定義できる。一例では、未訪問のパッチについて、未訪問の頂点の各頂点と現在パッチ(例えば、頂点がトラバースされた古い現在パッチ)の最後に訪問した頂点との間の３Ｄユークリッド距離が計算される。その後、３Ｄユークリッド距離のうち、最小の３Ｄユークリッド距離が現在パッチ(古い現在パッチ)と未訪問のパッチとの間の距離として決定される。

【0177】

別の例では、未訪問のパッチ内のすべての頂点の平均３Ｄ座標(平均x座標、平均y座標、平均z座標）が計算される。次に、未訪問のパッチの平均３Ｄ座標のポイントと現在パッチ(例えば、古い現在パッチ）内の最後に訪問した頂点との間の３Ｄユークリッド距離が計算され、現在パッチ(古い現在パッチ)と未訪問のパッチとの間の距離として定義される。

【0178】

別の例では、現在パッチ(例えば、古い現在パッチ）内のすべての頂点の第１の平均３Ｄ座標(平均x座標、平均y座標、平均z座標）が計算され、未訪問のパッチ内のすべての頂点の第２の平均３Ｄ座標(平均x座標、平均y座標、平均z座標）が計算される。次に、第１の平均３Ｄ座標を持つ第１のポイントと第２の平均３Ｄ座標を持つ第２のポイントとの間の距離が計算され、現在パッチと未訪問のパッチとの間の距離として定義される。

【0179】

（Ｓ１３５０）において、トラバースするために現在パッチ（例えば、新しい現在パッチ）の開始頂点が決定される。さまざまな技法を使用して、現在パッチ（例えば、新しい現在パッチ）においてトラバースするために開始頂点を選択できる。一例では、現在パッチ（例えば、新しい現在パッチ）内の最も高い頂点(例えば、最大のz座標を持つ）が開始頂点として選択される。別の例では、現在パッチ（例えば、新しい現在パッチ）内の最後に訪問された頂点（古い現在パッチ内）に最も近い頂点が、現在パッチ内の開始頂点として選択される。別の例では、現在パッチ（例えば、新しい現在パッチ）内の最も高い境界頂点が開始頂点として選択され、現在パッチ（例えば、新しい現在パッチ）内の境界頂点が、現在パッチ（例えば、新しい現在パッチ）内の内部頂点(例えば、非境界頂点）の前にトラバースされることになる。別の例では、最後に訪問された頂点（古い現在パッチ内）に最も近い境界頂点（例えば、新しい現在パッチ内）である境界頂点が開始頂点になるように選択され、現在パッチ（例えば、新しい現在パッチ）内の境界頂点が、現在パッチ（例えば、新しい現在パッチ）内の内部頂点(例えば、非境界頂点）の前にトラバースされることになる。その後、処理（Ｓ１３００）は（Ｓ１３２０）に戻る。

【0180】

本開示の一態様によれば、例えば処理（１３００）に従ってメッシュ内の頂点がトラバースされた後、メッシュ内の頂点のxyz座標(３D座標とも呼ばれる)、uv座標、RGB色、法線などの頂点の属性情報が、トラバース順に従って、例えば、並べ替えられたメッシュ情報（１１２５）又は並べ替えられたメッシュ情報（１２２５）に記録される。いくつかの例では、各パッチが訪問された後、パッチ内の頂点の数及びパッチ内の境界頂点の数が、例えば、補助データ（１１２７）、補助データ（１２２７）などに記録される。

【0181】

いくつかの例では、並べ替えられたメッシュ情報（１１２５）又は並べ替えられたメッシュ情報（１２２５）は、xyz座標の配列、uv座標の配列、その他の属性の配列(例えば、法線、色など)など、頂点の属性配列を含む。一例では、頂点の属性配列は、頂点のトラバース順の１Ｄ配列である。１Ｄ配列は、１Ｄ/２Ｄエンコーダ（１１３０）又は１Ｄ/２Ｄエンコーダ（１２３０）によってエンコーディングできる。

【0182】

別の例では、トラバース順の頂点は、ラスタースキャンラインパターンにしたがってな、２Ｄ形式に再配置できる。その後、再配置された２Ｄ形式に従って、頂点の属性を２Ｄイメージに再配置できる。複数のメッシュフレームの例(例えば、動的メッシュ圧縮）では、シーケンス内のメッシュフレーム又はメッシュフレームのグループが訪問された後、フレーム内(シーケンス内又はグループ内）の頂点の数を決定できる。その後、メッシュフレーム内の頂点の数から頂点の最大数が決定される。頂点の最大数に基づいて、２Ｄイメージの幅(mで表す)及び高さ(nで表す）を決定できる。一例では、幅は水平方向のピクセル数、高さは垂直方向のピクセル数であり、幅と高さの乗算は、メッシュフレームのグループの頂点の最大数と等しい又はそれより大きい。各メッシュフレームについて、メッシュフレームの頂点の数が幅(m)及び高さ(n）の乗算より小さい場合、パディング（padding）頂点(パディング属性値を持つ）を適宜追加できる。

【0183】

本開示の一態様によれば、各メッシュフレームのxyz座標、uv座標、法線、頂点の色などの属性は、m×n ２Ｄイメージに再形成される。したがって、xyz座標、uv座標などのメッシュフレームの属性は、同じサイズの２Ｄイメージに格納され、２Ｄビデオコーデックを使用して２Ｄイメージをエンコーディングできる。たとえば、メッシュフレーム内の頂点のxyz座標をm×n×3 ２Ｄイメージ(３チャネル）に再形成できる。メッシュフレーム内の頂点のuv座標をm×n×2 ２Ｄイメージ(２チャネル）に再形成できる。

【0184】

一例では、メッシュフレーム内の頂点のxyz座標を、RGB 4:4:4カラーフォーマットを使用するなど、２Ｄイメージのカラーコンポーネントとして格納できる。別の例では、メッシュフレーム内の頂点のｕｖ座標を、分割し、4:0:0カラーフォーマットを使用するなど、１チャネルの２Ｄイメージの２つのグループに格納できる。たとえば、メッシュフレーム内の頂点のu座標は１チャネルの２Ｄイメージの第１のグループに格納され、メッシュフレーム内の頂点のv座標は１チャネルの２Ｄイメージの第２のグループに格納される。

【0185】

別の例では、uv座標を持つ２Ｄイメージに変換関数(例えば、２タップハール変換）を適用して、２つのチャネルの相関を解除できる。次に、２つのチャネルの相関を解除された２Ｄイメージを、１チャネルの２Ｄイメージの２つのグループに分割できる。２Ｄイメージの２つのグループは別々にエンコーディングできる。

【0186】

別の例では、メッシュフレーム内の頂点のuv座標は、RGB 4:4:4フォーマットを使用するなど、２Ｄイメージのカラーコンポーネント(3つのチャネル)として格納できる。たとえば、u座標を第１のチャネルとして格納し、v座標を第２のチャネルとして格納し、第３のチャネルを任意の数字によって埋めることができ、第３のチャネルをデコーダ側で破棄できる。

【0187】

いくつかの例では、不可逆圧縮が、メッシュの頂点属性をエンコーディングするために、１Ｄ/２Ｄエンコーダ（１１３０）及び１Ｄ/２Ｄエンコーダ（１２３０）などのエンコーダで使用される。メッシュの境界頂点のより多くの情報を保持するために(例えば、パッチ間の隙間を避けるために）、境界頂点(例えば、再構成された情報（１１３１）、再構成された情報（１２３１）内）の再構成された座標(例えば、xyz座標、uv座標）をエンコーディングされた頂点属性から決定でき、元の頂点座標と境界頂点の再構成された座標との間の差を計算できる。元の頂点座標と境界頂点の再構成された座標との間の差は、境界座標残差として示される。境界座標残差は、例えば補助データエンコーダ（１１４０）、補助データエンコーダ（１２４０）などによって、ビットストリーム（１１４５）、ビットストリーム（１２４５）などのメッシュを運ぶビットストリームにコーディングすることができる。

【0188】

本開示のいくつかの態様によれば、３Ｄメッシュを運ぶビットストリーム（例えば、ビットストリーム（１１４５）、ビットストリーム（１２４５））は、xyz座標、uv座標などの頂点属性を１Ｄ配列又は２Ｄイメージの形式で含み、３Ｄメッシュの正確なデコーディング及び再構成を支援する補助データを含む。

【0189】

いくつかの例では、各メッシュフレームについて、xyz座標、uv座標などの属性は、２Ｄビデオコーデックによってビットストリームから、又は１Ｄ/２Ｄデコーダ（１１６０）、１Ｄ/２Ｄデコーダ（１２６０）などを使用するなどの他の圧縮形式からデコーディングできる。たとえば、２Ｄビデオデコーダから出力される２Ｄフレームの各ピクセルは、xyz座標、uv座標、RGBカラー又は法線などの頂点の属性を表す。一例では、4:4:4ピクチャフォーマットを使用して、メッシュフレーム内のすべての頂点のxyz座標を表すことができる。２つの1チャネル4:0:0フォーマットのピクチャを使用して、メッシュフレーム内のすべての頂点のuv座標を表すことができる。

【0190】

いくつかの例では、補助データデコーダ（１１７０）、補助データデコーダ（１２７０）などによって、補助データがビットストリームからデコーディングされる。一例では、補助データは、各パッチ内の頂点の数及び境界頂点の数を含む。別の例では、補助データは、各パッチ内の頂点の数及び境界頂点の数を含み、境界座標残差を含む。

【0191】

いくつかの例では、各パッチ内の頂点の数及び境界頂点の数に基づいて、メッシュフレームのデコーディングされた頂点をパッチごとにグループ化できる。一般に、ピクチャ内のコーディングされた頂点はパッチごとに、又はデコーダが回復できる任意の順序で配置される。その後、各メッシュフレームについて、パッチごとにメッシュ再構成を行うことができる。

【0192】

本開示の一態様によれば、パッチについては、パッチ内の頂点の数及び境界頂点の数に応じて、パッチ内の境界頂点を特定することができ、パッチ内の頂点のxyz座標及びuv座標は、デコーディングされた情報から、例えば、１Ｄ/２Ｄデコーダ（１１６０）、１Ｄ/２Ｄデコーダ（１２６０）などからの出力から、決定することができる。一例では、エンコーダ側とデコーダ側の両方が、パッチごとに、すべての境界頂点が他のすべての内部パッチ頂点(例えば、非境界頂点）の前に配置されることに同意する。したがって、各パッチの境界頂点は、パッチのすべてのデコーディングされた頂点で識別できる。

【0193】

不可逆圧縮を使用するいくつかの例では、境界座標残差が、デコーディングされ(例えば、補助データデコーダ（１１７０）によって、補助データデコーダ（１２７０）によって)、デコーディングされた境界座標に追加されて(元の座標とデコーディングされた座標との間の差である)、メッシュ再構成モジュール（１１９０）、メッシュ再構成モジュール（１２９０）などによって、境界頂点の元のxyz座標及びuv座標を取得する。

【0194】

いくつかの例では、不可逆圧縮の場合、同じxyz座標又はuv座標を持つ重複した頂点がデコーディングされた情報に存在する可能性があり、重複した頂点が削除される。さらに、いくつかの例では、パッチの内部頂点（元のメッシュ内の元の内部頂点）に対応するいくつかのデコーディングされた頂点は、不可逆圧縮のためにパッチの外(例えば、パッチの境界エッジによって形成される境界の外側）にある可能性があり、パッチの外にあるデコーディングされた頂点を削除できる。

【0195】

いくつかの例では、接続性を取得するために、パッチのすべての頂点のｕｖ座標とパッチの境界頂点を使用して、制約付きドローネ三角分割などの三角分割などを実行して、パッチの接続性を取得(推測)する。他のいくつかの例では、デコーダ側が三角分割アルゴリズムなしに直接メッシュのトポロジを再構成できるように、各パッチの接続性情報をビットストリームで明示的にシグナリングできる。

【0196】

図１４は、開示の実施形態によるプロセス（１４００）の概要を示すフローチャートを示す。プロセス（１４００）は、メッシュのエンコード処理中に使用することができる。様々な実施形態では、プロセス（１４００）は処理回路によって実行される。いくつかの実施形態では、プロセス（１４００）はソフトウェア命令で実装され、したがって、処理回路がソフトウェア命令を実行するとき、処理回路はプロセス（１４００）を実行する。プロセスは、（Ｓ１４０１）においてスタートし、（Ｓ１４１０）に進む。

【0197】

（Ｓ１４１０）において、３Ｄメッシュフレームの頂点のトラバース順が決定される。３Ｄメッシュフレームはパッチにパーティション化され、トラバース順は頂点パッチをパッチごとに並べ替える。たとえば、頂点はそれぞれパッチに属するサブセットに並べ替えられる。

【0198】

（Ｓ１４２０）において、３Ｄメッシュフレームの頂点のトラバース順に従って、頂点の属性の配列が形成される。

【0199】

（Ｓ１４３０）において、属性の配列は、３Ｄメッシュフレームを運ぶビットストリームにエンコーディングされる。

【0200】

トラバース順を決定するために、いくつかの実施形態では、開始頂点が３Ｄメッシュフレームの頂点から決定され、頂点の第１のサブセットの第１のパッチが決定される。開始頂点は、頂点の第１のサブセット内の頂点である。いくつかの例では、開始頂点は、３Ｄメッシュフレームのシーケンス上で維持される３Ｄメッシュフレームの空間プロパティに従って決定される。したがって、３Ｄメッシュフレームのシーケンス内の各３Ｄメッシュフレームについての開始頂点は、各３Ｄメッシュフレームについてほぼ同じ位置にある。一例では、開始頂点は最大の座標値を持つ。別の例では、開始頂点は最小の座標値を持つ。別の例では、開始頂点は最大のガウス曲率を持つ。別の例では、開始頂点は最小のガウス曲率を持つ。別の例では、開始頂点は最大のローカル頂点密度を持つ。別の例では、開始頂点は最小のローカル頂点密度を持つ。別の例では、開始頂点は色情報について最大値を持つ。別の例では、開始頂点は色情報について最小値を持つ。

【0201】

いくつかの例では、３Ｄメッシュフレームについての開始頂点から、頂点の第１のサブセットは、第１の外の頂点をトラバースする前に、トラバースされる。いくつかの例では、第１のパッチの境界頂点は、第１のパッチの内部頂点(非境界）をトラバースする前に、トラバースされる。

【0202】

いくつかの例では、前のパッチ（古い現在パッチとも呼ばれる）の最後の頂点をトラバースした後、トラバースする次のパッチ（新しい現在とも呼ばれる）が、トラバースされていないパッチの前のパッチの空間的関係に従って、トラバースされていないパッチから決定される。その後、次のパッチの開始頂点が決定される。

【0203】

いくつかの例では、次のパッチは、トラバースされていないパッチの中で前のパッチに最も近いパッチである。一例では、トラバースされていないパッチと前のパッチとの間の距離を計算するために、前のパッチでトラバースされた最後の頂点とトラバースされていないパッチの各頂点との間の３Ｄユークリッド距離が計算され、３Ｄユークリッド距離の最小距離がトラバースされていないパッチと前のパッチとの間の距離になるように決定される。別の例では、トラバースされていないパッチと前のパッチとの間の距離を計算するために、トラバースされていないパッチの複数の頂点の平均３Ｄ座標が計算され、平均３Ｄ座標を持つ点と前のパッチでトラバースされた最後の頂点との間の距離に基づいて、トラバースされていないパッチと前のパッチとの間の距離が決定される。別の例では、トラバースされていないパッチと前のパッチとの間の距離を計算するために、前のパッチの第１の複数の頂点の第１の平均３Ｄ座標が計算され、トラバースされていないパッチの複数の頂点の第２の平均３Ｄ座標が計算され、トラバースされていないパッチと前のパッチの間の距離が、第１の平均３Ｄ座標を持つ第１のポイントと第２の平均３Ｄ座標を持つ第２のポイントとの間の距離に基づいて計算される。

【0204】

次のパッチの開始頂点を決定するに、一例では、最大の座標値を持つ次のパッチの頂点が次のパッチ内の開始頂点として選択される。別の例では、最小の座標値を持つ次のパッチ内の頂点が、次のパッチ内の開始頂点として選択される。別の例では、前のパッチの最後にトラバースされた頂点に最も近い次のパッチ内の頂点が、次のパッチの開始頂点として選択される。別の例では、最大の座標値を持つ次のパッチ内の境界頂点が、次のパッチ内の開始頂点として選択される。別の例では、最小の座標値を持つが次のパッチ内の境界頂点が、次のパッチ内の開始頂点として選択される。別の例では、前のパッチでトラバースされた最後の頂点に最も近い次のパッチ内の境界頂点が、次のパッチ内の開始頂点として選択される。

【0205】

本開示の一態様によれば、属性の配列を形成するために、いくつかの例では、メッシュフレームのシーケンスの頂点トラバースの後に、メッシュフレーム内の頂点の最大数が決定される。頂点の最大数に基づいて、２Ｄイメージサイズを決定できる。その後、メッシュフレームの各々内の頂点の属性を、２Ｄイメージサイズの２Ｄ配列に再整形できる。

【0206】

属性の配列をエンコーディングするために、一例では、頂点の３Ｄ座標の配列に対応する２Ｄイメージがビットストリームにエンコーディングされる。別の例では、頂点のｕｖ座標の配列に対応する２Ｄイメージがビットストリームにエンコーディングされる。別の例では、頂点のu座標の第１の配列と頂点のv座標の第２の配列にそれぞれ対応する第１の２Ｄイメージと第２の２Ｄイメージがビットストリームにエンコーディングされる。いくつかの例では、頂点の他の属性(例えば、色情報、ノーマルなど）の配列に対応する２Ｄイメージがビットストリームにエンコーディングされる。

【0207】

いくつかの例では、各パッチについて、パッチ内の頂点の数を示す第１の値がビットストリームにエンコーディングされる。さらに、いくつかの例では、各パッチについて、パッチ内の境界頂点の数を示す第２の値がビットストリームにエンコーディングされる。

【0208】

いくつかの例では、パッチ内の境界頂点の属性が、パッチ内の他の頂点(例えば、非境界頂点）の属性よりも前にビットストリームにエンコーディングされる。

【0209】

いくつかの例では、不可逆圧縮が使用される。エンコーダ側では、パッチについて、頂点のエンコーディングされた属性に基づいて、パッチの境界頂点の再構成された属性が決定される。次に、境界頂点の再構成された座標と境界頂点の元の座標に基づいて、パッチの境界頂点についての境界座標残差が決定される。境界座標残差はビットストリームにエンコーディングされる。境界頂点の座標は、境界頂点の３Ｄ座標及び/又は境界頂点のｕｖ座標であることができる。

【0210】

いくつかの例では、各パッチ内の頂点の接続性情報がビットストリームにエンコーディングされる。

【0211】

その後、プロセスは（Ｓ１４９９）に進み、終了する。

【0212】

プロセス（１４００）は、適切に適応させることができる。プロセス（１４００）のステップ（複数可）は、変更及び／又は省略することができる。追加のステップ（複数可）を追加することができる。任意の適切な実装順序を使用することができる。

【0213】

図１５は、本開示の一実施形態によるプロセス（１５００）の概要を示すフローチャートを示している。プロセス（１５００）は、メッシュのデコーディングプロセス中に使用することができる。様々な実施形態では、プロセス（１５００）は処理回路によって実行される。いくつかの実施形態では、プロセス（１５００）はソフトウェア命令で実装され、ｓｈいたがって、処理回路がソフトウェア命令を実行するとき、処理回路はプロセス（１５００）を実行する。プロセスは（Ｓ１５０１）においてスタートし、（Ｓ１５１０）に進む。

【0214】

（Ｓ１５１０）において、複数のパッチを含む３Ｄメッシュフレームを運ぶビットストリームから属性の配列がデコーディングされる。属性の配列は、パッチごとに順序付けられた３Ｄメッシュフレームの頂点に対応する。たとえば、頂点は複数のパッチにそれぞれ属するサブセットに順序付けられる。

【0215】

（Ｓ１５２０）において、３Ｄメッシュフレームの頂点の第１のサブセットに対応する属性の配列の第１の部分が決定される。第１のサブセットは、複数のパッチ内の第１のパッチに属する。

【0216】

（Ｓ１５３０）において、頂点の第１のサブセットの第１の接続性情報が決定される。

【0217】

（Ｓ１５４０）において、属性の配列の第１の部分と第１の接続性情報に基づいて、３Ｄメッシュフレームの第１のパッチが再構成される。

【0218】

属性の配列をデコーディングするために、一例では、頂点の３Ｄ座標の配列に対応する２Ｄイメージがデコーディングされる。別の例では、頂点のｕｖ座標の配列に対応する２Ｄイメージがデコーディングされる。別の例では、頂点のu座標の第1の配列と頂点のv座標の第2の配列にそれぞれ対応する第1の２Ｄイメージと第2の２Ｄイメージがデコーディングされる。

【0219】

属性の配列の第１の部分を決定するために、一例では、３Ｄメッシュフレームの頂点の第１のサブセット内の頂点の数を示す第1の値がビットストリームからデコーディングされる。属性の配列の第１の部分は、第１の値に基づいて選択される。いくつかの例では、第１のサブセット内の境界頂点の数を示す第２の値がビットストリームからデコーディングされる。次に、境界頂点の属性は、第２の値に基づいて属性の配列の第１の部分から決定される。

【0220】

いくつかの例では、第１のパッチの境界頂点の属性は、第１のパッチについての第１のサブセット内の他の頂点の属性よりも前に順序付けられる。

【0221】

いくつかの例では、頂点の座標など、頂点の属性をコーディングするために不可逆圧縮が使用される。一例では、境界頂点についての境界座標残差がビットストリームからデコーディングされる。境界頂点のデコーディングされた座標は、境界頂点の回復された座標を取得するために、境界頂点の境界座標残差と組み合わされる。境界頂点の回復された座標は、エンコーダ側の境界頂点の元の座標と等しくすることができる。境界頂点の座標は、境界頂点の３Ｄ座標であることができる又は、境界頂点のｕｖ座標であることができる。

【0222】

いくつかの例では、不可逆圧縮のため、デコーディングされた属性に従って重複した頂点(同じ３Ｄ座標又は同じｕｖ座標を持つ）が存在する場合がある。一例では、第1の頂点と第2の頂点が同じ座標を持つことが検出され、第1の頂点と第2の頂点のうちの１つが３Ｄメッシュフレームの再構成から削除される。

【0223】

いくつかの例では、不可逆圧縮のために、パッチの非境界頂点がパッチの境界の外側にある場合がある。一例では、パッチの境界頂点によって形成される境界の外側にあるパッチの非境界頂点が、３Ｄメッシュフレームの再構成から削除される。

【0224】

いくつかの例では、第１のパッチの頂点の第１のサブセットの第１の接続性情報が、３Ｄメッシュフレームの頂点の第１のサブセットに基づいて推測される。

【0225】

いくつかの例では、頂点の第１のサブセットの第１の接続性情報がビットストリームからデコーディングされる。

【0226】

その後、プロセスは（Ｓ１５９９）に進み、終了する。

【0227】

プロセス（１５００）は、適切に適応させることができる。プロセス（１５００）のステップ（複数可）は、変更及び／又は省略することができる。追加のステップ（複数可）を追加することができる。任意の適切な実装順序を使用することができる。

【0228】

本開示で開示された技術は、別々に又は任意の順序で組み合わせて使用され得る。さらに、各技術（例えば、方法、実施形態）、エンコーダ、及びデコーダは、処理回路（例えば、１つ以上のプロセッサ又は１つ以上の集積回路）によって実装され得る。いくつかの例では、１つ以上のプロセッサが、非一時的コンピュータ可読媒体に格納されているプログラムを実行する。

【0229】

上記の技術は、コンピュータ可読命令を使用しかつ１つ以上のコンピュータ可読媒体に物理的に格納されているコンピュータソフトウェアとして実装することができる。例えば、図１６は、開示された主題の特定の実施形態を実装するのに適したコンピュータシステム（１６００）を示す。

【0230】

コンピュータソフトウェアは、１つ以上の中央演算処理装置（ＣＰＵ）、グラフィクス処理ユニット（ＧＰＵ）などによって、直接に、又は解釈、マイクロコード実行などを通じて、実行されることができる命令を含むコードを生成するように、アセンブリ、コンパイル、リンキングなどのメカニズムの対象となり得る任意の適切なマシンコード又はコンピュータ言語を使用してコーディングされることができる。

【0231】

命令は、例えば、パーソナルコンピュータ、タブレットコンピュータ、サーバ、スマートフォン、ゲーミングデバイス、モノのインターネットデバイスなどを含む様々なタイプのコンピュータ又はそのコンポーネントで実行することができる。

【0232】

コンピュータシステム（１６００）に関して図１６に示されるコンポーネントは、本質的に例示であり、本開示の実施形態を実装するコンピュータソフトウェアの使用又は機能の範囲に関して如何なる限定も示唆することを意図しない。コンポーネントの構成は、コンピュータシステム（１６００）の例示的な実施形態において説明されるコンポーネントのうちのいずれか１つ又は組み合わせに関して何らかの依存又は要件を有するものとして解釈されるべきではない。

【0233】

コンピュータシステム（１６００）は、特定のヒューマンインターフェース入力デバイスを含み得る。このようなヒューマンインターフェース入力デバイスは、例えば、触覚入力（例えば、キーボード、スワイプ、データグロープ動作）、音声入力（例えば、声、拍手）、視覚入力（例えば、ジェスチャ）、嗅覚入力（図示せず）を通じた一人以上のユーザによる入力に応答し得る。ヒューマンインターフェースデバイスはまた、音声（例えば、発話、音楽、周囲音）、画像（例えば、スキャンされた画像、静止画カメラから取得された写真画像）、ビデオ（例えば、２次元ビデオ、立体視ビデオを含む３次元ビデオ）などの、人による意識的な入力に必ずしも直接には関係しない特定のメディアをキャプチャするために使用されることができる。

【0234】

入力ヒューマンインターフェースデバイスは、キーボード（１６０１）、マウス（１６０２）、トラックパッド（１６０３）、タッチスクリーン（１６１０）でタグローブ（図示せず）、ジョイスティック（１６０５）、マイク（１６０６）、スキャナ（１６０７）、カメラ（１６０８）（各１つしか描かれていない）のうちの１つ以上を含み得る。

【0235】

コンピュータシステム（１６００）はまた、特定のヒューマンインターフェース出力デバイスを含み得る。このようなヒューマンインターフェース出力デバイスは、例えば、触覚出力、音、光、及び匂い／味を通じて一人以上のユーザの感覚を刺激し得る。このようなヒューマンインターフェース出力デバイスは、触覚出力デバイス（例えば、タッチスクリーン（１６１０）でタグローブ（図示せず。）、又はジョイスティック（１６０５）による触覚フィードバック、しかし、入力デバイスとして機能しない触覚フィードバックデバイスがあることもできる）オーディオ出力デバイス（例えば、スピーカ（１６０９）、ヘッドホン（図示せず））、視覚出力デバイス（例えば、それぞれタッチスクリーン入力機能の有無によらず、それぞれ触覚フィードバック機能の有無によらず、ＣＲＴスクリーン、ＬＣＤスクリーン、プラズマスクリーン、ＯＬＥＤスクリーンを含み、それらのうちのいくつかは、立体視出力、仮想現実メガネ（図示せず）、ホログラフィックディスプレイ及びスモークタンク（図示せず）などの手段により２次元視覚出力又は３次元よりも多い次元の出力を出力可能なスクリーン（１６１０））及びプリンタ（図示せず）を含み得る。

【0236】

コンピュータシステム（１６００）はまた、人がアクセス可能なストレージデバイス及びそれらの関連する媒体、例えば、ＣＤ／ＤＶＤ又は同様の媒体（１６２１）を伴ったＣＤ／ＤＶＤ ＲＯＭ／ＲＷ（１６２０）、サムドライブ（１６２２）、リムーバブルハードディスク又はソリッドステートドライブ（１６２３）、レガシー磁気媒体、例えば、テープ及びフロッピー（登録商標）ディスク（図示せず）、専用のＲＯＭ／ＡＳＩＣ／ＰＬＤベースのデバイス、例えば、セキュリティドングル（図示せず）、などを含むことができる。

【0237】

当業者はまた、目下開示されている主題に関連して使用されている「コンピュータ可読媒体」という用語が、伝送媒体、搬送波、又は他の一時的な信号を含まないことも理解すべきである。

【0238】

コンピュータシステム（１６００）はまた、１つ以上の通信ネットワーク（１６５５）へのインターフェース（１６５４）を含むことができる。ネットワークは、例えば、ワイヤレス、ワイヤライン、光であることができる。ネットワークはさらに、ローカル、ワイドエリア、メトロポリタン、車両及び産業、実時間、遅延耐性、などであることができる。ネットワークの例は、イーサネット（登録商標）などのローカルエリアネットワーク、ワイヤレスＬＡＮ、ＧＳＭ、３Ｇ、４Ｇ、５Ｇ、ＬＴＥなどを含むセルラーネットワーク、ケーブルＴＶ、衛星ＴＶ、及び地上放送ＴＶを含むＴＶワイヤライン又はワイヤレス広域デジタルネットワーク、ＣＡＮバスを含む車両及び産業ネットワーク、などを含む。特定のネットワークは、一般に、特定の汎用目的データポート又はペリフェラルバス（１６４９）（例えば、コンピュータシステム（１６００）のＵＳＢポートなど）に取り付けられた外付けネットワークインターフェースアダプタを必要とする。他は、一般に、後述されるようなシステムバスへの取り付け（例えば、ＰＣコンピュータシステムへのイーサネットネットワーク、又はスマートフォンコンピュータシステムへのセルラーネットワークインターフェース）によってコンピュータシステム（１６００）のコアに組み込まれる。これらのネットワークのいずれかを使用して、コンピュータシステム（１６００）は他のエンティティと通信することができる。そのような通信は、単方向の受信専用（例えば、ブロードキャストＴＶ）、単方向の送信専用（例えば、特定のＣＡＮバスデバイスへのＣＡＮバス）、又は例えば、ローカル若しくは広域デジタルネットワークを使用して他のコンピュータシステムに対して双方向であることができる。特定のプロトコル又はプロトコルスタックが、上述されたようなネットワーク及びネットワークインターフェースの各々で使用されることができる。

【0239】

前述のヒューマンインターフェースデバイス、人がアクセス可能なストレージデバイス、及びネットワークインターフェースは、コンピュータシステム（１６００）のコア（１６４０）に取り付けられることができる。

【0240】

コア（１６４０）は、１つ以上の中央演算処理装置（ＣＰＵ）（１６４１）、グラフィクス処理ユニット（ＧＰＵ）（１６４２）、フィールドプログラマブルゲートエリア（ＦＰＧＡ）（１６４３）の形の専用のプログラム可能処理ユニット、特定のタスクのためのハードウェアアクセラレータ（１６４４）、グラフィクスアダプタ（１６５０）などを含むことができる。これらのデバイスは、リードオンリーメモリ（ＲＯＭ）（１６４５）、ランダムアクセスメモリ（ＲＡＭ）（１６４６）内部のユーザアクセス不能ハードドライブなどの内蔵大容量記憶装置、ＳＳＤ、など（１６４７）とともに、システムバス（１６４８）を通じて接続され得る。いくつかのコンピュータシステムでは、システムバス（１６４８）は、追加のＣＰＵ、ＧＰＵなどによる拡張を可能にするように、１つ以上の物理プラグの形でアクセス可能であることができる。周辺機器が、コアのシステムバス（１６４８）に直接又はペリフェラルバス（１６４９）を通じて、取り付けられることができる。ペリフェラルバスのためのアーキテクチャは、ＰＣＩ、ＵＳＢなどを含む。

【0241】

ＣＰＵ（１６４１）、ＧＰＵ（１６４２）、ＦＰＧＡ（１６４３）及びアクセラレータ（１６４４）は、組み合わせて上記のコンピュータコードを構成することができる特定の命令を実行することができる。そのコンピュータコードは、ＲＯＭ（１６４５）又はＲＡＭ（１６４６）に格納されることができる。一時データもＲＡＭ（１６４６）に格納することができ、一方、永続性データは、例えば、内蔵大容量記憶装置（１６４７）に格納されることができる。メモリデバイスのいずれかへの高速な格納及び読み出しは、キャッシュメモリの使用により可能にされることができ、このキャッシュメモリは、１つ以上のＣＰＵ（１６４１）、ＧＰＵ（１６４２）、大容量記憶装置（１６４７）、ＲＯＭ（１６４５）、ＲＡＭ（１６４６）などと密接に関連づけられることができる。

【0242】

コンピュータ可読媒体は、様々なコンピュータ実装動作を実行するためのコンピュータコードを有することができる。媒体及びコンピュータコードは、本開示の目的のために特別に設計及び構成されたものであることができ、あるいは、それらは、コンピュータソフトウェア技術で通常の知識を有する者によく知られており利用可能である種類のものであることができる。

【0243】

一例として、限定としてではなく、アーキテクチャ（１６００）、具体的にはコア（１６４０）を有するコンピュータシステムは、１つ以上の有形なコンピュータ可読媒体において具現されているソフトウェアを実行するプロセッサ（複数可）（ＣＰＵ、ＧＰＵ、ＦＰＧＡ、アクセラレータ、などを含む）の結果として機能を提供することができる。このようなコンピュータ可読媒体は、コア内蔵大容量記憶装置（１６４７）又はＲＯＭ（１６４５）などの、非一時的な性質であるコア（１６４０）の特定の記憶装置に加えて、先に紹介されたユーザアクセス可能な大容量記憶装置に関連した媒体であることができる。本開示の様々な実施形態を実装するソフトウェアは、そのようなデバイスに格納され、コア（１６４０）によって実行されることができる。コンピュータ可読媒体は、特定のニーズに応じて、１つ以上のメモリデバイス又はチップを含むことができる。ソフトウェアは、コア（１６４０）及び、具体的には、その中のプロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡなどを含む）に、ＲＡＭ（１６４６）に格納されているデータ構造を定義することと、ソフトウェアによって定義されたプロセスに従ってそのようなデータ構造を変更することとを含む、本明細書で説明されている特定のプロセス又は特定のプロセスの特定の部分を実行させることができる。追加的に又は代替として、コンピュータシステムは、本明細書で説明されている特定のプロセス又は特定のプロセスの特定の部分を実行するようにソフトウェアの代わりに又はそれとともに動作することができる、回路内でハードワイヤード又はその他の方法で具現されたロジック（例えば、アクセラレータ（１６４４））の結果として、機能を提供することができる。ソフトウェアへの言及は、適切な場合には、ロジックを包含することができ、その逆も同様である。コンピュータ可読媒体への言及は、適切な場合には、実行のためのソフトウェアを格納する回路（例えば、集積回路（ＩＣ））、実行のためのロジックを具現する回路、又は両方を包含することができる。本開示は、ハードウェア及びソフトウェアの任意の適切な組み合わせを包含する。

【0244】

本開示はいくつかの非限定的な例示的な実施形態を説明してきたが、変更、順列、及び様々な代替均等物があり、これらは本開示の範囲内にある。したがって、当業者は、ここに明示的に示されているわけでも記述されているわけでもないが、開示の原理を具体化し、したがってその精神と範囲内にある多数のシステム及び方法を考え出すことができることが認められる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】