特許 7583171 メッシュ展開のための方法、装置及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-05

(45)【発行日】2024-11-13

(54)【発明の名称】メッシュ展開のための方法、装置及びプログラム

(51)【国際特許分類】

   H04N 19/597 20140101AFI20241106BHJP

   H04N 19/59 20140101ALI20241106BHJP

   G06T 9/00 20060101ALI20241106BHJP

【ＦＩ】

H04N19/597

H04N19/59

G06T9/00 100

【請求項の数】 11

(21)【出願番号】P 2023531691

(86)(22)【出願日】2022-09-07

(65)【公表番号】

(43)【公表日】2023-12-14

(86)【国際出願番号】 US2022076014

(87)【国際公開番号】W WO2023039397

(87)【国際公開日】2023-03-16

【審査請求日】2023-05-24

(31)【優先権主張番号】63/241,478

(32)【優先日】2021-09-07

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】17/903,634

(32)【優先日】2022-09-06

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】520353802

【氏名又は名称】テンセント・アメリカ・エルエルシー

(74)【代理人】

【識別番号】100110364

【弁理士】

【氏名又は名称】実広 信哉

(74)【代理人】

【識別番号】100150197

【弁理士】

【氏名又は名称】松尾 直樹

(72)【発明者】

【氏名】シャオジョン・シュ

(72)【発明者】

【氏名】シャン・ジャン

(72)【発明者】

【氏名】シャン・リュウ

(72)【発明者】

【氏名】チャオ・フアン

(72)【発明者】

【氏名】ジュン・ティアン

【審査官】岩井 健二

(56)【参考文献】

【文献】特表２０２１－５０２０３３（ＪＰ，Ａ）

【文献】米国特許出願公開第２０２０／０３１４４３５（ＵＳ，Ａ１）

【文献】国際公開第２０２１／１１６８３８（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ １９／００ － １９／９８

Ｇ０６Ｔ ９／００ ー ９／４０

(57)【特許請求の範囲】

【請求項1】

複数の３次元（３Ｄ）メッシュフレームを搬送するビットストリームから２次元の複数の初期マップを復号するステップと、
前記複数の初期マップの異なる部分に関連付けられた少なくとも２つのサンプリングレートを決定するステップと、
複数の復元されたマップを取得するために、前記複数の初期マップの前記異なる部分に関連付けられた前記少なくとも２つのサンプリングレートに基づいて、前記複数の初期マップから復元するステップであって、前記複数の初期マップの第１の部分は、前記第１の部分に関連付けられた前記少なくとも２つのサンプリングレートのうちの第１のサンプリングレートに基づいて復元され、前記複数の初期マップの第２の部分は、前記第２の部分に関連付けられた前記少なくとも２つのサンプリングレートのうちの第２のサンプリングレートに基づいて復元される、ステップと、
前記複数の復元されたマップに基づいて、前記３Ｄメッシュフレームを再構築するステップと、
を含み、さらに
第１の３Ｄメッシュフレームの第１のパッチに関連付けられた前記第１のサンプリングレートに基づいて、前記第１の３Ｄメッシュフレームに関連付けられた第１のマップを復元するステップと、
前記第１のサンプリングレートに従って第２の３Ｄメッシュフレーム内の第２のパッチに関連付けられた対応するサンプリングレートを決定するステップであって、前記第２の３Ｄメッシュフレーム内の前記第２のパッチが、前記第１の３Ｄメッシュフレームの前記第１のパッチに対応するパッチである、ステップと、を含む、コンピュータによって実行される、メッシュ展開のための方法。

【請求項2】

前記少なくとも２つのサンプリングレートを決定する前記ステップは、
第１のマップタイプの第１の初期マップに関連付けられた、前記第１のサンプリングレートを決定するステップと、
第２のマップタイプの第２の初期マップに関連付けられた、前記第２のサンプリングレートを決定するステップと、
をさらに含む、請求項１に記載の方法。

【請求項3】

前記少なくとも２つのサンプリングレートを決定する前記ステップは、
第１の初期マップ内の第１のサブ領域に関連付けられた、前記第１のサンプリングレートを決定するステップと、
前記第１の初期マップ内の第２のサブ領域に関連付けられた、前記第２のサンプリングレートを決定するステップと、
をさらに含む、請求項１に記載の方法。

【請求項4】

前記第１のサブ領域は、
複数の画素行、
複数の画素列、
サンプリングされたコーディング・ツリー・ユニット（ＣＴＵ）ライン、
サンプリングされたスライス、
サンプリングされたタイル
サンプリングされたタイル群、および／または、
サンプリングされたＣＴＵ、
のうちの少なくとも１つを含む、請求項３に記載の方法。

【請求項5】

前記少なくとも２つのサンプリングレートを決定する前記ステップは、
第１の初期マップ内の第１のパッチと関連付けられた、前記第１のサンプリングレートを決定するステップと、
前記第１の初期マップ内の第２のパッチと関連付けられた、前記第２のサンプリングレートを決定するステップと、
をさらに含む、請求項１に記載の方法。

【請求項6】

前記少なくとも２つのサンプリングレートを決定する、前記ステップは、
前記複数の初期マップの前記第１の部分に関連付けられた第１のフラグを、前記ビットストリームから復号するステップであって、前記第１のフラグは、前記第１の部分に関連付けられた前記第１のサンプリングレートが、デフォルト・サンプリング・レートと異なるかどうかを示す、ステップ
をさらに含む、請求項１に記載の方法。

【請求項7】

前記第１のフラグは、前記第１のサンプリングレートが前記デフォルト・サンプリング・レートと異なることを示し、前記方法は、
前記ビットストリームから前記第１のサンプリングレートを復号するステップ、および／または、
前記第１のサンプリングレートと前記ビットストリームからの前記デフォルト・サンプリング・レートとの差分を復号するステップ、
のうちの少なくとも１つをさらに含む、請求項６に記載の方法。

【請求項8】

前記少なくとも２つのサンプリングレートを決定する前記ステップは、
前記複数の初期マップの部分と関連付けられたサンプリングレートとして、所定のサンプリングレートのセットからの選択を示すインデックスを、前記ビットストリームから復号するステップ
をさらに含む、請求項１に記載の方法。

【請求項9】

前記第１の３Ｄメッシュフレームは、ピクチャグループ（ＧＯＰ）のキーフレームであり、前記対応するサンプリングレートが、前記第１のサンプリングレートに等しい、請求項１に記載の方法。

【請求項10】

請求項１から９のいずれか一項に記載の方法を実行するように構成される処理回路を備える、装置。

【請求項11】

コンピュータによって実行されると、コンピュータに請求項１から９のいずれか一項に記載の方法を実行させる命令を備えた、プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は、２０２１年９月７日に出願された米国仮出願第６３／２４１，４７８号「３Ｄメッシュ圧縮における２Ｄアトラス適応サンプリング」に対する優先権の利益を主張する、２０２２年９月６日に出願された米国特許出願第１７／９０３，６３４号「３Ｄメッシュ圧縮における２Ｄアトラス適応サンプリング」に対する優先権の利益を主張する。先行出願の開示は、それらの全体が参照により本明細書に組み込まれる。

【0002】

本開示は、一般に、メッシュ符号化に関する実施形態を説明する。

【背景技術】

【0003】

本明細書において提供される背景技術の説明は、本開示の文脈を大まかに提示することを目的としている。ここに記名された発明者の仕事は、その仕事がこの背景技術セクションに記載されている程度まで、ならびにさもなければ出願時に従来技術として適格ではない可能性がある説明の態様は、本開示に対する従来技術として、明示的にも黙示的にも認められていない。

【0004】

３次元（３Ｄ）空間における世界のオブジェクト、世界の環境などの世界をキャプチャし表現するための様々な技術が開発されている。世界の３Ｄ表現により、より没入型のインタラクション、およびより没入型のコミュニケーションが可能になる可能性がある。いくつかの例では、点群およびメッシュを世界の３Ｄ表現として使用することができる。

【発明の概要】

【課題を解決するための手段】

【0005】

本開示の態様は、メッシュ符号化（例えば、圧縮および展開）のための方法および装置を提供する。いくつかの例では、メッシュ符号化のための装置は処理回路を含む。処理回路は、３次元（３Ｄ）メッシュフレームを搬送するビットストリームから２次元の複数の初期マップを復号する。処理回路は、複数の初期マップの異なる部分に関連付けられた少なくとも２つのサンプリングレートを決定し、複数の初期マップから、複数の初期マップの異なる部分に関連付けられた少なくとも２つのサンプリングレートに基づいて復元して、複数の復元されたマップを取得する。複数の初期マップの第１の部分は、第１の部分に関連付けられた少なくとも２つのサンプリングレートの第１のサンプリングレートに基づいて復元され、複数の初期マップの第２の部分は、第２の部分に関連付けられた少なくとも２つのサンプリングレートの第２のサンプリングレートに基づいて復元される。処理回路は、複数の復元されたマップに基づいて、３Ｄメッシュフレームを再構築する。

【0006】

いくつかの例では、処理回路は、第１のマップタイプの第１の初期マップに関連付けられた第１のサンプリングレートを決定し、第２のマップタイプの第２の初期マップに関連付けられた第２のサンプリングレートを決定する。

【0007】

いくつかの例では、処理回路は、第１の初期マップ内の第１のサブ領域に関連付けられた第１のサンプリングレートを決定し、第１の初期マップ内の第２のサブ領域に関連付けられた第２のサンプリングレートを決定する。第１のサブ領域または第２のサブ領域は、複数の画素行、複数の画素列、サンプリングされたコーディング・ツリー・ユニット（ＣＴＵ）ライン、サンプリングされたスライス、サンプリングされたタイル、サンプリングされたタイル群、および／またはサンプリングされたＣＴＵ、のうちの少なくとも１つを含むことができる。

【0008】

いくつかの例では、処理回路は、第１の初期マップ内の第１のパッチに関連付けられた第１のサンプリングレートを決定し、第１の初期マップ内の第２のパッチに関連付けられた第２のサンプリングレートを決定する。

【0009】

いくつかの例では、処理回路は、複数の初期マップの第１の部分に関連付けられた第１のフラグを、ビットストリームから復号する。第１のフラグは、第１の部分に関連付けられた第１のサンプリングレートがデフォルト・サンプリング・レートと異なるかどうかを示す。第１のフラグが、第１のサンプリングレートがデフォルト・サンプリング・レートと異なることを示すとき、一例では、処理回路は、ビットストリームから第１のサンプリングレートを復号する。別の例では、処理回路は、第１のサンプリングレートとビットストリームからのデフォルト・サンプリング・レートとの間の差を、復号する。

【0010】

いくつかの例では、処理回路は、複数の初期マップの部分に関連付けられたサンプリングレートとして、所定のサンプリングレートのセットからの選択を示すインデックスを、ビットストリームから復号する。

【0011】

いくつかの例では、ビットストリームは、複数の３Ｄメッシュフレームを搬送する。処理回路は、第１の３Ｄメッシュフレームの第１のパッチに関連付けられた第１のサンプリングレートに基づいて、第１の３Ｄメッシュフレームに関連付けられた第１のマップを復元し、第１のサンプリングレートに従って、第２の３Ｄメッシュフレーム内の第２のパッチに関連付けられた対応するサンプリングレートを決定する。第２の３Ｄメッシュフレーム内の第２のパッチは、第１の３Ｄメッシュフレームの第１のパッチに対応するパッチである。一例では、第１の３Ｄメッシュフレームは、ピクチャグループ（ＧＯＰ）のキーフレームであり、対応するサンプリングレートは第１のサンプリングレートに等しい。

【0012】

本開示の態様はまた、コンピュータによって実行されると、メッシュ符号化のための方法のいずれか１つまたは組み合わせをコンピュータに実行させる命令を格納する非一時的コンピュータ可読媒体を提供する。

【0013】

開示される主題のさらなる特徴、性質、および様々な利点は、以下の詳細な説明および添付の図面からより明らかになるであろう。

【図面の簡単な説明】

【0014】

【図1】いくつかの例における通信システムのブロック図を示す。

【図2】いくつかの例におけるストリーミングシステムのブロック図を示す。

【図3】いくつかの例における点群フレームを符号化するためのエンコーダのブロック図を示す。

【図4】いくつかの例における点群フレームに対応する圧縮ビットストリームを復号するためのデコーダのブロック図を示す。

【図5】いくつかの例におけるビデオデコーダのブロック図を示す。

【図6】いくつかの例におけるビデオエンコーダのブロック図を示す。

【図7】いくつかの例における点群フレームを符号化するためのエンコーダのブロック図を示す。

【図8】いくつかの例における点群フレームを搬送する圧縮ビットストリームを復号するためのデコーダのブロック図を示す。

【図9】いくつかの例におけるアトラスへのメッシュのマッピングを示す図を示す。

【図10】いくつかの例におけるダウンサンプリングを示す図を示す。

【図11】本開示のいくつかの実施形態による、メッシュ圧縮のためのフレームワークの図を示す。

【図12】いくつかの例における適応サンプリングの図を示す。

【図13】いくつかの例における適応サンプリングの図を示す。

【図14】いくつかの例における処理例の概要を示すフローチャートを示す。

【図15】いくつかの例における処理例の概要を示すフローチャートを示す。

【図16】いくつかの例におけるコンピュータシステムの概略図である。

【発明を実施するための形態】

【0015】

本開示の態様は、３次元（３Ｄ）メディア処理の分野における技術を提供する。

【0016】

３次元（３Ｄ）キャプチャ、３Ｄモデリング、および３Ｄレンダリングなどの進歩などの３Ｄメディア処理における技術開発は、いくつかのプラットフォームおよびデバイスにわたって３Ｄメディアコンテンツの普遍的な存在を促進している。一例では、赤ん坊の最初の一歩が１つの大陸でキャプチャされ、メディア技術は、祖父母が別の大陸で赤ん坊との没入体験を、眺め、（そして、おそらく対話し）、そして楽しむ、ことを可能にできる。本開示の一態様によれば、没入体験を改善するために、３Ｄモデルはますます洗練されてきており、３Ｄモデルの作成および消費は、データストレージ、データ送信リソースなどのかなりの量のデータリソースを占有する。

【0017】

本開示のいくつかの態様によれば、点群およびメッシュを３Ｄモデルとして使用して、没入型コンテンツを表現できる。

【0018】

点群は一般に、３Ｄ空間内の点のセットを指してもよく、点の各々が、例えば、色、材料特性、テクスチャ情報、強度属性、反射率属性、動き関連属性、モダリティ属性、および様々な他の属性などの関連付けられた属性を有する。点群は、このような点の構成としてオブジェクトまたはシーンを再構築するために使用され得る。

【0019】

オブジェクトのメッシュ（メッシュモデルとも呼ばれる）は、オブジェクトの表面を記述するポリゴンを含むことができる。各ポリゴンは、３Ｄ空間内のポリゴンの頂点と、頂点がポリゴンにどのように接続されているかの情報と、によって定義することができる。頂点がどのように接続されているかの情報を、接続性情報と呼ぶ。いくつかの例では、メッシュはまた、頂点に関連付けられた色、法線などの属性を含むことができる。

【0020】

本開示のいくつかの態様によれば、点群圧縮（ＰＣＣ）のためのいくつかのコーディングツールが、メッシュ圧縮のために使用され得る。例えば、メッシュを再メッシュ化して、新しいメッシュの接続性情報を推測できる新しいメッシュを生成することができる。新しいメッシュの頂点、および新しいメッシュの頂点に関連付けられた属性は、点群内の点とみなすことができ、ＰＣＣコーデックを使用して圧縮することができる。

【0021】

点群を使用して、点の構成として、オブジェクトまたはシーンを再構築することができる。点は、様々な設定において、複数のカメラ、深度センサ、またはＬｉｄａｒを使用してキャプチャすることができ、再構築されたシーンまたはオブジェクトを現実的に表現するために数千から最大数十億の点で構成することができる。パッチは、一般に、点群によって説明される表面の連続したサブセットを指してもよい。一例では、パッチは、閾値量未満で互いにずれた表面法線ベクトルを有する点を含む。

【0022】

ＰＣＣは、Ｇ－ＰＣＣと呼ばれるジオメトリベースの方式、Ｖ－ＰＣＣと呼ばれるビデオコーディングベースの方式など、様々な方式に応じて実行することができる。本開示のいくつかの態様によれば、Ｇ－ＰＣＣは、３Ｄジオメトリを直接符号化し、ビデオコーディングとあまり共通する要素がなく純粋にジオメトリベースの手法であり、Ｖ－ＰＣＣはビデオコーディングに多大に基づいている。例えば、Ｖ－ＰＣＣは、３Ｄクラウドの点を２Ｄグリッド（画像）の画素にマッピングすることができる。Ｖ－ＰＣＣ方式は、点群圧縮のために汎用ビデオコーデックを利用することができる。本開示におけるＰＣＣコーデック（エンコーダ／デコーダ）は、Ｇ－ＰＣＣコーデック（エンコーダ／デコーダ）またはＶ－ＰＣＣコーデックとすることができる。

【0023】

本開示の一態様によれば、Ｖ－ＰＣＣ方式は、既存のビデオコーデックを使用して、点群のジオメトリ、占有率、およびテクスチャを３つの別個のビデオシーケンスとして圧縮することができる。３つのビデオシーケンスを解釈するために必要な追加のメタデータは、別々に圧縮される。ビットストリーム全体の小部分はメタデータであり、一例ではソフトウェア実装を使用して効率的に符号化／復号することができる。情報の大部分はビデオコーデックによって処理される。

【0024】

図１は、いくつかの例における通信システム（１００）のブロック図を示す。通信システム（１００）は、例えばネットワーク（１５０）を介して互いに通信可能な複数の端末デバイスを含む。例えば、通信システム（１００）は、ネットワーク（１５０）を介して相互接続された端末デバイス（１１０）および（１２０）の対を含む。図１の例では、端末デバイス（１１０）および（１２０）の第１の対は、点群データの単方向送信を実行することができる。例えば、端末デバイス（１１０）は、端末デバイス（１１０）に接続されたセンサ（１０５）によってキャプチャされた点群（例えば、構造を表す点）を圧縮することができる。圧縮された点群は、例えばビットストリームの形態で、ネットワーク（１５０）を介して他の端末デバイス（１２０）に送信され得る。端末デバイス（１２０）は、ネットワーク（１５０）から圧縮された点群を受信し、ビットストリームを展開して点群を再構築し、再構築された点群を適切に表示することができる。一方向データ伝送は、メディア・サービング・アプリケーションなどにおいて一般的であり得る。

【0025】

図１の例では、端末デバイス（１１０）および（１２０）は、サーバ、およびパーソナルコンピュータとして示される場合があるが、本開示の原理はそのように限定されなくてもよい。本開示の実施形態は、ラップトップコンピュータ、タブレットコンピュータ、スマートフォン、ゲーム端末、メディアプレーヤ、および／または専用３次元（３Ｄ）機器による用途であることが分かる。ネットワーク（１５０）は、端末デバイス（１１０）と端末デバイス（１２０）との間で圧縮された点群を送信する任意の数のネットワークを表す。ネットワーク（１５０）は、例えば、有線通信（有線）ネットワークおよび／または無線通信ネットワークを含むことができる。ネットワーク（１５０）は、回線交換および／またはパケット交換チャネルでデータを交換することができる。代表的なネットワークには、電気通信ネットワーク、ローカルエリアネットワーク、ワイドエリアネットワーク、インターネットなどが含まれる。

【0026】

図２は、いくつかの例におけるストリーミングシステム（２００）のブロック図を示す。ストリーミングシステム（２００）は、点群の適用である。開示された主題は、３Ｄテレプレゼンスアプリケーション、仮想現実アプリケーションなどの他の点群対応アプリケーションにも等しく適用可能であり得る。

【0027】

ストリーミングシステム（２００）は、キャプチャサブシステム（２１３）を含むことができる。キャプチャサブシステム（２１３）は、点群源（２０１）、例えば光検出と測距（ＬＩＤＡＲ）システム、３Ｄカメラ、３Ｄスキャナ、例えば非圧縮の点群（２０２）を生成するソフトウェアの非圧縮の点群を生成するグラフィックス生成構成要素などを含むことができる。一例では、点群（２０２）は、３Ｄカメラによってキャプチャされた点を含む。点群（２０２）は、圧縮された点群（２０４）（圧縮された点群のビットストリーム）と比較して高いデータ量を強調するために太線として図示されている。圧縮された点群（２０４）は、点群源（２０１）に接続されたエンコーダ（２０３）を含む電子デバイス（２２０）によって生成され得る。エンコーダ（２０３）は、以下でより詳細に説明するように、開示された主題の態様を可能にするため、または実装するために、ハードウェア、ソフトウェア、またはそれらの組み合わせを含むことができる。点群（２０２）のストリームと比較してより低いデータ量を強調するために細い線として図示されている、圧縮された点群（２０４）（または圧縮された点群（２０４）のビットストリーム）は、将来の使用のためにストリーミングサーバ（２０５）に格納され得る。図２のクライアントサブシステム（２０６）および（２０８）などの１つまたは複数のストリーミングクライアントサブシステムは、ストリーミングサーバ（２０５）にアクセスして、圧縮された点群（２０４）のコピー（２０７）および（２０９）を検索することができる。クライアントサブシステム（２０６）は、例えば電子デバイス（２３０）内のデコーダ（２１０）を含むことができる。デコーダ（２１０）は、圧縮された点群の到来するコピー（２０７）を復号し、レンダリングデバイス（２１２）上にレンダリングされることが可能な再構築された点群（２１１）の発信ストリームを生成する。

【0028】

電子デバイス（２２０）および（２３０）は、他の構成要素（図示せず）を含み得ることに留意されたい。例えば、電子デバイス（２２０）はデコーダ（図示せず）を含むことができ、電子デバイス（２３０）はエンコーダ（図示せず）も含むことができる。

【0029】

いくつかのストリーミングシステムでは、圧縮された点群（２０４）、（２０７）、および（２０９）（例えば、圧縮された点群のビットストリーム）は、特定の規格に従って圧縮することができる。いくつかの例では、点群の圧縮にビデオコーディング規格が使用される。このような規格としては、例えば、ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）（ＨＥＶＣ）や、ＶＶＣ（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）（ＶＶＣ）などがある。

【0030】

図３は、いくつかの実施形態による、点群フレームを符号化するためのＶ－ＰＣＣエンコーダ（３００）のブロック図を示している。いくつかの実施形態では、Ｖ－ＰＣＣエンコーダ（３００）は、通信システム（１００）およびストリーミングシステム（２００）で使用され得る。例えば、エンコーダ（２０３）は、Ｖ－ＰＣＣエンコーダ（３００）と同様に構成され、動作することができる。

【0031】

Ｖ－ＰＣＣエンコーダ（３００）は、非圧縮入力として点群フレームを受け取り、圧縮された点群フレームに対応するビットストリームを生成する。いくつかの実施形態では、Ｖ－ＰＣＣエンコーダ（３００）は、点群源（２０１）などの点群源から点群フレームを受信することができる。

【0032】

図３の例では、Ｖ－ＰＣＣエンコーダ（３００）は、パッチ生成モジュール（３０６）と、パッチパッキングモジュール（３０８）と、ジオメトリ画像生成モジュール（３１０）と、テクスチャ画像生成モジュール（３１２）と、パッチ情報モジュール（３０４）と、占有マップモジュール（３１４）と、平滑化モジュール（３３６）と、画像パディングモジュール（３１６）および（３１８）と、グループ拡張モジュール（３２０）と、ビデオ圧縮モジュール（３２２）、（３２３）および（３３２）と、補助パッチ情報圧縮モジュール（３３８）と、エントロピー圧縮モジュール（３３４）と、マルチプレクサ（３２４）とを含む。

【0033】

本開示の一態様によれば、Ｖ－ＰＣＣエンコーダ（３００）は、圧縮された点群を展開された点群に変換するために使用されるいくつかのメタデータ（例えば、占有マップおよびパッチ情報）とともに、３Ｄ点群フレームを画像ベースの表現に変換する。いくつかの例では、Ｖ－ＰＣＣエンコーダ（３００）は、３Ｄ点群フレームをジオメトリ画像、テクスチャ画像および占有マップに変換し、次いでビデオコーディング技術を使用してジオメトリ画像、テクスチャ画像および占有マップをビットストリームに符号化することができる。一般に、ジオメトリ画像は、画素に投影された点に関連付けられたジオメトリ値で満たされた画素を伴う２Ｄ画像であり、ジオメトリ値で満たされた画素は、ジオメトリサンプルと呼ぶことができる。テクスチャ画像は、画素に投影された点に関連付けられたテクスチャ値で満たされた画素を伴う２Ｄ画像であり、テクスチャ値で満たされた画素は、テクスチャサンプルと呼ぶことができる。占有マップは、パッチによって占有されているか占有されていないかを示す値で満たされた画素を有する２Ｄ画像である。

【0034】

パッチ生成モジュール（３０６）は、各パッチが２Ｄ空間の平面に対する深度場によって記述され得るように、点群を、重なり合っていてもいなくてもよいパッチのセット（例えば、パッチは、点群によって記述される表面の連続したサブセットとして定義される）にセグメント化する。いくつかの実施形態では、パッチ生成モジュール（３０６）は、再構築エラーを最小化しながら、点群を平滑な境界を有する最小数のパッチに分解することを目的とする。

【0035】

いくつかの例では、パッチ情報モジュール（３０４）は、パッチのサイズおよび形状を示すパッチ情報を収集することができる。いくつかの例では、パッチ情報を画像フレームにパッキングし、その後補助パッチ情報圧縮モジュール（３３８）によって符号化して、圧縮された補助パッチ情報を生成することができる。

【0036】

いくつかの例では、パッチパッキングモジュール（３０８）は、抽出されたパッチを２次元（２Ｄ）グリッド上にマッピングする一方で、未使用スペースを最小限に抑え、グリッドのＭ×Ｍ（例えば、１６×１６）個のブロックごとに固有のパッチが関連付けられることを保証するように構成される。効率的なパッチパッキングは、未使用の空間を最小化する、または時間的一貫性を保証することのいずれかによって、圧縮効率に直接影響を与える可能性がある。

【0037】

ジオメトリ画像生成モジュール（３１０）は、所与のパッチ位置における点群のジオメトリに関連付けられた２Ｄジオメトリ画像を生成することができる。テクスチャ画像生成モジュール（３１２）は、所与のパッチ位置における点群のテクスチャと関連付けられた２Ｄテクスチャ画像を生成することができる。ジオメトリ画像生成モジュール（３１０）およびテクスチャ画像生成モジュール（３１２）は、パッキング処理中に計算された、３Ｄから２Ｄへのマッピングを利用して、点群のジオメトリおよびテクスチャを画像として格納する。複数の点が同じサンプルに投影される場合をより良好に処理するために、各パッチは、層と呼ばれる２つの画像に投影される。一例では、ジオメトリ画像は、ＹＵＶ４２０－８ビットフォーマットのＷｘＨの単色フレームによって表される。テクスチャ画像を生成するために、テクスチャ生成手順は、再サンプリングされた点に関連付けられる色を計算するために、再構築されたジオメトリ／平滑化されたジオメトリを利用する。

【0038】

占有マップモジュール（３１４）は、各単位でパディング情報を記述する占有マップを生成することができる。例えば、占有画像は、グリッドの各セルについて、セルが空きスペースに属するか点群に属するかを示すバイナリマップを含む。一例では、占有マップは、画素がパディングされているかどうかを画素ごとに記述するバイナリ情報を使用する。別の例では、占有マップは、画素のブロックがパディングされるかどうかを画素のブロックごとに記述するバイナリ情報を使用する。

【0039】

占有マップモジュール（３１４）によって生成された占有マップは、可逆符号化または非可逆符号化を使用して圧縮することができる。可逆符号化が使用されるとき、エントロピー圧縮モジュール（３３４）は、占有マップを圧縮するために使用される。非可逆符号化が使用される場合、占有マップを圧縮するためにビデオ圧縮モジュール（３３２）が使用される。

【0040】

パッチパッキングモジュール（３０８）は、画像フレーム内にパッキングされた２Ｄパッチ間にいくつかの空き空間を残すことができることに留意されたい。画像パディングモジュール（３１６）および（３１８）は、２Ｄビデオおよび画像コーデックに適し得る画像フレームを生成するために、空きスペースを埋める（パディングと呼ばれる）ことができる。画像パディングは、未使用の空間を冗長な情報で埋めることができる背景充填とも呼ばれる。いくつかの例では、良好な背景充填はビットレートを最小限に増加させるが、パッチ境界の周りに著しい符号化歪みを導入しない。

【0041】

ビデオ圧縮モジュール（３２２）、（３２３）、および（３３２）は、ＨＥＶＣ、ＶＶＣなどの適切なビデオコーディング規格に基づいて、パディングされたジオメトリ画像、パディングされたテクスチャ画像、および占有マップなどの２Ｄ画像を符号化することができる。一例では、ビデオ圧縮モジュール（３２２）、（３２３）、および（３３２）は、別々に動作する個々の構成要素である。別の例では、ビデオ圧縮モジュール（３２２）、（３２３）、および（３３２）を単一の構成要素として実装できることに留意されたい。

【0042】

いくつかの例では、平滑化モジュール（３３６）は、再構築されたジオメトリ画像の平滑化画像を生成するように構成される。平滑化された画像は、テクスチャ画像生成（３１２）に提供され得る。次に、テクスチャ画像生成（３１２）は、再構築されたジオメトリ画像に基づいてテクスチャ画像の生成を調整することができる。例えば、符号化および復号の際にパッチ形状（例えば、ジオメトリ）に多少の歪みがある場合には、テクスチャ画像を生成する際にその歪みを考慮して、パッチ形状の歪みを補正するようにしてもよい。

【0043】

いくつかの実施形態では、グループ拡張（３２０）は、符号化利得ならびに再構築された点群の視覚的品質を改善するために、冗長な低周波数コンテンツでオブジェクト境界の周りに画素をパッドするように構成される。

【0044】

マルチプレクサ（３２４）は、圧縮されたジオメトリ画像、圧縮されたテクスチャ画像、圧縮された占有マップ、および圧縮された補助パッチ情報を、圧縮されたビットストリームに多重化してもよい。

【0045】

図４は、いくつかの例において、点群フレームに対応する圧縮ビットストリームを復号するためのＶ－ＰＣＣデコーダ（４００）のブロック図を示す。いくつかの例では、Ｖ－ＰＣＣデコーダ（４００）は、通信システム（１００）およびストリーミングシステム（２００）で使用することができる。例えば、デコーダ（２１０）は、Ｖ－ＰＣＣデコーダ（４００）と同様に動作するように構成され得る。Ｖ－ＰＣＣデコーダ（４００）は、圧縮されたビットストリームを受信し、圧縮されたビットストリームに基づいて、再構築された点群を生成する。

【0046】

図４の例では、Ｖ－ＰＣＣデコーダ（４００）は、デマルチプレクサ（４３２）と、ビデオ展開モジュール（４３４）および（４３６）と、占有マップ展開モジュール（４３８）と、補助パッチ情報展開モジュール（４４２）と、ジオメトリ再構築モジュール（４４４）と、平滑化モジュール（４４６）と、テクスチャ再構築モジュール（４４８）と、色平滑化モジュール（４５２）とを含む。

【0047】

デマルチプレクサ（４３２）は、圧縮されたビットストリームを受信し、圧縮されたテクスチャ画像、圧縮されたジオメトリ画像、圧縮された占有マップ、および圧縮された補助パッチ情報に分離することができる。

【0048】

ビデオ展開モジュール（４３４）および（４３６）は、適切な規格（例えば、ＨＥＶＣ、ＶＶＣなど）に従って圧縮画像を復号し、展開された画像を出力することができる。例えば、ビデオ展開モジュール（４３４）は、圧縮されたテクスチャ画像を復号し、展開されたテクスチャ画像を出力する。ビデオ展開モジュール（４３６）は、圧縮されたジオメトリ画像を復号し、展開されたジオメトリ画像を出力する。

【0049】

占有マップ展開モジュール（４３８）は、適切な規格（例えば、ＨＥＶＣ、ＶＶＣなど）に従って圧縮された占有マップを復号し、展開された占有マップを出力することができる。

【0050】

補助パッチ情報展開モジュール（４４２）は、適切な規格（例えば、ＨＥＶＣ、ＶＶＣなど）に従って圧縮された補助パッチ情報を復号し、展開された補助パッチ情報を出力することができる。

【0051】

ジオメトリ再構築モジュール（４４４）は、展開されたジオメトリ画像を受け取り、展開された占有マップおよび展開された補助パッチ情報に基づいて再構築された点群ジオメトリを生成することができる。

【0052】

平滑化モジュール（４４６）は、パッチのエッジにおける不一致を平滑化することができる。平滑化手順は、圧縮アーチファクトに起因してパッチ境界で生じる可能性がある潜在的な不連続性を緩和することを目的とする。いくつかの実施形態では、パッチ境界上に位置する画素に平滑化フィルタを適用して、圧縮／展開によって生じ得る歪みを緩和することができる。

【0053】

テクスチャ再構築モジュール（４４８）は、展開されたテクスチャ画像および平滑化ジオメトリに基づいて点群内の点のテクスチャ情報を決定することができる。

【0054】

色平滑化モジュール（４５２）は、色の不一致を平滑化することができる。３Ｄ空間内の隣接していないパッチは、２Ｄビデオ内で互いに隣接してパッキングされることが多い。いくつかの例では、隣接していないパッチからの画素値は、ブロックベースのビデオコーデックによって混合される場合がある。色平滑化の目的は、パッチ境界に現れる可視アーチファクトを低減することである。

【0055】

図５は、いくつかの例におけるビデオデコーダ（５１０）のブロック図を示す。ビデオデコーダ（５１０）は、Ｖ－ＰＣＣデコーダ（４００）で使用され得る。例えば、ビデオ展開モジュール（４３４）および（４３６）、占有マップ展開モジュール（４３８）は、ビデオデコーダ（５１０）と同様に構成することができる。

【0056】

ビデオデコーダ（５１０）は、例えばコード化されたビデオシーケンスのような圧縮画像からシンボル（５２１）を再構築するためのパーサ（５２０）を含み得る。これらのシンボルのカテゴリは、ビデオデコーダ（５１０）の動作を管理するために使用される情報を含む。パーサ（５２０）は、受信した符号化されたビデオシーケンスを解析／エントロピー復号し得る。コード化ビデオシーケンスのコーディングは、ビデオコーディング技術または規格に従うことができ、文脈感度の有無にかかわらず、可変長コーディング、ハフマンコーディング、算術コーディングなどを含む様々な原理に従うことができる。パーサ（５２０）は、グループに対応する少なくとも１つのパラメータに基づいて、コード化ビデオシーケンスから、ビデオデコーダ内の画素のサブグループのうちの少なくとも１つのための一組のサブグループパラメータを抽出することができる。サブグループは、ピクチャグループ（ＧＯＰ）、ピクチャ、タイル、スライス、マクロブロック、コーディングユニット（ＣＵ）、ブロック、変換ユニット（ＴＵ）、予測ユニット（ＰＵ）などを含むことができる。パーサ（５２０）はまた、変換係数、量子化パラメータ値、動きベクトルなどのような符号化ビデオシーケンス情報から抽出することができる。

【0057】

パーサ（５２０）は、シンボル（５２１）を作成するために、バッファメモリから受信したビデオシーケンスに対してエントロピー復号／解析動作を実行することができる。

【0058】

シンボル（５２１）の再構築には、符号化ビデオ画像またはその一部（インター画像およびイントラ画像、インターブロックおよびイントラブロックなど）のタイプ、およびその他の要因に応じて、複数の異なるユニットが含まれ得る。どのユニットがどのように関与するかは、パーサ（５２０）によってコード化ビデオシーケンスから構文解析されたサブグループ制御情報によって制御することができる。パーサ（５２０）と以下の複数のユニットとの間のそのようなサブグループ制御情報の流れは、分かりやすくするために示されていない。

【0059】

すでに述べた機能ブロックのほかに、ビデオデコーダ（５１０）は、概念的には、以下で説明するように、いくつかの機能ユニットに細分化され得る。商業的制約の下で動作する実際の実装形態では、これらのユニットの多くは、互いに密接に相互作用し、少なくとも部分的には互いに統合することができる。しかしながら、開示された主題を説明するために、以下の機能ユニットへの概念的な細分化が適切である。

【0060】

第１のユニットは、スケーラ／逆変換ユニット（５５１）である。スケーラ／逆変換ユニット（５５１）は、量子化変換係数、ならびにどの変換を使用するか、ブロックサイズ、量子化係数、量子化スケーリング行列などを含む制御情報を、パーサ（５２０）から（１つまたは複数の）シンボル（５２１）として受け取る。スケーラ／逆変換ユニット（５５１）は、アグリゲータ（５５５）に入力され得るサンプル値を備えるブロックを出力し得る。

【0061】

場合によっては、スケーラ／逆変換（５５１）の出力サンプルは、イントラ符号化ブロック、つまり、以前に再構築された画像からの予測情報を使用していないが、現在の画像の以前に再構築された部分からの予測情報を使用できるブロックに関係し得る。そのような予測情報は、イントラピクチャ予測ユニット（５５２）によって提供することができる。場合によっては、イントラピクチャ予測ユニット（５５２）は、現在ピクチャバッファ（５５８）からフェッチされた周囲のすでに再構築された情報を使用して、再構築中のブロックと同じサイズおよび形状のブロックを生成する。現在ピクチャバッファ（５５８）は、例えば、部分的に再構築された現在ピクチャおよび／または完全に再構築された現在ピクチャをバッファリングする。アグリゲータ（５５５）は、場合によっては、サンプルごとに、イントラ予測ユニット（５５２）が生成した予測情報をスケーラ／逆変換ユニット（５５１）によって提供された出力サンプル情報に追加する。

【0062】

他の場合では、スケーラ／逆変換ユニット（５５１）の出力サンプルは、インター符号化された、潜在的に動作補償されたブロックに関係する可能性がある。そのような場合、動き補償予測ユニット（５５３）は、参照ピクチャメモリ（５５７）にアクセスして、予測に使用されるサンプルをフェッチすることができる。ブロックに関連するシンボル（５２１）に従ってフェッチされたサンプルを動き補償した後、これらのサンプルは、出力サンプル情報を生成するために、アグリゲータ（５５５）によってスケーラ／逆変換ユニット（５５１）の出力に追加することができる（この場合、残差サンプルまたは残差信号と呼ばれる）。動き補償予測ユニット（５５３）が予測サンプルをフェッチする参照ピクチャメモリ（５５７）内のアドレスは、例えば、Ｘ、Ｙ、および参照ピクチャ成分を有することができるシンボル（５２１）の形式で動き補償予測ユニット（５５３）に利用可能な動きベクトルによって制御することができる。動作補償はまた、サブサンプルの正確な動きベクトルが使用されているときに参照ピクチャメモリ（５５７）からフェッチされたサンプル値の補間、動きベクトル予測メカニズムなどをも含み得る。

【0063】

アグリゲータ（５５５）の出力サンプルは、ループフィルタユニット（５５６）において様々なループフィルタリング技法を受けることができる。ビデオ圧縮技術は、（コード化ビデオビットストリームとも呼ばれる）コード化ビデオシーケンスに含まれるパラメータによって制御され、パーサ（５２０）からのシンボル（５２１）としてループフィルタユニット（５５６）に利用可能にされるインループフィルタ技術を含むことができるが、コード化ピクチャまたはコード化ビデオシーケンスの（復号順序で）前の部分の復号中に取得されたメタ情報に応答するだけでなく、以前に再構築およびループフィルタリングされたサンプル値に応答することもできる。

【0064】

ループフィルタユニット（５５６）の出力は、レンダリングデバイスに出力することができるとともに、将来の画像間予測に使用するために参照ピクチャメモリ（５５７）に格納されることができるサンプルストリームとすることができる。

【0065】

特定の符号化画像は、完全に再構築されると、将来の予測のための参照画像として使用され得る。例えば、現在の画像に対応する符号化画像が完全に再構築され、符号化画像が（例えば、パーサ（５２０）によって）参照画像として識別されると、現在ピクチャバッファ（５５８）は参照ピクチャメモリ（５５７）の一部になり得、次の符号化画像の再構築を開始する前に、新鮮な現在の画像バッファを再割り当てすることができる。

【0066】

ビデオデコーダ（５１０）は、ＩＴＵ－Ｔ Ｒｅｃ．Ｈ．２６５などの規格における所定のビデオ圧縮技術に従って復号動作を実行することができる。コード化ビデオシーケンスがビデオ圧縮技術または規格の構文とビデオ圧縮技術において文書化されたプロファイルの両方を順守するという意味で、コード化ビデオシーケンスは、使用されているビデオ圧縮技術または規格によって指定された構文に準拠することができる。具体的には、プロファイルは、ビデオ圧縮技術または規格で使用可能なすべてのツールから、そのプロファイル下で使用するために利用可能な唯一のツールとしていくつかのツールを選択し得る。また、準拠するために必要なことは、コーディングされたビデオシーケンスの複雑さが、ビデオ圧縮技術または規格のレベルによって定義された範囲内にあることであり得る。場合によっては、レベルは、最大ピクチャサイズ、最大フレームレート、最大再構築サンプルレート（例えば毎秒メガサンプルで測定される）、最大参照ピクチャサイズなどを制限する。レベルによって設定された限界は、場合によっては、仮想参照デコーダ（ＨＲＤ：Ｈｙｐｏｔｈｅｔｉｃａｌ Ｒｅｆｅｒｅｎｃｅ Ｄｅｃｏｄｅｒ）の仕様、およびコーディングされたビデオシーケンスでシグナリングされるＨＲＤバッファ管理のメタデータによってさらに制限され得る。

【0067】

図６は、本開示の一実施形態による、ビデオエンコーダ（６０３）のブロック図を示す。ビデオエンコーダ（６０３）は、点群を圧縮するＶ－ＰＣＣエンコーダ（３００）において使用され得る。一例では、ビデオ圧縮モジュール（３２２）および（３２３）、ならびにビデオ圧縮モジュール（３３２）は、エンコーダ（６０３）と同様に構成される。

【0068】

ビデオエンコーダ（６０３）は、パディングされたジオメトリ画像、パディングされたテクスチャ画像などの画像を受信し、圧縮画像を生成することができる。

【0069】

一実施形態によれば、ビデオエンコーダ（６０３）は、リアルタイムで、またはアプリケーションによって要求される任意の他の時間制約下で、ソースビデオシーケンスの画像を符号化して符号化ビデオシーケンス（圧縮画像）に圧縮することができる。適切な符号化速度を強制することは、コントローラ（６５０）の１つの機能である。いくつかの実施形態では、コントローラ（６５０）は、以下に記載される他の機能ユニットを制御し、他の機能ユニットに機能的に結合されている。分かりやすくするために、結合は描写されていない。コントローラ（６５０）によって設定されるパラメータは、レート制御関連パラメータ（ピクチャスキップ、量子化器、レート歪み最適化技法のラムダ値、…）、ピクチャサイズ、ピクチャグループ（ＧＯＰ）のレイアウト、最大動きベクトル検索範囲などを含むことができる。コントローラ（６５０）は、特定のシステム設計に最適化されたビデオエンコーダ（６０３）に関する他の適切な機能を有するように構成することができる。

【0070】

いくつかの実施形態では、ビデオエンコーダ（６０３）は、符号化ループで動作するように構成される。単純化し過ぎた説明として、一例では、コーディングループは、（例えば、コード化される入力ピクチャ、および参照ピクチャに基づいて、シンボルストリームなどのシンボルを作成することに関与する）ソースコーダ（６３０）、ならびにビデオエンコーダ（６０３）に組み込まれた（ローカル）デコーダ（６３３）を含むことができる。デコーダ（６３３）は、（シンボルとコード化ビデオビットストリームとの間のいかなる圧縮も、開示された主題で考慮されるビデオ圧縮技術において可逆であるため）（リモート）デコーダも作成するのと同様の方式で、シンボルを再構築してサンプルデータを作成する。再構築されたサンプルストリーム（サンプルデータ）は、参照ピクチャメモリ（６３４）に入力される。シンボルストリームの復号は、デコーダの場所（ローカルまたはリモート）に関係なくビット正確な結果につながるので、参照ピクチャメモリ（６３４）内のコンテンツも、ローカルエンコーダとリモートエンコーダとの間でビット正確である。言い換えれば、エンコーダの予測部分は、復号中に予測を使用するときにデコーダが「見る」のと全く同じサンプル値を参照ピクチャサンプルとして「見る」。参照画像同期性（例えばチャネル誤差のために同期性を維持することができない場合、結果として生じるドリフト）のこの基本原理は、いくつかの関連技術においても使用される。

【0071】

「ローカル」デコーダ（６３３）の動作は、図５とともに上記で詳細にすでに記載されている、ビデオデコーダ（５１０）などの「リモート」デコーダの動作と同じであり得る。しかしながら、図５も簡単に参照すると、シンボルが利用可能であり、エントロピーコーダ（６４５）およびパーサ（５２０）による符号化されたビデオシーケンスへのシンボルの符号化／復号は可逆的であり得るため、およびパーサ（５２０）を含む、ビデオデコーダ（５１０）のエントロピー復号部分は、ローカルデコーダ（６３３）に十分実装されていない場合がある。

【0072】

動作中、いくつかの例では、ソースコーダ（６３０）は、「参照画像」として指定されたビデオシーケンスからの１つ以上の以前に符号化された画像を参照して入力画像を予測的に符号化する動き補償された予測符号化を実行することができる。このようにして、コーディングエンジン（６３２）は、入力ピクチャの画素ブロックと、入力ピクチャへの予測参照として選択され得る参照ピクチャの画素ブロックとの間の差をコード化する。

【0073】

ローカルビデオデコーダ（６３３）は、ソースコーダ（６３０）によって作成されたシンボルに基づいて、参照ピクチャとして指定され得るピクチャのコード化ビデオデータを復号することができる。コーディングエンジン（６３２）の動作は、有利なことに、非可逆処理であってもよい。コーディングされたビデオデータが（図６には示されていない）ビデオデコーダで復号され得るとき、再構築されたビデオシーケンスは、通常、いくつかの誤差を伴うソースビデオシーケンスのレプリカであり得る。ローカルビデオデコーダ（６３３）は、参照ピクチャに対してビデオデコーダによって実行され得る復号処理を複製し、再構築された参照ピクチャが参照ピクチャキャッシュ（６３４）に格納されるようにすることができる。このようにして、ビデオエンコーダ（６０３）は、（送信エラーがない）遠端ビデオデコーダによって取得される再構築された参照ピクチャとして共通のコンテンツを有する、再構築された参照ピクチャのコピーをローカルに格納することができる。

【0074】

予測器（６３５）は、コーディングエンジン（６３２）のための予測検索を実行することができる。すなわち、コード化される新しいピクチャの場合、予測器（６３５）は、新しいピクチャのための適切な予測参照として役立つことができる、（候補参照画素ブロックとしての）サンプルデータまたは参照ピクチャ動きベクトル、ブロック形状などの特定のメタデータを求めて、参照ピクチャメモリ（６３４）を検索することができる。予測器（６３５）は、適切な予測参照を見つけるために、画素ブロックごとにサンプルブロックに対して動作することができる。場合によっては、予測器（６３５）によって取得された検索結果によって決定されるように、入力ピクチャは、参照ピクチャメモリ（６３４）に格納された複数の参照ピクチャから引き出された予測参照を有することができる。

【0075】

コントローラ（６５０）は、例えば、ビデオデータを符号化するために使用されるパラメータおよびサブグループパラメータの設定を含む、ソースコーダ（６３０）の符号化動作を管理することができる。

【0076】

すべての前述の機能ユニットの出力は、エントロピーコーダ（６４５）内でエントロピーコーディングを受けることができる。エントロピーコーダ（６４５）は、ハフマンコーディング、可変長コーディング、算術コーディングなどの技術に従ってシンボルを可逆圧縮することにより、様々な機能ユニットによって生成されたシンボルをコード化ビデオシーケンスに変換する。

【0077】

コントローラ（６５０）は、ビデオエンコーダ（６０３）の動作を管理し得る。コーディング中に、コントローラ（６５０）は、各コード化ピクチャに特定のコード化ピクチャタイプを割り当てることができ、それは、それぞれのピクチャに適用され得るコーディング技法に影響を及ぼす場合がある。例えば、ピクチャは多くの場合、以下のピクチャタイプのうちの１つとして割り当てられ得る。

【0078】

イントラピクチャ（Ｉピクチャ）は、シーケンス内の任意の他のピクチャを予測ソースとして使用せずに、コーディングおよび復号され得るピクチャであり得る。いくつかのビデオコーデックは、例えば、独立デコーダリフレッシュ（「ＩＤＲ」）ピクチャを含む、様々なタイプのイントラピクチャを可能にする。当業者であれば、Ｉピクチャのそれらの変形ならびにそれらそれぞれの用途および特徴を認識している。

【0079】

予測ピクチャ（Ｐピクチャ）は、最大で１つの動きベクトルおよび参照インデックスを使用して各ブロックのサンプル値を予測するイントラ予測またはインター予測を使用してコーディングおよび復号され得るピクチャであり得る。

【0080】

双方向予測ピクチャ（Ｂピクチャ）は、最大で２つの動きベクトルおよび参照インデックスを使用して各ブロックのサンプル値を予測するイントラ予測またはインター予測を使用してコーディングおよび復号され得るピクチャであり得る。同様に、複数予測ピクチャは、単一のブロックの再構築のために３つ以上の参照ピクチャおよび関連するメタデータを使用することができる。

【0081】

ソースピクチャは、一般に、複数のサンプルブロック（例えば、各々４×４、８×８、４×８、または１６×１６サンプルのブロック）に空間的に細分され、ブロックごとにコーディングされ得る。ブロックは、ブロックのそれぞれのピクチャに適用されるコーディング割り当てによって決定されるように、他の（すでにコーディングされた）ブロックを参照して予測的にコーディングされ得る。例えば、Ｉピクチャのブロックは、非予測的にコーディングされてもよく、またはそれらは、同じピクチャのすでにコーディングされたブロックを参照して予測的にコーディングされてもよい（空間予測もしくはイントラ予測）。Ｐピクチャの画素ブロックは、１つの以前にコーディングされた参照ピクチャを参照して、空間予測を介して、または時間予測を介して、予測的にコーディングされてもよい。Ｂピクチャのブロックは、１つまたは２つの以前にコーディングされた参照ピクチャを参照して、空間予測によって、または時間予測を介して予測的にコーディングされ得る。

【0082】

ビデオエンコーダ（６０３）は、ＩＴＵ－Ｔ Ｒｅｃ．Ｈ．２６５などの所定のビデオコーディング技術または規格に従ってコーディング動作を実行し得る。その動作において、ビデオエンコーダ（６０３）は、入力ビデオシーケンスにおける時間および空間の冗長性を利用する予測コーディング動作を含む、様々な圧縮動作を実行することができる。したがって、コーディングされたビデオデータは、使用されているビデオコーディング技術または規格によって指定された構文に準拠し得る。

【0083】

ビデオは、時系列における複数のソース画像（画像）の形態であってもよい。イントラピクチャ予測（しばしばイントラ予測と略される）は、所与のピクチャにおける空間的相関を利用し、インターピクチャ予測は、ピクチャ間の（時間的または他の）相関を利用する。一例では、現在ピクチャと呼ばれる、符号化／復号中の特定のピクチャがブロックに分割される。現在ピクチャ内のブロックが、以前にコード化され、ビデオ内にまだバッファリングされている参照ピクチャ内の参照ブロックに類似しているとき、現在ピクチャ内のブロックは、動きベクトルと呼ばれるベクトルによってコード化することができる。動きベクトルは、参照画像内の参照ブロックを指し、複数の参照画像が使用されている場合、参照画像を識別する第３の次元を有することができる。

【0084】

いくつかの実施形態では、画像間予測に双予測技術を使用することができる。双予測技法によれば、両方ともビデオ内の現在ピクチャよりも復号順序で前にある（が、それぞれ、表示順序で過去および将来であり得る）第１の参照ピクチャおよび第２の参照ピクチャなどの２つの参照ピクチャが使用される。現在ピクチャ内のブロックは、第１の参照ピクチャ内の第１の参照ブロックを指す第１の動きベクトル、および第２の参照ピクチャ内の第２の参照ブロックを指す第２の動きベクトルによってコード化することができる。ブロックは、第１の参照ブロックと第２の参照ブロックとの組み合わせによって予測することができる。

【0085】

さらに、符号化効率を改善するために、画像間予測にマージモード技術を使用することができる。

【0086】

本開示のいくつかの実施形態によれば、画像間予測および画像内予測などの予測は、ブロック単位で実行される。例えば、ＨＥＶＣ規格によれば、ビデオピクチャのシーケンス内のピクチャは、圧縮のためにコーディング・ツリー・ユニット（ＣＴＵ）に分割され、ピクチャ内のＣＴＵは、６４×６４画素、３２×３２画素、または１６×１６画素などの同じサイズを有する。一般に、ＣＴＵは３つのコーディング・ツリー・ブロック（ＣＴＢ）を含み、それらは１つの輝度ＣＴＢおよび２つの彩度ＣＴＢである。各ＣＴＵは、１つまたは複数のコーディングユニット（ＣＵ）に再帰的に四分木分割することができる。例えば、６４×６４画素のＣＴＵは、１つの６４×６４画素のＣＵ、または４つの３２×３２画素のＣＵ、または１６個の１６×１６画素のＣＵに分割することができる。一例では、インター予測タイプまたはイントラ予測タイプなどのＣＵの予測タイプを決定するために、各ＣＵが分析される。ＣＵは、時間および／または空間の予測可能性に応じて、１つまたは複数の予測ユニット（ＰＵ）に分割される。一般に、各ＰＵは、１つの輝度予測ブロック（ＰＢ）および２つのクロマＰＢを含む。一実施形態では、コーディング（符号化／復号）における予測動作は、予測ブロックの単位で実行される。予測ブロックの例として輝度予測ブロックを使用すると、予測ブロックは、８×８画素、１６×１６画素、８×１６画素、１６×８画素などの画素の値の行列（例えば、輝度値）を含む。

【0087】

図７は、いくつかの例におけるＧ－ＰＣＣエンコーダ（７００）のブロック図を示す。Ｇ－ＰＣＣエンコーダ（７００）は、点群データを受信し、点群データを圧縮して、圧縮された点群データを搬送するビットストリームを生成するように構成することができる。一実施形態では、Ｇ－ＰＣＣエンコーダ（７００）は、位置量子化モジュール（７１０）、重複点除去モジュール（７１２）、八分木符号化モジュール（７３０）、属性転送モジュール（７２０）、詳細レベル（ＬＯＤ）生成モジュール（７４０）、属性予測モジュール（７５０）、残差量子化モジュール（７６０）、算術符号化モジュール（７７０）、逆残差量子化モジュール（７８０）、加算モジュール（７８１）、および再構築された属性値を格納するためのメモリ（７９０）を含むことができる。

【0088】

図示のように、入力点群（７０１）は、Ｇ－ＰＣＣエンコーダ（７００）で、受信され得る。点群（７０１）の位置（例えば、３Ｄ座標）が量子化モジュール（７１０）に提供される。量子化モジュール（７１０）は、座標を量子化して量子化された位置を生成するように構成される。重複点除去モジュール（７１２）は、量子化された位置を受信し、フィルタ処理を実行して重複点を識別および除去するように構成される。八分木符号化モジュール（７３０）は、重複点除去モジュール（７１２）からフィルタリングされた位置を受信し、八分木ベースの符号化処理を実行して、ボクセルの３Ｄグリッドを記述する占有コードのシーケンスを生成するように構成される。占有コードは算術符号化モジュール（７７０）に提供される。

【0089】

属性転送モジュール（７２０）は、入力点群の属性を受信し、複数の属性値がそれぞれのボクセルに関連付けられているときに、各ボクセルの属性値を決定するための属性転送処理を実行するように構成される。属性転送処理は、八分木符号化モジュール（７３０）から出力された並べ替えられた点に対して実行することができる。転送動作後の属性は、属性予測モジュール（７５０）に提供される。ＬＯＤ生成モジュール（７４０）は、八分木符号化モジュール（７３０）から出力された並べ替えられた点に対して動作し、点を異なるＬＯＤに再編成するように構成される。ＬＯＤ情報は属性予測モジュール（７５０）に供給される。

【0090】

属性予測モジュール（７５０）は、ＬＯＤ生成モジュール（７４０）からのＬＯＤ情報によって示されるＬＯＤベースの順序により点を処理する。属性予測モジュール（７５０）は、メモリ（７９０）に記憶された現在点の隣接点のセットの再構築された属性に基づいて、現在点の属性予測を生成する。続いて、属性転送モジュール（７２０）から受信した元の属性値およびローカルに生成された属性予測に基づいて、予測残差が取得され得る。候補インデックスがそれぞれの属性予測処理で使用されるとき、選択された予測候補に対応するインデックスが算術符号化モジュール（７７０）に提供され得る。

【0091】

残差量子化モジュール（７６０）は、属性予測モジュール（７５０）から予測残差を受信し、量子化を実行して量子化された残差を生成するように構成される。量子化された残差は算術符号化モジュール（７７０）に提供される。

【0092】

逆残差量子化モジュール（７８０）は、残差量子化モジュール（７６０）から量子化された残差を受信し、残差量子化モジュール（７６０）で実行された量子化演算の逆を実行することによって再構築された予測残差を生成するように構成される。加算モジュール（７８１）は、逆残差量子化モジュール（７８０）からの再構築された予測残差、および属性予測モジュール（７５０）からのそれぞれの属性予測を受信するように構成される。再構築された予測残差と属性予測とを組み合わせることによって、再構築された属性値が生成され、メモリ（７９０）に記憶される。

【0093】

算術符号化モジュール（７７０）は、占有コード、候補インデックス（使用される場合）、量子化された残差（生成される場合）、および他の情報を受信し、受信した値または情報をさらに圧縮するためにエントロピー符号化を実行するように構成される。これにより、圧縮された情報を搬送する圧縮されたビットストリーム（７０２）が生成され得る。ビットストリーム（７０２）は、圧縮されたビットストリームを復号するデコーダに送信されるか、あるいは提供されてもよく、またはストレージデバイスに記憶されてもよい。

【0094】

図８は、一実施形態によるＧ－ＰＣＣデコーダ（８００）のブロック図を示す。Ｇ－ＰＣＣデコーダ（８００）は、圧縮されたビットストリームを受信し、点群データ展開を実行してビットストリームを展開し、デコードされた点群データを生成するように構成され得る。一実施形態では、Ｇ－ＰＣＣデコーダ（８００）は、算術復号モジュール（８１０）、逆残差量子化モジュール（８２０）、八分木復号モジュール（８３０）、ＬＯＤ生成モジュール（８４０）、属性予測モジュール（８５０）、および再構築された属性値を格納するためのメモリ（８６０）を含むことができる。

【0095】

図示されるように、圧縮されたビットストリーム（８０１）は、算術復号モジュール（８１０）で受信され得る。算術復号モジュール（８１０）は、圧縮されたビットストリーム（８０１）を復号して、量子化された残差（生成された場合）および点群の占有コードを取得するように構成される。八分木復号モジュール（８３０）は、占有コードにより点群の点の再構築された位置を決定するように構成される。ＬＯＤ生成モジュール（８４０）は、再構築された位置に基づいて点を異なるＬＯＤに再編成し、ＬＯＤベースの順序を決定するように構成される。逆残差量子化モジュール（８２０）は、算術復号モジュール（８１０）から受信した量子化された残差に基づいて再構築された残差を生成するように構成される。

【0096】

属性予測モジュール（８５０）は、ＬＯＤベースの順序により点の属性予測を決定するための属性予測処理を実行するように構成される。例えば、現在点の属性予測は、メモリ（８６０）に記憶された現在点の隣接点の再構築された属性値に基づいて決定され得る。いくつかの例では、属性予測をそれぞれの再構築された残差と組み合わせて、現在点の再構築された属性を生成することができる。

【0097】

属性予測モジュール（８５０）から生成された再構築された属性のシーケンスは、八分木復号モジュール（８３０）から生成された再構築された位置とともに、一例では、Ｇ－ＰＣＣデコーダ（８００）から出力される復号された点群（８０２）に対応する。加えて、再構築された属性もメモリ（８６０）に記憶され、その後の点の属性予測を導出するためにその後使用され得る。

【0098】

様々な実施形態において、エンコーダ（３００）、デコーダ（４００）、エンコーダ（７００）、および／またはデコーダ（８００）は、ハードウェア、ソフトウェア、またはそれらの組み合わせで実装することができる。例えば、エンコーダ（３００）、デコーダ（４００）、エンコーダ（７００）、および／またはデコーダ（８００）は、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）などの、ソフトウェアを用いても、用いなくても動作する１つ以上の集積回路（ＩＣ）などの処理回路を用いて実装され得る。別の例では、エンコーダ（３００）、デコーダ（４００）、エンコーダ（７００）、および／またはデコーダ（８００）は、不揮発性（または非一時的）コンピュータ可読ストレージ媒体に記憶された命令を含むソフトウェアまたはファームウェアとして実装され得る。命令は、１つまたは複数のプロセッサなどの処理回路によって実行されると、処理回路に、エンコーダ（３００）、デコーダ（４００）、エンコーダ（７００）、および／またはデコーダ（８００）の機能を実行させる。

【0099】

本明細書で開示された属性予測技術を実装するように構成された属性予測モジュール（７５０）および（８５０）は、図７および図８に示されたものと同様または異なる構造を有し得る他のデコーダまたはエンコーダに含まれ得ることに留意されたい。加えて、エンコーダ（７００）およびデコーダ（８００）は、同じデバイス、または様々な例では別個のデバイスに含まれ得る。

【0100】

本開示のいくつかの態様によれば、メッシュ圧縮は、ＰＣＣコーディングツールとは異なるコーディングツールを使用することができ、または上記ＰＣＣ（例えば、Ｇ－ＰＣＣ、Ｖ－ＰＣＣ）エンコーダ、上記ＰＣＣ（例えば、Ｇ－ＰＣＣ、Ｖ－ＰＣＣ）デコーダなどのＰＣＣコーディングツールを使用することができる。

【0101】

オブジェクトのメッシュ（メッシュモデル、メッシュフレームとも呼ばれる）は、オブジェクトの表面を記述するポリゴンを含むことができる。各ポリゴンは、３Ｄ空間内のポリゴンの頂点と、頂点がポリゴンにどのように接続されているかの情報と、によって定義することができる。頂点がどのように接続されているかの情報を、接続性情報と呼ぶ。いくつかの例では、メッシュはまた、頂点に関連付けられた色、法線などの属性を含むことができる。属性は、メッシュを２Ｄ属性マップでパラメータ化するマッピング情報を利用することによって、メッシュの表面に関連付けることができる。マッピング情報は、通常、メッシュ頂点に関連付けられたＵＶ座標またはテクスチャ座標と呼ばれる、パラメトリック座標のセットによって記述される。２Ｄ属性マップ（いくつかの例ではテクスチャマップと呼ばれる）は、テクスチャ、法線、変位などの高解像度属性情報を格納するために使用される。そのような情報は、テクスチャマッピングおよびシェーディングなどの様々な目的に使用することができる。

【0102】

いくつかの実施形態では、メッシュは、ジオメトリ情報、接続性情報、マッピング情報、頂点属性、および属性マップと呼ばれる構成要素を含むことができる。いくつかの例では、ジオメトリ情報は、メッシュの頂点に関連付けられた３Ｄ位置のセットによって記述される。一例では、（ｘ，ｙ，ｚ）座標を使用して頂点の３Ｄ位置を記述することができる。いくつかの例では、接続性情報は、３Ｄ表面を作成するために頂点をどのように接続するかを記述する頂点インデックスのセットを含む。いくつかの例では、マッピング情報は、メッシュ表面を平面の２Ｄ領域にマッピングする方法を記述する。一例では、マッピング情報は、接続性情報とともにメッシュ頂点に関連付けられたＵＶパラメトリック／テクスチャ座標（ｕ，ｖ）のセットによって記述される。いくつかの例では、頂点属性は、メッシュ頂点に関連付けられたスカラーまたはベクトル属性値を含む。いくつかの例では、属性マップは、メッシュ表面に関連付けられ、２Ｄ画像／ビデオとして格納される属性を含む。一例では、映像（例えば、２Ｄ画像／ビデオ）とメッシュ表面との間のマッピングは、マッピング情報によって定義される。

【0103】

本開示の一態様によれば、ＵＶマッピングまたはメッシュパラメータ化と呼ばれるいくつかの技術が、３Ｄドメイン内のメッシュの表面を２Ｄドメインにマッピングするために使用される。いくつかの例では、メッシュは３Ｄドメインでパッチに分割される。パッチは、メッシュの連続したサブセットである。次いで、いくつかの例では、パッチはそれぞれ２Ｄ形状（ＵＶパッチとも呼ばれる）にパラメータ化される。２Ｄ形状は、いくつかの例ではアトラスとも呼ばれるマップに（例えば、配向され、配置される）パックすることができる。いくつかの例では、マップは、２Ｄ画像またはビデオ処理技術を使用してさらに処理することができる。

【0104】

一例では、ＵＶマッピング技術は、３Ｄメッシュのパッチに対応する２ＤのＵＶアトラス（ＵＶマップとも呼ばれる）および１つまたは複数のテクスチャアトラス（テクスチャマップとも呼ばれる）を生成する。ＵＶアトラスは、２Ｄドメイン（例えば、長方形）内の２Ｄ点への３Ｄメッシュの３Ｄ頂点の割り当てを含む。ＵＶアトラスは、３Ｄ表面の座標と２Ｄドメインの座標との間のマッピングである。一例では、２Ｄ座標（ｕ，ｖ）におけるＵＶアトラス内の点は、３Ｄドメイン内の頂点の座標（ｘ、ｙ、ｚ）によって形成される値を有する。一例では、テクスチャアトラスは３Ｄメッシュの色情報を含む。例えば、２Ｄ座標（ｕ，ｖ）（ＵＶアトラス内の（ｘ，ｙ，ｚ）の３Ｄ値を有する）のテクスチャアトラス内の点は、３Ｄドメインの（ｘ、ｙ、ｚ）の点の色属性を指定する色を有する。

【0105】

本開示の一態様によれば、動的メッシュは、構成要素（ジオメトリ情報、接続性情報、マッピング情報、頂点属性、属性マップ）の少なくとも１つが時間とともに変化するメッシュである。動的メッシュは、のメッシュのシーケンス（メッシュフレームとも呼ばれる）によって記述することができる。動的メッシュは、経時的に変化するかなりの量の情報を含む可能性があるため、動的メッシュは大量のデータを必要とする場合がある。メッシュの圧縮技術は、メッシュ表現における媒体コンテンツの効率的な記憶および送信を可能にすることができる。

【0106】

いくつかの例では、動的メッシュは、一定の接続性情報、時変ジオメトリ、および時変頂点属性を有することができる。いくつかの例では、動的メッシュは時変接続性情報を有することができる。一例では、デジタルコンテンツ作成ツールは、通常、時変属性マップおよび時変接続性情報を有する動的メッシュを生成する。いくつかの例では、体積測定の取得技術が使用され、動的メッシュを生成する。体積取得技術は、特にリアルタイム制約下で、時変接続性情報を有する動的メッシュを生成することができる。

【0107】

本開示のいくつかの態様によれば、１つまたは複数の２Ｄマップ（いくつかの例では２Ｄアトラスとも呼ばれる）を使用してメッシュを表現し、次いで、画像またはビデオコーデックを使用して２Ｄマップを符号化することによって、メッシュ圧縮を実行することができる。

【0108】

図９は、いくつかの例における３Ｄメッシュ（９１０）の２Ｄアトラス（９２０）へのマッピングを示す図を示す。図９の例では、３Ｄメッシュ（９１０）は、４つのパッチＡ～Ｄを形成する４つの頂点１～４を含む。各パッチは、頂点のセットと、関連付けられた属性情報とを有する。例えば、パッチＡは、三角形に接続された頂点１、２および３によって形成される。パッチＢは、三角形に接続された頂点１、３および４によって形成される。パッチＣは、三角形に接続された頂点１、２および４によって形成される。パッチＤは、三角形に接続された頂点２、３および４によって形成される。いくつかの例では、頂点１、２、３および４はそれぞれの属性を有することができ、頂点１、２、３および４によって形成される三角形はそれぞれの属性を有することができる。

【0109】

一例では、３ＤのパッチＡ、Ｂ、Ｃ、およびＤは、マップ（９２０）とも呼ばれる２Ｄアトラス（９２０）などの２Ｄドメインにマッピングされる。例えば、パッチＡはマップ（９２０）内の２Ｄ形状（ＵＶパッチとも呼ばれる）Ａ’にマッピングされ、パッチＢはマップ（９２０）内の２Ｄ形状（ＵＶパッチとも呼ばれる）Ｂ’にマッピングされ、パッチＣはマップ（９２０）内の２Ｄ形状（ＵＶパッチとも呼ばれる）Ｃ’にマッピングされ、パッチＤはマップ（９２０）内の２Ｄ形状（ＵＶパッチとも呼ばれる）Ｄ’にマッピングされる。いくつかの例では、３Ｄドメイン内の座標は（ｘ、ｙ、ｚ）座標と呼ばれ、マップ（９２０）などの２Ｄドメイン内の座標はＵＶ座標と呼ばれる。３Ｄメッシュ内の頂点は、マップ（９２０）内に対応するＵＶ座標を有することができる。

【0110】

マップ（９２０）は、ジオメトリ情報を有するジオメトリマップとすることもでき、色、テキスタイル、または他の属性情報を有するテクスチャマップとすることもでき、占有情報を有する占有マップとすることもできる。

【0111】

一例では、頂点のジオメトリ情報を２Ｄのジオメトリマップに格納することができる。例えば、ジオメトリマップは、対応する画素におけるサンプリング点の（ｘ、ｙ、ｚ）座標を格納する。（ｕ，ｖ）位置のジオメトリマップ内の画素は、３Ｄメッシュ内の対応するサンプリング点のｘ、ｙ、およびｚ値に、それぞれ対応する３成分のベクトル値を有する。

【0112】

本開示の一態様によれば、マップ内の領域は、完全に占有されていなくてもよい。例えば、図９では、２Ｄ形状Ａ’、Ｂ’、Ｃ’、およびＤ’の外側の領域は未定義である。復号後の２Ｄ形状Ａ’、Ｂ’、Ｃ’およびＤ’の外側にある領域のサンプル値は、破棄することができる。場合によっては、占有マップは、画素がパッチに属するか、または未定義であるかを識別するためにバイナリ値を格納するなど、画素ごとに何らかの追加情報を格納するために使用される。

【0113】

本開示のいくつかの態様によれば、３Ｄメッシュ情報を効率的に圧縮するために、ジオメトリマップ、テクスチャマップ、占有マップなどの２Ｄマップは、符号化される前にダウンサンプリングされ得る。

【0114】

図１０は、いくつかの例におけるダウンサンプリングを示す図である。図１０では、水平方向、垂直方向ともにマップ（１０２０）が２倍にダウンサンプリングされ、ダウンサンプリングされたマップ（１０３０）が生成されている。ダウンサンプリングされたマップ（１０３０）の幅（例えば、水平方向の画素数）は、マップ（１０２０）の幅（例えば、水平方向の画素数）の１／２であり、ダウンサンプリングされたマップ（１０３０）の高さ（例えば、垂直方向の画素数）は、マップ（１０２０）の高さ（例えば、垂直方向の画素数）の１／２である。

【0115】

図１０では、マップ（１０２０）は、２Ｄ形状（ＵＶパッチとも呼ばれる）Ａ’、Ｂ’、Ｃ’、およびＤ’を含み、ダウンサンプリングされたマップ（１０３０）は、２Ｄ形状Ａ’、Ｂ’、Ｃ’、およびＤ’にそれぞれ対応するサンプリングされた２Ｄ形状Ａ’’、Ｂ’’、Ｃ’’、およびＤ’’を含む。ダウンサンプリングされたマップ（１０３０）は、いくつかの例では、メッシュエンコーダ側の画像またはビデオエンコーダによって符号化される。

【0116】

いくつかの例では、メッシュデコーダ側で、ダウンサンプリングされたマップが復号される。ダウンサンプリングされたマップの復号後、ダウンサンプリングされたマップは、３Ｄメッシュを再構築するために元の解像度（例えば、垂直方向の元の画素数および水平方向の元の画素数）に復元される。

【0117】

一般に、動的メッシュシーケンスは経時的に変化するかなりの量の情報から構成され得るので、動的メッシュシーケンスは大量のデータを必要とする。２Ｄマップに適用されるサンプリングステップ（例えば、ジオメトリマップ、属性マップ）は、メッシュ情報を表すのに必要な帯域幅を低減するのに役立つことができる。しかしながら、サンプリングステップはまた、ダウンサンプリング中に３Ｄメッシュの何らかの重要なジオメトリ形状などの重要な情報を除去する可能性がある。

【0118】

本開示の態様は、あまり重要な情報を失うことなく、２Ｄアトラス（２Ｄのマップとも呼ばれる）を処理するための適応サンプリング技術を提供する。適応サンプリング技術は、静的メッシュ（１つのメッシュフレームまたはメッシュコンテンツは経時的に変化しない）圧縮、および動的メッシュ圧縮に使用することができる。様々な適応サンプリング技術は、個別にまたは任意の形態の組み合わせによって適用することができる。以下の説明では、適応サンプリング方法は、ジオメトリマップもしくは属性（テクスチャ）マップ、またはその両方であり得る、２Ｄアトラス（例えば、２Ｄのマップ）に適用される。

【0119】

図１１は、本開示のいくつかの実施形態によるメッシュ圧縮のためのフレームワーク（１１００）の図を示す。フレームワーク（１１００）は、メッシュエンコーダ（１１１０）およびメッシュデコーダ（１１５０）を含む。メッシュエンコーダ（１１１０）は、入力メッシュ（１１０５）（動的メッシュ処理の場合はメッシュフレーム）をビットストリーム（１１４５）に符号化し、メッシュデコーダ（１１５０）は、ビットストリーム（１１４５）を復号して再構築されたメッシュ（１１９５）（動的メッシュ処理の場合は再構築されたメッシュフレーム）を生成する。

【0120】

メッシュエンコーダ（１１１０）は、コンピュータ、サーバコンピュータ、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、スマートフォン、ゲームデバイス、ＡＲデバイス、ＶＲデバイスなどの任意の適切な装置とすることができる。メッシュデコーダ（１１５０）は、コンピュータ、クライアントコンピュータ、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、スマートフォン、ゲームデバイス、ＡＲデバイス、ＶＲデバイスなどの任意の適切な装置とすることができる。ビットストリーム（１１４５）は、任意の適切な通信ネットワーク（図示せず）を介してメッシュエンコーダ（１１１０）からメッシュデコーダ（１１５０）に送信することができる。

【0121】

図１１の例では、メッシュエンコーダ（１１１０）は、互いに結合された適応サンプリングモジュール（１１２０）、ビデオエンコーダ（１１３０）、および補助データエンコーダ（１１４０）を含む。ビデオエンコーダ（１１３０）は、３Ｄメッシュの表現内の２Ｄマップなどの画像またはビデオデータを符号化するように構成される。適応サンプリングモジュール（１１２０）は、入力メッシュ（１１０５）を受信し、適応サンプリングを実行して適応的にサンプリングされたマップ（１１２５）を生成する。いくつかの例では、入力メッシュ（１１０５）は、３Ｄメッシュを表すために２Ｄのマップを含む。適応サンプリングモジュール（１１２０）は、マップ内の情報密度を検出し、情報密度に基づいてマップをサンプリングするための異なるサンプリングレートを決定することができる。次いで、異なるサンプリングレートに従って２Ｄマップをサンプリングし、適応的にサンプリングされたマップ（１１２５）を生成することができる。

【0122】

ビデオエンコーダ（１１３０）は、画像符号化および／またはビデオ符号化技術を使用して、適応的にサンプリングされたマップ（１１２５）をビットストリーム（１１４５）に符号化することができる。

【0123】

適応サンプリングモジュール（１１２０）はまた、適応サンプリングに使用される支援情報を示す補助データ（１１２７）を生成する。補助データエンコーダ（１１４０）は、補助データ（１１２７）を受信し、補助データ（１１２７）をビットストリーム（１１４５）に符号化する。

【0124】

適応サンプリングモジュール（１１２０）および補助データエンコーダ（１１４０）の動作は、本開示でさらに説明される。

【0125】

図１１の例では、ビットストリーム（１１４５）は、メッシュデコーダ（１１５０）に提供される。メッシュデコーダ（１１５０）は、図１１に示すように互いに結合されたビデオデコーダ（１１６０）、補助データデコーダ（１１７０）、復元モジュール（１１８０）、およびメッシュ再構築モジュール（１１９０）を含む。一例では、ビデオデコーダ（１１６０）はビデオエンコーダ（１１３０）に対応し、ビデオエンコーダ（１１３０）によって符号化されたビットストリーム（１１４５）の部分を復号し、復号された情報（１１６５）（例えば、初期復号マップ）を生成することができる。

【0126】

図１１の例では、補助データデコーダ（１１７０）は補助データエンコーダ（１１４０）に対応し、補助データエンコーダ（１１４０）によって符号化されたビットストリーム（１１４５）の部分を復号し、復号された補助データ（１１７５）を生成することができる。

【0127】

図１１の例では、復号された情報（１１６５）および復号された補助データ（１１７５）が復元モジュール（１１８０）に提供される。復元モジュール（１１８０）は、元の解像度（例えば、垂直方向と水平方向とで同じ画素数）の復元されたマップ（１１８５）を、入力メッシュ（１１０５）内のマップとして形成することができる。メッシュ再構築モジュール（１１９０）は、復元されたマップ（１１８５）に基づいて再構築されたメッシュ（１１９５）を生成する。補助データデコーダ（１１７０）および復元モジュール（１１８０）の動作は、本開示においてさらに説明される。

【0128】

セグメント化モジュール（１１２０）、ビデオエンコーダ（１１３０）、および補助データエンコーダ（１１４０）などのメッシュエンコーダ（１１１０）内の構成要素は、それぞれ様々な技術によって実装することができることに留意されたい。一例では、構成要素は集積回路によって実装される。別の例では、構成要素は、１つまたは複数のプロセッサによって実行することができるソフトウェアを使用して実装される。

【0129】

ビデオデコーダ（１１６０）、補助データデコーダ（１１７０）、復元モジュール（１１８０）、およびメッシュ再構築モジュール（１１９０）などのメッシュデコーダ（１１５０）内の構成要素は、それぞれ様々な技術によって実施することができることに留意されたい。一例では、構成要素は集積回路によって実装される。別の例では、構成要素は、１つまたは複数のプロセッサによって実行することができるソフトウェアを使用して実装される。

【0130】

いくつかの実施形態では、サンプリング適応はマップタイプに基づくことができる。いくつかの例では、適応サンプリングモジュール（１１２０）は、異なるタイプのマップに異なるサンプリングレートを適用することができる。例えば、ジオメトリマップと属性マップとに異なるサンプリングレートを適用することができる。一例では、メッシュは、規則的な形状および豊富なテクスチャを有するオブジェクトのモデルである。例えば、オブジェクトは長方形であるが、豊富な色を有する。したがって、ジオメトリマップの情報密度は比較的低い。一例では、適応サンプリングモジュール（１１２０）は、ジオメトリマップ上に（垂直方向と水平方向の両方に）２：１の第１のサンプリングレートを適用し、テクスチャマップ上に（垂直方向と水平方向の両方に）１：１の第２のサンプリングレートを適用する。

【0131】

いくつかの例では、ある方向のＡ：Ｂのサンプリングレートは、その方向の元のマップ内のＡ画素からＢサンプルを生成することを示す。例えば、水平方向の２：１のサンプリングレートは、水平方向の元のマップ内の２つの画素ごとに１つのサンプルを生成することを示す。垂直方向の２：１のサンプリングレートは、垂直方向の元のマップ内の２つの画素ごとに１つのサンプルを生成することを示す。いくつかの例では、サンプリングレートを示すためにサンプリングステップが使用される。方向のサンプリングステップは、サンプルを生成するステップとしての画素数を示す。例えば、水平方向に２のサンプリングステップは、水平方向に２画素ごとにサンプルを生成することを示す。垂直方向に２のサンプリングステップは、垂直方向に２画素ごとにサンプルを生成することを示す。

【0132】

いくつかの実施形態では、サンプリング適応は、マップ内のサブ領域に基づく。異なるサンプリングレートをマップの異なる部分に適用することができる。いくつかの例では、画素のいくつかの行は保存される情報が少なく、これらの行に沿ってより大きなサンプリングステップを適用することができ、結果として符号化されるサンプル行の数が少なくなる。いくつかの例では、画素のいくつかの列は保存される情報が少なく、これらの列に沿ってより大きなサンプリングステップを適用することができ、結果として符号化されるサンプル列の数が少なくなる。他の領域では、サンプリング後に情報の損失を最小限に抑えるために、より小さいサンプリングステップが適用される。

【0133】

図１２は、いくつかの例における適応サンプリングの図を示す。マップ（１２２０）はいくつかのブロック行に分割され、各ブロック行は固定数のサンプル（画素）行を含む。異なるサンプリングレートが垂直方向のブロック行に適用され、適応的にサンプリングされたマップ（１２３０）を生成する。例えば、各ブロック行はＣＴＵ行（ＣＴＵラインとも呼ばれる）であり、６４行のサンプル（画素とも呼ばれる）を含む。図１２の例では、マップ（１２２０）内のブロック行０およびブロック行６に対して、２：１の第１のサンプリングレートが垂直方向に適用されると、結果として、サンプリング後の適応的にサンプリングされたマップ（１２３０）内のブロック行０およびブロック行６の各々に対して３２行のサンプルが得られる。マップ（１２２０）内のブロック行１から５に対して、１：１の第２のサンプリングレートが垂直方向に適用されると、結果として、適応的にサンプリングされたマップ（１２３０）内のブロック行１から５の各々に対して６４行のサンプルが得られる。

【0134】

いくつかの例では、適応的にサンプリングされたマップ（１２３０）は、ビデオエンコーダ（１１３０）などの画像またはビデオエンコーダによって符号化される。デコーダ側では、一例では、適応的にサンプリングされたマップ（１２３０）が復号される。復号後、上位３２行のサンプルは、６４行のサンプルなどの元の解像度に復元（アップサンプリング）される。下位３２行のサンプルは、例えば復元モジュール（１１８０）によって、６４行のサンプルなどの元の解像度に復元（アップサンプリング）される。

【0135】

いくつかの他の例では、３Ｄメッシュの２Ｄ表現内の符号化対象マップは、いくつかのサブ領域に分割することができる。このようなマップ内の分割（例えば、写真）としては、例えば、スライス、タイル、タイル群、コーディング・ツリー・ユニットなどが挙げられる。いくつかの例では、異なるサンプリングレートを異なるサブ領域に適用することができる。一例では、異なるサブ領域に関連付けられた異なるサンプリングレートは、３Ｄメッシュを搬送するビットストリームでシグナリングすることができる。デコーダ側では、適応的にサンプリングされたマップの復号後、例えば復元モジュール（１１８０）によって、サブ領域に関連付けられたサンプリングレートに従って、各サブ領域が元の解像度に復元される。

【0136】

いくつかの例では、適応的にサンプリングされたマップを元の解像度に復元する処理は、復元されたマップを生成する逆サンプリング処理と呼ばれる。逆サンプリング処理からの復元後、２Ｄアトラスの形態の復元されたマップの出力は、３Ｄメッシュ再構築に使用することができる。

【0137】

図１２の例では、垂直方向の異なるブロック行に対する適応サンプリングを示しているが、水平方向の異なる列に対しても同様の適応サンプリングを適用してもよく、垂直方向および水平方向の両方に適用してもよい。

【0138】

いくつかの実施形態では、サンプリング適応はパッチに基づく。いくつかの例では、マップ内の異なるパッチは、異なるサンプリングレートを有することができる。

【0139】

図１３は、いくつかの例における適応サンプリングの図を示す。高解像度の２Ｄアトラスなどのマップ（１３２０）は、第１の２Ｄ形状Ａ’および第２の２Ｄ形状Ｂ’などの、３Ｄメッシュ内のパッチに対応するＵＶパッチとも呼ばれる複数の２Ｄ形状を含む。図１３の例では、２：１の第１のサンプリングレートが、垂直方向および水平方向の両方で第１の２Ｄ形状Ａ’に適用されて、第１のサンプリングされた２Ｄ形状Ａ’’を生成する。１：１の第２のサンプリングレートが、第２の２Ｄ形状Ｂ’に垂直方向および水平方向の両方に適用されて、第２のサンプリングされた２Ｄ形状Ｂ’’を生成する。第１のサンプリングされた２Ｄ形状Ａ’’、および第２のサンプリングされた２Ｄ形状Ｂ’’は、適応的にサンプリングされたマップ（１３３０）と呼ばれる新しいマップに配置される。

【0140】

図１３の例では、第１のサンプリングされた２Ｄ形状Ａ’’は、第１の２Ｄ形状Ａ’よりも小さく、第２のサンプリングされた２Ｄ形状Ｂ’’は、第２の２Ｄ形状Ｂ’と同じサイズである。適応的にサンプリングされたマップ（１３３０）は、ビデオエンコーダ（１１３０）などの画像またはビデオエンコーダによって、３Ｄメッシュを搬送するビットストリームに符号化される。いくつかの例では、サンプリングされた２Ｄ形状に関連付けられたサンプリングレートは、例えば補助データエンコーダ（１１４０）によって、３Ｄメッシュを搬送するビットストリームに符号化される。

【0141】

いくつかの例では、デコーダ側で、ビデオデコーダ（１１６０）などの画像／ビデオデコーダは、ビットストリームから適応的にサンプリングされたマップ（１３３０）などの初期マップを復号する。さらに、サンプリングされた２Ｄ形状に関連付けられたサンプリングレートは、例えば補助データデコーダ（１１７０）によってビットストリームから復号される。サンプリングされた２Ｄ形状に関連付けられたサンプリングレートに従って、適応的にサンプリングされたマップ（１３３０）内のサンプリングされた２Ｄ形状は、元のサイズ（例えば、垂直方向と水平方向とで同じ画素数）に復元され、例えば、復元モジュール（１１８０）によって復元されたマップを生成する。次いで、復元されたマップは、３Ｄメッシュ再構築に使用される。

【0142】

本開示の一態様によれば、異なるマップタイプのサンプリングレート、異なるサブ領域のサンプリングレート、異なるパッチのサンプリングレートなどの適応サンプリング情報が、メッシュエンコーダ側およびメッシュデコーダ側で知られている。いくつかの例では、適応サンプリング情報は、３Ｄメッシュを搬送するビットストリームに適切に符号化される。したがって、メッシュデコーダおよびメッシュエンコーダは、同じ適応サンプリング情報に基づいて動作することができる。メッシュデコーダは、マップを正しいサイズに復元することができる。

【0143】

いくつかの例では、メッシュエンコーダとメッシュデコーダの両方によってデフォルト・サンプリング・レートが想定される。いくつかの他の例では、デフォルト・サンプリング・レートが、フレームレベルまたはシーケンスレベルでシグナリングされる。一例では、マップタイプの場合、マップタイプのサンプリングレートがデフォルト・サンプリング・レートと異なるかどうかを示すためにフラグが使用される。マップタイプのサンプリングレートがデフォルト・サンプリング・レートと異なる場合、新しいサンプリングレート（またはデフォルト・サンプリング・レートとの差）がシグナリングされる。

【0144】

別の例では、マップのサブ領域（ブロック行、ブロック列、ＣＴＵライン、スライス、タイル、タイル群、ＣＴＵなど）について、サブ領域のサンプリングレートがデフォルト・サンプリング・レートと異なるかどうかを示すためにフラグが使用される。サブ領域のサンプリングレートがデフォルト・サンプリング・レートと異なる場合、新しいサンプリングレート（またはデフォルト・サンプリング・レートとの差）がシグナリングされる。

【0145】

別の例では、マップ内のパッチ（例えば、ＵＶパッチ、２Ｄ形状）について、パッチのサンプリングレートがデフォルト・サンプリング・レートと異なるかどうかを示すためにフラグが使用される。パッチのサンプリングレートがデフォルト・サンプリング・レートと異なる場合、新しいサンプリングレート（またはデフォルト・サンプリング・レートに対する差）がシグナリングされる。

【0146】

いくつかの例では、フレームまたはシーケンスで使用されるサンプリングレートのセットは、ビットストリームでシグナリングされるか、またはメッシュエンコーダとメッシュデコーダの両方によって合意される。そのようなサンプリングレートの例には、２：１、４：１、８：１などが含まれる。マップタイプ、サブ領域、またはパッチに対して特定のサンプリングレートが選択された場合、セット内のサンプリングレートのインデックスを使用して、サンプリングレート自体をシグナリングする代わりに、選択を示すことができる。

【0147】

いくつかの例では、異なるメッシュフレーム内のパッチは、同じ位置にない場合がある。経時的に、メッシュフレーム内のパッチは、別のメッシュフレーム内の対応するパッチ（例えば、メッシュの同じまたは類似の部分を覆う一対のパッチ）を有する。前のメッシュフレーム内の１つのパッチに適用された（例えば、前のメッシュフレームを表すためのマップ内の対応するＵＶパッチに適用され、前のメッシュフレームを表すためのマップ内の対応する２Ｄ形状に適用された）サンプリングレートは、現在のメッシュフレーム内の対応するパッチに適用され（例えば、現在のメッシュフレームを表すためのマップ内の対応するＵＶパッチに適用され、現在のメッシュフレームを表すためのマップ内の対応する２Ｄ形状に適用され）得る。いくつかの例では、メッシュフレームのシーケンスは、ピクチャグループ（ＧＯＰ）とすることができる。一例では、サンプリングレートは、ＧＯＰのキーメッシュフレーム（例えば、第１のフレーム）内のパッチまたはサブ領域またはＣＴＵラインに対してシグナリングされる。ＧＯＰ内の他のメッシュフレーム内のパッチまたは領域またはラインの場合、それらのサンプリングレートは、キーメッシュフレーム内の対応するものを参照することができる。

【0148】

図１４は、本開示の一実施形態による処理（１４００）の概要を示すフローチャートを示す。処理（１４００）は、メッシュの符号化処理中に使用することができる。様々な実施形態において、処理（１４００）は、処理回路によって実行される。いくつかの実施形態では、処理（１４００）はソフトウェア命令で実施され、したがって、処理回路がソフトウェア命令を実行すると、処理回路が処理（１４００）を実行する。処理は（Ｓ１４０１）から始まり、（Ｓ１４１０）に進む。

【0149】

（Ｓ１４１０）において、２Ｄの複数のマップの異なる部分に関連付けられた少なくとも２つのサンプリングレートが決定される。複数のマップは、３次元（３Ｄ）メッシュフレームの表現である。一例では、適応サンプリングモジュール（１１２０）は、２Ｄの複数のマップの異なる部分に関連付けられた少なくとも２つのサンプリングレートを決定する。

【0150】

（Ｓ１４２０）において、複数のマップは、少なくとも２つのサンプリングレートに基づいてサンプリングされ、複数のサンプリングされたマップを生成する。一例では、適応サンプリングモジュール（１１２０）は、複数のサンプリングされたマップを生成するために、複数のマップの異なる部分に少なくとも２つのサンプリングレートを適用する。例えば、複数のマップの第１の部分は、第１のサンプリングレートに基づいてダウンサンプリングされ、複数のマップの第２の部分は、第２のサンプリングレートに基づいてダウンサンプリングされる。

【0151】

（Ｓ１４３０）において、複数のサンプリングされたマップは、ビットストリームに符号化される。一例では、ビデオエンコーダ（１１３０）は、複数のサンプリングされたマップをビットストリーム（１１４５）に符号化する。

【0152】

少なくとも２つのサンプリングレートを決定するために、いくつかの例では、第１のマップタイプの第１のマップに関連付けられた第１のサンプリングレートが決定され、第２のマップタイプの第２のマップに関連付けられた第２のサンプリングレートが決定される。複数のマップは、第１のマップと第２のマップとを含む。例えば、第１のマップはジオメトリマップであり、第２のマップはテクスチャマップである。

【0153】

少なくとも２つのサンプリングレートを決定するために、いくつかの例では、第１のマップ内の第１のサブ領域に関連付けられた第１のサンプリングレートが決定され、第１のマップ内の第２のサブ領域に関連付けられた第２のサンプリングレートが決定される。一例では、第１のサブ領域および第２のサブ領域の各々は、複数の画素行（例えば、ブロック行）を含む。別の例では、第１のサブ領域および第２のサブ領域の各々は、複数の画素列を含む。別の例では、第１のサブ領域および第２のサブ領域の各々は、コーディング・ツリー・ユニット（ＣＴＵ）ラインを含む。別の例では、第１のサブ領域および第２のサブ領域の各々は、スライスを含む。別の例では、第１のサブ領域および第２のサブ領域の各々は、タイルを含む。別の例では、第１のサブ領域および第２のサブ領域の各々は、タイル群を含む。別の例では、第１のサブ領域および第２のサブ領域の各々は、ＣＴＵを含む。

【0154】

少なくとも２つのサンプリングレートを決定するために、いくつかの例では、第１のマップ内の第１のパッチ（例えば、第１のＵＶパッチ、第１の２Ｄ形状）に関連付けられた第１のサンプリングレートが決定され、第１のマップ内の第２のパッチ（例えば、第２のＵＶパッチ、第２の２Ｄ形状）に関連付けられた第２のサンプリングレートが決定される。

【0155】

いくつかの例では、第１のフラグは、複数のサンプリングされたマップの第１の部分に関連付けられた第１のサンプリングレートと、デフォルト・サンプリング・レートとの比較に基づいて決定される。サンプリングされた複数のマップの第１の部分に関連付けられた第１のフラグは、例えば補助データエンコーダ（１１４０）によってビットストリームに符号化される。一例では、第１のサンプリングレートは、第１のサンプリングレートがデフォルト・サンプリング・レートと異なることに応答して、例えば補助データエンコーダ（１１４０）によってビットストリームに符号化される。別の例では、第１のサンプリングレートとデフォルト・サンプリング・レートとの差は、第１のサンプリングレートがデフォルト・サンプリング・レートと異なることに応答して、例えば補助データエンコーダ（１１４０）によってビットストリームに符号化される。

【0156】

いくつかの例では、第１のサンプリングレートは、複数のマップの第１の部分について、所定のサンプリングレートのセットから選択される。次いで、インデックスは、例えば補助データエンコーダ（１１４０）によってビットストリームに符号化される。インデックスは、所定のサンプリングレートのセットからの第１のサンプリングレートの選択を示す。

【0157】

いくつかの例では、ビットストリームは、複数の３Ｄメッシュフレームを搬送する。一例では、第１の３Ｄメッシュフレームの第１のパッチに関連付けられた第１のサンプリングレートが、第１の３Ｄメッシュフレームの符号化中に適用される。次いで、第２の３Ｄメッシュフレーム内の第２のパッチに関連付けられた第２のサンプリングレートが、第１のサンプリングレートに従って決定される。第２の３Ｄメッシュフレーム内の第２のパッチは、第１の３Ｄメッシュフレームの第１のパッチに対応するパッチである。一例では、第１の３Ｄメッシュフレームはピクチャグループ（ＧＯＰ）のキーメッシュフレームであり、第２のサンプリングレートは第１のサンプリングレートに等しい。

【0158】

次いで、処理は（Ｓ１４９９）に進み、終了する。

【0159】

処理（１４００）は、適切に適合させることができる。処理（１４００）の（１つまたは複数の）ステップは、修正および／または省略することができる。（１つまたは複数の）追加のステップを追加することができる。任意の適切な実施順序を使用することができる。

【0160】

図１５は、本開示の一実施形態に係る処理（１５００）の概要を示すフローチャートを示す。処理（１５００）は、メッシュの復号処理中に使用することができる。様々な実施形態において、処理（１５００）は、処理回路によって実行される。いくつかの実施形態では、処理（１５００）がソフトウェア命令で実施され、したがって、処理回路がソフトウェア命令を実行すると、処理回路が処理（１５００）を実行する。処理は（Ｓ１５０１）から開始されて（Ｓ１５１０）に進む。

【0161】

（Ｓ１５１０）において、２Ｄの複数の初期マップが、３Ｄメッシュフレームを搬送するビットストリームから復号される。一例では、ビデオデコーダ（１１６０）は、ビットストリーム（１１４５）から２Ｄの複数の初期マップを復号する。

【0162】

（Ｓ１５２０）において、複数の初期マップの異なる部分に関連付けられた少なくとも２つのサンプリングレートが決定される。一例では、補助データデコーダ（１１７０）は、複数の初期マップの異なる部分に関連付けられた少なくとも２つのサンプリングレートを決定する。

【0163】

（Ｓ１５３０）において、複数の初期マップの異なる部分に関連付けられた少なくとも２つのサンプリングレートに基づいて、複数の初期マップから複数の復元マップが取得される。一例では、復元モジュール（１１８０）は、複数の初期マップの異なる部分に関連付けられた少なくとも２つのサンプリングレートに基づいて、複数の初期マップから複数の復元マップを生成する。例えば、複数の初期マップの第１の部分は、第１の部分に関連付けられた少なくとも２つのサンプリングレートの第１のサンプリングレートに基づいて復元され（例えば、アップサンプリングされる）、複数の初期マップの第２の部分は、第２の部分に関連付けられた少なくとも２つのサンプリングレートの第２のサンプリングレートに基づいて復元される（例えば、アップサンプリングされる）。

【0164】

（Ｓ１５４０）において、３Ｄメッシュフレームは、複数の復元されたマップに基づいて再構築される。一例では、メッシュ再構築モジュール（１１９０）は、３Ｄメッシュフレームを再構築する。

【0165】

少なくとも２つのサンプリングレートを決定するために、いくつかの例では、第１のマップタイプの第１の初期マップに関連付けられた第１のサンプリングレートが決定され、第２のマップタイプの第２の初期マップに関連付けられた第２のサンプリングレートが決定される。

【0166】

少なくとも２つのサンプリングレートを決定するために、いくつかの例では、第１の初期マップ内の第１のサブ領域に関連付けられた第１のサンプリングレートが決定される。第１の初期マップ内の第２の部分領域に関連付けられた第２のサンプリングレートが決定される。一例では、第１のサブ領域および第２のサブ領域の各々は、複数の画素列（例えば、サンプリングされたブロック行）を含む。別の例では、第１のサブ領域および第２のサブ領域の各々は、複数の画素列を含む。別の例では、第１のサブ領域および第２のサブ領域の各々は、サンプリングされたコーディング・ツリー・ユニット（ＣＴＵ）ラインに対応する。別の例では、第１のサブ領域および第２のサブ領域の各々は、サンプリングされたスライスを含む。別の例では、第１のサブ領域および第２のサブ領域の各々は、サンプリングされたタイルを含む。別の例では、第１のサブ領域および第２のサブ領域の各々は、サンプリングされたタイル群を含む。別の例では、第１のサブ領域および第２のサブ領域の各々は、サンプリングされたＣＴＵを含む。

【0167】

少なくとも２つのサンプリングレートを決定するために、いくつかの例では、第１の初期マップ内の第１のパッチ（例えば、第１のＵＶパッチ、第１の２Ｄ形状）に関連付けられた第１のサンプリングレートが決定される。第１の初期マップ内の第２のパッチ（例えば、第２のＵＶパッチ、第２の２Ｄ形状）に関連付けられた第２のサンプリングレートが決定される。

【0168】

いくつかの例では、複数の初期マップの第１の部分に関連付けられた第１のフラグが、ビットストリームから復号される。第１のフラグは、第１の部分に関連付けられた第１のサンプリングレートがデフォルト・サンプリング・レートと異なるかどうかを示す。一例では、第１のフラグは、第１のサンプリングレートがデフォルト・サンプリング・レートと異なることを示し、次いで、第１のサンプリングレートがビットストリームから復号される。別の例では、第１のフラグは、第１のサンプリングレートがデフォルト・サンプリング・レートと異なることを示し、次いで、第１のサンプリングレートとデフォルト・サンプリング・レートとの差がビットストリームから復号される。

【0169】

いくつかの例では、インデックスはビットストリームから復号され、インデックスは、複数の初期マップの部分に関連付けられたサンプリングレートとして所定のサンプリングレートのセットからの選択を示す。

【0170】

いくつかの例では、ビットストリームは、複数の３Ｄメッシュフレームを搬送する。第１の３Ｄメッシュフレームに関連付けられた第１のマップは、第１の３Ｄメッシュフレームの第１のパッチに関連付けられた第１のサンプリングレートに基づいて復元される。次いで、第２の３Ｄメッシュフレーム内の第２のパッチに関連付けられた対応するサンプリングレートが、第１のサンプリングレートに従って決定される。第２の３Ｄメッシュフレーム内の第２のパッチは、第１の３Ｄメッシュフレームの第１のパッチに対応するパッチである。一例では、第１の３Ｄメッシュフレームはピクチャグループ（ＧＯＰ）のキーメッシュフレームであり、対応するサンプリングレートは第１のサンプリングレートに等しい。

【0171】

次いで、処理は（Ｓ１５９９）に進み、終了する。

【0172】

処理（１５００）は、適切に適合させることができる。処理（１５００）の（１つまたは複数の）ステップは、修正および／または省略することができる。（１つまたは複数の）追加のステップを追加することができる。任意の適切な実施順序を使用することができる。

【0173】

本開示で開示された技術は、別々に使用されてもよく、任意の順序で組み合わされてもよい。さらに、技術（例えば、方法、実施形態）、エンコーダ、およびデコーダの各々は、処理回路（例えば、１つもしくは複数のプロセッサまたは１つ以上の集積回路）によって実装されてもよい。いくつかの例では、１つ以上のプロセッサは、非一時的コンピュータ可読媒体に記憶されたプログラムを実行する。

【0174】

上記で説明した技術は、コンピュータ可読命令を使用するコンピュータソフトウェアとして実装され、１つまたは複数のコンピュータ可読媒体に物理的に記憶され得る。例えば、図１６は、開示された主題の特定の実施形態を実施するのに適したコンピュータシステム（１６００）を示す。

【0175】

コンピュータソフトウェアは、１つ以上のコンピュータ中央処理装置（ＣＰＵ：ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）およびグラフィック処理装置（ＧＰＵ：Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などによって直接的に、または解釈およびマイクロコードの実行などを通して実行され得る命令を含むコードを作成するために、アセンブリ、コンパイル、リンキング、または同様のメカニズムを受け得る任意の適切な機械コードまたはコンピュータ言語を使用してコード化され得る。

【0176】

命令は、例えばパーソナルコンピュータ、タブレットコンピュータ、サーバ、スマートフォン、ゲーミングデバイス、およびモノのインターネットデバイスなどを含む様々なタイプのコンピュータまたはその構成要素上で実行され得る。

【0177】

コンピュータシステム（１６００）に関して図１６に示されている構成要素は、本質的に例示であり、本開示の実施形態を実施するコンピュータソフトウェアの使用または機能の範囲に関する限定を示唆することを意図されていない。また、構成要素の構成も、コンピュータシステム（１６００）の例示的な実施形態に示されている構成要素のいずれの１つまたは組み合わせに関するいかなる依存性または要件も有するものとして解釈されるべきではない。

【0178】

コンピュータシステム（１６００）は、ある特定のヒューマンインターフェース入力デバイスを含み得る。そのようなヒューマンインターフェース入力デバイスは、例えば、触覚入力（例えば、キーストローク、スワイプ、データグローブの動き）、音声入力（例えば、声、拍手）、視覚入力（例えば、ジェスチャ）、嗅覚入力（図示せず）を介した、１人または複数の人間のユーザによる入力に応答し得る。ヒューマン・インターフェース・デバイスは、オーディオ（音声、音楽、環境音など）、画像（走査画像、写真画像は静止画像カメラから取得など）、ビデオ（２次元ビデオ、立体ビデオを含む３次元ビデオなど）などの、必ずしも人間による意識的な入力に直接関連しない特定の媒体を取り込むためにも使用され得る。

【0179】

入力ヒューマン・インターフェース・デバイスは、（それぞれの１つだけが描かれている）キーボード（１６０１）、マウス（１６０２）、トラックパッド（１６０３）、タッチスクリーン（１６１０）、データグローブ（示されていない）、ジョイスティック（１６０５）、マイク（１６０６）、スキャナ（１６０７）、カメラ（１６０８）のうちの１または複数を含み得る。

【0180】

コンピュータシステム（１６００）は、ある特定のヒューマンインターフェース出力デバイスも含み得る。そのようなヒューマンインターフェース出力デバイスは、例えば、触覚出力、音、光、および匂い／味によって１人または複数の人間ユーザの感覚を刺激し得る。こうしたヒューマンインターフェース出力デバイスは、触覚出力デバイス（例えば、タッチスクリーン（１６１０）、データグローブ（示されていない）、またはジョイスティック（１６０５）による触覚フィードバックであるが、入力デバイスとしての機能を果たさない触覚フィードバックデバイスも存在することができる）、オーディオ出力デバイス（スピーカ（１６０９）、ヘッドホン（描かれていない）など）、視覚出力デバイス（ＣＲＴスクリーン、ＬＣＤスクリーン、プラズマスクリーン、ＯＬＥＤスクリーンを含むスクリーン（１６１０）などであって、それぞれタッチスクリーン入力機能を有するかまたは有さず、それぞれ触覚フィードバック機能を有するかまたは有さず、いくつかは２次元視覚出力を、または立体出力などの手段、すなわち、バーチャル・リアリティ・グラス（描かれていない）、ホログラフィックディスプレイおよびスモークタンク（描かれていない）、を通じて、３次元を超える出力を、出力することが可能であり得る）、およびプリンタ（描かれていない）を含み得る。

【0181】

コンピュータシステム（１６００）は、ＣＤ／ＤＶＤまたは類似のメディアを伴ったＣＤ／ＤＶＤ ＲＯＭ／ＲＷ（１６２０）を含む光学メディア（１６２１）、サムドライブ（１６２２）、リムーバブル・ハード・ドライブまたはソリッド・ステート・ドライブ（１６２３）、テープおよびフロッピディスク（描かれていない）などのレガシ磁気メディア、セキュリティドングル（描かれていない）などの専用のＲＯＭ／ＡＳＩＣ／ＰＬＤベースのデバイス、などの、人間がアクセス可能なストレージデバイスおよびそれらの関連メディアも含むことができる。

【0182】

当業者はまた、本開示の主題に関連して使用される「コンピュータ可読媒体」という用語が伝送媒体、搬送波、または他の一時的信号を包含しないことを理解すべきである。

【0183】

また、コンピュータシステム（１６００）は、１つ以上の通信ネットワーク（１６５５）へのインターフェース（１６５４）を含むことができる。ネットワークは、例えば、無線、有線、光であり得る。ネットワークはさらに、ローカル、広域、メトロポリタン、車両および産業用、リアルタイム、遅延耐性などであり得る。ネットワークの例は、イーサネットと、無線ＬＡＮと、ＧＳＭ、３Ｇ、４Ｇ、５Ｇ、ＬＴＥなどを含むセルラネットワークと、ケーブルテレビ、衛星テレビ、および地上波放送テレビを含むテレビ有線または無線ワイド・エリア・デジタル・ネットワークと、ＣＡＮＢｕｓを含む車両用および産業用と、その他いろいろと、などのローカルエリアネットワークを含む。ある特定のネットワークは、一般に、ある特定の汎用データポートまたは周辺機器用バス（１６４９）（例えば、コンピュータシステム（１６００）のＵＳＢポートなど）に取り付けられた外部ネットワーク・インターフェース・アダプタを必要とし、他のものは一般に、以下に説明するようにシステムバスへの取付けによって、コンピュータシステム（１６００）のコアに統合される（例えば、イーサネットインターフェースがＰＣコンピュータシステムへ、またはセルラ・ネットワーク・インターフェースがスマートフォン・コンピュータ・システムへ）。これらのネットワークのいずれかを使用して、コンピュータシステム（１６００）は、他のエンティティと通信し得る。そのような通信は、例えば、ローカルまたは広域デジタルネットワークを使用する他のコンピュータシステムに対して、単方向で受信のみ（例えば、放送ＴＶ）、単方向で送信のみ（例えば、特定のＣＡＮｂｕｓデバイスへのＣＡＮｂｕｓ）、または双方向であり得る。特定のプロトコルおよびプロトコルスタックは、上記で説明されたように、それらのネットワークおよびネットワークインターフェースの各々で使用され得る。

【0184】

前述のヒューマン・インターフェース・デバイス、人間がアクセス可能なストレージデバイス、およびネットワークインターフェースが、コンピュータシステム（１６００）のコア（１６４０）に取り付けられることができる。

【0185】

コア（１６４０）は、１つ以上の中央処理装置（ＣＰＵ）（１６４１）、グラフィック処理装置（ＧＰＵ）（１６４２）、フィールド・プログラマブル・ゲートアレイ（ＦＰＧＡ）（１６４３）の形式の専用のプログラマブル処理装置、特定のタスク用のハードウェアアクセラレータ（１６４４）、およびグラフィックアダプタ（１６５０）などを含み得る。これらのデバイスは、リードオンリーメモリ（Ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ：ＲＯＭ）（１６４５）、ランダムアクセスメモリ（１６４６）、ユーザがアクセス可能でない内部ハードドライブ、ＳＳＤなどの内部大容量記憶装置（１６４７）とともに、システムバス（１６４８）を介して接続され得る。いくつかのコンピュータシステムでは、追加のＣＰＵ、ＧＰＵなどによる拡張を可能にするために、システムバス（１６４８）は１または複数の物理的プラグの形式でアクセス可能とすることができる。周辺デバイスは、コアのシステムバス（１６４８）に直接取り付けることも、周辺機器用バス（１６４９）を介して取り付けることもできる。一例では、スクリーン（１６１０）はグラフィックアダプタ（１６５０）に接続され得る。周辺バスのアーキテクチャは、ＰＣＩ、ＵＳＢなどを含む。

【0186】

ＣＰＵ（１６４１）、ＧＰＵ（１６４２）、ＦＰＧＡ（１６４３）、およびアクセラレータ（１６４４）は、組み合わせて、前述のコンピュータコードを構成することができるある特定の命令を実行することができる。そのコンピュータコードは、ＲＯＭ（１６４５）またはＲＡＭ（１６４６）に格納され得る。過渡的データはまた、ＲＡＭ（１６４６）に格納され得、一方、永続データは、例えば内部大容量記憶装置（１６４７）に、格納され得る。１または複数のＣＰＵ（１６４１）、ＧＰＵ（１６４２）、大容量記憶装置（１６４７）、ＲＯＭ（１６４５）、ＲＡＭ（１６４６）などと密接に関連付けられることができるキャッシュメモリの使用を通じて、メモリデバイスのいずれへの高速ストレージおよび取り出しも可能とされることができる。

【0187】

コンピュータ可読媒体は、様々なコンピュータ実施動作を実行するためのコンピュータコードを有し得る。媒体およびコンピュータコードは、本開示の目的のために特別に設計および構成されたものであり得るし、またはそれらは、コンピュータソフトウェア技術の当業者に周知の利用可能な種類のものであり得る。

【0188】

限定の目的ではなく例として、アーキテクチャを有するコンピュータシステム（１６００）、および具体的にはコア（１６４０）は、１または複数の有形のコンピュータ可読メディアで具現化されたソフトウェアを実行するプロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡ、アクセラレータなどを含む）の結果として機能性を提供することができる。そのようなコンピュータ可読媒体は、上述のようなユーザがアクセス可能な大容量記憶装置、および、コア内部大容量記憶装置（１６４７）またはＲＯＭ（１６４５）などの持続性な性質のコア（１６４０）の特定の記憶装置に関連付けられた媒体とし得る。本開示の様々な実施形態を実施するソフトウェアは、そのようなデバイスに記憶され、コア（１６４０）によって実行し得る。コンピュータ可読媒体は、特定の必要性に応じて、１つ以上のメモリデバイスまたはチップを含み得る。ソフトウェアは、コア（１６４０）、具体的にはその中のプロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡ等を含む）に、本明細書に記載の特定処理または特定処理の特定部分を実行させ得る。処理には、ＲＡＭ（１６４６）に記憶されたデータ構造を定義すること、および、ソフトウェアによって定義された処理に従ってそのようなデータ構造を修正することを含む。加えて、または代替として、コンピュータシステムは、ハードワイヤードまたは他の方法で回路（例えば、アクセラレータ（１６４４））に具現化された論理回路の結果として、機能を提供することができ、ソフトウェアの代わりに、またはソフトウェアとともに動作して、本明細書に記載の特定処理または特定処理の特定部分を実行し得る。ソフトウェアへの参照は、論理回路を包含することができ、適切な場合には逆もまた同様である。必要に応じて、コンピュータ可読媒体への言及は、実行のためのソフトウェアを記憶する回路（集積回路（ＩＣ：ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）など）、実行のためのロジックを具体化する回路、またはこれらの両方を包含し得る。本開示は、ハードウェアとソフトウェアとの任意の適切な組み合わせを包含する。

【0189】

本開示はいくつかの例示的な実施形態を説明してきたが、本開示の範囲内にある修正例、置換例、および様々な代替均等例がある。したがって、当業者は、本明細書に明示的に図示または記載されていないが、本開示の原理を具現化し、したがって、その趣旨および範囲内にある多数のシステムおよび方法を考案できることが諒解されよう。

【符号の説明】

【0190】

１００ 通信システム
１０５ センサ
１１０ 端末デバイス
１２０ 端末デバイス
１５０ ネットワーク
２００ ストリーミングシステム
２０１ 点群源
２０２ 点群
２０３ エンコーダ
２０４ 圧縮された点群
２０５ ストリーミングサーバ
２０６ クライアントサブシステム
２０７ コピー
２０８ クライアントサブシステム
２０９ コピー
２１０ デコーダ
２１１ 点群
２１２ レンダリングデバイス
２１３ キャプチャサブシステム
２２０ 電子デバイス
２３０ 電子デバイス
３００ Ｖ－点群圧縮（ＰＣＣ）エンコーダ
３０４ パッチ情報モジュール
３０６ パッチ生成モジュール
３０８ パッチパッキングモジュール
３１０ ジオメトリ画像生成モジュール
３１２ テクスチャ画像生成モジュール
３１４ 占有マップモジュール
３１６ 画像パディングモジュール
３１８ 画像パディングモジュール
３２０ グループ拡張モジュール
３２２ ビデオ圧縮モジュール
３２３ ビデオ圧縮モジュール
３２４ マルチプレクサ
３３２ ビデオ圧縮モジュール
３３４ エントロピー圧縮モジュール
３３６ 平滑化モジュール
３３８ 補助パッチ情報圧縮モジュール
４００ Ｖ－ＰＣＣデコーダ
４３２ デマルチプレクサ
４３４ ビデオ展開モジュール
４３６ ビデオ展開モジュール
４３８ 占有マップ展開モジュール
４４２ 補助パッチ情報展開モジュール
４４４ ジオメトリ再構築モジュール
４４６ 平滑化モジュール
４４８ テクスチャ再構築モジュール
４５２ 色平滑化モジュール
５１０ ビデオデコーダ
５２０ パーサ
５２１ シンボル
５５１ スケーラ／逆変換ユニット
５５２ イントラピクチャ予測ユニット
５５３ 動き補償予測ユニット
５５５ アグリゲータ
５５６ ループフィルタユニット
５５７ 参照ピクチャメモリ
５５８ 現在ピクチャバッファ
６０３ ビデオエンコーダ
６３０ ソースコーダ
６３２ コーディングエンジン
６３３ デコーダ
６３４ 参照ピクチャメモリ、参照ピクチャキャッシュ
６３５ 予測器
６４５ エントロピーコーダ
６５０ コントローラ
７００ Ｇ－ＰＣＣエンコーダ
７０１ 点群
７０２ ビットストリーム
７１０ 位置量子化モジュール
７１２ 重複点除去モジュール
７２０ 属性転送モジュール
７３０ 八分木符号化モジュール
７４０ 詳細レベル（ＬＯＤ）生成モジュール
７５０ 属性予測モジュール
７６０ 残差量子化モジュール
７７０ 算術符号化モジュール
７８０ 逆残差量子化モジュール
７８１ 加算モジュール
７９０ メモリ
８００ Ｇ－ＰＣＣデコーダ
８０１ ビットストリーム
８０２ 復号された点群
８１０ 算術復号モジュール
８２０ 逆残差量子化モジュール
８３０ 八分木復号モジュール
８４０ ＬＯＤ生成モジュール
８５０ 属性予測モジュール
８６０ メモリ
９１０ ３次元（３Ｄ）メッシュ
９２０ ２Ｄアトラス、マップ
１０２０ マップ
１０３０ ダウンサンプリングされたマップ
１１００ フレームワーク
１１０５ 入力メッシュ
１１１０ メッシュエンコーダ
１１２０ 適応サンプリングモジュール
１１２５ 適応的にサンプリングされたマップ
１１２７ 補助データ
１１３０ ビデオエンコーダ
１１４０ 補助データエンコーダ
１１４５ ビットストリーム
１１５０ メッシュデコーダ
１１６０ ビデオデコーダ
１１６５ 復号された情報
１１７０ 補助データデコーダ
１１７５ 復号された補助データ
１１８０ 復元モジュール
１１８５ 復元されたマップ
１１９０ メッシュ再構築モジュール
１１９５ 再構築されたメッシュ
１２２０ マップ
１２３０ 適応的にサンプリングされたマップ
１３２０ マップ
１３３０ 適応的にサンプリングされたマップ
１４００ 処理
１５００ 処理
１６００ コンピュータシステム
１６０１ キーボード
１６０２ マウス
１６０３ トラックパッド
１６０５ ジョイスティック
１６０６ マイク
１６０７ スキャナ
１６０８ カメラ
１６０９ スピーカ
１６１０ タッチスクリーン
１６２０ ＣＤ／ＤＶＤ ＲＯＭ／ＲＷ
１６２１ 光学メディア
１６２２ サムドライブ
１６２３ ソリッド・ステート・ドライブ
１６４０ コア
１６４１ 中央処理装置（ＣＰＵ）
１６４２ グラフィック処理装置（ＧＰＵ）
１６４３ フィールド・プログラマブル・ゲートアレイ（ＦＰＧＡ）
１６４４ ハードウェアアクセラレータ
１６４５ リードオンリーメモリ（ＲＯＭ）
１６４６ ランダムアクセスメモリ
１６４７ 内部大容量記憶装置
１６４８ システムバス
１６４９ 周辺機器用バス
１６５０ グラフィックアダプタ
１６５４ インターフェース
１６５５ 通信ネットワーク

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】