特表 2024-516059 エンコーダによるメッシュ圧縮のための適応サンプリングの方法および装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-04-12

(54)【発明の名称】エンコーダによるメッシュ圧縮のための適応サンプリングの方法および装置

(51)【国際特許分類】

   H04N 19/597 20140101AFI20240405BHJP

   H04N 19/70 20140101ALI20240405BHJP

【ＦＩ】

H04N19/597

H04N19/70

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023548180

(86)(22)【出願日】2022-09-16

(85)【翻訳文提出日】2023-08-09

(86)【国際出願番号】 US2022076566

(87)【国際公開番号】W WO2023059976

(87)【国際公開日】2023-04-13

(31)【優先権主張番号】63/252,063

(32)【優先日】2021-10-04

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】63/252,084

(32)【優先日】2021-10-04

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】17/944,994

(32)【優先日】2022-09-14

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】520353802

【氏名又は名称】テンセント・アメリカ・エルエルシー

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】ジャン，シァン

(72)【発明者】

【氏名】リウ，シャン

(72)【発明者】

【氏名】シュー，シャオジョン

(72)【発明者】

【氏名】ホアン，チャオ

(72)【発明者】

【氏名】ティエン，ジュン

【テーマコード（参考）】

5C159

【Ｆターム（参考）】

5C159LC01

5C159MA04

5C159MA05

5C159MB05

5C159PP03

5C159PP13

5C159PP16

5C159UA02

5C159UA05

(57)【要約】

いくつかの例では、メッシュコーディングのための装置は処理回路を含む。処理回路は、オブジェクトのサーフェスを表すポリゴンを持つメッシュフレームのデータ構造を受信する。メッシュフレームのデータ構造は、メッシュフレームの頂点をＵＶアトラス内のＵＶ座標に関連付けるＵＶアトラスを含む。処理回路は、メッシュフレームの領域のそれぞれの特性に従ってメッシュフレームの領域のそれぞれのサンプリングレートを決定し、ＵＶアトラス上のサンプリング位置を決定するために、ＵＶアトラスに、メッシュフレームの領域のそれぞれのサンプリングレートを適用する。処理回路は、ＵＶアトラス上のサンプリング位置に従って、メッシュフレームの１つ以上のサンプリングされた２次元（２Ｄ）マップを生成し、１つ以上のサンプリングされた２Ｄマップをビットストリームにエンコードする。

【特許請求の範囲】

【請求項1】

メッシュ圧縮をエンコードする方法であって：
オブジェクトのサーフェスを表すポリゴンを持つメッシュフレームのデータ構造を受信するステップであって、前記メッシュフレームの前記データ構造は、前記メッシュフレームの頂点をＵＶアトラス内のＵＶ座標に関連付ける前記ＵＶアトラスを含む、ステップと；
前記メッシュフレームの領域のそれぞれの特性に従って前記メッシュフレームの領域のそれぞれのサンプリングレートを決定するステップと；
前記ＵＶアトラス上のサンプリング位置を決定するために、前記ＵＶアトラスに、前記メッシュフレームの前記領域の前記それぞれのサンプリングレートを適用するステップと；
前記ＵＶアトラス上の前記サンプリング位置に従って、前記メッシュフレームの１つ以上のサンプリングされた２次元（２Ｄ）マップを生成するステップと；
前記１つ以上のサンプリングされた２Ｄマップをビットストリームにエンコードするステップと；を含む、
方法。

【請求項2】

前記メッシュフレームの前記領域の前記それぞれのサンプリングレートを決定するステップは：
第１の領域の第１のサンプリング位置の数を制限する要件に従って、前記メッシュフレームの前記第１の領域の第１のサンプリングレートを決定するステップを含む、
請求項１に記載の方法。

【請求項3】

前記メッシュフレームの前記第１の領域の前記第１のサンプリングレートを決定するステップは：
ターゲット値に最も近いオーバーサンプリング比（ＯＲ）を達成するように前記第１のサンプリングレートを決定するステップであって、前記ＯＲは、前記第１のサンプリング位置の数と、元々前記メッシュフレームの前記第１の領域にあった頂点の数との間の比である、ステップを含む、
請求項２に記載の方法。

【請求項4】

前記メッシュフレームの前記第１の領域の前記第１のサンプリングレートを決定するステップは：
オーバーサンプリング比（ＯＲ）が第１のしきい値よりも小さくなるまで、前記第１のサンプリングレートを調整するステップであって、前記ＯＲは、前記第１のサンプリング位置の数と、元々前記メッシュフレームの前記第１の領域にあった頂点の数との間の比である、ステップを含む、
請求項２に記載の方法。

【請求項5】

前記メッシュフレームの前記第１の領域の前記第１のサンプリングレートを決定するステップは：
オーバーサンプリング比（ＯＲ）が第１のしきい値より小さく、第２のしきい値より大きくなるまで前記第１のサンプリングレートを調整するステップであって、前記ＯＲは、前記第１のサンプリング位置の数と、元々前記メッシュフレームの前記第１の領域にあった頂点の数との間の比である、ステップを含む、
請求項２に記載の方法。

【請求項6】

前記１つ以上のサンプリングされた２Ｄマップのサンプリングされた２Ｄマップが、前記ＵＶアトラス上の前記サンプリング位置に対応するサンプリングされたポイントを持つサンプリングされた領域を含み、前記方法はさらに：
前記サンプリング位置がポリゴン内にあることに応答して、サンプリング位置が占有されていると決定するステップと；
前記ポリゴンの頂点の属性に従って、前記サンプリング位置に対応する前記サンプリングされた２Ｄマップ内のサンプリングされたポイントの属性を決定するステップと；
を含む、
請求項１に記載の方法。

【請求項7】

前記１つ以上のサンプリングされた２Ｄマップを形成するステップはさらに：
前記メッシュの前記領域の前記それぞれのサンプリングレートに基づいて、前記メッシュの前記領域に対応するサンプリングされた領域を形成するステップと；
サンプリングされたマップを形成するように、前記サンプリングされた領域を重複しない構成に配置するステップと；
を含む、
請求項１に記載の方法。

【請求項8】

前記サンプリングされた領域を前記重複しない構成に配置するステップは、さらに：
前記サンプリングされた領域のサブセットが前記重複しない構成に配置された後、
現在のサンプリングされた領域について、前記現在のサンプリングされた領域のサンプリングレートに従って初期配置位置を決定するステップと；
前記初期配置位置における前記現在のサンプリングされた領域が、前記サンプリングされた領域の前記サブセットと重複するかどうかを決定するステップと；
を含む、
請求項７に記載の方法。

【請求項9】

前記初期配置位置における前記現在のサンプリングされた領域が前記サンプリングされた領域の前記サブセットと重複することに応答して、前記初期配置位置へのオフセットを決定するステップであって、前記オフセットは、前記現在のサンプリングされた領域が前記サンプリングされた領域の前記サブセットと重複しないことを可能にする、ステップをさらに含む、
請求項８に記載の方法。

【請求項10】

前記重複しない構成は、前記サンプリングされた領域間の最小距離要件を含む、
請求項７に記載の方法。

【請求項11】

第１の領域の第１のサンプリングレートの値を直接前記ビットストリームにエンコードするステップ；
第１のインデックスを前記ビットストリームにエンコードするステップであって、前記第１のインデックスはサンプリングレートのセットからの前記第１のサンプリングレートの選択を示す、ステップ；
事前に確立されたサンプリングレートのセットから前記第１のサンプリングレートを予測する予測子を示すシンタックスをエンコードするステップ；
前記メッシュフレームのエンコードされた領域に対して以前に使用されたサンプリングレートから前記第１のサンプリングレートを予測する予測子を示すシンタックスをエンコードするステップ；および
前記メッシュフレームの前にエンコードされた別のメッシュフレーム内のエンコードされた領域に対して以前に使用されたサンプリングレートから前記第１のサンプリングレートを予測する予測子を示すシンタックスをエンコードするステップ；
のうちの少なくとも１つをさらに含む、
請求項１に記載の方法。

【請求項12】

第１の領域に関連する第１のサンプリングレートをシグナリングするまたは前記第１のサンプリングレートを予測する決定を行うステップ；および
前記決定を示す第１のシンタックス値をエンコードするステップ；
をさらに含む、
請求項１に記載の方法。

【請求項13】

前記第１のサンプリングレートをシグナリングすることである前記決定に応答して、前記方法は：
前記第１のサンプリングレートの値を直接前記ビットストリームにエンコードするステップ；および
インデックスを前記ビットストリームにエンコードするステップであって、前記インデックスは、サンプリングレートのセットからの前記第１のサンプリングレートの選択を示すステップ；
のうちの少なくとも１つを含む、
請求項１２に記載の方法。

【請求項14】

前記第１のサンプリングレートを予測することである前記決定に応答して、前記方法は：
第２のシンタックスを前記ビットストリームにエンコードするステップであって、前記第２のシンタックスは、前記第１のサンプリングレートを予測するために使用する予測子を示す、ステップ、を含む、
請求項１２に記載の方法。

【請求項15】

予測残差を前記ビットストリームにエンコードするステップであって、前記予測残差は、前記第１のサンプリングレートと前記予測子のサンプリングレートとの間の差である、ステップをさらに含む、
請求項１４に記載の方法。

【請求項16】

基本サンプリングレートを前記ビットストリームにエンコードするステップをさらに含む、
請求項１に記載の方法。

【請求項17】

適応２Ｄアトラスサンプリングの有効／無効を示す制御フラグをエンコードするステップをさらに含む、
請求項１に記載の方法。

【請求項18】

前記メッシュフレームの第１の領域に関連付けられる少なくとも第１のＵＶオフセットを決定するステップであって、前記第１のＵＶオフセットは、他のサンプリングされた領域との重複を避けるために前記第１の領域に対応する第１のサンプリングされた領域に適用される、ステップと；
前記第１のＵＶオフセットを示すシンタックスを前記ビットストリームにエンコードするステップと；
をさらに含む、
請求項１に記載の方法。

【請求項19】

前記シンタックスをエンコードするステップはさらに：
前記第１のＵＶオフセットの値を有する前記シンタックスを前記ビットストリームにエンコードするステップ；
事前に確立されたＵＶオフセットのセットに基づいて前記第１のＵＶオフセットを予測する予測子を示す前記シンタックスをエンコードするステップ；
前記メッシュフレームのエンコードされた領域に対して以前に使用されたＵＶオフセットに基づいて前記第１のＵＶオフセットを予測する予測子を示す前記シンタックスをエンコードするステップ；および
前記メッシュフレームの前にエンコードされた別のメッシュフレーム内のエンコードされた領域に対して以前に使用されたＵＶオフセットに基づいて前記第１のＵＶオフセットを予測する予測子を示す前記シンタックスをエンコードするステップ；
のうちの少なくとも１つを含む、
請求項１８に記載の方法。

【請求項20】

メッシュ圧縮をエンコードするための装置であって、前記装置は、請求項１乃至１９のいずれか１項に記載の方法を実行するように構成された処理回路を有する、装置。

【発明の詳細な説明】

【技術分野】

【0001】

［参照による組み込み］
本出願は、2022年9月14日に出願された米国特許出願第１7/944,994号“METHOD AND APPARATUS OF ADAPTIVE SAMPLING FOR MESH COMPRESSION BY ENCODERS”に対する優先権の利益を主張するものであり、これは、2021年10月4日に出願された米国仮出願第63/252,063号"Method and Apparatus of Adaptive Sampling for Mesh Compression by Encoders"および2021年10月4日に出願された米国仮出願第63/252,084号"Method and Apparatus of Adaptive Sampling for Mesh Compression by Decoders"に対する優先権の利益を主張するものである。これらの先行出願の開示全体は、参照によりその全体がここに組み込まれる。

【0002】

本開示は、メッシュコーディングに概して関連する実施形態を説明する。

【背景技術】

【0003】

ここで提供される背景技術の説明は、開示の文脈を概して提示すことを目的としている。現在名前が挙げられている発明者の仕事は、本背景技術の欄に記載されている限りにおいて、また、出願時に先行技術として認められない可能性のある明細書の態様と同様に、本開示に対して明示的にも黙示的にも先行技術として認められるものではない。

【0004】

様々な技術が、３次元（３Ｄ）空間において、ワールド（world）内の物体、ワールド内の環境など、ワールドをキャプチャし、表すための開発されている。ワールドの３Ｄ表現は、より没入型の（immersive）形態のインタラクション（interaction）およびコミュニケーションを可能にする。いくつかの例では、ポイントクラウド（point clouds）およびメッシュをワールドの３Ｄ表現として使用することができる。

【発明の概要】

【0005】

本開示の態様は、メッシュコーディング（例えば、圧縮および解凍（decompression））のための方法および装置を提供する。いくつかの例では、メッシュエンコーディングのための装置が処理回路を含む。処理回路は、オブジェクトのサーフェス（surface）を表すポリゴンを持つメッシュフレームのためのデータ構造を受信する。メッシュフレームのためのデータ構造は、メッシュフレームの頂点をＵＶアトラス（UV atlas）のＵＶ座標に関連付けるＵＶアトラスを含む。処理回路は、メッシュフレームの領域のそれぞれの特性に従ってメッシュフレームの領域のそれぞれのサンプリングレートを決定し、ＵＶアトラス上のサンプリング位置を決定するために、ＵＶアトラスに、メッシュフレームの領域にそれぞれのサンプリングレートを適用する。処理回路は、ＵＶアトラス上のサンプリング位置に従って、メッシュフレームの１つ以上のサンプリングされた２次元（２Ｄ）マップを生成し、１つ以上のサンプリングされた２Ｄマップをビットストリームにエンコードする。

【0006】

メッシュフレームの領域のそれぞれのサンプリングレートを決定するために、いくつかの例では、処理回路は、第１の領域の第１のサンプリング位置の数を制限する要件に従って、メッシュフレームの第１の領域の第１のサンプリングレートを決定する。一例では、処理回路は、ターゲット値に最も近いオーバーサンプリング比（ＯＲ）を達成するように第１のサンプリングレートを決定する。ＯＲは、第１のサンプリング位置の数と、元々メッシュフレームの第１の領域にあった頂点の数との比である。別の例では、処理回路は、オーバーサンプリング比（ＯＲ）が第１のしきい値より小さくなるまで、第１のサンプリングレートを調整する。別の例では、処理回路は、オーバーサンプリング比（ＯＲ）が第１のしきい値より小さく且つ第２のしきい値より大きくなるまで、第１のサンプリングレートを調整する。

【0007】

いくつかの実施形態では、１つ以上のサンプリングされた２Ｄマップのうちのサンプリングされた２Ｄマップは、ＵＶアトラス上のサンプリング位置に対応するサンプリングされたポイントを持つサンプリングされた領域を含む。処理回路は、サンプリング位置がポリゴン内にあることに応答してサンプリング位置が占有されていることを決定し；ポリゴンの頂点の属性に従って、サンプリング位置に対応するサンプリングされた２Ｄマップ内のサンプリングされたポイントの属性を決定する。

【0008】

１つ以上のサンプリングされた２Ｄマップを形成するために、いくつかの例では、処理回路は、メッシュの領域のそれぞれのサンプリングレートに基づいて、メッシュの領域に対応するサンプリングされた領域を形成し、サンプリングされたマップを形成するようにサンプリングされた領域を重複しない構成（non-overlapping configuration）に配置する。

【0009】

サンプリング領域を重複しない構成に配置するために、いくつかの例では、サンプリングされた領域のサブセットが重複しない構成に配置された後、処理回路は、現在のサンプリングされた領域について、現在のサンプリングされた領域のサンプリングレートに従って初期配置位置を決定し、初期配置位置の現在のサンプリングされた領域がサンプリングされた領域のサブセットと重複するかどうかを決定する。一例では、サンプリングされた領域のサブセットと重複する初期配置位置の現在のサンプリングされた領域に応答して、処理回路は、初期配置位置へのオフセットを決定し、オフセットは、現在のサンプリングされた領域がサンプリングされた領域のサブセットと重複しないようにされることを可能にする。

【0010】

いくつかの実施形態では、重複しない構成は、サンプリングされた領域間の最小距離要件を含む。

【0011】

一例では、処理回路は、第１の領域の第１のサンプリングレートの値を直接ビットストリームにエンコードする。別の例では、処理回路は、第１のインデックスをビットストリームにエンコードし、第１のインデックスは、サンプリングレートのセットからの第１のサンプリングレートの選択を示す。別の例では、処理回路は、事前に確立されたサンプリングレートのセットから第１のサンプリングレートを予測するための予測子（predictor）を示すシンタックス（syntax）をエンコードする。別の例では、処理回路は、メッシュフレームのエンコードされた領域に対して以前に使用されたサンプリングレートから第１のサンプリングレートを予測するための予測子を示すシンタックスをエンコードする。別の例では、処理回路は、メッシュフレームの前にエンコードされた別のメッシュフレームのエンコードされた領域に対して以前に使用されたサンプリングレートから第１のサンプリングレートを予測するための予測子を示すシンタックスをエンコードする。

【0012】

いくつかの実施形態では、処理回路は、第１の領域に関連付けられた第１のサンプリングレートをシグナリングする（signal）または第１のサンプリングレートを予測する決定を行い、その決定を示す第１のシンタックス値をエンコードする。

【0013】

いくつかの例では、第１のサンプリングレートをシグナリングする決定に応答して、処理回路は、第１のサンプリングレートの値を直接ビットストリームにエンコードすることができるまたはインデックスをビットストリームにエンコードすることができ、インデックスはサンプリングレートのセットからの第１のサンプリングレートの選択を示す。

【0014】

いくつかの例では、第１のサンプリングレートを予測する決定に応答して、処理回路は、第２のシンタックスをビットストリームにエンコードすることができ、第２のシンタックスは第１のサンプリングレートを予測するために使用する予測子を示す。さらに、一例では、処理回路は、予測残差をビットストリームにエンコードする。予測残差は、第１のサンプリングレートと予測子のサンプリングレートとの間の差である。

【0015】

いくつかの例では、処理回路は、基本サンプリングレートをビットストリームにエンコードする。

【0016】

いくつかの例では、処理回路は、適応２Ｄアトラスサンプリング（adaptive 2D atlas sampling）の有効化／無効化が許可されていることを示す制御フラグをエンコードする。

【0017】

いくつかの例では、処理回路は、メッシュフレームの第１の領域に関連付けられた少なくとも第１のＵＶオフセットを決定する。第１のＵＶオフセットは、他のサンプリング領域との重複を避けるために、第１の領域に対応する第１のサンプリング領域に適用される。処理回路は、第１のＵＶオフセットを示すシンタックスをビットストリームにエンコードする。一例では、処理回路は、第１のＵＶオフセットの値を持つシンタックスをビットストリームにエンコードする。別の例では、処理回路は、事前に確立されたＵＶオフセットのセットに基づいて第１のＵＶオフセットを予測する予測子を示すシンタックスをエンコードする。別の例では、処理回路は、メッシュフレームのエンコードされた領域に対して以前に使用されたＵＶオフセットに基づいて第１のＵＶオフセットを予測する予測子を示すシンタックスをエンコードする。別の例では、処理回路は、メッシュフレームの前にエンコードされた別のメッシュフレームのエンコードされた領域に対して以前に使用されたＵＶオフセットに基づいて第１のＵＶオフセットを予測する予測子を示すシンタックスをエンコードする。

【0018】

本開示の態様はまた、コンピュータによって実行されるときコンピュータにメッシュコーディングのための方法のいずれかまたは組み合わせを実行させる命令を格納する非一時的コンピュータ可読媒体を提供する。

【図面の簡単な説明】

【0019】

開示された主題のさらなる特徴、性質、および様々な利点は、以下の詳細な説明および添付の図面からより明らかになる。

【0020】

【図1】いくつかの例における通信システムのブロック図を示す。

【0021】

【図2】いくつかの例におけるストリーミングシステムのブロック図を示す。

【0022】

【図3】いくつかの例におけるポイントクラウドフレームをエンコードするためのエンコーダのブロック図を示す。

【0023】

【図4】いくつかの例におけるポイントクラウドフレームに対応する圧縮ビットストリームをデコードするためのデコーダのブロック図を示す。

【0024】

【図5】いくつかの例におけるビデオデコーダのブロック図を示す。

【0025】

【図6】いくつかの例におけるビデオエンコーダのブロック図を示す。

【0026】

【図7】いくつかの例におけるポイントクラウドフレームをエンコードするエンコーダのブロック図を示す。

【0027】

【図8】いくつかの例におけるポイントクラウドフレームを運ぶ圧縮ビットストリームをデコードするデコーダのブロック図を示す。

【0028】

【図9】いくつかの例にけるメッシュのアトラスへのマッピングを示す図を示す。

【0029】

【図10】いくつかの例におけるダウンサンプリングを示す図を示す。

【0030】

【図11】本開示のいくつかの実施形態によるメッシュ圧縮のフレームワークの図を示す。

【0031】

【図12】いくつかの例における適応サンプリングの図を示す。

【0032】

【図13】いくつかの例における適応サンプリングの図を示す。

【0033】

【図14】いくつかの例におけるプロセス例の概要を示すフローチャートを示す。

【0034】

【図15】いくつかの例におけるプロセス例の概要を示すフローチャートを示す。

【0035】

【図16】いくつかの例におけるコンピュータシステムの概略図である。

【発明を実施するための形態】

【0036】

本開示の態様は、３次元（３Ｄ）メディア処理の分野における技術を提供する。

【0037】

３次元（３Ｄ）キャプチャ、３Ｄモデリング、および３Ｄレンダリングの進歩など、３Ｄメディア処理における技術開発は、いくつかのプラットフォームおよびデバイスにわたって３Ｄメディアコンテンツのユビキタスな存在を促進した。一例では、赤ちゃんの第一歩をある大陸でキャプチャすることができ、メディア技術は祖父母が別の大陸で赤ちゃんとの没入体験を視聴（および場合によっては交流）して楽しむことを可能にする。開示の一態様によると、没入体験を向上させるために、３Ｄモデルはますます洗練されてきており、３Ｄモデルの作成と消費は、データストレージ、データ伝送リソースなど、かなりの量のデータリソースを占めている。

【0038】

本開示のいくつかの態様によると、ポイントクラウドおよびメッシュを、没入型コンテンツ（immersive contents）を表現するために３Ｄモデルとして使用することができる。

【0039】

ポイントクラウドは、一般に、色、材料特性、テクスチャ情報、強度属性、反射属性、モーション関連属性、モダリティ属性、およびその他のさまざまな属性などの関連属性を持つ、３Ｄ空間内のポイント（points）のセットを指し得る。ポイントクラウドは、そのようなポイントの構成（composition）としてオブジェクトまたはシーンを再構築するために使用することができる。

【0040】

オブジェクトのメッシュ（メッシュモデルとも呼ばれる）は、オブジェクトのサーフェスを記述するポリゴンを含むことができる。各ポリゴンは、３Ｄ空間内のポリゴンの頂点と、頂点がポリゴンにどのように接続されているかの情報によって定義することができる。頂点がどのように接続されているかの情報は、接続情報と呼ばれる。いくつかの例では、メッシュはまた、頂点に関連付けられた色、法線などの属性を含むことができる。

【0041】

本開示のいくつかの態様によると、ポイントクラウド圧縮（ＰＣＣ）のためのいくつかのコーディングツールをメッシュ圧縮に使用することができる。例えば、メッシュは、新しいメッシュの接続情報を推測することができる新しいメッシュを生成するために、再メッシュされることができる。新しいメッシュの頂点、および新しいメッシュの頂点に関連付けられた属性は、ポイントクラウド内のポイントと見なすことができ、ＰＣＣコーデックを使用して圧縮されることができる。

【0042】

ポイントクラウドは、オブジェクトまたはシーンをポイントの構成として再構築するために使用することができる。ポイントは、複数のカメラ、深度センサ、またはライダー（Lidar）をさまざまな設定で使用してキャプチャすることができ、再構築されたシーンまたはオブジェクトをリアルに表現するために、数千から数十億のポイントで構成される場合がある。パッチが、概して、ポイントクラウドによって記述されるサーフェスの連続したサブセットを指す場合がある。一例では、パッチは、しきい値量未満で互いにずれているサーフェス（表面）法線ベクトルを持つポイントを含む。

【0043】

ＰＣＣは、Ｇ－ＰＣＣと呼ばれるジオメトリベースのスキーム、Ｖ－ＰＣＣと呼ばれるビデオコーディングベースのスキームなど、さまざまなスキームに従って実行することができる。本開示のいくつかの態様によると、Ｇ－ＰＣＣは３Ｄジオメトリを直接エンコードし、ビデオコーディングと共有することがあまりない純粋にジオメトリベースのアプローチであり、Ｖ－ＰＣＣはビデオコーディングに大きく基づいている。例えば、Ｖ－ＰＣＣは３Ｄクラウドのポイントを２Ｄグリッド（イメージ）のピクセルにマッピングすることができる。Ｖ－ＰＣＣスキームは、ポイントクラウド圧縮のために汎用ビデオコーデックを利用することができる。本開示におけるＰＣＣコーデック（エンコーダ／デコーダ）は、Ｇ－ＰＣＣコーデック（エンコーダ／デコーダ）またはＶ－ＰＣＣコーデックとすることができる。

【0044】

本開示の一態様によると、Ｖ－ＰＣＣスキームは、ポイントクラウドのジオメトリ、占有率（occupancy）およびテクスチャを３つの別個のビデオシーケンスとして圧縮するために、既存のビデオコーデックを使用することができる。３つのビデオシーケンスを解釈するために必要な追加のメタデータは、別々に圧縮される。全体のビットストリームのごく一部がメタデータであり、これは、一例ではソフトウェア実装を使用して効率的にエンコード／デコードできる。情報の大部分はビデオコーデックによって処理される。

【0045】

図１は、いくつかの例における通信システム（１００）のブロック図を示す。通信システム（１００）は、例えばネットワーク（１５０）を介して相互に通信できる複数の端末装置を含む。例えば、通信システム（１００）は、ネットワーク（１５０）を介して相互に接続された端末装置（１１０）と（１２０）のペアを含む。図１の例では、端末装置（１１０）と（１２０）の第１のペアは、ポイントクラウドデータの単方向伝送を行い得る。例えば、端末装置（１１０）は、端末装置（１１０）と接続されたセンサ（１０５）によってキャプチャされたポイントクラウド（例えば、構造を表すポイント）を圧縮し得る。圧縮されたポイントクラウドは、例えばビットストリームの形で、ネットワーク（１５０）を介して他の端末装置（１２０）に送信されることができる。端末装置（１２０）は、ネットワーク（１５０）から圧縮されたポイントクラウドを受信し、ポイントクラウドを再構築するためにビットストリームを解凍し、再構築されたポイントクラウドを適切に表示し得る。一方向データ伝送は、メディアサービスアプリケーションなどで一般的である。

【0046】

図１の例では、端末装置（１１０）および（１２０）は、サーバ、およびパーソナルコンピュータとして図示されることができるが、本開示の原理はそのように限定されない。本開示の実施形態は、ラップトップコンピュータ、タブレットコンピュータ、スマートフォン、ゲーム端末、メディアプレーヤー、および／または専用の３次元（３Ｄ）機器での適用を見出す。ネットワーク（１５０）は、端末装置（１１０）と（１２０）との間で圧縮されたポイントクラウドを送信する任意の数のネットワークを表す。ネットワーク（１５０）は、例えばワイヤライン（有線）および／または無線通信ネットワークを含むことができる。ネットワーク（１５０）は、回線交換チャネルおよび／またはパケット交換チャネルでデータを交換し得る。代表的なネットワークは、電気通信ネットワーク、ローカルエリアネットワーク、ワイドエリアネットワーク、インターネットなどを含む。

【0047】

図２は、いくつかの例におけるストリーミングシステム（２００）のブロック図を示す。ストリーミングシステム（２００）は、ポイントクラウドの利用アプリケーションである。開示された主題は、３Ｄテレプレゼンスアプリケーション、仮想現実アプリケーションなど、他のポイントクラウド対応アプリケーションに同様に適用可能であることができる。

【0048】

ストリーミングシステム（２００）は、キャプチャサブシステム（２１３）を含み得る。キャプチャサブシステム（２１３）は、ポイントクラウドソース（２０１）、例えば非圧縮のポイントクラウド（２０２）を生成する、例えば光検出および測距（ライダー）システム、三次元カメラ、三次元スキャナ、ソフトウェアで非圧縮のポイントクラウドを生成するグラフィックス生成コンポーネントなどを含むことができる。一例では、ポイントクラウド（２０２）は３Ｄカメラによってキャプチャされるポイントを含む。ポイントクラウド（２０２）は、圧縮されたポイントクラウド（２０４）（圧縮されたポイントクラウドのビットストリーム）と比較して高いデータ量を強調するために太線で示されている。圧縮されたポイントクラウド（２０４）は、ポイントクラウドソース（２０１）に結合されたエンコーダ（２０３）を含む電子デバイス（２２０）によって生成することができる。エンコーダ（２０３）は、以下により詳細に説明されるように、開示された主題の態様を有効化または実装するために、ハードウェア、ソフトウェア、またはそれらの組み合わせを含むことができる。圧縮されたポイントクラウド（２０４）（または圧縮されたポイントクラウドのビットストリーム（２０４））は、ポイントクラウド（２０２）のストリームと比較して低いデータ量を強調するために細い線として表現され、将来の使用のためにストリーミングサーバ（２０５）に格納することができる。図２のクライアントサブシステム（２０６）および（２０８）などの１つ以上のストリーミングクライアントサブシステムは、圧縮されたポイントクラウド（２０４）のコピー（２０７）および（２０９）を取得するために、ストリーミングサーバ（２０５）にアクセスすることができる。クライアントサブシステム（２０６）は、例えば電子デバイス（２３０）にデコーダ（２１０）を含むことができる。デコーダ（２１０）は、圧縮されたポイントクラウドの入ってくる（incoming）コピー（２０７）をデコードし、レンダリングデバイス（２１２）でレンダリングできる再構築されたポイントクラウド（２１１）の出ていく（outgoing）ストリームを作成する。

【0049】

電子デバイス（２２０）および（２３０）は、他のコンポーネント（図示せず）を含むことができることが留意される。例えば、電子デバイス（２２０）は、デコーダ（図示せず）を含むことができ、電子デバイス（２３０）はエンコーダ（図示せず）を含むこともでる。

【0050】

一部のストリーミングシステムでは、圧縮されたポイントクラウド（２０４）、（２０７）および（２０９）（例えば、圧縮されたポイントクラウドのビットストリーム）を特定の標準に従って圧縮することができる。いくつかの例では、ポイントクラウドの圧縮にビデオコーディング標準が使用される。これらの標準の例は、高効率ビデオコーディング（ＨＥＶＣ）、バーサタイルビデオコーディング（ＶＶＣ）などを含む。

【0051】

図３は、いくつかの実施形態による、ポイントクラウドフレームをエンコードするためのＶ－ＰＣＣエンコーダ（３００）のブロック図を示している。いくつかの実施形態では、Ｖ－ＰＣＣエンコーダ（３００）を通信システム（１００）およびストリーミングシステム（２００）で使用することができる。例えば、エンコーダ（２０３）は、Ｖ－ＰＣＣエンコーダ（３００）と同様の方法で構成および動作することができる。

【0052】

Ｖ－ＰＣＣエンコーダ（３００）は、ポイントクラウドフレームを非圧縮入力として受信し、圧縮されたポイントクラウドフレームに対応するビットストリームを生成する。いくつかの実施形態では、Ｖ－ＰＣＣエンコーダ（３００）は、ポイントクラウドソース（２０１）などのポイントクラウドソースからポイントクラウドフレームを受信し得る。

【0053】

図３の例では、Ｖ－ＰＣＣエンコーダ（３００）は、パッチ生成モジュール（３０６）、パッチパッキングモジュール（３０８）、ジオメトリイメージ生成モジュール（３１０）、テクスチャイメージ生成モジュール（３１２）、パッチ情報モジュール（３０４）、占有率（occupancy）マップモジュール（３１４）、スムージングモジュール（３３６）、イメージパディングモジュール（３１６）および（３１８）、グループ拡張モジュール（３２０）、ビデオ圧縮モジュール（３２２）、（３２３）および（３３２）、補助パッチ情報圧縮モジュール（３３８）、エントロピー圧縮モジュール（３３４）、マルチプレクサ（３２４）を含む。

【0054】

本開示の一態様によると、Ｖ－ＰＣＣエンコーダ（３００）は、圧縮されたポイントクラウドを解凍されたポイントクラウドに変換して戻すために使用されるいくつかのメタデータ（例えば、占有率マップおよびパッチ情報）とともに、３Ｄポイントクラウドフレームをイメージベースの表現に変換する。いくつかの例では、Ｖ－ＰＣＣエンコーダ（３００）は、３Ｄポイントクラウドフレームをジオメトリイメージ、テクスチャイメージおよび占有率マップに変換し、その後、ジオメトリイメージ、テクスチャイメージおよび占有率マップをビットストリームにエンコードするためにビデオコーディング技術を使用することができる。概して、ジオメトリイメージは、ピクセルに投影されたポイントに関連付けられたジオメトリ値で満たされた（filled）ピクセルを持つ２Ｄイメージであり、ジオメトリ値で満たされたピクセルをジオメトリサンプルと呼ぶことができる。テクスチャイメージは、ピクセルに投影されたポイントに関連付けられたテクスチャ値で満たされたピクセルを持つ２Ｄイメージであり、テクスチャ値で満たされたピクセルをテクスチャサンプルと呼ぶことができる。占有率マップは、パッチによって占有または占有されていないことを示す値で満たされたピクセルを持つ２Ｄイメージである。

【0055】

パッチ生成モジュール（３０６）は、ポイントクラウドをパッチのセット（例えば、パッチはポイントクラウドによって記述されるサーフェスの連続したサブセットとして定義される）にセグメント化し、これは、各パッチが２Ｄ空間内の平面に対する深度フィールドによって記述され得るように、パッチは重複していてもいなくてもよい。いくつかの実施形態では、パッチ生成モジュール（３０６）は、再構築エラーを最小限に抑えながら、スムーズな境界を持つパッチの最小数にポイントクラウドを分解することを目的としている。

【0056】

いくつかの例では、パッチ情報モジュール（３０４）は、パッチのサイズおよび形状を示すパッチ情報を収集することができる。いくつかの例では、パッチ情報は、イメージフレームにパックされ、その後、圧縮された補助パッチ情報を生成するために補助パッチ情報圧縮モジュール（３３８）によってエンコードされることができる。

【0057】

いくつかの例では、パッチパッキングモジュール（３０８）は、未使用スペースを最小限に抑え、グリッドのすべてのＭ×Ｍ（例えば、１６×１６）ブロックがユニークなパッチに関連付けられることを保証しながら、抽出されたパッチを２次元（２Ｄ）グリッドにマップするように構成される。効率的なパッチパッキングは、未使用スペースを最小限に抑えるまたは時間的一貫性を確保することによって、圧縮効率に直接影響を与えることができる。

【0058】

ジオメトリイメージ生成モジュール（３１０）は、所与のパッチ位置でポイントクラウドのジオメトリに関連付けられた２Ｄジオメトリイメージを生成することができる。テクスチャイメージ生成モジュール（３１２）は、所与のパッチ位置でポイントクラウドのテクスチャに関連付けられた２Ｄテクスチャイメージを生成することができる。ジオメトリイメージ生成モジュール（３１０）およびテクスチャイメージ生成モジュール（３１２）は、ポイントクラウドのジオメトリおよびテクスチャをイメージとして格納するために、パッキングプロセス中に計算された３Ｄから２Ｄへのマッピングを利用する。複数のポイントが同じサンプルに投影される場合をより適切に処理するために、各パッチはレイヤーと呼ばれる２つのイメージに投影される。一例では、ジオメトリイメージは、ＹＵＶ ４２０－８ビット形式のＷｘＨの単色フレームで表される。テクスチャイメージを生成するために、再サンプリングされたポイントに関連付けられる色を計算するために、テクスチャ生成プロシージャは再構築／スムージングされた（smoothed）ジオメトリを利用する。

【0059】

占有率マップモジュール（３１４）は、各ユニットのパディング情報を記述する占有率マップを生成することができる。例えば、占有率イメージは、グリッドの各セルについて、セルが空のスペースに属しているかポイントクラウドに属しているかを示すバイナリマップを含む。一例では、占有率マップは、各ピクセルについて、ピクセルがパディングされているか否かを記述するバイナリ情報を使用する。別の例では、占有率マップは、ピクセルの各ブロックについて、ピクセルのブロックがパディングされているか否かを記述するバイナリ情報を使用する。

【0060】

占有率マップモジュール（３１４）によって生成された占有率マップは、ロスレスコーディング（lossless coding）またはロッシーコーディング（lossy coding）を使用して圧縮することができる。ロスレスコーディングを使用する場合、エントロピー圧縮モジュール（３３４）は、占有率マップを圧縮するために使用される。ロッシーコーディングを使用する場合、ビデオ圧縮モジュール（３３２）は、占有率マップを圧縮するために使用される。

【0061】

パッチパッキングモジュール（３０８）は、イメージフレームにパックされた２Ｄパッチの間にいくつかの空のスペースを残す可能性があることが留意される。イメージパディングモジュール（３１６）および（３１８）は、２Ｄビデオおよびイメージコーデックに適し得るイメージフレームを生成するために、空のスペースを埋めることができる（パディングと呼ばれる）。イメージパディングは、冗長な情報で未使用のスペースを埋めることができるバックグラウンド充填（background filling）とも呼ばれる。いくつかの例では、良好なバックグラウンド充填は、ビットレートを最小限に増加させる一方で、パッチ境界の周りに重大なコーディングの歪みを導入しない。

【0062】

ビデオ圧縮モジュール（３２２）、（３２３）、（３３２）は、ＨＥＶＣ、ＶＶＣなどの適切なビデオコーディング標準に基づいて、パディングされたジオメトリイメージ、パディングされたテクスチャイメージ、占有率マップなどの２Ｄイメージをエンコードすることができる。一例では、ビデオ圧縮モジュール（３２２）、（３２３）、（３３２）は、個別に動作する個々のコンポーネントである。ビデオ圧縮モジュール（３２２）、（３２３）、（３３２）は、別の例では、単一のコンポーネントとして実装することができることが留意される。

【0063】

いくつかの例では、スムージングモジュール（３３６）が、再構築されたジオメトリイメージのスムージングされたイメージを生成するように構成される。スムージングされたイメージは、テクスチャイメージ生成（３１２）に提供できる。次に、テクスチャイメージ生成（３１２）は、再構築されたジオメトリイメージに基づいてテクスチャイメージの生成を調整し得る。例えば、エンコードおよびデコード中にパッチシェイプ（例えば、ジオメトリ）がわずかに歪んだ場合、その歪みは、パッチシェイプの歪みを補正するために、テクスチャイメージを生成するときに考慮され得る。

【0064】

いくつかの実施形態では、グループ拡張（３２０）は、再構築されたポイントクラウドの視覚的品質だけでなく、コーディングゲインを改善するために、冗長な低周波コンテンツを持つオブジェクト境界の周囲のピクセルをパディングするように構成される。

【0065】

マルチプレクサ（３２４）は、圧縮されたジオメトリイメージ、圧縮されたテクスチャイメージ、圧縮された占有率マップ、圧縮された補助パッチ情報を圧縮されたビットストリームに多重化することができる。

【0066】

図４は、いくつかの例において、ポイントクラウドフレームに対応する圧縮されたビットストリームをデコードするためのＶ－ＰＣＣデコーダ（４００）のブロック図を示す。いくつかの例では、Ｖ－ＰＣＣデコーダ（４００）は、通信システム（１００）およびストリーミングシステム（２００）で使用することができる。例えば、デコーダ（２１０）は、Ｖ－ＰＣＣデコーダ（４００）と同様の方法で動作するように構成することができる。Ｖ－ＰＣＣデコーダ（４００）は、圧縮されたビットストリームを受信し、圧縮されたビットストリームに基づいて再構築されたポイントクラウドを生成する。

【0067】

図４の例では、Ｖ－ＰＣＣデコーダ（４００）は、デマルチプレクサ（４３２）
、ビデオ解凍モジュール（４３４）および（４３６）、占有率マップ解凍モジュール（４３８）、補助パッチ情報解凍モジュール（４４２）、ジオメトリ再構築モジュール（４４４）、スムージングモジュール（４４６）、テクスチャ再構築モジュール（４４８）およびカラースムージングモジュール（４５２）を含む。

【0068】

デマルチプレクサ（４３２）は、圧縮されたビットストリームを受信し、圧縮されたテクスチャイメージ、圧縮されたジオメトリイメージ、圧縮された占有率マップ、および圧縮された補助パッチ情報に分離することができる。

【0069】

ビデオ圧縮モジュール（４３４）および（４３６）は、適切な標準（例えば、ＨＥＶＣ、ＶＶＣなど）に従って圧縮されたイメージをデコードし、解凍されたイメージを出力することができる。例えば、ビデオ解凍モジュール（４３４）は、圧縮されたテクスチャイメージをデコードし、解凍されたテクスチャイメージを出力する。ビデオ解凍モジュール（４３６）は、圧縮されたジオメトリイメージをデコードし、解凍されたジオメトリイメージを出力する。

【0070】

占有率マップ解凍モジュール（４３８）は、適切な標準（例えば、ＨＥＶＣ、ＶＶＣなど）に従って圧縮された占有率マップをデコードし、解凍された占有率マップを出力することができる。

【0071】

補助パッチ情報解凍モジュール（４４２）は、適切な標準（例えば、ＨＥＶＣ、ＶＶＣなど）に従って圧縮された補助パッチ情報をデコードし、解凍された補助パッチ情報を出力することができる。

【0072】

ジオメトリ再構築モジュール（４４４）は、解凍されたジオメトリイメージを受信し、解凍された占有率マップおよび解凍された補助パッチ情報に基づいて再構築されたポイントクラウドジオメトリを生成することができる。

【0073】

スムージングモジュール（４４６）は、パッチのエッジで不一致（incongruences）をスムージングすることができる。スムージング手順は、圧縮アーティファクトによってパッチ境界で発生する可能性のある潜在的な不連続性を緩和することを目的としている。いくつかの実施形態では、スムージングフィルタが、圧縮／解凍によって発生する可能性のある歪みを緩和するために、パッチ境界に位置するピクセルに適用され得る。

【0074】

テクスチャ再構築モジュール（４４８）は、解凍されたテクスチャイメージおよびスムージングジオメトリに基づいて、ポイントクラウド内のポイントのテクスチャ情報を決定することができる。

【0075】

カラースムージングモジュール（４５２）は、カラーリングの不一致をスムージングすることができる。３Ｄ空間の隣接しないパッチは、しばしば、２Ｄビデオでは互いに隣接してパックされる。いくつかの例では、隣接しないパッチからのピクセル値がブロックベースのビデオコーデックによって混同されることがある。カラースムージングの目的は、パッチ境界に現れる目に見えるアーティファクトを減らすことである。

【0076】

図５は、いくつかの例におけるビデオデコーダ（５１０）のブロック図を示している。ビデオデコーダ（５１０）は、Ｖ－ＰＣＣデコーダ（４００）で使用することができる。例えば、ビデオ解凍モジュール（４３４）および（４３６）、占有率マップ解凍モジュール（４３８）は、ビデオデコーダ（５１０）として同様に構成することができる。

【0077】

ビデオデコーダ（５１０）は、コーディングされたビデオシーケンスなどの圧縮イメージからシンボル（５２１）を再構築するパーサ（５２０）を含み得る。これらのシンボルのカテゴリは、ビデオデコーダ（５１０）の動作を管理するために使用される情報を含む。パーサ（５２０）は、受信されたコーディングされたビデオシーケンスを解析／エントロピーデコードすることができる。コーディングされたビデオシーケンスのコーディングは、ビデオコーディング技術または標準に従うことができ、可変長コーディング、ハフマンコーディング、コンテキスト感度有りのまたは無しの算術コーディングなど、さまざまな原理に従うことができる。パーサ（５２０）は、グループに対応する少なくとも１つのパラメータに基づいて、ビデオデコーダ内のピクセルのサブグループの少なくとも１つのサブグループパラメータのセットを、コード化されたビデオシーケンスから抽出し得る。サブグループは、ピクチャのグループ（Group of Pictures）（GOP）、ピクチャ、タイル、スライス、マクロブロック、コーディングユニット（Coding Units）（ＣＵ）、ブロック、変換ユニット（Transform Units）（TU）、予測ユニット（Prediction Units）（ＰＵ）などを含むことができる。パーサ（５２０）は、また、変換係数、量子化パラメータ値、動きベクトルなどのコーディングされたビデオシーケンス情報から抽出され得る。

【0078】

パーサ（５２０）は、シンボル（５２１）を作成するために、バッファメモリから受信したビデオシーケンスに対してエントロピーデコーディング／解析動作を実行し得る。

【0079】

シンボル（５２１）の再構築は、コーディングされたビデオピクチャまたはその一部（インターおよびイントラピクチャ、インターおよびイントラブロックなど）の種類、およびその他の要因に応じて、複数の異なるユニットを含むことができる。どのユニットが関与し、どのように関与するかは、パーサ（５２０）によってコーディングされたビデオシーケンスから解析されたサブグループ制御情報によって制御することができる。パーサ（５２０）と以下の複数のユニットとの間のこのようなサブグループ制御情報の流れは、明確にするために描かれていない。

【0080】

既に述べた機能ブロックを超えて、ビデオデコーダ（５１０）は、以下に説明するように、概念的にいくつかの機能ユニットに細分化することができる。商業的制約の下で動作する実用的な実装では、これらのユニットの多くは、相互に密接に相互作用し、少なくとも部分的には相互に統合することができる。しかし、開示された主題を説明する目的では、以下の機能ユニットへの概念的な細分化が適切である。

【0081】

第１のユニットは、スケーラ／逆変換ユニット（５５１）である。スケーラ／逆変換ユニット（５５１）は、量子化された変換係数だけでなく、どの変換を使用するか、ブロックサイズ、量子化係数、量子化スケーリング行列などをシンボル（複数可）（５２１）として含む制御情報をパーサ（５２０）から受信する。スケーラ／逆変換ユニット（５５１）は、アグリゲータ（５５５）に入力されることができるサンプル値を含むブロックを出力することができる。

【0082】

場合によっては、スケーラ／逆変換（５５１）の出力サンプルは、イントラコーディングされたブロックに関係することができる；すなわち：以前に再構築されたピクチャからの予測情報を使用していないが、現在のピクチャの以前に再構築された部分からの予測情報を使用することができるブロック。このような予測情報は、イントラピクチャ予測ユニット（５５２）によって提供することができる。場合によっては、イントラピクチャ予測ユニット（５５２）は、現在のピクチャバッファ（５５８）からフェッチされた（fetched）周囲の既に再構築された情報を使用して、再構築中のブロックと同じサイズおよび形状のブロックを生成する。現在のピクチャバッファ（５５８）は、例えば、部分的に再構築された現在のピクチャおよび／または完全に再構築された現在のピクチャをバッファする。アグリゲータ（５５５）は、場合によっては、スケーラ／逆変換ユニット（５５１）によって提供される出力サンプル情報に、イントラ予測ユニット（５５２）が生成した予測情報を、サンプルベースで追加する。

【0083】

他の場合には、スケーラ／逆変換ユニット（５５１）の出力サンプルは、インターコーディングされた、潜在的に動き補償ブロックに関係することができる。このような場合、動き補償予測ユニット（５５３）は、予測に使用されるサンプルをフェッチするために参照ピクチャメモリ（５５７）にアクセスすることができる。ブロックに関連するシンボル（５２１）に従って、フェッチされたサンプルを動き補償した後、これらのサンプルは、出力サンプル情報を生成するために、アグリゲータ（５５５）によってスケーラ／逆変換ユニット（５５１）の出力（この場合、残差サンプルまたは残差信号と呼ばれる）に追加することができる。動き補償予測ユニット（５５３）が予測サンプルをフェッチする参照ピクチャメモリ（５５７）内のアドレスは、動きベクトルによって制御することができ、例えばＸ、Ｙ、および参照ピクチャコンポーネントを有することができるシンボル（５２１）の形式で動き補償予測ユニット（５５３）に利用可能であることができる。動き補償は、また、サブサンプルの正確な動きベクトルが使用されているときに参照ピクチャメモリ（５５７）からフェッチされたサンプル値の補間、動きベクトル予測メカニズムなどを含むことができる。

【0084】

アグリゲータ（５５５）の出力サンプルは、ループフィルタユニット（５５６）でさまざまなループフィルタリング技術の対象とすることができる。ビデオ圧縮技術は、コーディングされたビデオシーケンス（コーディングされたビデオビットストリームとも呼ばれる）に含まれるパラメータによって制御され、パーサ（５２０）からシンボル（５２１）としてループフィルタユニット（５５６）に利用可能にされるインループフィルタ技術を含むことができるが、コーディングされたピクチャまたはコーディングされたビデオシーケンスの以前の（デコード順の）部分のデコード中に取得されたメタ情報に応答したり、以前に再構築されループフィルタリングされたサンプル値に応答したりすることもできる。

【0085】

ループフィルタユニット（５５６）の出力は、レンダーデバイスに出力できるだけでなく、将来のインターピクチャ予測で使用するために参照ピクチャメモリ（５５７）に格納することができるサンプルストリームにすることができる。

【0086】

特定のコーディングされたピクチャは、完全に再構築されると、将来の予測のための参照ピクチャとして使用することができる。例えば、現在のピクチャに対応するコーディングされたピクチャが完全に再構築され、コーディングされたピクチャが参照ピクチャとして識別されたら（例えばパーサ（５２０）によって）、現在のピクチャバッファ（５５８）を参照ピクチャメモリ（５５７）の一部にすることができ、次のコーディングされたピクチャの再構築を開始する前に新しい現在のピクチャバッファを再割り当てすることができる。

【0087】

ビデオデコーダ（５１０）は、ITU-T推奨H.265などの標準で、所定のビデオ圧縮技術に従ってデコード操作を実行することができる。コーディングされたビデオシーケンスは、コーディングされたビデオシーケンスがビデオ圧縮技術または標準のシンタックスおよびビデオ圧縮技術または標準に記載されているプロファイルの両方に準拠しているという意味で、使用されているビデオ圧縮技術または標準によって指定されたシンタックスに準拠し得る。具体的には、プロファイルは、ビデオ圧縮技術または標準で使用可能なすべてのツールから、そのプロファイルで使用可能な唯一のツールとして特定のツールを選択できる。また、コンプライアンスに必要なのは、コーディングされたビデオシーケンスの複雑さが、ビデオ圧縮技術または標準のレベルによって定義される範囲内にあることであることができる。場合によっては、レベルは、最大ピクチャサイズ、最大フレームレート、最大再構築サンプルレート（例えばメガサンプル／秒などで測定される）、最大参照ピクチャサイズなどを制限する。レベルによって設定された制限は、場合によっては、コーディングされたビデオシーケンスでシグナリングされる（signaled）仮想参照デコーダ（ＨＲＤ）仕様およびＨＲＤバッファ管理のためのメタデータによってさらに制限されることができる。

【0088】

図６は、本開示の一実施形態によるビデオエンコーダ（６０３）のブロック図を示す。ビデオエンコーダ（６０３）は、ポイントクラウドを圧縮するＶ－ＰＣＣエンコーダ（３００）で使用することができる。一例では、ビデオ圧縮モジュール（３２２）および（３２３）、並びにビデオ圧縮モジュール（３３２）は、エンコーダ（６０３）と同様に構成される。

【0089】

ビデオエンコーダ（６０３）は、パディングされたジオメトリイメージ、パディングされたテクスチャイメージなどのイメージを受信し、圧縮されたイメージを生成し得る。

【0090】

一実施形態によれば、ビデオエンコーダ（６０３）は、リアルタイムで、またはアプリケーションによって要求されるその他の時間制約の下で、ソースビデオシーケンス（イメージ）のピクチャをコーディングし、コーディングされたビデオシーケンス（圧縮されたイメージ）に圧縮し得る。適切なコーディング速度を強制することは、コントローラ（６５０）の機能の１つである。いくつかの実施形態では、コントローラ（６５０）は、以下に説明するように他の機能ユニットを制御し、他の機能ユニットに機能的に結合される。明確にするために結合は描かれていない。コントローラ（６５０）によって設定されるパラメータは、レート制御関連パラメータ（ピクチャスキップ、量子化、レート歪み最適化手法のラムダ値、...）、ピクチャサイズ、ピクチャのグループ（GOP）レイアウト、最大動きベクトル検索範囲などを含むことができる。コントローラ（６５０）は、特定のシステム設計に最適化されたビデオエンコーダ（６０３）に関連する他の適切な機能を持つように構成することができる。

【0091】

いくつかの実施形態では、ビデオエンコーダ（６０３）は、コーディングループで動作するように構成される。過度に単純化された説明として、一例では、コーディングループは、ソースコーダ（６３０）（例えば、コーディングされる入力ピクチャと、参照ピクチャ（複数可）に基づいて、シンボルストリームなどのシンボルを作成する責任がある）と、ビデオエンコーダ（６０３）に埋め込まれた（ローカル）デコーダ（６３３）を含むことができる。デコーダ（６３３）は、（リモート）デコーダが作成するのと同様の方法でサンプルデータを作成するためにシンボルを再構築する（開示された主題で考慮されるビデオ圧縮技術では、シンボルとコーディングされたビデオビットストリームとの間の圧縮はロスレスであるため）。再構築されたサンプルストリーム（サンプルデータ）は、参照ピクチャメモリ（６３４）に入力される。シンボルストリームのデコードはデコーダの場所（ローカルまたはリモート）に依存しないビット正確な結果をもたらすため、参照ピクチャメモリ（６３４）内のコンテンツもローカルエンコーダとリモートエンコーダとの間でビット正確である。言い換えると、エンコーダの予測部分は、デコード中に予測を使用する場合にデコーダが「見る」サンプル値とまったく同じサンプル値を参照ピクチャサンプルとして「見る」。この参照ピクチャの同期性（チャネルエラーなどで同期性を維持できない場合は、結果としてドリフトが発生する）の基本原理は、いくつかの関連技術でも使用されている。

【0092】

「ローカル」デコーダ（６３３）の動作は、すでに図５と併せて詳細に説明したビデオデコーダ（５１０）などの「リモート」デコーダと同じであることができる。しかし、図５も簡単に参照すると、シンボルが利用可能であり、エントロピーコーダ（６４５）とパーサ（５２０）によるコーディングされたビデオシーケンスへのシンボルのエンコーディング／デコーディングはロスレスであることができるため、パーサ（５２０）を含むビデオデコーダ（５１０）のエントロピーデコーディング部分は、ローカルデコーダ（６３３）で完全には実装されていない可能性がある。

【0093】

動作中、いくつかの例では、ソースコーダ（６３０）は、「参照ピクチャ」として指定されたビデオシーケンスから１つ以上の以前にコーディングされたピクチャを参照して、入力ピクチャを予測的にコーディングする動き補償予測コーディングを実行し得る。このようにして、コーディングエンジン（６３２）は、入力ピクチャのピクセルブロックと、入力ピクチャへの予測参照（複数可）として選択され得る参照ピクチャ（複数可）のピクセルブロックとの間の違いをコーディングする。

【0094】

ローカルビデオデコーダ（６３３）は、ソースコーダ（６３０）によって作成されたシンボルに基づいて、参照ピクチャとして指定され得るピクチャのコーディングされたビデオデータをデコードし得る。コーディングエンジン（６３２）の動作は、有利にはロッシープロセスであり得る。コーディングされたビデオデータがビデオデコーダ（図６には示さず）でデコードされ得る場合、再構築されたビデオシーケンスは、通常、いくつかのエラーを持つソースビデオシーケンスのレプリカであり得る。ローカルビデオデコーダ（６３３）は、ビデオデコーダによって参照ピクチャに対して実行され得、再構築された参照ピクチャを参照ピクチャキャッシュ（６３４）に格納させ得る、デコードプロセスを複製する。このようにして、ビデオエンコーダ（６０３）は、共通の内容を持つ再構築された参照ピクチャのコピーを、遠端ビデオデコーダ（伝送エラーがない）によって取得される再構築された参照ピクチャとしてローカルに格納し得る。

【0095】

予測子（６３５）は、コーディングエンジン（６３２）の予測検索を実行し得る。すなわち、コーディングされる新しいピクチャについて、予測子（６３５）は、新しいピクチャの適切な予測参照として役立ち得る、サンプルデータ（候補参照ピクセルブロックとして）または参照ピクチャ動きベクトル、ブロック形状などの特定のメタデータについて、参照ピクチャメモリ（６３４）を検索し得る。予測子（６３５）は、適切な予測参照を見つけるために、サンプルブロック／ピクセルブロック単位で動作し得る。場合によっては、予測子（６３５）によって得られた検索結果によって決定されるように、入力ピクチャは、参照ピクチャメモリ（６３４）に格納された複数の参照ピクチャから引き出された予測参照を有し得る。

【0096】

コントローラ（６５０）は、例えば、ビデオデータをエンコードするために使用されるパラメータおよびサブグループパラメータの設定を含む、ソースコーダ（６３０）のコーディング動作を管理し得る。

【0097】

前述のすべての機能ユニットの出力は、エントロピーコーダ（６４５）でのエントロピーコーディングを受け得る。エントロピーコーダ（６４５）は、ハフマンコーディング、可変長コーディング、算術コーディングなどの技術に従ってシンボルをロスレス圧縮することによって、さまざまな機能ユニットによって生成されたシンボルをコーディングされたビデオシーケンスに変換する。

【0098】

コントローラ（６５０）は、ビデオエンコーダ（６０３）の動作を管理し得る。コーディング中、コントローラ（６５０）は、各コード化されたピクチャに特定のコーディングされたピクチャタイプを割り当て得、これは、それぞれのピクチャに適用され得るコーディング技術に影響を与え得る。例えば、ピクチャは、多くの場合、次のピクチャタイプのいずれかとして割り当てられ得る：

【0099】

イントラピクチャ（Ｉピクチャ）は、予測のソースとしてシーケンス内の他のピクチャを使用せずにコーディングおよびデコーディングされ得るものであり得る。いくつかのビデオコーデックは、例えば、独立したデコーダリフレッシュ（Independent Decoder Refresh）（「ＩＤＲ」）ピクチャを含む、異なる種類のイントラピクチャを可能にする。当業者は、Ｉピクチャのこれらのバリアント並びにそれぞれの用途および特徴を認識している。

【0100】

予測ピクチャ（Ｐピクチャ）は、各ブロックのサンプル値を予測するために、多くても１つの動きベクトルおよび参照インデックスを使用して、イントラ予測またはインター予測を使用してコーディングおよびデコーディングされ得るものであり得る。

【0101】

双方向予測ピクチャ（Ｂピクチャ）は、各ブロックのサンプル値を予測するために、多くても２つの動きベクトルおよび参照インデックスを使用して、イントラ予測またはインター予測を使用して、コーディングおよびデコーディングされ得るものであり得る。同様に、複数予測ピクチャは、単一のブロックの再構築のために、２つより多い参照ピクチャおよび関連するメタデータを使用することができる。

【0102】

ソースピクチャは、一般に、複数のサンプルブロック（例えば、夫々、４×４、８×８、４×８、または１６×１６のサンプルのブロック）に空間的に細分化され、ブロックごとにコーディングされ得る。ブロックは、ブロックのそれぞれのピクチャに適用されているコーディング割り当てによって決定される他の（既にコーディングされた）ブロックを参照して予測的にコーディングされ得る。例えば、Ｉピクチャのブロックは、非予測的にコーディングされ得る、または、それらは、同じピクチャの既にコーディングされたブロックを参照して予測的にコーディングされ得る（空間予測またはイントラ予測）。Ｐピクチャのピクセルブロックは、１つの以前にコーディングされた参照ピクチャを参照して空間予測によりまたは時間予測により、予測的にコーディングされ得る。Ｂピクチャのブロックは、１つまたは２つの以前にコーディングされた参照ピクチャを参照して空間予測によりまたは時間予測により、予測的にコーディングされ得る。

【0103】

ビデオエンコーダ（６０３）は、ＩＴＵ－Ｔ推奨Ｈ．２６５のような所定のビデオコーディング技術または標準に従ってコーディング動作を実行し得る。その動作において、ビデオエンコーダ（６０３）は、入力ビデオシーケンスにおける時間的および空間的冗長性を利用する予測コーディング動作を含む様々な圧縮動作を実行し得る。従って、コーディングされたビデオデータは、使用されているビデオコーディング技術または標準によって定められているシンタックスに従い得る。

【0104】

ビデオは、時間的シーケンスにおいて複数のソースピクチャ（イメージ）の形式であり得る。イントラピクチャ予測（しばしばイントラ予測と省略される）は、所与のピクチャにおける空間相関を利用し、インターピクチャ予測は、ピクチャ間の（時間的または他の）相関を利用する。一例では、現在のピクチャと呼ばれる、エンコード／デコード中の特定のピクチャは、ブロックにパーティション化される（partitioned）。現在のピクチャ内のあるブロックが、ビデオ内の以前にコーディングされ、依然としてバッファリングされている参照ピクチャ内の参照ブロックと類似している場合に、現在のピクチャ内のそのブロックは、動きベクトルと呼ばれるベクトルによってコーディングされることができる。動きベクトルは、参照ピクチャ内の参照ブロックを指し、複数の参照ピクチャが使用されている場合には、参照ピクチャを識別する第３の次元を有することができる。

【0105】

いくつかの実施形態では、双予測技術がインターピクチャ予測において使用されることができる。双予測技術に従って、２つの参照ピクチャ、例えば、ビデオ内で現在のピクチャに対してデコード順序において両方とも先行する（しかし、表示順序では、夫々、過去および将来にあり得る）第１の参照ピクチャおよび第２の参照ピクチャが、使用される。現在のピクチャ内のブロックは、第１の参照ピクチャ内の第１の参照ブロックを指す第１の動きベクトルと、第２の参照ピクチャ内の第２の参照ブロックを指す第２の動きベクトルとによって、コーディングされることができる。ブロックは、第１の参照ブロックおよび第２の参照ブロックの組み合わせによって予測することができる。

【0106】

さらに、マージモード技術が、コーディング効率を向上させるためにインターピクチャ予測において使用されることができる。

【0107】

本開示のいくつかの実施形態に従って、インターピクチャ予測およびイントラピクチャ予測などの予測は、ブロックのユニットにおいて実行される。例えば、ＨＥＶＣ標準に従って、ビデオピクチャのシーケンス内のピクチャが、圧縮のためにコーディングツリーユニット（ＣＴＵ）にパーティション化され、ピクチャ内のＣＴＵは、６４×６４ピクセル、３２×３２ピクセル、または１６×１６ピクセルなどの同じサイズを有する。一般に、ＣＴＵは、３つのコーディングツリーブロック（ＣＴＢ）を含み、これは、１つのルーマＣＴＢおよび２つのクロマＣＴＢである。各ＣＴＵは、１つまたは複数のコーディングユニット（ＣＵ）に再帰的に四分木分割される（quadtree split）ことができる。例えば、６４×６４ピクセルのＣＴＵは、６４×６４ピクセルの１つのＣＵ、または３２×３２ピクセルの４つのＣＵ、または１６×１６ピクセルの１６のＣＵに分割されることができる。一例では、各ＣＵは、インター予測タイプまたはイントラ予測タイプなどのＣＵのための予測タイプを決定するために解析される。ＣＵは、時間的および／または空間的予測可能性に応じて１つ以上の予測ユニット（ＰＵ）に分割される。概して、各ＰＵは、１つのルーマ予測ブロック（ＰＢ）、および２つのクロマＰＢを含む。一実施形態では、コーディング（エンコード／デコード）における予測動作は、予測ブロックの単位で実行される。予測ブロックの一例としてルーマ予測ブロックを使用すると、予測ブロックは、８×８ピクセル、１６×１６ピクセル、８×１６ピクセル、１６×８ピクセルなどのような、ピクセルの値（例えば、ルーマ値）の行列を含む。

【0108】

図７は、いくつかの例におけるＧ－ＰＣＣエンコーダ（７００）のブロック図を示す。Ｇ－ＰＣＣエンコーダ（７００）は、ポイントクラウドデータを受信し、圧縮されたポイントクラウドデータを運ぶビットストリームを生成するためにポイントクラウドデータを圧縮するよう構成されることができる。一実施形態では、Ｇ－ＰＣＣエンコーダ（７００）は、位置量子化モジュール（７１０）、重複ポイント除去（duplicated points removal）モジュール（７１２）、八分木エンコーディング（octree encoding）モジュール（７３０）、属性転送（attribute transfer）モジュール（７２０）、詳細のレベル（level of detail）（ＬＯＤ）生成モジュール（７４０）、属性予測モジュール（７５０）、残差量子化モジュール（７６０）、算術コーディングモジュール（７７０）、逆残差量子化モジュール（７８０）、加算モジュール（７８１）、および再構築された属性値を格納するメモリ（７９０）を含むことができる。

【0109】

図示のように、入力ポイントクラウド（７０１）は、Ｇ－ＰＣＣエンコーダ（７００）で受信されることができる。ポイントクラウド（７０１）の位置（例えば、３Ｄ座標）は、量子化モジュール（７１０）に供給される。量子化モジュール（７１０）は、量子化された位置を生成するために座標を量子化するよう構成される。重複ポイント除去モジュール（７１２）は、量子化された位置を受信し、重複ポイントを識別し除去するためにフィルタプロセスを実行するように構成される。八分木エンコーディングモジュール（７３０）は、重複ポイント除去モジュール（７１２）からフィルタ処理された位置を受信し、ボクセルの３Ｄグリッドを記述する占有コード（occupancy codes）のシーケンスを生成するために八分木ベースのエンコーディングプロセスを実行するように構成される。占有コードは、算術コーディングモジュール（７７０）に提供される。

【0110】

属性転送モジュール（７２０）は、入力ポイントクラウドの属性を受信し、複数の属性値がそれぞれのボクセルに関連づけられる場合に各ボクセルに属性値を決定するために属性転送プロセスを実行するように構成される。属性転送プロセスは、八分木エンコーディングモジュール（７３０）から出力された再順序付けされたポイントに対して実行されることができる。転送動作後の属性は、属性予測モジュール（７５０）に供給される。ＬＯＤ生成モジュール（７４０）は、八分木エンコーディングモジュール（７３０）から出力された再順序付けされたポイントに作用し、ポイントを異なるＬＯＤに再編成する（re-organize）ように構成される。ＬＯＤ情報は、属性予測モジュール（７５０）に供給される。

【0111】

属性予測モジュール（７５０）は、ＬＯＤ生成モジュール（７４０）からのＬＯＤ情報によって示されているＬＯＤベースの順序に従って、ポイントを処理する。属性予測モジュール（７５０）は、メモリ（７９０）に格納されている現在のポイントの隣接するポイントのセットの再構築された属性に基づいて、現在のポイントに対する属性予測を生成する。予測残差は、属性転送モジュール（７２０）から受信され元の属性値と、ローカルで生成された属性予測とに基づいて、その後に取得されることができる。候補インデックスがそれぞれの属性予測プロセスで使用される場合、選択された予測候補に対応するインデックスは、算術コーディングモジュール（７７０）に供給され得る。

【0112】

残差量子化モジュール（７６０）は、属性予測モジュール（７５０）から予測残差を受信し、量子化された残差を生成するために量子化を実行するように構成される。量子化された残差は、算術コーディングモジュール（７７０）に供給される。

【0113】

逆残差量子化モジュール（７８０）は、残差量子化モジュール（７６０）から量子化された残差を受信し、残差量子化モジュール（７６０）で実行された量子化動作の逆を実行することによって、再構成された予測残差を生成するように構成される。加算モジュール（７８１）は、逆残差量子化モジュール（７８０）からの再構築された予測残差と、属性予測モジュール（７５０）からのそれぞれの属性予測とを受信するように構成される。再構築された予測残差と属性予測とを組み合わせることによって、再構築された属性値は生成され、メモリ（７９０）に格納される。

【0114】

算術コーディングモジュール（７７０）は、占有コード、（使用される場合）候補インデックス、（生成される場合）量子化された残差、および他の情報を受信し、受信された値または情報を更に圧縮するためにエントロピエンコーディングを実行するように構成される。結果として、圧縮された情報を運ぶ圧縮されたビットストリーム（７０２）を生成することができる。ビットストリーム（７０２）は、圧縮されたビットストリームをデコードするデコーダに伝送され得る、または別の方法で提供され得る、あるいは、ストレージデバイスに格納され得る。

【0115】

図８は、一実施形態によるＧ－ＰＣＣデコーダ（８００）のブロック図を示す。Ｇ－ＰＣＣデコーダ（８００）は、圧縮されたビットストリームを受信し、デコードされたポイントクラウドデータを生成するためにビットストリーム解凍するポイントクラウドデータ解凍を実行するように構成されることができる。一実施形態では、Ｇ－ＰＣＣデコーダ（８００）は、算術デコーディングモジュール（８１０）、逆残差量子化モジュール（８２０）、八分木デコーディングモジュール（８３０）、ＬＯＤ生成モジュール（８４０）、属性予測モジュール（８５０）、および再構築された属性値を格納するメモリ（８６０）を含むことができる。

【0116】

図示されるように、圧縮されたビットストリーム（８０１）は、算術デコーディングモジュール（８１０）で受信されることができる。算術デコーディングモジュール（８１０）は、（生成される場合）量子化された残差およびポイントクラウドの占有コードを取得するために、圧縮されたビットストリームをデコードするように構成される。八分木デコーディングモジュール（８３０）は、占有コードに従って、ポイントクラウドの中のポイントの再構築された位置を決定するように構成される。ＬＯＤ生成モジュール（８４０）は、再構築された位置に基づいてポイントを異なるＬＯＤに再編成し、ＬＯＤベースの順序を決定するように構成される。逆残差量子化モジュール（８２０）は、算術デコーディングモジュール（８１０）から受信された量子化された残差に基づいて、再構築された残差を生成するよう構成される。

【0117】

属性予測モジュール（８５０）は、ＬＯＤベースの順序に従ってポイントに対する属性予測を決定するために、属性予測プロセスを実行するように構成される。例えば、現在のポイントの属性予測は、メモリ（８６０）に格納されている現在のポイントの隣接するポイントの再構築された属性値に基づいて決定されることができる。いくつかの例では、属性予測は、現在のポイントに対する再構築された属性を生成するために、それぞれの再構築された残差と組み合わされることができる。

【0118】

八分木デコーディングモジュール（８３０）から生成された再構築された位置とともに属性予測モジュール（８５０）から生成された再構築された属性のシーケンスは、一例では、Ｇ－ＰＣＣデコーダ（８００）から出力されるデコードされたポイントクラウド（８０２）に対応する。加えて、再構築された属性はまた、メモリ（８６０）に格納され、その後に、後続のポイントについての属性予測を導出するために使用されることができる。

【0119】

様々な実施形態では、エンコーダ（３００）、デコーダ（４００）、エンコーダ（７００）、および／またはデコーダ（８００）は、ハードウェア、ソフトウェア、またはそれらの組み合わせにより実装されることができる。例えば、エンコーダ（３００）、デコーダ（４００）、エンコーダ（７００）、および／またはデコーダ（８００）は、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、などのような、ソフトウェアの有無によらず動作する１つ以上の集積回路（ＩＣ）などの処理回路により実装されることができる。他の例では、エンコーダ（３００）、デコーダ（４００）、エンコーダ（７００）、および／またはデコーダ（８００）は、不揮発性の（または非一時的な）コンピュータ可読記憶媒体に格納されている命令を含むソフトウェアまたはファームウェアとして実装されることができる。命令は、１つ以上のプロセッサなどの処理回路によって実行される場合、処理回路に、エンコーダ（３００）、デコーダ（４００）、エンコーダ（７００）、および／またはデコーダ（８００）の機能を実行させる。

【0120】

本明細書で開示されている属性予測技術を実装するよう構成される属性予測モジュール（７５０）および（８５０）は、図７および図８に示されているものと類似したまたは異なる構造を有し得る他のデコーダまたはエンコーダに含まれることができることが留意される。加えて、エンコーダ（７００）およびデコーダ（８００）は、様々な例において、同じデバイスまたは別個のデバイスに含まれることができる。

【0121】

本開示のいくつかの態様によれば、メッシュ圧縮は、ＰＣＣコーディングツールとは異なるコーディングツールを使用することができる、または、上記のＰＣＣ（例えば、Ｇ－ＰＣＣ、Ｖ－ＰＣＣ）エンコーダ、上記のＰＣＣ（例えば、Ｇ－ＰＣＣ、Ｖ－ＰＣＣ）デコーダなどのようなＰＣＣコーディングツールを使用することができる。

【0122】

オブジェクトのメッシュ（メッシュモデル、メッシュフレームとも呼ばれる）は、オブジェクトのサーフェスを記述するポリゴンを含むことができる。各ポリゴンは、３Ｄ空間内のポリゴンの頂点および頂点をポリゴンに接続するエッジによって定義することができる。頂点がどのように接続されているかの情報（例えばエッジの情報）は、接続情報と呼ばれる。いくつかの例では、オブジェクトのメッシュは、オブジェクトのサーフェスを記述する接続された三角形によって形成される。エッジを共有する２つの三角形は、２つの接続された三角形と呼ばれる。他のいくつかの例では、オブジェクトのメッシュは、接続された四角形によって形成される。エッジを共有する２つの四角形は、２つの接続された四角形と呼ぶことができる。メッシュは、他の適切なポリゴンによって形成できることが留意される。

【0123】

いくつかの例では、メッシュは、また、頂点に関連付けられた色、法線などの属性を含むことができる。属性は、２Ｄ属性マップでメッシュをパラメータ化するマッピング情報を利用することによって、メッシュのサーフェスに関連付けることができる。マッピング情報は通常、メッシュ頂点に関連付けられた、ＵＶ座標またはテクスチャ座標と呼ばれるパラメトリック座標のセットによって記述される。２Ｄ属性マップ（いくつかの例ではテクスチャマップと呼ばれる）は、テクスチャ、法線、変位などの高解像度の属性情報を格納するために使用される。このような情報は、テクスチャマッピングおよびシェーディングなどのさまざまな目的に使用できる。

【0124】

いくつかの実施形態では、メッシュは、ジオメトリ情報、接続情報、マッピング情報、頂点属性、および属性マップと呼ばれるコンポーネントを含むことができる。いくつかの例では、ジオメトリ情報は、メッシュの頂点に関連付けられた３Ｄ位置のセットによって記述される。一例では、（ｘ、ｙ、ｚ）座標が、頂点の３Ｄ位置を記述するために使用されることができ、３Ｄ座標とも呼ばれる。いくつかの例では、接続情報は、３Ｄサーフェスを作成するためにどのように頂点を接続するかを記述する頂点インデックスのセットを含む。いくつかの例では、マッピング情報は、メッシュサーフェスを平面の２Ｄ領域にどのようにマッピングするかを記述する。例では、マッピング情報は、接続情報とともに、メッシュ頂点に関連付けられたＵＶパラメトリック／テクスチャ座標（ｕ、ｖ）のセットによって記述される。いくつかの例では、頂点属性は、メッシュ頂点に関連付けられたスカラーまたはベクトル属性値を含む。いくつかの例では、属性マップは、メッシュサーフェスに関連付けられ、２Ｄイメージ／ビデオとして格納される属性を含む。一例では、ビデオ（例えば、２Ｄイメージ／ビデオ）とメッシュサーフェスとの間のマッピングは、マッピング情報によって定義される。

【0125】

本開示の一態様によると、３Ｄドメイン内のメッシュのサーフェスを２Ｄドメインにマッピングするために、ＵＶマッピングまたはメッシュパラメータ化と呼ばれるいくつかの手法が使用される。いくつかの例では、メッシュは３Ｄドメイン内のパッチにパーティション化される。パッチは、境界エッジで形成された境界を持つメッシュの連続したサブセットである。パッチの境界エッジは、パッチの１つのポリゴンのみに属し、パッチ内の隣接する２つのポリゴンによって共有されないエッジである。パッチ内の境界エッジの頂点は、パッチの境界頂点と呼ばれ、パッチ内の非境界頂点は、いくつかの例では、パッチの内部頂点と呼ばれることがある。

【0126】

いくつかの例では、オブジェクトのメッシュは接続された三角形によって形成され、メッシュはパッチにパーティション化されることができ、各パッチは接続された三角形のサブセットである。パッチの境界エッジは、パッチ内の１つの三角形のみに属し、パッチ内の隣接する三角形によって共有されないエッジである。パッチ内の境界エッジの頂点は、パッチの境界頂点と呼ばれ、パッチ内の非境界頂点は、いくつかの例では、パッチの内部頂点と呼ばれることがある。

【0127】

本開示の一態様によると、いくつかの例では、パッチはそれぞれ２Ｄ形状（ＵＶパッチとも呼ばれる）にパラメータ化される。２Ｄ形状は、いくつかの例では、アトラスとも呼ばれるマップにパック（例えば、方向付けられ、配置される）されることができる。いくつかの例では、マップは、２Ｄイメージまたはビデオ処理技術を使用してさらに処理されることができる。

【0128】

一例では、ＵＶマッピング技術は、３Ｄメッシュのパッチに対応する２ＤのＵＶアトラス（ＵＶマップとも呼ばれる）と１つ以上のテクスチャアトラス（テクスチャマップとも呼ばれる）を生成する。ＵＶアトラスは、３Ｄメッシュの３Ｄ頂点の２Ｄドメイン内の２Ｄポイントへの割り当てを含む（例えば、長方形）。ＵＶアトラスは、３Ｄサーフェスの座標から２Ｄドメインの座標へのマッピングである。一例では、２Ｄ座標（ｕ，ｖ）におけるＵＶアトラス内のポイントは、３Ｄドメイン内の頂点の座標（ｘ，ｙ，ｚ）によって形成される値を有する。一例では、テクスチャアトラスは、３Ｄメッシュの色情報を含む。例えば、２Ｄ座標（ｕ，ｖ）におけるテクスチャアトラス内のポイント（ＵＶアトラスの（ｘ，ｙ，ｚ）の３Ｄ値を有する）は、３Ｄドメイン内の（ｘ，ｙ，ｚ）にあるポイントの色属性を指定する色を有する。いくつかの例では、３Ｄドメインの座標（ｘ，ｙ，ｚ）は、３Ｄ座標、またはｘｙｚ座標と呼ばれ、２Ｄ座標（ｕ，ｖ）はｕｖ座標またはＵＶ座標と呼ばれる。

【0129】

本開示のいくつかの態様によると、メッシュ圧縮は、１つ以上の２Ｄマップ（いくつかの例では２Ｄアトラスとも呼ばれる）を使用してメッシュを表現し、次にイメージまたはビデオコーデックを使用して２Ｄマップをエンコードすることによって実行することができる。２Ｄマップの生成には、さまざまな手法を使用することができる。

【0130】

図９は、いくつかの例において、３Ｄメッシュ（９１０）の２Ｄアトラス（９２０）へのマッピングを示す図を示している。図９の例では、３Ｄメッシュ（９１０）は、４つのパッチＡ～Ｄを形成する４つの頂点１～４を含む。パッチの各々は、頂点のセットおよび関連する属性情報を有する。例えば、パッチＡは、三角形に接続された頂点１、２および３によって形成される；パッチＢは、三角形に接続された頂点１、３および４によって形成される；パッチＣは、三角形に接続された頂点１、２および４によって形成される；パッチＤは、三角形に接続された頂点２、３および４によって形成される。いくつかの例では、頂点１、２、３および４は、それぞれの属性を有することができ、頂点１、２、３および４によって形成される三角形はそれぞれの属性を有することができる。

【0131】

一例では、３ＤのパッチＡ、Ｂ、ＣおよびＤは、ＵＶアトラス（９２０）またはマップ（９２０）とも呼ばれる２Ｄアトラス（９２０）などの２Ｄドメインにマッピングされる。例えば、パッチＡはマップ（９２０）において２Ｄ形状（ＵＶパッチとも呼ばれる）Ａ’にマッピングされ、パッチＢはマップ（９２０）において２Ｄ形状（ＵＶパッチとも呼ばれる）Ｂ’にマッピングされ、パッチＣはマップ（９２０）において２Ｄ形状（ＵＶパッチとも呼ばれる）Ｃ’にマッピングされ、パッチＤはマップ（９２０）において２Ｄ形状（ＵＶパッチとも呼ばれる）Ｄ’にマッピングされる。いくつかの例では、３Ｄドメインの座標は（ｘ，ｙ，ｚ）座標と呼ばれ、マップ（９２０）などの２Ｄドメインの座標はＵＶ座標と呼ばれる。３Ｄメッシュ内の頂点は、マップ（９２０）内の対応するＵＶ座標を有することができる。

【0132】

マップ（９２０）は、ジオメトリ情報を含むジオメトリマップであることができる、または、色、法線、テキスタイル、若しくはその他の属性情報を持つテクスチャマップであることができる、または、占有率情報を持つ占有率マップであることができる。

【0133】

図９の例では、各パッチは三角形で表されているが、パッチは、メッシュの連続したサブセットを形成するように接続されている任意の適切な数の頂点を含むことができることが留意される。いくつかの例では、パッチ内の頂点は三角形に接続される。パッチ内の頂点は、他の適切な形状を使用して接続できることが留意される。

【0134】

一例では、頂点のジオメトリ情報は、２Ｄジオメトリマップに格納することができる。例えば、２Ｄジオメトリマップは、２Ｄジオメトリマップ内の対応するポイントにおけるサンプリングポイントの（ｘ，ｙ，ｚ）座標を格納する。例えば、（ｕ，ｖ）位置における２Ｄジオメトリマップのポイントは、３Ｄメッシュ内の対応するサンプリングポイントのｘ、ｙおよびｚ値にそれぞれ対応する３つの成分のベクトル値である。

【0135】

本開示の一態様によると、マップ内の領域は完全に占有されていない可能性がある。例えば、図９では、２Ｄ形状Ａ’、Ｂ’、Ｃ’およびＤ’の外側の領域は未定義である。デコード後の２Ｄ形状Ａ’、Ｂ’、Ｃ’およびＤ’の外側の領域のサンプル値は破棄されることができる。場合によっては、占有率マップが、ピクセルがパッチに属しているか未定義であるかを識別するためのバイナリ値を格納するなど、ピクセルごとにいくつかの追加情報を格納するために使用される。

【0136】

本開示の一態様によれば、動的メッシュは、コンポーネント（ジオメトリ情報、接続情報、マッピング情報、頂点属性、属性マップ）の少なくとも１つが時間とともに変化するメッシュである。動的メッシュは、メッシュのシーケンス（メッシュフレームとも呼ばれる）によって記述することができる。動的メッシュは、時間の経過とともに変化する大量の情報を含む場合があるため、動的メッシュは大量のデータを必要とすることがある。メッシュの圧縮技術は、メッシュ表現におけるメディアコンテンツの効率的なストレージおよび伝送を可能にする。

【0137】

いくつかの例では、動的メッシュは、一定の接続情報、時変ジオメトリおよび時変頂点属性を有することができる。いくつかの例では、動的メッシュは、時変接続情報を有することができる。一例では、デジタルコンテンツ作成ツールは通常、時変属性マップおよび時変接続情報を持つ動的メッシュを生成する。いくつかの例では、動的メッシュを生成するためにボリューム取得技術が使用される。ボリューム取得技術は、特にリアルタイムの制約の下で、時変接続情報を持つ動的メッシュを生成することができる。

【0138】

いくつかの技術はメッシュ圧縮のために使用される。いくつかの例では、ＵＶアトラスサンプリングおよびＶ－ＰＣＣがメッシュ圧縮のために使用されることができる。例えば、ＵＶアトラスは、通常のグリッドサンプルでジオメトリイメージを生成するために、通常のグリッドでサンプリングされる。通常のグリッドサンプルの接続性を推測することができる。通常のグリッドサンプルは、ポイントクラウド内のポイントと見なすことができ、したがって、Ｖ－ＰＣＣコーデックなどのＰＣＣコーデックを使用してコーディングされることができる。

【0139】

本開示の一態様によると、３Ｄメッシュ情報を効率的に圧縮するために、ジオメトリマップ、テクスチャマップ（いくつかの例では属性マップとも呼ばれる）、占有率マップなどのような２Ｄマップは、コーディングされる前にダウンサンプリングされ得る。

【0140】

図１０は、いくつかの例におけるダウンサンプリングを示す図を示す。図１０では、マップ（１０２０）が水平方向および垂直方向の両方において２の倍率で（by a factor of 2）ダウンサンプリングされ、それに応じてダウンサンプリングされたマップ（１０３０）が生成される。ダウンサンプリングされたマップ（１０３０）の幅（例えば、水平方向のピクセルの数）はマップ（１０２０）の幅（例えば、水平方向のピクセルの数）の１／２であり、ダウンサンプリングされたマップ（１０３０）の高さ（例えば、垂直方向のピクセルの数）はマップ（１０２０）の高さ（例えば、垂直方向のピクセルの数）の１／２である。

【0141】

図１０において、マップ（１０２０）は２Ｄ形状（ＵＶパッチとも呼ばれる）A’、B’、C’およびD’を含み、ダウンサンプリングされたマップ（１０３０）は２Ｄ形状A’、B’、C’およびD’にそれぞれ対応するサンプリングされた２Ｄ形状Ａ”、Ｂ”、Ｃ”およびＤ”を含む。ダウンサンプリングされたマップ（１０３０）は、次に、いくつかの例ではメッシュエンコーダ側のイメージまたはビデオエンコーダによってコーディングされる。

【0142】

いくつかの例では、メッシュデコーダ側で、ダウンサンプリングされたマップがデコードされる。ダウンサンプリングされたマップのデコード後、３Ｄメッシュを再構築するために、ダウンサンプリングされたマップが、元の解像度（例えば、垂直方向の元のピクセルの数と水平方向の元のピクセルの数）に復元される。

【0143】

概して、動的メッシュシーケンスは、時間の経過とともに変化する大量の情報からなり得るため、大量のデータを必要とする。２Ｄマップ（例えば、ＵＶアトラス、属性マップ）に適用されるサンプリングステップは、メッシュ情報を表すために必要な帯域幅を減らすのに役立つことができる。しかし、サンプリングステップは、また、ダウンサンプリング中に３Ｄメッシュの重要なジオメトリ形状などの重要な情報を削除することができる。

【0144】

いくつかの例では、適応サンプリング技術が、重要な情報をあまり失うことなく２Ｄアトラス（２Ｄではマップとも呼ばれる）を処理するために使用することができる。適応サンプリング技術は、静的メッシュ（１つのメッシュフレームまたはメッシュコンテンツは時間の経過とともに変化しない）圧縮および動的メッシュ圧縮のために使用することができる。さまざまな適応サンプリング技術を、個別に、または任意の形式の組み合わせで適用することができる。以下の説明では、適応サンプリング手法が２Ｄアトラス（例えば、２Ｄのマップ）に適用され、これは、ジオメトリマップまたは属性（テクスチャ）マップのいずれか、または両方であることができる。

【0145】

図１１は、本開示のいくつかの実施例によるメッシュ圧縮のためのフレームワーク（１１００）の図を示している。フレームワーク（１１００）は、メッシュエンコーダ（１１１０）およびメッシュデコーダ（１１５０）を含む。メッシュエンコーダ（１１１０）は、入力メッシュ（１１０１）（動的メッシュ処理の場合はメッシュフレーム）を受信し、入力メッシュ（１１０１）をビットストリーム（１１４５）にエンコードし、メッシュデコーダ（１１５０）は、再構築されたメッシュ（１１９５）（動的メッシュ処理の場合は再構築されたメッシュフレーム）を生成するためにビットストリーム（１１４５）をデコードする。

【0146】

メッシュエンコーダ（１１１０）は、コンピュータ、サーバコンピュータ、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、スマートフォン、ゲーミングデバイス、ARデバイス、VRデバイスなど、任意の適切なデバイスであることができる。メッシュデコーダ（１１５０）は、コンピュータ、クライアントコンピュータ、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、スマートフォン、ゲーミングデバイス、ARデバイス、VRデバイスなど、任意の適切なデバイスであることができる。ビットストリーム（１１４５）は、任意の適切な通信ネットワーク（図示せず）を介してメッシュエンコーダ（１１１０）からメッシュデコーダ（１１５０）に送信することができる。

【0147】

図１１の例では、メッシュエンコーダ（１１１０）は、前処理モジュール（１１１１）、適応サンプリングモジュール（１１２０）、ビデオエンコーダ（１１３０）および一緒に結合された補助データエンコーダ（１１４０）を含む。ビデオエンコーダ（１１３０）は、３Ｄメッシュの表現における２Ｄマップなどのイメージまたはビデオデータをエンコードするように構成される。

【0148】

図１１の例では、前処理モジュール（１１１１）は、ＵＶアトラス（１１０５）を持つメッシュを生成するために入力メッシュ（１１０１）に対して適切な操作を実行するように構成される。例えば、前処理モジュール（１１１１）は、トラッキング、再メッシュ、パラメータ化、およびボクセル化を含む一連の操作を実行することができる。図１１の例では、一連の操作は、エンコーダのみであり、デコードプロセスの一部ではない。いくつかの例では、ＵＶアトラス（１１０５）を持つメッシュは、頂点の３Ｄ位置情報、３Ｄ位置情報を２ＤにマッピングするＵＶアトラス、およびその他の２Ｄ属性マップ（例えば、２Ｄカラーマップなど）を含む。

【0149】

いくつかの例では、入力メッシュ（１１０１）は、ＵＶアトラスを持つメッシュの形式であり、その後、前処理モジュール（１１１１）は、ＵＶアトラスを持つメッシュ（１１０５）になるように入力メッシュ（１１０１）を転送することができることが留意される。

【0150】

適応サンプリングモジュール（１１２０）は、ＵＶアトラスを持つメッシュ（１１０５）を受信し、適応サンプリングマップ（１１２５）を生成するように適応サンプリングを実行する。いくつかの例では、適応サンプリングモジュール（１１２０）は、マップ内の情報密度など、マップ内またはマップの異なる領域の特性を検出し、その特性に基づいてマップまたはマップの異なる領域をサンプリングするための異なるサンプリングレートを決定するために、さまざまな技術を使用することができる。次に、２Ｄマップは、適応サンプリングマップ（１１２５）を生成するように、異なるサンプリングレートに従ってサンプリングされることができる。適応サンプリングマップ（１１２５）は、ジオメトリマップ （いくつかの例ではジオメトリイメージとも呼ばれる）、占有率マップ、その他の属性マップ（例えば、カラーマップ）などを含むことができる。

【0151】

ビデオエンコーダ（１１３０）は、イメージエンコーディングおよび／またはビデオエンコーディング技術を使用して、適応サンプリングマップ（１１２５）をビットストリーム（１１４５）にエンコードすることができる。

【0152】

適応サンプリングモジュール（１１２０）は、また、適応サンプリングに使用される支援情報を示す補助データ（１１２７）を生成する。補助データエンコーダ（１１４０）は、補助データ（１１２７）を受信し、補助データ（１１２７）をビットストリーム（１１４５）にエンコードする。

【0153】

適応サンプリングモジュール（１１２０）および補助データエンコーダ（１１４０）の動作は、本開示でさらに説明される。

【0154】

図１１の例では、ビットストリーム（１１４５）はメッシュデコーダ（１１５０）に提供される。メッシュデコーダ（１１５０）は、図１１に示すように一緒に結合されたビデオデコーダ（１１６０）、補助データデコーダ（１１７０）およびメッシュ再構築モジュール（１１９０）を含む。一例では、ビデオデコーダ（１１６０）は、ビデオエンコーダ（１１３０）に対応し、ビデオエンコーダ（１１３０）によってエンコードされたビットストリーム（１１４５）の一部をデコードし、デコードされたマップ（１１６５）を生成することができる。いくつかの例では、デコードされたマップ（１１６５）は、デコードされたＵＶマップ、１つ以上のデコードされた属性マップなどを含む。いくつかの例では、デコードされたマップ（１１６５）は、デコードされた占有率マップ（例えば、初期のデコードされたマップ）を含む。

【0155】

図１１の例では、補助データデコーダ（１１７０）は、補助データエンコーダ（１１４０）に対応し、補助データエンコーダ（１１４０）によってエンコードされたビットストリーム（１１４５）の一部をデコードし、デコードされた補助データ（１１７５）を生成することができる。

【0156】

図１１の例では、デコードされたマップ（１１６５）およびデコードされた補助データ（１１７５）がメッシュ再構築モジュール（１１９０）に提供される。メッシュ再構築モジュール（１１９０）は、デコードされたマップ（１１６５）およびデコードされた補助データ（１１７５）に基づいて再構築されたメッシュ（１１９５）を生成する。いくつかの例では、メッシュ構築モジュール（１１９０）は、再構築されたメッシュ（１１９５）内の頂点および、頂点に関連付けられたそれぞれの３Ｄ座標、ＵＶ座標、色などの頂点の情報を決定することができる。補助データデコーダ（１１７０）およびメッシュ再構築モジュール（１１９０）の動作は、本開示でさらに説明される。

【0157】

前処理モジュール（１１１１）、適応サンプリングモジュール（１１２０）、ビデオエンコーダ（１１３０）および補助データエンコーダ（１１４０）などのメッシュエンコーダ（１１１０）のコンポーネントは、さまざまな技術によってそれぞれ実装できることが留意される。一例では、コンポーネントは集積回路によって実装される。別の例では、コンポーネントは、１つ以上のプロセッサで実行できるソフトウェアを使用して実装される。

【0158】

ビデオデコーダ（１１６０）、補助データデコーダ（１１７０）、およびメッシュ再構築モジュール（１１９０）などのメッシュデコーダ（１１５０）のコンポーネントは、さまざまな手法でそれぞれ実装できることが留意される。一例では、コンポーネントは集積回路によって実装される。別の例では、コンポーネントは、１つ以上のプロセッサで実行できるソフトウェアを使用して実装される。

【0159】

いくつかの実施形態では、サンプリング適応はマップタイプに基づくことができる。いくつかの例では、適応サンプリングモジュール（１１２０）は、異なるタイプのマップに異なるサンプリングレートを適用することができる。例えば、ジオメトリマップおよび属性マップに異なるサンプリングレートを適用することができる。一例では、メッシュは、通常の形状および豊富なテクスチャ（abundance texture）を持つオブジェクトのモデルである。例えば、オブジェクトは、長方形の形状を有するが、豊富な色を有する。したがって、ジオメトリマップの情報密度は比較的低い。一例では、適応サンプリングモジュール（１１２０）は、（垂直方向および水平方向の両方において）ジオメトリマップに２：１の第１のサンプリングレートを適用し、（垂直方向および水平方向の両方において）テクスチャマップに１：１の第２のサンプリングレートを適用する。

【0160】

いくつかの例では、ある方向のＡ：Ｂのサンプリングレートは、その方向の元のマップのＡピクセルからＢサンプルを生成することを示す。例えば、水平方向の２：１のサンプリングレートは、水平方向の元のマップの２ピクセルごとに１サンプルを生成することを示す。垂直方向の２：１のサンプリングレートは、垂直方向の元のマップの２ピクセルごとに１サンプルを生成することを示す。

【0161】

いくつかの例では、サンプリングステップという用語が使用される。方向のサンプリングステップは、方向の隣接する２つのサンプリング位置間のピクセル数を示す。例えば、水平方向の２つのサンプリングステップは、水平方向の隣接するサンプリング位置間の２つのピクセルを示す。垂直方向の２つのサンプリングステップは、垂直方向の隣接するサンプリング位置間の２つのピクセルを示す。本開示では、サンプリングレートは、サンプリングステップにあたる（equivalent to）ことが留意される。例えば、２のサンプリングレート（例えば、２：１）は、隣接するサンプリング位置間の２つのピクセルにあたる。

【0162】

いくつかの実施形態では、サンプリング適応はマップ内のサブ領域に基づいている。異なるサンプリングレートをマップの異なる部分に適用することができる。いくつかの例では、ピクセルのいくつかの行は、保存される情報が少なく、これらの行に沿ってより大きいサンプリングレートを適用することができ、結果としてより少ない数のコーディングされるサンプル行をもたらす。いくつかの例では、ピクセルのいくつかの列は、保存される情報が少なく、これらの列に沿ってより大きいサンプリングレートを適用することができ、結果としてより少ない数のコーディングされるサンプル列をもたらす。他の領域では、サンプリング後の情報の損失を最小限に抑えるために、より小さいサンプリングレートが適用される。

【0163】

図１２は、いくつかの例における適応サンプリングの図を示している。マップ（１２２０）は、いくつかのブロック行に分割され、各ブロック行は固定数のサンプル（ピクセル）行を含む。異なるサンプリングレートが、適応サンプリングされたマップ（１２３０）を生成するために、ブロック行に垂直方向に適用される。例えば、各ブロック行は、ＣＴＵ行（ＣＴＵラインとも呼ばれる）であり、６４行のサンプル （ピクセルとも呼ばれる）を含む。図１２の例では、マップ（１２２０）のブロック行０およびブロック行６に対して、２：１の第１のサンプリングレートが垂直方向において適用され、サンプリング後の適応サンプリングマップ（１２３０）のブロック行０およびブロック行６のそれぞれに対して３２行のサンプルをもたらす。マップ（１２２０）のブロック行１から５に対して、１：１の第２のサンプリングレートが垂直方向において適用され、適応サンプリングマップ（１２３０）のブロック行１から５のそれぞれに対して６４行のサンプルをもたらす。

【0164】

１：１のサンプリングレートが図１２では水平方向に適用されていることが留意される。

【0165】

いくつかの例では、適応サンプリングされたマップ（１２３０）は、ビデオエンコーダ（１１３０）などのイメージまたはビデオエンコーダによってエンコードされる。デコーダ側では、一例では、適応サンプリングされたマップ（１２３０）がデコードされる。デコード後、サンプルの上位３２行は、元の解像度（６４行のサンプルなど）に復元（アップサンプリング）される。サンプルの下位３２行は、元の解像度（６４行のサンプルなど）に復元（アップサンプリング）される。

【0166】

他のいくつかの例では、３Ｄメッシュの２Ｄ表現でコーディングされるマップを、いくつかのサブ領域に分割することができる。マップ（例えば、ピクチャ）内のこのような分割の例は、スライス、タイル、タイルグループ、コーディングツリーユニットなどを含む。いくつかの例では、異なるサンプリングレートを異なるサブ領域に適用することができる。一例では、異なるサブ領域に関連付けられた異なるサンプリングレートを、３Ｄメッシュを伝送するビットストリームにおいてシグナリングすることができる。デコーダ側では、適応サンプリングマップのデコード後、各サブ領域は、サブ領域に関連付けられたサンプリングレートに従って、元の解像度に復元される。

【0167】

いくつかの例では、適応サンプリングされたマップの元の解像度への復元プロセスは、復元されたマップを生成する逆サンプリングプロセスと呼ばれる。逆サンプリングプロセスからの復元後、２Ｄアトラス形式の復元マップの出力を３Ｄメッシュ再構築に使用することができる。

【0168】

図１２の例は、垂直方向の異なるブロック行への適応サンプリングを示しているが、同様の適応サンプリングを、水平方向の異なる列に適用することができる、または、垂直方向と水平方向の両方に適用することができる。

【0169】

いくつかの実施形態では、サンプリング適応はパッチに基づいている。いくつかの例では、マップ内の異なるパッチは異なるサンプリングレートを有することができる。

【0170】

図１３は、いくつかの例における適応サンプリングの図を示している。高解像度の２Ｄアトラスなどのマップ（１３２０）は、第１の２Ｄ形状Ａ’および第２の２Ｄ形状Ｂ’など、３Ｄメッシュ内のパッチに対応するＵＶパッチとも呼ばれる複数の２Ｄ形状を含む。図１３の例では、２：１の第１のサンプリングレートが、第１のサンプリングされた２Ｄ形状Ａ”を生成するために垂直方向および水平方向の両方において第１の２Ｄ形状Ａ’に適用される；１：１の第２のサンプリングレートが、第２のサンプリングされた２Ｄ形状Ｂ”を生成するために垂直方向および水平方向の両方において第２の２Ｄ形状Ｂ’に適用される。第１のサンプリングされた２Ｄ形状Ａ”および第２のサンプリングされた２Ｄ形状Ｂ”は、適応サンプリングマップ（１３３０）と呼ばれる新しいマップに配置される。

【0171】

図１３の例では、第１のサンプリングされた２Ｄ形状Ａ”は第１の２Ｄ形状Ａ’より小さく、第２のサンプリングされた２Ｄ形状Ｂ”は第２の２Ｄ形状Ｂ’と同じサイズである。適応サンプリングされたマップ（１３３０）は、ビデオエンコーダ（１１３０）などのイメージまたはビデオエンコーダによって、３Ｄメッシュを伝えるビットストリームにエンコードされる。いくつかの例では、サンプリングされた２Ｄ形状に関連付けられたサンプリングレートは、例えば補助データエンコーダ（１１４０）によって、３Ｄメッシュを伝えるビットストリームにエンコードされる。

【0172】

いくつかの例では、デコーダ側で、ビデオデコーダ（１１６０）などのイメージ／ビデオデコーダが、ビットストリームから適応サンプリングされたマップ（１３３０）などの初期マップをデコードする。さらに、サンプリングされた２Ｄ形状に関連するサンプリングレートは、例えば補助データデコーダ（１１７０）によって、ビットストリームからデコードされる。サンプリングされた２Ｄ形状に関連するサンプリングレートに従って、適応サンプリングされたマップ（１３３０）内のサンプリングされた２Ｄ形状が、復元されたマップを生成するように、元のサイズ（例えば、垂直方向および水平方向のピクセル数が同じ）に復元される。その後、復元されたマップは３Ｄメッシュ再構築に使用される。

【0173】

本開示の一態様によると、異なるマップタイプのためのサンプリングレート、異なるサブ領域のためのサンプリングレート、異なるパッチのためのサンプリングレートなどの適応サンプリング情報は、メッシュエンコーダ側およびメッシュデコーダ側において既知である。いくつかの例では、適応サンプリング情報は、３Ｄメッシュを伝えるビットストリームに適切にエンコードされる。したがって、メッシュデコーダおよびメッシュエンコーダは、同じ適応サンプリング情報に基づいて動作することができる。メッシュデコーダは、マップを正しいサイズに復元することができる。

【0174】

本開示の一態様によると、メッシュエンコーダ（１１１０）などのメッシュエンコーダは、２Ｄアトラスサンプリング（ＵＶアトラスサンプリングとも呼ばれる）を実行することができる。例えば、適応サンプリングモジュール（１１２０）は、ＵＶアトラス（１１０５）を持つメッシュを受信することができる。ＵＶアトラス（１１０５）を持つメッシュの各頂点は、ＵＶアトラス内に対応するポイントを有し、ＵＶアトラス内の対応するポイントの位置はＵＶ座標によって指定される。ＵＶアトラスでは、対応するポイントは、３Ｄ空間内の頂点の３Ｄ座標（例:（ｘ，ｙ，ｚ））を含むベクトル値を有することができる。さらに、ＵＶアトラス（１１０５）を持つメッシュは、頂点に関連付けられた属性値を、１つ以上の属性マップ内のＵＶ座標によって指定された位置のピクセルの属性値として格納する、１つ以上の属性マップを含む。例えば、カラーマップは、頂点の色を、カラーマップ内のＵＶ座標によって指定された位置のピクセルの色として格納することができる。

【0175】

適応サンプリングモジュール（１１２０）は、ＵＶアトラス（１１０５）を持つメッシュに適応サンプリング技術を適用し、例えば、サンプリングされたジオメトリマップ（サンプリングされたＵＶマップまたはサンプリングされたＵＶアトラスとも呼ばれる）、１つ以上のサンプリングされた属性マップ（いくつかの例ではテクスチャマップとも呼ばれる）などを含むことができる適応サンプリングされたマップ（１１２５）（いくつかの例では適応サンプリングアトラスとも呼ばれる）を出力することができる。いくつかの例では、適応サンプリングされたマップ（１１２５）は、サンプリングされた占有率マップを含む。

【0176】

本開示の一態様によると、同じサンプリングレート構成が、適応サンプリングマップを生成するために、ジオメトリマップ、属性マップ、占有率マップなどのさまざまなマップに適用されることができる。いくつかの例では、適応サンプリングモジュール（１１２０）は、（例えば、ＵＶアトラス上のサンプリング位置に基づいて）ＵＶアトラスにサンプリングすることによって、適応サンプリングされたマップ（１１２５）を生成することができる。適応サンプリングモジュール（１１２０）は、ＵＶアトラス上のサンプリング位置を決定し、その後ＵＶアトラス上のサンプリング位置に従って適応サンプリングされたマップを生成することができる。例えば、ＵＶアトラス上のサンプリング位置が、例えばサンプリングレートに従って決定された後、適応サンプリングモジュール（１１２０）は、サンプリングされたマップ（１１２５）の各々におけるサンプリングされたポイントの位置を決定し、次に、サンプリングされたマップ（１１２５）内のそれぞれのサンプリングされたポイントの値を決定する。

【0177】

一例では、ＵＶアトラス上のサンプリング位置が、メッシュの頂点によって定義されるポリゴンの内側にある場合、サンプリング位置が占有され、その後、サンプリング位置に対応するサンプリングされた占有率マップ内のサンプリングされたポイントが占有されるように設定される（例えば、サンプリングされた占有率マップ内のサンプリングされたポイントの値は「１」である）。しかし、サンプリング位置がメッシュの頂点によって定義されるポリゴンの内側にない場合、サンプリング位置は占有されず、その後、サンプリング位置に対応するサンプリングされた占有率マップ内のサンプリングされたポイントは占有されないように設定される（例えば、サンプリングされた占有率マップ内のサンプリングされたポイントの値は「０」である）。

【0178】

ＵＶアトラス上の各占有されたサンプリング位置について、適応サンプリングモジュール（１１２０）は、占有されたサンプリング位置での３Ｄ（ジオメトリ）座標を決定し、決定された３Ｄ座標を、（サンプリングされたＵＶアトラスとも呼ばれる）サンプリングされたジオメトリマップ内の対応するサンプリングされたポイントのベクトル値として割り当てることができる。同様に、適応サンプリングモジュール（１１２０）は、占有されたサンプリング位置での属性値（例えば、色、普通など）を決定し、決定された属性値を、サンプリングされた属性マップ内の対応するサンプリングされたポイントの属性値として割り当てることができる。いくつかの例では、適応サンプリングモジュール（１１２０）は、関連するポリゴン頂点から補間することによって、占有されたサンプリング位置の３Ｄ座標および属性を決定することができる。

【0179】

一例では、メッシュは三角形によって形成される。サンプリング位置は、メッシュの３つの頂点によって定義される三角形の内側にあり、したがって、サンプリング位置は占有されたサンプリング位置である。適応サンプリングモジュール（１１２０）は、例えば三角形の３つの頂点の３Ｄ座標の加重平均３Ｄ座標（weighted average 3D coordinates）に従って、占有されたサンプリング位置における３Ｄ（ジオメトリ）座標を決定することができる。適応サンプリングモジュール（１１２０）は、加重平均３Ｄ座標を、サンプリングされたジオメトリマップ内の対応するサンプリングされたポイントのベクトル値になるように割り当てることができる。同様に、適応サンプリングモジュール（１１２０）は、例えば、三角形の３つの頂点の属性の加重平均属性値（例えば、加重平均カラー、加重平均法線など）に従って、占有されたサンプリング位置の属性値を決定することができる。適応サンプリングモジュール（１１２０）は、加重平均属性値をサンプリングされた属性マップ内の対応するサンプリングされたポイントの属性値になるように割り当てることができる。

【0180】

いくつかの例では、サンプリングレート（ＳＲ）は、２Ｄアトラス全体で一貫していることができる（例えば、ジオメトリマップ、属性マップなど）、ｕ軸およびｖ軸のサンプリングレートは異なる場合がある。ｕ軸およびｖ軸で異なるサンプリングレートを使用することは、異方性再メッシュ（anisotropic remeshing）を可能にする。図１２および図１３を参照して説明したように、いくつかの例では、２Ｄアトラスはスライスまたはタイルまたはパッチなどの複数の領域に分割することができ、複数の領域はそれぞれのサンプリングレートを有することができる。例えば、メッシュは接続された三角形で形成され、メッシュはいくつかのパッチに分割することができ、各パッチはメッシュ全体のサブセットを含む。異なるサンプリングレートを、例えば適応サンプリングモジュール（１１２０）によって、それぞれのパッチに適用することができる。

【0181】

本開示の一態様によれば、メッシュエンコーダ（１１１０）のようなメッシュエンコーダは、２Ｄアトラスの各領域について適切なサンプリングレートを決定することができる。

【0182】

いくつかの例では、適応サンプリングモジュール（１１２０）は、２Ｄアトラスにわたるサンプリングレート分布を決定することができる（例えば、ジオメトリマップ、属性マップなど）。例えば、適応サンプリングモジュール（１１２０）は、領域の特性に従って、領域に対して特定のサンプリングレート（ＳＲ）を決定することができる。一例では、特定のサンプリングレートは、領域の周波数スペクトルに基づいて決定される。例えば、リッチテクスチャ領域（rich-textured region）（または２Ｄアトラス全体）は、テクスチャ属性値において高い空間周波数成分を有することができ、適応サンプリングモジュール（１１２０）は、高い空間周波数成分に適したサンプリングレート（例えば、低いサンプリングレート、低いサンプリングステップ）をリッチテクスチャ領域に割り当てることができる。別の例では、高いアクティビティ（activity）を持つ領域（または２Ｄアトラス全体）は、座標（例えば、３Ｄ座標、ＵＶ座標）において高い空間周波数成分を含むことができ、適応サンプリングモジュール（１１２０）は、その高いアクティビティに適したサンプリングレート（例えば、低いサンプリングレート、低いサンプリングステップ）をその領域に割り当てることができる。別の例では、滑らかな領域（または２Ｄアトラス全体）は、テクスチャ属性値において高い空間周波数成分を欠くことができ、適応サンプリングモジュール（１１２０）は、滑らかな領域に適したサンプリングレート（例えば、高いサンプリングレート、高いサンプリングステップ）を割り当てることができる。別の例では、低いアクティビティを持つ領域（または２Ｄアトラス全体）は、座標（例えば、３Ｄ座標、ＵＶ座標）において高い空間周波数成分を欠くことができ、適応サンプリングモジュール（１１２０）は、その領域の低いアクティビティに適したサンプリングレート（例えば、高いサンプリングレート、低いサンプリングステップ）を割り当てることができる。

【0183】

本開示の一態様によると、サンプリングレートはオーバーサンプリング比（ＯＲ）パラメータで表すことができる。ＯＲパラメータは、領域内のサンプリングポイントの数と領域内の元の頂点の数との間の比（ratio）として定義される。領域のＯＲパラメータが１より大きい場合、ＯＲパラメータは、元の頂点の数と比較して領域がオーバーサンプリングされていることを示す。領域のＯＲパラメータが１より小さい場合、ＯＲパラメータは、元の頂点の数と比較して領域がアンダーサンプリングされていることを示す。例えば、メッシュの領域が１０００個の頂点からなり、その領域に特定のサンプリングレート（ＳＲ）を適用するとき、３０００個のサンプリングポイントが得られる。この場合、領域のＯＲパラメータはそのＳＲで３に等しい、すなわちＯＲ（ＳＲ）＝３。

【0184】

いくつかの実施形態では、適応サンプリングモジュール（１１２０）は、事前に定義されたターゲットＯＲパラメータに最も近いＯＲパラメータを達成するために、領域に対する最終的なサンプリングレートを決定するアルゴリズムを使用することができる。例えば、特定の領域ｉ（例えば、ｉは特定の領域を識別するための領域インデックスである）に対して、ターゲットＯＲ（ＴＯＲ_ｉで示される）パラメータが特定の領域ｉに対して定義される。適応サンプリングモジュール（１１２０）は、式（１）によって示されるように、ターゲットＯＲ（ＴＯＲ_ｉ）パラメータに最も近いＯＲパラメータを生成するサンプリングレートとして特定の領域ｉの最終的なサンプリングレート（ＳＲ_ｉで示される）を決定することができる。

【数1】

【0185】

一例では、適応サンプリングモジュール（１１２０）は、複数のサンプリングレートを試すことができ、ターゲットＯＲパラメータに最も近いＯＲパラメータを生成する複数のサンプリングレートのちの１つを選択することができる。別の例では、適応サンプリングモジュール（１１２０）は、バイナリ検索アルゴリズムなどのアルゴリズムを使用して、サンプリングレートの検索範囲で検索を実行し、ターゲットＯＲパラメータに最も近いＯＲパラメータを生成する最終的なサンプリングレートを決定することができる。

【0186】

いくつかの実施形態では、適応サンプリングモジュール（１１２０）は、アルゴリズムを使用して、事前に定義されたしきい値（Ｔｈ_０で示される）より小さい最大ＯＲパラメータを達成することができる特定の領域ｉ（例えば、ｉは特定の領域を識別するための領域インデックスである）に対する最終的なサンプリングレートを決定することができる。いくつかの例では、アルゴリズムは、比較的小さい（例えば、１：１）基本サンプリングレート（ＢＳＲ）から開始し、反復サイクルを持つ反復プロセスを使用して最終的なサンプリングレートを決定する。現在のＢＳＲをテストする各反復サイクルでは、領域に対するＯＲパラメータが決定される。ＯＲパラメータがしきい値Ｔｈ_０より小さい場合、現在のＢＳＲは特定の領域に対する最終的なサンプリングレートである。ＯＲパラメータがしきい値Ｔｈ_０より大きい場合、現在のＢＳＲに基づいて新しいＢＳＲが計算される。例えば、スケーリング係数（scaling factor）Ｆ_０（例えば、１より大きい）が、新しいＢＳＲを決定するために現在のＢＳＲに適用される。その後、新しいＢＳＲが現在のＢＳＲになり、反復プロセスは次の反復サイクルに進む。いくつかの例では、領域（ｉ）の最終的なサンプリングレートを決定するプロセスは、式（２）のように決定される：

【数2】

ここで、ＳＲ_ｉは最終的なサンプリングレート、Ｔｈ_０はＯＲパラメータのしきい値、Ｆ_０＞１はＢＳＲを増加させるためのスケーリング係数である。したがって、ＢＳＲを持つＯＲパラメータがしきい値Ｔｈ_０より小さい場合、現在の領域は最終的なサンプリングレートとしてＢＳＲを単に使用し、そうでない場合は最終的なサンプリングレートはスケーリング係数Ｆ_０によって変更される。プロセスは、ＯＲ（ＳＲ_ｉ）がしきい値Ｔｈ_０より小さくなるまで繰り返し実行することができる。

【0187】

いくつかの実施形態では、適応サンプリングモジュール（１１２０）は、アルゴリズムを使用して、第１の事前に定義されたしきい値（Ｔｈ_０で示される）より小さく、第２の事前に定義されたしきい値（Ｔｈ_１で示される）より大きいなど、特定の範囲でＯＲパラメータを達成することができる特定の領域ｉ（例えば、ｉは特定の領域を識別するための領域インデックスである）の最終的なサンプリングレート（ＳＲ_ｉ）を決定することができる。いくつかの例では、アルゴリズムは、任意の基本サンプリングレート（ＢＳＲ）から開始し、反復サイクルによる反復プロセスを使用して最終的なサンプリングレートを決定する。現在のＢＳＲをテストする各反復サイクルでは、特定の領域に対するＯＲパラメータが決定される。ＯＲパラメータが、第１の事前に定義されたしきい値Ｔｈ_０より小さく、Ｔｈ_１による第２の事前に定義されたしきい値より大きいなど、特定の範囲にある場合、現在のＢＳＲは特定の領域に対する最終的なサンプリングレートである。しかし、ＯＲパラメータが第１の事前に定義されたしきい値Ｔｈ_０より大きい場合、第１のスケーリング係数Ｆ_０（例えば、１より大きい）が新しいＢＳＲを決定するために現在のＢＳＲに適用される。ＯＲパラメータが第２の事前に定義されたしきい値Ｔｈ_１より小さい場合、第２のスケーリング係数（例えば、１より小さい）が新しいＢＳＲを決定するために現在のＢＳＲに適用される。その後、新しいＢＳＲが現在のＢＳＲになり、反復プロセスは次の反復サイクルに進む。

【0188】

いくつかの例では、領域ｉの最終的なサンプリングステップを決定するプロセスは式（３）のように決定される：

【数3】

ここで、ＢＳＲは基本サンプリングレート、Ｔｈ_０は第１の事前に定義されたしきい値、Ｔｈ_１は第２の事前に定義されたしきい値、Ｆ_０＞１はＢＳＲを増加させる第１のスケーリング係数、０＜Ｆ_１＜１はＢＳＲを減少させる第２のスケーリング係数を示す。

【0189】

スケーリング係数Ｆ_０およびＦ_１は、領域ごとに異なる場合があることが留意される。ＢＳＲを持つＯＲパラメータがしきい値（例えば、Ｔｈ_０およびＴｈ_１）によって定義された特定の範囲内にある場合、現在の領域は、ＢＳＲを最終的なサンプリングレートとして使用することができる。ＢＳＲを持つＯＲパラメータがＴｈ_０以上の場合、最終的なサンプリングレートはスケーリング係数Ｆ_０によって増加する。ＢＳＲを持つＯＲパラメータがＴｈ_１以下の場合、最終的なサンプリングレートはスケーリング係数Ｆ_１によって減少する。プロセスは、ＯＲ（ＳＲ_ｉ）がＴｈ_０およびＴｈ_１によって定義される範囲内になるまで反復的に実行することができる。

【0190】

本開示のいくつかの態様によると、適応サンプリングモジュール（１１２０）は、単一のマップに異なるサンプリングレート（または異なるサンプリングステップ）の領域を配置することができる。

【0191】

適応サンプリングレートが適用される場合、サンプリングされたマップ内のサンプリングされた領域のサイズは、元のＵＶアトラスと比較して、または均一なサンプリングレートが使用される場合と比較して、異なる比率で変化する可能性があることが留意される。適応サンプリングモジュール（１１２０）は、サンプリングされたマップ内に異なるサンプリングレートのサンプリングされた領域を配置し、サンプリングされた領域を互いに重複しないように保つことができ、したがって、サンプリングされたマップ内の各ポイントは特定の領域に一対一の対応を有する。

【0192】

いくつかの例では、適応サンプリングモジュール（１１２０）は、各サンプリングされた領域に対する境界ボックスを決定し、次いで境界ボックスに従ってサンプリングされた領域を配置することができる。一例では、元のＵＶアトラスの特定の領域について、ｕ_ｍｉｎは特定の領域の頂点のすべてのうちの最小ｕ座標であり、ｖ_ｍｉｎは特定の領域の頂点のすべてのうちの最小ｖ座標である。最小ｕ座標および最小ｖ座標に基づいて、適応サンプリングモジュール（１１２０）は、特定の領域に対応するサンプリングされた領域に対する境界ボックスを決定することができる。例えば、サンプリングされた領域に対する境界ボックスの左上隅を、サンプリングされたマップ内の（ｕ_o、ｖ_o）の位置に配置することができ、その位置は

【数4】

および

【数5】

によって計算することができ、ＳＲは、ｕ方向とｖ方向に同じサンプリングレートが使用されている場合に、特定の領域に適用されるサンプリングレートを示し、

【数6】

は、値Ｃよりも大きい最小整数を決定する天井関数を示す。

【0193】

いくつかの実施形態では、適応サンプリングモジュール（１１２０）は、サンプリングされた領域を特定の順序でサンプリングされたマップに１つずつ配置することができる。現在のサンプリングされた領域を配置するために、適応サンプリングモジュール（１１２０）は、位置（ｕ_ｏ，ｖ_ｏ）（例えば、現在のサンプリングされた領域の境界ボックスの左上隅）に従って、最初に現在のサンプリング領域を配置することができる。適応サンプリングモジュール（１１２０）が、現在のサンプリングされた領域がすでに配置されたサンプリングされた領域と重複していることを検出すると、適応サンプリングモジュール（１１２０）は、以前に配置されたサンプリングされた領域との重複を避けるように現在のサンプリングされた領域を配置する新しい位置を決定することができる。

【0194】

いくつかの例では、特定の検索ウィンドウおよび／または基準を定義することができ、適応サンプリングモジュール（１１２０）は、特定の検索ウィンドウおよび／または基準に従って現在のサンプリングされた領域を配置するための新しい位置（（ｕ_ｎ，ｖ_ｎ）で示される）を見つけることができる。いくつかの例では、新しい位置（ｕ_ｎ，ｖ_ｎ）と元の位置（ｕ_ｏ，ｖ_ｏ）との間のオフセット（ＵＶオフセットとも呼ばれる）を、再構築のためにエンコーダ側からデコーダ側にシグナリングすることができることが留意される。

【0195】

いくつかの実施形態では、サンプリングされた領域は、重複しないだけでなく、領域間に一定の量のギャップを有するように配置される。例えば、各サンプリングされた領域は、他のサンプリングされた領域に対して最低１０ピクセルの距離を有することを必要とされ得る。サンプリングされた領域間の間隔はさまざまな手法で定義できることが留意される。いくつかの例では、サンプリングされた領域間の最小距離を、最小水平距離ｌ_０、および最小垂直距離ｌ_１によって定義することができる。

【0196】

本開示のいくつかの態様は、メッシュ圧縮のための適応サンプリングのためのシグナリング技術（signaling techniques）も提供する。

【0197】

いくつかの実施形態では、メッシュの異なる領域のサンプリングレートを、メッシュの情報を伝えるビットストリームでシグナリングすることができる。サンプリングレートは、ビットストリーム内の異なるレベルでシグナリングされることができることが留意される。一例では、サンプリングレートは、メッシュフレームのシーケンスを含むメッシュシーケンス全体のシーケンスヘッダーでシグナリングされることができる。別の例では、サンプリングレートは、（ピクチャのグループ（ＧＯＰ）と同様の概念である）メッシュフレームのグループのグループヘッダーでシグナリングされることができる。別の例では、サンプリングレートは、各メッシュフレームのフレームヘッダーでシグナリングされることができる。別の例では、メッシュフレーム内のスライスのサンプリングレートが、スライスのスライスヘッダーでシグナリングされる。別の例では、メッシュフレーム内のタイルのサンプリングレートが、タイルのタイルヘッダーでシグナリングされる。別の例では、メッシュフレーム内のパッチのサンプリングレートが、パッチのパッチヘッダーでシグナリングされる。

【0198】

具体的には、いくつかの実施形態では、ビットストリーム内の異なるレベルで適応サンプリング方法が適用されているかどうかを示すために、制御フラグを通知シグナリングすることができる。一例では、制御フラグが、メッシュシーケンス全体のシーケンスヘッダーでシグナリングされる。別の例では、制御フラグが、メッシュフレームのグループのグループヘッダーでシグナリングされる。別の例では、制御フラグが、各メッシュフレームのフレームヘッダーでシグナリングされる。別の例では、メッシュフレーム内のスライスの制御フラグが、スライスのスライスヘッダーでシグナリングされる。別の例では、メッシュフレーム内のタイルの制御フラグが、タイルのタイルヘッダーでシグナリングされる。別の例では、メッシュフレーム内のパッチの制御フラグが、パッチのパッチヘッダーでシグナリングされる。あるレベルにおける制御フラグが真（true）の場合、適応サンプリングがそのレベルにおいて有効になり、適応サンプリングレートが適用される可能性がある。あるレベルにおける制御フラグが偽（false）の場合、適応サンプリングは無効になり、均一なサンプリングレートがそのレベルにおいて適用される。

【0199】

いくつかの例では、制御フラグは１ビットを含み、さまざまな手法でコーディングすることができる。一例では、制御フラグは、固定または更新された確率でエントロピーコーディング（例えば、算術コーディングおよびハフマンコーディング）によってコーディングされる。別の例では、制御フラグは、より複雑でないコーディング技術によってコーディングされる（バイパスコーディングと呼ばれる）。

【0200】

いくつかの例では、適応サンプリングが有効かどうかに関係なく、基本サンプリングレートをシグナリングすることができる。適応サンプリングが有効になっている場合、基本サンプリングレートを予測子として使用することができ、各領域は、その領域の実際のサンプリングレートを示すために、基本サンプリングレートとの差をシグナリングすることができる。適応サンプリングが無効になっている場合、基本サンプリングレートを、適切なレベルのコンテンツ全体で均一なサンプリングレートとして使用することができる。

【0201】

基本サンプリングレートを、ビットストリーム内のさまざまなレベルでシグナリングすることもできる。一例では、基本サンプリングレートを、メッシュシーケンス全体のシーケンスヘッダーでシグナリングすることができる。別の例では、基本サンプリングレートを、メッシュフレームのグループのグループヘッダーでシグナリングすることができる。別の例では、基本サンプリングレートを、各メッシュフレームのフレームヘッダーでシグナリングすることができる。別の例では、メッシュフレーム内のスライスの基本サンプリングレートが、スライスのスライスヘッダーでシグナリングされる。別の例では、メッシュフレーム内のタイルの基本サンプリングレートが、タイルのタイルヘッダーでシグナリングされる。別の例では、メッシュフレーム内のパッチの基本サンプリングレートが、パッチのパッチヘッダーでシグナリングされる。

【0202】

いくつかの例では、基本サンプリングレートは、固定長または可変長の表現（例えば、固定ｋビット表現またはｋ次指数ゴロム（k-ordered Exp-Golomb）表現）によって２進数化することができ、各ビットは、固定または更新された確率でエントロピーコーディング（例えば、算術コーディングおよびハフマンコーディング）によってコーディングされることができる、または、複雑さの少ないバイパスコーディングによってコーディングされることができる。

【0203】

本開示の一態様によると、適応サンプリングが有効になっている場合、メッシュフレーム内の領域のサンプリングレートが適切にシグナリングされる。いくつかの例では、メッシュフレーム全体の領域の数が、シグナリングされることができる、または、導出されることができる（例えば、ＣＴＵ行数、タイル数、パッチ数など）。

【0204】

本開示の一態様によると、領域のサンプリングレートを、予測なしにシグナリングすることができる。一例では、各領域（または２Ｄアトラス全体）のサンプリングレートを、予測なしに直接シグナリングすることができる。別の例では、各領域（または２Ｄアトラス全体）のサンプリングレートは、エンコーダとデコーダの両方によって知られている事前に確立されたサンプリングレートのセットから選択されることができる。特定のサンプリングレートのシグナリングは、事前に確立されたレートセット内の特定のサンプリングレートのインデックスをシグナリングすることによって実行されることができる。例えば、事前に確立されたサンプリングステップのセットは、（２ピクセルごと、４ピクセルごと、８ピクセルごとなど）を含むことができる。インデックス１は、２ピクセルごとのサンプリングレート（例えば、２：１）を示すようにシグナリングされることができる。インデックス２は、４ピクセルごとのサンプリングレート（例えば、４：１）を示すようにシグナリングされることができる。インデックス３は、８ピクセルごとのサンプリングレート（例えば、８：１）を示すようにシグナリングされることができる。

【0205】

本開示の別の態様によると、領域のサンプリングレートを予測することができる。任意の適切な予測技術を使用できることが留意される。

【0206】

一例では、メッシュフレームの各領域（または２Ｄアトラス全体）のサンプリングレートを、事前に確立されたレートセットから予測することができる。別の例では、メッシュフレームの各領域（または２Ｄアトラス全体）のサンプリングレートを、同じフレームの他の既にコーディングされた領域において以前に使用されたサンプリングレートから予測することができる。別の例では、メッシュフレームの各領域（または２Ｄアトラス全体）のサンプリングレートを、他の既にコーディングされたメッシュフレームにおいて以前に使用されたサンプリングレートから予測することができる。

【0207】

本開示の別の態様によると、各領域（または２Ｄアトラス全体）のサンプリングレートを、予測と直接シグナリングの両方が許可される方法で決定することができる。一例では、シンタックスを、サンプリングレートが予測されるか直接シグナリングされるかを示すように構造化することができる。シンタックスがサンプリングレートを予測することを示している場合、サンプリングレートを予測するためにどの予測子（predictor）を使用するかは、例えば別のシンタックスによってさらにシグナリングされる。シンタックスがサンプリングレートを直接シグナリングされることを示している場合、サンプリングレートの値は例えば別のシンタックスによってシグナリングされる。

【0208】

いくつかの例では、サンプリングレートが直接（サンプリングレートをシグナリングする、または、サンプリングレートを指すインデックスをシグナリングすることによって）シグナリングされる場合、サンプリングレートまたはサンプリングレートを指すインデックスは、固定長または可変長表現（例えば、固定ｋビット表現またはｋ次指数ゴロム表現）によって２値化されることができ、各ビットは、固定または更新された確率でエントロピーコーディング（例えば、算術コーディングおよびハフマンコーディング）によって、または複雑さの低いバイパスコーディングによってコーディングされることができる。

【0209】

いくつかの例では、サンプリングレートが予測によってシグナリングされる場合、予測残差をシグナリングすることができる。予測残差は、固定長表現または可変長表現（例えば、固定ｋビット表現またはｋ次指数ゴロム表現）によって２値化されることができ、各ビットは、固定確率または更新確率でエントロピーコーディング（例えば、算術コーディングおよびハフマンコーディング）によってコーディングされることができる、または、複雑度の低いバイパスコーディングによってコーディングされることができる。例えば、予測残差の符号ビットはバイパスコーディングによってコーディングされることができ、予測残差の絶対値は更新された確率でエントロピーコーディングによってコーディングされることができる。

【0210】

本開示のいくつかの態様によると、適応サンプリングが有効になっている場合、ＵＶ座標のオフセット（ＵＶオフセットとも呼ばれる）、すなわち、メッシュフレーム内の各領域のｏｆｆｓｅｔ_ｕ＝ｕ_ｏ－ｕ_ｎおよびｏｆｆｓｅｔ_ｖ＝ｖ_ｏ－ｖ_ｎは、メッシュフレームを伝えるビットストリームでコーディングされることができる。いくつかの例では、メッシュフレーム全体の領域の数をシグナリングまたは導出することができる（例えば、ＣＴＵ行数、タイル数、パッチ数など）。

【0211】

本開示の一態様によると、領域のＵＶオフセットを予測なしにシグナリングすることができる。一例では、各領域のＵＶオフセットを予測なしに直接シグナリングすることができる。

【0212】

本開示の別の態様によれば、領域のＵＶオフセットを予測することができる。任意の適切な予測技術を使用できることが留意される。一例では、各領域のＵＶオフセットは、事前に確立されたＵＶオフセットセットから予測される。別の例では、各領域のＵＶオフセットは、同じメッシュフレームの他のすでにコーディングされた領域における以前に使用されたＵＶオフセットから予測される。別の例では、各領域のＵＶオフセットは、他のすでにコーディングされたメッシュフレームにおける以前に使用されたＵＶオフセットから予測される。

【0213】

本開示の別の態様によると、各領域のＵＶオフセットを、予測シグナリングおよび直接シグナリングの両方が許可される方法でシグナリングすることができる。いくつかの例では、シンタックスを、ＵＶオフセットが予測されるか直接シグナリングされるかを示すために構造化することができる。ＵＶオフセットが予測されることをシンタックスが示す場合、ＵＶオフセットの予測にどの予測子を使用するかは、別のシンタックスによってさらにシグナリングされる。ＵＶオフセットが直接シグナリングされることをシンタックスが示す場合、ＵＶオフセットの値は別のシンタックスによってシグナリングされる。

【0214】

いくつかの例では、ＵＶオフセットは直接シグナリングされ、ＵＶオフセットの値は固定長または可変長表現（例えば、固定ｋビット表現またはｋ次指数ゴロム表現）によって二値化されることができ、各ビットは固定確率または更新確率でエントロピーコーディング（例えば、算術コーディングおよびハフマンコーディング）によってコーディングされることができる、または、複雑さを抑えたバイパスコーディングによってコーディングされることができる。一例では、ＵＶオフセットの符号ビットは、バイパスコーディングによってコーディングされることができ、ＵＶオフセットの絶対値は更新された確率でエントロピーコーディングによってコーディングされることができる。

【0215】

いくつかの例では、ＵＶオフセットの符号ビットはサンプリングレートの値から推測または予測されることができる。例えば、領域のサンプリングレートが基本サンプリングレートよりも大きい場合、ＵＶオフセットの符号ビットは正として推測または予測することができる。また、領域のサンプリングレートが基本サンプリングレートよりも小さい場合、ＵＶオフセットの符号ビットは負として推測または予測することができる。領域のサンプリングレートが基本サンプリングレートと等しい場合、ＵＶオフセットはゼロとして推測または予測することができる。

【0216】

いくつかの例では、ＵＶオフセットを予測することができ、予測残差をシグナリングすることができる。例えば、予測残差は固定長または可変長表現（例えば、固定ｋビット表現またはｋ次指数ゴロム表現）によって二値化され、各ビットは、固定確率または更新確率でエントロピーコーディング（例えば、算術コーディングおよびハフマンコーディング）によってコーディングされることができる、または、複雑さの少ないバイパスコーディングによってコーディングされることができる。一例では、予測残差の符号ビットはバイパスコーディングによってコーディングされることができ、予測残差の絶対値は更新確率でエントロピーコーディングによってコーディングされることができる。

【0217】

本開示のいくつかの態様は、また、デコーダ側で使用するためのメッシュ再構築技術も提供する。メッシュ再構築技術は、メッシュ再構築モジュール（１１９０）などのメッシュ再構築モジュールで使用されることができる。

【0218】

いくつかの例では、デコードされたマップ（１１６５）は、デコードされた占有率マップを含み、メッシュ再構築モジュール（１１９０）は、デコードされた占有率マップ、デコードされたジオメトリマップおよび１つ以上のデコードされた属性マップを含むデコードされたマップ（１１６５）に従ってメッシュフレームを再構築することができる。いくつかの例では、デコードされた占有率マップは、デコードされたジオメトリマップおよびデコードされた属性マップと同じサンプリングレートを使用した適応サンプリングの結果であることができるサンプリングされた占有率マップに対応し、したがってデコードされた占有率マップはサンプリングされた領域を含むことが留意される。

【0219】

いくつかの例では、デコードされたマップ（１１６５）は占有率マップを含まず、ビットストリーム（１１４５）は、各領域の境界頂点を識別する情報、例えば補助データエンコーダ（１１４０）によってエンコードされた補助データを含む。補助データデコーダ（１１７０）は、領域の境界頂点を識別する情報をデコードすることができる。メッシュ再構築モジュール（１１９０）は、領域の境界頂点に基づいて、推側された占有率マップについての領域を推測することができる。いくつかの例では、推側された占有率マップは適応サンプリングで処理されていないことが留意される。メッシュ再構築モジュール（１１９０）は、推側された占有率マップと、デコードされたジオメトリマップおよび１つ以上のデコードされた属性マップを含むデコードされたマップ（１１６５）に従ってメッシュフレームを再構築することができる。

【0220】

本開示の一態様によると、メッシュ再構築モジュール（１１９０）は、メッシュフレーム内の頂点のＵＶ座標を決定し、デコードされたマップ（１１６５）およびデコードされた補助データ（例えば、サンプリングレート、ＵＶオフセット、境界頂点を識別する情報など）に基づいて、メッシュフレーム内の頂点の３Ｄ座標および属性値を決定することができる。

【0221】

いくつかの実施形態では、領域内の頂点のＵＶ座標を決定するために、領域のサンプリングレート（ＳＲ）が、ビットストリーム（１１４５）からデコードされたシンタックス値に従って決定される。いくつかの例では、領域の（ｏｆｆｓｅｔ_ｕ，ｏｆｆｓｅｔ_ｖ）などのＵＶオフセットは、ビットストリーム（１１４５）からデコードされたシンタックス値に従って決定される。

【0222】

一例では、デコードされたマップ（１１６５）は、デコードされた占有率マップを含む。メッシュ再構築モジュール（１１９０）は、デコードされた占有率マップのサンプリングされた領域内の各占有ポイントに対応する頂点のＵＶ座標を決定することができる。例えば、サンプリングされた領域内の座標（ｕ_ｉ，ｖ_ｉ）を持つ各占有ポイントについて、メッシュ再構築モジュール（１１９０）は、式（４）および式（５）に従って占有ポイントに対応する頂点のＵＶ座標（Ｕ_ｉ，Ｖ_ｉ）を決定することができる：

【数7】

【0223】

別の例では、デコードされたマップ（１１６５）は、デコードされた占有率マップを含まない。メッシュ再構築モジュール（１１９０）は、領域の境界頂点に従って、推側された占有率マップ内の推測された領域を決定することができる。推測された領域内の占有ポイントに対応する頂点のＵＶ座標は、推測された占有率マップの領域内の占有ポイントの位置によって直接推測されることができる。例えば、推測された占有率マップ内の占有ポイントは、特定のＵＶ座標（Ｕ_ｓ，Ｖ_ｓ）によって定義される位置を有し、特定のＵＶ座標（Ｕ_ｓ，Ｖ_ｓ）は、メッシュフレーム内の対応する頂点のＵＶ座標である。

【0224】

いくつかの実施形態では、占有率マップ（例えば、デコードされた占有率マップ、推測された占有率マップ）上の各占有ポイントについて、メッシュ再構築モジュール（１１９０）は、メッシュフレーム上の頂点を復元することができ、デコードされたジオメトリマップおよびデコードされた属性マップ内の対応する位置に従って、対応するジオメトリ値（例えば、３Ｄ座標）および属性値を決定することができる。

【0225】

いくつかの実施形態では、領域内の頂点のジオメトリマップおよび属性マップ内の対応する位置を導出するために、領域のサンプリングレート（ＳＲ）は、ビットストリーム（１１４５）からデコードされたシンタックス値に従って決定される。いくつかの例では、領域の（ｏｆｆｓｅｔ_ｕ，ｏｆｆｓｅｔ_ｖ）などのＵＶオフセットは、ビットストリーム（１１４５）からデコードされたシンタックス値に従って決定される。

【0226】

一例では、デコードされたマップ（１１６５）は、デコードされた占有率マップを含む。デコードされた占有率マップのサンプリングされた領域内の座標（ｕ_ｉ，ｖ_ｉ）を持つ各占有ポイントについて、デコードされたジオメトリマップおよびデコードされた属性マップ内の対応する位置を（ｕ_ｉ，ｖ_ｉ）から直接導出することができる。例えば、サンプリングされた占有率マップを取得するために占有率マップに適用されるサンプリングレートは、ジオメトリマップ（サンプリングされたジオメトリマップを取得するため）および属性マップ（サンプリングされた属性マップを取得するため）に適用されるサンプリングレートと一致する。デコードされた占有率マップはサンプリングされた占有率マップに対応し、デコードされたジオメトリマップはサンプリングされたジオメトリマップに対応し、デコードされた属性マップはサンプリングされた属性マップに対応する。したがって、デコードされた占有率マップ内の占有ポイントは、デコードされたジオメトリマップおよびデコードされた属性マップ内で同じ座標を持つ対応するポイントを有することができる。

【0227】

別の例では、デコードされたマップ（１１６５）は、デコードされた占有率マップを含まない。メッシュ再構築モジュール（１１９０）は、領域の境界頂点に従って、推側された占有率マップ内の推測された領域を決定することができる。推測された領域内の座標（Ｕ_ｉ，Ｖ_ｉ）を持つ各占有ポイントについて、ジオメトリマップおよび属性マップ内の対応する位置は式（６）および式（７）で導出されることができる：

【数8】

【0228】

いくつかの実施形態では、メッシュ再構築モジュール（１１９０）は、占有された位置から推測することによって、頂点間の接続情報を推測することができる。いくつかの実施形態では、接続情報はビットストリーム（１１４５）で明示的にシグナリングされることができる。

【0229】

図１４は、開示の実施形態によるプロセス（１４００）の概要を示すフローチャートを示す。プロセス（１４００）は、メッシュのエンコード処理中に使用することができる。様々な実施形態では、プロセス（１４００）は処理回路によって実行される。いくつかの実施形態では、プロセス（１４００）はソフトウェア命令で実装され、したがって、処理回路がソフトウェア命令を実行するとき、処理回路はプロセス（１４００）を実行する。プロセスは、（Ｓ１４０１）においてスタートし、（Ｓ１４１０）に進む。

【0230】

（Ｓ１４１０）において、オブジェクトのサーフェスを表すポリゴンを持つメッシュフレームのデータ構造が受信される。メッシュフレームのデータ構造は、メッシュフレームの頂点をＵＶアトラスのＵＶ座標に関連付けるＵＶアトラスを含む。

【0231】

（Ｓ１４２０）において、メッシュフレームの領域のそれぞれのサンプリングレートが、メッシュフレームの領域のそれぞれの特性に従って決定される。

【0232】

（Ｓ１４３０）において、メッシュフレームの領域のそれぞれのサンプリングレートが、ＵＶアトラス上のサンプリング位置を決定するためにＵＶアトラスに適用される。

【0233】

（Ｓ１４４０）において、メッシュフレームの１つ以上のサンプリングされた２次元（２Ｄ）マップが、ＵＶアトラス上のサンプリング位置に従って、生成される。

【0234】

（Ｓ１４５０）において、１つ以上のサンプリングされた２Ｄマップがビットストリームにエンコードされる。

【0235】

メッシュフレームの領域のそれぞれのサンプリングレートを決定するために、いくつかの例では、メッシュフレームの第１の領域の第１のサンプリングレートが、第１の領域の第１のサンプリング位置の数を制限する要件に従って決定される。一例では、第１のサンプリングレートは、ターゲット値に最も近いオーバーサンプリング比（ＯＲ）を達成するように決定される。ＯＲは、第１のサンプリング位置の数と、元はメッシュフレームの第１の領域にあった頂点の数との間の比である。

【0236】

別の例では、第１のサンプリングレートは、比較的小さくなるように初期化され、オーバーサンプリング比（ＯＲ）が第１のしきい値より小さくなるまで調整される。ＯＲは、第１のサンプリング位置の数と、元はメッシュフレームの第１の領域にあった頂点の数との間の比である。

【0237】

別の例では、オーバーサンプリング比（ＯＲ）が第１のしきい値より小さく、第２のしきい値より大きくなるまで、第１のサンプリングレートが調整される。ＯＲは、第１のサンプリング位置の数と、元はメッシュフレームの第１の領域にあった頂点の数との間の比である。

【0238】

いくつかの例では、１つ以上のサンプリングされた２Ｄマップのサンプリングされた２Ｄマップは、ＵＶアトラス上のサンプリング位置に対応するサンプリングされたポイントを持つサンプリングされた領域を含む。一例では、サンプリング位置がポリゴン内にある場合、そのサンプリング位置は占有されていると決定される。そして、サンプリング位置に対応するサンプリングされた２Ｄマップ内のサンプリングされた点の属性が、そのポリゴンの頂点の属性に従って決定される。

【0239】

いくつかの例では、１つ以上のサンプリングされた２Ｄマップを形成するために、
メッシュの領域に対応するサンプリングされた領域が、メッシュの領域のそれぞれのサンプリングレートに基づいて決定されることができる。次に、サンプリング領域は、サンプリングされたマップを形成するよう重複しない構成に配置される。一例では、サンプリングされた領域は、１つずつ配置される。一例では、サンプリングされた領域の境界ボックスが決定され、サンプリングされた領域は、境界ボックスの１つ以上の角が既に配置されている他のサンプリングされた領域と重複しないように配置される。

【0240】

例えば、サンプリング領域を重複しない構成に配置するために、サンプリング領域のサブセットが重複しない構成に配置された後、現在のサンプリング領域について、初期配置位置が現在のサンプリングされた領域のサンプリングレートに従って決定される。その後、初期配置位置の現在のサンプリングされた領域がサンプリングされた領域のサブセットと重複するかどうかが決定される。

【0241】

いくつかの例では、初期配置位置へのオフセットが、サンプリングされた領域のサブセットと重複する初期配置位置における現在のサンプリングされた領域に応じて決定される。オフセットは、現在のサンプリングされた領域がサンプリングされた領域のサブセットと重複しないようにすることを可能にする。

【0242】

いくつかの例では、重複しない構成は、サンプリングされた領域間の最小距離要件を含む。

【0243】

いくつかの実施形態では、領域にそれぞれ関連付けられたサンプリングレートは、さまざまな技術によってエンコードされる。一例では、第１の領域の第１のサンプリングレートの値が、ビットストリームに直接エンコードされる。別の例では、第１のインデックスがビットストリームにエンコードされ、第１のインデックスは、サンプリングレートのセットからの第１のサンプリングレートの選択を示す。別の例では、事前に確立されたサンプリングレートのセットから第１のサンプリングレートを予測するための予測子を示すシンタックスがビットストリームにエンコードされる。別の例では、メッシュフレームのエンコードされた領域に対して以前に使用されたサンプリングレートから第１のサンプリングレートを予測するための予測子を示すシンタックスがビットストリームにエンコードされる。別の例では、メッシュフレームの前にエンコードされた別のメッシュフレームのエンコードされた領域に対して以前に使用されたサンプリングレートから第１のサンプリングレートを予測するための予測子を示すシンタックスがビットストリームにエンコードされる。

【0244】

いくつかの実施形態では、エンコーダ側は、第１の領域に関連付けられた第１のサンプリングレートをシグナリングすることまたは第１のサンプリングレートを予測することを決定し、その決定を示す第１のシンタックス値をビットストリームにエンコードすることができる。一例では、第１のサンプリングレートをシグナリングする決定に応答して、第１のサンプリングレートの値がビットストリームに直接エンコードされる。別の例では、第１のサンプリングレートをシグナリングする決定に応答して、インデックスがビットストリームにエンコードされ、インデックスはサンプリングレートのセットからの第１のサンプリングレートの選択を示す。

【0245】

いくつかの例では、第１のサンプリングレートを予測する決定に応答して、第２のシンタックスがビットストリームにエンコードされる。第２のシンタックスは、第１のサンプリングレートを予測するために使用する予測子を示す。さらに、一例では、予測残差がビットストリームにエンコードされる。予測残差は、第１のサンプリングレートと予測子のサンプリングレートとの間の差である。

【0246】

いくつかの例では、基本サンプリングレートがビットストリームにエンコードされる。基本サンプリングレートは、適応サンプリングが使用されているかどうかに関係なく、任意の適切なレベルでエンコードされることができる。基本サンプリングレートは、一例では予測子として使用することができる。

【0247】

いくつかの例では、制御フラグが、メッシュフレームへの適応２Ｄアトラスサンプリングの適用がいつ使用されるかを示すためにエンコードされる。

【0248】

いくつかの例では、メッシュフレームの第１の領域に関連付けられた第１のＵＶオフセットが決定される。第１のＵＶオフセットは、他のサンプリング領域との重複を避けるために、第１の領域に対応する第１のサンプリング領域に適用される。１つ以上のシンタックスをビットストリームにエンコードすることができ、１つ以上のシンタックスで第１のＵＶオフセットを示すことができる。一例では、第１のＵＶオフセットの値を持つシンタックスがビットストリームに直接エンコードされる。別の例では、事前に確立されたＵＶオフセットのセットに基づいて第１のＵＶオフセットを予測する予測子を示すシンタックスがビットストリームにエンコードされる。別の例では、メッシュフレームのエンコードされた領域に対して以前に使用されたＵＶオフセットに基づいて第１のＵＶオフセットを予測する予測子を示すシンタックスがビットストリームにエンコードされる。別の例では、メッシュフレームの前にエンコードされた別のメッシュフレームのエンコードされた領域に対して以前に使用されたＵＶオフセットに基づいて第１のＵＶオフセットを予測する予測子を示すシンタックスがビットストリームにエンコードされる。

【0249】

いくつかの例では、ビットストリームへの第１のＵＶオフセットを予測する予測子を示すシンタックスがビットストリームにエンコードされ、予測残差がビットストリームにエンコードされ、予測残差は、第１のＵＶオフセットと予測子のＵＶオフセットとの間の差である。

【0250】

その後、プロセスは（Ｓ１４９９）に進み、終了する。

【0251】

プロセス（１４００）は、適切に適応させることができる。プロセス（１４００）のステップ（複数可）は、変更および／または省略することができる。追加のステップ（複数可）を追加することができる。任意の適切な実装順序を使用することができる。

【0252】

図１５は、本開示の一実施形態によるプロセス（１５００）の概要を示すフローチャートを示している。プロセス（１５００）は、メッシュのデコードプロセス中に使用することができる。様々な実施形態では、プロセス（１５００）は処理回路によって実行される。いくつかの実施形態では、プロセス（１５００）はソフトウェア命令で実装され、ｓｈいたがって、処理回路がソフトウェア命令を実行するとき、処理回路はプロセス（１５００）を実行する。プロセスは（Ｓ１５０１）においてスタートし、（Ｓ１５１０）に進む。

【0253】

（Ｓ１５１０）において、２Ｄの複数のマップが、メッシュフレームを伝えるビットストリームからデコードされる。メッシュフレームは、ポリゴンを持つオブジェクトのサーフェスを表し、２Ｄの複数のマップは、少なくともデコードされたジオメトリマップとデコードされた属性マップとを含み、適応２Ｄアトラスサンプリングが適用されている。

【0254】

（Ｓ１５２０）において、少なくとも第１のサンプリングレートおよび第２のサンプリングレートが、ビットストリームのシンタックスに従って決定される。第１のサンプリングレートは適応２Ｄアトラスサンプリング中にメッシュフレームの第１の領域に適用され、第２のサンプリングレートは適応２Ｄアトラスサンプリング中にメッシュフレームの第２の領域に適用される。第１のサンプリングレートは第２のサンプリングレートとは異なる。

【0255】

（Ｓ１５３０）において、複数のマップに基づいて、少なくとも、メッシュフレームの第１の頂点が第１のサンプリングレートに従って再構築され、メッシュフレームの第２の頂点が第２のサンプリングレートに従って再構築される。

【0256】

いくつかの例では、複数のマップは、適応２Ｄアトラスサンプリングが適用されているデコードされた占有率マップを含む。第１のサンプリングレートに従って少なくとも第１の頂点を再構築するために、メッシュフレームの第１の領域に対応するデコードされた占有率マップの第１のサンプリングされた領域内の占有されたポイントの初期ＵＶ座標が決定され、占有されたポイントは第１の頂点に対応する。次に、第１の頂点の復元されたＵＶ座標が、初期ＵＶ座標および第１のサンプリングレートに基づいて決定される。一例では、第１のサンプリングされた領域の第１のＵＶオフセットが、ビットストリームからのシンタックスに従って決定される。第１の頂点の復元されたＵＶ座標は、初期ＵＶ座標、第１のサンプリングレートおよび第１のＵＶオフセットに基づいて決定される。さらに、一例では、第１の頂点の復元された３Ｄ座標は、初期ＵＶ座標のデコードされたジオメトリマップ内のピクセルに従って決定され、第１の頂点の復元された属性値は、初期ＵＶ座標のデコードされた属性マップ内のピクセルに従って決定される。

【0257】

いくつかの実施形態では、複数のマップは占有率マップを欠いている。第１のサンプリングレートに従って少なくとも第１の頂点を再構築するために、第１の領域の第１の境界頂点を示す情報がビットストリームからデコードされる。第１の領域に対応する占有率マップの第１の占有された領域は、第１の境界頂点に従って推側される。第１の占有された領域の占有されたポイントのＵＶ座標が取得され、占有されたポイントは第１の頂点に対応することができる。ＵＶ座標は、少なくとも第１のサンプリングレートに従ってサンプリングされたＵＶ座標に変換される。複数のマップに基づいて、第１の頂点が、サンプリングされたＵＶ座標に従って再構築される。

【0258】

いくつかの例では、第１の頂点を再構築するために、第１の頂点の復元された３Ｄ座標は、サンプリングされたＵＶ座標におけるデコードされたジオメトリマップ内のピクセルに従って決定され、第１の頂点の復元された属性値は、サンプリングされたＵＶ座標におけるデコードされた属性マップ内のピクセルに従って決定される。

【0259】

いくつかの例では、ＵＶ座標をサンプリングされたＵＶ座標に変換するために、第１の領域に関連付けられた第１のＵＶオフセットがビットストリームからデコードされ、ＵＶ座標は、第１のサンプリングレートおよび第１のＵＶオフセットに従ってサンプリングされたＵＶ座標に変換される。

【0260】

いくつかの実施形態では、少なくとも第１のサンプリングレートおよび第２のサンプリングレートをさまざまな技法によって決定することができる。一例では、少なくとも第１のサンプリングレートおよび第２のサンプリングレートの値がビットストリームから直接デコードされる。別の例では、少なくとも第１のインデックスおよび第２のインデックスがビットストリームからデコードされ、第１のインデックスはサンプリングレートのセットからの第１のサンプリングレートの選択を示し、第２のインデックスはサンプリングレートのセットからの第２のサンプリングレートの選択を示す。別の例では、第１のサンプリングレートは事前に確立されたレートのセットに基づいて予測される。別の例では、第１のサンプリングレートは、メッシュフレームのデコードされた領域に対して以前に使用されたサンプリングレートに基づいて予測される。別の例では、第１のサンプリングレートは、メッシュフレームの前にデコードされた別のメッシュフレームのデコードされた領域に対して以前に使用されたサンプリングレートに基づいて予測される。

【0261】

いくつかの実施形態では、第１のサンプリングレートを決定するために、第１のサンプリングレートがシグナリングされるか予測されるかを示す第１のシンタックス値がビットストリームからデコードされる。一例では、第１のサンプリングレートがシグナリングされることを示す第１のシンタックス値に応答して、第１のサンプリングレートの値がビットストリームから直接デコードされる。別の例では、第１のサンプリングレートがシグナリングされることを示す第１のシンタックス値に応答して、インデックスがビットストリームからデコードされる。インデックスは、サンプリングレートのセットからの第１のサンプリングレートの選択を示す。

【0262】

いくつかの例では、第１のサンプリングレートが予測されることを示す第１のシンタックス値に応答して、第２のシンタックスがビットストリームからデコードされ、第２のシンタックスは第１のサンプリングレートを予測するために使用する予測子を示す。さらに、一例では、予測残差が、ビットストリームからデコードされたシンタックス値に基づいて決定され；第１のサンプリングレートは、予測子および予測残差に基づいて決定される。

【0263】

いくつかの例では、基本サンプリングレートがビットストリームからデコードされ、少なくとも第１のサンプリングレートおよび第２のサンプリングレートを、基本サンプリングレートに従って決定することができる。例えば、基本サンプリングレートは予測子として使用される。

【0264】

いくつかの例では、メッシュフレームへの適応２Ｄアトラスサンプリングの適用を示す制御フラグがビットストリームからデコードされる。次に、メッシュフレーム内の領域の数と、それぞれの領域のサンプリングレートが、例えばビットストリーム内のシンタックスに基づいて決定される。

【0265】

いくつかの例では、第１の領域に関連付けられた第１のＵＶオフセットがビットストリームから決定され、複数のマップに基づいて、メッシュフレームの第１の頂点が第１のサンプリングレートおよび第１のＵＶオフセットに従って再構築される。一例では、第１の領域に関連付けられた第１のＵＶオフセットを決定するために、第１のＵＶオフセットの値がビットストリームから直接デコードされる。別の例では、第１のＵＶオフセットは、事前に確立されたＵＶオフセットのセットに基づいて予測される。別の例では、第１のＵＶオフセットは、メッシュフレームのデコードされた領域に対して以前に使用されたＵＶオフセットに基づいて予測される。別の例では、第１のＵＶオフセットは、メッシュフレームの前にデコードされた別のメッシュフレームのデコードされた領域に対して以前に使用されたＵＶオフセットに基づいて予測される。

【0266】

いくつかの実施形態では、第１の領域に関連付けられた第１のＵＶオフセットを決定するために、第１のＵＶオフセットがシグナリングされるか予測されるかを示す第１のシンタックス値がビットストリームからデコードされる。一例では、第１のＵＶオフセットがシグナリングされることを示す第１のシンタックス値に応答して、第１のＵＶオフセットの値がビットストリームから直接デコードされる。一例では、第１のＵＶオフセットの符号が、第１のサンプリングレートと基本サンプリングレートとの比較に基づいて推側される。

【0267】

別の例では、第１のＵＶオフセットが予測されることを示す第１のシンタックス値に応答して、第２のシンタックスがビットストリームからデコードされ、第２のシンタックスは第１のＵＶオフセットを予測するために使用する予測子を示す。さらに、予測残差が、ビットストリームからデコードされたシンタックス値に基づいて決定され、第１のＵＶオフセットは予測子および予測残差に基づいて決定される。

【0268】

その後、プロセスは（Ｓ１５９９）に進み、終了する。

【0269】

プロセス（１５００）は、適切に適応させることができる。プロセス（１５００）のステップ（複数可）は、変更および／または省略することができる。追加のステップ（複数可）を追加することができる。任意の適切な実装順序を使用することができる。

【0270】

本開示で開示された技術は、別々にまたは任意の順序で組み合わせて使用され得る。さらに、各技術（例えば、方法、実施形態）、エンコーダ、およびデコーダは、処理回路（例えば、１つ以上のプロセッサまたは１つ以上の集積回路）によって実装され得る。いくつかの例では、１つ以上のプロセッサが、非一時的コンピュータ可読媒体に格納されているプログラムを実行する。

【0271】

上記の技術は、コンピュータ可読命令を使用しかつ１つ以上のコンピュータ可読媒体に物理的に格納されているコンピュータソフトウェアとして実装することができる。例えば、図１６は、開示された主題の特定の実施形態を実装するのに適したコンピュータシステム（１６００）を示す。

【0272】

コンピュータソフトウェアは、１つ以上の中央演算処理装置（ＣＰＵ）、グラフィクス処理ユニット（ＧＰＵ）などによって、直接に、または解釈、マイクロコード実行などを通じて、実行されることができる命令を含むコードを生成するように、アセンブリ、コンパイル、リンキングなどのメカニズムの対象となり得る任意の適切なマシンコードまたはコンピュータ言語を使用してコーディングされることができる。

【0273】

命令は、例えば、パーソナルコンピュータ、タブレットコンピュータ、サーバ、スマートフォン、ゲーミングデバイス、モノのインターネットデバイスなどを含む様々なタイプのコンピュータまたはそのコンポーネントで実行することができる。

【0274】

コンピュータシステム（１６００）に関して図１６に示されるコンポーネントは、本質的に例示であり、本開示の実施形態を実装するコンピュータソフトウェアの使用または機能の範囲に関して如何なる限定も示唆することを意図しない。コンポーネントの構成は、コンピュータシステム（１６００）の例示的な実施形態において説明されるコンポーネントのうちのいずれか１つまたは組み合わせに関して何らかの依存または要件を有するものとして解釈されるべきではない。

【0275】

コンピュータシステム（１６００）は、特定のヒューマンインターフェース入力デバイスを含み得る。このようなヒューマンインターフェース入力デバイスは、例えば、触覚入力（例えば、キーボード、スワイプ、データグロープ動作）、音声入力（例えば、声、拍手）、視覚入力（例えば、ジェスチャ）、嗅覚入力（図示せず）を通じた一人以上のユーザによる入力に応答し得る。ヒューマンインターフェースデバイスはまた、音声（例えば、発話、音楽、周囲音）、画像（例えば、スキャンされた画像、静止画カメラから取得された写真画像）、ビデオ（例えば、２次元ビデオ、立体視ビデオを含む３次元ビデオ）などの、人による意識的な入力に必ずしも直接には関係しない特定のメディアをキャプチャするために使用されることができる。

【0276】

入力ヒューマンインターフェースデバイスは、キーボード（１６０１）、マウス（１６０２）、トラックパッド（１６０３）、タッチスクリーン（１６１０）、データグローブ（図示せず）、ジョイスティック（１６０５）、マイク（１６０６）、スキャナ（１６０７）、カメラ（１６０８）（各１つしか描かれていない）のうちの１つ以上を含み得る。

【0277】

コンピュータシステム（１６００）はまた、特定のヒューマンインターフェース出力デバイスを含み得る。このようなヒューマンインターフェース出力デバイスは、例えば、触覚出力、音、光、および匂い／味を通じて一人以上のユーザの感覚を刺激し得る。このようなヒューマンインターフェース出力デバイスは、触覚出力デバイス（例えば、タッチスクリーン（１６１０）、データグローブ（図示せず。）、またはジョイスティック（１６０５）による触覚フィードバック、しかし、入力デバイスとして機能しない触覚フィードバックデバイスがあることもできる）、オーディオ出力デバイス（例えば、スピーカ（１６０９）、ヘッドホン（図示せず））、視覚出力デバイス（例えば、それぞれタッチスクリーン入力機能の有無によらず、それぞれ触覚フィードバック機能の有無によらず、ＣＲＴスクリーン、ＬＣＤスクリーン、プラズマスクリーン、ＯＬＥＤスクリーンを含み、それらのうちのいくつかは、立体視出力、仮想現実メガネ（図示せず）、ホログラフィックディスプレイおよびスモークタンク（図示せず）などの手段により２次元視覚出力または３次元よりも多い次元の出力を出力可能なスクリーン（１６１０））、およびプリンタ（図示せず）を含み得る。

【0278】

コンピュータシステム（１６００）はまた、人がアクセス可能なストレージデバイスおよびそれらの関連する媒体、例えば、ＣＤ／ＤＶＤまたは同様の媒体（１６２１）を伴ったＣＤ／ＤＶＤ ＲＯＭ／ＲＷ（１６２０）、サムドライブ（１６２２）、リムーバブルハードディスクまたはソリッドステートドライブ（１６２３）、レガシー磁気媒体、例えば、テープおよびフロッピー（登録商標）ディスク（図示せず）、専用のＲＯＭ／ＡＳＩＣ／ＰＬＤベースのデバイス、例えば、セキュリティドングル（図示せず）、などを含むことができる。

【0279】

当業者はまた、目下開示されている主題に関連して使用されている「コンピュータ可読媒体」という用語が、伝送媒体、搬送波、または他の一時的な信号を含まないことも理解すべきである。

【0280】

コンピュータシステム（１６００）はまた、１つ以上の通信ネットワーク（１６５５）へのインターフェース（１６５４）を含むことができる。ネットワークは、例えば、ワイヤレス、ワイヤライン、光であることができる。ネットワークはさらに、ローカル、ワイドエリア、メトロポリタン、車両および産業、実時間、遅延耐性、などであることができる。ネットワークの例は、イーサネット（登録商標）などのローカルエリアネットワーク、ワイヤレスＬＡＮ、ＧＳＭ、３Ｇ、４Ｇ、５Ｇ、ＬＴＥなどを含むセルラーネットワーク、ケーブルＴＶ、衛星ＴＶ、および地上放送ＴＶを含むＴＶワイヤラインまたはワイヤレス広域デジタルネットワーク、ＣＡＮバスを含む車両および産業ネットワーク、などを含む。特定のネットワークは、一般に、特定の汎用目的データポートまたはペリフェラルバス（１６４９）（例えば、コンピュータシステム（１６００）のＵＳＢポートなど）に取り付けられた外付けネットワークインターフェースアダプタを必要とする。他は、一般に、後述されるようなシステムバスへの取り付け（例えば、ＰＣコンピュータシステムへのイーサネットネットワーク、またはスマートフォンコンピュータシステムへのセルラーネットワークインターフェース）によってコンピュータシステム（１６００）のコアに組み込まれる。これらのネットワークのいずれかを使用して、コンピュータシステム（１６００）は他のエンティティと通信することができる。そのような通信は、単方向の受信専用（例えば、ブロードキャストＴＶ）、単方向の送信専用（例えば、特定のＣＡＮバスデバイスへのＣＡＮバス）、または例えば、ローカル若しくは広域デジタルネットワークを使用して他のコンピュータシステムに対して双方向であることができる。特定のプロトコルまたはプロトコルスタックが、上述されたようなネットワークおよびネットワークインターフェースの各々で使用されることができる。

【0281】

前述のヒューマンインターフェースデバイス、人がアクセス可能なストレージデバイス、およびネットワークインターフェースは、コンピュータシステム（１６００）のコア（１６４０）に取り付けられることができる。

【0282】

コア（１６４０）は、１つ以上の中央演算処理装置（ＣＰＵ）（１６４１）、グラフィクス処理ユニット（ＧＰＵ）（１６４２）、フィールドプログラマブルゲートエリア（ＦＰＧＡ）（１６４３）の形の専用のプログラム可能処理ユニット、特定のタスクのためのハードウェアアクセラレータ（１６４４）、グラフィクスアダプタ（１６５０）などを含むことができる。これらのデバイスは、リードオンリーメモリ（ＲＯＭ）（１６４５）、ランダムアクセスメモリ（ＲＡＭ）（１６４６）、内部のユーザアクセス不能ハードドライブなどの内蔵大容量記憶装置、ＳＳＤ、など（１６４７）とともに、システムバス（１６４８）を通じて接続され得る。いくつかのコンピュータシステムでは、システムバス（１６４８）は、追加のＣＰＵ、ＧＰＵなどによる拡張を可能にするように、１つ以上の物理プラグの形でアクセス可能であることができる。周辺機器が、コアのシステムバス（１６４８）に直接またはペリフェラルバス（１６４９）を通じて、取り付けられることができる。ペリフェラルバスのためのアーキテクチャは、ＰＣＩ、ＵＳＢなどを含む。

【0283】

ＣＰＵ（１６４１）、ＧＰＵ（１６４２）、ＦＰＧＡ（１６４３）、およびアクセラレータ（１６４４）は、組み合わせて上記のコンピュータコードを構成することができる特定の命令を実行することができる。そのコンピュータコードは、ＲＯＭ（１６４５）またはＲＡＭ（１６４６）に格納されることができる。一時データもＲＡＭ（１６４６）に格納することができ、一方、永続性データは、例えば、内蔵大容量記憶装置（１６４７）に格納されることができる。メモリデバイスのいずれかへの高速な格納および読み出しは、キャッシュメモリの使用により可能にされることができ、このキャッシュメモリは、１つ以上のＣＰＵ（１６４１）、ＧＰＵ（１６４２）、大容量記憶装置（１６４７）、ＲＯＭ（１６４５）、ＲＡＭ（１６４６）などと密接に関連づけられることができる。

【0284】

コンピュータ可読媒体は、様々なコンピュータ実装動作を実行するためのコンピュータコードを有することができる。媒体およびコンピュータコードは、本開示の目的のために特別に設計および構成されたものであることができ、あるいは、それらは、コンピュータソフトウェア技術で通常の知識を有する者によく知られており利用可能である種類のものであることができる。

【0285】

一例として、限定としてではなく、アーキテクチャ（１６００）、具体的にはコア（１６４０）を有するコンピュータシステムは、１つ以上の有形なコンピュータ可読媒体において具現されているソフトウェアを実行するプロセッサ（複数可）（ＣＰＵ、ＧＰＵ、ＦＰＧＡ、アクセラレータ、などを含む）の結果として機能を提供することができる。このようなコンピュータ可読媒体は、コア内蔵大容量記憶装置（１６４７）またはＲＯＭ（１６４５）などの、非一時的な性質であるコア（１６４０）の特定の記憶装置に加えて、先に紹介されたユーザアクセス可能な大容量記憶装置に関連した媒体であることができる。本開示の様々な実施形態を実装するソフトウェアは、そのようなデバイスに格納され、コア（１６４０）によって実行されることができる。コンピュータ可読媒体は、特定のニーズに応じて、１つ以上のメモリデバイスまたはチップを含むことができる。ソフトウェアは、コア（１６４０）、および、具体的には、その中のプロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡなどを含む）に、ＲＡＭ（１６４６）に格納されているデータ構造を定義することと、ソフトウェアによって定義されたプロセスに従ってそのようなデータ構造を変更することとを含む、本明細書で説明されている特定のプロセスまたは特定のプロセスの特定の部分を実行させることができる。追加的にまたは代替として、コンピュータシステムは、本明細書で説明されている特定のプロセスまたは特定のプロセスの特定の部分を実行するようにソフトウェアの代わりにまたはそれとともに動作することができる、回路内でハードワイヤードまたはその他の方法で具現されたロジック（例えば、アクセラレータ（１６４４））の結果として、機能を提供することができる。ソフトウェアへの言及は、適切な場合には、ロジックを包含することができ、その逆も同様である。コンピュータ可読媒体への言及は、適切な場合には、実行のためのソフトウェアを格納する回路（例えば、集積回路（ＩＣ））、実行のためのロジックを具現する回路、または両方を包含することができる。本開示は、ハードウェアおよびソフトウェアの任意の適切な組み合わせを包含する。

【0286】

本開示はいくつかの非限定的な例示的な実施形態を説明してきたが、変更、順列、および様々な代替均等物があり、これらは本開示の範囲内にある。したがって、当業者は、ここに明示的に示されているわけでも記述されているわけでもないが、開示の原理を具体化し、したがってその精神と範囲内にある多数のシステムおよび方法を考え出すことができることが認められる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【国際調査報告】