特許 7477528 点群の処理

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-22

(45)【発行日】2024-05-01

(54)【発明の名称】点群の処理

(51)【国際特許分類】

   H04N 19/597 20140101AFI20240423BHJP

   H04N 19/70 20140101ALI20240423BHJP

   H04N 19/80 20140101ALI20240423BHJP

   H04N 19/85 20140101ALI20240423BHJP

   G06T 9/00 20060101ALI20240423BHJP

【ＦＩ】

H04N19/597

H04N19/70

H04N19/80

H04N19/85

G06T9/00

【請求項の数】 24

(21)【出願番号】P 2021559510

(86)(22)【出願日】2020-02-25

(65)【公表番号】

(43)【公表日】2022-06-14

(86)【国際出願番号】 EP2020054819

(87)【国際公開番号】W WO2020193038

(87)【国際公開日】2020-10-01

【審査請求日】2023-02-27

(31)【優先権主張番号】19305361.8

(32)【優先日】2019-03-22

(33)【優先権主張国・地域又は機関】EP

(31)【優先権主張番号】19305895.5

(32)【優先日】2019-07-01

(33)【優先権主張国・地域又は機関】EP

(31)【優先権主張番号】19306189.2

(32)【優先日】2019-09-24

(33)【優先権主張国・地域又は機関】EP

(31)【優先権主張番号】19306291.6

(32)【優先日】2019-10-04

(33)【優先権主張国・地域又は機関】EP

(73)【特許権者】

【識別番号】518341334

【氏名又は名称】インターディジタル・シーイー・パテント・ホールディングス・ソシエテ・パ・アクシオンス・シンプリフィエ

(74)【代理人】

【識別番号】110001243

【氏名又は名称】弁理士法人谷・阿部特許事務所

(72)【発明者】

【氏名】ジュリアン リカード

(72)【発明者】

【氏名】ジョアン リャック

(72)【発明者】

【氏名】ピエール アンドリヴォン

(72)【発明者】

【氏名】ジャン－クラウド シュヴェ

(72)【発明者】

【氏名】セリーヌ ゲーデ

(72)【発明者】

【氏名】ヤニック オリヴィエ

【審査官】田中 純一

(56)【参考文献】

【文献】国際公開第２０２０／０１２９６７（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０２１／０２１７１３９（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１９／００８７９７８（ＵＳ，Ａ１）

【文献】特開２０１６－０７５６３７（ＪＰ，Ａ）

【文献】特開２０１８－１９４８９１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１２

Ｈ０４Ｎ １９／００ － １９／９８

Ｇ０６Ｔ １／００ － １／４０

Ｇ０６Ｔ ３／００ － ５／９４

Ｇ０６Ｔ ９／００ － ９／４０

ＩＥＥＥ Ｘｐｌｏｒｅ

(57)【特許請求の範囲】

【請求項1】

第１の投影面に投影された点群フレームの３Ｄサンプルのジオメトリを表すパッチを取得することと、
前記パッチの少なくとも１つの隣接するパッチの少なくとも１つの２Ｄサンプルを前記第１の投影面に再投影することによって参照輪郭を取得することと、
前記パッチの少なくとも１つの２Ｄサンプルを空間的に修正して、前記参照輪郭に合わせることと
を備えることを特徴とする方法。

【請求項2】

第１の投影面に投影された点群フレームの３Ｄサンプルのジオメトリを表すパッチを取得することと、
前記パッチの少なくとも１つの隣接するパッチの少なくとも１つの２Ｄサンプルを前記第１の投影面に再投影することによって参照輪郭を取得することと、
前記パッチの少なくとも１つの２Ｄサンプルを空間的に修正して、前記参照輪郭に合わせることと
のために構成された１つまたは複数のプロセッサー
を備えたことを特徴とする装置。

【請求項3】

少なくとも１つの候補パッチから前記少なくとも１つの隣接するパッチを取得することをさらに備える、請求項１に記載の方法。

【請求項4】

前記１つまたは複数のプロセッサーは、少なくとも１つの候補パッチから前記少なくとも１つの隣接するパッチを取得することのためにさらに構成される、請求項２に記載の装置。

【請求項5】

候補パッチの２Ｄサンプルに対応する３Ｄサンプルと、前記隣接するパッチに対応する３Ｄサンプルとが互いに近い場合、前記候補パッチが前記パッチの隣接するパッチである、請求項３に記載の方法。

【請求項6】

候補パッチの２Ｄサンプルに対応する３Ｄサンプルと、前記隣接するパッチに対応する３Ｄサンプルとが互いに近い場合、前記候補パッチが前記パッチの隣接するパッチである、請求項４に記載の装置。

【請求項7】

候補パッチの３Ｄバウンディングボックスが前記パッチの３Ｄバウンディングボックスと交わる場合、候補パッチが前記パッチの隣接するパッチである、請求項５に記載の方法。

【請求項8】

候補パッチの３Ｄバウンディングボックスが前記パッチの３Ｄバウンディングボックスと交わる場合、候補パッチが前記パッチの隣接するパッチである、請求項６に記載の装置。

【請求項9】

前記パッチの前記２Ｄサンプルは、前記パッチの輪郭を形成する、請求項１、３、５、または７のいずれか一項に記載の方法。

【請求項10】

前記パッチの前記２Ｄサンプルは、前記パッチの輪郭を形成する、請求項２、４、６、または８のいずれか一項に記載の装置。

【請求項11】

前記パッチの前記輪郭は、前記パッチの少なくとも１つの２Ｄサンプルを加えることおよび／または取り除くことによって修正される、請求項９に記載の方法。

【請求項12】

前記パッチの前記輪郭は、前記パッチの少なくとも１つの２Ｄサンプルを加えることおよび／または取り除くことによって修正される、請求項１０に記載の装置。

【請求項13】

前記パッチの前記輪郭の２Ｄサンプルは、それが前記参照輪郭の内側または外側のいずれかにあるならば修正される、請求項１１に記載の方法。

【請求項14】

前記パッチの前記輪郭の２Ｄサンプルは、それが前記参照輪郭の内側または外側のいずれかにあるならば修正される、請求項１２に記載の装置。

【請求項15】

前記パッチの前記輪郭は、前記パッチの投影軸に沿って前記パッチの少なくとも１つの２Ｄサンプルを再配置することによって修正される、請求項９、１１、または１３のいずれか一項に記載の方法。

【請求項16】

前記パッチの前記輪郭は、前記パッチの投影軸に沿って前記パッチの少なくとも１つの２Ｄサンプルを再配置することによって修正される、請求項１０、１２、または１４のいずれか一項に記載の装置。

【請求項17】

前記パッチの２Ｄサンプルに対応する少なくとも１つの３Ｄサンプルと前記参照輪郭の２Ｄサンプルに対応する少なくとも１つの３Ｄサンプルとの間に少なくとも１つの追加の３Ｄサンプルを加えることによって、前記パッチの前記輪郭が修正される、請求項９、１１、１３、または１５のいずれか一項に記載の方法。

【請求項18】

前記パッチの２Ｄサンプルに対応する少なくとも１つの３Ｄサンプルと前記参照輪郭の２Ｄサンプルに対応する少なくとも１つの３Ｄサンプルとの間に少なくとも１つの追加の３Ｄサンプルを加えることによって、前記パッチの前記輪郭が修正される、請求項１０、１２、１４、または１６のいずれか一項に記載の装置。

【請求項19】

前記パッチの前記２Ｄサンプルの属性をフィルタリングすることにさらに備える、請求項１に記載の方法。

【請求項20】

前記１つまたは複数のプロセッサーは、前記パッチの前記２Ｄサンプルの属性をフィルタリングすることのためにさらに構成される、請求項２に記載の装置。

【請求項21】

前記パッチの前記２Ｄサンプルの属性は、色情報または深度情報を含む、請求項１９に記載の方法。

【請求項22】

前記パッチの前記２Ｄサンプルの属性は、色情報または深度情報を含む、請求項２０に記載の装置。

【請求項23】

プログラムが１つまたは複数のプロセッサーによって実行されると、前記１つまたは複数のプロセッサーに、請求項１、３、５、７、９、１１、１３、１５、１７、１９、または２１のいずれか一項に記載の方法を実行させる命令を含むコンピュータープログラム。

【請求項24】

１つまたは複数のプロセッサーに、請求項１、３、５、７、９、１１、１３、１５、１７、１９、または２１のいずれか一項に記載の方法を行わせるための命令を含むことを特徴とする非一時的なコンピューター読取り可能媒体。

【発明の詳細な説明】

【技術分野】

【0001】

一般に、本態様のうちの少なくとも１つは、点群の処理に関する。

【背景技術】

【0002】

本節は、以下に説明および／または特許請求される本態様のうちの少なくとも１つの様々な様相に関係することがある様々な、技術の様相を読む人に紹介するように意図されている。この記述は、少なくとも１つの態様の様々な様相のより良好な理解を促進する背景情報を読者に提供するのに有用であると考えられる。

【0003】

点群は、彫像または建築物などの物体を輸送または訪問したりすることなくその物体の空間的構造を共有するためにその物体が３Ｄで走査される文化遺産／建築物など、様々な目的に使用され得る。また、例えば寺院が地震で破壊されるなど、物体が破壊される場合に備えて、その物体の知識を保存することを保証する方法でもある。このような点群は、通常は静的で、色付きで、巨大である。

【0004】

別のユースケースは、３Ｄ表現を用いることで、面に限定されない、起伏を含むこともある地図を可能にする、地形学および地図作成におけるものである。現在、グーグルマップは、３Ｄ地図の良い例であるが、点群の代わりにメッシュを使用している。それでも、点群は、３Ｄ地図に適したデータフォーマットである可能性があり、このような点群は、通常は静的で、色付きで、巨大である。

【0005】

自動車産業および自動運転車も、点群が使用され得る領域である。自動運転車は、それらの環境を「探索」して、直に隣接の現実に基づいて良好な運転判断を下すことができなければならない。ＬＩＤＡＲ（光による検知および測距）などの代表的なセンサは、判断エンジンによって使用される動的な点群を生成する。これらの点群は、人間によって見られるようには意図されておらず、通常は小さいが、必ずしも色付きではなく、高い取込み頻度で動的である。これらの点群は、ＬＩＤＡＲによって提供される反射率など、他の属性を有することもある。これは、この属性が、感知された物体の材料ついての良好な情報を提供するものであり、判断を下すのに役立つ可能性があるからである。

【0006】

仮想現実および没入型世界は、近年では最新の話題になっており、２Ｄの平坦なビデオの未来であると多くの人に予想されている。基本的な考え方は、視聴者が自分の目の前にある仮想世界を見ることしかできない標準的なＴＶとは対照的に、視聴者を、その人の周囲の環境内に没入させるというものである。環境内における視聴者の自由度に応じて、没入度にいくつかの段階がある。点群は、仮想現実（ＶＲ）世界を配信するための良好なフォーマットの候補である。

【0007】

多くの応用分野では、許容できる、または改善された体験品質を維持しながら妥当な量のビットレートしか消費せずに、動的な点群をエンドユーザに配信する（またはそれらをサーバに記憶する）ことができることは重要である。多くの没入型世界の配信チェーンを実用的なものにするためには、これらの動的な点群の効率的な圧縮が要点である。

【0008】

少なくとも１つの態様は、以上のことを念頭に考案されたものである。

【先行技術文献】

【特許文献】

【0009】

【文献】Ｅｕｒｏｐｅａｎ ｐａｔｅｎｔ ａｐｐｌｉｃａｔｉｏｎ ｎ° １９３０５３６１．８ ｆｉｌｅｄ ｏｎ Ｍａｒｃｈ ２２nd ２０１９

【文献】ｉｎｔｅｒｎａｔｉｏｎａｌ ａｐｐｌｉｃａｔｉｏｎ ｎ° ＰＣＴ／ＩＢ１９／０５０４９２

【文献】Ｅｕｒｏｐｅａｎ ｐａｔｅｎｔ ａｐｐｌｉｃａｔｉｏｎ ｎ° １９３０５３４１．０

【非特許文献】

【0010】

【文献】Ｈｏｐｐｅ ｅｔ ａｌ． （Ｈｕｇｕｅｓ Ｈｏｐｐｅ， Ｔｏｎｙ ＤｅＲｏｓｅ， Ｔｏｍ Ｄｕｃｈａｍｐ， Ｊｏｈｎ ＭｃＤｏｎａｌｄ， Ｗｅｒｎｅｒ Ｓｔｕｅｔｚｌｅ． Ｓｕｒｆａｃｅ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｆｒｏｍ ｕｎｏｒｇａｎｉｚｅｄ ｐｏｉｎｔｓ． ＡＣＭ ＳＩＧＧＲＡＰＨ １９９２ Ｐｒｏｃｅｅｄｉｎｇｓ， ７１－７８）

【発明の概要】

【0011】

以下は、本開示のいくつかの様相の基本的な理解が得られるようにするために、本態様のうちの少なくとも１つの簡略化された概要を提示するものである。この概要は、態様の広範な概要ではない。それは、態様の重要または不可欠な要素を識別することを意図したものではない。以下の概要は、単に、本文書の他の箇所に与えられるさらに詳細な説明への前置きとして、本態様のうちの少なくとも１つのいくつかの様相を、簡略化された形態で提示するものである。

【0012】

少なくとも１つの態様の一般的な様相によれば、パッチの２Ｄサンプルをフィルタリングする方法であって、前述の２Ｄサンプルの少なくとも１つを空間的に修正して、パッチの少なくとも１つの隣接するパッチの少なくとも１つの２Ｄサンプルをパッチの前述の２Ｄサンプルが投影されている投影面に再投影することによって得られる参照輪郭に適合するようにすることを含む、方法が提供される。

【0013】

一態様では、前述の少なくとも１つの隣接するパッチを少なくとも１つの候補パッチから取得すること。

【0014】

一態様では、候補パッチは、前述の候補パッチの２Ｄサンプルに対応する３Ｄサンプルと、前述の隣接するパッチに対応する３Ｄサンプルとが互いに近接しているときには、パッチの隣接するパッチである。

【0015】

一態様では、候補パッチの３Ｄバウンディングボックスがパッチの３Ｄバウンディングボックスと交差するときには、候補パッチは、パッチの隣接するパッチである。

【0016】

一態様では、パッチの２Ｄサンプルは、前述のパッチの輪郭を形成する。

【0017】

一態様では、パッチの輪郭は、パッチの少なくとも１つの２Ｄサンプルを追加および／または除去することによって修正される。

【0018】

一態様では、パッチの輪郭の２Ｄサンプルは、それが参照輪郭の内側または外側である場合に修正される。

【0019】

一態様では、パッチの輪郭は、パッチの少なくとも１つの２Ｄサンプルをパッチの投影軸に沿って再配置することによって修正される。

【0020】

一態様では、パッチの輪郭は、パッチの２Ｄサンプルに対応する少なくとも１つの３Ｄサンプルと、参照輪郭の２Ｄサンプルに対応する少なくとも１つの３Ｄサンプルとの間に、少なくとも１つの追加の３Ｄサンプルを追加することによって修正される。

【0021】

一態様では、方法は、パッチの前述の２Ｄサンプルの属性をフィルタリングすることをさらに含む。

【0022】

一態様では、パッチの前述の２Ｄサンプルの属性は、色情報または深度情報を含む。

【0023】

少なくとも１つの態様の他の一般的な様相によれば、装置、コンピュータープログラム製品、および非一時的なコンピューター読取り可能媒体が提供される。

【0024】

少なくとも１つの態様の１つまたは複数の一般的な様相は、また、デバイス、コンピュータープログラム製品、および非一時的なコンピューター読取り可能媒体も提供する。

【0025】

本態様のうちの少なくとも１つの具体的な性質、ならびに本態様のうちの少なくとも１つのその他の目的、利点、特徴、および用途は、添付の図面に関連して読まれる以下の例の説明から明らかになるであろう。

【図面の簡単な説明】

【0026】

【図1】本態様のうちの少なくとも１つによる２層ベースの点群エンコード構造１０００の例の概略ブロック図である。

【図2】本態様のうちの少なくとも１つによる２層ベースの点群デコード構造２０００の例の概略ブロック図である。

【図3】本態様のうちの少なくとも１つによる画像ベースの点群エンコーダー３０００の例の概略ブロック図である。

【図3a】２つのパッチＰ１およびＰ２と、それらに関連付けられた２ＤバウンディングボックスＢ１およびＢ２とを含むキャンバスＣの例を示す図である。

【図3b】投影線ＰＬに沿って２つの３ＤサンプルＰ０とＰ１の間に位置する２つの中間３ＤサンプルＰｉ１およびＰｉ２の例を示す図である。

【図4】本態様のうちの少なくとも１つによる画像ベースの点群デコーダー４０００の例の概略ブロック図である。

【図5】本態様のうちの少なくとも１つによるベースレイヤＢＬを表すビットストリームのシンタックス例を概略的に示す図である。

【図6】様々な様相および態様が実装されるシステムの例を示す概略ブロック図である。

【図7】少なくとも１つの態様の例による点群フレームのジオメトリをフィルタリングする方法の概略ブロック図である。

【図8a】少なくとも１つの態様の例によるパッチを含む例示的な図である。

【図8b】少なくとも１つの態様の例によるパッチを含む例示的な図である。

【図8c】少なくとも１つの態様の例によるパッチを含む例示的な図である。

【図8d】少なくとも１つの態様の例によるパッチを含む例示的な図である。

【図9】輪郭Ｃ（ｐ）の２Ｄサンプルを、参照輪郭ＲＣ（ｐ）に対するそれらの位置に基づいて再帰的に侵食する／拡張することによる輪郭フィルタリングの例を示す図である。

【図10】サブステップ７０３１の本態様の変形形態による例を示す図である。

【図11】サブステップ７０３２の態様の例を示す図である。

【図12】サブステップ７０３３の態様の例を示す図である。

【図13】少なくとも１つの態様の例による占有マップを含む例示的な図である。

【図14】少なくとも１つの態様の例による３Ｄ色グリッドジオメトリ平滑化の例示的な図である。

【図15】少なくとも１つの態様の例による３Ｄグリッド色属性平滑化の例示的な図である。

【図16】パッチ境界における色の問題を解決する新たな方法を提供する本色平滑化態様の１つまたは複数の様相を示す図である。

【図17A】本色平滑化態様の１つまたは複数の様相を示す図である。

【図17B】本色平滑化態様の１つまたは複数の様相を示す図である。

【図18A】本２Ｄ色平滑化態様の１つまたは複数の様相を示す図である。

【図18B】本２Ｄ色平滑化態様の１つまたは複数の様相を示す図である。

【図19】図１８Ａに示す色平滑化モジュールまたはプロセスの第１の変形を示す図である。

【図20】図１８Ａに示す色平滑化モジュールまたはプロセスの別の変形を示す図である。

【図21】本態様の１つまたは複数の様相によるプロセス２１００の例を示す図である。

【発明を実施するための形態】

【0027】

以下、本態様のうちの少なくとも１つの様々な例が示されている添付の図面を参照して、本態様のうちの少なくとも１つについてさらに完全に説明する。ただし、態様は、多くの代替の形態で実施される可能性があり、本明細書に記載される例に限定されるものとして解釈されるべきではない。したがって、開示される特定の形態に態様を限定する意図はないことを理解されたい。むしろ、本開示は、本出願の趣旨および範囲内の全ての修正、均等物、および代替物をカバーするように意図されている。

【0028】

図面が流れ図として提示されているときには、それは、対応する装置のブロック図を提供することにもなることを理解されたい。同様に、図面がブロック図として提示されているときには、それは対応する方法／プロセスの流れ図を提供することにもなることを理解されたい。

【0029】

図面の同様の、または同じ要素は、同じ参照番号で示されている。

【0030】

いくつかの図面は、ビデオベースの点群圧縮（Ｖ－ＰＣＣと略記される）のビットストリームの構造を定義するため、Ｖ－ＰＣＣで広く使用されるシンタックステーブルを表している。Ｖ－ＰＣＣの例は、ＩＳＯ／ＩＥＣ ＪＴＣ／ＳＣ２９／ＷＧ１１ＭＰＥＧ２０１９／ｗ１８１８０（２０１９年１月、Ｍａｒｒａｋｅｓｈ）に定義されるようにＭＰＥＧドラフト標準を実装するテストモデルカテゴリ２（ＴＭＣ２）アルゴリズムである。

【0031】

これらのシンタックステーブルにおいて、「…」という項は、読み易くするために図面では削除されている、Ｖ－ＰＣＣにおいて与えられる元の定義に対するシンタックスの変更されない部分を示す。図中の太字の用語は、その用語の値がビットストリームを構文解析することによって得られることを示している。シンタックステーブルの右列は、シンタックス要素のデータをエンコードするためのビット数を示す。例えば、ｕ（４）は、データをエンコードするのに４ビット使用されることを示し、ｕ（８）は、８ビットであることを示し、ａｅ（ｖ）は、コンテキスト適応型演算エントロピー符号化シンタックス要素を示す。

【0032】

以下に記載および企図される様相は、多くの異なる形態で実装され得る。以下の図１から図２１は、いくつかの態様を提供するが、他の態様も企図され、図１から図２１の説明は、実装の範囲を限定するものではない。

【0033】

これらの様相のうちの少なくとも１つは、一般に、点群のエンコードおよびデコードに関し、少なくとも１つの他の様相は、一般に、生成またはエンコードされたビットストリームを伝送することに関する。

【0034】

さらに厳密には、本明細書に記載される様々な方法およびその他の様相は、例えば図３のエンコーダー３０００のテクスチャ画像ジェネレータＴＩＧ（３４００）、図４に示すデコーダー４０００のジオメトリ生成モジュールＧＧＭ（４５００）、および／またはテクスチャ生成モジュール（４６００）などのモジュールを修正するために使用され得る。

【0035】

さらに、本様相は、点群圧縮に関係するＭＰＥＧ－Ｉ ｐａｒｔ ５などのＭＰＥＧ標準に限定されず、例えば、既存のものか将来開発されるものかを問わず、他の標準および勧告にも、また任意のそのような標準および勧告（ＭＰＥＧ－Ｉ ｐａｒｔ ５も含む）の拡大にも適用され得る。特に示されていない限り、または技術的に排除されない限り、本出願に記載される様相は、個別に使用されることも、組み合わせて使用されることもあり得る。

【0036】

以下では、画像データとは、例えば２Ｄサンプルの１つまたはいくつかのアレイを特定の画像／ビデオフォーマットで表現するデータを指すことがある。特定の画像／ビデオフォーマットは、画像（またはビデオ）の画素値に関する情報を指定することがある。特定の画像／ビデオフォーマットは、また、例えば画像（またはビデオ）を視覚化および／またはデコードするためにディスプレイおよび／またはその他の任意の装置によって使用されることがある情報を指定することもある。通常、画像は、通常は画像のルミナンス（または輝度）を表す、サンプルの第１の２Ｄアレイの形状の第１の成分を含む。画像は、また、通常は画像のクロミナンス（または色差）を表す、サンプルの他の２Ｄアレイの形状の第２の成分および第３の成分を含むこともある。いくつかの態様は、従来の３色ＲＧＢ表現など、色サンプルの２Ｄアレイのセットを使用して、同じ情報を表現する。

【0037】

画素値は、１つまたは複数の態様では、Ｃ値のベクトルで表される。ここで、Ｃは、成分の数である。ベクトルの各値は、通常は、画素値のダイナミックレンジを定義し得るビット数で表される。

【0038】

画像ブロックは、画像に属する画素のセットを意味する。画像ブロック（または画像ブロックデータ）の画素値とは、その画像ブロックに属する画素の値を指す。画像ブロックは、任意の形状を有し得るが、矩形が一般的である。

【0039】

点群は、一意の座標を有し、また１つまたは複数の属性を有することもある３Ｄ体積空間内の３Ｄサンプルのデータセットで表されることもある。

【0040】

このデータセットの３Ｄサンプルは、その空間位置（３Ｄ空間内のＸ、Ｙ、およびＺ座標）と、場合によっては例えばＲＦＢもしくはＹＵＶ色空間で表される色、透明度、反射率、２成分法線ベクトル、またはそのサンプルの特徴を表す任意の特徴などの１つまたは複数の関連する属性とによって定義され得る。例えば、３Ｄサンプルは、６つの成分（Ｘ，Ｙ，Ｚ，Ｒ，Ｇ，Ｂ）または等価に（Ｘ，Ｙ，Ｚ，ｙ，Ｕ，Ｖ）によって定義されることがある。ここで、（Ｘ，Ｙ，Ｚ）は、３Ｄ空間内の点の座標を定義し、（Ｒ，Ｇ，Ｂ）または（ｙ，Ｕ，Ｖ）は、その３Ｄサンプルの色を定義する。同じタイプの属性が、複数回存在することもある。例えば、複数の色属性が、異なる視点からの色情報を提供することもある。

【0041】

点群は、その群が時間とともに変化するか否かに応じて、静的、または動的であり得る。静的な点群、または動的な点群のインスタンスは、通常は、点群フレームとして示される。動的な点群の場合には、点の数は、一般に一定ではなく、一般には逆に時間とともに変化することに留意されたい。さらに一般的には、点群は、例えば点の数、１つまたは複数の点の位置、または任意の点の任意の属性など、何かが時間とともに変化する場合には、動的とみなされ得る。

【0042】

一例として、２Ｄサンプルは、６つの成分（ｕ，ｖ，Ｚ，Ｒ，Ｇ，Ｂ）または等価に（ｕ，ｖ，Ｚ，ｙ，Ｕ，Ｖ）によって定義されることがある。（ｕ，ｖ）は、投影面の２Ｄ空間内の２Ｄサンプルの座標を定義する。Ｚは、この投影面に投影された３Ｄサンプルの深度値である。（Ｒ，Ｇ，Ｂ）または（ｙ，Ｕ，Ｖ）は、その３Ｄサンプルの色を定義する。

【0043】

図１は、本態様のうちの少なくとも１つによる２層ベースの点群エンコード構造１０００の例の概略ブロック図である。

【0044】

２層ベースの点群エンコード構造１０００は、入力点群フレームＩＰＣＦを表すビットストリームＢを提供することがある。場合によっては、入力点群フレームＩＰＣＦは、動的な点群のフレームを表す。その場合には、動的な点群のフレームは、２層ベースの点群エンコード構造１０００によって、別のフレームから独立にエンコードされることがある。

【0045】

基本的には、２層ベースの点群エンコード構造１０００は、ビットストリームＢをベースレイヤＢＬおよびエンハンスメントレイヤＥＬとして構成する能力を提供することがある。ベースレイヤＢＬは、入力点群フレームＩＰＣＦの不可逆的表現を提供することがあり、エンハンスメントレイヤＥＬは、ベースレイヤＢＬによって表現されない孤立した点をエンコードすることによって、より高品質な（場合によっては可逆的な）表現を提供することがある。

【0046】

ベースレイヤＢＬは、図３に示す画像ベースのエンコーダー３０００によって提供されることがある。画像ベースのエンコーダー３０００は、入力点群フレームＩＰＣＦの３Ｄサンプルのジオメトリ／属性を表すジオメトリ／テクスチャ画像を提供することがある。それは、孤立した３Ｄサンプルが破棄されることを可能にすることもある。ベースレイヤＢＬは、中間の再構築された点群フレームＩＲＰＣＦを提供することがある図４に示す画像ベースのデコーダー４０００によってデコードされることがある。

【0047】

次いで、図１の２層ベースの点群エンコード１０００に戻ると、比較器ＣＯＭＰは、見逃した／孤立した３Ｄサンプルを検知する／突き止めるために、入力点群フレームＩＰＣＦの３Ｄサンプルを中間の再構築された点群フレームＩＲＰＣＦの３Ｄサンプルと比較することがある。次に、エンコーダーＥＮＣは、見逃した３Ｄサンプルをエンコードし、エンハンスメントレイヤＥＬを提供することがある。最後に、ベースレイヤＢＬおよびエンハンスメントレイヤＥＬが、マルチプレクサＭＵＸによっていっしょに多重化されて、ビットストリームＢを生成することがある。

【0048】

態様によれば、エンコーダーＥＮＣは、中間の再構築された点群フレームＩＲＰＣＦの３Ｄ参照サンプルＲを検知し、見逃した３ＤサンプルＭと関連付けることがある検知器を備えることがある。

【0049】

例えば、見逃した３ＤサンプルＭに関連付けられる３Ｄ参照サンプルは、所与のメトリックに応じて、Ｍに最も接近したサンプルであることもある。

【0050】

態様によれば、エンコーダーＥＮＣは、この場合、見逃した３ＤサンプルＭの空間位置およびそれらの属性を、３Ｄ参照サンプルＲの空間位置および属性に従って決定される差としてエンコードすることもある。

【0051】

変形形態では、これらの差は、別々にエンコードされることもある。

【0052】

例えば、空間座標ｘ（Ｍ）、ｙ（Ｍ）、ｚ（Ｍ）を有する見逃した３ＤサンプルＭについて、ｘ座標位置の差Ｄｘ（Ｍ）、ｙ座標位置の差Ｄｙ（Ｍ）、ｚ座標位置の差Ｄｚ（Ｍ）、Ｒ属性成分の差Ｄｒ（Ｍ）、Ｇ属性成分の差Ｄｇ（Ｍ）、およびＢ属性成分の差Ｄｂ（Ｍ）は、以下のように計算されることがある。
Ｄｘ（Ｍ）＝ｘ（Ｍ）－ｘ（Ｒ）
ここで、ｘ（Ｍ）およびｘ（Ｒ）は、それぞれ、図３によって与えられるジオメトリ画像における３ＤサンプルＭおよび３Ｄ参照サンプルＲのｘ座標である。
Ｄｙ（Ｍ）＝ｙ（Ｍ）－ｙ（Ｒ）
ここで、ｙ（Ｍ）およびｙ（Ｒ）は、それぞれ、図３によって与えられるジオメトリ画像における３ＤサンプルＭおよび３Ｄ参照サンプルＲのｙ座標である。
Ｄｚ（Ｍ）＝ｚ（Ｍ）－ｚ（Ｒ）
ここで、ｚ（Ｍ）およびｚ（Ｒ）は、それぞれ、図３によって与えられるジオメトリ画像における３ＤサンプルＭおよび３Ｄ参照サンプルＲのｚ座標である。
Ｄｒ（Ｍ）＝Ｒ（Ｍ）－Ｒ（Ｒ）
ここで、Ｒ（Ｍ）およびＲ（Ｒ）は、それぞれ、３ＤサンプルＭおよび３Ｄ参照サンプルＲの色属性のｒ色成分である。
Ｄｇ（Ｍ）＝Ｇ（Ｍ）－Ｇ（Ｒ）
ここで、Ｇ（Ｍ）およびＧ（Ｒ）は、それぞれ、３ＤサンプルＭおよび３Ｄ参照サンプルＲの色属性のｇ色成分である。
Ｄｂ（Ｍ）＝Ｂ（Ｍ）－Ｂ（Ｒ）
ここで、Ｂ（Ｍ）およびＢ（Ｒ）は、それぞれ、３ＤサンプルＭおよび３Ｄ参照サンプルＲの色属性のｂ色成分である。

【0053】

図２は、本態様のうちの少なくとも１つによる２層ベースの点群デコード構造２０００の例の概略ブロック図である。

【0054】

２層ベースの点群デコード構造２０００の挙動は、その能力によって決まる。

【0055】

限られた能力を有する２層ベースの点群デコード構造２０００は、デマルチプレクサＤＭＵＸを用いることによってビットストリームＢからベースレイヤＢＬのみにアクセスし、次いで、図４に示す点群デコーダー４０００によってベースレイヤＢＬをデコードすることによって入力点群フレームＩＰＣＦの忠実な（ただし不可逆的な）バージョンを提供することもある。

【0056】

最大限の能力を有する２層ベースの点群デコード構造２０００は、デマルチプレクサＤＭＵＸを用いることによってビットストリームＢからベースレイヤＢＬおよびエンハンスメントレイヤＥＬの両方にアクセスし得る。図４に示す点群デコーダー４０００は、ベースレイヤＢＬから、中間の再構築された点群フレームＩＲＰＣＦを決定することがある。デコーダーＤＥＣは、エンハンスメントレイヤＥＬから、相補的な点群フレームＣＰＣＦを決定することがある。次いで、コンバイナＣＯＭが、中間の再構築された点群フレームＩＲＰＣＦと相補的な点群フレームＣＰＣＦとを結合することによって、入力点群フレームＩＰＣＦのより高品質な（場合によっては可逆的な）表現（再構築）ＣＲＰＣＦを提供することがある。

【0057】

図３は、本態様のうちの少なくとも１つによる画像ベースの点群エンコーダー３０００の例の概略ブロック図である。

【0058】

画像ベースの点群エンコーダー３０００は、既存のビデオコーデックを活用して、動的な点群のジオメトリおよびテクスチャ（属性）情報を圧縮する。これは、基本的に点群データを異なるビデオシーケンスのセットに変換することによって実現される。

【0059】

特定の態様では、一方は点群データのジオメトリ情報を取り込むためのもの、もう一方はテクスチャ（例えば色／属性）情報を取り込むためのものという、２つのビデオが生成され、既存のビデオコーデックを用いて圧縮されることがある。既存のビデオコーデックの例は、ＨＥＶＣ Ｍａｉｎ ｐｒｏｆｉｌｅエンコーダー／デコーダー（ＩＴＵ－Ｔ Ｈ．２６５、ＩＴＵの電気通信標準化部門（２０１８年２月）、シリーズＨ：オーディオビジュアルおよびマルチメディアシステムズ、オーディオビジュアルサービスのインフラストラクチャ－動画像の符号化、高効率ビデオ符号化、勧告ＩＴＵ－Ｔ Ｈ．２６５）である。

【0060】

２つのビデオを解釈するために使用される追加のメタデータも、通常は、別個に生成され、圧縮される。このような追加のメタデータは、例えば、占有マップＯＭおよび／または補助パッチ情報ＰＩを含む。

【0061】

次いで、生成されたビデオビットストリームとメタデータとがいっしょに多重化されて、結合されたビットストリームを生成することがある。

【0062】

メタデータは、通常は情報全体の小さな部分を表現することに留意されたい。情報の全体が、ビデオビットストリーム中にある。

【0063】

ステップ３１００で、パッチ生成モジュールＰＧＭは、最良の圧縮を提供する方策を用いて、入力点群フレームＩＰＣＦを表すデータセットの３Ｄサンプルを投影面上の２Ｄサンプルに分解することによって、少なくとも１つのパッチを生成することがある。

【0064】

パッチは、２Ｄサンプルのセットとして定義されることがある。

【0065】

例えば、Ｖ－ＰＣＣでは、まず、あらゆる３Ｄサンプルの法線が、例えばＨｏｐｐｅらの非特許文献１に記載されるように推定される。次に、各３Ｄサンプルを、入力点群フレームＩＰＣＦの３Ｄサンプルを包含する３Ｄバウンディングボックスの６つの向き付けられた面のうちの１つと関連付けることによって、入力点群フレームＩＰＣＦの初期クラスタ化が得られる。さらに厳密には、各３Ｄサンプルは、クラスタ化され、最も近接した法線を有する（すなわち点の法線と面の法線のドット積を最大にする）向き付けられた面と関連付けられる。次いで、３Ｄサンプルは、それぞれ関連付けられた面に投影される。その面内で連接された領域を形成する３Ｄサンプルのセットは、連接成分と呼ばれる。連接成分は、同様の法線、および同じ関連付けられた向き付けられた面を有する少なくとも１つの３Ｄサンプルのセットである。次いで、各３Ｄサンプルに関連付けられたクラスタを、その法線、およびそれに最も接近した隣接するサンプルのクラスタに基づいて反復的に更新することによって、初期クラスタ化が洗練される。最終ステップは、各連接成分から１つのパッチを生成することからなる、すなわち、各連接成分の３Ｄサンプルを、その連接成分に関連付けられた向き付けられた面上に投影することによって行われる。パッチは、ジオメトリおよび／または属性情報に対応する投影された２Ｄサンプルを解釈するために各パッチについて定義される補助パッチ情報を表す補助パッチ情報ＰＩに関連付けられる。

【0066】

Ｖ－ＰＣＣでは、例えば、補助パッチ情報ＰＩは、１）連接成分の３Ｄサンプルを包含する３Ｄバウンディングボックスの６つの向き付けられた面のうちの１つを示す情報、２）面の法線に関する情報、３）深度、接線シフト、および従接線シフトに関して表現される、パッチに対する連接成分の３Ｄ位置を決定する情報、ならびに４）パッチを包含する２Ｄバウンディングボックスを定義する投影面内の座標（ｕ０，ｖ０，ｕ１，ｖ１）などの情報を含む。

【0067】

ステップ３２００にて、パッチパッキングモジュールＰＰＭは、少なくとも１つの生成されたパッチを、重複を生じないように、通常は使用されない空間を最小限にするようなやり方で、２Ｄグリッド（キャンバスとも呼ばれる）上にマッピング（配置）し、２Ｄグリッドの全てのＴ×Ｔ（例えば１６×１６）のブロックが一意のパッチと関連付けられることを保証することがある。２Ｄグリッドの所与の最小ブロックサイズは、その２Ｄグリッド上に配置された別個のパッチの間の最小距離を指定することがある。２Ｄグリッドの解像度は、入力点群サイズ、ならびにその幅Ｗおよび高さＨによって決まることがあり、ブロックサイズＴは、メタデータとしてデコーダーに伝送されることがある。

【0068】

補助パッチ情報ＰＩは、さらに、２Ｄグリッドのブロックとパッチとの間の関連に関する情報を含むこともある。

【0069】

Ｖ－ＰＣＣでは、補助情報ＰＩは、２Ｄグリッドのブロックとパッチインデックスとの間の関連を決定するブロック／パッチインデックス情報（ＢｌｏｃｋＴｏＰａｔｃｈ）を含むこともある。

【0070】

図３ａは、２つのパッチＰ１およびＰ２と、それらに関連付けられた２ＤバウンディングボックスＢ１およびＢ２とを含むキャンバスＣの例を示す図である。２つのバウンディングボックスは、図３ａに示すようにキャンバスＣ内で重複することがあることに留意されたい。２Ｄグリッド（キャンバスの分割）は、バウンディングボックスの内側のみに表現されているが、キャンバスの分割は、これらのバウンディングボックスの外側でも行われる。パッチに関連付けられたバウンディングボックスは、Ｔ×Ｔのブロックに分割刺されることが可能であり、通常はＴ＝１６である。

【0071】

パッチに属する２Ｄサンプルを含むＴ×Ｔのブロックは、占有ブロックとみなされ得る。キャンバスの各占有ブロックは、占有マップＯＭ内で特定の画素値（例えば１）で表され、キャンバスの各非占有ブロックは、別の特定の値、例えば０で表される。この場合、占有マップＯＭの画素値は、キャンバスのＴ×Ｔのブロックが占有されているかどうか、すなわちパッチに属する２Ｄサンプルを含むかどうかを示すことがある。

【0072】

図３ａでは、占有ブロックは、白いブロックで表され、薄い灰色のブロックは、非占有ブロックを表す。画像生成プロセス（ステップ３３００および３４００）は、少なくとも１つの生成されたパッチのステップ３２００中に計算された２Ｄグリッドへのマッピングを利用して、入力点群フレームＩＰＣＦのジオメトリおよびテクスチャを画像として記憶する。

【0073】

ステップ３３００にて、ジオメトリ画像ジェネレータＧＩＧは、入力点群フレームＩＰＣＦ、占有マップＯＭ、および補助パッチ情報ＰＩから、少なくとも１つのジオメトリ画像ＧＩを生成することがある。ジオメトリ画像ジェネレータＧＩＧは、ジオメトリ画像ＧＩ中の占有ブロック、したがって空でない画素を検知する（突き止める）ために、占有マップ情報を利用する。

【0074】

ジオメトリ画像ＧＩは、入力点群フレームＩＰＣＦのジオメトリを表すことがあり、例えばＹＵＶ４２０－８ｂｉｔフォーマットで表されるＷ×Ｈ画素の単色画像であることがある。

【0075】

複数の３Ｄサンプルが投影面の同じ２Ｄサンプルに（同じ投影方向（線）に沿って）投影（マッピング）される場合をより良好に扱うために、レイヤと呼ばれる複数の画像が生成されることがある。したがって、異なる深度値Ｄ１，…，Ｄｎが、パッチの２Ｄサンプルと関連付けられることがあり、次いで、複数のジオメトリ画像が生成されることがある。

【0076】

Ｖ－ＰＣＣでは、パッチの２Ｄサンプルは、２つのレイヤに投影される。近いレイヤとも呼ばれる第１のレイヤは、例えば、より小さな深度を有する２Ｄサンプルに関連付けられた深度値Ｄ０を記憶することがある。遠いレイヤとも呼ばれる第２のレイヤは、例えば、より大きな深度を有する２Ｄサンプルに関連付けられた深度値Ｄ１を記憶することがある。あるいは、第２のレイヤは、深度値Ｄ１とＤ２の間の差分値を記憶することもある。例えば、第２の深度画像によって記憶された情報は、範囲［Ｄ０，Ｄ０＋Δ］内の深度値に対応する間隔［０，Δ］内であることもあり、ここで、Δは、表面の厚さを記述するユーザ定義のパラメータである。

【0077】

このようにして、第２のレイヤは、有意な輪郭状の高頻度の特徴を含むことがある。したがって、第２の深度画像は、従来のビデオコーダを用いて符号化することが困難であることがあり、したがって、デコードされた第２の深度画像から深度値が十分に再構築されないことがあり、それにより、再構築された点群フレームのジオメトリの品質が不十分になることは明らかであるように思われる。

【0078】

態様によれば、ジオメトリ画像生成モジュールＧＩＧは、補助パッチ情報ＰＩを用いて第１および第２のレイヤの２Ｄサンプルに関連付けられた深度値を符号化（導出）することがある。

【0079】

Ｖ－ＰＣＣでは、対応する連接成分を有するパッチ内の３Ｄサンプルの位置は、以下のように、深度δ（ｕ，ｖ）、接線シフトｓ（ｕ，ｖ）、および従接線シフトｒ（ｕ，ｖ）で表されることがある。
δ（ｕ，ｖ）＝δ０＋ｇ（ｕ，ｖ）
ｓ（ｕ，ｖ）＝ｓ０－ｕ０＋ｕ
ｒ（ｕ，ｖ）＝ｒ０－ｖ０＋ｖ
ここで、ｇ（ｕ，ｖ）は、ジオメトリ画像の輝度成分であり、（ｕ，ｖ）は、投影面上で３Ｄサンプルと関連付けられた画素であり、（δ０，ｓ０，ｒ０）は、３Ｄサンプルが属する連接成分の対応するパッチの３Ｄ位置であり、（ｕ０，ｖ０，ｕ１，ｖ１）は、その連接成分に関連付けられたパッチの投影を包含する２Ｄバウンディングボックスを定義する投影面内の座標である。

【0080】

したがって、ジオメトリ画像生成モジュールＧＩＧは、レイヤ（第１もしくは第２、またはその両方）の２Ｄサンプルに関連付けられた深度値を、ｇ（ｕ，ｖ）＝δ（ｕ，ｖ）－δ０で与えられる輝度成分ｇ（ｕ，ｖ）として符号化（導出）することがある。この関係は、添付の補助パッチ情報ＰＩを有する再構築されたジオメトリ画像ｇ（ｕ，ｖ）から３Ｄサンプル位置（δ０，ｓ０，ｒ０）を再構築するために利用されることがあることに留意されたい。

【0081】

態様によれば、投影モードは、第１のジオメトリ画像ＧＩ０が第１または第２のいずれのレイヤの２Ｄサンプルの深度値を記憶し、また第２のジオメトリ画像ＧＩ１が第２または第１のいずれのレイヤの２Ｄサンプルに関連付けられた深度値を記憶するかを示すために使用されることがある。

【0082】

例えば、投影モードが０に等しいときには、第１のジオメトリ画像ＧＩ０は、第１のレイヤの２Ｄサンプルの深度値を記憶することがあり、第２のジオメトリ画像ＧＩ１は、第２のレイヤの２Ｄサンプルに関連付けられた深度値を記憶することがある。逆に、投影モードが１に等しいときには、第１のジオメトリ画像ＧＩ０は、第２のレイヤの２Ｄサンプルの深度値を記憶することがあり、第２のジオメトリ画像ＧＩ１は、第１のレイヤの２Ｄサンプルに関連付けられた深度値を記憶することがある。

【0083】

態様によれば、フレーム投影モードは、全てのパッチについて固定された投影モードが使用されるかどうか、または各パッチが異なる投影モードを使用することがある可変の投影モードが使用されるかどうかを示すために使用されることがある。

【0084】

投影モードおよび／またはフレーム投影モードは、メタデータとして伝送されることがある。

【0085】

フレーム投影モード判断プロセスは、例えばＶ－ＰＣＣのセクション２．２．１．３．１に提供され得る。

【0086】

態様によれば、フレーム投影が、可変の投影モードが使用され得ることを示しているときには、パッチを投影（またはデプロジェクション）するために使用するのに適したモードを示すために、パッチ投影モードが使用されることがある。

【0087】

パッチ投影モードは、メタデータとして伝送されることがあり、場合によっては、補助パッチ情報ＰＩに含まれる情報であることもある。

【0088】

パッチ投影モード判断プロセスは、例えばＶ－ＰＣＣのセクション２．２．１．３．２に提供されている。

【0089】

ステップ３３００の態様によれば、パッチの２Ｄサンプル（ｕ，ｖ）に対応する第１のジオメトリ画像における画素値、例えばＧＩ０は、２Ｄサンプル（ｕ，ｖ）に対応する投影線に沿って定義される少なくとも１つの中間３Ｄサンプルの深度値を表すことがある。さらに厳密には、中間３Ｄサンプルは、投影線に沿って存在し、その深度値Ｄ１が第２のジオメトリ画像、例えばＧＩ１に符号化される２Ｄサンプル（ｕ，ｖ）の同じ座標を共有する。さらに、中間３Ｄサンプルは、深度値Ｄ０と深度値Ｄ１の間の深度値を有することがある。中間３Ｄサンプルが存在する場合には１に設定され、同でない場合には０に設定される指定ビットが、中間３Ｄサンプルのそれぞれと関連付けられることもある。

【0090】

図３ｂは、投影線ＰＬに沿って２つの３ＤサンプルＰ０とＰ１の間に位置する２つの中間３ＤサンプルＰ_i1およびＰ_i2の例を示す図である。３ＤサンプルＰ０およびＰ１は、それぞれＤ０およびＤ１に等しい深度値を有する。２つの中間３ＤサンプルＰ_i1およびＰ_i2のそれぞれの深度値Ｄ_i1およびＤ_i2は、Ｄ０より大きく、Ｄ１より小さい。

【0091】

次いで、投影線に沿った全ての指定ビットが連結されて、以下ではエンハンスト占有マップ（ＥＯＭ）コード語と称されるコード語を形成することがある。図３ｂに示すように、８ビット長のＥＯＭコード語を仮定すると、１に等しい２つのビットが、２つの３ＤサンプルＰ_i1およびＰ_i2の位置を示す。最後に、全てのＥＯＭコード語が、画像、例えば占有マップＯＭ内にパッキングされることがある。その場合には、キャンバスの少なくとも１つのパッチは、少なくとも１つのＥＯＭコード語を含むことがある。このようなパッチは、参照パッチと称され、参照パッチのブロックは、ＥＯＭ参照ブロックと称される。したがって、占有マップＯＭの画素値は、第１の値、例えば０に等しいと、キャンバスの非占有ブロックを示し、または、例えば０より大きい別の値に等しいと、例えばＤ１－Ｄ０≦１であるときには、キャンバスの占有ブロックを示し、または、例えばＤ１－Ｄ０＞１であるときには、キャンバスのＥＯＭ参照ブロックを示すことがある。

【0092】

ＥＯＭ参照ブロックを示す占有マップＯＭ内の画素の位置、およびそれらの画素の値から得られるＥＯＭコード語のビットの値は、中間３Ｄサンプルの３Ｄ座標を示す。

【0093】

ステップ３４００にて、テクスチャ画像ジェネレータＴＩＧは、入力点群フレームＩＰＣＦ、占有マップＯＭ、補助パッチ情報ＰＩ、およびビデオデコーダＶＤＥＣ（図４のステップ４２００）の出力である少なくとも１つのデコードされたジオメトリ画像ＤＧＩから導出された再構築された点群フレームジオメトリから、少なくとも１つのテクスチャ画像ＴＩを生成することがある。

【0094】

テクスチャ画像ＴＩは、入力点群フレームＩＰＣＦのテクスチャを表すことがあり、例えばＹＵＶ４２０－８ｂｉｔフォーマットで表されるＷ×Ｈ画素の画像であることがある。

【0095】

テクスチャ画像ジェネレータＴＧは、テクスチャ画像中の占有ブロック、したがって空でない画素を検知する（位置を突き止める）ために、占有マップ情報を利用することがある。

【0096】

テクスチャ画像ジェネレータＴＩＧは、テクスチャ画像ＴＩを生成し、テクスチャ画像ＴＩを各ジオメトリ画像／レイヤＤＧＩと関連付けるように適合されることがある。

【0097】

態様によれば、テクスチャ画像ジェネレータＴＩＧは、第１のレイヤの２Ｄサンプルと関連付けられたテクスチャ（属性）値Ｔ０を第１のテクスチャ画像ＴＩ０の画素値として、第２のレイヤの２Ｄサンプルに関連付けられたテクスチャ値Ｔ１を第２のテクスチャ画像ＴＩ１の画素値として符号化（記憶）することがある。

【0098】

代替えとして、テクスチャ画像生成モジュールＴＩＧは、第２のレイヤの２Ｄサンプルと関連付けられたテクスチャ値Ｔ１を第１のテクスチャ画像ＴＩ０の画素値として、第１のレイヤの２Ｄサンプルに関連付けられたテクスチャ値Ｄ０を第２のジオメトリ画像ＧＩ１の画素値として符号化（記憶）することもある。

【0099】

例えば、３Ｄサンプルの色は、Ｖ－ＰＣＣのセクション２．２．３、２．２．４、２．２．５、２．２．８、または２．５に記載されているように得られることがある。

【0100】

２つの３Ｄサンプルのテクスチャ値は、第１または第２のテクスチャ画像のいずれかに記憶される。しかし、中間３Ｄサンプルのテクスチャ値は、この第１のテクスチャ画像ＴＩ０にも、第２のテクスチャ画像ＴＩ１にも、記憶することができない。投影された中間３Ｄサンプルの位置が、図３ｂに示すように、別の３Ｄサンプル（Ｐ０またはＰ１）のテクスチャ値を記憶するために既に使用されている占有ブロックに対応するからである。したがって、中間３Ｄサンプルのテクスチャ値は、手続き的に（Ｖ－ＰＣＣのセクション９．４．５）定義される位置において、第１または第２のテクスチャ画像のいずれかにおけるほかのところに位置されるＥＯＭテクスチャブロックに記憶される。簡単に言うと、このプロセスは、テクスチャ画像中の非占有ブロックの位置を決定し、中間３Ｄサンプルに関連付けられたテクスチャ値を、ＥＯＭテクスチャブロックと称されるテクスチャ画像の非占有ブロックの画素値として記憶した。

【0101】

態様によれば、パディングプロセスが、ジオメトリおよび／またはテクスチャ画像に適用されることがある。パディングプロセスは、パッチ間の空の空間を埋めて、ビデオ圧縮に適した区分ごとに平滑な画像を生成するために使用されることがある。

【0102】

画像パディングの例は、Ｖ－ＰＣＣのセクション２．２．６および２．２．７に提供されている。

【0103】

ステップ３５００にて、ビデオエンコーダーＶＥＮＣは、生成された画像／レイヤＴＩおよびＧＩをエンコードすることがある。

【0104】

ステップ３６００にて、エンコーダーＯＭＥＮＣは、例えばＶ－ＰＣＣのセクション２．２．２に詳述されるように、占有マップを画像としてエンコードすることがある。ロッシーエンコードが使用されることも、ロスレスエンコードが使用されることもある。

【0105】

態様によれば、ビデオエンコーダーＥＮＣおよび／またはＯＭＥＮＣは、ＨＥＶＣ式エンコーダーであることもある。

【0106】

ステップ３７００にて、エンコーダーＰＩＥＮＣは、補助パッチ情報ＰＩと、場合によってはブロックサイズＴ、ジオメトリ／テクスチャ画像の幅Ｗおよび高さＨなどの追加のメタデータとをエンコードすることがある。

【0107】

態様によれば、補助パッチ情報は、（例えばＶ－ＰＣＣのセクション２．４．１に定義されるように）差分エンコードされることもある。

【0108】

ステップ３８００にて、マルチプレクサが、ステップ３５００、３６００、および３７００の生成された出力に適用されることがあり、その結果として、これらの出力がいっしょに多重化されて、ベースレイヤＢＬを表すビットストリームを生成することがある。メタデータ情報は、ビットストリーム全体のわずかな部分を表すことに留意されたい。この情報の全体が、ビデオコーデックを用いて圧縮される。

【0109】

図４は、本態様のうちの少なくとも１つによる画像ベースの点群デコーダー４０００の例の概略ブロック図である。

【0110】

ステップ４１００で、デマルチプレクサＤＭＵＸが適用されて、ベースレイヤＢＬを表すビットストリームのエンコードされた情報を逆多重化することがある。

【0111】

ステップ４２００で、ビデオデコーダＶＤＥＣは、エンコードされた情報をデコードして、少なくとも１つのデコードされたジオメトリ画像ＤＧＩおよび少なくとも１つのデコードされたテクスチャ画像ＤＴＩを導出することがある。

【0112】

ステップ４３００で、デコーダーＯＭＤＥＣは、エンコードされた情報をデコードして、デコードされた占有マップＤＯＭを導出することがある。

【0113】

態様によれば、ビデオデコーダＶＤＥＣおよび／またはＯＭＤＥＣは、ＨＥＶＣ式デコーダーであることもある。

【0114】

ステップ４４００で、デコーダーＰＩＤＥＣは、エンコードされた情報をデコードして、補助パッチ情報ＤＰＩを導出することがある。

【0115】

場合によっては、メタデータも、ビットストリームＢＬから導出されることがある。

【0116】

ステップ４５００で、ジオメトリ生成モジュールＧＧＭは、少なくとも１つのデコードされたジオメトリ画像ＤＧＩ、デコードされた占有マップＤＯＭ、デコードされた補助パッチ情報ＤＰＩ、および存在する可能性がある追加のメタデータから、再構築された点群フレームＩＲＰＣＦのジオメトリＲＧを導出することがある。

【0117】

ジオメトリ生成モジュールＧＧＭは、少なくとも１つのデコードされたジオメトリ画像ＤＧＩ中の空でない画素を突き止めるために、デコードされた占有マップＤＯＭを利用することもある。

【0118】

空でない画素は、上記で説明したように、デコードされた占有情報ＤＯＭの画素値およびＤ１～Ｄ０の値に応じて、占有ブロックまたはＥＯＭ参照ブロックのいずれかに属する。

【0119】

ステップ４５００の態様によれば、ジオメトリ生成モジュールＧＧＭは、空でない画素の座標から、中間３Ｄサンプルの３Ｄ座標のうちの２つを導出することがある。

【0120】

ステップ４５００の態様によれば、空でない画素がＥＯＭ参照ブロックに属するときには、ジオメトリ生成モジュールＧＧＭは、ＥＯＭコード語のビット値から、中間３Ｄサンプルの第３の３Ｄ座標を導出することもある。

【0121】

例えば、図３ｂの例によれば、ＥＯＭコード語ＥＯＭＣは、中間３ＤサンプルＰ_i1およびＰ_i2の３Ｄ座標を決定するために使用される。中間３ＤサンプルＰ_i1の第３の座標は、例えば、Ｄ_i1＝Ｄ０＋３によってＤ０から導出されることもあり、再構築された３ＤサンプルＰ_i2の第３の座標は、例えば、Ｄ_i2＝Ｄ０＋５によってＤ０から導出されることもある。オフセット値（３または５）は、投影線に沿ったＤ０とＤ１の間の間隔の数である。

【0122】

態様によれば、空でない画素が占有ブロックに属するときには、ジオメトリ生成モジュールＧＧＭは、空でない画素の座標と、少なくとも１つのデコードされたジオメトリ画像ＤＧＩのうちの１つにおける空でない画素の値と、デコードされた補助パッチ情報と、場合によっては追加のメタデータとから、再構築された３Ｄサンプルの３Ｄ座標を導出することもある。

【0123】

空でない画素の使用は、２Ｄ画素の３Ｄサンプルとの関係に基づく。例えば、Ｖ－ＰＣＣの投影では、再構築された３Ｄサンプルの３Ｄ座標は、深度δ（ｕ，ｖ）、接線シフトｓ（ｕ，ｖ）、および従接線シフトｒ（ｕ，ｖ）で表されることがある。
δ（ｕ，ｖ）＝δ０＋ｇ（ｕ，ｖ）
ｓ（ｕ，ｖ）＝ｓ０－ｕ０＋ｕ
ｒ（ｕ，ｖ）＝ｒ０－ｖ０＋ｖ
ここで、ｇ（ｕ，ｖ）は、デコードされたジオメトリ画像ＤＧＩの輝度成分であり、（ｕ，ｖ）は、再構築された３Ｄサンプルに関連付けられた画素であり、（δ０，ｓ０，ｒ０）は、再構築された３Ｄサンプルが属する連接成分の３Ｄ位置であり、（ｕ０，ｖ０，ｕ１，ｖ１）は、その連接成分に関連付けられたパッチの投影を包含する２Ｄバウンディングボックスを定義する投影面内の座標である。

【0124】

ステップ４６００で、テクスチャ生成モジュールＴＧＭは、ジオメトリＲＧ、および少なくとも１つのデコードされたテクスチャ画像ＤＧＩから、再構築された点群フレームＩＲＰＣＦのテクスチャを導出することがある。

【0125】

ステップ４６００の態様によれば、テクスチャ生成モジュールＴＧＭは、対応するＥＯＭテクスチャブロックから、ＥＯＭ参照ブロックに属する空でない画素のテクスチャを導出することがある。テクスチャ画像中のＥＯＭテクスチャブロックの位置は、手続き的に定義される（Ｖ－ＰＣＣのセクション９．４．５）。

【0126】

ステップ４６００の態様によれば、テクスチャ生成モジュールＴＧＭは、占有ブロックに属する空でない画素のテクスチャを、第１または第２のテクスチャ画像のいずれかの画素値として直接導出することもある。

【0127】

図５は、本態様のうちの少なくとも１つによるベースレイヤＢＬを表すビットストリームのシンタックス例を概略的に示す図である。

【0128】

ビットストリームは、ビットストリームヘッダＳＨ、および少なくとも１つのグループオブフレームストリームＧＯＦＳを含む。

【0129】

グループオブフレームストリームＧＯＦＳは、ヘッダＨＳ、占有マップＯＭを表す少なくとも１つのシンタックス要素ＯＭＳと、少なくとも１つのジオメトリ画像（またはビデオ）を表す少なくとも１つのシンタックス要素ＧＶＳと、少なくとも１つのテクスチャ画像（またはビデオ）を表す少なくとも１つのシンタックス要素ＴＶＳと、補助パッチ情報およびその他の追加のメタデータを表す少なくとも１つのシンタックス要素ＰＩＳとを含む。

【0130】

変形形態では、グループオブフレームストリームＧＯＦＳは、少なくとも１つのフレームストリームを含む。

【0131】

図６は、様々な様相および態様が実装されるシステムの例を示す概略ブロック図である。

【0132】

システム６０００は、以下に記載する様々な構成要素を含む１つまたは複数のデバイスとして実施され得、本文書に記載される様相のうちの１つまたは複数を実行するように構成される。システム６０００の全体または一部を構成する可能性がある機器の例は、パーソナルコンピュータ、ラップトップ、スマートフォン、タブレットコンピュータ、デジタルマルチメディアセットトップボックス、デジタルテレビジョン受像機、個人用ビデオ記録システム、コネクテッド家電、コネクテッド車両およびそれらに関連する処理システム、ヘッドマウントディスプレイデバイス（ＨＭＤ、シースルー眼鏡）、プロジェクタ（ビーマ）、「ｃａｖｅ」（複数のディスプレイを含むシステム）、サーバ、ビデオエンコーダー、ビデオデコーダ、ビデオデコーダからの出力を処理するポストプロセッサ、ビデオエンコーダーに入力を提供するプリプロセッサ、ウェブサーバ、セットトップボックス、および点群、ビデオもしくは画像を処理するその他の任意のデバイス、またはその他の通信デバイスを含む。システム６０００の要素は、単独で、または組み合わせて、単一の集積回路、複数のＩＣ、および／またはディスクリート構成要素内で実施され得る。例えば、少なくとも１つの態様では、システム６０００の処理およびエンコーダー／デコーダー要素は、複数のＩＣおよび／またはディスクリート構成要素にわたって分散されていることもある。様々な態様では、システム６０００は、例えば通信バスを介して、または専用の入力および／もしくは出力ポートを通じて、他の同様のシステムまたはその他の電子デバイスに通信可能に結合されることもある。様々な態様では、システム６０００は、本文書に記載される様相のうちの１つまたは複数を実装するように構成されることもある。

【0133】

システム６０００は、例えば本文書に記載される様々な様相を実装するためにそこにロードされた命令を実行するように構成された少なくとも１つのプロセッサー６０１０を含むことがある。プロセッサー６０１０は、埋め込みメモリー、入出力インターフェース、および当技術分野で既知の様々なその他の回路を含むことがある。システム６０００は、少なくとも１つのメモリー６０２０（例えば揮発性メモリデバイスおよび／または不揮発性メモリデバイス）を含むことがある。システム６０００は、限定されるわけではないが、電気的消去可能プログラマブル読取り専用メモリー（ＥＥＰＲＯＭ）、読取り専用メモリー（ＲＯＭ）、プログラマブル読取り専用メモリー（ＰＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、フラッシュ、磁気ディスクドライブ、および／または光学ディスクドライブを含む、不揮発性メモリーおよび／または揮発性メモリーを含む可能性があるストレージデバイス６０４０を含むことがある。ストレージデバイス６０４０は、非限定的な例として、内部ストレージデバイス、付加ストレージデバイス、および／またはネットワークアクセス可能なストレージデバイスを含むことがある。

【0134】

システム６０００は、例えばデータを処理してエンコードされたデータまたはデコードされたデータを提供するように構成されたエンコーダー／デコーダモジュール６０３０を含むことがあり、エンコーダー／デコーダモジュール６０３０は、それ自体のプロセッサーおよびメモリーを含むことがある。エンコーダー／デコーダモジュール６０３０は、エンコードおよび／またはデコードの機能を実行するデバイスに含まれることがあるモジュール（１つまたは複数）を表すことがある。既知の通り、デバイスは、エンコードモジュールおよびデコードモジュールの一方を含むことも、または両方を含むこともある。さらに、エンコーダー／デコーダモジュール６０３０は、システム６０００の別個の要素として実装されることもあり、または当業者には既知のようにハードウェアとソフトウェアの組合せとしてプロセッサー６０１０内に組み込まれることもある。

【0135】

本文書に記載される様々な様相を実行するためにプロセッサー６０１０またはエンコーダー／デコーダー６０３０にロードされるプログラムコードは、ストレージデバイス６０４０に記憶され、その後、プロセッサー６０１０による実行のためにメモリー６０２０にロードされることがある。様々な態様によれば、プロセッサー６０１０、メモリー６０２０、ストレージデバイス６０４０、およびエンコーダー／デコーダモジュール６０３０のうちの１つまたは複数は、本文書に記載されるプロセスの実行中に、様々な項目のうちの１つまたは複数を記憶することがある。このような記憶される項目は、限定されるわけではないが、点群フレーム、エンコードされた／デコードされたジオメトリ／テクスチャビデオ／画像もしくはエンコードされた／デコードされたジオメトリ／テクスチャビデオ／画像のいくつかの部分、ビットストリーム、行列、変数、ならびに等式、数式、演算、および演算論理の処理の中間または最終の結果を含むことがある。

【0136】

いくつかの態様では、プロセッサー６０１０および／またはエンコーダー／デコーダモジュール６０３０の内部のメモリーは、命令を記憶するため、およびエンコードまたはデコードの間に実行される可能性がある処理のためのワーキングメモリを提供するために使用される。

【0137】

しかしながら、他の態様では、処理デバイス（例えば、この処理デバイスは、プロセッサー６０１０であることも、エンコーダー／デコーダモジュール６０３０であることもある）の外部のメモリーは、これらの機能のうちの１つまたは複数のために使用されることがある。外部のメモリーは、メモリー６０２０、ならびに／またはストレージデバイス６０４０、例えばダイナミック揮発性メモリーおよび／もしくは不揮発性フラッシュメモリであることがある。いくつかの態様では、外部の不揮発性フラッシュメモリは、テレビジョンのオペレーティングシステムを記憶するために使用されることがある。少なくとも１つの態様では、ＲＡＭなどの高速外部ダイナミック揮発性メモリーが、ＭＰＥＧ－２ ｐａｒｔ２（ＩＴＵ－Ｔ勧告Ｈ．２６２、およびＩＳＯ／ＩＥＣ１３８１８－２としても知られており、またＭＰＥＧ－２ Ｖｉｄｅｏとしても知られている）、ＨＥＶＣ（高効率ビデオ符号化）、またはＶＶＣ（汎用ビデオ符号化）などのためのビデオ符号化およびデコード動作のためのワーキングメモリとして使用されることがある。

【0138】

システム６０００の要素への入力は、ブロック６１３０内に示される様々な入力デバイスを通じて提供される可能性がある。このような入力デバイスは、限定されるわけではないが、（ｉ）例えばブロードキャスタによって空中を伝送されたＲＦ信号を受信し得るＲＦ部分、（ｉｉ）複合入力端子、（ｉｉｉ）ＵＳＢ入力端子、および／または（ｉｖ）ＨＤＭＩ入力端子を含む。

【0139】

様々な態様では、ブロック６１３０の入力デバイスは、それぞれ関連付けられた当技術分野で既知の入力処理要素を有することがある。例えば、ＲＦ部分は、（ｉ）所望の周波数を選択する（信号を選択する、または信号を周波数帯域に帯域制限する、とも言う）ため、（ｉｉ）選択された信号をダウンコンバートするため、（ｉｉｉ）より狭い周波数帯域に再度帯域制限して、（例えば）特定の態様でチャネルと呼ばれることもある信号周波数帯域を選択するため、（ｉｖ）ダウンコンバートおよび帯域制限された信号を復調するため、（ｖ）誤り訂正を実行するため、および（ｖｉ）逆多重化して所望のデータパケットのストリームを選択するために必要な要素と関連付けられることがある。様々な態様のＲＦ部分は、これらの機能を実行する１つまたは複数の要素、例えば周波数選択器、信号選択器、帯域制限器、チャネル選択器、フィルター、ダウンコンバータ、復調器、誤り訂正器、およびデマルチプレクサを含むことがある。ＲＦ部分は、これらの機能のうちの様々な機能、例えば受信された信号をより低い周波数（例えば中間の周波数、もしくはベースバンドに近い周波数）またはベースバンドにダウンコンバートする機能を実行する同調器を含むこともある。

【0140】

１つのセットトップボックスの態様では、ＲＦ部分、およびそれに関連付けられた入力処理要素は、有線（例えばケーブル）媒体を介して伝送されたＲＦ信号を受信することがある。この場合、ＲＦ部分は、所望の周波数帯域にフィルタリングし、ダウンコンバートし、再度フィルタリングすることによって、周波数選択を実行することがある。

【0141】

様々な態様では、上述の（およびその他の）要素の順序を並べ替え、これらの要素の一部を省略し、かつ／または同様の、もしくは異なる機能を実行するその他の要素を追加する。

【0142】

要素を追加することは、例えば増幅器およびアナログデジタル変換器を挿入するなど、既存の要素の間に要素を挿入することを含む。様々な態様では、ＲＦ部分は、アンテナを含むこともある。

【0143】

追加として、ＵＳＢおよび／またはＨＤＭＩ端子は、システム６０００をＵＳＢおよび／またはＨＤＭＩ接続を介して他の電子デバイスに接続するためのそれぞれのインタフェースプロセッサを含むことがある。入力処理の様々な様相、例えばリードソロモン誤り訂正が、必要に応じて、例えば別個の入力処理ＩＣ内で実施されることも、またはプロセッサー６０１０内で実施されることもあることを理解されたい。同様に、ＵＳＢまたはＨＤＭＩインターフェース処理の様相も、必要に応じて、別個のインターフェースＩＣ内で実施されることも、またはプロセッサー６０１０内で実施されることもある。復調、誤り訂正、および逆多重化されたストリームは、例えば出力デバイスにおいて提示するために必要に応じてメモリーおよび記憶要素との組合せで動作してデータストリームを処理するプロセッサー６０１０およびエンコーダー／デコーダー６０３０を含む様々な処理要素に提供されることがある。

【0144】

システム６０００の様々な要素は、一体型ハウジング内に設けられることがある。一体型ハウジング内で、これらの様々な要素は、相互接続され、例えばＩ２Ｃバス、配線、およびプリント回路基板を含む当技術分野で既知の内部バスなど、適切な接続構成６１４０を用いて、それらの間でデータを伝送することがある。

【0145】

システム６０００は、通信チャネル６０６０を介した他のデバイスとの通信を可能にする通信インターフェース６０５０を含むことがある。通信インターフェース６０５０は、限定されるわけではないが、通信チャネル６０６０を介してデータを伝送および受信するように構成されたトランシーバを含むことがある。通信インターフェース６０５０は、限定されるわけではないが、モデムまたはネットワークカードを含むことがあり、通信チャネル６０６０は、例えば有線および／または無線の媒体内に実装されることがある。

【0146】

データは、様々な態様で、ＩＥＥＥ８０２．１１などのＷｉ－Ｆｉネットワークを用いてシステム６０００にストリーミングされることがある。これらの態様のＷｉ－Ｆｉ信号は、Ｗｉ－Ｆｉ通信用に適合された通信チャネル６０６０および通信インターフェース６０５０を介して受信されることがある。これらの態様の通信チャネル６０６０は、通常は、ストリーミングアプリケーションおよびその他のオーバーザトップ通信を可能にするインターネットを含む外部ネットワークへのアクセスを提供するアクセスポイントまたはルータに接続されることがある。

【0147】

他の態様は、入力ブロック６１３０のＨＤＭＩ接続を介してデータを配信するセットトップボックスを用いて、ストリーミングされたデータをシステム６０００に提供することがある。

【0148】

さらに他の態様は、入力ブロック６１３０のＲＦ接続を用いて、ストリーミングされたデータをシステム６０００に提供することがある。

【0149】

シグナリングは、様々なやり方で達成される可能性があることを理解されたい。例えば、様々な態様で、１つまたは複数のシンタックス要素、およびフラグなどが、対応するデコーダーに情報をシグナリングするために使用されることがある。

【0150】

システム６０００は、ディスプレイ６１００、スピーカー６１１０、およびその他のペリフェラルデバイス６１２０を含む、様々な出力デバイスに出力信号を提供することがある。その他のペリフェラルデバイス６１２０は、態様の様々な例では、独立型ＤＶＲ、ディスクプレイヤ、ステレオシステム、照明システム、およびシステム３０００の出力に基づいて機能を提供するその他のデバイスのうちの１つまたは複数を含むことがある。

【0151】

様々な態様では、制御信号は、ＡＶ．ＬＩＮＫ（Ａｕｄｉｏ／Ｖｉｄｅｏ Ｌｉｎｋ）、ＣＥＣ（コンシューマーエレクトロニクスコントロール）、またはユーザの介入有りもしくは無しのデバイス間制御を可能にするその他の通信プロトコルを用いて、システム６０００と、ディスプレイ６１００、スピーカー６１１０、またはその他のペリフェラルデバイス６１２０との間で通信されることがある。

【0152】

出力デバイスは、それぞれのインターフェース６０７０、６０８０、および６０９０を通じて専用の接続を介して、システム６０００に通信可能に結合されることがある。

【0153】

代替えとして、出力デバイスは、通信インターフェース６０５０を介して通信チャネル６０６０を用いて、システム６０００に接続されることもある。ディスプレイ６１００およびスピーカー６１１０は、例えばテレビジョンなどの電子デバイス内でシステム６０００のその他の構成要素とともに単一のユニット内に一体化されることもある。

【0154】

様々な態様では、ディスプレイインターフェース６０７０は、例えばタイミング制御装置（Ｔ Ｃｏｎ）チップなどのディスプレイドライバを含むことがある。

【0155】

ディスプレイ６１００およびスピーカー６１１０は、あるいは、例えば入力６１３０のＲＦ部分が別個のセットトップボックスの一部である場合には、他の構成要素のうちの１つまたは複数から分離していることもある。ディスプレイ６１００およびスピーカー６１１０が外部の構成要素であることがある様々な態様では、出力信号は、例えばＨＤＭＩポート、ＵＳＢポート、またはＣＯＭＰ出力を含む専用の出力接続を介して提供されることがある。

【0156】

Ｖ－ＰＣＣでは、場合により行われることがある占有マップのサブサンプリング（通常は４×４の画素解像度）によって生じるエイリアシング効果を除去するため、またエンコードエラーを減衰させるために、ジオメトリ平滑化（フィルタリング）が使用される。さらに厳密には、エイリアシング効果およびエンコードエラーは、パッチの境界（縁部）において最も顕著なので、ジオメトリ平滑化の目的は、２つのパッチの間の継ぎ目を可能な限り平滑（シームレス）にすることである。

【0157】

Ｖ－ＰＣＣでは、２つのジオメトリ平滑化方法が使用される。第１の、３Ｄフィルタリングに基づく方法は、品質メトリクスでは良い結果が得られるが、計算負荷が非常に高い。ジオメトリ平滑化のための３Ｄフィルタリングの背後にある主な考えは、３Ｄサンプル（パッチの境界付近に位置する２Ｄサンプルに対応する）を、それらに最も接近した隣接する３Ｄサンプルの重心に移動させるというものである。したがって、３Ｄフィルタリングを３Ｄサンプル「ｐ」（パッチの境界付近の２Ｄサンプルに対応する）に適用することは、以下のように行われる。
－「ｐ」から最大距離Ｄｍａｘ未満の３Ｄ距離にある、Ｎ個の最も接近した隣接する３Ｄサンプルｐｎ（ｉ），ｉ＝０，…，Ｎ－１を選択する。
－Ｎが最小値Ｎｍｉｎ未満である場合には、次の３Ｄサンプル「ｐ」（パッチの境界付近の次の２Ｄサンプルに対応する）に移る。
－全ての隣接する３Ｄサンプルｐｎ（ｉ）が、フィルタリングされるべきカレントパッチと同じパッチに属する２Ｄサンプルに対応する場合には、
－隣接する３Ｄサンプルｐｎ（ｉ）の重心を計算し、ここで、重心は、全ての隣接する３Ｄサンプルｐｎ（ｉ）の３Ｄジオメトリ座標の平均であり、
－３Ｄサンプル「」を重心に移動させる。

【0158】

第２の方法は（ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１ ＭＰＥＧ２０１８／Ｎ１８０１７、Ｏｃｔ． ２０１８，Ｍａｃａｕ、ＣＮのセクション２．２．５）は、２Ｄ解析と３Ｄ処理を混合して使用する。この方法では、計算の複雑さは大幅に軽減されるが、フィルタリングされた点群ジオメトリの品質メトリクスも大幅に低下する。

【0159】

少なくとも１つの態様の一般的な様相によれば、３Ｄ空間における３Ｄサンプルの再構築を行わずに２Ｄ空間内でジオメトリ点群の解析およびフィルタリングを実行することによりまた既存の点を移動させることに加えて、点を除去したり、新たな点を追加したりすることもできるフレキシブルなフィルタリング演算子を使用することにより、点群フレームのジオメトリを平滑化（フィルタリング）する方法が提供される。

【0160】

３Ｄサンプルを処理する代わりに、２Ｄの解析およびフィルタリングを実行することで、計算の複雑さは大幅に軽減される。

【0161】

フレキシブルなフィルタリングを使用することで、フィルタリングの品質が向上する。

【0162】

したがって、この方法は、複雑すぎるか、または十分なフィルタリング能力を提供しない既存の方法と比較して、より良好な複雑さとフィルタリング品質のトレードオフを提供する。

【0163】

図７は、少なくとも１つの態様の例による点群フレームのジオメトリをフィルタリングする方法の概略ブロック図である。

【0164】

点群フレームのジオメトリは、上記で説明したように占有マップおよび補助パッチ情報ＰＩから生成される少なくとも１つのジオメトリ画像ＧＩによって表される。図３ａに示すように少なくとも１つのパッチを識別するキャンバスも、点群フレームのジオメトリを定義するために使用される。各パッチは、上記で説明したように、投影軸に沿った連接成分の２Ｄ投影を表す。上記で説明したように、パッチが修正されていてもいなくても、点群フレームの３Ｄサンプルの座標は、キャンバスのパッチから得られるので、キャンバス上でパッチを修正することは、点群フレームのジオメトリを修正することになる。

【0165】

この方法は、ステップ７０１０、７０２０、および７０３０をキャンバスのそれぞれのカレントパッチｐに適用する。

【0166】

ステップ７０１０で、モジュールは、少なくとも１つの候補パッチＣＡＮ（ｐ）から、カレントパッチｐの少なくとも１つの隣接するパッチＮｅｉ（ｐ）を取得することがある。

【0167】

図８ａの例では、カレントパッチｐは、輪郭のない灰色にて描画され、候補パッチＣＡＮ（ｐ）は、黒い輪郭でマークされている。カレントパッチｐの隣接である候補パッチは、カレントパッチｐと同じ灰色で描画され、カレントパッチの隣接でない候補パッチは、薄い灰色で描画されている。

【0168】

ステップ７０２０で、モジュールは、少なくとも１つの隣接するパッチＮｅｉ（ｐ）の２Ｄサンプルを、カレントパッチｐの２Ｄサンプルが投影されている投影面に再投影することによって、カレントパッチｐに関する参照輪郭ＲＣ（ｐ）を取得することがある。

【0169】

最初に、隣接するパッチＮｅｉ（ｐ）に関連付けられた投影軸に従って隣接するパッチＮｅｉ（ｐ）の２Ｄサンプルを逆投影することによって、３Ｄサンプルが取得される。パッチの投影軸は、補助パッチ情報ＰＩから導出されることがある。例えば、Ｖ－ＰＣＣでは、投影軸は、１）連接成分の３Ｄサンプルを包含する３Ｄバウンディングボックスの６つの向き付けられた面のうちの１つを示す情報、２）面の法線に関する情報から導出されることがある。

【0170】

次に、カレントパッチｐに関連付けられた投影軸に沿って３Ｄサンプルを投影することによって、再投影された２Ｄサンプルが取得される。

【0171】

そして、参照輪郭ＲＣ（ｐ）は、再投影された２Ｄサンプルのセットである。

【0172】

２Ｄサンプルを異なる投影面に再投影するのに、２Ｄサンプルを３Ｄ空間に逆投影し、３Ｄサンプルを別の投影面に投影する必要がある場合でも、ステップ７０２０は、３Ｄ空間におけるフィルタリング動作を実行せず、それにより複雑さを制限することを留意されたい。

【0173】

ステップ７０２０の態様の変形形態によれば、隣接するパッチＮｅｉ（ｐ）の境界に沿って位置する２Ｄサンプルのみが考慮されることもある。

【0174】

例えば、パッチの２Ｄサンプルは、それらの２Ｄサンプルが所与の閾値よりもパッチの縁部に近接しているときに、パッチの境界に沿っているとみなされる。

【0175】

ステップ７０２０の態様の変形形態によれば、キャンバスの位置ごとに、再投影された２Ｄサンプルが１つだけ保持される。

【0176】

例えば、所与の位置に保持される再投影された２Ｄサンプルは、その位置に位置するカレントパッチｐの２Ｄサンプルの深度に最も近接した深度を有する再投影２Ｄサンプルである。

【0177】

したがって、複数の隣接するパッチＮｅｉ（ｐ）の２Ｄサンプルを同じ投影面に再投影することによって、再投影された２Ｄサンプルは、真の（すなわち元の、エンコードエラーのない）位置に収まる傾向がある。境界に沿って位置する隣接するパッチの２Ｄサンプルのみが投影されるときには、それらの位置は、隣接するパッチＮｅｉ（ｐ）とカレントパッチｐの間の真の輪郭に対応する可能性が高い。

【0178】

図８ｂの例では、カレントパッチｐ（灰色）は、４つの隣接するパッチ（黒線）の再投影された２Ｄサンプルとともに示されている。再投影された２Ｄサンプルは、閉じた輪郭を形成しないこともあることに留意されたい。

【0179】

ステップ７０３０で、モジュールは、カレントパッチｐの輪郭Ｃ（ｐ）を、参照輪郭ＲＣ（ｐ）に適合するように修正することがある。輪郭Ｃ（ｐ）は、カレントパッチｐの少なくとも１つの２Ｄサンプルのセットである。例えば、これらの２Ｄサンプルは、カレントパッチｐの範囲を定める、すなわちその境界（縁部）に沿って位置する。

【0180】

ステップ７０１０の態様によれば、候補パッチＣＡＮ（ｐ）の２Ｄサンプルに対応する３Ｄサンプルと隣接するパッチＮｅｉ（ｐ）の２Ｄサンプルに対応する３Ｄサンプルとが互いに近接しているときには、候補パッチＣＡＮ（ｐ）は、カレントパッチｐの隣接するパッチＮｅｉ（ｐ）であることがある。

【0181】

ステップ７０１０の本態様の変形形態によれば、モジュールは、カレントパッチｐの２Ｄサンプルおよび各候補パッチＣＡＮ（ｐ）の２Ｄサンプルを逆投影することによって、３Ｄサンプルを取得することがある。モジュールは、次いで、全ての３Ｄサンプルの間で３Ｄ検索を実行して、カレントパッチｐの２Ｄサンプルに関する３Ｄサンプルおよび候補パッチＣＡＮ（ｐ）の２Ｄサンプルに関する３Ｄサンプルによって形成される最も近接した３Ｄサンプルの対を求める。

【0182】

３Ｄサンプルの対が、隣接する基準、例えば閾値未満の距離を満たした場合には、候補パッチＣＡＮ（ｐ）は、カレントパッチｐの隣接Ｎｅｉ（ｐ）とみなされる。そうでない場合には、そのようにみなされない。

【0183】

この変形形態は非常に精密であるが、それは、計算の複雑さが非常に高い。

【0184】

ステップ７０１０の本態様の変形形態によれば、モジュールは、候補パッチＣＡＮ（ｐ）の３Ｄバウンディングボックスがカレントパッチｐの３Ｄバウンディングボックスと交差するかどうかを決定することもある。交差する場合には、候補パッチＣＡＮ（ｐ）は、カレントパッチｐの隣接Ｎｅｉ（ｐ）とみなされる。そうでない場合には、そのようにみなされない。

【0185】

この変形形態は、パッチの３Ｄバウンディングボックスがその原点（通常は左下前方の隅に対応する）の３Ｄ座標と、その幅、高さ、および深度とによって定義されるので、計算の複雑さがそれほど高くなく、非常に使用しやすい。この情報は、補助パッチ情報ＰＩの一部として利用可能である。

【0186】

ステップ７０１０の態様によれば、候補パッチは、以下のように取得されることがある。
Patch Block Filtering
For all patch p
| // Patch Initialization: copy OCM and Geo[0] in patch
| For V in [ 0; sizeV0 ]
| | For U in [ 0; sizeV0 ]
| | | if blockToPatch( U,V ) == patchIndex
| | | | copy geometryVideo[0] in patchdephtMap
| | | | copy occupancyMapVideo in patchOccupancyMap
| dilate depth map
| // Generate 3D border points
| identifyBoundaryPoints
| for all border points
| | generate 3D points
| compute 3D bounding box of border points
入力：
－パッチリスト｛ｐ｝
－占有マップ画像（ＯＭＩ）
－マップ０のジオメトリ画像（ＧＩ０）
出力：
－各パッチｐについて、添付された以下の情報とともにＣＡＮ（ｐ）を得る。
・ｐ内部の全ての点の拡張されたジオメトリ画像０（ＵＧＩ０）
・ｐ内部の全ての点の占有マップ（ＯＭ）
・３Ｄ境界点
・３Ｄ境界点の３Ｄバウンディングボックス
プロセス：
－入力として、最適化の目的のために、ＧＩ０内の占有点の深度のみが使用されるが、ジオメトリＧＩ０およびＧＩ１の両方が使用されることも可能である。ＧＩ０のみを使用することは、それにより時間がかかる可能性があるＧＩ１に対する拡張フェーズが回避されるので、このプロセスにおける最適化である。
－深度マップ拡張→現在の点の深度値を「空の空間」に伝播させて、我々が任意の境界パッチの最も近接した点の深度を知ることができるようにする。
－ｉｄｅｎｔｉｆｙＢｏｕｎｄａｒｙＰｏｉｎｔｓ→この段階は、反復的にする（通常、反復数は２に等しい）こともでき、点が境界パッチ点とみなされなければならないかどうかを識別することを可能にする。
１－パッチの各点について、ほぼ１つの隣接画素（右上の画素、下の画素、下方隣接の画素）が非占有として設定されている場合には、点は、境界点としてマークされる。我々は、ＩＢＰ１と呼ばれる、パッチ境界の外部リングに識別された境界点のリストを有する。
２－全てのＩＢＰ１の点に対して同じ動作を再度行って、パッチ境界の第２のリングの内側により多くの点を得る。その結果得られるのは、ＩＰＢ２と呼ばれる、第２の識別された境界点のリストである。
－ＩＢＰ１およびＩＢＰ２として識別された全ての点について、３Ｄ点を再構築し、対応する３Ｄバウンディングボックスを計算する。

【0187】

ＩＢＰ１およびＢＰ２は、我々のＣＡＮ（ｐ）のリストである。

【0188】

ステップ７０２０の態様によれば、カレントパッチｐの少なくとも１つの隣接するパッチＮｅｉ（ｐ）は、以下のように少なくとも１つの候補パッチＣＡＮ（ｐ）から取得されることがある。
// Set neighboring patch lists
For all patches
| For all patches de CAN(p)
| | if patches intersect
| | | add patch in neighboring patch lists
入力：
－パッチリスト
－以前のステップのＣＡＮ（ｐ）の候補パッチ
出力：
－隣接パッチのリスト→Ｎｅｉ（ｐ）
プロセス：
ｐおよびＣＡＮ（ｐ）のバウンディングボックスが交差する場合には、ＣＡＮ（ｐ）はＮｅｉ（ｐ）として設定される。

【0189】

ステップ７０３０の態様によれば、サブステップ７０３１で、カレントパッチｐの少なくとも１つの２Ｄサンプルを追加および／または除去することによって、輪郭Ｃ（ｐ）が修正されることがある。

【0190】

図８ｃに示すように、カレントパッチｐのいくつかの領域（少なくとも１つの２Ｄサンプル）は、次いで除去されることがあるが（右上）、図８ｂのパッチと比較して他の領域が追加されることもある（左下）。図８ｄは、修正されたカレントパッチｐを示している。

【0191】

サブステップ７０３１の態様によれば、モジュールは、輪郭Ｃ（ｐ）の全ての２Ｄサンプルを個別に処理する。したがって、輪郭Ｃ（ｐ）の各２Ｄサンプルについて、
－輪郭Ｃ（ｐ）の２Ｄサンプルが参照輪郭ＲＣ（ｐ）の外側にある場合には、モジュールは、そのような２Ｄサンプルを侵食して、それをカレントパッチｐから除去し、次いで、その隣接する２Ｄサンプルを輪郭Ｃ（ｐ）の２Ｄサンプルとしてマークし、それらを再帰的に処理し、
－輪郭Ｃ（ｐ）の２Ｄサンプルが参照輪郭ＲＣ（ｐ）の内側にある場合には、モジュールは、そのような２Ｄサンプルを拡張し、次いで、追加の２Ｄサンプルを輪郭Ｃ（ｐ）の２Ｄサンプルとして新たにマークし、それらを再帰的に処理する。

【0192】

図９は、輪郭Ｃ（ｐ）の２Ｄサンプルを、参照輪郭ＲＣ（ｐ）に対するそれらの位置に基づいて再帰的に侵食する／拡張することによる輪郭フィルタリングの例を示す図である。

【0193】

左側に、初期の反復の結果が示されている。この格子は、キャンバスの一部分を表し、白いマスは、空の位置を表し、灰色のマスは、輪郭Ｃ（ｐ）の２Ｄサンプルを表し、黒いマスは、参照輪郭ＲＣ（ｐ）の２Ｄサンプルを表す。「Ｅ」とマークされている２Ｄサンプルは侵食すなわち除去され、「Ｄ」とマークされている２Ｄサンプルは拡張される、すなわち隣接する空の位置が新たな２Ｄサンプルで埋められる。

【0194】

真ん中には、２回目の反復の結果が示されており、右側には、最後の反復の結果が示されている。

【0195】

サブステップ７０３１の本態様の変形形態によれば、参照輪郭ＲＣ（ｐ）の外側の輪郭Ｃ（ｐ）の２Ｄサンプルのみが処理される。すなわち、２Ｄサンプルは、除去されることは可能であるが、追加されることはできない。

【0196】

サブステップ７０３１の本態様の変形形態によれば、参照輪郭ＲＣ（ｐ）の内側の輪郭Ｃ（ｐ）の２Ｄサンプルのみが処理される。すなわち、２Ｄサンプルは、追加されることは可能であるが、除去されることはできない）。

【0197】

図１０に示すサブステップ７０３１の態様の変形形態によれば、モジュールは、以下のように、輪郭Ｃ（ｐ）の２Ｄサンプルが参照輪郭ＲＣ（ｐ）の内側にあるか外側にあるかを決定する。

【0198】

輪郭Ｃ（ｐ）の各２Ｄサンプル「ｐ」について、
－２Ｄサンプル「ｐ」の法線を計算し、ここで、この法線は、カレントパッチｐの外側を指しており、
－ローカルウィンドウ（local window）を２等分する、２Ｄサンプル「ｐ」の法線に対する接線を計算し、
－ローカルウィンドウの各半分内の参照輪郭ＲＣ（ｐ）の２Ｄサンプルの量、すなわちローカルウィンドウの内側半分内の参照輪郭ＲＣ（ｐ）の２Ｄサンプルの量に対応するＣ_in（ｐ）、およびローカルウィンドウの外側半分内の参照輪郭ＲＣ（ｐ）の２Ｄサンプルの量に対応するＣ_out（ｐ）を推定し、
－Ｃ_in（ｐ）がＣ_out（ｐ）より大きい場合には、２Ｄサンプル「ｐ」は、参照輪郭ＲＣ（ｐ）の外側にある。そうでない場合には、２Ｄサンプル「ｐ」は、参照の内側にある。

【0199】

一態様では、２Ｄサンプル「ｐ」の法線を計算するために、以下の方法が用いられる。例えば浮動小数点計算を用いる方法など、他の方法も使用されることが可能である。以下の方法は、ビット精度の高いシステムのいくつかの利点を提示することができる。

【0200】

この方法では、２Ｄ法線は、２Ｄの離散空間内で、現在の画素「ｐ」の周りの画素の占有マップの値を解析することによって、計算される。法線の値は、次の８つの可能な向き、すなわち０度、４５度、９０度、１３５度、１８０度、２２５度、２７０度、３１５度のうちの１つである可能性がある。画素「ｐ」の向き（法線）は、例えば、図１３に示すように、位置「ｐ」の周りの３×３窓内の占有された占有マップ画素の分布に基づいて選択されることが可能である。法線の計算をさらに簡略化するために、向きは、あらかじめ計算された参照テーブルから直接取得されることも可能である。参照テーブルへのインデックスは、画素「ｐ」の８つの隣接する画素の占有マップ値の組合せに基づく。インデックスＩＤＸは、以下のように計算されることが可能である。
#define IDX( tl, t, tr, l, v, r, bl, b, br ) ＼
( ( tl << 7 )｜( t << 6 )｜( tr << 5 )｜( l << 4 )｜
( r << 3 )｜( bl << 2 )｜( b << 1 )｜( br ) )
ここで、ｔｌは左上の画素であり、ｔは上の画素であり、ｔｒは右上の画素であり、ｌは左の画素であり、ｒは右の画素であり、ｂｌは左下の画素であり、ｂは下の画素であり、ｂｒは右下である。インデックスＩＤＸは、［０：２５５］で定義され、あらかじめ計算された法線値のＬＵＴにアクセスするために直接使用されることが可能である。法線値のＬＵＴは、以下のように定義される。
static const std::vector<uint8_t> g_orientation = { 0, 0, 6, 0, 0, 0, 0, 6, 4, 0, 0, 5, 0, 0, 0, 5, 0, 0, 0, 0, 0, 0, 7, 7, 0, 0, 0, 0, 0, 0, 0, 6, 0, 0, 0, 0, 0, 0, 0, 0, 0, 4, 0, 5, 0, 0, 0, 5, 0, 0, 0, 0, 0, 0, 7, 0, 0, 0, 0, 0, 0, 0, 0, 5, 2, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 3, 3, 0, 4, 3, 0, 0, 5, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 5, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 7, 7, 0, 0, 0, 0, 0, 0, 0, 7, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 6, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 1, 0, 0, 1, 0, 0, 7, 0, 0, 0, 0, 0, 0, 0, 0, 2, 0, 0, 0, 0, 0, 0, 0, 3, 3, 0, 3, 0, 0, 0, 4, 1, 0, 0, 0, 1, 0, 1, 0, 2, 3, 0, 0, 1, 2, 0, 0};

【0201】

この場合には、離散法線「ｎ」の計算は、以下のように全ての２Ｄ輪郭点について直接実行されることが可能である。
int8_t n = g_orientation[ IDX( p[c - w - 1], p[c - w], p[c - w + 1],
p[c - 1], p[c], p[c + 1],
p[c + w - 1], p[c + w], p[c + w + 1] ) ];

【0202】

ローカルウィンドウの所与の半分の内側の参照輪郭ＲＣ（ｐ）の２Ｄサンプル（図１０中の黒いマス）の量を推定するためには、いくつかの方法が用いられ得る。

【0203】

態様によれば、参照輪郭ＲＣ（ｐ）の２Ｄサンプルの量は、それらの位置に関わらず、所与の半分の内側の参照輪郭ＲＣ（ｐ）の２Ｄサンプルの数である。

【0204】

態様によれば、参照輪郭ＲＣ（ｐ）の２Ｄサンプルの量は、現在の２Ｄサンプル「ｐ」に対する参照輪郭ＲＣ（ｐ）の各２Ｄサンプルの位置を考慮に入れた加重和である。

【0205】

【数1】

【0206】

ここで、「ｒ」は、所与の半分の窓内の参照輪郭ＲＣ（ｐ）の２Ｄサンプルを示し、Ｗは、２Ｄサンプル「ｒ」の数を示し、ｄ（・，・）は、現在の２Ｄサンプル「ｒ」と２Ｄサンプル「ｐ」の間のユークリッド距離を示す。

【0207】

サブステップ７０３０の態様によれば、モジュールは、輪郭Ｃ（ｐ）のパラメータ化されたモデリング曲線、および参照輪郭ＲＣ（ｐ）のパラメータ化されたモデリング曲線を取得することがあり、輪郭Ｃ（ｐ）は、それが参照輪郭ＲＣ（ｐ）のパラメータ化されたモデリング曲線に重なるように輪郭Ｃ（ｐ）のパラメータ化されたモデリング曲線のパラメータを調節することによって修正されることがある。

【0208】

例えば、モデリング曲線は、スプラインであることもある。

【0209】

ステップ７０３０の態様によれば、サブステップ７０３２で、輪郭Ｃ（ｐ）は、カレントパッチｐの少なくとも１つの２Ｄサンプルをカレントパッチ「ｐ」の投影軸に沿って再配置（移動）することによって、修正されることがある。

【0210】

この移動の目的は、カレントパッチｐの２Ｄサンプルに対応する３Ｄサンプルと参照輪郭ＲＣ（ｐ）の隣接する２Ｄサンプルに対応する３Ｄサンプルとの間の継ぎ目を回避することである。

【0211】

図１１は、サブステップ７０３２の態様の例を示す図である。

【0212】

上側には、ステップ７０３２の入力である、輪郭Ｃ（ｐ）の初期状態が示されており、この格子は、キャンバスの一部分を表し、ここで、白いマスは、空の位置を表し、灰色のマスは、カレントパッチｐの２Ｄサンプルを表し、黒いマスは、参照輪郭ＲＣ（ｐ）の２Ｄサンプルを表す。各位置における深度も、数字として示されている。この格子では、カレントパッチｐの２Ｄサンプル（灰色のマス）は、参照輪郭ＲＣ（ｐ）の２Ｄサンプル（黒いマス）の隣接であるが、それらが対応する３Ｄサンプルは、必ずしもそれらに隣接していないことが分かる。例えば、左の列で、キャンバスからの深度８のカレントパッチｐの２Ｄサンプルは、その２つの参照輪郭ＲＣ（ｐ）の隣接する２Ｄサンプルに対応する２つの３Ｄサンプルから距離３（から１１へ）または４（から１２へ）のところにある。

【0213】

下側には、サブステップ７０３２のフィルタリングの結果が示されており、黒い数字を有する灰色のマスは、カレントパッチｐの再配置された２Ｄサンプルであり、それらそれぞれの参照輪郭ＲＣ（ｐ）の隣接する２Ｄサンプルに（深度が）実質的により近くなっている。

【0214】

態様によれば、ステップ７０２０、サブセット７０３１および７０３２は、以下のプロセスに従う。
入力：
・パッチリスト
・７０１０の出力であるＮｅｉ（ｐ）
・Ｎｅｉ（ｐ）の３Ｄ境界点
・ＯＭおよびＧＥＯ画像
出力：
・除去された点がある可能性がある修正されたＯＭ（少なくとも同じもの、または除去された点があるもの）
プロセス：
続くプロセスでは、＃ｌｉｎｅｓは、実装の最適化を表す。それは、最も接近した点を投影し、深度マップ中の対応する深度を記憶するので、全てのＮｅｉ（ｐ）の全ての点の現在の深度の距離の計算を回避する。

【0215】

境界点の全ての点について、以下を反復的に行う。
－隣接画素（右上の画素、下の画素、下方隣接画素）を考慮して、隣接の数を計算する。
－ローカルウィンドウ（左上下右）内に隣接点が見つからないときには、点を迅速に除去するために簡単なステップが用いられる。
－隣接の数が４未満である場合には、特許文献１と同様に行う。

【0216】

変形形態として、サブステップ７０３１で、輪郭Ｃ（ｐ）の２Ｄサンプルの侵食または拡張が行われることがある。
// Smoothing
For all patches
| // Build neighbor Depth
# For all neighboring patch Nei(p)
# | For all 3D border points
# | | if point is in the current patch bounding box
# | | | project 3D point in 2D patch space (x,y,z) => (u,v,d)
# | | | store depth of the nearest points in the depth Map
| For iter in [0; filteringSize [
| | For each 2D point with ocm equal to 1
| | | Count the number of patch points in the neighborhood of the current point (left,top,right,botton points with ocm equal to 1)
| | | if number of neighbors is 0
| | | | remove point (set ocm to 0)
| | | if number of neighbors is less than 4
| | | | Compute contour orientation based on the ocm
| | | | for all point in the orientation of the local window of size [localWindowSizeX; localWindowSizeY]
| | | | | Find the closest border point of the neighborhood patches projected in the same uv position
| | | | | if exist
| | | | | | sum the 3D distance between the current point and the closest point of the neighbor patches
| | | | | | sum the 3D distance between the erode point and the closest point of the neighbor patches
| | | | if sum of the current points is superior to the sum computed with the erode point
| | | | | remove point ( set ocm to 0 )
態様によれば、平滑化のパラメータは、以下のように取得されることがある。
occPrecDefault=2;
filteringSizeDefault=1;
localWindowSizeXDefault= 2;
localWindowSizeYDefault= 1;
stuffingSizeDefault = 2;

if (OccPrec is equal to occPrecDefault) {

filteringSize=filteringSizeDefault;
LocalWindowSizeX= localWindowSizeXDefault;
LocalWindowSizeY= localWindowSizeYDefault;
stuffingSize= stuffingSizeDefault ;

} else if (OccPrec is equal to occPrecDefault*n) {

filteringSize=filteringSizeDefault* n;
LocalWindowSizeX= localWindowSizeXDefault*n ;
LocalWindowSizeY= localWindowSizeYDefault*n ;
stuffingSize=stuffingSizeDefault *n

}
ここで、

【0217】

【表1】

【0218】

ステップ７０３０の態様によれば、サブステップ７０３３で、輪郭Ｃ（ｐ）は、カレントパッチｐの２Ｄサンプルに対応する３Ｄサンプルと参照輪郭ＲＣ（ｐ）の２Ｄサンプルに対応する３Ｄサンプルとの間に少なくとも１つの追加の３Ｄサンプルを追加することによって、修正されることがある。

【0219】

本態様は、これらの３Ｄサンプルの間の隙間を埋めることを可能にする。

【0220】

少なくとも１つの追加の３Ｄサンプルを追加することは、カレントパッチｐ内に少なくとも１つの２Ｄサンプルを追加することを伴うが、その少なくとも１つの２Ｄサンプルの位置は、カレントパッチｐの別の２Ｄサンプルによって既に占有されている。

【0221】

態様によれば、カレントパッチｐの同じ２Ｄサンプルが、３Ｄサンプル、および少なくとも１つの追加の３Ｄサンプルに対応し、その少なくとも１つの追加の３Ｄサンプルの深度値は、少なくとも２つの３Ｄサンプルの線形補間深度値によって得られる。

【0222】

別の態様によれば、少なくとも１つの追加の３Ｄサンプルを追加するために、特許文献２に記載されるジオメトリに基づくスタッフィング方法が使用される。

【0223】

態様によれば、パッチの境界の外部および／または内側に向かってスタッフィングされた３Ｄ点を追加するために、輪郭の向きが考慮されることもある。

【0224】

図１２は、サブステップ７０３３の態様の例を示す図である。

【0225】

上側には、図１１の左側の格子の左の列と、キャンバス（２Ｄ座標）上での投影軸（深度）に沿った２Ｄサンプルのプロットとが示されている。図示のように、投影軸に沿って走査するときには、カレントパッチｐの２Ｄサンプル（灰色のマス）に対応する３Ｄサンプルと参照輪郭ＲＣ（ｐ）の２Ｄサンプル（黒いマス）に対応する３Ｄサンプルとの間にシーム（seem）（空所（void））が発生することがある。

【0226】

真ん中には、図１１の右側の格子（サブステップ７０３２の出力）の左の列と、キャンバス（２Ｄ座標）上での投影軸（深度）に沿った２Ｄサンプルのプロットとが示されている。

【0227】

下側には、２つの新たな追加の３Ｄサンプル（点線のマス）の位置が、固定されていることもビットストリーム内でシグナリングされることもある閾値であるＴより大きな深度差を有する既存の３Ｄサンプルの対の位置から線形補間されているときの、サブステップ７０３３の出力である、フィルタリングの結果が示されている。

【0228】

例えば、Ｔ＝１である。

【0229】

このサブステップ７０３３によれば、追加の３Ｄサンプルは、直接３Ｄで作成されることがあり、したがって、その色情報（テクスチャ）を符号化するためのキャンバス内の対応する位置を有していない。

【0230】

サブステップ７０３３の態様によれば、モジュールは、少なくとも２つの３Ｄサンプルの色情報を補間することによって、少なくとも１つの追加の３Ｄサンプルの色情報を取得する。

【0231】

変形形態によれば、この少なくとも２つの３Ｄサンプルは、それらの色情報が、ビットストリーム中に符号化されている。

【0232】

変形形態によれば、この少なくとも２つの３Ｄサンプルは、少なくとも１つの追加の３Ｄサンプルの深度値を取得するために使用される２つの３Ｄサンプルである。

【0233】

サブステップ７０３３の態様によれば、モジュールは、例えばＥＯＭコード語と同じ手法を用いて、少なくとも１つの追加の３Ｄサンプルの色情報をテクスチャ画像中の非占有ブロック中にエンコードする。

【0234】

サブステップ７０３３の態様によれば、モジュールは、特許文献３に記載されるように、少なくとも１つの追加の３Ｄサンプルの色情報をＥＯＭテクスチャパッチとしてエンコードする。

【0235】

サブステップ７０３１、７０３２、および７０３３は、互いに補完するが、それらは、独立して使用され得る。図７は、この方法の態様の例を示すが、これらの変形形態は、それらの１つ、またはそれらの任意の組合せを排除することがある。

【0236】

図７の方法は、いくつかのパラメータを利用して、その挙動を調節する。それらのパラメータは、現在のＶ－ＰＣＣ仕様で現在のジオメトリ平滑化フィルターのパラメータをシグナリングするのと同様のやり方で、ビットストリーム内でシグナリングされることがある（Ｖ－ＰＣＣのセクション７．３．１８の「ジオメトリ平滑化」パラメータ参照）。

【0237】

さらに、本態様の１つまたは複数の様相は、（例えば以下に述べるように３Ｄグリッドを用いて）３Ｄ点群またはよりコストがかかる３Ｄ空間ではなく２Ｄ空間内の３Ｄの再構築された点の色属性などの、１つまたは複数の属性の平滑化またはフィルタリングに関する。

【0238】

点群を符号化するときに良好な圧縮効率を実現するために現況技術で使用される手法のうちの１つは、複数のジオメトリおよびテクスチャ属性情報を、２Ｄ画像の同じ位置（画素）に投影することにある。すなわち、入力点群あたりいくつかのレイヤの情報を符号化する。通常は、２つのレイヤが考慮される。これは、入力点群あたり、いくつかの２Ｄジオメトリおよび／または２Ｄテクスチャ属性画像が生成されることを意味する。いくつかの態様にて、２つの深度画像（ジオメトリ用）および色画像（テクスチャ用）は、入力点群ごとに符号化される。

【0239】

（３Ｄ領域における）属性の平滑化
２つの異なるパッチに由来する２つの近い３Ｄ点の属性（例えば色）が、視覚的品質への影響（損傷）を有するビデオ符号化における属性の量子化段階が原因で、有意に異なる色を有することがある。このため、２Ｄパッチの境界として検出される３Ｄ点の属性を平滑化することを目的として、３Ｄ色平滑化プロセスが、Ｖ－ＰＣＣに導入されている。基本的には、このプロセスは、それ自体の周りのいくつかの選択された点の平均色を計算する。

【0240】

この３Ｄ属性平滑化プロセス（３Ｄ色平滑化と呼ばれる）の１つのバージョンは、ＫＤ木を用いて平均属性値を計算する。このプロセスは、次いで、現在の点の周りのＮ個の隣接３Ｄ点を探索して、属性値重心（例えば平均色）を計算する。次いで、プロセス（３Ｄ色グリッド平滑化と呼ばれる）が、３Ｄグリッドを使用して３Ｄの８×８×８のセルのそれぞれの平均属性値を計算し、３Ｄグリッドについてのトライリニアフィルタリングを計算することによって各境界点の平均属性値を補間する。

【0241】

３Ｄ色グリッドジオメトリ平滑化の例は、図１４に示されており、これとともに説明する。３Ｄグリッドジオメトリ平滑化は、次の３つの主要な段階
１）色属性重心グリッド生成
２）境界点の識別、および
３）３Ｄグリッド色属性平滑化
からなる。

【0242】

本態様の１つまたは複数の様相は、これとともに説明するように、これらの段階、特に３Ｄグリッド色属性平滑化段階に、改良点および利点を提供する。

【0243】

色属性重心グリッド生成段階
この段階の例は、例えば、Ｖ－ＰＣＣの条項９．６．３．２「属性中心グリッドの識別」に記載されている。
本プロセスへの入力は：
－再構築された位置RecPcGeom[i], 0≦i< PointCntを含むアレイ、
－属性インデックスaIdx、
－再構築された属性RecPcAttr[aIdx][i], 0≦i< PointCntを含むアレイ、および
－属性成分の数を示すnumComps。
本プロセスの出力は：
－再構築された中心グリッド属性値attrCenterGrid[ i ][k], 0≦i< numCells and k = 0 to numComps -1, inclusive、
－再構築された中心グリッド平均輝度値meanLuma[i], 0≦i< numCellsを含むアレイ、および
－再構築された中心グリッド輝度中央値attrMean[i][k], 0≦i< numCells and k = 0 to numComps -1, inclusiveを含むアレイ。
attrCenterGrid[x][y][z][m]、meanLuma[x[y][z]は、０から(numCells - 1)の範囲（両端含む）の全てのｘ、ｙ、およびｚと、０からnumComps - 1の範囲（両端含む）のｍとについて、０に初期化される。
条項９．６．３．１は、０から(numCells - 1)の範囲（両端含む）の全てのｘ、ｙ、およびｚについてアレイcellDoSmoothing[x][y][z]、cellCnt[x][y][z]、cellPatchIdx[x][y][z]を得るために適用される。
i = 0から(PointCnt - 1)（両端含む）について、以下が適用される。
変数xIdx、yIdx、およびzIdxは、以下のように導出される。
xIdx = (RecPcGeom[i][0] / GridSize)
yIdx = (RecPcGeom[i][1] / GridSize)
zIdx = (RecPcGeom[i][2] / GridSize)
cellDoSmoothing[xIdx][yIdx][zIdx]が１に等しい場合には、以下が適用される。
for( k= 0 ; k < numComps ; k++ )
attrCenterGrid[xIdx][yIdx][zIdx][k] + = RecPcAttr[aIdx][i][k];

０から(numCells - 1)の範囲（両端含む）のｘ、ｙ、ｚについてcellCnt[x][y][z]が０より大きい場合には、そのセルに属する点について、インデックスａＩｄｘを有する属性の平均および中央輝度値が計算され、それぞれアレイmeanLuma[x][y][z]およびmedianLuma[x][y][z]に割り当てられる。また、attrCenterGridの輝度値は、centroidLuma[x][y][z]に割り当てられる。
色属性の場合には、以下のように、属性値attrValue[k], 0≦k<3に対応する輝度値を決定する。
lumaValue=0.2126 * RecPcAttr[aIdx][0]+0.7152 * RecPcAttr[aIdx][1] + 0.0722 * RecPcAttr[aIdx][2];
meanLuma[xIdx][yIdx][zIdx] += lumaValue;
属性中心グリッドを導出する
for(k = 0 ; k < numComps ; k++ )
attrCenterGrid[xIdx][yIdx][zIdx][k] = attrCenterGrid[xIdx][yIdx][zIdx][k] / cellCnt[xIdx][yIdx][zIdx]
meanLuma[xIdx][yIdx][zIdx] = meanLuma[xIdx][yIdx][zIdx] / cellCnt[xIdx][yIdx][zIdx]。

【0244】

境界点の識別
この段階の例は、例えば、Ｖ－ＰＣＣの条項９．６．４「境界点の識別」に記載されている。
本プロセスへの入力は：
－占有マップフレームoFrame、
－アクティブなgeometry_patch_parameter_setからのパッチインデックス情報
本プロセスの出力は：
再構築された点群のパッチ境界タイプのリストを保持するコンテナrecPCBoudanyPointType。
変数BoundaryPointTypeは、点がパッチ境界の近くに位置するかどうかを識別する。BoundaryPointTypeは、０から１の範囲（両端含む）の値を取り得る。BoundaryPointTypeの値０は、点がパッチ境界の近くではないことを示す。２次元の(asps_frame_width)*(asps_frame_height)アレイBPTypesは、投影された点群フレーム中の各点のBoundaryPointTypeの値を記憶する。
１次元リストrecPCBoundaryPointTypeは、oFrame[y][x]の値が０に等しくない投影された点群フレーム中の各点（ｘ、ｙ）についてのBoundaryPointTypeを記憶する。BoundaryPointTypeの値は、以下のようにBPTypes[y][x]およびrecPCBoundaryPointTypeに割り当てられる。
pointIndex = 0;
for(x = 0; x < asps_frame_width; x++ )
for(y = 0; y < asps_frame_height; y++ ) {
BPTypes[y][x] = 0
recPCBoundaryPointType[ pointIndex ] = 0
if(oFrame[y][x] ! = 0 )
if((oFrame[y][x-1]= = 0)｜｜(oFrame[y][x+1]= =0)｜｜
(oFrame[y-1][x]= = 0)｜｜(oFrame[y+1][x]= =0)｜｜
(oFrame[y-1][x-1]= = 0)｜｜(oFrame[y-1][x+1] = =0)｜｜
(oFrame[y+1][x-1] = = 0)｜｜(oFrame[y+1][x+1] = = 0)){
recPCBoundaryPointType[ pointIndex] = 1
BPTypes[y][x] = 1
}
if((oFrame[y][x]!= 0)&&(recPCBoundaryPointType[pointIndex]!=1))
if((oFrame[y-2][x-2] = = 0)｜｜(oFrame[y-2][x-1] = =0)｜｜
(oFrame[y-2][x] = = 0)｜｜(oFrame[y-2][x+1] = = 0)｜｜
(oFrame[y-2][x+2] = = 0)｜｜(oFrame[y-1][x-2] = =0)｜｜
(oFrame[y-1][x+2] = = 0)｜｜(oFrame[y][x-2] = = 0)｜｜
(oFrame[y][x+2] = = 0)｜｜(oFrame[y+1][x-2] = = 0)｜｜
(oFrame[y+1][x+2] = = 0)｜｜(oFrame[y+2][x-2] = =0)｜｜
(oFrame[y+2][x-1] = = 0)｜｜(oFrame[y+2][x] = = 0)｜｜
(oFrame[y+2][x+1] = = 0)｜｜(oFrame[y+2][x+2] = = 0))
recPCBoundaryPointType[pointIndex] = 1
pointIndex++
}
上記の割当てプロセスにおいて、(x-2)もしくは(x+2)が、０からasps_frame_width - 1の範囲（両端含む）の外側である、または(y-2)もしくは(y+2)が、０からasps_frame_height - 1の範囲（両端含む）の外側である場合には、BPTypes[y][x]およびrecPCBoundaryPointType[pointIndex]の値は、１に等しいと仮定される。

【0245】

３Ｄグリッド色属性平滑化
図１５は、この段階の図示を提供する。図１５に示すように、３Ｄの８×８×８のセルのそれぞれの平均属性値が決定される。次いで、３Ｄグリッドに対するトライリニアフィルタリングを計算することによって、各境界点の平均属性値が補間される。

【0246】

この段階の別の例は、例えば、Ｖ－ＰＣＣの条項９．６．４「境界点の識別」に記載されている。
このプロセスは、afp_attribute_smoothing_enabled_flag[aIdx]が１に等しいときに呼び出される。ここで、ａＩｄｘは、属性インデックスである。
本プロセスへのの入力は：
－公称解像度における現在の点群フレームに対応する占有マップoFrame、
－属性インデックスaIdx、
－属性インデックスａＩｄｘに対応する成分の数numComps、
－属性平滑化制御パラメータセットafp_attribute_smoothing_grid_size[aIdx]、afp_attribute_smoothing_threshold[aIdx]、afp_attribute_smoothing_threshold_local_entropy[aIdx]、afp_attribute_smoothing_threshold_variation[aIdx]、およびafp_attribute_smoothing_threshold_difference[aIdx]
－属性インデックスaIdxについての再構築された属性値を含むアレイRecPcAttrSmIn[aIdx][i][j], 0≦i< PointCnt, 0≦j< numComps、
－再構築された（場合によっては平滑化された）再構築された位置を含むアレイRecPcGeomSmOut[i][j], 0≦i< PointCnt, 0≦j≦2、ならびに
－RecPcGeomSmOut中の各点に対応するパッチインデックス情報。
本プロセスの出力は：
－属性インデックスａＩｄｘについての再構築された平滑化された属性値を含むアレイ RecPcAttrSmOut[aIdx][i][j], 0≦i< PointCnt, 0≦j< numComps。
変数GridSizeは、AttributeSmoothingGridSize[aIdx]に設定される。
セル数numCellsと、i=0からnumCells -1（両端含む）についてのattrCenterGrid[i]およびcellDoSmoothing[x][y][z]とは、９．６．３．２に記載されるように導出される。
i=0から(PointCnt - 1)（両端含む）について、以下が適用される。
－otherClusterPtCntは、０に設定される。
パッチ境界の点を決定するために、条項９．６．４が呼び出されて、RecPcGeomSmOutの各点が境界点であるかどうかを識別するアレイrecPCBoundary[idx], 0≦ idx < PointCntを生成する。
i=0から(PointCnt - 1)（両端含む）について、以下が適用される。
－recPCBoundary[i]が１に等しい場合には、以下のステップが実行される。
－０から２の範囲（両端含む）の変数pointGeom[j], j、および０から（numComps - 1）の範囲（両端含む）の変数pointAttr[k], kは、以下のように定義される。
for(j = 0; j < 3 ; j++ )
pointGeom[j] = RecPcGeomSmOut[i][j]
for(k = 0; k < numComps ; k++ )
pointAttr[k] = RecPcAttrSmIn[aIdx][i][k]

【0247】

以下を導出するために、下位条項９．６．５が適用される。
－現在の位置に対応する2×2×2のグリッド近傍pointGeom[i]、
－2×2×2グリッドの左上隅s[i]、
－現在の位置に関連付けられた2x2x2グリッドの位置t[i]、i=0から2（両端含む）、
－ブール値otherClusterPtCn
otherClusterPtCntが１に等しい場合には、以下が適用される。
－現在のセルの2×2×2セル近傍中の属性の変化は、以下のように決定される。
2×2×2セル近傍についてのisOriginalCellアレイは、以下のように決定される。
for(dx = 0; dx < 2; dx++)
for(dy = 0; dy < 2; dy++)
for(dz = 0; dz < 2; dz++) {
xIdx = s[0] + dx
yIdx = s[1] + dy
zIdx = s[2] + dz
if((xIdx == t[0] )&&(yIdx == t[1]) && ( zIdx == t[2])) {
isOriginalCell[dx][dy][dz] = 1
for(k=0; k < numComps; k++)
currAttr[k] = pointAttr[k]
if(abs(MeanLuma[xIdx][yIdx][zIdx] - medianLuma[xIdx][yIdx]zIdx])
<= afp_attribute_smoothing_threshold_variation[aIdx])
{
lumaOrig = centroidLuma[xIdx][yIdx][zIdx]
for(k=0; k < numComps; k++)
attrCentroid[dx][dy][dz][k] =attrCenterGrid[xIdx][yIdx][zIdx][k]
}
else {
lumaOrig = 0.2126 * currAttr[0] + 0.7152 * currAttr[1] + 0.0722 * currAttr[2]
for(k=0; k < numComps; k++)
attrCentroid[dx][dy][dx][k] = currAttr[k]
}
}
else
isOriginalCell[dx][dy][dz] = 0
}
－セル内の属性値の変化（アクティビティを表す）、および元のセルの輝度重心値と隣接するセルの輝度重心値の間の差は、以下のように決定される。
for(dx = 0; dx < 2; dx++)
for(dy = 0; dy < 2; dy++)
for(dz = 0; dz < 2; dz++) {
xIdx = s[0] + dx
yIdx = s[1] + dy
zIdx = s[2] + dz
if( isOriginalCell[dx][dy][dz] == 0)
if(cellCnt[xIdx][yIdx][zIdx] > 0) {
for(k=0; k < numComps; k++)
attrCentroid[dx][dy][dx][k] = attrCenterGrid[xIdx][yIdx][zIdx][k]
lumaN = centroidLuma[xIdx][yIdx][zIdx]
diff = abs(lumaOrig - lumaN)
var = meanLuma[xIdx][yIdx][zIdx] - medianLuma[xIdx][yIdx][zIdx]
if((diff > afp_attribute_smoothing_threshold_difference[aIdx])｜｜
(abs(var) > afp_attribute_smoothing_threshold_variation[aIdx]))
for(k=0; k < numComps; k++)
attrCentroid[dx][dy][dx][k] = currAttr[k]
} else {
for(k=0; k < numComps; k++)
attrCentroid[dx][dy][dx][k] = currAttr[k]
}
}
－９．６．６に記載される８タップトライリニアフィルターが、2×2×2近傍内の属性重心attrCentroid[x][y][z][k] 0≦x,y,z< 1, 0≦k< numComps - 1に適用される。

【0248】

－以下の歪み基準が満たされる場合には、トライリニアフィルタの出力は、recPCaSmOutに加算されることになる。
－abs(Ycell - Ycur) * 10として定義される変数distToCentroid2は、afp_attribute_smoothing_threshold_smoothing[aIdx]より大きく、ここで、YcellおよびYcurは、それぞれ現在のセル内の点の重心の輝度値(attrCentroid)および現在の点の輝度値(pointAttr)である。

【0249】

したがって、本態様の１つまたは複数の様相は、点群の３Ｄの再構築された点の属性（例えば色）を平滑化する新たなプロセスまたは装置を提案する。特に、３Ｄグリッドを用いた補間を必要とする上述の３Ｄ色平滑化プロセスと異なり、この１つまたは複数の様相は、２Ｄ面内での色平滑化を提供して、複雑さを軽減することができる。この１つまたは複数の様相は、パッチ境界点の色重心を計算し、２Ｄ空間におけるこれらの重心に基づいてパッチ境界点を平滑化する。次いで、属性再構築プロセスの前に、属性フレームが更新される。

【0250】

図１６は、パッチ境界における色の問題を解決する新たな方法を提供する、本色平滑化態様の１つまたは複数の様相を示す図である。

【0251】

既に上述したように、パッチ境界フィルタリングプロセスは、隣接パッチの境界点を２Ｄパッチ領域に投影して、パッチ間の連接性を推定し、再構築プロセスの前にジオメトリを訂正する。１つの利点は、それが２Ｄ領域内で動作し、３Ｄ内より複雑さが低いことである。

【0252】

同様に、本態様の１つまたは複数の様相は、パッチの各２Ｄ境界点について、その周りの（カレントパッチおよび近傍のパッチの内側の）点の色の重心を計算することによって、再構築プロセスの前に３Ｄ点の色を訂正する。この場合には、色画像は、２Ｄから３Ｄへのデプロジェクション（de-projection）の前に、更新される。３Ｄの再構築された点は、２Ｄの複雑さが軽減された色平滑化プロセスの恩恵を直接受けることになる。このように、この１つまたは複数の様相では、３Ｄで色平滑化を運用することを回避する。

【0253】

図１６に示すように、２つの主要なプロセスが提案される。

【0254】

１．色重心マップ／フレーム生成：パッチの各境界点について、図１７Ａおよび図１７Ｂに示すように色重心のフレームを計算する。

【0255】

２．２Ｄ色平滑化：全ての以前の色重心について、全ての境界点を有する平滑化された色重心を計算し、属性フレームを更新する。図１７Ａおよび図１７Ｂに示すように平滑化された色重心で属性画素値を更新する。

【0256】

色重心マップ／フレーム生成
パッチの各境界点について、図１７Ａおよび図１７Ｂに示すように色重心のフレームを計算する。

【0257】

別の詳細な例は、以下に例示する通りである。
入力：
・属性色画像：公称解像度におけるデコードされた属性フレームAFrame [aIdx][mapIdx][cIdx][y][x]、ここで、mapIdx = 0..vpcc_map_count_minus1、y = 0 .. asps_frame_height - 1、x = 0 .. asps_frame_width - 1、aIdx =0..ai_attribute_count - 1、およびcIdx = 0 .. ai_attribute_dimension_minus1[aIdx]である。
・占有画像；公称解像度における現在の点群フレームに対応する占有マップの第１の成分OFrame [y][x][0]、ここで、y = 0..asps_frame_height - 1、x = 0..asps_frame_width - 1である。
・パッチのインデックスｐ。
出力：
・色重心画像：計算された重心の色属性値を含むフレームCFrame [aIdx][mapIdx][cIdx][y][x]、ここで、mapIdx = 0..vpcc_map_count_minus1、y = 0 .. asps_frame_height - 1、x = 0 .. asps_frame_width - 1、aIdx =0..ai_attribute_count - 1、およびcIdx = 0 .. ai_attribute_dimension_minus1[aIdx]である。
＊ａｓｐｓ－Ａｔｌａｓシーケンスパラメータセット（パラメータが定義されるシンタックス構造）。
プロセス：
占有フレームOFrame [u][v][0]の全ての点(u,v)について、
//MODULE Identified boundary points(すなわち、２Ｄ点がパッチの境界である場合)
if ( OFrame[u][v][0] &&
(! OFrame[u+1][v][0]｜｜
! OFrame[u-1][v][0]｜｜
!OFrame[u][v-1][0]｜｜
! OFrameu][v+1][0]))

//MODULE Attribute Center Generation(現在の点の色重心を計算し、この値を色重心フレームに記憶する)
nbPoints=0;
同じパッチインデックスｐの(u,v)の近傍(*)内の全ての点(up,vp)について、
nbPoints++;
for aIdx=0..ai_attribute_count - 1,
for mapIdx=0..vpcc_map_count_minus1,
for cIdx = 0.. ai_attribute_dimension_minus1[aIdx],
CFrame [aIdx][mapIdx][cIdx][u][v] += AFrame[aIdx][mapIdx][cIdx][up][vp]
for aIdx=0..ai_attribute_count - 1,
for mapIdx=0..vpcc_map_count_minus1,
for cIdx = 0.. ai_attribute_dimension_minus1[aIdx],
CFrame [aIdx][mapIdx][cIdx][u][v] /= nbPoints;

//MODULE 3D border points generation
[1](SoTA)の条項９．４．６「３Ｄ点の位置の再構築」

(*)近傍の計算は、次のように行われることが可能である。
・[u- boxSizeU;u+boxSizeU][v-boxSizeV,v+ boxSizeV]のサイズの矩形の枠について、通常はboxSizeU=4およびboxSizeV=4。
・点(u,v)の周りの円：sqrt((up-u)^2+(vp-v)^2) < distanceという条件の全ての点p(up,vp)について、通常は、distance=5。
・最も近接した点のセットについて、通常は、N24-Neighbor。
出力は、全てのパッチについて１つの画像である（ジオメトリおよびテクスチャ画像と同じ）ことも、パッチごとにいくつかの画像に分割されることも可能であることに留意されたい。

【0258】

２Ｄ色平滑化
図１８Ａおよび図１８Ｂに示すように、全ての境界点について、２Ｄ色平滑化態様の１つまたは複数の様相は、全ての境界点を有する（図１７Ａおよび図１７Ｂで計算される作用された重心を有する）平滑化された色重心を計算し、その平滑化された色重心で属性値を更新する。

【0259】

図１８Ｂは、本２Ｄ色平滑化態様の１つまたは複数の様相を描画する図である。図１８ＢのピクチャＡは、上述のように導出された参照輪郭（境界上に薄い灰色で示される参照輪郭）上の点を示している。図１８ＢのピクチャＢは、全ての識別されたパッチ境界（例えばＢｏｕｎｄａｒｙＦｒａｍｅ）を有する、色重心を更新するための点の隣接する円を有する重心を示している。図１８ＢのピクチャＣは、２Ｄ色平滑化が適用された後の平滑化された色パッチを示している。

【0260】

色を平滑化する別の例は、以下のように、
入力：
・占有画像：公称解像度における現在の点群フレームに対応する占有マップの第１の成分OFrame [y][x][0]、ここで、y = 0..asps_frame_height - 1、x = 0..asps_frame_width - 1である。
・パッチのインデックスｐ。
・色重心画像：計算された重心の色属性値を含むフレームCFrame [aIdx][mapIdx][cIdx][y][x]、ここで、mapIdx = 0..vpcc_map_count_minus1、y = 0 .. asps_frame_height - 1、x = 0 .. asps_frame_width - 1、aIdx =0..ai_attribute_count - 1、およびcIdx = 0 .. ai_attribute_dimension_minus1[aIdx]である。
・少なくとも１つの隣接するパッチの２Ｄサンプルを投影場所に再投影することによるパッチｐの参照輪郭RC(p)。
出力：
・属性色画像：公称解像度における更新された属性フレームAFrame [aIdx][mapIdx][cIdx][y][x]、ここで、mapIdx = 0..vpcc_map_count_minus1、y = 0 .. asps_frame_height - 1、x = 0 .. asps_frame_width - 1、aIdx =0..ai_attribute_count - 1、およびcIdx = 0 .. ai_attribute_dimension_minus1[aIdx]である。
プロセス：
//MODULE reference contour creation
各パッチについて、
各参照輪郭RC(p)について：
３Ｄ境界点をカレントパッチの２Ｄ領域に投影する。
各投影された点について、関連付けられた色重心をCFrameから取り出し、我々が関連付けられた属性値を有する参照輪郭ARC(p)を有するようにする
//MODULE Smooth color
と与えられることもある。

【0261】

上記の態様に示す参照輪郭作成のためのモジュールまたはプロセスは、既に広範に記載した。色平滑化モジュールまたはプロセスについて、図１９および図２０にそれぞれ示す２つの追加の変形を以下に提供する。

【0262】

図１９は、図１８Ａに示す色平滑化モジュールまたはプロセスの第１の変形を示す図である。以下のプロセスに示すように、フィルタリングされる対象の境界領域内にあるカレントパッチの各点（ｕ，ｖ）（すなわち境界パッチに近い点）について、その点の属性値が閾値未満である場合には、各ＡＲＣ（Ｐ）に対して最も近接した点を求める。この値が、累積重心値に加算され、そうでない場合には、この値は、破棄される。次いで、累積重心値を加算された属性値の数で除算することによって平均を取り出し、この計算された値を、属性フレーム（ｕ，ｖ）に割り付ける。以下の式１および２は、重心の平均（mean）／平均（average）を決定する。

【0263】

別の詳細な例は、以下のように、
パッチの境界（＊）に閉じた各２Ｄ点（ｕ，ｖ）、ｐに対して、
nbPoints=0;
ＡＲＣ（ｐ）内の最も近接した３Ｄ点ｑを求める。
距離(p,q) < 閾値（通常は閾値＝６）である場合には、
nbPoints++;
centroid[ai_attribute_count][ai_attribute_dimension_minus1+1] ={0…}
for aIdx=0..ai_attribute_count - 1,
for mapIdx=0..vpcc_map_count_minus1,
for cIdx = 0.. ai_attribute_dimension_minus1[aIdx],
centroid[aIdx][cIdx]+=CFrame[aIdx][mapIdx][cIdx][up][vp]（式１）
for aIdx=0..ai_attribute_count - 1,
for mapIdx=0..vpcc_map_count_minus1,
for cIdx = 0.. ai_attribute_dimension_minus1[aIdx],
AFrame [aIdx][mapIdx][cIdx][u][v]= centroid[aIdx][cIdx] /nbPoints;（式２）
と例示される。

【0264】

図２０は、図１８Ａに示す色平滑化モジュールまたはプロセスの別の変形を示す図である。この変形では、上記の変形に示す（灰色で強調されている）重心の平均（mean）／平均（average）を決定する部分が、さらに洗練されている。

【0265】

図２０に示すように、識別された境界パッチのそれぞれに属する、またその位置が現在のデプロジェクションされた（ｕ，ｖ）点（すなわち３Ｄ点）に最も近接した（閾値に従って）最も近接した重心である、パッチｐの点（ｕ，ｖ）が、識別され、重心Ｃと呼ばれる。

【0266】

Ｃがカレントパッチに属する場合には、プロセス１に従ってアクティビティが計算され、そうでない場合には、別のプロセス２に従ってアクティビティが計算される。一例として、プロセス１は、上述の属性中心生成ステップで決定された重心に属する属性の値の平均の間の差に対応する。一例として、プロセス２は、プロセス１に対応するが、現在の点の輝度と重心の輝度の差が距離閾値未満であることの検証によって増補されている。

【0267】

計算されたアクティビティが低い（閾値未満である）場合には、パッチ境界の重心が、フィルタリングの計算に追加される。そうでない場合には、点（ｕ，ｖ）の元の属性が、フィルタリングにおいて使用される。フィルタリングは、平均であってもよいし、近傍の点の数で重みづけされた平均であってもよいし、または現在の点（ｕ，ｖ）と識別された重心の位置との間の距離で重みづけされた平均であってもよい。このフィルタリングは、上述したトライリニアリ二リングとは異なる。

【0268】

別の詳細な例は、以下のように、
パッチの境界（＊）に閉じた各２Ｄ点（ｕ，ｖ）に対して、
nbPoints=0;
ＡＲＣ（ｐ）において最も近接した３Ｄ点ｑを求める。
距離(p,q) < 閾値（通常は閾値＝６）である場合には、
if(p == q) {
if(abs(CentroidMeanLuma[q] - CentroidMedianLuma[q])
<= afp_attribute_smoothing_threshold_variation[aIdx]) {
lumaOrig = centroidLuma[q]
for(k=0; k < numComps; k++)
attrCentroid[q][k] = attrCenterGrid [q][k]
} else {
lumaOrig = 0.2126*pointAttr [0] +0.7152*pointAttr [1]+0.0722 * pointAttr [2]
for(k=0; k < numComps; k++)
attrCentroid[q][k] = pointAttr [k]
}
} else {
if(CentroidCnt[q] > 0) {
for(k=0; k < numComps; k++) {
attrCentroid[q][k] = attrCenterGrid[q][k]
lumaN = centroidLuma[q]
diff = abs(lumaOrig - lumaN)
var = meanLuma[q] - medianLuma[q]
if((diff>afp_attribute_smoothing_threshold_difference[aIdx])｜｜
(abs(var)> afp_attribute_smoothing_threshold_variation[aIdx]))
for(k=0; k < numComps; k++)
attrCentroid[q][k] = pointAttr[k]
} else {
for( k=0; k < numComps; k++ )
attrCentroid[q][k] = currAttr[k]
}
}
}
}

NewAttr = filter(attrCentroid of all q)
If (｜Ycell - Ycur｜* 10｜< threshold_smoothing)
for aIdx=0..ai_attribute_count - 1,
for mapIdx=0..vpcc_map_count_minus1,
for cIdx = 0.. ai_attribute_dimension_minus1[aIdx],
AFrame [aIdx][mapIdx][cIdx][u][v] = NewAttr
と例示される。

【0269】

図２１は、本態様の１つまたは複数の様相によるプロセス２１００の例を示す図である。２１１０で、点群の１つまたは複数の属性が、２Ｄサンプルのパッチのキャンバスおよびそれらの２Ｄサンプルの値によって表される。２１２０で、カレントパッチの少なくとも１つの２Ｄサンプルが、参照輪郭に適合するように修正され、この参照輪郭は、カレントパッチの少なくとも１つの隣接するパッチの少なくとも１つの２Ｄサンプルを、カレントパッチの２Ｄサンプルが投影されている投影面に再投影することによって得られる。２１３０で、点群の１つまたは複数の属性が、カレントパッチの修正された少なくとも１つの２Ｄサンプルに基づいてフィルタリングされる。さらに、一態様では、点群の１つまたは複数の属性は、色情報を含むこともある。さらに別の態様では、点群の１つまたは複数の属性は、深度情報などの幾何学的情報を含むこともある。

【0270】

図１から図２１で、本明細書には様々な方法が記載され、それらの方法のそれぞれは、その記載された方法を実現するための１つまたは複数のステップまたはアクションを含む。方法の適切な動作のためにステップまたはアクションの特定の順序が必要とされない限り、特定のステップおよび／またはアクションの順序および／または使用は、修正される、または組み合わされることがあり得る。

【0271】

いくつかの例が、ブロック図および動作流れ図に関連して記載されている。各ブロックは、回路要素、モジュール、または指定された論理機能（１つもしくは複数）を実装するための１つもしくは複数の実行可能命令を含むコードの一部分を表す。他の実装では、ブロックに示される機能（１つまたは複数）が、示されている以外の順序で起こることもあることにも留意されたい。例えば、連続して示されている２つのブロックが、実際には、実質的に同時に実行されることもあるし、または、それらのブロックが、関連する機能によっては、時には逆の順序で実行されることもある。

【0272】

本明細書に記載される実装および様相は、例えば、方法もしくはプロセス、装置、コンピュータープログラム、データストリーム、ビットストリーム、または信号として実装されることがある。１つの実装の単一の形態の文脈でしか説明されていなくても（例えば方法としてしか説明されていなくても）、説明される特徴の実装は、他の形態（例えば装置またはコンピュータープログラム）で実装されることもあり得る。

【0273】

方法は、例えばプロセッサーで実装されることもあり、ここで、プロセッサーは、例えばコンピューター、マイクロプロセッサ、集積回路、またはプログラマブル論理デバイスなどを含む処理デバイス一般を指す。プロセッサーは、通信デバイスも含む。

【0274】

加えて、方法は、命令がプロセッサーによって実行されることによって実装されることもあり、このような命令（および／または実装によって生成されるデータ値）は、コンピューター読取り可能媒体に記憶されることがある。コンピューター読取り可能媒体は、１つまたは複数のコンピューター読取り可能媒体に埋め込まれ、コンピューターによって実行可能なコンピューター読取り可能プログラムコードが埋め込まれたコンピューター読取り可能プログラム製品の形態をとることもある。本明細書で使用されるコンピューター読取り可能記憶媒体は、情報を記憶する固有の能力と、そこからの情報の取出しを提供する固有の能力とが与えられた非一時的な記憶媒体とみなされることがある。コンピューター読取り可能記憶媒体は、限定されるわけではないが、例えば、電子的、磁気的、光学的、電磁気学的、赤外線、または半導体のシステム、装置、もしくはデバイス、またはそれらの任意の適切な組合せであり得る。以下に、本態様が適用され得るコンピューター読取り可能記憶媒体のさらに具体的な例を提供するが、当業者には容易に理解されるように、これらは、単なる例示であり、網羅的なリストではないことを理解されたい。その具体的な例とは、携帯可能なコンピュータディスケット、ハードディスク、読取り専用メモリー（ＲＯＭ）、消去可能プログラマブル読取り専用メモリー（ＥＰＲＯＭもしくはフラッシュメモリ）、携帯可能なコンパクトディスク読取り専用メモリー（ＣＤ－ＲＯＭ）、光学ストレージデバイス、磁気ストレージデバイス、またはこれらの任意の適当な組合せである。

【0275】

命令は、プロセッサー読取り可能媒体に有形に埋め込まれたアプリケーションプログラムを構成することもある。

【0276】

命令は、例えば、ハードウェア、ファームウェア、ソフトウェア、または組合せの中にあり得る。命令は、例えば、オペレーティングシステム、別個のアプリケーション、またはその２つの組合せの中に見られることもある。したがって、プロセッサーは、例えばプロセスを実行するように構成されたデバイス、およびプロセスを実行するための命令を有するプロセッサー読取り可能媒体（ストレージデバイスなど）を含むデバイスの両方として特徴づけられ得る。さらに、プロセッサー読取り可能媒体は、命令に加えて、または命令の代わりに、実装によって生成されたデータ値を記憶することもある。

【0277】

装置は、例えば、適切なハードウェア、ソフトウェア、およびファームウェアに実装され得る。このような装置の例は、パーソナルコンピュータ、ラップトップ、スマートフォン、タブレットコンピュータ、デジタルマルチメディアセットトップボックス、デジタルテレビジョン受像機、個人用ビデオ記録システム、コネクテッド家電、ヘッドマウントディスプレイデバイス（ＨＭＤ、シースルー眼鏡）、プロジェクタ（ビーマ）、「ｃａｖｅ」（複数のディスプレイを含むシステム）、サーバ、ビデオエンコーダー、ビデオデコーダ、ビデオデコーダからの出力を処理するポストプロセッサ、ビデオエンコーダーに入力を提供するプリプロセッサ、ウェブサーバ、セットトップボックス、および点群、ビデオもしくは画像を処理するその他の任意のデバイス、またはその他の通信デバイスを含む。明らかであろうが、この機器は、移動可能であることもあり、移動可能な車両に設置されることもある。

【0278】

コンピュータソフトウェアは、プロセッサー６０１０もしくはハードウェアによって、またはハードウェアとソフトウェアの組合せによって実装され得る。非限定的な例として、態様は、１つまたは複数の集積回路によって実装されることもある。メモリー６０２０は、技術的環境に適した任意のタイプのものでよく、非限定的な例として、光学メモリデバイス、磁気メモリデバイス、半導体型メモリデバイス、固定式メモリー、および取り外し可能メモリーなど、任意の適切なデータ記憶技術を用いて実装され得る。プロセッサー６０１０は、技術的環境に適した任意のタイプのものでよく、非限定的な例として、マイクロプロセッサ、汎用コンピューター、特殊目的コンピューター、およびマルチコアアーキテクチャに基づくプロセッサーのうちの１つまたは複数を包含し得る。

【0279】

当業者には明らかであろうが、実装は、例えば記憶または伝送されることがある情報を担持するようにフォーマット化された様々な信号を生成することがある。情報は、例えば、方法を実行するための命令、または記載した実装のうちの１つによって生成されるデータを含み得る。例えば、信号は、記載される態様のビットストリームを担持するようにフォーマット化されることもある。このような信号は、例えば、（例えば無線周波数のスペクトル部分を用いる）電磁波としてフォーマット化されることも、またはベースバンド信号としてフォーマット化されることもある。フォーマット化は、例えば、データストリームをエンコードすることと、エンコードしたデータストリームで搬送波を変調することとを含むことがある。信号が担持する情報は、例えば、アナログ情報であることも、デジタル情報であることもある。信号は、既知の通り、様々な異なる有線または無線のリンクを介して伝送され得る。信号は、プロセッサー読取り可能媒体に記憶されることもある。

【0280】

本明細書で用いられる用語は、特定の態様のみを説明する目的のためのものであり、限定することは意図されていない。本明細書で用いられる単数形「ａ」、「ａｎ」、および「ｔｈｅ」は、そうでないことが文脈から明らかでない限り、複数形を含むものとして意図されることがある。本明細書で使用される「含む／備える」および／または「含み／備え」という用語は、例えば記載される、特徴、完全体、ステップ、動作、要素、および／または構成要素の存在を指定することがあるが、１つまたは複数のその他の特徴、完全体、ステップ、動作、要素、構成要素、および／またはそれらのグループの存在または追加を排除するものではない。さらに、ある要素が別の要素に「応答可能である」または「接続されている」と述べられているときには、それは、その別の要素に直接応答可能である、または接続されていることもあるし、または介在する要素が存在することもある。これに対して、ある要素が他の要素に「直接応答可能である」または「直接接続されている」と述べられているときには、介在する要素は存在しない。

【0281】

「／」、「および／または」、および「のうちの少なくとも１つ」という記号／用語の使用は、例えば「Ａ／Ｂ」、「Ａおよび／またはＢ」、および「ＡおよびＢのうちの少なくとも１つ」などの場合、最初に挙げた選択肢（Ａ）のみの選択、２つ目に挙げた選択肢（Ｂ）のみの選択、または両選択肢（ＡおよびＢ）の選択を包含するものと意図されることがあることを理解されたい。別の例として、「Ａ、Ｂ、および／またはＣ」、および「Ａ、Ｂ、およびＣのうちの少なくとも１つ」の場合には、このような表現は、最初に挙げた選択肢（Ａ）のみの選択、２つ目に挙げた選択肢（Ｂ）のみの選択、３つ目に挙げた選択肢（Ｃ）のみの選択、１つ目と２つ目に挙げた選択肢（ＡおよびＢ）のみの選択、１つ目と３つ目に挙げた選択肢（ＡおよびＣ）のみの選択、２つ目と３つ目に挙げた選択肢（ＢおよびＣ）のみの選択、または３つ全ての選択肢（ＡおよびＢおよびＣ）の選択を包含するものと意図されている。当技術分野および関連する技術分野の当業者には明らかであるように、これは、列挙された品目の数だけ拡張され得る。

【0282】

本出願では、例えばＴなど、様々な数値が使用されることがある。これらの具体的な値は、例示を目的としていることがあり、記載される様相は、それらの具体的な値に限定されない。

【0283】

本明細書では、様々な要素を説明するために第１、第２などの用語が使用されることがあるが、これらの要素は、それらの用語によって限定されない。これらの用語は、１つの要素を別の要素と区別するためにのみ使用されるものである。例えば、本出願の教示から逸脱することなく、第１の要素が第２の要素と呼ばれてもよく、同様に、第２の要素が第１の要素と呼ばれてもよい。第１の要素と第２の要素の間に、順序の意味合いはない。

【0284】

「一態様」または「態様」または「一実装」または「実装」、ならびにその他のそれらの変形表現についての言及が頻繁に用いられるが、これらは（態様／実装に関連して記載される）特定の特徴、構造、および特性などが、少なくとも１つの態様／実装に含まれることを示唆するものである。したがって、本出願の全体を通じて様々な箇所に見られる「一態様では」、「態様では」、「一実装では」、または「実装では」という表現、ならびにその他の任意の変形表現は、全てが必ずしも同じ態様を指しているわけではない。

【0285】

同様に、「態様／例／実装によれば」、または「態様／例／実装では」、ならびにそれらのその他の変形表現についての本明細書における言及が頻繁に用いられるが、これらは（その態様／例／実装に関連して記載される）特定の特徴、構造、または特性が、少なくとも１つの態様／例／実装に含まれることがあることを示唆するものである。したがって、本明細書中の様々な箇所に見られる「態様／例／実装によれば」、または「態様／例／実装では」という表現は、全てが必ずしも同じ態様／例／実装を指しているわけではなく、また他の態様／例／実装と必然的に相互に排除し合う別個または代替の態様／例／実装でもない。

【0286】

特許請求の範囲に見られる参照番号は、例示のみを目的としたものであり、特許請求の範囲に対して限定を加える影響を有するものではない。明示的には述べていないが、本態様／例および変形形態は、任意の組合せまたは任意の部分的な組合せで利用され得る。

【0287】

図面が流れ図として提示されているときには、それは、対応する装置のブロック図を提供することにもなることを理解されたい。同様に、図面がブロック図として提示されているときには、それは対応する方法／プロセスの流れ図を提供することにもなることを理解されたい。

【0288】

図面のいくつかは、通信経路上に矢印を含み、主要な通信方向を示しているが、通信は、図示されている矢印とは反対の方向にも起こりうることを理解されたい。

【0289】

様々な実装は、デコードを伴う。本出願で使用される「デコード」は、再構築された点群領域における表示またはさらなる処理に適した最終出力を生成するために、例えば受信された点群フレーム（場合によっては、１つまたは複数の点群フレームをエンコードする受信されているビットストリームも含む）に対して実行されるプロセスの全てまたは一部を包含し得る。様々な態様で、このようなプロセスは、画像ベースのデコーダーによって通常実行されるプロセスのうちの１つまたは複数を含む。

【0290】

さらなる例として、一態様では、「デコード」は、エントロピーデコードのみを指すこともあり、別の態様では、「デコード」は、差分デコードのみを指すこともあり、別の態様では、「デコード」は、エントロピーデコードと差分デコードの組合せを指すこともある。「デコードプロセス」という表現が、動作の一部を具体的に指すことを意図されているか、より広範なデコードプロセスを一般的に指すことを意図されているかは、具体的な説明の文脈に基づいて明らかになるであろうが、当業者には十分に理解されると考えられる。

【0291】

様々な実装は、エンコードを伴う。「デコード」についての上記の説明と同様に、本出願で使用される「エンコード」は、エンコードされたビットストリームを生成するために、例えば入力点群フレームに対して実行されるプロセスの全てまたは一部を包含し得る。様々な態様で、このようなプロセスは、画像ベースのデコーダーによって通常実行されるプロセスのうちの１つまたは複数を含む。

【0292】

さらなる例として、一態様では、「エンコード」は、エントロピーエンコードのみを指すこともあり、別の態様では、「エンコード」は、差分エンコードのみを指すこともあり、別の態様では、「エンコード」は、差分エンコードとエントロピーエンコードの組合せを指すこともある。「エンコードプロセス」という表現が、動作の一部を具体的に指すことを意図されているか、より広範なエンコードプロセスを一般的に指すことを意図されているかは、具体的な説明の文脈に基づいて明らかになるであろうが、当業者には十分に理解されると考えられる。

【0293】

本明細書で使用されるシンタックス要素は、記述用語であることに留意されたい。したがって、それらは、他のシンタックス要素名の使用を排除しない。

【0294】

様々な態様では、レート歪みの最適化に言及している。特に、エンコードプロセス中には、計算の複雑さの制約をしばしば仮定して、レートと歪みの間のバランスまたはトレードオフが通常考慮される。レート歪みの最適化は、通常は、レートと歪みの加重和であるレート歪み関数を最小にするものとして数式化されることがある。レート歪みの最適化の問題を解決する様々な手法がある。例えば、これらの手法は、全ての考えられるモードまたは符号化パラメータ値を含む全てのエンコードの選択肢の広範な試験、ならびにそれらの符号化コストと、符号化およびデコードの後の再構築された信号の関連する歪みとの完全な評価に基づくことがある。エンコードの複雑さを低減するために、より高速な手法が、特に再構築された信号ではなく予測または予測残差信号に基づく近似された歪みの計算とともに使用されることもある。可能なエンコードの選択肢の一部のみについて近似された歪みを使用し、他のエンコードの選択肢については完全な歪みを使用するなどによって、これらの２つの手法の混合手法が使用されることもある。他の手法では、可能なエンコードの選択肢の一部のみを評価する。さらに一般的には、多くの手法では、様々な技術のいずれかを利用して最適化を実行するが、この最適化は、必ずしも符号化コストおよび関連する歪みの両方の完全な評価であるとは限らない。

【0295】

加えて、本出願では、様々な情報を「決定する」ことに言及することがある。情報を決定することは、例えば、情報を推定すること、情報を計算すること、情報を予測すること、またはメモリーから情報を取り出すことのうちの１つまたは複数を含み得る。

【0296】

さらに、本出願では、様々な情報に「アクセスする」ことに言及することもある。情報にアクセスすることは、例えば、情報を受け取ること、情報を（例えばメモリーから）取り出すこと、情報を記憶すること、情報を移動すること、情報をコピーすること、情報を計算すること、情報を決定すること、情報を予測すること、または情報を推定することのうちの１つまたは複数を含み得る。

【0297】

加えて、本出願では、様々な情報を「受け取る」ことに言及することもある。「受け取る」は、「アクセスする」と同様に、広範な用語として意図されている。情報を受け取ることは、例えば、情報にアクセスすること、または情報を（例えばメモリーから）取り出すことのうちの１つまたは複数を含み得る。さらに、「受け取る」ことは、通常は、例えば情報を記憶する、情報を処理する、情報を伝送する、情報を移動する、情報をコピーする、情報を消去する、情報を計算する、情報を決定する、情報を予測する、または情報を推定するなどの動作中に、何らかの形で含まれる。

【0298】

さらに、本明細書で使用される「信号」という単語は、特に、対応するデコーダーに対して何かを示すことを指す。このように、態様では、同じパラメータが、エンコーダー側およびデコーダー側の両方で使用されることもある。したがって、例えば、エンコーダーが、特定のパラメータをデコーダーに伝送して（明示的なシグナリング）、デコーダーがその同じ特定のパラメータを使用することがあり得るようにすることもある。逆に、デコーダーが既にその特定のパラメータならびにほかのパラメータを有している場合には、伝送を行わないシグナリングが使用され（暗黙のシグナリング）、単にデコーダーがその特定のパラメータを知って選択することができるようにすることもある。任意の実際の機能の伝送を回避することによって、様々な態様では、ビット節約が実現される。シグナリングは、様々なやり方で達成され得ることを理解されたい。例えば、様々な態様では、対応するデコーダーに情報をシグナリングするために、１つまたは複数のシンタックス要素、およびフラグなどが使用される。以上は「信号」という単語の動詞形態に関係しているが、本明細書では、「信号」という単語は、名詞として使用されることもある。

【0299】

いくつかの実装について説明した。しかし、様々な修正が行われ得ることは理解されるであろう。例えば、異なる実装の要素が組み合わされたり、補足されたり、修正されたり、または除去されたりして、他の実装を生じることもある。さらに、当業者ならば、開示される構造およびプロセスの代わりに他の構造およびプロセスが用いられることもあること、ならびにその結果得られる実装が、開示される実装と少なくとも実質的には同じやり方（１つまたは複数）で、少なくとも実質的には同じ機能（１つまたは複数）を実行して、少なくとも実質的には同じ結果（１つまたは複数）を実現することを理解するであろう。したがって、これらおよび他の実装は本出願により意図されている。

【0300】

追加の態様は、様々な特許請求の範囲のカテゴリおよびタイプにわたる以下の特徴、デバイス、または様相のうちの１つまたは複数を、単独で、または任意の組合せで含み得る。
・３Ｄ空間ではなく２Ｄ空間内で点群の１つまたは複数の属性をフィルタリングまたは平滑化する。
・パッチの参照輪郭を用いて２Ｄ空間内で点群の１つまたは複数の属性をフィルタリングまたは平滑化する。
・パッチの参照輪郭上の１つまたは複数の重心に基づいて、２Ｄ空間内で点群の１つまたは複数の属性をフィルタリングまたは平滑化する。
・記載される態様のうちの１つまたは複数による参照輪郭は、カレントパッチの少なくとも１つの隣接するパッチの少なくとも１つの２Ｄサンプルを、カレントパッチの２Ｄサンプルが投影されている投影面に再投影することによって得られる。
・記載される態様のうちの１つまたは複数による、点群の１つまたは複数の属性をフィルタリングまたは平滑化することは、カレントパッチの修正された少なくとも１つの２Ｄサンプルに基づいて、２Ｄのフィルタリングされた１つまたは複数の属性を３Ｄに再投影することによって得られる。
・記載される態様のうちの１つまたは複数による点群の１つまたは複数の属性は、色情報を含む。
・記載される態様のうちの１つまたは複数による点群の１つまたは複数の属性は、例えば深度情報などのジオメトリ情報を含む。
・記載されるシンタックス要素またはその変形のうちの１つまたは複数を含むビットストリームまたは信号。
・記載される態様のいずれかに従って生成されるシンタックス担持情報を含むビットストリームまたは信号。
・デコーダーが、エンコーダーによって用いられたやり方に対応するやり方で残差を適合することを可能にする要素を、シグナリングシンタックスに挿入すること。
・記載されるシンタックス要素またはその変形のうちの１つまたは複数を含むビットストリームまたは信号を作成し、かつ／または伝送し、かつ／または受信し、かつ／またはデコードすること。
・記載される態様のいずれかに従って、作成し、かつ／または伝送し、かつ／または受信し、かつ／またはデコードすること。
・記載される態様のいずれかによる、方法、プロセス、装置、命令を記憶する媒体、データを記憶する媒体、または信号。
・記載される態様のいずれかによるフィルタパラメータの適合を実行する、ＴＶ、セットトップボックス、携帯電話、タブレット、またはその他の電子デバイス。
・記載される態様のいずれかによるフィルタパラメータの適合を実行し、その結果得られる画像を（例えばモニタ、画面、またはその他のタイプのディスプレイを用いて）表示する、ＴＶ、セットトップボックス、携帯電話、タブレット、またはその他の電子デバイス。
・エンコードされた画像を含む信号を受信するチャネルを選択し（例えば同調器を用いて）、記載される態様のいずれかによるフィルタパラメータの適合を実行する、ＴＶ、セットトップボックス、携帯電話、タブレット、またはその他の電子デバイス。
・エンコードされた画像を含む信号を無線で受信し（例えばアンテナを用いて）、記載される態様のいずれかによるフィルタパラメータの適合を実行する、ＴＶ、セットトップボックス、携帯電話、タブレット、またはその他の電子デバイス。

【図1】

【図2】

【図3】

【図3a】

【図3b】

【図4】

【図5】

【図6】

【図7】

【図8a】

【図8b】

【図8c】

【図8d】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17A】

【図17B】

【図18A】

【図18B】

【図19】

【図20】

【図21】