特表 2021-530890 ポイントクラウドの処理

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】特表2021-530890(P2021-530890A)

(43)【公表日】2021年11月11日

(54)【発明の名称】ポイントクラウドの処理

(51)【国際特許分類】

   H04N 19/132 20140101AFI20211015BHJP

   H04N 19/33 20140101ALI20211015BHJP

   H04N 19/46 20140101ALI20211015BHJP

   H04N 19/182 20140101ALI20211015BHJP

   H04N 19/85 20140101ALI20211015BHJP

【ＦＩ】

   H04N19/132

   H04N19/33

   H04N19/46

   H04N19/182

   H04N19/85

【審査請求】未請求

【予備審査請求】未請求

【全頁数】33

(21)【出願番号】特願2020-572374(P2020-572374)

(86)(22)【出願日】2019年7月10日

(85)【翻訳文提出日】2021年1月18日

(86)【国際出願番号】US2019041145

(87)【国際公開番号】WO2020014319

(87)【国際公開日】20200116

(31)【優先権主張番号】18305930.2

(32)【優先日】2018年7月11日

(33)【優先権主張国】EP

(31)【優先権主張番号】19305049.9

(32)【優先日】2019年1月16日

(33)【優先権主張国】EP

(81)【指定国】 AP(BW,GH,GM,KE,LR,LS,MW,MZ,NA,RW,SD,SL,ST,SZ,TZ,UG,ZM,ZW),EA(AM,AZ,BY,KG,KZ,RU,TJ,TM),EP(AL,AT,BE,BG,CH,CY,CZ,DE,DK,EE,ES,FI,FR,GB,GR,HR,HU,IE,IS,IT,LT,LU,LV,MC,MK,MT,NL,NO,PL,PT,RO,RS,SE,SI,SK,SM,TR),OA(BF,BJ,CF,CG,CI,CM,GA,GN,GQ,GW,KM,ML,MR,NE,SN,TD,TG),AE,AG,AL,AM,AO,AT,AU,AZ,BA,BB,BG,BH,BN,BR,BW,BY,BZ,CA,CH,CL,CN,CO,CR,CU,CZ,DE,DJ,DK,DM,DO,DZ,EC,EE,EG,ES,FI,GB,GD,GE,GH,GM,GT,HN,HR,HU,ID,IL,IN,IR,IS,JO,JP,KE,KG,KH,KN,KP,KR,KW,KZ,LA,LC,LK,LR,LS,LU,LY,MA,MD,ME,MG,MK,MN,MW,MX,MY,MZ,NA,NG,NI,NO,NZ,OM,PA,PE,PG,PH,PL,PT,QA,RO,RS,RU,RW,SA,SC,SD,SE,SG,SK,SL,SM,ST,SV,SY,TH,TJ,TM,TN,TR,TT

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＨＤＭＩ

(71)【出願人】

【識別番号】518338149

【氏名又は名称】インターデジタル ヴイシー ホールディングス， インコーポレイテッド

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(74)【代理人】

【識別番号】100108213

【弁理士】

【氏名又は名称】阿部 豊隆

(72)【発明者】

【氏名】リカード，ジュリアン

(72)【発明者】

【氏名】グーデ，セリーヌ

(72)【発明者】

【氏名】オリビエ，ヤニック

【テーマコード（参考）】

5C159

【Ｆターム（参考）】

5C159KK55

5C159LA02

5C159LC09

5C159MA00

5C159MA32

5C159PP13

5C159PP15

5C159RC11

5C159SS26

5C159TA06

5C159TB10

5C159TC02

5C159TC35

5C159TD07

5C159UA02

5C159UA05

(57)【要約】

映像を効率的に符号化又は復号化するための少なくとも１つの方法及び装置が提示される。例えば、ポイントクラウドの２Ｄパッチであって複数の画素を有するパッチが、ポイントクラウドの３Ｄポイントを投影面上へ投影することにより取得される。パッチは複数の小ブロックへ分割される。複数の小ブロックの各小ブロック内のピクセルの数が判断される。更新された占有マップは、複数の小ブロックの各小ブロック内の判断されたピクセルの数に基づき取得される。再構築されたポイントクラウドは、更新された占有マップに基づき取得され、再構築されたポイントクラウドはポイントクラウドの低密度表現である。

【特許請求の範囲】

【請求項1】

画像を表すポイントクラウドを低減する方法であって、
前記ポイントクラウドの３Ｄ点を投影面上へ投影することにより前記ポイントクラウドの２Ｄパッチを取得することであって、前記パッチは複数の画素を有する、取得すること；
前記パッチを複数の小ブロックへ分割すること；
前記複数の小ブロックの各ブロック内のピクセルの数を判断すること；
前記複数の小ブロックの各ブロック内の前記判断されたピクセルの数に基づき、更新された占有マップを取得すること；及び
前記更新された占有マップに基づき、再構築されたポイントクラウドを取得することであって、前記再構築されたポイントクラウドは前記ポイントクラウドの低密度表現である、取得することを含む方法。

【請求項2】

前記更新された占有マップに基づき、更新されたブロック・ツー・パッチ指標を取得することをさらに含む請求項１に記載の方法であって、前記更新された占有マップの解像度は、前記更新されたブロック・ツー・パッチ指標の解像度より高い、方法。

【請求項3】

前記複数の小ブロックの各小ブロック内の前記ピクセルの数とある値とを比較することをさらに含む請求項１又は２に記載の方法。

【請求項4】

前記それぞれの小ブロック内の前記ピクセルの数が閾値未満であればそれぞれの小ブロックを未占有に設定することをさらに含む請求項１乃至３のいずれか一項に記載の方法。

【請求項5】

画像を表すポイントクラウドを低減するための装置であって、
ポイントクラウドの３Ｄ点を投影面上へ投影することにより前記ポイントクラウドの２Ｄパッチを取得する手段であって、前記パッチは複数の画素を有する、手段；
前記パッチを複数の小ブロックへ分割する手段；
前記複数の小ブロックの各ブロック内のピクセルの数を判断する手段；
前記複数の小ブロックの各ブロック内の前記判断されたピクセルの数に基づき、更新された占有マップを取得する手段；及び
前記更新された占有マップに基づき、再構築されたポイントクラウドを取得する手段であって、前記再構築されたポイントクラウドは前記ポイントクラウドの低密度表現である、手段を含む装置。

【請求項6】

更新されたブロック・ツー・パッチ指標を前記更新された占有マップに基づき取得する手段をさらに含む請求項５に記載の装置であって、前記更新された占有マップの解像度は前記更新されたブロック・ツー・パッチ指標の解像度より高い、装置。

【請求項7】

前記複数の小ブロックの各小ブロック内の前記ピクセルの数とある値とを比較する手段をさらに含む請求項５又は６に記載の装置。

【請求項8】

前記それぞれの小ブロック内の前記ピクセルの数が閾値未満であればそれぞれの小ブロックを未占有に設定する手段をさらに含む請求項５乃至７のいずれか一項に記載の装置。

【請求項9】

前記パッチは前記更新された占有マップより高い解像度を有する請求項１乃至４のいずれか一項に記載の方法又は請求項５乃至８のいずれか一項に記載の装置。

【請求項10】

前記値は１又は４である請求項３乃至４及び請求項９のいずれか一項に記載の方法又は請求項７乃至９のいずれか一項に記載の装置。

【請求項11】

前記複数の小ブロックは４×４ブロックである請求項１乃至４及び請求項９乃至１０のいずれか一項に記載の方法又は請求項５乃至１０のいずれか一項に記載の装置。

【請求項12】

前記更新されたブロック・ツー・パッチ指標の解像度は１６×１６である請求項２乃至４及び請求項９乃至１１のいずれか一項に記載の方法又は請求項６乃至１１のいずれか一項に記載の装置。

【請求項13】

再構築されたポイントクラウドを含むビットストリームであって、前記ビットストリームは、
前記ポイントクラウドの３Ｄ点を投影面上へ投影することにより前記ポイントクラウドの２Ｄパッチを取得することであって、前記パッチは複数の画素を有する、取得すること；
前記パッチを複数の小ブロックへ分割すること；
前記複数の小ブロックの各ブロック内のピクセルの数を判断すること；
前記複数の小ブロックの各ブロック内の前記判断されたピクセルの数に基づき、更新された占有マップを取得すること；及び
前記更新された占有マップに基づき前記再構築されたポイントクラウドを取得することであって、前記再構築されたポイントクラウドは前記ポイントクラウドの低密度表現である、取得することを行うことにより形成される、ビットストリーム。

【請求項14】

請求項１乃至４及び請求項１０乃至１２のいずれか一項に記載の方法又は請求項５乃至１２のいずれか一項に記載の装置に従って生成されるデータコンテンツを含む非一時的コンピュータ可読媒体。

【請求項15】

１つ又は複数のプロセッサにより実行されると請求項１乃至４及び請求項１０乃至１２のいずれか一項に記載の方法を行うための命令を含むコンピュータプログラム製品。

【発明の詳細な説明】

【技術分野】

【0001】

技術分野
本実施形態の少なくとも１つは、一般的にはポイントクラウドの処理に関し、特に、ポイントクラウドの重要でないポイントを除去することによりポイントクラウドを効率的に処理する方法及び装置に関する。

【背景技術】

【0002】

背景
本章は、以下に説明及び／又は請求される本実施形態の少なくとも１つの実施形態の様々な態様に関係し得る技術の様々な態様を読者に紹介するように意図されている。この論述は、少なくとも１つの実施形態の様々な態様のより良い理解を容易にするために背景情報を読者に提供する際に役立つと考えられる。

【0003】

文化遺産／建物などのポイントクラウドは様々な目的のために使用され得、例えば彫像又は建物のような対象物が、対象物を送る又はそれを訪れることなくこの対象物の空間形状を共有するために３Ｄでスキャンされる。また、これは、万一対象物が破壊された（例えば寺院が地震により破壊された）場合に対象物に関する知識を保存することを保証するやり方である。このようなポイントクラウドは通常、静的であり、色付けされ、且つ巨大である。

【0004】

別の使用ケースは、３Ｄ表現の使用が、平面に限定されなく浮き彫りを含み得るマップを可能にするトポグラフィ及びカートグラフィにおけるケースである。Ｇｏｏｇｌｅマップは今や３Ｄマップの良い例であるが、ポイントクラウドの代わりにメッシュを使用する。それにもかかわらず、ポイントクラウドは３Ｄマップの好適なデータフォーマットであり得、このようなポイントクラウドは通常、静的であり、色付けされ、且つ巨大である。

【0005】

自動車産業及び自動運転車（autonomous car）もまたポイントクラウドが使用され得る領域である。自動運転車は、その直隣の現実に基づき良い運転判断を行うためにその環境を「探査」することができるべきである。ＬＩＤＡＲ（光検出及び測距：Light Detection And Ranging）のような典型的センサは意思決定エンジンにより使用される動的ポイントクラウドを生成する。これらのポイントクラウドは、人間により視られるように意図されていなく、通常は小さくて、必ずしも色付けされなく、且つ高頻度の捕捉により動的である。これらのポイントクラウドはＬＩＤＡＲにより提供される反射率のような他の属性を有し得る。この属性は、感知された対象物の材料に関する良い情報を提供し、そして判断する際に役立ち得る。

【0006】

仮想現実及び没入型世界（immersive world）は、最近ホットトピックになっており、そして２Ｄフラット映像の将来として多くの人に予測されている。基本的アイデアは、視聴者が視聴者の前の仮想世界だけを見得る標準テレビとは対照的に、視聴者を取り囲む環境内に視聴者を没入させることである。環境内の視聴者の自由度に依存して没入度にいくつかの階調が存在する。ポイントクラウドは仮想現実（ＶＲ：Virtual Reality）世界を配布するための良いフォーマット候補である。

【0007】

多くのアプリケーションでは許容可能（又は好適には非常に良好）な品質の体験を維持する一方で合理的量のビットレート（又はストレージアプリケーションのため格納空間）だけを消費することにより動的ポイントクラウドをエンドユーザへ配布する（又はサーバ内に格納する）ことができることが重要である。これらの動的ポイントクラウドの効率的圧縮は多くの没入世界の流通チェーンを実用的にするためのキーポイントである。

【0008】

少なくとも１つの実施形態は上記を考慮して考案された。

【発明の概要】

【0009】

概要
以下は、本開示のいくつかの態様の基本的理解を与えるために本実施形態のうちの少なくとも１つの実施形態の簡略化概要を提示する。この概要は実施形態の広汎な概観ではない。この概要は実施形態のキー要素又はクリティカル要素を識別するように意図されていない。以下の概要は、本明細書の他のどこかで提供されるより詳細な説明への前置きとして本実施形態の少なくとも１つの実施形態のいくつかの態様を簡略化形式で提示するだけである。

【0010】

少なくとも１つの実施形態の一般的態様によると、画像を表すポイントクラウド（点群）を低減する方法であって、ポイントクラウドの３Ｄ点を投影面上へ投影することによりポイントクラウドの２Ｄパッチを取得することであって、２Ｄパッチは複数の画素を有する、取得すること；パッチを複数の小ブロックへ分割すること；複数の小ブロックの各ブロック内のピクセルの数を判断すること；複数の小ブロックの各ブロック内の判断されたピクセルの数に基づき、更新された占有マップを取得すること；及び更新された占有マップに基づき、再構築されたポイントクラウドを取得することであって、再構築されたポイントクラウドはポイントクラウドの低密度表現である、取得することを含む方法が提供される。

【0011】

少なくとも１つの実施形態の別の一般的態様によると、画像を表すポイントクラウドを低減するための装置であって、ポイントクラウドの３Ｄ点を投影面上へ投影することによりポイントクラウドの２Ｄパッチを取得する手段であって、２Ｄパッチは複数の画素を有する、手段；パッチを複数の小ブロックへ分割する手段；複数の小ブロックの各ブロック内のピクセルの数を判断する手段；複数の小ブロックの各ブロック内の判断されたピクセルの数に基づき、更新された占有マップを取得する手段；及び更新された占有マップに基づき、再構築されたポイントクラウドを取得する手段であって、再構築されたポイントクラウドはポイントクラウドの低密度表現である、手段を含む装置が提供される。

【0012】

少なくとも１つの実施形態の別の一般的態様によると、画像を表すポイントクラウドを低減するための装置であって１つ又は複数のプロセッサを含む装置が提供される。１つ又は複数のプロセッサは、ポイントクラウドの３Ｄ点を投影面上へ投影することによりポイントクラウドの２Ｄパッチを取得することであって、２Ｄパッチは複数の画素を有する、取得すること；パッチを複数の小ブロックへ分割すること；複数の小ブロックの各ブロック内のピクセルの数を判断すること；複数の小ブロックの各ブロック内の判断されたピクセルの数に基づき、更新された占有マップを取得すること；及び更新された占有マップに基づき、再構築されたポイントクラウドを取得することであって、再構築されたポイントクラウドはポイントクラウドの低密度表現である、取得することを行うように構成される。

【0013】

別の実施形態によると、再構築されたポイントクラウドを含むビットストリームが提供される。ビットストリームは、ポイントクラウドの３Ｄ点を投影面上へ投影することによりポイントクラウドの２Ｄパッチを取得することであって、２Ｄパッチは複数の画素を有する、取得すること；パッチを複数の小ブロックへ分割すること；複数の小ブロックの各ブロック内のピクセルの数を判断すること；複数の小ブロックの各ブロック内の判断されたピクセルの数に基づき、更新された占有マップを取得すること；及び更新された占有マップに基づき、再構築されたポイントクラウドを取得することであって、再構築されたポイントクラウドはポイントクラウドの低密度表現である、取得することを行うことにより形成される。

【0014】

少なくとも１つの実施形態はまた、デバイス、コンピュータプログラム製品、非一時的コンピュータ可読媒体、及び信号を提供する。

【0015】

本実施形態の少なくとも１つの実施形態の特異性、並びに本実施形態の少なくとも１つの実施形態の他の目的、利点、特徴、及び使用は、添付図面と併せて採用される例の以下の説明から明らかになる。

【0016】

図面の簡単な説明
添付図面では、いくつかの実施形態の例が示される。

【図面の簡単な説明】

【0017】

【図1】本実施形態の少なくとも１つによる２層ベースポイントクラウド符号化構造の例の概略ブロック図を示す。

【図2】本実施形態の少なくとも１つによる２層ベースポイントクラウド復号化構造の例の概略ブロック図を示す。

【図3】本実施形態の少なくとも１つによる画像ベースポイントクラウド符号器の例の概略ブロック図を示す。

【図4】本実施形態の少なくとも１つによる画像ベースポイントクラウド復号器の例の概略ブロック図を示す。

【図5】２つのパッチ及びそれらの２Ｄ境界ボックスを含むキャンバスの例を示す。

【図6】投影線に沿って２つの３Ｄサンプル間に配置された２つの中間３Ｄサンプルの例を示す。

【図7】本実施形態の少なくとも１つによる基層（base layer）ＢＬを表すビットストリームの構文の例を模式的に示す。

【図8】どのようにオリジナルポイントクラウドパッチが占有マップ及びブロック・ツー・パッチ指標により処理又は再構築されるかの２つの実施形態を示す。

【図8a】どのようにオリジナルポイントクラウドパッチが占有マップ及びブロック・ツー・パッチ指標により処理又は再構築されるかの２つの実施形態を示す。

【図9】様々な態様及び実施形態が実施されるシステムの例の概略ブロック図を示す。

【発明を実施するための形態】

【0018】

詳細な説明
本実施形態の少なくとも１つは、本実施形態の少なくとも１つの実施形態の例が示される添付図面を参照して以下により完全に説明される。しかし、実施形態は、多くの代替形式で具現化され得、したがって本明細書に記載の例に限定されるものと解釈されるべきでない。したがって、開示された特定形式に実施形態を限定する意図はないということを理解すべきである。逆に、本開示は本出願の精神及び範囲に入るすべての修正、等価及び代替実施形態をカバーするように意図されている。

【0019】

図がフロー図として提示される場合、図はまた対応装置のブロック図を提供するということを理解すべきである。同様に、図がブロック図として提示される場合、図はまた対応方法／処理のフロー図を提供するということを理解すべきである。

【0020】

図面の同様な又は同じ要素は同じ参照番号により参照される。

【0021】

以下に説明及び企図される態様は多くの異なる形式で実施され得る。以下の図１〜９はいくつかの実施形態を提供するが、他の実施形態が企図され、したがって図１〜９の論述は実施形態の範囲を制限しない。

【0022】

態様の少なくとも１つは一般的にはポイントクラウド符号化及び復号化に関し、少なくとも１つの他の態様は一般的には生成又は符号化されるビットストリームを送信することに関する。

【0023】

より正確には、本明細書において説明される様々な方法及び他の態様はモジュール（例えば図３、４にそれぞれ示すような画像ベース符号器３０００及び復号器４０００）を修正するために使用され得る。

【0024】

さらに、本態様は、ポイントクラウド圧縮に関するＭＰＥＧ−Ｉパート５などのＭＰＥＧ規格に限定されなく、例えば、既存である又は将来開発されるにかかわらず他の標準規格及び勧告と、任意のこのような標準規格及び勧告の拡張版（ＭＰＥＧ−Ｉパート５を含む）とへ適用され得る。別途指示されない限り又は技術的に排除されない限り、本出願において説明される態様は個々に使用されてもよいし組み合わせで使用されてもよい。

【0025】

以下では、画像データはデータ（例えば特定画像／映像フォーマットの２Ｄサンプルの１又はいくつかのアレイ）を指す。特定画像／映像フォーマットは画像（又は映像）の画素値に関連する情報を規定し得る。特定画像／映像フォーマットはまた、例えば画像（又は映像）を視覚化及び／又は復号化するためにディスプレイ及び／又は任意の他の装置により使用され得る情報を規定し得る。画像は通常、画像の輝度（又はルマ）を通常は表す第１の成分（サンプルの第１の２Ｄアレイの形をした）を含む。画像はまた、サンプルの他の２Ｄアレイの形状の第２の成分及び第３の成分（画像のクロミナンス（又はクロマ）を通常は表す）を含み得る。いくつかの実施形態は伝統的三色ＲＧＢ表現などの色サンプルの１組の２Ｄアレイを使用して同じ情報を表す。

【0026】

画素値は１つ又は複数の実施形態ではＣ値のベクトルにより表され、ここでＣは成分の数である。ベクトルの各値は通常、画素値のダイナミックレンジを定義し得る多くのビットにより表される。

【0027】

画像ブロックは画像に属する一組の画素を意味する。画像ブロックの画素値（又は画像ブロックデータ）はこの画像ブロックに属する画素の値を指す。画像ブロックは、長方形が一般的であるが任意形状を有し得る。

【0028】

ポイントクラウドは、一意的座標を有し、また、１つ又は複数の属性を有し得る３Ｄ容積空間内の３Ｄサンプルのデータセットにより表され得る。

【0029】

このデータセットの３Ｄサンプルは、その空間位置（３Ｄ空間内のＸ、Ｙ及びＺ座標）と、例えばＲＧＢ又はＹＵＶ色空間内で表される色、透明度、反射率、二成分法線ベクトル、又はこのサンプルの特徴を表す任意の特徴などの恐らく１つ又は複数の関連属性とにより定義され得る。例えば、３Ｄサンプルは６つの成分（Ｘ，Ｙ，Ｚ，Ｒ，Ｇ，Ｂ）又は等価的に（Ｘ，Ｙ，Ｚ，ｙ，Ｕ，Ｖ）により定義され得、ここで（Ｘ，Ｙ，Ｚ）は３Ｄ空間内の点の座標を定義し、（Ｒ，Ｇ，Ｂ）又は（ｙ，Ｕ，Ｖ）はこの３Ｄサンプルの色を定義する。同じタイプの属性は複数回存在し得る。例えば、複数の色属性は異なる観点からの色情報を提供し得る。

【0030】

ポイントクラウド（点群）は、時間と共に変化するかどうかに依存して静的又は動的であり得る。静的ポイントクラウド、又は動的ポイントクラウドのインスタンスは、ポイントクラウドフレームと通常称せられる。動的ポイントクラウドの場合ポイントの数は一般的には一定でなく、むしろ一般的に時間と共に変化するということに留意すべきである。より一般的には、ポイントクラウドは、何か（例えばポイントの数、１つ又は複数のポイントの位置、又は任意の点の任意の属性など）が時間と共に変化すれば動的であると考えられ得る。

【0031】

一例として、２Ｄサンプルは６つの成分（ｕ，ｖ，Ｚ，Ｒ，Ｇ，Ｂ）又は等価的に（ｕ，ｖ，Ｚ，ｙ，Ｕ，Ｖ）により定義され得る。（ｕ，ｖ）は投影面の２Ｄ空間内の２Ｄサンプルの座標を定義する。Ｚはこの投影面上への投影３Ｄサンプルの深度値である。（Ｒ，Ｇ，Ｂ）又は（ｙ，Ｕ，Ｖ）はこの３Ｄサンプルの色を定義する。

【0032】

図１は本実施形態の少なくとも１つの実施形態による２層ベースポイントクラウド符号化構造１０００の例の概略ブロック図を示す。

【0033】

２層ベースポイントクラウド符号化構造１０００は入力ポイントクラウドフレームＩＰＣＦ（input point cloud frame）を表すビットストリームＢを提供し得る。恐らく、入力ポイントクラウドフレームＩＰＣＦは動的ポイントクラウドのフレームを表す。次に、動的ポイントクラウドのフレームは別のフレームとは独立に２層ベースポイントクラウド符号化構造１０００により符号化され得る。

【0034】

基本的に、２層ベースポイントクラウド符号化構造１０００は、ビットストリームＢを基層ＢＬ（Base Layer）及び強化層ＥＬ（Enhancement Layer）として構造化する能力を提供し得る。基層ＢＬは入力ポイントクラウドフレームＩＰＣＦの損失（lossy）表現を提供し得、強化層ＥＬは基層ＢＬにより表されない孤立ポイントを符号化することにより高品質（恐らく無損失）表現を提供し得る。

【0035】

基層ＢＬは図３に示すように画像ベース符号器３０００により提供され得る。画像ベース符号器３０００は、入力ポイントクラウドフレームＩＰＣＦの３Ｄサンプルのジオメトリ／属性を表すジオメトリ／テクスチャ画像を提供し得る。画像ベース符号器３０００は、孤立３Ｄサンプルが廃棄されることを可能にし得る。基層ＢＬは図４に示すような画像ベース復号器４０００（中間再構築ポイントクラウド（intermediate reconstructed point cloud）フレームＩＲＰＣＦを提供し得る）により復号化され得る。

【0036】

次に、図１の２層ベースポイントクラウド復号器１０００に戻ると、比較器ＣＯＭＰは、欠落／孤立（missed/isolated）３Ｄサンプルを検出する／見出すために入力ポイントクラウドフレームＩＰＣＦの３Ｄサンプルと中間再構築ポイントクラウドフレームＩＲＰＣＦの３Ｄサンプルとを比較し得る。次に、符号器ＥＮＣは欠落３Ｄサンプルを符号化し得、強化層ＥＬを提供し得る。最後に、基層ＢＬと強化層ＥＬは、ビットストリームＢを生成するように多重化器ＭＵＸにより多重化され得る。

【0037】

一実施形態によると、符号器ＥＮＣは、中間再構築ポイントクラウドフレームＩＲＰＣＦの３Ｄ基準サンプルＲを検出してこれを欠落３ＤサンプルＭへ関連付け得る検出器を含み得る。

【0038】

例えば、欠落３ＤサンプルＭに関連付けられた３Ｄ基準サンプルＲは、所与のメトリックに基づく３ＤサンプルＭのその最近傍サンプルであり得る。

【0039】

一実施形態によると、次に、符号器ＥＮＣは、欠落３ＤサンプルＭの空間位置とそれらの属性とを、３Ｄ基準サンプルＲの空間位置及び属性に従って判断される差として符号化し得る。

【0040】

変形では、それらの差は別々に符号化され得る。

【0041】

例えば、欠落３ＤサンプルＭに関し、空間座標ｘ（Ｍ）、ｙ（Ｍ）、ｚ（Ｍ）により、ｘ座標位置差Ｄｘ（Ｍ）、ｙ座標位置差Ｄｙ（Ｍ）、ｚ座標位置差Ｄｚ（Ｍ）、Ｒ属性成分差Ｄｒ（Ｍ）、Ｇ属性成分差Ｄｇ（Ｍ）、及びＢ属性成分差Ｄｂ（Ｍ）は次のように計算され得る：
Ｄｘ（Ｍ）＝ｘ（Ｍ）−ｘ（Ｒ）、
ここでｘ（Ｍ）は図３により提供されるジオメトリ画像内の３ＤサンプルＭ、Ｒそれぞれのｘ座標であり、
Ｄｙ（Ｍ）＝ｙ（Ｍ）−ｙ（Ｒ）
ここでｙ（Ｍ）は図３により提供されるジオメトリ画像内の３ＤサンプルＭ、Ｒそれぞれのｙ座標であり、
Ｄｚ（Ｍ）＝ｚ（Ｍ）−ｚ（Ｒ）
ここで、ｚ（Ｍ）は図３により提供されるジオメトリ画像内の３ＤサンプルＭ、Ｒそれぞれのｚ座標である、
Ｄｒ（Ｍ）＝Ｒ（Ｍ）−Ｒ（Ｒ）。
ここでＲ（Ｍ）、Ｒ（Ｒ）それぞれは３ＤサンプルＭ、Ｒそれぞれの色属性のｒ色成分であり、
Ｄｇ（Ｍ）＝Ｇ（Ｍ）−Ｇ（Ｒ）
ここでＧ（Ｍ）、Ｇ（Ｒ）それぞれは３ＤサンプルＭ、Ｒそれぞれの色属性のｇ色成分であり、
Ｄｂ（Ｍ）＝Ｂ（Ｍ）−Ｂ（Ｒ）
ここでＢ（Ｍ）、Ｂ（Ｒ）それぞれは３ＤサンプルＭ、Ｒそれぞれの色属性のｂ色成分である。

【0042】

図２は本実施形態の少なくとも１つの実施形態による２層ベースポイントクラウド復号化構造２０００の例の概略ブロック図を示す。

【0043】

２層ベースポイントクラウド復号化構造２０００の振る舞いはその能力に依存する。

【0044】

制限された能力を有する２層ベースポイントクラウド復号化構造２０００は、逆多重化器ＤＭＵＸ（de-multiplexer）を使用することによりビットストリームＢから基層ＢＬだけにアクセスし得、次に、図４に示すようなポイントクラウド復号器４０００により基層ＢＬを復号化することにより入力ポイントクラウドフレームＩＰＣＦの忠実（しかし損失）バージョンＩＲＰＣＦを提供し得る。

【0045】

十分な能力を有する２層ベースポイントクラウド復号化構造２０００は、逆多重化器ＤＭＵＸを使用することによりビットストリームＢから基層ＢＬ及び強化層ＥＬの両方にアクセスし得る。図４に示すようなポイントクラウド復号器４０００は基層ＢＬから中間再構築ポイントクラウドフレームＩＲＰＣＦを判断し得る。復号器ＤＥＣは強化層ＥＬから補間ポイントクラウドフレームＣＰＣＦ（complementary point cloud frame）を判断し得る。次に、合成器ＣＯＭは、入力ポイントクラウドフレームＩＰＣＦの高品質（恐らく無損失）表現（再構築）ＣＲＰＣＦを提供するために中間再構築ポイントクラウドフレームＩＲＰＣＦと補間ポイントクラウドフレームＣＰＣＦとを合成し得る。

【0046】

図３は本実施形態の少なくとも１つの実施形態による画像ベースポイントクラウド符号器３０００の例の概略ブロック図を示す。

【0047】

画像ベースポイントクラウド符号器３０００は、動的ポイントクラウドのジオメトリ及びテクスチャ（属性）情報を圧縮するために既存映像コーデックを活用する。これは、ポイントクラウドデータを１組の異なる映像系列へ本質的に変換することにより成し遂げられる。

【0048】

特定の実施形態では、２つの映像（ポイントクラウドデータのジオメトリ情報を捕捉するためのものとテクスチャ情報を捕捉するためのもの）は既存映像コーデックを使用して生成され圧縮され得る。既存映像コーデックの例はHEVC Main profile encoder/decoder (ITU-T H.265 Telecommunication standardization sector of ITU (02/2018), series H: audiovisual and multimedia systems, infrastructure of audiovisual services - coding of moving video, High efficiency video coding, Recommendation ITU-T H.265）である。

【0049】

２つの映像を解釈するために使用される追加メタデータもまた通常は別々に生成され圧縮される。このような追加メタデータは例えば占有マップＯＭ（occupancy map）及び／又は補助パッチ情報ＰＩ（patch information）を含む。

【0050】

次に、生成された映像ビットストリームとメタデータは合成ビットストリームを生成するように多重化され得る。

【0051】

メタデータは通常は情報全体のうちの小量の情報を表すということに注意すべきである。この情報の大部分は映像ビットストリーム内に存在する。

【0052】

このようなポイントクラウド符号化／復号化処理の例は、ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１ ＭＰＥＧ２０１９／ｗ１８１８０ Ｊａｎｕａｒｙ ２０１９，Marrakeshに定義されるＭＰＥＧ規格案を実施するTest model Category 2アルゴリズム（映像ベースポイントクラウド圧縮（Video-based Point Cloud Compression）とも称せられる（Ｖ−ＰＣＣと略称される））により与えられる。

【0053】

工程３１００では、モジュールＰＧＭは、最良圧縮を提供する戦略を使用することにより投影面上の２Ｄサンプルに対する入力ポイントクラウドフレームＩＰＣＦを表すデータセットの３Ｄサンプルを分解することにより少なくとも１つのパッチを生成し得る。

【0054】

パッチは１組の２Ｄサンプルとして定義され得る。

【0055】

例えば、Ｖ−ＰＣＣでは、例えばHoppe et al. (Hugues Hoppe, Tony DeRose, Tom Duchamp, John McDonald, Werner Stuetzle. Surface reconstruction from unorganized points. ACM SIGGRAPH 1992 Proceedings, 71-78)において説明されるように、あらゆる３Ｄサンプルにおける法線が最初に推定される。次に、入力ポイントクラウドフレームＩＰＣＦの初期クラスタ化が、各３Ｄサンプルと、入力ポイントクラウドフレームＩＰＣＦの３Ｄサンプルを包含する３Ｄ境界ボックスの６つの有向平面のうちの１つとを関連付けることにより得られる。より正確には、各３Ｄサンプルは、クラスタ化され、そして最近接法線を有する（すなわち、ポイント法線と面法線とのドット積を最大化する）有向平面に関連付けられる。次に、３Ｄサンプルはそれらの関連面へ投影される。それらの面内の接続領域を形成する一組の３Ｄサンプルは連結成分と呼ばれる。連結成分は、同様な法線及び同じ関連有向平面を有する一組の少なくとも１つの３Ｄサンプルである。次に、初期クラスタ化は、その法線とその最近隣サンプルのクラスタとに基づき、各３Ｄサンプルに関連付けられたクラスタを反復的に更新することにより精緻化される。最終工程は、各連結成分の３Ｄサンプルを連結成分に関連付けられた有向平面上へ投影することにより行われる各連結成分から１つのパッチを生成することからなる。パッチは、ジオメトリ及び／又は属性情報に対応する投影された２Ｄサンプルを解釈するために、パッチ毎に定義された補助パッチ情報を表す補助パッチ情報ＰＩに関連付けられる。

【0056】

Ｖ−ＰＣＣでは、例えば、補助パッチ情報ＰＩは、１）連結成分の３Ｄサンプルを包含する３Ｄ境界ボックスの６つの有向平面のうちの１つを指示する情報；２）平面法線に関する情報；３）深度、接線方向シフト及び二接線方向シフトの観点で表されるパッチに関する連結成分の３Ｄ位置を判断する情報；及び４）パッチを包含する２Ｄ境界ボックスを定義する投影面内の座標（ｕ０，ｖ０，ｕ１，ｖ１）などの情報を含む。

【0057】

工程３２００では、パッチパッキングモジュール（patch packing module）ＰＰＭが、少なくとも１つの生成されたパッチを、未使用空間を通常は最小化するやり方で重なり無しに２Ｄグリッド（キャンバスとも呼ばれる）上へマッピングし（置き）得、そして２ＤグリッドのあらゆるＴ×Ｔ（例えば１６×１６）ブロックが一意的パッチに関連付けられるということを保証し得る。２Ｄグリッドの所与の最小ブロックサイズＴ×Ｔはこの２Ｄグリッド上に置かれる個別パッチ間の最小距離を規定し得る。２Ｄグリッド解像度は入力ポイントクラウドサイズ並びにその幅Ｗ及び高さＨに依存し得、ブロックサイズＴはメタデータとして復号器へ送信され得る。

【0058】

補助パッチ情報ＰＩはさらに、２Ｄグリッドのブロックとパッチとの関連性に関する情報を含み得る。

【0059】

Ｖ−ＰＣＣでは、補助情報ＰＩは、２Ｄグリッドのブロックとパッチ指標との間の関連性を判断するブロック・ツー・パッチ指標情報（ＢｌｏｃｋＴｏＰａｔｃｈ）を含み得る。

【0060】

図５は２つのパッチＰ１、Ｐ２及びそれらの関連２Ｄ境界ボックスＢ１、Ｂ２を含むキャンバスＣの例を示す。２つの境界ボックスは図５に示すようにキャンバスＣ内で重なり得るということに留意されたい。２Ｄグリッド（キャンバスの分割）は境界ボックスの内部だけに表されるが、キャンバスの分割はまたそれらの境界ボックスの外部に発生する。パッチに関連付けられた境界ボックスはＴ×Ｔブロックへ分割され得る（通常Ｔ＝１６）。

【0061】

パッチに属する２Ｄサンプルを含むＴ×Ｔブロックは占有占有されたブロックと考えられ得る。キャンバスのそれぞれの占有されたブロックは占有マップＯＭ内の特定画素値（例えば１）により表され、キャンバスの未占有ブロックは別の特定値（例えば０）により表される。次に、占有マップＯＭの画素値は、キャンバスのＴ×Ｔブロックが占有されているかどうか（すなわち、パッチに属する２Ｄサンプルを含むかどうか）を指示し得る。

【0062】

図５では、占有されたブロックは白色ブロックにより表され、薄灰色ブロックは未占有ブロックを表す。画像生成処理（図３の工程３３００、３４００）は、画像として入力ポイントクラウドフレームＩＰＣＦのジオメトリ及びテクスチャを格納するために、工程３２００中に計算された２Ｄグリッド上への少なくとも１つの生成されたパッチのマッピングを活用する。

【0063】

工程３３００では、ジオメトリ画像生成器（geometry image generator）ＧＩＧが、入力ポイントクラウドフレームＩＰＣＦ、占有マップＯＭ、及び補助パッチ情報ＰＩから少なくとも１つのジオメトリ画像ＧＩを生成し得る。ジオメトリ画像生成器ＧＩＧは、ジオメトリ画像ＧＩ内の占有されたブロックしたがって非空画素を検出する（見出す）ために占有マップ情報を活用し得る。

【0064】

ジオメトリ画像ＧＩは、入力ポイントクラウドフレームＩＰＣＦのジオメトリを表し得、例えばＹＵＶ４２０−８ビットフォーマットで表されるＷ×Ｈ画素の単色画像であり得る。

【0065】

複数の３Ｄサンプルが投影面（同じ投影方向（線）に沿った）の同じ２Ｄサンプルへ投影（マッピング）されるのケースをうまく扱うために、層と呼ばれる複数画像が生成され得る。したがって、様々な深度値Ｄ１，．．．，Ｄｎがパッチの２Ｄサンプルに関連付けられ得、次に、複数のジオメトリ画像が生成され得る。

【0066】

Ｖ−ＰＣＣでは、パッチの２Ｄサンプルが２つの層上へ投影される。近方層とも呼ばれる第１の層は例えば浅い深度を有する２Ｄサンプルに関連付けられた深度値Ｄ０を格納し得る。遠方層とも呼ばれる第２の層は例えば深い深度を有する２Ｄサンプルに関連付けられた深度値Ｄ１を格納し得る。代替的に、第２の層は深度値Ｄ１とＤ０との差値を格納し得る。例えば、第２の深度画像により格納される情報は範囲［Ｄ０，Ｄ０＋Δ］内の深度値に対応する間隔［０，Δ］内に在り得、ここでΔは表面厚さを記述するユーザ定義パラメータである。

【0067】

このやり方により、第２の層は著しい等高線状高周波特徴を含み得る。したがって、第２の深度画像はレガシー映像符号器を使用することにより符号化するのが困難であり得るということは明白であるように思え、したがって、深度値は復号化された第２の深度画像から劣悪に再構築され得、その結果、再構築されたポイントクラウドフレームのジオメトリの貧弱な品質に到る。

【0068】

一実施形態によると、ジオメトリ画像生成モジュールＧＩＧは、補助パッチ情報ＰＩを使用することにより、第１及び第２の層の２Ｄサンプルに関連付けられた深度値を符号化（導出）し得る。

【0069】

Ｖ−ＰＣＣでは、対応連結成分を有するパッチ内の３Ｄサンプルの位置は、深度δ（ｕ，ｖ）、接線方向シフトｓ（ｕ，ｖ）、二接線方向シフトｒ（ｕ，ｖ）の観点で次のように表現され得る：
δ（ｕ，ｖ）＝δ０＋ｇ（ｕ，ｖ）
ｓ（ｕ，ｖ）＝ｓ０−ｕ０＋ｕ
ｒ（ｕ，ｖ）＝ｒ０−ｖ０＋ｖ
ここで、ｇ（ｕ，ｖ）はジオメトリ画像のルマ成分であり、（ｕ，ｖ）は投影面上の３Ｄサンプルに関連付けられた画素であり、（δ０，ｓ０，ｒ０）は３Ｄサンプルが属する連結成分の対応パッチの３Ｄ位置であり、（ｕ０，ｖ０，ｕ１，ｖ１）は、連結成分に関連付けられたパッチの投影を包含する２Ｄ境界ボックスを定義する投影面内の座標である。

【0070】

したがって、ジオメトリ画像生成モジュールＧＩＧは、次式により与えられるルマ成分ｇ（ｕ，ｖ）として、層（第１又は第２の層、又は両方の層）の２Ｄサンプルに関連付けられた深度値を符号化（導出）し得る：ｇ（ｕ，ｖ）＝δ（ｕ，ｖ）−δ０。この関係式は付随する補助パッチ情報ＰＩを有する再構築されたジオメトリ画像ｇ（ｕ，ｖ）から３Ｄサンプル位置（δ０，ｓ０，ｒ０）を再構築するために採用され得るということに注意すべきである。

【0071】

一実施形態によると、投影モードは、第１のジオメトリ画像ＧＩ０が第１又は第２のいずれかの層の２Ｄサンプルの深度値を格納し得るかどうかと第２のジオメトリ画像ＧＩ１が第１層又は第２層のいずれかの層の２Ｄサンプルに関連付けられた深度値を格納し得るかどうかとを指示するために使用され得る。

【0072】

例えば、投影モードが０に等しいと、第１のジオメトリ画像ＧＩ０は第１の層の２Ｄサンプルの深度値を格納し得、第２のジオメトリ画像ＧＩ１は第２の層の２Ｄサンプルに関連付けられた深度値を格納し得る。同様に、投影モードが１に等しいと、第１のジオメトリ画像ＧＩ０は第２の層の２Ｄサンプルの深度値を格納し得、第２のジオメトリ画像ＧＩ１は第１の層の２Ｄサンプルに関連付けられた深度値を格納し得る。

【0073】

一実施形態によると、フレーム投影モードは、固定投影モードがすべてのパッチに使用されるかどうか又は可変投影モードがすべてのパッチに使用されるかどうかを指示するために使用され得る。ここで各パッチは異なる投影モードを使用し得る。

【0074】

投影モード及び／又はフレーム投影モードはメタデータとして送信され得る。

【0075】

フレーム投影モード決定アルゴリズム（例えばＶ−ＰＣＣの章２．２．１．３．１）が提供され得る。

【0076】

一実施形態によると、可変投影モードが使用され得るということをフレーム投影モード決定アルゴリズムが指示すると、パッチ投影モードは、パッチを（逆）投影するために使用すべき適切なモードを指示するために使用され得る。

【0077】

パッチ投影モードは、メタデータとして送信され得、恐らく補助パッチ情報ＰＩ内に含まれる情報であり得る。

【0078】

パッチ投影モード決定アルゴリズム（例えばＶ−ＰＣＣの章２．２．１．３．２）が提供される。

【0079】

工程３３００の一実施形態によると、パッチの２Ｄサンプル（ｕ，ｖ）に対応する第１のジオメトリ画像（例えばＧＩ０）内の画素値は、２Ｄサンプル（ｕ，ｖ）に対応する投影線に沿って定義された少なくとも１つの中間３Ｄサンプルの深度値を表し得る。より正確には、中間３Ｄサンプルは、投影線に沿ってあり、その深度値Ｄ１が第２のジオメトリ画像（例えばＧＩ１）内で符号化される２Ｄサンプル（ｕ，ｖ）の同じ座標を共有する。さらに、中間３Ｄサンプルは深度値Ｄ０と深度値Ｄ１との間の深度値を有し得る。指定ビットが各中間３Ｄサンプルに関連付けられ得、中間３Ｄサンプルが存在すれば、１へ設定されそうでなければ０へ設定される。

【0080】

図６は、投影線ＰＬに沿った２つの３ＤサンプルＰ０とＰ１との間に位置する２つの中間３ＤサンプルＰ_ｉ１、Ｐ_ｉ２の例を示す。３ＤサンプルＰ０、Ｐ１はＤ０、Ｄ１に等しい深度値をそれぞれ有する。２つの中間３ＤサンプルＰ_ｉ１、Ｐ_ｉ２それぞれの深度値Ｄ_ｉ１、Ｄ_ｉ２はＤ０より大きく且つＤ１より低い。

【0081】

次に、投影線に沿ったすべての指定ビットは符号語（以下では強化占有マップ（ＥＯＭ：Enhanced-Occupancy map）符号語と称せられる）を形成するために連結され得る。図６に示すように、８ビットの長さのＥＯＭ符号語を仮定すると、２ビットは２つの３ＤサンプルＰ_ｉ１、Ｐ_ｉ２の位置を指示するために１に等しい。最後に、すべてのＥＯＭ符号語が画像（例えば占有マップＯＭ）内に詰め込まれ得る。この場合、キャンバスの少なくとも１つのパッチは少なくとも１つのＥＯＭ符号語を含み得る。このようなパッチは基準パッチと称され、基準パッチのブロックはＥＯＭ基準ブロックと称せられる。したがって、占有マップＯＭの画素値は、キャンバスの未占有ブロックを指示するために第１の値（例えば０）に等しくてもよいし、例えばＤ１−Ｄ０＜＝１の場合のキャンバスの占有されたブロックを指示するために又は例えばＤ１−Ｄ０＞１の場合のキャンバスのＥＯＭ基準ブロックを指示するためのいずれかのために例えば０より大きい別の値に等しくてもよい。

【0082】

ＥＯＭ基準ブロックを指示する占有マップＯＭ内の画素の位置及びそれらの画素の値から取得されるＥＯＭ符号語のビットの値は、中間３Ｄサンプルの３Ｄ座標を指示する。

【0083】

工程３４００では、テクスチャ画像生成器（texture image generator）ＴＩＧは、入力ポイントクラウドフレームＩＰＣＦ、占有マップＯＭ、補助パッチ情報ＰＩ、及び少なくとも１つの復号化されたジオメトリ画像ＤＧＩ（ビデオ復号器ＶＤＥＣ（図４の工程４２００）の出力）から導出される再構築されたポイントクラウドフレームのジオメトリから少なくとも１つのテクスチャ画像ＴＩを生成し得る。

【0084】

テクスチャ画像ＴＩは、入力ポイントクラウドフレームＩＰＣＦのテクスチャを表し得、例えばＹＵＶ４２０−８ビットフォーマットで表されたＷ×Ｈ画素の画像であり得る。

【0085】

テクスチャ画像生成器ＴＧは、テクスチャ画像内の占有されたブロックしたがって非空画素を検出する（見出す）ために占有マップ情報を活用し得る。

【0086】

テクスチャ画像生成器ＴＩＧはテクスチャ画像ＴＩを生成しそして各ジオメトリ画像／層ＤＧＩと関連付けるようにされ得る。

【0087】

一実施形態によると、テクスチャ画像生成器ＴＩＧは、第１の層の２Ｄサンプルに関連付けられたテクスチャ（属性）値Ｔ０を第１のテクスチャ画像ＴＩ０の画素値として、そして第２の層の２Ｄサンプルに関連付けられたテクスチャ値Ｔ１を第２のテクスチャ画像ＴＩ１の画素値として符号化（格納）し得る。

【0088】

代替的に、テクスチャ画像生成モジュールＴＩＧは、第２の層の２Ｄサンプルに関連付けられたテクスチャ値Ｔ１を第１のテクスチャ画像ＴＩ０の画素値としてそして第１の層の２Ｄサンプルに関連付けられたテクスチャ値Ｄ０を第２のジオメトリ画像ＧＩ１の画素値として符号化（格納）し得る。

【0089】

例えば、３Ｄサンプルの色はＶ−ＰＣＣの章２．２．３、２．２．４、２．２．５、２．２．８又は２．５に説明されるように取得され得る。

【0090】

２つの３Ｄサンプルのテクスチャ値は第１又は第２のいずれかのテクスチャ画像内に格納される。しかし、中間３Ｄサンプルのテクスチャ値は、投影された中間３Ｄサンプルの位置が図６に示すように別の３Ｄサンプル（Ｐ０又はＰ１）のテクスチャ値を格納するために既に使用されている占有されたブロックに対応するのでこの第１のテクスチャ画像ＴＩ０内又は第２のテクスチャ画像ＴＩ１内のいずれの中にも格納され得ない。したがって、中間３Ｄサンプルのテクスチャ値は、手順に従って定義された位置における第１又は第２のいずれかのテクスチャ画像内の他のどこかに位置するＥＯＭテクスチャブロック内に格納される（Ｖ−ＰＣＣの章９．４．５）。要約すると、この処理は、テクスチャ画像内の未占有ブロックの位置を判断し、中間３Ｄサンプルに関連付けられたテクスチャ値をテクスチャ画像の未占有ブロック（ＥＯＭテクスチャブロックと称せられる）の画素値として格納する。

【0091】

一実施形態によると、詰め込み（padding）処理がジオメトリ及び／又はテクスチャ画像に適用され得る。詰め込み処理は映像圧縮に適した区分的に滑らかな画像を生成するためにパッチ間の空きスペースを埋めるために使用され得る。

【0092】

画像詰め込み例はＶ−ＰＣＣの章２．２．６、２．２．７において提供される。

【0093】

工程３５００では、映像符号器（video encoder）ＶＥＮＣが、生成された画像／層ＴＩ及びＧＩを符号化し得る。

【0094】

工程３６００では、符号器ＯＭＥＮＣが、例えばＶ−ＰＣＣの章２．２．２において詳述されるように占有マップを画像として符号化し得る。損失又は無損失符号化が使用され得る。

【0095】

一実施形態によると、映像符号器ＥＮＣ及び／又はＯＭＥＮＣはＨＥＶＣベース符号器であり得る。

【0096】

工程３７００では、符号器ＰＩＥＮＣが、ジオメトリ／テクスチャ画像のブロックサイズＴ、幅Ｗ及び高さＨなどの補助パッチ情報ＰＩ及び恐らく追加メタデータを符号化し得る。

【0097】

一実施形態によると、補助パッチ情報は差分符号化され得る（例えばＶ−ＰＣＣの章２．４．１において定義されるように）。

【0098】

工程３８００では、多重化器が工程３５００、３６００、３７００の生成された出力へ適用され得、その結果、これらの出力は基層ＢＬを表すビットストリームを生成するように多重化され得る。メタデータ情報はビットストリーム全体のごく一部分を表すということに注意すべきである。情報の大部分は映像コーデックを使用して圧縮される。

【0099】

図４は本実施形態の少なくとも１つの実施形態による画像ベースポイントクラウド復号器４０００の例の概略ブロック図を示す。

【0100】

工程４１００では、逆多重化器ＤＭＵＸが、基層ＢＬを表すビットストリームの符号化された情報を逆多重化するために適用され得る。

【0101】

工程４２００では、映像復号器ＶＤＥＣが、少なくとも１つの復号化されたジオメトリ画像ＤＧＩ及び少なくとも１つの復号化テクスチャ画像ＤＴＩを導出するために、符号化された情報を復号化し得る。

【0102】

工程４３００では、復号器ＯＭＤＥＣは復号化された占有マップＤＯＭを導出するために、符号化された情報を復号化し得る。

【0103】

一実施形態によると、映像復号器ＶＤＥＣ及び／又はＯＭＤＥＣはＨＥＶＣベース復号器であり得る。

【0104】

工程４４００では、復号器ＰＩＤＥＣが、補助パッチ情報ＤＰＩを導出するために、符号化された情報を復号化し得る。

【0105】

恐らく、メタデータもまたビットストリームＢＬから導出され得る。

【0106】

工程４５００では、ジオメトリ生成モジュールＧＧＭは、少なくとも１つの復号化されたジオメトリ画像ＤＧＩ、復号化された占有マップＤＯＭ、復号化された補助パッチ情報ＤＰＩ及び恐らく追加メタデータから、再構築されたポイントクラウドフレームＩＲＰＣＦのジオメトリＲＧを導出し得る。

【0107】

ジオメトリ生成モジュールＧＧＭは、少なくとも１つの復号化されたジオメトリ画像ＤＧＩ内の非空画素を見出すために、復号化された占有マップ情報ＤＯＭを活用し得る。

【0108】

非空画素は、上に説明したように、復号化された占有情報ＤＯＭの画素値及びＤ１〜Ｄ０の値に依存して、占有されたブロック又はＥＯＭ基準ブロックのいずれかに属する。

【0109】

工程４５００の一実施形態によると、ジオメトリ生成モジュールＧＧＭは非空画素の座標から中間３Ｄサンプルの３Ｄ座標のうちの２つを導出し得る。

【0110】

工程４５００の一実施形態によると、非空画素がＥＯＭ基準ブロックに属する場合、ジオメトリ生成モジュールＧＧＭは、ＥＯＭ符号語のビット値から中間３Ｄサンプルの３Ｄ座標の第３番目の座標を導出し得る。

【0111】

例えば、図６の例によると、ＥＯＭ符号語ＥＯＭＣは、中間３ＤサンプルＰ_ｉ１、Ｐ_ｉ２の３Ｄ座標を判断するために使用される。中間３ＤサンプルＰ_ｉ１の第３番目の座標は例えばＤ_ｉ１＝Ｄ０＋３によりＤ０から導出され得、再構築された３ＤサンプルＰ_ｉ２の第３番目の座標は例えばＤ_ｉ２＝Ｄ０＋５によりＤ０から導出され得る。オフセット値（３又は５）は投影線に沿ったＤ０とＤ１との間の間隔の数である。

【0112】

一実施形態によると、非空画素が、占有されたブロックに属する場合、ジオメトリ生成モジュールＧＧＭは、再構築された３Ｄサンプルの３Ｄ座標を、非空画素の座標、少なくとも１つの復号化されたジオメトリ画像ＤＧＩの１つの非空画素の値、復号化された補助パッチ情報、及び恐らく追加メタデータから導出し得る。

【0113】

非空画素の使用は２Ｄ画素と３Ｄサンプルとの関係式に基づく。例えば、Ｖ−ＰＣＣにおける投影により、再構築された３Ｄサンプルの３Ｄ座標は、深度δ（ｕ，ｖ）、接線方向シフトｓ（ｕ，ｖ）、二接線方向シフトｒ（ｕ，ｖ）の観点で次のように表現され得る：
δ（ｕ，ｖ）＝δ０＋ｇ（ｕ，ｖ）
ｓ（ｕ，ｖ）＝ｓ０−ｕ０＋ｕ
ｒ（ｕ，ｖ）＝ｒ０−ｖ０＋ｖ
ここで、ｇ（ｕ，ｖ）は復号化されたジオメトリ画像ＤＧＩのルマ成分であり、（ｕ，ｖ）は再構築された３Ｄサンプルに関連付けられた画素であり、（δ０，ｓ０，ｒ０）は再構築された３Ｄサンプルが属する連結成分の３Ｄ位置であり、（ｕ０，ｖ０，ｕ１，ｖ１）は、連結成分に関連付けられたパッチの投影を包含する２Ｄ境界ボックスを定義する投影面内の座標である。

【0114】

工程４６００では、テクスチャ生成モジュールＴＧＭは、再構築されたポイントクラウドフレームＩＲＰＣＦのテクスチャをジオメトリＲＧ及び少なくとも１つの復号化テクスチャ画像ＤＴＩから導出し得る。

【0115】

工程４６００の一実施形態によると、テクスチャ生成モジュールＴＧＭは、ＥＯＭ基準ブロックに属する非空画素のテクスチャを対応ＥＯＭテクスチャブロックから導出し得る。テクスチャ画像内のＥＯＭテクスチャ画像の位置は手順に従って定義される（Ｖ−ＰＣＣの章９．４．５）。

【0116】

工程４６００の一実施形態によると、テクスチャ生成モジュールＴＧＭは、占有されたブロックに直接属する非空画素のテクスチャを第１又は第２のいずれかのテクスチャ画像の画素値として導出し得る。

【0117】

図７は本実施形態の少なくとも１つの実施形態による基層ＢＬを表すビットストリーム７０００の例示的構文を模式的に示す。

【0118】

ビットストリームはビットストリームヘッダＳＨ７１００及び少なくともフレームストリーム群（Group Of Frame Stream）ＧＯＦＳ７１１０、．．．７１２０、．．．７１３０などを含む。

【0119】

フレームストリーム群ＧＯＦＳは、ヘッダＨＳ７１２１、占有マップＯＭを表す少なくとも１つの構文要素ＯＭＳ７１２２、少なくとも１つのジオメトリ画像（又は映像）を表す少なくとも１つの構文要素ＧＶＳ７１２３、少なくとも１つのテクスチャ画像（又は映像）を表す少なくとも１つの構文要素ＴＶＳ７１２５、補助パッチ情報を表す少なくとも１つの構文要素ＰＩＳ７１２４、及び他の追加メタデータを含む。

【0120】

変形では、フレームストリーム群ＧＯＦＳは少なくとも１つのフレームストリームを含む。

【0121】

Ｖ−ＰＣＣでは、メタデータは以下の２つのカテゴリへ分けられ得る：
●パッチ毎メタデータは２Ｄ深度及びテクスチャ（色）画像（Ｕ０とＶ０）内及び３Ｄ空間（Ｕ１，Ｖ１，Ｄ１）内の各パッチの座標並びに各パッチの幅及び高さ（ｄｅｌｔａＳｉｚｅＵ０及びｄｅｌｔａＳｉｚｅＶ０）を記述する。
●ブロック毎メタデータは、深度及びテクスチャ画像のＮ×Ｎブロック毎に、次のことを指示する情報を提供する：
○現在のブロック（ブロック・ツー・パッチ指標情報）がどのパッチに属するか；
○現在のブロック内のどの画素が投影点（占有マップ）に対応するか。

【0122】

各２Ｄパッチを３Ｄ空間へ逆投影するために必要とされるパッチ毎メタデータは比較的小さい。パッチ毎に送信すべきいくつか（Ｖ−ＰＣＣの現バージョンでは７）のパラメータだけが存在し、パッチの数は通常小さい（数百）。

【0123】

しかし、占有マップ及びブロック・ツー・パッチ指標メタデータはパッチ画像のすべての画素に必要とされる。空間座標当たり１０ビットを使用するポイントクラウドに関して、パッチ画像のサイズは通常１２８０×１２８０画素であり、符号化すべき大量のデータを生み出す。

【0124】

Ｖ−ＰＣＣでは、方法は、（１）占有マップとブロック・ツー・パッチ指標メタデータとの符号化を混合することにより、そして（２）両方の精度を低減することにより、符号化された占有マップ及びブロック・ツー・パッチメタデータのサイズを低減しようとする。ここでは、各画素の情報を符号化する代わりに、Ｎ×Ｎ画素のブロックに関して一回だけ符号化される。これは深度及びカラーパッチ画像の符号化効率をわずかに低減する（これらの画像はそうでない場合より大きいので）が、これはメタデータのサイドを大いに低減する。ブロック・ツー・パッチ指標に関し、Ｎは通常、データ量を２５６の係数だけ低減する１６である。占有マップに関し、Ｎは１、２、４、８、又は１６であり得る。データ量を１６の係数だけ低減する４が一般的である。

【0125】

次のように定義する：
１．十分な精度の占有マップ：占有マップは各画素の情報を含む。
２．占有マップは符号器レベルにおいてだけ利用可能である。ブロック精度（通常４）における占有マップ：これは、占有マップ精度におけるブロックの情報を含む。精度は「小ブロック」と呼ばれる。これは符号器側で利用可能であり、復号器へ送信される。
３．ブロック解像度（通常１６）におけるブロック・ツー・パッチ指標：これは、占有マップ解像度におけるブロックの情報を含む。これは符号器側で利用可能であり、復号器へ送信される。

【0126】

本実施形態は、占有マップ内の及び／又はポイントクラウドのポイントを投影面上に投影することにより得られる深度及びテクスチャ画像のブロックのために提供されるブロック毎メタデータのブロック・ツー・インデックスマップ内のいくつかの画素値を変更することにより、ポイントクラウドの重要でない又はあまり重要でないポイントを除去するための方法及び／又は装置を提供する。

【0127】

第１の実施形態
図８は、どのようにオリジナルポイントクラウド（図８の８１００：３２×３２全解像度）が占有マップ（図８の８２００：４×４ブロックを使用することにより低減された）及びブロック・ツー・パッチ指標（図８の８３００：１６×１６ブロックを使用することによりさらに低減された）を使用することにより再構築ポイントクラウド（図８の８４００−低減解像度）へ処理及び再構築され得るかの第１の実施形態を示す。

【0128】

本実施形態は、多くの役に立たないポイント（３Ｄサンプル）の再構築ポイントクラウド内への生成を回避するために符号器側のブロック内にポイントがほとんど存在しない場合に占有マップ・ツー・パッチ指標データを低減する方法を提案する。この方法は、以下のようにして、符号化されるべきデータを低減する：

【0129】

小ブロックの占有マップを更新する。

【0130】

小ブロック（通常４×４）毎に、以下のことを行う：
ａ．全占有マップ精度を使用してソースポイントクラウド内のポイントＮＰ_{ｓｍａｌｌ＿ｂｌｏｃｋ}の数を計数する。
ｂ．ＮＰ_{ｓｍａｌｌ＿ｂｌｏｃｋ}≦Ｔｈ_{ｓｍａｌｌ＿ｂｌｏｃｋ}であれば（ここでＴｈ_{ｓｍａｌｌ＿ｂｌｏｃｋ}は所与値である）、占有マップを未占有に設定し、そうでなければブロック占有を１にする。Ｔｈ_{ｓｍａｌｌ＿ｂｌｏｃｋ}の標準数は１である。

【0131】

ＯＭ_{ｒｅｄｕｃｅ}を全解像度におけるソースポイントクラウドの更新された占有マップであるとする。

【0132】

一変形によると、本方法の第１の実施形態はさらに以下のものを含む：
ＯＭ_{ｒｅｄｕｃｅ}から、ブロック解像度においてブロック・ツー・パッチ指標を更新する。ブロック毎に、以下のことを行う：
ｃ．占有されたブロックの数ＮＢ_{ｂｌｏｃｋ}を計数する：
ｄ．ＮＢ_{ｂｌｏｃｋ}＝０であれば、未占有ブロックをブロック・ツー・パッチ指標へマーキングする。そうでなければ、ブロックは占有されたとマーキングされる。

【0133】

しかし、図８に示すように、ブロックが占有されていると、結果は、多数のポイントが復号化処理中に再構築されることになるということである（占有精度が４へ設定されれば、ブロック当たりの再構築ポイントの数は１６である）。特に、１つのポイントが符号器側の小ブロック４×４を占有すれば、ブロック・ツー・パッチ指標はブロックが占有されたということを指示する。復号化処理中、１ポイントではなく１６ポイントが生成されることになる。

【0134】

したがって、図８ａは第１の実施形態の別の代替案を示す、ソースポイントクラウド（図８ａの８１００ａ：全占有マップ精度）から、以下のことを行う：
ａ．ブロック解像度においてブロック内のポイントの数ＮＰ_{ｂｌｏｃｋ}を計数する：
ｂ．ＮＰ_{ｂｌｏｃｋ}≦Ｔｈ_{ｂｌｏｃｋ}であれば（ここでＴｈ_{ｂｌｏｃｋ}は所与値である）、ブロックをブロック・ツー・パッチ指標から除去する。Ｔｈ_{ｂｌｏｃｋ}の標準値は４である。

【0135】

最後に、小ブロック（図８ａの８２００）の更新された占有マップとブロック解像度の更新されたパッチ・ツー・指標（図８ａの８３００）とを得る。これらは復号器側へ送信されるデータを指示する。

【0136】

したがって、図８の実施形態と比較した効率のさらなる改善が図８ａに示される。見て分かるように、図８ａにおけるさらなる改善は、重要でない又はそれほど重要でないソースポイントクラウドの小領域のさらなる抑制をもたらす。いくつかの情報が欠落しても、再構築されたポイントクラウドは、図８に示すものより低密度であり、オリジナルポイントクラウドに対しより忠実である。

【0137】

第２の実施形態
第２の実施形態は、再構築されたポイントクラウドがソースポイントクラウドに近いか遠いかを評価するためにブロック毎の距離を計算することに基づく。この距離は２つのポイントクラウド間（ポイント・ツー・ポイント）の距離である。

【0138】

ＡとＢが３Ｄ空間内の２組の点であるとする。ＡからＢへの距離は次式のように定義される。

【数1】

ここで、ノルムはユークリッド距離であり、Ａの点ｐからＢの最も近い点までの距離は次式のように定義される。

【数2】

【0139】

本実施形態は、閾値距離より大きい計算された距離を有する再構築されたポイントクラウドの送信を回避し、したがってあまりにも密なポイントクラウド再構築を回避する。したがって、本実施形態はまた、圧縮すべきデータの量を低減する。

【0140】

利得に関し：我々はメトリックの１％の利得を観測する（しかし、これは、他のアルゴリズムに関し上記のように行われたが、Ｖ−ＰＣＣだけに対し行われる必要がある）。

【0141】

図９は様々な態様及び実施形態が実現されるシステムの例を示す概略ブロック図を示す。

【0142】

システム９０００は、以下に説明される様々な部品を含む１つ又は複数のデバイスとして具現化され得、本明細書に記載された態様のうちの１つ又は複数を行うように構成される。システム９０００のすべて又は一部を形成し得る機器の例は、パーソナルコンピュータ、ラップトップ、スマートフォン、タブレットコンピュータ、デジタルマルチメディアセットトップボックス、デジタルＴＶ受信機、パーソナル録画システム、コネクテッド家庭用機器、コネクテッド車両及びそれらの関連処理システム、頭部装着型ディスプレイデバイス（ＨＭＤ、シースルー眼鏡）、プロジェクタ、「ケーブ」（複数のディスプレイを含むシステム）、サーバ、映像符号器、映像復号器、映像復号器からの出力を処理するポストプロセッサ、入力を映像符号器へ提供するプリプロセッサ、ウェブサーバ、セットトップボックス、ポイントクラウド、映像又は画像を処理するための任意の他のデバイス、又は他の通信デバイスを含む。単独の又は組み合わせのシステム９０００の要素は単一集積回路、複数のＩＣ、及び／又は個別部品で具現化され得る。例えば、少なくとも１つの実施形態では、システム９０００の処理及び符号器／復号器要素は複数のＩＣ及び／又は個別部品にわたって分散され得る。様々な実施形態では、システム９０００は、例えば通信バスを介し又は専用入力及び／又は出力ポートを介し他の同様なシステム又は他の電子デバイスへ通信可能に結合され得る。様々な実施形態では、システム９０００は本明細書に記載された態様のうちの１つ又は複数を実現するように構成され得る。

【0143】

システム９０００は、例えば本明細書に記載された様々な態様を実現するためにその中にロードされた命令を実行するように構成された少なくとも１つのプロセッサ９０１０を含み得る。プロセッサ９０１０は、埋め込みメモリ、入出力インターフェース、及び当該技術において知られた様々な他の回路系を含み得る。システム９０００は少なくとも１つのメモリ９０２０（例えば、揮発性メモリデバイス及び／又は不揮発性メモリデバイス）を含み得る。

【0144】

システム９０００は、不揮発性メモリ及び／又は揮発性メモリを含み得るストレージデバイス９０４０を含み得る。不揮発性メモリ及び／又は揮発性メモリは、限定しないが、電気的消去可能ＰＲＯＭ（ＥＥＰＲＯＭ）、読み出し専用メモリ（ＲＯＭ）、プログラマブル読み出し専用メモリ（ＰＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、フラッシュ、磁気ディスクデバイス、及び／又は光ディスクドライブを含む。ストレージデバイス９０４０は、非限定的例として内部ストレージデバイス、取り付け型ストレージデバイス、及び／又はネットワークアクセス可能ストレージデバイスを含み得る。

【0145】

システム９０００は、例えば符号化されたデータ又は復号化されたデータを提供するためにデータを処理するように構成された符号器／復号器モジュール９０３０を含み得、符号器／復号器モジュール９０３０はそれ自身のプロセッサ及びメモリを含み得る。符号器／復号器モジュール９０３０は、符号化及び／又は復号化機能を行うデバイスに含まれ得るモジュールを表し得る。知られているように、このデバイスは、符号化モジュール及び復号化モジュールの一方又は両方を含み得る。加えて、符号器／復号器モジュール９０３０は、システム９０００の別の要素として実装されてもよいし、当業者に知られているようにハードウェアとソフトウェアの組み合わせとしてプロセッサ９０１０内に取り込まれてもよい。

【0146】

本明細書に記載された様々な態様を行うためにプロセッサ９０１０又は符号器／復号器９０３０へロードされるプログラムコードは、ストレージデバイス９０４０内に格納され、その後、プロセッサ９０１０による実行のためにメモリ９０２０へロードされ得る。様々な実施形態によると、プロセッサ９０１０、メモリ９０２０、ストレージデバイス９０４０及び符号器／復号器モジュール９０３０のうちの１つ又は複数は、本明細書に記載された処理の履行中に１つ又は複数の様々なアイテムを格納し得る。このような格納されるアイテムは、限定しないが、ポイントクラウドフレーム、符号化／復号化されたジオメトリ／テクスチャ映像／画像又は符号化／復号化されたジオメトリ／テクスチャ映像／画像の一部、ビットストリーム、マトリクス、変数、数式の処理からの中間又は最終結果、公式、演算、及び演算論理を含み得る。

【0147】

いくつかの実施形態では、プロセッサ９０１０及び／又は符号器／復号器モジュール９０３０の内部のメモリは、命令を格納するために、そして符号化又は復号化中に行われ得る処理のための作業メモリを提供するために使用され得る。

【0148】

しかし、他の実施形態では、処理デバイス（例えば、処理デバイスはプロセッサ９０１０又は符号器／復号器モジュール９０３０のいずれかであり得る）の外のメモリがこれらの機能のうちの１つ又は複数の機能のために使用され得る。外部メモリはメモリ９０２０及び／又はストレージデバイス９０４０例えばダイナミック揮発性メモリ及び／又は不揮発性フラッシュメモリであり得る。いくつかの実施形態では、外部不揮発性フラッシュメモリがテレビのオペレーティングシステムを格納するために使用され得る。少なくとも１つの実施形態では、ＲＡＭなどの高速外部ダイナミック揮発性メモリが、ＭＰＥＧ２パート２（ＩＴＵ−Ｔ勧告Ｈ．２６２及びＩＳＯ／ＩＥＣ １３８１８−２としても知られ、ＭＰＥＧ２映像としても知られる）、ＨＥＶＣ（高効率映像符号化）、又はＶＶＣ（汎用映像符号化：Versatile Video Coding）などの映像符号化及び復号化動作のための作業メモリとして使用され得る。

【0149】

システム９０００の要素への入力はブロック９１３０内に示される様々な入力デバイスを介し提供され得る。このような入力デバイスは、限定しないが（ｉ）例えば放送者により無線で送信されるＲＦ信号を受信し得るＲＦ部、（ｉｉ）コンポジット入力端子、（ｉｉｉ）ＵＳＢ入力端子、及び／又は（ｉｖ）ＨＤＭＩ入力端子を含む。

【0150】

様々な実施形態では、ブロック９１３０の入力デバイスは当該技術において知られるような関連付けられたそれぞれの入力処理要素を有し得る。例えば、ＲＦ部は、（ｉ）所望周波数を選択する（信号を選択する又は信号を周波数帯へ帯域制限するとも呼ばれる）ために、（ｉｉ）選択された信号をダウンコンバートするために、（ｉｉｉ）いくつかの実施形態ではチャネルと呼ばれ得る信号周波数帯を（例えば）選択するために狭帯域の周波数へ再び帯域制限するために、（ｉｖ）ダウンコンバートされ帯域制限された信号を復調するために、（ｖ）誤り訂正を行うために、そして（ｖｉ）データパケットの所望ストリームを選択するために逆多重化するために、必要な要素に関連付けられ得る。様々な実施形態のＲＦ部は、これらの機能を行うために１つ又は複数の要素（例えば周波数選択器、信号選別器、帯域制限器、チャンネル選択器、フィルタ、ダウンコンバータ、復調器、誤り訂正器及び逆多重化器）を含み得る。ＲＦ部は、例えば受信信号をより低い周波数（例えば中間周波数又は近ベースバンド周波数）又はベースバンドへダウンコンバートすることを含む様々なこれらの機能を行う同調器を含み得る。

【0151】

１つのセットトップボックス実施形態では、ＲＦ部及びその関連入力処理要素は有線（例えばケーブル）媒体上で送信されるＲＦ信号を受信し得る。次に、ＲＦ部は、所望周波数帯域へフィルタリング、ダウンコンバート、そして再びフィルタリングすることにより周波数選択を行い得る。

【0152】

様々な実施形態は、上述の（及び他の）要素の順番を再配置する、これらの要素のうちのいくつかを除去する、及び／又は同様又は異なる機能を行う他の要素を追加する。

【0153】

要素を追加することは、既存要素の間に要素を挿入すること（例えば増幅器及びアナログ／デジタル変換器を挿入することなど）を含み得る。様々な実施形態では、ＲＦ部はアンテナを含み得る。

【0154】

加えて、ＵＳＢ及び／又はＨＤＭＩ端子は、システム９０００をＵＳＢ及び／又はＨＤＭＩ接続部にわたって他の電子デバイスへ接続するためのそれぞれのインターフェースプロセッサを含み得る。入力処理の様々な態様（例えばリードソロモン誤り訂正）は例えば必要に応じ別個の入力処理ＩＣ内又はプロセッサ９０１０内で実施され得るということを理解すべきである。同様に、ＵＳＢ又はＨＤＭＩインターフェース処理の態様は必要に応じ別個のインターフェースＩＣ内又はプロセッサ９０１０内で実施され得る。復調、エラー訂正、及び逆多重化ストリームは、出力デバイス上の提示のために必要に応じデータストリームを処理するために、様々な処理要素（例えばプロセッサ９０１０、及びメモリ及びストレージ要素と組み合わせて動作する符号器／復号器９０３０を含む）へ提供され得る。

【0155】

システム９０００の様々な要素は一体化筐体内に設けられ得る。一体化筐体内では、様々な要素は、相互接続され得、好適な接続配置９１４０（例えばＩ２Ｃバス、配線及びプリント回路基板を含む当該技術において知られた内部バス）を使用してデータをその間で送信し得る。

【0156】

システム９０００は、通信チャネル９０６０を介した他のデバイスとの通信を可能にする通信インターフェース９０５０を含み得る。通信インターフェース９０５０は、限定しないが、通信チャネル９０６０上でデータを送信及び受信するように構成された送受信器を含み得る。通信インターフェース９０５０は限定しないがモデム又はネットワークカードを含み得、通信チャネル９０６０は例えば有線及び／又は無線媒体内に実現され得る。

【0157】

データは、様々な実施形態ではＩＥＥＥ８０２．１１などのＷｉ−Ｆｉネットワークを使用することによりシステム９０００へストリームされ得る。これらの実施形態のＷｉ−Ｆｉ信号は、Ｗｉ−Ｆｉ通信に適応化された通信チャネル９０６０及び通信インターフェース９０５０上で受信され得る。これらの実施形態の通信チャネル９０６０は通常、ストリーミングアプリケーション及び他のオーバ・ザ・トップ（over-the-top）通信を可能にするインターネットを含む外部ネットワークへのアクセスを提供するアクセスポイント又はルータへ接続され得る。

【0158】

他の実施形態は、データを入力ブロック９１３０のＨＤＭＩ接続部上で配送するセットトップボックスを使用することによりストリームデータをシステム９０００へ提供し得る。

【0159】

さらに他の実施形態は入力ブロック９１３０のＲＦ接続部を使用することによりストリームデータをシステム９０００へ提供し得る。

【0160】

信号伝達は様々なやり方で成し遂げられ得るということを認識すべきである。例えば、１つ又は複数の構文要素、フラグ等々が、様々な実施形態では情報を対応復号器へ信号伝達するために使用され得る。

【0161】

システム９０００は、ディスプレイ９１００、スピーカ９１１０及び他の周辺デバイス９１２０を含む様々な出力デバイスへ出力信号を提供し得る。他の周辺デバイス９１２０は、実施形態の様々な例では、スタンドアロンＤＶＲ、ディスクプレーヤ、ステレオシステム、照明システム、及びシステム９０００の出力に基づく機能を提供する他のデバイスのうちの１つ又は複数を含み得る。

【0162】

様々な実施形態では、制御信号は、ＡＶ．Ｌｉｎｋ（オーディオ／ビデオリンク）、ＣＥＣ（Consumer Electronics Control）、又はユーザ介入の有無にかかわらずデバイス・ツー・デバイス制御を可能にする他の通信プロトコルなどの信号伝達を使用することにより、システム９０００と、ディスプレイ９１００、スピーカ９１１０、又は他の周辺デバイス９１２０との間で伝達され得る。

【0163】

出力デバイスはそれぞれのインターフェース９０７０、９０８０、９０９０を通る専用接続部を介しシステム９０００へ通信可能に結合され得る。

【0164】

代替的に、出力デバイスは通信インターフェース９０５０を介した通信チャネル９０６０を使用することによりシステム９０００へ接続され得る。ディスプレイ９１００及びスピーカ９１１０は、例えばテレビなどの電子デバイス内のシステム９０００の他の部品と共に単一ユニットへ組み込まれ得る。

【0165】

様々な実施形態では、ディスプレイインターフェース９０７０は例えばタイミングコントローラ（Ｔ Ｃｏｎ）チップなどのディスプレイドライバを含み得る。

【0166】

代替的に、ディスプレイ９１００及びスピーカ９１１０は、例えば入力ブロック９１３０のＲＦ部が別個のセットトップボックスの一部であれば、他の部品のうちの１つ又は複数から分離され得る。ディスプレイ９１００及びスピーカ９１１０が外部部品であり得る様々な実施形態では、出力信号は、例えばＨＤＭＩポート、ＵＳＢポート、又はＣＯＭＰ出力を含む専用出力接続を介し提供され得る。

【0167】

別の実施形態によると、画像を表すポイントクラウドを低減する方法であって、ポイントクラウドの３Ｄ点を投影面上へ投影することによりポイントクラウドの２Ｄパッチを取得することであって、２Ｄパッチは複数の画素を有する、取得すること；パッチを複数の小ブロックへ分割すること；複数の小ブロックの各ブロック内のピクセルの数を判断すること；複数の小ブロックの各ブロック内の判断されたピクセルの数に基づき、更新された占有マップを取得すること；及び更新された占有マップに基づき、再構築されたポイントクラウドを取得することであって、再構築されたポイントクラウドはポイントクラウドの低密度表現である、取得することを含む方法が提供される。

【0168】

別の実施形態によると、画像を表すポイントクラウドを低減するための装置であって、ポイントクラウドの３Ｄ点を投影面上へ投影することによりポイントクラウドの２Ｄパッチを取得する手段であって、２Ｄパッチは複数の画素を有する、手段；パッチを複数の小ブロックへ分割する手段；複数の小ブロックの各ブロック内のピクセルの数を判断する手段；複数の小ブロックの各ブロック内の判断されたピクセルの数に基づき、更新された占有マップを取得する手段；及び更新された占有マップに基づき、再構築されたポイントクラウドを取得する手段であって、再構築されたポイントクラウドはポイントクラウドの低密度表現である、手段を含む装置が提供される。

【0169】

別の実施形態によると、画像を表すポイントクラウドを低減するための装置であって１つ又は複数のプロセッサを含む装置が提供され、１つ又は複数のプロセッサは、ポイントクラウドの３Ｄ点を投影面上へ投影することによりポイントクラウドの２Ｄパッチを取得することであって、２Ｄパッチは複数の画素を有する、取得すること；パッチを複数の小ブロックへ分割すること；複数の小ブロックの各ブロック内のピクセルの数を判断すること；複数の小ブロックの各ブロック内の判断されたピクセルの数に基づき、更新された占有マップを取得すること；及び更新された占有マップに基づき、再構築されたポイントクラウドを取得することであって、再構築されたポイントクラウドはポイントクラウドの低密度表現である、取得することを行うように構成される。

【0170】

別の実施形態によると、再構築されたポイントクラウドを含むビットストリームが提供され、ビットストリームは、ポイントクラウドの３Ｄ点を投影面上へ投影することによりポイントクラウドの２Ｄパッチを取得することであって、２Ｄパッチは複数の画素を有する、取得すること；パッチを複数の小ブロックへ分割すること；複数の小ブロックの各ブロック内のピクセルの数を判断すること；複数の小ブロックの各ブロック内の判断されたピクセルの数に基づき、更新された占有マップを取得すること；及び更新された占有マップに基づき、再構築されたポイントクラウドを取得することであって、再構築されたポイントクラウドはポイントクラウドの低密度表現である、取得することを行うように形成される。

【0171】

別の実施形態によると、実施形態はさらに、更新された占有マップに基づき、更新されたブロック・ツー・パッチ指標を取得することを含み、更新された占有マップの解像度は、更新されたブロック・ツー・パッチ指標の解像度より高い。

【0172】

別の実施形態によると、実施形態はさらに、複数の小ブロックの各小ブロック内のピクセルの数とある値とを比較することを含む。

【0173】

別の実施形態によると、実施形態はさらに、それぞれの小ブロック内のピクセルの数が閾値未満であればそれぞれの小ブロックを未占有に設定することを含む。

【0174】

別の実施形態によると、値は１又は４である。

【0175】

別の実施形態によると、複数の小ブロックは４×４ブロックである。

【0176】

別の実施形態によると、更新されたブロック・ツー・パッチ指標の解像度は１６×１６である。

【0177】

加えて、一実施形態は、１つ又は複数のプロセッサにより実行されると、上述の実施形態の任意の実施形態による符号化方法又は復号化方法を１つ又は複数のプロセッサに行わせる命令を含むコンピュータプログラムを提供する。本実施形態の１つ又は複数の実施形態はまた、映像データを上記方法に従って復号化又は符号化するための命令をその上に格納したコンピュータ可読ストレージ媒体を提供する。１つ又は複数の実施形態はまた、上記方法に従って生成されたビットストリームをその上に格納したコンピュータ可読ストレージ媒体を提供する。１つ又は複数の実施形態はまた、上記方法に従って生成されたビットストリームを送信又は受信するための方法及び装置を提供する。

【0178】

様々な方法が本明細書において説明され、本方法のそれぞれは、上記方法を実現するための１つ又は複数の工程又は行為を含む。特定順番の工程又は行為が本方法の適切な動作に必要でない限り、特定工程及び／又は行為の順番及び／又は使用は修正され得る又は組み合わせられ得る。

【0179】

いくつかの例がブロック図及び動作フロー図に関し説明された。各ブロックは、規定された論理機能（群）を実施するための１つ又は複数の実行可能命令を含む回路要素、モジュール、又はコードの一部分を表す。他の実施形態ではブロック内に示された機能（群）が示された順番から外れて発生し得るということにも注意すべきである。例えば、連続して示された２つのブロックは実際にはほぼ同時に実行され得る、又はこれらのブロックは時に、関与する機能に依存して逆順で実行され得る。

【0180】

本明細書で説明される実施形態及び態様は、例えば方法又は処理、装置、コンピュータプログラム、データストリーム、ビットストリーム、又は信号で実施され得る。単一形式の実施形態の文脈においてだけ論述された（例えば、方法としてだけ論述された）としても、論述された特徴の実施形態はまた他の形式で（例えば装置又はプログラムにおいて）実施され得る。

【0181】

本方法は例えば、処理デバイス全般（例えばコンピュータ、マイクロプロセッサ、集積回路、又はプログラマブルロジックデバイスを含む）を指す例えばプロセッサ内で実施され得る。プロセッサはまた通信デバイスを含む。

【0182】

加えて、本方法は、命令がプロセッサにより行われることにより実施され得、このような命令（及び／又は実施形態により生成されたデータ値）はコンピュータ可読ストレージ媒体上に格納され得る。コンピュータ可読ストレージ媒体は、１つ又は複数のコンピュータ可読媒体内に具現化されるコンピュータ可読プログラム製品であって、コンピュータにより実行可能であるその上に具現化されたコンピュータ可読プログラムコードを有するコンピュータ可読プログラム製品の形式を採り得る。本明細書で使用されるコンピュータ可読ストレージ媒体は、情報をその中に格納する固有能力とそれからの情報の検索を提供する固有能力とを与えられた非一時的記憶媒体と考えられ得る。コンピュータ可読ストレージ媒体は例えば、限定しないが、電子、磁気、光、電磁気、赤外線、又は半導体システム、装置、デバイス又は上述したものの任意の好適な組み合わせであり得る。以下のものは、本実施形態が適用され得るコンピュータ可読ストレージ媒体のより具体的な例を提供する一方で、当業者により容易に理解されるように、単に例示的であり、網羅的リストでないということを認識すべきである：携帯型コンピュータディスケット；ハードディスク；読み取り専用メモリ（ＲＯＭ）；消去可能プログラマブルＲＯＭ（ＥＰＲＯＭ又はフラッシュメモリ）；ポータブルコンパクトディスク読み取り専用メモリ（ＣＤ−ＲＯＭ）；光学的ストレージデバイス；磁気的ストレージデバイス；又は上述したものの任意の好適な組み合わせ。

【0183】

命令はプロセッサ可読媒体上に有形に具現化されたアプリケーションプログラムを形成し得る。

【0184】

命令は例えばハードウェア、ファームウェア、ソフトウェア又はその組み合わせであり得る。命令は、例えばオペレーティングシステム、別個のアプリケーション、又はこれら２つ組み合わせにおいて見出され得る。したがって、プロセッサは、例えば処理を行うように構成されたデバイスと処理を行うための命令を有するプロセッサ可読媒体を含むデバイス（ストレージデバイスなどの）との両方として特徴付けられ得る。さらに、プロセッサ可読媒体は、命令に加えて又はその代りに、実施形態により生成されたデータ値を格納し得る。

【0185】

装置は例えば適切なハードウェア、ソフトウェア及びファームウェアで実現され得る。このような装置の例は、パーソナルコンピュータ、ラップトップ、スマートフォン、タブレットコンピュータ、デジタルマルチメディアセットトップボックス、デジタルＴＶ受信機、パーソナル録画システム、コネクテッド家庭用機器、頭部装着型ディスプレイデバイス（ＨＭＤ：head mounted display device、シースルー眼鏡）、プロジェクタ、「ケーブ」（複数のディスプレイを含むシステム）、サーバ、映像符号器、映像復号器、映像復号器からの出力を処理するポストプロセッサ、入力を映像符号器へ提供するプリプロセッサ、ウェブサーバ、セットトップボックス、ポイントクラウド、映像又は画像を処理するための任意の他のデバイス、又は他の通信デバイスを含む。明らかなように、これらの機器は可動であり、移動車両内にすら設置され得る。

【0186】

コンピュータソフトウェアは、プロセッサ９０１０により、又はハードウェアにより、又はハードウェア及びソフトウェアの組み合わせにより実現され得る。非限定的例として、実施形態はまた１つ又は複数の集積回路により実現され得る。メモリ９０２０は、技術的環境に適切な任意のタイプのものであり得、非限定的例として光メモリデバイス、磁気メモリデバイス、半導体ベースメモリデバイス、固定メモリ及び着脱可能メモリなどの任意の適切なデータストレージ技術を使用して実現され得る。プロセッサ９０１０は、技術的環境に適切な任意のタイプのものであり得、非限定的例として、マイクロプロセッサ、汎用コンピュータ、特殊用途コンピュータ、及びマルチコアアーキテクチャに基づくプロセッサのうちの１つ又は複数を包含し得る。

【0187】

当業者に明らかになるように、実施形態は、例えば格納又は送信され得る情報を運ぶようにフォーマット化される多様な信号を生成し得る。情報は、例えば方法を実行するための命令又は説明された実施形態の１つにより生成されるデータを含み得る。例えば、信号は説明された実施形態のビットストリームを運ぶためにフォーマット化され得る。このような信号は、例えば電磁波として（例えば、スペクトルの高周波部分を使用して）又はベースバンド信号としてフォーマット化され得る。フォーマット化は例えば、データストリームを符号化することと、符号化データストリームにより搬送波を変調することとを含み得る。信号が運ぶ情報は例えばアナログ又はデジタル情報であり得る。信号は、知られているように多種多様な有線又は無線リンク上で送信され得る。信号はプロセッサ可読媒体上に格納され得る。

【0188】

本明細書で使用される専門用語は、特定実施形態を説明する目的のためだけのものであり、本発明を制限するようには意図されていない。本明細書で使用されるように、文脈が明示しない限り単数形の冠詞「a」、「an」と定冠詞「the」は複数形も同様に含むように意図され得る。用語「含む（includes/comprises及び／又はincluding/comprising）」は本明細書で使用される場合、述べられた例えば機能、数、工程、動作、要素、及び／又は部品の存在を規定し得るが、１つ又は複数の他の機能、数、工程、動作、要素、部品、及び／又はこれらのグループの存在又は追加を排除するものではないということもさらに理解されることになる。さらに、要素が別の要素に「応答する（responsive）」又は「接続される（connected）」として参照される場合、要素は他の要素に直接応答し得る又は接続され得る、又は介在要素が存在し得る。対照的に、要素が他の要素に「直接応答する（directly responsive）」又は「直接接続される（directly connected）」として参照される場合、いかなる介在要素も存在しない。

【0189】

例えば「Ａ／Ｂ」、「Ａ及び／又はＢ」並びに「Ａ及びＢの少なくとも１つ」のケースにおける符号／項「／」、「及び／又は」、並びに「少なくとも１つ」のうちの任意ものの使用は、第１の列記された選択肢（Ａ）だけの選択、又は第２の列記された選択肢（Ｂ）だけの選択、又は両方の選択肢（Ａ及びＢ）の選択を包含するように意図され得る。別の例として、「Ａ、Ｂ及び／又はＣ」並びに「Ａ、Ｂ及びＣの少なくとも１つ」の場合、このような言い回しは第１の列記された選択肢（Ａ）だけの選択、又は第２の列記された選択肢（Ｂ）だけの選択、又は第３の列記された選択肢（Ｃ）だけの選択、又は第１及び第２の列記された選択肢（Ａ及びＢ）だけの選択、又は第１及び第３の列記された選択肢（Ａ及びＣ）だけの選択、又は第２及び第３の列記された選択肢（Ｂ及びＣ）だけの選択、又はすべての３つの選択肢（Ａ及びＢ及びＣ）の選択を包含するように意図されている。これは、当業者及び関連業者に明らかなように、列挙される限り多くのアイテムに拡張され得る。

【0190】

様々な数値（例えばパッチのそれぞれの小ブロック内のピクセルの数との比較のための閾値１又は４）が本出願において使用され得る。特定値は例示的目的のためのものであり得、したがって説明される態様はこれらの特定値に限定されない。

【0191】

第１、第２などの用語は様々な要素を記述するために本明細書において使用され得るがこれらの要素はこれらの用語により制限されないということが理解される。これらの用語は１つの要素を別の要素から区別するためにだけ使用される。例えば、本出願の教示から逸脱することなく第１の要素は第２の要素と称せられる可能性があり、同様に第２の要素は第１の要素と称せられる可能性がある。いかなる順序付けも第１の要素と第２の要素との間に暗示されない。

【0192】

「一実施形態」又は「実施形態」又は「一実施」又は「実施」、及びその他の変形への参照は、特定の機能、構造、特徴等々（実施形態／実施に関連して説明される）が少なくとも１つの実施形態／実施に含まれるということを伝えるために頻繁に使用される。したがって、本出願の全体にわたって様々な場所に出現する語句「一実施形態において」又は「実施形態において」又は「一実施において」又は「実施において」、及び「他の変形において」の出現は必ずしも同じ実施形態を参照するとは限らない。

【0193】

同様に、「実施形態／例／実施に従って」又は「実施形態／例／実施において」、及びその他の変形への本明細書での参照は、特定の機能、構造、又は特徴（実施形態／例／実施に関連して説明される）が少なくとも１つの実施形態／例／実施に含まれ得るということを伝えるために頻繁に使用される。したがって、本明細書の様々な場所における表現「実施形態／例／実施に従って」又は「実施形態／例／実施における」の出現は、同じ実施形態／例／実施を必ずしも参照するとは限らないし、他の実施形態／例／実施の必然的に互いに排他的な別個の又は代替の実施形態／例／実施を参照するとは限らない。

【0194】

特許請求の範囲において出現する参照符号は、例示としてだけのものであり、したがって特許請求の範囲にいかなる限定的影響も与えない。明示的に述べないが、本実施形態／例及び変形は任意の組み合わせ又は副組み合わせで採用され得る。

【0195】

図がフロー図として提示される場合、図はまた対応装置のブロック図を提供するということを理解すべきである。同様に、図がブロック図として提示される場合、図は対応方法／処理のフロー図も提供するということを理解すべきである。

【0196】

線図のうちのいくつかは通信の主方向を示すために通信経路上の矢印を含むが、通信は描写された矢印の反対方向に発生し得るということを理解すべきである。

【0197】

様々な実施形態が復号化に関与する。本出願において使用される「復号化」は、再構築されたポイントクラウド領域における表示又はさらなる処理に好適な最終出力を生成するために、例えば受信されたポイントクラウドフレーム（１つ又は複数のポイントクラウドフレームを符号化する受信されたビットストリームを恐らく含む）に対し行われる処理のすべて又は一部を包含し得る。様々な実施形態では、このような処理は、通常は画像ベース復号器により行われる処理のうちの１つ又は複数を含む。様々な実施形態では、このような処理はまた、又は代替的に、本出願において説明される様々な実施形態の復号器により（例えば図２の復号器２０００又は図４の復号器４０００により）行われる処理を含む。

【0198】

別の例として、一実施形態では「復号化」はエントロピー復号化することだけを指し得、別の実施形態では「復号化」は差分復号化だけを指し得、別の実施形態では「復号化」はエントロピー復号化と差分復号化との組み合わせを指し得る。語句「復号化処理」が、特に動作の部分集合又は一般的により広い復号化処理を参照するように意図されているかは特定説明の文脈に基づき明らかとなり、したがって当業者により十分に理解されると考えられる。

【0199】

様々な実施形態が符号化に関与する。「復号化」に関する上記論述と同様なやり方で、本出願において使用される「符号化」は、符号化されたビットストリームを生成するために例えば入力ポイントクラウドフレームに対し行われる処理のすべて又は一部を包含し得る。様々な実施形態では、このような処理は画像ベース復号器により通常行われる処理のうちの１つ又は複数を含む。様々な実施形態では、このような処理はまた、又は代替的に、本出願において説明される様々な実施形態の復号器により（例えば図１の復号器１０００又は図３の復号器３０００により）行われる処理を含む。

【0200】

加えて、本出願は様々な情報を「判断する」ことに言及し得る。情報を判断することは、例えば情報を推定すること、情報を計算すること、情報を予測すること、又はメモリから情報を取り出すことのうちの１つ又は複数を含み得る。

【0201】

さらに、本出願は様々な情報に「アクセスする」ことに言及し得る。情報へアクセスすることは、例えば情報を受信すること、情報を（例えばメモリから）取り出すこと、情報を格納すること、情報を移動すること、情報を複製すること、情報を計算すること、情報を判断すること、情報を予測すること、又は情報を推定することのうちの１つ又は複数を含み得る。

【0202】

加えて、本出願は様々な情報を「受信すること」に言及し得る。受信することは「アクセスすること」と同様に広義語であるように意図されている。情報を受信することは例えば情報にアクセスすること又は情報を（例えばメモリから）取り出すことを含み得る。さらに、「受信すること」は通常、例えば情報を格納すること、情報を処理すること、情報を送信すること、情報を移動すること、情報を複製すること、情報を消去すること、情報を計算すること、情報を判断すること、情報を予測すること、又は情報を推定することなどの動作中に何らかのやり方で関与する。

【0203】

多くの実施形態が説明された。それにもかかわらず、様々な修正がなされ得るということが理解される。例えば、様々な実施形態の要素は、他の実施形態を生成するために組み合わせられ、修正され、補完され、又は除去され得る。加えて、当業者は「他の構造及び処理が、開示されたものを置換し得る」ということと、「その結果の実施形態は、開示された実施形態と少なくともほぼ同じ結果を実現するために少なくともほぼ同じやり方で少なくともほぼ同じ機能を実行することになる」ということとを理解することになる。したがって、これら及び他の実施形態は本出願により企図される。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図8a】

【図9】

【国際調査報告】