特許 7389751 三次元物体を表すポイントクラウドを符号化／復号する方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-11-21

(45)【発行日】2023-11-30

(54)【発明の名称】三次元物体を表すポイントクラウドを符号化／復号する方法及び装置

(51)【国際特許分類】

   H04N 19/597 20140101AFI20231122BHJP

   H04N 19/46 20140101ALI20231122BHJP

   H04N 19/85 20140101ALI20231122BHJP

   G06T 17/00 20060101ALI20231122BHJP

【ＦＩ】

H04N19/597

H04N19/46

H04N19/85

G06T17/00

【請求項の数】 15

(21)【出願番号】P 2020548994

(86)(22)【出願日】2019-04-01

(65)【公表番号】

(43)【公表日】2021-08-02

(86)【国際出願番号】 US2019025130

(87)【国際公開番号】W WO2019199510

(87)【国際公開日】2019-10-17

【審査請求日】2022-03-28

(31)【優先権主張番号】18305430.3

(32)【優先日】2018-04-11

(33)【優先権主張国・地域又は機関】EP

(31)【優先権主張番号】18306133.2

(32)【優先日】2018-08-23

(33)【優先権主張国・地域又は機関】EP

(73)【特許権者】

【識別番号】518338149

【氏名又は名称】インターデジタル ヴイシー ホールディングス， インコーポレイテッド

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(74)【代理人】

【識別番号】100108213

【弁理士】

【氏名又は名称】阿部 豊隆

(72)【発明者】

【氏名】ツァイ，カンイン

(72)【発明者】

【氏名】リカード，ジュリアン

(72)【発明者】

【氏名】ラック，ジョアン

【審査官】田部井 和彦

(56)【参考文献】

【文献】国際公開第２０１９／１４２６６６（ＷＯ，Ａ１）

【文献】特表２０１６－５１１４５７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ １９／５９７

Ｈ０４Ｎ １９／４６

Ｈ０４Ｎ １９／８５

Ｇ０６Ｔ １７／００

(57)【特許請求の範囲】

【請求項1】

ポイントクラウドの第１の点の第１の深度値及び前記ポイントクラウドの第２の点の第２の深度値を復号することであって、前記第１の点及び前記第２の点は、同じ投影線に沿って投影面上に正射影される、ことと、
前記投影線に沿った位置が占有されていることを示す情報に応答して、前記投影線に沿った前記位置から前記ポイントクラウドの第３の点を再構成することと
を含み、
前記情報は、前記投影線に沿った前記第１の深度値と前記第２の深度値との間にある位置の占有を表すビットを連結するコード語から取得された１つのビットである、方法。

【請求項2】

ポイントクラウドの第１の点の第１の深度値及び前記ポイントクラウドの第２の点の第２の深度値を復号するように構成され、前記第１の点及び前記第２の点は、同じ投影線に沿って投影面上に正射影され、
前記投影線に沿った位置が占有されていることを示す情報に応答して、前記投影線に沿った前記位置から前記ポイントクラウドの第３の点を再構成するように構成され、
前記情報は、前記投影線に沿った前記第１の深度値と前記第２の深度値との間にある位置の占有を表すビットを連結するコード語から取得された１つのビットである、少なくとも１つのプロセッサを含むデバイス。

【請求項3】

前記コード語をビットストリームから受信することを更に含む、請求項１に記載の方法。

【請求項4】

前記コード語をビットストリームから受信するように、前記少なくとも１つのプロセッサは更に構成されている、請求項２に記載のデバイス。

【請求項5】

前記コード語を画像データから取得する、請求項１に記載の方法。

【請求項6】

前記コード語を画像データから取得する、請求項２に記載のデバイス。

【請求項7】

前記投影線に沿った前記第１の深度値と前記第２の深度値との間に位置決めされる点の少なくとも１つの属性を画像データから取得するか前記ポイントクラウドの他の点の少なくとも１つの属性から取得するかを示す情報をビットストリームから取得することを更に含む、請求項１又は３のいずれか一項に記載の方法。

【請求項8】

－同じ投影線に沿って投影面上にポイントクラウドの第１の点及び第２の点を正射影することと、
－前記投影線上の位置を占有するか否かを示す情報をビットストリームに符号化することとを含み、
前記情報は、前記投影線に沿った前記第１の点の第１の深度値と前記第２の点の第２の深度値との間にある位置の占有を表すビットを連結するコード語の１つのビットである、
方法。

【請求項9】

－同じ投影線に沿って投影面上にポイントクラウドの第１の点及び第２の点を正射影し、
－前記投影線上の位置を占有するか否かを示す情報をビットストリームに符号化するように構成され、
前記情報は、前記投影線に沿った前記第１の点の第１の深度値と前記第２の点の第２の深度値との間にある位置の占有を表すビットを連結するコード語の１つのビットである、少なくとも１つのプロセッサを含むデバイス。

【請求項10】

前記コード語を画像データとして符号化する、請求項９に記載のデバイス。

【請求項11】

前記投影線に沿った前記第１の深度値と前記第２の深度値との間に位置決めされる点の少なくとも１つの属性を画像データとして符号化するか否かを示す情報を符号化する、請求項９又は１０のいずれか一項に記載のデバイス。

【請求項12】

前記コード語を画像データとして符号化する、請求項８に記載の方法。

【請求項13】

前記投影線に沿った前記第１の深度値と前記第２の深度値との間に位置決めされる点の少なくとも１つの属性を画像データとして符号化するか否かを示す情報を符号化する、請求項８又は１２のいずれか一項に記載の方法。

【請求項14】

プログラムを１つ又は複数のプロセッサによって実行する場合、請求項１、３、５、７、８、１２、１３のいずれか一項に記載の方法を前記１つ又は複数のプロセッサに実行させる命令を含むコンピュータプログラム製品。

【請求項15】

請求項１、３、５、７、８、１２、１３のいずれか一項に記載の方法を１つ又は複数のプロセッサに実行させる命令を含む持続性コンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

２．分野。
本原理は一般的に、三次元物体を表すポイントクラウドのコーディング及び復号に関する。特に、本原理の技術分野は、ポイントクラウドの投影ベースの符号化／復号に関する。

【背景技術】

【0002】

３．背景。
本節は、様々な技術態様に読者を紹介することを目的としており、以下に説明及び／又は請求されている本原理の様々な態様に関する。この説明は、本原理の様々な態様のより良い理解を容易にするために、背景情報を読者に提供するのに役立つと考えられる。従って、これらの説明は、この観点から読まれるべきであり、先行技術の承認としてではないものとする。

【0003】

ポイントクラウドは、三次元物体（但し、メッシュのような他のデータフォーマットによって効率的に表されることができない髪又は毛皮のようなより複雑な形状）の外面を表すように通常意図されている点の集合である。ポイントクラウドの各点を、三次元空間位置（三次元空間におけるＸ、Ｙ、及びＺ座標）、及び場合によっては、ＲＧＢ又はＹＵＶ色空間（例えば、透明度、反射率、法線ベクトルなど）で表される色などの他の関連属性によって規定することが多い。

【0004】

着色ポイントクラウドは、６成分点（Ｘ、Ｙ、Ｚ、Ｒ、Ｇ、Ｂ）又は同等に（Ｘ、Ｙ、Ｚ、Ｙ、Ｕ、Ｖ）（但し、（Ｘ、Ｙ、Ｚ）は、三次元空間における点の空間位置を規定し、（Ｒ、Ｇ、Ｂ）又は（Ｙ、Ｕ、Ｖ）は、この点の色を規定する）の集合であってもよい。

【0005】

下記で、用語「ポイントクラウド」は、着色ポイントクラウドを含む任意のポイントクラウドを意味する。

【0006】

着色ポイントクラウドは、ポイントクラウドが時間に対して進化するか否かによって静的又は動的であってもよい。動的ポイントクラウドの場合、点の数は、必ずしも一定である必要はないが、一般的に時間と共に進化することに留意すべきである。従って、動的ポイントクラウドは、点の集合の時間順序付きリストである。

【0007】

実際に、物体を送信又は視察することなく物体の空間構成を共用するために、着色ポイントクラウドを、状態又は建造物のような物体を三次元で走査する文化遺産／建造物などの様々な目的のために使用してもよい。更に、物体が破壊され得る場合の物体（例えば、地震による寺）の知識の保存を保証する方法である。このような着色ポイントクラウドは典型的に、静的で非常に大きい。

【0008】

別の使用の場合は、三次元表現を使用することによって、地図が、平面に限定されず、起伏を含んでもよい地形及び地図製作にある。

【0009】

更に、自動車産業及び自律走行車は、ポイントクラウドを使用することができる分野である。自律走行車は、自律走行車のすぐ近くの現実に基づいて安全運転決定を行う環境を「証明する」ことができるはずである。典型的なセンサーは、決定エンジンによって使用される動的ポイントクラウドを生成する。これらのポイントクラウドは、人によって見られるように意図されていない。典型的に、ポイントクラウドは、小さく、必ずしも着色されているわけではなく、高い収集頻度で動的である。ポイントクラウドは、検出物体の物理面の材料と相関がある貴重な情報であり、決定に役立つことができる反射率のような他の属性を有してもよい。

【0010】

仮想現実（ＶＲ）及び没入型世界は、最近ホットな話題になっており、二次元平面ビデオの未来として多くの人によって予測されている。基本的な考えは、視聴者の前で仮想世界を視聴者が単に見ることができる標準的なテレビに対向して視聴者の周囲全体の環境に視聴者を没入させることである。環境内の視聴者の自由によって没入性に幾つかの階調がある。着色ポイントクラウドは、仮想現実世界を配信する優れたフォーマット候補である。着色ポイントクラウドは、静的又は動的であってもよく、典型的に、着色ポイントクラウドの平均サイズは、例えば、一度に数百万点以下である。

【0011】

エンドユーザに対して実際の記憶／伝送を可能にするのにビットストリームのサイズが十分小さい場合に限り、ポイントクラウド圧縮は、没入型世界に対する三次元物体の記憶／伝送に成功する。

【0012】

更に、経験の許容できる（又は好ましくは、非常に優れた）品質を維持しながら、帯域幅の妥当な消費で、エンドユーザに動的ポイントクラウドを配信することは重要である。ビデオ圧縮と同様に、時間的相関関係の良い使用法は、動的ポイントクラウドの効率的な圧縮をもたらす重要な要素であると考えられる。

【0013】

周知の手法は、ポイントクラウドの色情報を表すテクスチャ、及びポイントクラウドの形状情報を表す深度情報を含むビデオを取得し、三次元ＨＥＶＣ（ＩＴＵウェブサイト、Ｔ推奨、Ｈシリーズ、ｈ２６５、https://www.itu.int/rec/T-REC-H.265-201802-I付録Ｉで仕様が見付けられるＨＥＶＣの拡張）などのレガシー符号器を用いてテクスチャ及び深度ビデオをコーディングするために、三次元物体を含む立方体の面に、三次元物体の形状及び色を表す着色ポイントクラウドを投影する。

【0014】

圧縮の性能は、各投影点に対してビデオ圧縮に近い。しかし、幾つかの内容は、動的ポイントクラウドを考える場合、閉塞、冗長性及び時間的安定性のために、より複雑であることがある。その結果、ポイントクラウド圧縮は、ビット速度に関してビデオ圧縮よりも要求が厳しい。

【0015】

閉塞に関して、多くの投影を使用することなく複雑なトポロジーの完全な形状を得ることは殆ど不可能である。従って、これらの全投影を符号化／復号するのに必要な資源（計算能力、記憶メモリ）は通常、非常に大きい。

【0016】

テクスチャ及び深度投影方式を用いたポイントクラウド符号器／復号器（コーデック）が、１２０回目のＭＰＥＧ会議中に、最近提案されている。この方式は、ISO/IEC JTC1/SC29 WG11 Doc. N17248,Macau,CN、２０１７年１０月の文献に記載されており、提案方式は、「ポイントクラウド圧縮試験モデルカテゴリ２バージョン０．０（Point cloud compression Test Model Category 2 version 0.0） （ＴＭＣ２ｖ０）」と呼ばれる。

【0017】

この符号器／復号器は、動的ポイントクラウドデータを異なるビデオ列の集合に基本的に変換することによって、動的ポイントクラウドの形状及びテクスチャ情報を圧縮する既存のビデオ符号器／復号器を活用する。

【0018】

特に、既存のビデオ符号器／復号器、例えば、ＨＥＶＣ主プロファイル符号器を用いて、２つのビデオ列（ポイントクラウドデータの形状情報を収集する１つのビデオ列、及びテクスチャ情報、即ち点の色を収集するもう１つのビデオ列）を、生成して圧縮する。

【0019】

更に、２つのビデオ列を解釈するのに必要な追加メタデータ、即ち、占有マップ及び補助パッチ／ブロック情報を、別々に生成して圧縮する。次に、最終ポイントクラウドビットストリームを生成するように、生成ビデオビットストリーム及びメタデータを一緒に多重化する。更に、メタデータを、算術符号器／復号器などのエントロピー符号器／復号器によって符号化する。

【0020】

このポイントクラウド符号器／復号器の例示的な符号器２の構造を、図１に表す。

【0021】

符号器２は、３つの主なブロック、形状圧縮ブロック４、メタデータ圧縮ブロック６及びテクスチャ圧縮ブロック８を含む。

【0022】

形状圧縮ブロック４は、入力ポイントクラウドを深度パッチに分解する深度パッチ生成ブロック１０を含む。

【0023】

深度パッチ生成処理１０は、再構成誤差も最小限にしながら、滑らかな境界を有する最小数の深度パッチにポイントクラウドを分解することを目的とする。深度パッチは、深度値に対応付けられる画素のグループによってポイントクラウドの一部を表す。

【0024】

一例として、図２に詳述する下記の手法を実施する。

【0025】

まず、Hugues Hoppe,Tony DeRose,Tom Duchamp,John McDonald,Werner Stuetzle,“Surface reconstruction from unorganized points”，ACM SIGGRAPH 1992 Proceedings,71-78に記載のように、あらゆる点における法線を、１０２で推定する。

【0026】

次に、それらの法線によって規定される下記の６つの有向面のうち１つに各点を対応付けることによって、ポイントクラウドの初期クラスタリングを、１０４で取得する。
－（１．０、０．０、０．０）
－（０．０、１．０、０．０）
－（０．０、０．０、１．０）
－（－１．０、０．０、０．０）
－（０．０、－１．０、０．０）、及び
－（０．０、０．０、－１．０）

【0027】

より正確には、各点を、最も近い法線を有する平面に対応付ける（即ち、点法線及び平面法線のドット積を最大化する）。

【0028】

一実施形態によれば、上述の６つの有向面を、下記のように索引付けする。
－（１．０、０．０、０．０）を、クラスター索引０によって索引付けする。
－（０．０、１．０、０．０）を、クラスター索引１によって索引付けする。
－（０．０、０．０、１．０）を、クラスター索引２によって索引付けする。
－（－１．０、０．０、０．０）を、クラスター索引０によって索引付けする。
－（０．０、－１．０、０．０）を、クラスター索引１によって索引付けする。
－（０．０、０．０、－１．０）を、クラスター索引２によって索引付けする。

【0029】

次に、各点を、対応するクラスターの索引に対応付ける。

【0030】

次に、点の法線及び最も近い隣接のクラスター索引に基づいて各点に対応付けられたクラスター索引を繰り返し更新することによって、初期クラスタリングを改善する。一実施形態によれば、考えられる点に対して、全隣接点（例えば、三次元空間における現在点までの距離が２未満である全点）を、クラスターＡとして知られている１つのクラスターに割り当て、考えられる点を別のクラスターに割り当てる、考えられる点のクラスター索引を、クラスターＡに更新する。

【0031】

次に、接続成分抽出手順を適用する、即ち、同じクラスター索引を有する隣接点を抽出して接続成分を形成することによって、深度パッチを、１０６で抽出する。一実施形態によれば、下記の２つの条件を同時に満たす全点をグループ化することによって、１つの接続成分を構成する。
－同じクラスター索引を有する全点
－関連接続成分における各点に対して、現在点までの距離が事前定義閾値（例えば、１に等しい）未満である同じ接続成分における少なくとも１つの点が存在する。

【0032】

各接続成分を、接続成分のクラスター索引、即ち、接続成分に属する点のクラスター索引、に従って投影面に対応付ける。一実施形態は、下記の通りである。
－クラスター索引０を有する接続成分に対するＹＯＺ平面
－クラスター索引１を有する接続成分に対するＸＯＺ平面
－クラスター索引２を有する接続成分に対するＸＯＹ平面

【0033】

同じ投影線に沿った多くの点の場合、投影線は、３つの座標（Ｘ、Ｙ、Ｚ）のうち２つの同じ座標を有する点を含む。例えば、投影線は、同じ（Ｘ、Ｙ）座標を有する全点から構成されることがあり、より良く処理するために、２つの深度パッチを、各接続成分に対して生成し、対応する画素の最小及び最大深度値に対応し、Ｄ１－Ｄ０＜＝表面厚さ（但し、表面厚さは、最大表面厚さであり、例えば、４に等しい）を満たす深度値Ｄ０及びＤ１を記録する。

【0034】

より正確には、｛Ｈ（ｕ、ｖ）｝を、同じ画素（ｕ、ｖ）に投影された現在接続成分の点の集合とする。近い層とも呼ばれる第１の深度パッチは、最低深度Ｄ０を有する｛Ｈ（ｕ、ｖ）｝内の点の深度を記憶する。遠い層と呼ばれる第２の深度パッチは、区間［Ｄ０、Ｄ０＋表面厚さ］内で最高深度を有する｛Ｈ（ｕ、ｖ）｝内の点を収集する。

【0035】

深度パッチ生成ブロック１０の後に、パッキングブロック１２が続く。このパッキングブロック１２は、全投影接続成分を二次元グリッドにマップしながら、未使用空間を最小化しようとし、このグリッドのあらゆるＴ×Ｔ（例えば、１６×１６）ブロック（但し、Ｔは、ビットストリームに符号化され復号器に送信されるユーザ定義パラメータである）を固有投影接続成分に対応付けることを保証する。二次元グリッド上の各点は、画像上の画素に対応する。

【0036】

パッキングは、Ｗ×Ｈグリッド（但し、Ｗ及びＨは、符号化される形状／テクスチャ画像の解像度に対応するユーザ定義パラメータ（例えば、１０２８×１０２８）である）にパッチを繰り返し挿入しようとする単純なパッキング戦略を使用する。ラスター走査順序で実行される徹底探索によって、パッチ位置を判定する。パッチの重複無し挿入を保証することができる第１の位置を選択し、パッチによって覆われるグリッドセルを、使用されるようにマーク付けする。現在画像解像度における空空間がパッチに適合することができない場合、グリッドの高さＨを、一時的に２倍にし、探索を再度適用する。処理の終わりに、使用グリッドセルに適用するように、Ｈを切り抜く。二次元グリッドにおけるパッキング位置（各パッチの投影領域のバウンディングボックスの左上隅の位置）、及び各パッチの投影領域のサイズを、圧縮ビットストリームに信号伝送する。

【0037】

占有マップを、パッキングブロック１２からメタデータ圧縮ブロック６に出力する。占有マップは、グリッドの各セルに対して、グリッドの各セルが、空空間に属するか、グリッドの各セルが、ポイントクラウドに属するかどうかを示す２進マップから構成される（但し、二次元グリッドの１つのセルは、画像生成処理中に深度を伝える画素又は色情報を生成する）。

【0038】

更に、形状圧縮ブロック４は、画像生成ブロック１４を含み、この画像生成ブロック１４は、パッキング処理１２中に計算される三次元から二次元のマッピング、より詳細には、各接続成分の投影領域のパッキング位置及びサイズを利用して、ポイントクラウドの形状を画像として記憶する。

【0039】

各接続成分に対して２つの深度パッチを生成するという事実に対応して、２つの画像を生成して、ＤｅｐｔｈＩｍｇ０及びＤｅｐｔｈＩｍｇ１と呼ばれるポイントクラウドの形状を記憶する。

【0040】

符号器２の画像生成ブロック１４について、図３を参照して更に詳述する。

【0041】

画像生成は、各パッチの投影領域のパッキング位置に従って、各パッチのＤ０値を第２のグリッドの対応する部分に複写するパッキング処理（深度Ｄ０パッキング）を含む。

【0042】

更に、画像生成は、ｄｅｐｔｈＩｍａｇｅ０の各占有画素に対して、デルタ＿深度＝Ｄ１－Ｄ０（Ｄ１及びＤ０は、同じ投影線上にある）であり、対応するＤ０値を記憶する同じ位置にデルタ＿深度を記憶するデルタ深度判定を含む。

【0043】

更に、画像生成は、下記のような時間インターリービング（ｄｅｐｔｈＩｍａｇｅ０＿０、ｄｅｐｔｈＩｍａｇｅ１＿０、…、ｄｅｐｔｈＩｍａｇｅ０＿ｉ、ｄｅｐｔｈＩｍａｇｅ１＿ｉ、…、ｄｅｐｔｈＩｍａｇｅ０＿ｎ、ｄｅｐｔｈＩｍａｇｅ１＿ｎ）（但し、ｄｅｐｔｈＩｍａｇｅ０＿ｉ及びｄｅｐｔｈＩｍａｇｅ１＿ｉをポイントクラウドフレームｉから生成する）を含む。

【0044】

更に、画像生成は、ビデオ圧縮に適している区分的に滑らかな画像を生成するためにパッチ間の空空間に充填することを目的とするパディング処理２０を含む。このパディング処理は、下記のように進む単純なパディング戦略を使用する。
・Ｔ×Ｔ（例えば、１６×１６）画素の各ブロックを独立して処理する。
・ブロックが空である（即ち、全画素が空空間に属する）場合、ラスター順序で前のＴ×Ｔブロックの最後の行又は列を複写することによって、ブロックの画素に充填する。
・ブロックが一杯である（即ち、空画素がない）場合、何もしない。
・ブロックが空画素及び充填画素の両方を有する場合、非空隣接の平均値を空画素に繰り返し充填する。

【0045】

画像生成ブロック１４の後に、深度ビデオ符号化ブロック２２が続く。この深度ビデオ符号化ブロック２１では、ＨＭ１６などの任意のレガシービデオ符号器／復号器を用いて、生成深度画像を、ビデオフレームとして記憶して圧縮する。ＨＭ構成に従う１６個のビデオ符号器／復号器を、パラメータとして与える。

【0046】

符号器２のメタデータ圧縮ブロック６において、パッチ毎／接続成分メタデータと呼ばれる下記のメタデータを、下記のように、あらゆる接続成分に対して、収集して符号化する。
・投影面の索引
○平面（１．０、０．０、０．０）及び（－１．０、０．０、０．０）に対する索引０
○平面（０．０、１．０、０．０）及び（０．０、－１．０、０．０）に対する索引１
○平面（０．０、０．０、１．０）及び（０．０、０．０、－１．０）に対する索引２
・パック形状／テクスチャ画像上の二次元バウンディングボックス（ｕ０、ｖ０、ｕ１、ｖ１）
・深度シフトδ０、接線シフトｓ０及び２接線シフトｒ０の観点から表される接続成分の三次元位置（ｘ０、ｙ０、ｚ０）

【0047】

選択投影面に従って、（δ０、ｓ０、ｒ０）を、下記のように計算する。
○索引０、δ０＝ｘ０、ｓ０＝ｚ０、及びｒ０＝ｙ０
○索引１、δ０＝ｙ０、ｓ０＝ｚ０、及びｒ０＝ｘ０
○索引２、δ０＝ｚ０、ｓ０＝ｘ０、及びｒ０＝ｙ０

【0048】

更に、各Ｔ×ＴブロックにＴ×Ｔブロックの関連パッチ／接続成分索引を提供するマッピング情報（ブロック対パッチマップと呼ばれる）を、下記のように、生成して符号化する。
・各Ｔ×Ｔブロックに対して、Ｌを、二次元バウンディングボックスがそのブロックを含むようにパッチの索引の順序付きリストとする。リストにおける順序は、二次元バウンディングボックスを符号化するために使用される順序と同じである。Ｌは、候補パッチのリストと呼ばれる。
・形状／テクスチャ画像上のパッチ間の空空間を、パッチと考え、全ブロックの候補パッチリストに追加される特殊索引０を、この空空間に割り当てる。
・Ｉを、現在Ｔ×Ｔブロックを占有するパッチの索引とし、Ｊを、ＬにおけるＩの位置とする。索引Ｉを明示的に符号化する代わりに、Ｉの位置Ｊを算術的に符号化し、その結果、より良い圧縮効率をもたらす。

【0049】

更に、メタデータ圧縮ブロック６は、占有マップの符号化を実施する。

【0050】

占有マップ圧縮は、空のＴ×Ｔブロック（即ち、パッチ索引０を有するブロック）を検出するために、上述のブロック対パッチマッピング情報を活用する。残りのブロックを、下記のように符号化する。

【0051】

占有マップを、Ｂ０×Ｂ０ブロック（但し、Ｂ０は、ユーザ定義パラメータである）の精度で、符号化することができる。無損失符号化を達成するために、Ｂ０を、１に設定すべきである。実際に、Ｂ０＝２又はＢ０＝４は、視覚的に許容できる結果になるが、占有マップを符号化するのに必要なビットの数が大幅に減少する。

【0052】

占有マップの圧縮処理は、下記のように進む。
・２進値を、同じＴ×Ｔブロックに属するＢ０×Ｂ０サブブロックに対応付ける。サブブロックが少なくとも非パッド画素を含む場合、値１をサブブロックに対応付け、それ以外ならば、０である。サブブロックが１の値を有する場合、サブブロックは、一杯であると考えられ、それ以外ならば、サブブロックは、空のサブブロックである。
・Ｔ×Ｔブロックの全サブブロックが一杯である（即ち、値１を有する）場合、ブロックは、一杯であると考えられる。それ以外ならば、ブロックは、一杯でないと考えられる。
・各Ｔ×Ｔブロックが一杯であるか否かを示す各Ｔ×Ｔブロックに対して、２進情報を符号化する。
・ブロックが一杯でない場合、一杯／空のサブブロックの位置を示す追加情報を、下記のように符号化する。
○異なる横行順序を、サブブロックに対して規定する。図４は、４つの考えられる横行順序を示す。
○符号器は、これらの横行順序のうち１つを選択し、この横行順序の索引をビットストリームに明示的に信号伝送する。
○ランレングス符号化戦略を使用することによって、サブブロックに対応付けられた２進値を符号化する。
■最初のサブブロックの２進値を符号化する。
■符号器によって選択された横行順序に従いながら、０及び１の連続実行を検出する。
■検出実行の数を符号化する。
■最後の実行を除いて、各実行の長さをも更に符号化する。

【0053】

ブロック対パッチ索引及び占有マップは、ブロック毎メタデータと呼ばれる。

【0054】

テクスチャ圧縮ブロック８は、三次元ＨＥＶＣ（ＩＴＵウェブサイト、Ｔ推奨、Ｈシリーズ、ｈ２６５、https://www.itu.int/rec/T-REC-H.265-201802-I付録Ｉで仕様が見付けられるＨＥＶＣの拡張）などのレガシー復号器による深度ビデオ復号を含み、この後に、形状再構成処理２４が続く。この形状再構成処理２４は、再構成形状画像における占有画素を検出するために、占有マップ情報を利用する。それらの占有画素に対応付けられた点の三次元位置を、メタデータ及び形状画像を活用することによって計算する。より正確には、Ｐを、占有画素（ｕ、ｖ）から再構成される点とし、（δ０、ｓ０、ｒ０）を、属する接続成分の三次元位置とし、（ｕ０、ｖ０、ｕ１、ｖ１）を、対応する深度パッチの二次元バウンディングボックスとする。Ｐを、下記のように、深度δ（ｕ、ｖ）、接線シフトｓ（ｕ、ｖ）及び２接線シフトｒ（ｕ、ｖ）の観点から表すことができる。
δ（ｕ、ｖ）＝δ０＋ｇ（ｕ、ｖ）
ｓ（ｕ、ｖ）＝ｓ０－ｕ０＋ｕ
ｒ（ｕ、ｖ）＝ｒ０－ｖ０＋ｖ
但し、ｇ（ｕ、ｖ）は、再構成形状画像の輝度成分である。

【0055】

更に、ポイントクラウド形状再構成処理２４は、現在点を再構成する深度値を記憶する画素の位置、即ち（ｉ、ｕ、ｖ）（但し、ｉは、深度画像、即ちＤｅｐｔｈＩｍｇ０又はＤｅｐｔｈＩｍｇ１を示し、（ｕ、ｖ）は、ｉ番目の深度画像における画素の座標である）を、各再構成点に対して出力する。

【0056】

更に、テクスチャ圧縮ブロック８は、三次元色転送ブロック２６を含む。この三次元色転送ブロック２６では、各再構成点に対してコーディングされるべき色及び／又は他の属性値を、色情報コーディング誤差を最小限にする方法で判定する。一実施形態によれば、各再構成点に対して、入力／原ポイントクラウドにおける最も近い点の色を、コーディングされるべき色として割り当てる。

【0057】

三次元色転送ブロック２６の後に、テクスチャ画像生成ブロック２８が続く。このテクスチャ画像生成ブロック２８は、形状画像と同じ位置、即ち（ｉ、ｕ、ｖ）における各再構成点のコーディングされるべき色情報を記憶することによって、コーディングされるべきテクスチャ画像を生成する。

【0058】

テクスチャ画像生成ブロック２８の後に、三次元ＨＥＶＣ（ＩＴＵウェブサイト、Ｔ推奨、Ｈシリーズ、ｈ２６５、https://www.itu.int/rec/T-REC-H.265-201802-I付録Ｉで仕様が見付けられるＨＥＶＣの拡張）などのレガシー符号器を用いたテクスチャビデオ符号化が続く。

【0059】

形状圧縮ブロック４から生成される深度ビデオストリーム、メタデータ圧縮ブロック６から生成されるブロック毎及びパッチ毎メタデータストリーム、及びテクスチャ圧縮ブロック８から生成される色ビデオストリームを、符号器２から出力される圧縮ストリームに多重化する。

【0060】

図５は、ポイントクラウドの再構成用の符号器２に対応する復号器３０を表す。

【0061】

復号器３０で、符号器２から出力された圧縮ストリームを、深度ビデオストリーム、ブロック毎メタデータストリーム、パッチ毎メタデータストリーム及び色ビデオストリームに逆多重化する。

【0062】

復号器３０は、三次元ＨＥＶＣ（ＩＴＵウェブサイト、Ｔ推奨、Ｈシリーズ、ｈ２６５、https://www.itu.int/rec/T-REC-H.265-201802-I付録Ｉで仕様が見付けられるＨＥＶＣの拡張）などのレガシー復号器による深度ビデオ復号を含む形状再構成ブロック３１を含む。

【0063】

更に、画像再構成ブロック３１は、図６で詳述される画像再構成ブロック３２を含む。このブロックは、
－再構成深度ビデオストリームから再構成ｄｅｐｔｈＩｍａｇｅ０及び再構成ｄｅｐｔｈＩｍａｇｅ１を時間デインターリーブすることと、
－再構成ｄｅｐｔｈＩｍａｇｅ０に記憶された再構成Ｄ０値を検索することと、
－再構成＿Ｄ０＋再構成＿デルタ＿深度（但し、再構成＿デルタ＿深度値をｄｅｐｔｈＩｍａｇｅ１に記憶する）を用いてＤ１値を再構成することと
を含む。

【0064】

更に、画像再構成ブロック３１は、符号器２のポイントクラウド形状再構成ブロック２４と同じ方法で動作するポイントクラウド形状再構成ブロック３３を含む。

【0065】

更に、復号器３０は、パッチ毎及びブロック毎メタデータを復号するメタデータ再構成ブロックを含む。

【0066】

更に、復号器３０は、三次元ＨＥＶＣ（ＩＴＵウェブサイト、Ｔ推奨、Ｈシリーズ、ｈ２６５、https://www.itu.int/rec/T-REC-H.265-201802-I付録Ｉで仕様が見付けられるＨＥＶＣの拡張）などのレガシー復号器によるテクスチャビデオ復号段階を含むテクスチャ再構成処理を含む。

【0067】

更に、テクスチャ再構成処理は、再構成パッチ毎及びブロック毎メタデータを用いてテクスチャパッチを再構成するテクスチャパッチ再構成段階を含む。

【0068】

更に、テクスチャ再構成処理は、各点を再構成する画素の位置を用いて各再構成点の色を再構成テクスチャ画像から取り出すポイントクラウドテクスチャ再構成段階３５を含む。

【0069】

図７に示すように、通常、同じ投影線に沿って複数の点がある。その理由は、下記を含む。
－整数座標を有する点による連続三次元表面の表現、及び／又は
－局所表面詳細、及び／又は
－自己閉塞。

【0070】

再構成誤差を最小限にするために、上述の符号器／復号器は、１つの投影画像の各画素に対して２つの深度値を保持する。前述の２つの深度値は、対応する投影線に沿った最小及び最大深度値に対応し、Ｄ１－Ｄ０＜＝表面厚さ（但し、表面厚さは、最大表面厚さである）を満たす深度Ｄ０及び深度Ｄ１と呼ばれる。

【0071】

それに対応して、符号器２は、各ポイントクラウドフレームに対して２つの深度画像を生成し（即ち、動的ポイントクラウド、一連のポイントクラウドにおけるポイントクラウドの場合）、第１の深度画像ＤｅｐｔｈＩｍｇ０は、深度Ｄ０値を記憶し、第２の深度画像ＤｅｐｔｈＩｍｇ１は、デルタ＿深度＝深度Ｄ１－深度Ｄ０の値を記憶する。投影線に沿って１つの点だけがある場合、深度Ｄ１を深度Ｄ０と等しくなるように設定することに留意すべきである。

【0072】

しかし、図１の符号器を使用することによって、２つの記録点の間にある図７上の非投影点と呼ばれるポイントクラウドの点は、符号化されず、その結果、客観的及び主観的品質が大幅に低下する。

【発明の概要】

【0073】

４．概要。
下記は、本原理の幾つかの態様の基本的な理解を与えるために、本原理の簡略化した概要を提示する。この概要は、本原理の幅広い概説でない。概要は、本原理の主要な又は重要な要素を確認するように意図されていない。下記の概要は、後述のより詳細な説明への前置きとして簡略化した形で本原理の幾つかの態様を単に提示する。

【0074】

一般的に言えば、本開示は、状況を改善するための解決策を提案する。

【0075】

従って、本開示は、投影線に沿ってポイントクラウドの少なくとも１つの点を正射影することと、同じ投影線の少なくとも２つの点に対して、投影線のより近い点とより遠い点との間の投影線の位置を占有するか否かをビットストリームに信号伝送することとを含む方法を提供する。

【0076】

有利なことに、本開示は、投影線のより近い点とより遠い点との間の投影線の位置を占有するか否かをビットストリームに信号伝送することによって、深度及びテクスチャ投影ベースのポイントクラウド符号器／復号器の圧縮性能を向上させる。

【0077】

更に、本開示は、同じ投影線のより近い点及びより遠い点を正逆射影することによって、ポイントクラウドの２つの点を再構成することと、点の位置を占有することを情報が示す場合、投影線の点を正逆射影することによって、ポイントクラウドの点を再構成することとを含む方法を提供する。

【0078】

有利なことに、符号器／復号器を、１つ又は複数のプロセッサによって実施する。

【0079】

開示による方法を、プログラマブル装置上のソフトウェアで実施してもよい。方法を、ハードウェア又はソフトウェアで、又はこれらの組み合わせで単に実施してもよい。

【0080】

本発明をソフトウェアで実施することができるので、任意の適切な搬送媒体上のプログラマブル装置に提供されるコンピュータ可読コードとして、本発明を具体化することができる。搬送媒体は、フロッピーディスク、ＣＤ－ＲＯＭ、ハードディスクドライブ、磁気テープデバイス又は固体メモリデバイスなどの記憶媒体を含んでもよい。

【0081】

従って、開示は、コンピュータが本発明の符号化／復号方法を実行することができるコンピュータ実行可能命令を含むコンピュータ可読プログラムを提供する。

【0082】

５．図面の簡単な説明。
図面において、本原理の例を示す。

【図面の簡単な説明】

【0083】

【図1】有利なことに本原理を実施することができる既述の符号器を示す。

【図2】既述の先行技術の深度パッチ生成処理を例示する。

【図3】既述の先行技術の画像生成処理を例示する。

【図4】既述の図１の符号器で使用されるサブブロックの横行の例を示す。

【図5】有利なことに本原理を実施することができる既述の復号器を示す。

【図6】既述の先行技術の画像再構成処理を例示する。

【図7】既述の先行技術による投影画像の画素の深度Ｄ０値及び深度Ｄ１値を示す三次元ポイントクラウドの二次元例示である。

【図8】本開示の実施形態による拡張デルタ深度（ＥＤＤ）コードを例示する。

【図9】本開示の実施形態による拡張デルタ深度（ＥＤＤ）コードを形成する例を示す。

【図10】本開示の実施形態による符号器を示す。

【図11】本開示の第１の実施形態による深度画像再構成のブロックを示す。

【図12】本開示の第２の実施形態による深度画像再構成のブロックを示す。

【図13】本開示の実施形態による図５の復号器の修正を示す。

【図14】有利なことに本原理を実施することができる無損失符号器を示す。

【図15】本原理の例によるデバイスのアーキテクチャの例を示す。

【図16】本原理の例による通信ネットワーク上で通信する２つの遠隔デバイスを示す。

【図17】本原理の例による信号の構文を示す。

【発明を実施するための形態】

【0084】

同様な又は同じ要素を、同じ参照符号で参照する。

【0085】

６．本原理の例の説明。
以下、本原理について、本原理の例を示す添付図面を参照してより完全に説明する。しかし、本原理は、多くの代替の形態で具体化されてもよく、ここに記載の例に限定されると受け取られるべきではない。従って、本原理は、様々な修正及び代替の形態の余地があるが、本原理の特定の例を、一例として図面に示し、本明細書にて詳細に説明する。しかし、本原理を開示の特定の形態に限定する意図がないものと理解されたい。その一方で、開示は、特許請求の範囲によって規定されるような本原理の精神及び範囲内にある全ての修正、均等物、及び代替物を含むものとする。

【0086】

本明細書にて使用される用語は、特定の例だけを説明するためであり、本原理を限定するように意図されていない。ここで使用されるように、単数形「１つ（a）」、「１つ（an）」及び「その（the）」は、特に明示的に指示がない限り、複数形も含むように意図されている。更に、本明細書で使用される場合、用語「含む（comprises）」、「含む（comprising）」、「含む（includes）」及び／又は「含む（including）」は、記載の特徴、整数、ステップ、動作、要素、及び／又は構成要素の存在を指定し、１つ又は複数の他の特徴、整数、ステップ、動作、要素、構成要素、及び／又はこれらのグループの存在又は追加を排除しないということが更に理解されるであろう。その上、要素が別の要素に「応答する」又は「接続される」と言及される場合、要素は、他の要素に直接応答する又は接続されることができ、又は介在要素が存在してもよい。一方、要素が他の要素に「直接応答する」又は「直接接続される」と見なされる場合、介在要素が存在しない。ここで使用されるように、用語「及び／又は（and/or）」は、関連列挙項目のうち１つ又は複数の項目のありとあらゆる組み合わせを含み、「／」と短縮されてもよい。

【0087】

第１（first）、第２（second）などという用語は、様々な要素を説明するために本明細書にて使用され得るが、これらの要素をこれらの用語によって限定すべきではないということが理解されるであろう。これらの用語は、１つの要素を別の要素と区別するために使用されるだけである。例えば、第１の要素を第２の要素と呼ぶことができ、同様に、本原理の教示から逸脱することなく、第２の要素を第１の要素と呼ぶことができる。

【0088】

線図の幾つかは、通信の主な方向を示すために通信路上に矢印を含むが、図示の矢印と逆方向に通信が行われてもよいものとする。

【0089】

幾つかの例を、ブロック図及び動作フローチャートに関して説明し、各ブロックは、回路要素、モジュール、又は指定の論理機能を実施する１つ又は複数の実行可能命令を含むコードの一部を表す。更に、他の実装において、ブロックに記載の機能は、記載の順序が狂って行われてもよいことに留意すべきである。例えば、実際に、連続して示される２つのブロックを実質的に同時に実行してもよく、又は場合によっては、ブロックを、関連機能によって逆の順序で実行してもよい。

【0090】

ここで、「例によって（in accordance with an example）」又は「例において（in an example）」の参照は、例に関連して説明される特定の特徴、構造、又は特性を、本原理の少なくとも１つの実装に含むことができることを意味する出願の様々な箇所における語句「例によって（in accordance with an example）」又は「例において（in an example）」の状況は、必ずしも同じ例を全て参照するとは限らず、他の例を必ず互いに除く別の又は代替の例でもない。

【0091】

特許請求の範囲で見られる参照符号は、例示に過ぎず、特許請求の範囲に対する効果を限定しないものとする。

【0092】

明示的に説明されていないが、本例及び変型例を、任意の組み合わせ又は部分組み合わせで使用してもよい。

【0093】

本原理は、着色ポイントクラウドを符号化／復号するために説明されるが、一連の着色ポイントクラウドの符号化／復号にまで及ぶ。なぜなら、一連の各着色ポイントクラウドを、後述のように連続的に符号化／復号するからである。

【0094】

実施形態によれば、既述の符号器２及び復号器３０を、本原理の実装のために使用する。

【0095】

図７を参照して上述されるように、通常、同じ投影線に沿って複数の点がある。再構成誤差を最小限にするために、１つの投影画像の各画素に対して２つの深度値を記憶する。これらの２つの深度値は、最小及び最大深度値に対応する深度Ｄ０及び深度Ｄ１と呼ばれる。

【0096】

それに対応して、符号器２は、ＤｅｐｔｈＩｍｇ０及びＤｅｐｔｈＩｍｇ１と呼ばれる、各ポイントクラウドフレームに対して２つの深度画像を生成する。符号器２において、深度Ｄ０及び深度Ｄ１に対応する記録点の間の非投影点と呼ばれる点は、符号化されない。

【0097】

有利なことに、本原理によれば、下記によって、図８に表示されるように、これらの非投影点を符号化する。
－深度Ｄ０と深度Ｄ１との間の各位置に対して、少なくとも１つの点を有する全投影線に沿って、この位置を占有するか否かを示す１ビットを使用すること。
－１つの投影線に沿ったこれらの全ビットを連結して、以下拡張デルタ深度（ＥＤＤ）コードと呼ばれるコード語を形成すること。
－ＨＥＶＣなどの成熟ビデオ符号器／復号器によって更にコーディングされる１つ又は複数の画像にポイントクラウドフレームのＥＤＤコードをパックすること。

【0098】

ＥＤＤコードを符号器２に統合するために、デルタＤ＝（Ｄ１－Ｄ０）をＤｅｐｔｈＩｍｇ１にコーディングする代わりに、少なくとも１つの点を有する全投影線のＥＤＤコードを、ＤｅｐｔｈＩｍｇ１に記録して符号化する。

【0099】

図９に表すように、本開示は、１つの投影線に沿った深度Ｄ０と深度Ｄ１との間の全位置を表す全ビットを連結してＥＤＤコードを形成する２つの実施形態を提案する。

【0100】

一実施形態は、図９の右側に示すように、深度Ｄ０に近い位置を表すビットを、合成コード語の高位ビットと見なし、深度Ｄ１に近い位置を表すビットを、合成コード語の低位ビットと見なす。

【0101】

別の実施形態は、図９の左側に示すように、深度Ｄ１に近い位置を表すビットを、合成コード語の高位ビットと見なし、深度Ｄ０に近い位置を表すビットを、合成コード語の低位ビットと見なす。図９の左側に示すこの実施形態を用いて、図８の上部の例を構成する。

【0102】

図１０は、本開示の教示によって修正された符号器２を示す。より詳細には、符号器２の深度経路生成１０、深度画像生成１４、ポイントクラウド形状再構成２４及び三次元色転送２６のブロックを、本開示の実施形態によって修正する。

【0103】

図２に表す深度パッチ生成ブロック１０において、深度パッチ生成ブロック１０６を修正する。各投影線に沿ってＤ０及びＤ１を丁度記録する代わりに、Ｄ０と（Ｄ０＋表面厚さ）との間の点を、ＥＤＤコードによって記録する。各接続成分の２つの深度パッチは、Ｄ０及びＥＤＤコードを記録する。

【0104】

Ｄ１の代わりに、ＥＤＤコードをＤｅｐｔｈＩｍｇ１に記録することによって、図３に表す深度画像生成ブロック１４を更に修正する。ＥＤＤコードをＤｅｐｔｈＩｍｇ１に記録する２つの実施形態を、図１１及び図１２に表す。

【0105】

図１１に表す第１の実施形態によれば、ブロック毎メタデータを用いて、全ＥＤＤコードを、１４２でＤｅｐｔｈＩｍｇ１にパックする。

【0106】

図１２に表す第２の実施形態によれば、ブロック毎メタデータを用いて、（Ｄ０＋ＥＤＤ＿コード）を、１４４でＤｅｐｔｈＩｍｇ１にパックする。次に、ＤｅｐｔｈＩｍｇ１をパッドして、その圧縮性能を向上させる。

【0107】

有利なことに、ポイントクラウド形状再構成ブロック２４を更に修正する。

【0108】

復号Ｄ０値及び復号ＥＤＤコードから再構成される点は、再構成ポイントクラウド（形状だけ）を構成する。１つの投影線に沿って２つを超える再構成点がある場合、最小及び最大再構成深度値を有する２つの点の間の再構成点は、中間再構成点と呼ばれる。

【0109】

ポイントクラウド形状再構成ブロック２４は、再構成点の色値をパックする方法を判定するので、このブロック２４の修正により、再構成中間点の色を処理することもできる。

【0110】

再構成ポイントクラウド形状に加えて、このブロック２４の出力は、コーディングされるべき現在点の色値を記憶するために２つのテクスチャ画像における位置を各点に対して示す点毎パック画像座標を含む。中間再構成点を除いて、他の再構成点、即ち、Ｄ０及びＤ１に対応する点の点毎パック画像座標を、符号器２に対して記載の方法と同じ方法で判定する。

【0111】

これらの中間再構成点の色を処理する２つの実施形態を提案する。

【0112】

第１の実施形態によれば、これらの中間再構成点の色を、圧縮ビットストリームに信号伝送しない。復号器は、ビットストリームから再構成される色を有する中間再構成点の隣接点に基づいて、例えば補間によって、これらの中間再構成点の再構成色を判定する。この実施形態を用いて、これらの再構成点の点毎パック画像座標を、（ＮＵＬＬ、ＮＵＬＬ、ＮＵＬＬ）として設定する。ＮＵＬＬ（空白）は、ある無効画像位置の値（例えば、－１）である。

【0113】

第２の実施形態によれば、これらの中間再構成点の色を、圧縮ビットストリームに信号伝送する。信号伝送されるべきこれらの中間再構成点の色を、他の再構成点と同じ方法で三次元色転送ブロック２６で判定する。コーディングされるべき色情報を記憶するＤｅｐｔｈＩｍｇ０及びＤｅｐｔｈＩｍｇ１に対応する２つの画像であるＴｅｘＩｍｇ０及び／又はＴｅｘＩｍｇ１に、ブロック毎メタデータから解釈可能な任意のパッチによって占有されていないテクスチャ画像ブロックに、中間再構成点の色を記憶する。中間再構成点のパック画像位置を、中間再構成点の再構成位置に基づいて判定する。一例は、下記の通りである。

【0114】

第１のステップで、ＤｅｐｔｈＩｍａｇｅ０及びＤｅｐｔｈＩｍａｇｅ１における全非占有ブロックを、リストにソートする。２つの可能性がある。ＤｅｐｔｈＩｍａｇｅ０における非占有ブロックを、ソート非占有ブロックリストにおけるＤｅｐｔｈＩｍａｇｅ１に前後にソートする。同じ画像における非占有ブロックを、（ＹＵＶ色空間で）非占有ブロックの（ｕＭｉｎ、ｖＭｉｎ）によってソートする。

【0115】

第２のステップで、形状再構成ステップ中に、新しい中間点を再構成する時はいつでも、その中間点の点毎パック画像位置は、ソート非占有ブロックリストにおける第１の非占有ブロックの第１の非占有画素である。元の非占有ブロックが中間点によって完全に占有されている場合、元の非占有ブロックをソート非占有ブロックリストから削除する。

【0116】

有利なことに、三次元色転送ブロック２６を更に修正する。このブロックにおいて、パック画像位置（ＮＵＬＬ、ＮＵＬＬ、ＮＵＬＬ）を有する点の色判定を省略する。

【0117】

図１の先行技術符号器と比較して、有利なことに、下記のメタデータを、図１０の符号器によって出力されるビットストリームに追加する。
・本開示に記載の新しいコード体系を使用するか否かを示す１ビット。例えば、１は、このコード体系を使用することを意味し、０は、このコード体系を使用しないことを意味する。
・第１のビットが１に等しい場合、下記の項目は、次の通りである。
○表面厚さの値を示す特定の数のビット、例えば、３ビット。
○ＤｅｐｔｈＩｍｇ１がＥＤＤコード又は（Ｄ０＋ＥＤＤ＿コード）を記録することを示す１ビット。例えば、０は、ＥＤＤコードを記録することを意味し、１は、（Ｄ０＋ＥＤＤ＿コード）を記録することを意味する。
○どんな方法でＥＤＤコードを構成するかを示す１ビット。即ち、図９に示す実施形態を使用して、圧縮ビットストリームに信号伝送されるＥＤＤコードを構成する。例えば、０は、図９の左側に示す実施形態を使用することを意味し、１は、図９の右側に示す実施形態を使用することを意味する。
○中間点の色を圧縮ビットストリームに信号伝送か否かを示す１ビット。例えば、１は、肯定を意味し、０は、否定を意味する。このビットは、CodeInBetweenColor（コード中間色）ビットと呼ばれる。
○CodeInBetweenColorビットが１である場合、中間再構成点の色のパッキングをＴｅｘＩｍｇ０から開始するかＴｅｘＩｍｇ１から開始するかを示す１ビット。例えば、１は、最初にＴｅｘＩｍｇ１を使用することを意味し、０は、最初にＴｅｘＩｍｇ０を使用することを意味する。

【0118】

提案された新しいコード体系によってもたらされた上述の新しいメタデータを、全ビットストリームに対して１回、又は一緒に圧縮される各フレーム又はフレームの各グループに対して複数回、信号伝送することができ、その結果、各フレーム又はフレームの各グループに対して異なるコード体系を選択することができる。上述のメタデータの値を記録するデータフィールドを、圧縮ビットストリームに直接出力することができ、又はこのデータフィールドを圧縮ビットストリームに出力する前に更にエントロピーコーディングすることができる。

【0119】

図１３は、本開示の教示によって修正された図５の復号器３０を示す。より詳細には、復号器３０の深度画像再構成３２、ポイントクラウド形状再構成３３及びポイントクラウドテクスチャ再構成３５のブロックを、本開示の実施形態によって修正する。

【0120】

深度画像再構成ブロック３２に関して、このブロックの出力は、再構成Ｄ０値及び再構成ＥＤＤコードを含む。再構成Ｄ０値を、再構成ＤｅｐｔｈＩｍｇ０から読み取ることができる。ＤｅｐｔｈＩｍｇ１がＥＤＤコードを直接記憶する場合、再構成ＥＤＤコードを、再構成ＤｅｐｔｈＩｍｇ１から直接読み取ることができる。ＤｅｐｔｈＩｍｇ１が（Ｄ０＋ＥＤＤ＿コード）を記憶する場合、再構成ＤｅｐｔｈＩｍｇ１から再構成Ｄ０を引くことによって、ＥＤＤコードを再構成することができる。

【0121】

ポイントクラウド形状再構成ブロック３３に関して、符号器側ブロック２４の変更と同じ変更を行う。

【0122】

ポイントクラウドテクスチャ再構成ブロック３５に関して、中間再構成点の色を、補間、又は再構成テクスチャ画像からの読み取りによって再構成する。

【0123】

開示の更なる実施形態によれば、有利なことに、ＥＤＤコードを、図１４に表すような無損失符号器５０で使用する。

【0124】

この無損失符号器は、図１の符号器２の無損失バージョンに対応し、更なる詳細を、ISO/IEC JTC1/SC29/WG11 MPEG2018/m42170,２０１８年１月、Gwangju,Koreaの文献に見付けることができる。

【0125】

この無損失符号器５０の基本的な考えは、符号器２によって構成される接続成分によって紛失された（即ち、いずれにも含まれていない）全点から構成される特殊接続成分を構成することである。次に、２つの追加深度パッチ、及び紛失点パッチに対応する２つの追加テクスチャパッチを、深度及びテクスチャ画像にパックする。

【0126】

より詳細には、無損失形状コーディングのための符号器２の拡張に向けた第１のステップは、紛失点を収集し、紛失点パッチと呼ばれる個別の接続成分を生成することである。

【0127】

次に、紛失点パッチにおける点のｘ、ｙ及びｚ座標を、ブロックに配置し、形状フレームの３つの色チャンネルＹ、Ｕ及びＶに埋め込む。

【0128】

次に、符号器２の機構を用いて、紛失点パッチの位置及びサイズを出力し、紛失点パッチの寸法及び位置を反映するダミーパッチを、パッチの既存のリストに追加する。占有マップの圧縮中に、この情報を、他の正規パッチに関する情報と一緒に符号化し、復号器に送信する。

【0129】

最後に、圧縮形状フレームからのポイントクラウドの再構成の前に、紛失点パッチの位置及び寸法を、ダミーパッチから抽出する。占有マップと一緒に、この情報を使用して、３つの色平面から三次元点の空間座標を復元する。同時に、パッチのリストからの点の大部分を、復号器で復元し、既存の体系を用いて、三次元空間に逆投影する。

【0130】

有利なことに、符号器２のために図１０を参照して説明される方法と同じ方法で、深度パッチ生成５２、深度画像生成５４、ポイントクラウド形状再構成５８及び三次元色転送６０の強調表示ブロックを修正することによって、本開示の教示を無損失符号器５０に適用することができる。

【0131】

図１～図１４に関して、モジュールは、区別できる物理ユニットと関連していても関連していなくてもよい機能ユニットである。例えば、これらのモジュール又はモジュールの一部は、固有の構成要素又は回路と一緒にされてもよく、又はソフトウェアの機能に寄与してもよい。一方、幾つかのモジュールは、個別の物理的実体から構成される可能性があってもよい。純粋なハードウェア、例えば、ＡＳＩＣ＜＜特定用途向け集積回路＞＞又はＦＰＧＡ＜＜フィールドプログラマブルゲートアレイ＞＞又はＶＬＳＩ＜＜超大規模集積回路＞＞のような専用ハードウェアを用いて、又はデバイスに組み込まれた幾つかの集積電子構成要素から、又はハードウェア及びソフトウェア構成要素の混合から、本原理に適合する装置を実施する。

【0132】

図１５は、図１～図１４に関して記載の方法を実施するように構成可能なデバイス１１００の例示的なアーキテクチャを表す。

【0133】

デバイス１１００は、データ及びアドレスバス１１０１によって一緒にリンクされる下記の要素を含む。
－例えば、ＤＳＰ（又はデジタル信号プロセッサ）であるマイクロプロセッサ１１０２（又はＣＰＵ）
－ＲＯＭ（又は読み出し専用メモリ）１１０３
－ＲＡＭ（又はランダムアクセスメモリ）１１０４
－送信すべきデータをアプリケーションから受信する入出力インターフェース１１０５
－バッテリー１１０６

【0134】

例によれば、バッテリー１１０６は、デバイスの外部にある。記載のメモリの各々において、明細書で使用される用語＜＜レジスタ＞＞は、小容量（数ビット）の領域、又は非常に大きい領域（例えば、全プログラム、又は大量の受信又は復号データ）に対応することができる。ＲＯＭ１１０３は、少なくともプログラム及びパラメータを含む。ＲＯＭ１１０３は、本原理による技法を実行するアルゴリズム及び命令を記憶してもよい。電源を入れると、ＣＰＵ１１０２は、ＲＡＭにプログラムをアップロードし、対応する命令を実行する。

【0135】

ＲＡＭ１１０４は、ＣＰＵ１１０２によって実行され、デバイス１１００の電源を入れた後にアップロードされるプログラム、レジスタ内の入力データ、レジスタ内の方法の異なる状態における中間データ、及びレジスタで方法を実行するために使用される他の変数を、レジスタに含む。

【0136】

ここに記載の実装を、例えば、方法又は処理、装置、ソフトウェアプログラム、データストリーム、又は信号で実施してもよい。実装の単一の形（例えば、方法又はデバイスとしてだけ記載）の文脈でだけ記載されている場合でも、記載の特徴の実装を、他の形（例えば、プログラム）で実施してもよい。装置を、例えば、適切なハードウェア、ソフトウェア、及びファームウェアで実施してもよい。方法を、例えば、コンピュータ、マイクロプロセッサ、集積回路、又はプログラマブル論理デバイスなどを含む処理デバイスを一般的に意味するプロセッサなどの装置で実施してもよい。更に、プロセッサは、例えば、コンピュータ、携帯電話、ポータブル／パーソナルデジタルアシスタント（「ＰＤＡ」）、及びエンドユーザ間の情報通信を容易にする他のデバイスなどの通信デバイスを含む。

【0137】

符号化又は符号器の例によれば、入力ポイントクラウドを、ソースから取得する。例えば、このソースは、下記を含むセットに属する。
－ローカルメモリ（１１０３又は１１０４）、例えば、ビデオメモリ又はＲＡＭ（又はランダムアクセスメモリ）、フラッシュメモリ、ＲＯＭ（又は読み出し専用メモリ）、ハードディスク
－記憶インターフェース（１１０５）、例えば、大容量記憶装置、ＲＡＭ、フラッシュメモリ、ＲＯＭ、光ディスク又は磁気支持体を有するインターフェース
－通信インターフェース（１１０５）、例えば、有線インターフェース（例えば、バスインターフェース、広域ネットワークインターフェース、ローカルエリアネットワークインターフェース）、又は無線インターフェース（例えば、ＩＥＥＥ ８０２．１１インターフェース又はブルートゥース（登録商標）インターフェース）
－画像収集回路（例えば、ＣＣＤ（又は電荷結合素子）又はＣＭＯＳ（又は相補型金属酸化膜半導体）などのセンサー）

【0138】

復号又は復号器の例によれば、復号ポイントクラウドを、宛先に送信し、具体的には、この宛先は、下記を含むセットに属する。
－ローカルメモリ（１１０３又は１１０４）、例えば、ビデオメモリ又はＲＡＭ、フラッシュメモリ、ハードディスク
－記憶インターフェース（１１０５）、例えば、大容量記憶装置、ＲＡＭ、フラッシュメモリ、ＲＯＭ、光ディスク又は磁気支持体を有するインターフェース
－通信インターフェース（１１０５）、例えば、有線インターフェース（例えば、バスインターフェース（例えば、ＵＳＢ（又はユニバーサルシリアルバス））、広域ネットワークインターフェース、ローカルエリアネットワークインターフェース、HDMI(登録商標）（高解像度マルチメディアインターフェース）インターフェース）、又は無線インターフェース（例えば、ＩＥＥＥ ８０２．１１インターフェース、ワイファイ（WiFi）（登録商標）又はブルートゥース（登録商標）インターフェース）
－レンダリングデバイス
－ディスプレイ

【0139】

符号化又は符号器の例によれば、ビットストリーム（圧縮ストリーム）を宛先に送信する。一例として、ビットストリームを、ローカル又はリモートメモリ、例えば、ビデオメモリ（１１０４）又はＲＡＭ（１１０４）、ハードディスク（１１０３）に記憶する。変型例において、ビットストリームを、記憶インターフェース（１１０５）、例えば、大容量記憶装置、フラッシュメモリ、ＲＯＭ、光ディスク又は磁気支持体を有するインターフェースに送信する、及び／又は、通信インターフェース（１１０５）、例えば、ポイントツーポイントリンク、通信バス、ポイントツーマルチポイントリンク又は同報通信ネットワークへのインターフェース上で伝送する。

【0140】

復号又は復号器の例によれば、ビットストリーム（圧縮ストリーム）をソースから取得する。典型的に、ビットストリームを、ローカルメモリ、例えば、ビデオメモリ（１１０４）、ＲＡＭ（１１０４）、ＲＯＭ（１１０３）、フラッシュメモリ（１１０３）又はハードディスク（１１０３）から読み取る。変型例において、ビットストリームを、記憶インターフェース（１１０５）、例えば、大容量記憶装置、ＲＡＭ、ＲＯＭ、フラッシュメモリ、光ディスク又は磁気支持体を有するインターフェースから受信する、及び／又は、通信インターフェース（１１０５）、例えば、ポイントツーポイントリンク、バス、ポイントツーマルチポイントリンク又は同報通信ネットワークへのインターフェースから受信する。

【0141】

例によれば、図１０又は図１４に関して記載の符号化方法を実施するように構成されているデバイス１１００は、下記を含むセットに属する。
－携帯機器
－スマートフォン、又は三次元収集機能を有するテレビ受像機
－通信デバイス
－ゲーム機
－タブレット（又はタブレットコンピュータ）
－ラップトップ
－静止画像カメラ
－ビデオカメラ
－符号化チップ
－静止画像サーバー
－ビデオサーバー（例えば、同報通信サーバー、ビデオオンデマンドサーバー、又はウェブサーバー）

【0142】

例によれば、図１３に関して記載の復号方法を実施するように構成されているデバイス１１００は、下記を含むセットに属する。
－携帯機器
－頭部装着型ディスプレイ（ＨＭＤ）
－（複合現実感）スマートメガネ
－ホログラフィックデバイス
－通信デバイス
－ゲーム機
－セットトップボックス
－テレビ受像機
－タブレット（又はタブレットコンピュータ）
－ラップトップ
－ディスプレイ
－立体ディスプレイ
－復号チップ

【0143】

通信ネットワークＮＥＴ上の２つの遠隔デバイスＡ及びＢの間の伝送状況で図１６に例示の本原理の例によれば、デバイスＡは、図１０に関して記載のように着色ポイントクラウドを符号化する方法を実施するように構成されているメモリＲＡＭ及びＲＯＭに関するプロセッサを含み、デバイスＢは、図１３に関して記載のように復号する方法を実施するように構成されているメモリＲＡＭ及びＲＯＭに関するプロセッサを含む。

【0144】

例によれば、ネットワークは、デバイスＡからデバイスＢを含む復号デバイスに符号化着色ポイントクラウドを同報通信するのに適している同報通信ネットワークである。

【0145】

デバイスＡによって伝送されるように意図されている信号は、ビットストリームを伝える。

【0146】

図１７は、データをパケットベースの伝送プロトコル上で伝送する場合、このような信号の構文の例を示す。各伝送パケットＰは、ヘッダーＨ及びペイロードＰＡＹＬＯＡＤを含む。

【0147】

ここに記載の様々な処理及び特徴の実装を、様々な異なる機器又はアプリケーションで具体化してもよい。このような機器の例は、符号器、復号器、復号器からの出力を処理するポストプロセッサ、符号器に入力を与えるプリプロセッサ、ビデオ符号器、ビデオ復号器、ビデオ符号器／復号器、ウェブサーバー、セットトップボックス、ラップトップ、パソコン、携帯電話、パーソナルデジタルアシスタント、頭部装着型ディスプレイ、スマートメガネ、及び画像又はビデオ又は他の通信デバイスを処理する任意の他のデバイスを含む。明らかであるように、機器は移動できてもよく、更に、機器を移動車両に設置してもよい。

【0148】

更に、方法を、プロセッサによって実行される命令によって実施してもよく、このような命令（及び／又は実装によって生成されるデータ値）を、コンピュータ可読記憶媒体に記憶してもよい。コンピュータ可読記憶媒体は、１つ又は複数のコンピュータ可読媒体で具体化され、コンピュータ可読プログラムコードで具体化されてコンピュータによって実行可能なコンピュータ可読プログラムコードを有するコンピュータ可読プログラム製品の形をとることができる。ここで使用されるようなコンピュータ可読記憶媒体は、コンピュータ可読記憶媒体に情報を記憶する固有能力及びコンピュータ可読記憶媒体から情報を検索する固有能力を考慮すると、持続性記憶媒体と考えられる。コンピュータ可読記憶媒体は、例えば、電子、磁気、光、電磁気、赤外線、又は半導体システム、装置、又はデバイス、又はこれらの任意の適切な組み合わせ（但し、これらに限定されない）であることができる。本原理を適用することができるコンピュータ可読記憶媒体のより具体的な例を与えるが、下記（ポータブルコンピュータディスケット、ハードディスク、読み出し専用メモリ（ＲＯＭ）、消去可能プログラマブル読み出し専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、ポータブルコンパクトディスク読み出し専用メモリ（ＣＤ－ＲＯＭ）、光記憶デバイス、磁気記憶デバイス、又はこれらの任意の適切な組み合わせ）は、例示に過ぎず、当業者が容易に分かるように完全な列挙でないことを理解されたい。

【0149】

命令は、プロセッサ可読媒体で明白に具体化されるアプリケーションプログラムを形成してもよい。

【0150】

命令は、例えば、ハードウェア、ファームウェア、ソフトウェア、又は組み合わせの中にあってもよい。命令を、例えば、オペレーティングシステム、個別アプリケーション、又はこれらの２つの組み合わせの中で見付けてもよい。従って、プロセッサを、例えば、処理を実行するように構成されているデバイス、及び処理を実行する命令を有するプロセッサ可読媒体（例えば、記憶デバイス）を含むデバイスの両方と見なしてもよい。更に、プロセッサ可読媒体は、命令に加えて又は命令の代わりに、実装によって生成されるデータ値を記憶してもよい。

【0151】

当業者に明白になり得るように、実装は、例えば、記憶又は伝送可能な情報を伝えるようにフォーマットされた様々な信号を生成してもよい。この情報は、例えば、方法を実行する命令、又は記載の実装のうち１つによって生成されるデータを含んでもよい。例えば、本原理の記載の例の構文を読み書きする規則をデータとして伝える、又は本原理の記載の例によって書き込まれた実際の構文値をデータとして伝えるように、信号をフォーマットしてもよい。このような信号を、例えば、電磁波（例えば、スペクトルの無線周波数部分を用いて）又はベースバンド信号として、フォーマットしてもよい。フォーマッティングは、例えば、データストリームを符号化して、この符号化データストリームで搬送波を変調することを含んでもよい。信号が伝える情報は、例えば、アナログ又はデジタル情報であってもよい。知られているように、信号を、様々な異なる有線又は無線リンク上で伝送してもよい。信号を、プロセッサ可読媒体に記憶してもよい。

【0152】

多くの実装について説明されている。それにもかかわらず、様々な修正を行うことができるものとする。例えば、異なる実装の要素を、結合、補足、修正、又は除去して、他の実装を生成してもよい。更に、他の構造及び処理を開示の構造及び処理と置換することができることを当業者は理解することができ、得られた実装は、少なくとも実質的に同じ方法で、少なくとも実質的に同じ機能を果たし、開示の実装と少なくとも実質的に同じ結果を得る。従って、このアプリケーションによって、これらの実装及び他の実装が考えられる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】