(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024063123
(43)【公開日】2024-05-10
(54)【発明の名称】ポイントクラウドデータ送信装置、ポイントクラウドデータ送信方法、ポイントクラウドデータ受信装置及びポイントクラウドデータ受信方法
(51)【国際特許分類】
G06T 9/40 20060101AFI20240501BHJP
【FI】
G06T9/40
【審査請求】有
【請求項の数】10
【出願形態】OL
(21)【出願番号】P 2024029751
(22)【出願日】2024-02-29
(62)【分割の表示】P 2022537084の分割
【原出願日】2020-10-23
(31)【優先権主張番号】62/958,270
(32)【優先日】2020-01-07
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】10-2020-0032136
(32)【優先日】2020-03-16
(33)【優先権主張国・地域又は機関】KR
(71)【出願人】
【識別番号】502032105
【氏名又は名称】エルジー エレクトロニクス インコーポレイティド
【氏名又は名称原語表記】LG ELECTRONICS INC.
【住所又は居所原語表記】128, Yeoui-daero, Yeongdeungpo-gu, 07336 Seoul,Republic of Korea
(74)【代理人】
【識別番号】100109841
【弁理士】
【氏名又は名称】堅田 健史
(74)【代理人】
【識別番号】230112025
【弁護士】
【氏名又は名称】小林 英了
(74)【代理人】
【識別番号】230117802
【弁護士】
【氏名又は名称】大野 浩之
(74)【代理人】
【識別番号】100131451
【弁理士】
【氏名又は名称】津田 理
(74)【代理人】
【識別番号】100167933
【弁理士】
【氏名又は名称】松野 知紘
(74)【代理人】
【識別番号】100184181
【弁理士】
【氏名又は名称】野本 裕史
(72)【発明者】
【氏名】パク,ユサン
(72)【発明者】
【氏名】オ,セジン
(72)【発明者】
【氏名】ハ,ヒジャン
(57)【要約】 (修正有)
【課題】ポイントクラウドを効率に送受信するためのポイントクラウドデータ送信装置、送信方法、ポイントクラウドデータ受信装置及び受信方法を提供する。
【解決手段】ポイントクラウドコンテンツ提供システムにおいて、送信装置は、ポイントクラウドデータを符号化するポイントクラウドビデオエンコーダ及び/又はポイントクラウドデータ及びポイントクラウドデータに関するシグナル情報を含む圧縮されたビットストリームを送信する送信機を含む。受信装置は、ポイントクラウドデータを含むビットストリームを受信する受信機及び/又はビットストリーム内のポイントクラウドデータを復号するポイントクラウドビデオデコーダを含む。
【選択図】
図1
【特許請求の範囲】
【請求項1】
ポイントクラウドデータ送信方法であって、
ポイントクラウドデータを符号化するステップ;及び
前記ポイントクラウドデータ及び前記ポイントクラウドデータに関するシグナル情報を
含むビットストリームを送信するステップ;を含んでなる、ポイントクラウドデータ送信
方法。
【請求項2】
前記ポイントクラウドデータ送信方法は、
ポイントクラウドデータをスライス(slice)に基づいて分割するステップ;及び
スライス内のポイントの数がポイントの最小数より少ない場合、前記スライスを隣接し
たスライス(adjacent slice)と併合(merging)し、又は前記ス
ライス内のポイントの数がポイントの最大数より多い場合、前記スライスを2つ以上のス
ライスに分離(split)するステップ;を更に含む、請求項1に記載のポイントクラ
ウドデータ送信方法。
【請求項3】
前記分割するステップは、第1の方法、第2の方法又は第3の方法のうちの少なくとも
1つを含み、
前記第1の方法は、前記ポイントクラウドデータを含む3次元空間を8の前記スライス
の八分木の深さ(depth)の自乗個に分割するステップを含み、
前記八分木の深さは、前記スライスのポイントの数の比率(ratio)に基づいて
算出され、
前記第2の方法は、前記3次元空間内の最長エッジ(longest edge)を前
記3次元空間内の最短エッジ(shortest edge)で分けるステップを含み、
前記第3の方法は、前記3次元空間の第1の軸及び第2の軸を前記3次元空間の第3の
軸でセグメント(segment)することで、前記3次元空間を均等四角形(unif
orm squares)のスライスに分割するステップを含む、請求項2に記載のポイ
ントクラウドデータ送信方法。
【請求項4】
前記隣接したスライスは、前記スライスの左側スライス(left slice)、前
記スライスの右側スライス(right slice)、前記スライスの上側スライス(
top slice)又は前記スライスの下側スライス(bottom slice)のう
ちのいずれか1つである、請求項2に記載のポイントクラウドデータ送信方法。
【請求項5】
前記隣接したスライスは、前記スライスの左側スライス(left slice)、前
記スライスの右側スライス(right slice)、前記スライスの上側スライス(
top slice)、前記スライスの下側スライス(bottom slice)、前記
スライスの前側スライス(front slice)及び/又は前記スライスの後側スラ
イス(back slice)のうちのいずれか1つである、請求項2に記載のポイント
クラウドデータ送信方法。
【請求項6】
前記併合するステップ又は前記分離するステップは、前記スライス間の隣接性を示すデ
ータ構造(data structure)に基づいて行われ、
前記隣接するか否かを決定するためのデータ構造は、ツリー(tree)に基づくデー
タ構造又はリスト(list)に基づくデータ構造である、請求項5に記載のポイントク
ラウドデータ送信方法。
【請求項7】
前記シグナル情報は、前記ポイントクラウドデータを分割する方法を示す情報を含む、
請求項1に記載のポイントクラウドデータ送信方法。
【請求項8】
ポイントクラウドデータ送信装置であって、
ポイントクラウドデータを符号化するエンコーダ;及び
前記ポイントクラウドデータ及び前記ポイントクラウドデータに関するシグナル情報を
含むビットストリームを送信する送信機;を含んでなる、ポイントクラウドデータ送信装
置。
【請求項9】
ポイントクラウドデータ送信装置は、
ポイントクラウドデータをスライス(slice)に基づいて分割する分割部;及び
スライス内のポイントの数がポイントの最小数より少ない場合、前記スライスを隣接し
たスライス(adjacent slice)と併合(merging)し、又は前記ス
ライス内のポイントの数がポイントの最大数より多い場合、前記スライスを2つ以上のス
ライスに分離(split)する精製部;を更に含む、請求項8に記載のポイントクラウ
ドデータ送信装置。
【請求項10】
前記分割部は、第1の動作、第2の動作又は第3の動作に基づいて前記ポイントクラウ
ドデータを分割し、
前記分割部は、前記第1の動作に基づいて、前記ポイントクラウドデータを含む3次元
空間を8の前記スライスの八分木の深さ(depth)の自乗個に分けて、前記八分木の
深さは、前記スライスのポイントの数の比率(ratio)に基づいて算出され、
前記分割部は、前記第2の動作に基づいて、前記3次元空間内の最長エッジ(long
est edge)を前記3次元空間内の最短エッジ(shortest edge)で
分けて、
前記分割部は、前記第3の動作に基づいて、前記3次元空間の第1の軸及び第2の軸を
前記3次元空間の第3の軸でセグメント(segment)することで、前記3次元空間
を均等四角形(uniform squares)のスライスに分割する、請求項9に記
載のポイントクラウドデータ送信装置。
【請求項11】
前記隣接したスライスは、前記スライスの左側スライス(left slice)、前
記スライスの右側スライス(right slice)、前記スライスの上側スライス(
top slice)又は前記スライスの下側スライス(bottom slice)のう
ちのいずれか1つである、請求項9に記載のポイントクラウドデータ送信装置。
【請求項12】
前記隣接したスライスは、前記スライスの左側スライス(left slice)、前
記スライスの右側スライス(right slice)、前記スライスの上側スライス(
top slice)、前記スライスの下側スライス(bottom slice)、前記
スライスの前側スライス(front slice)及び/又は前記スライスの後側スラ
イス(back slice)のうちのいずれか1つである、請求項11に記載のポイン
トクラウドデータ送信装置。
【請求項13】
前記精製部は、前記スライス間の隣接性を示すデータ構造(data structu
re)に基づいて前記併合又は前記分離を行う、請求項12に記載のポイントクラウドデ
ータ送信装置。
【請求項14】
前記シグナル情報は、前記ポイントクラウドデータを分割する方法を示す情報を含む、
請求項8に記載のポイントクラウドデータ送信装置。
【請求項15】
ポイントクラウドデータ受信方法であって、
前記ポイントクラウドデータ及び前記ポイントクラウドデータに関するシグナル情報を
含むビットストリームを受信するステップ;及び
前記ビットストリーム内のポイントクラウドデータをスライス(slice)に基づい
て復号するステップ;を含んでなる、ポイントクラウドデータ受信方法。
【請求項16】
各々のスライスは、ポイントクラウドデータを分割する方法に基づいて分割(part
itioning)されるか、ポイントクラウドデータを精製する方法に基づいて精製(
refine)されるポイントクラウドデータを含み、
前記シグナル情報は、前記ポイントクラウドデータを分割する方法を示す情報、前記ポ
イントクラウドデータを精製する方法を示す情報を含む、請求項15に記載のポイントク
ラウドデータ受信方法。
【請求項17】
前記分割する方法は、第1の方法、第2の方法又は第3の方法のうちの少なくとも1つ
であり、
前記第1の方法は、前記ポイントクラウドデータを含む3次元空間を8の前記スライス
の八分木の深さ(depth)の自乗個に分割するステップを含み、
前記八分木の深さは、前記スライスのポイントの数の比率(ratio)に基づいて
算出され、
前記第2の方法は、前記3次元空間内の最長エッジ(longest edge)を前
記3次元空間内の最短エッジ(shortest edge)で分けるステップを含み、
前記第3の方法は、前記3次元空間の第1の軸及び第2の軸を前記3次元空間の第3の
軸でセグメント(segment)することで、前記3次元空間を均等四角形(unif
orm squares)のスライスに分割するステップを含む、請求項16に記載のポ
イントクラウドデータ受信方法。
【請求項18】
ポイントクラウドデータ受信装置であって、
前記ポイントクラウドデータ及び前記ポイントクラウドデータに関するシグナル情報を
含むビットストリームを受信する受信部;及び
前記ビットストリーム内のポイントクラウドデータをスライス(slice)に基づい
て復号するデコーダ;を備えてなる、ポイントクラウドデータ受信装置。
【請求項19】
各々のスライスは、ポイントクラウドデータを分割する方法に基づいて分割(part
itioning)されるか、ポイントクラウドデータを精製する方法に基づいて精製(
refine)されるポイントクラウドデータを含み、
前記シグナル情報は、前記ポイントクラウドデータを分割する方法を示す情報、前記ポ
イントクラウドデータを精製する方法を示す情報を含む、請求項18に記載のポイントク
ラウドデータ受信装置。
【請求項20】
前記分割する方法は、第1の方法、第2の方法又は第3の方法のうちの少なくとも1つ
であり、
前記第1の方法は、前記ポイントクラウドデータを含む3次元空間を8の前記スライス
の八分木の深さ(depth)の自乗個に分割するステップを含み、
前記八分木の深さは、前記スライスのポイントの数の比率(ratio)に基づいて
算出され、
前記第2の方法は、前記3次元空間内の最長エッジ(longest edge)を前
記3次元空間内の最短エッジ(shortest edge)で分けるステップを含み、
前記第3の方法は、前記3次元空間の第1の軸及び第2の軸を前記3次元空間の第3の
軸でセグメント(segment)することで、前記3次元空間を均等四角形(unif
orm squares)のスライスに分割するステップを含む、請求項19に記載のポ
イントクラウドデータ受信装置。
【発明の詳細な説明】
【技術分野】
【0001】
実施例はユーザにVR(Virtual Reality、仮想現実)、AR(Au
gmented Reality、増強現実)、MR(Mixed Reality、複合
現実)および自律走行サービスなどの様々なサービスを提供するために、ポイントクラウ
ドコンテンツ(Point Cloud Content)を提供する方案を提供する。
【背景技術】
【0002】
ポイントクラウドデータは、3D空間上のポイントの集合である。3D空間上のポイン
トの量が多くてポイントクラウドデータの生成が難しいという問題点がある。
【0003】
ポイントクラウドデータは、送信、符号化、復号化及びレンダリング処理の過程がリア
ルタイム、低遅延で行われるという要求に合わせるために、ポイントクラウドフレーム又
はポイントクラウドデータをタイル(tile)又はスライス(slice)単位に分けるこ
とができる。
【発明の概要】
【発明が解決しようとする課題】
【0004】
実施例による技術的課題は、上述した問題点などを解決するために、ポイントクラウド
を効率に送受信するためのポイントクラウドデータ送信装置、送信方法、ポイントクラウ
ドデータ受信装置及び受信方法を提供することにある。
【0005】
実施例による技術的課題は、遅延時間(latency)及び符号化/復号複雑度を解
決するためのポイントクラウドデータ送信装置、送信方法、ポイントクラウドデータ受信
装置及び受信方法を提供することにある。
【0006】
実施例による技術的課題は、ポイントクラウドデータの符号化及び復号のためにポイン
トクラウドデータを分割する方法を提供することにある。
【0007】
実施例による技術的課題は、ジオメトリ-ポイントクラウド圧縮(Geometry
- point cloud compression、G-PCC)の属性情報(at
tribute)の符号化技術を改善してポイントクラウドの圧縮性能を向上させること
にある。
【0008】
但し、上述した技術的課題のみに制限されず、記載された全ての内容に基づいて当業者
が導き出される他の技術的課題にも実施例の権利範囲を拡張することができる。
【課題を解決するための手段】
【0009】
上述した技術的課題を達成するために、実施例によるポイントクラウドデータ送信方法
は、ポイントクラウドデータを符号化するステップ;及び/又はポイントクラウドデータ
及び/又はポイントクラウドデータに対するシグナル情報を含むビットストリームを送信
するステップ;を含む(備える;構成する;構築する;設定する;包接する;包含する;
含有する)。
【0010】
実施例によるポイントクラウドデータ送信方法は、ポイントクラウドデータをスライス
(slice)に基づいて分割するステップ;及び/又はスライス内のポイントの数がポ
イントの最小数よりも少ない場合、前記スライスを隣接したスライス(adjacent
slice)と合併(merging)するか、前記スライス内のポイントの数がポイ
ントの最大数よりも多い場合、前記スライスを2つ以上のスライスにスプリット(spl
it)するステップ;をさらに含む。
【0011】
さらに、実施例による前記分割するステップは、第1の方法、第2の方法又は第3の方
法のうちの少なくとも1つに基づいて行われる。実施例による第1の方法は、前記ポイン
トクラウドデータを含む3次元空間を8の前記スライスの八分木の深さ(depth)の
自乗個に分割するステップを含み、前記八分木の深さは、前記スライスのポイントの数の
比率(ratio)に基づいて算出される。実施例による前記第2の方法は、前記3次元
空間内の最長エッジ(longest edge)を前記3次元空間内最短エッジ(sh
ortest edge)で分けるステップを含む。実施例による前記第3の方法は、前
記3次元空間の第1の軸及び第2の軸を前記3次元空間の第3の軸にセグメント(seg
ment)することで、前記3次元空間を均等四角形(uniform squares
)のスライスに分割するステップを含む。
【0012】
さらに、実施例による前記隣接したスライスは、前記スライスの左側スライス(lef
t slice)、前記スライスの右側スライス(right slice)、前記スラ
イスの上側スライス(top slice)又は前記スライスの下側スライス(bott
om slice)のうちのいずれか1つである。
【0013】
さらに、実施例による前記隣接したスライスは、前記スライスの左側スライス(lef
t slice)、前記スライスの右側スライス(right slice)、前記スラ
イスの上側スライス(top slice)、前記スライスの下側スライス(botto
m slice)、前記スライスの前側スライス(front slice)及び/又は
前記スライスの後側スライス(back slice)のうちのいずれか1つである。
【0014】
さらに、実施例による前記合併するステップ又は前記スプリットするステップは、前記
スライス間の隣接性を示すデータ構造(data structure)に基づいて行わ
れる。また実施例によれば、前記隣接しているか否かを決定するためのデータ構造は、木
(tree)に基づくデータ構造又はリスト(list)に基づくデータ構造である。
【0015】
さらに、実施例による前記シグナル情報は、前記ポイントクラウドデータを分割する方
法を示す情報を含む。
【発明の効果】
【0016】
実施例によるポイントクラウドデータ送信方法、送信装置、ポイントクラウドデータ
受信方法、受信装置は、良質のポイントクラウドサービスを提供することができる。
【0017】
実施例によるポイントクラウドデータ 送信方法、送信装置、ポイントクラウドデータ
受信方法、受信装置は、様々なビデオコーデック方式を達成することができる。
【0018】
実施例によるポイントクラウドデータ送信方法、送信装置、ポイントクラウドデータ受
信方法、受信装置は、自律走行サービスなどの汎用的なポイントクラウドコンテンツを提
供することができる。
【0019】
実施例によるポイントクラウドデータ送受信方法及び装置は、ブリックタイリング分割
方法を行い、このために必要なデータをシグナルすることで、ポイントクラウドのコーデ
ィング性能を向上させる効果を提供することができる。
【0020】
実施例によるポイントクラウドデータの送受信装置及び方法は、ポイントクラウドデー
タの独立した符号化/復号化のための空間適応的分割を行うことにより、並列処理の向上
及び拡張性(scalability)を提供することができる。
【0021】
実施例によるポイントクラウドデータの送受信装置及び方法は、独立したデータ分割を
行うとき、空間上近い点同士で再分割が行われる効果を提供することができる。
【0022】
実施例によるポイントクラウドデータ送信装置/受信装置は、ポイントクラウドデータ
を1つ又はそれ以上のタイル(tiles)及び/又はスライス(slices)に分割
し、これに基づいて並列に符号化/復号を行うことができる。
【0023】
実施例によるポイントクラウドデータ送信装置は、ポイントクラウドデータを分割し、
これらを各々独立して符号化することで、ポイントクラウドデータが占有する3次元空間
上のランダムアクセス(random access)と並列符号化を可能にし、よって
実施例によるポイントクラウドデータ受信装置は、このようなポイントクラウドデータを
素早く復号することができる。
【0024】
実施例によるポイントクラウドデータ送信装置は、上述した方法に従ってスライスを生
成することで、個別のポイントの属性を照会しなくてもスライスを生成することができ、
スライス生成過程から発生する遅延を減らすことができる。
【0025】
実施例による送信装置は、実施例による重畳スライスの構成をシグナルするためにタイ
ル別に又はスライス別に異なるスライス構成ヘッダユニットを生成することができる。
【0026】
実施例によるポイントクラウドデータ送受信方法は、このようなビットストリーム構造
を提供することで、受信機においてポイントクラウドデータの属性情報の復号性能を上げ
ることができる。
【図面の簡単な説明】
【0027】
添付図面は実施例の理解を助けるためのものであり、実施例に関連する説明と共に実施
例を示す。後述する様々な実施例に対するより適切な理解のために、添付図面において類
似する参照番号に対応する部分を含む次の図面に関連して以下の実施例の説明を必ず参照
すべきである。
【
図1】実施例によるポイントクラウドコンテンツ提供システムの一例を示す。
【
図2】実施例によるポイントクラウドコンテンツ提供動作を示すブロック図である。
【
図3】実施例によるポイントクラウドビデオキャプチャー過程の一例を示す。
【
図4】実施例によるポイントクラウドエンコーダ(Point Cloud Encoder)の一例を示す。
【
図6】実施例による八分木及び占有コード(occupancy code)の一例を示す。
【
図7】実施例による隣接ノードパターンの一例を示す。
【
図8】実施例によるLODごとのポイント構成の一例を示す。
【
図9】実施例によるLODごとのポイント構成の一例を示す。
【
図10】実施例によるポイントクラウドデコーダ(Point Cloud Decoder)の一例を示す。
【
図11】実施例によるポイントクラウドデコーダ(Point Cloud Decoder)の一例を示す。
【
図14】実施例によるポイントクラウドデータ送受信方法/装置に連動可能な構造の一例を示す。
【
図15】実施例によるポイントクラウドエンコーダを示す図である。
【
図20】実施例による相関加重値のコード化可能な方法の一例を示す。
【
図22】改善された量子化加重値の誘導プロセスの一例を示す。
【
図23】実施例によるポイントクラウド符号化を示すフローダイヤグラムである。
【
図24】実施例によるポイントクラウドデータ送信方法を示すフローダイヤグラムである。
【
図25】実施例によるポイントクラウドデータ処理方法を示すフローダイヤグラムである。
【
図26】実施例による隣接したスライス(adjacent slice)の一例を示す。
【
図27】実施例による隣接したスライス(adjacent slice)を用いてスライスを精製する方法の一例を示す。
【
図28】実施例によるポイントクラウドデータ受信装置の一例を示す。
【
図29】実施例によるポイントクラウドデータ受信装置を示す。
【
図30】実施例によるポイントクラウドデータのビットストリーム構造の一例を示す。
【
図31】実施例によるビットストリームのSPS(Sequence Parameter Set)の一例を示す。
【
図32】実施例によるビットストリームのTPS(Tile Parameter Set)の一例を示す。
【
図33】実施例によるビットストリームのGPS(Geometry Parameter Set)の一例を示す。
【
図34】実施例によるビットストリームのSPS(Sequence Parameter Set)の一例を示す。
【
図35】実施例によるビットストリームのTPS(Tile Parameter Set)の一例を示す。
【
図36】実施例によるビットストリームのGPS(Geometry Parameter Set)の一例を示す。
【
図37】実施例によるビットストリームのGSH(Geometry Slice Header)の一例を示す。
【
図38】実施例によるビットストリームのASH(Attribute Slice Header)の一例を示す。
【
図39】実施例によるポイントクラウドデータ送信方法を示す流れ図である。
【
図40】実施例によるポイントクラウドデータ受信方法を示す流れ図である。
【発明を実施するための形態】
【0028】
添付図面を参照しながら望ましい実施例について具体的に説明する。添付図面を参照し
た以下の詳細な説明は、実施例によって具現可能な実施例のみを示すというより、望まし
い実施例を説明するためのものである。以下の詳細な説明は実施例に関する徹底な理解を
提供するために細部事項を含む。しかし、かかる細部事項がなくても実施例を実行できる
ことは当業者にとって明らかである。
【0029】
実施例で使用するほとんどの用語は該当分野において広く使用される一般的なものであ
るが、一部は出願人によって任意に選択されたものもあり、その意味は必要によって以下
に詳しく説明する。よって、実施例は用語の単純な名称や意味ではなく、用語が意図する
意味に基づいて理解されるべきである。
【0030】
図1は実施例によるポイントクラウドコンテンツ提供システムの一例を示す図である。
【0031】
図1に示したポイントクラウドコンテンツ提供システムは、送信装置(transmi
ssion device)10000及び受信装置(reception device
)10004を含む。送信装置10000及び受信装置10004はポイントクラウドデ
ータを送受信するために有無線通信が可能である。
【0032】
実施例による送信装置10000は、ポイントクラウドビデオ(又はポイントクラウ
ドコンテンツ)を確保し処理して送信する。実施例において、送信装置10000は固定
局(fixed station)、BTS(base transceiver sys
tem)、ネットワーク、AI(Ariticial Intelligence)機器
及び/又はシステム、ロボット、AR/VR/XR機器及び/又はサーバーなどを含む。
また実施例において、送信装置10000は無線接続技術(例とえば、5G NR(Ne
w RAT)、LTE(Long Term Evolution))を用いて、基地局及
び/又は他の無線機器と通信を行う機器、ロボット、車両、AR/VR/XR機器、携帯
機器、家電、IoT(Internet of Thing)機器、AI機器/サーバーな
どを含む。
【0033】
実施例による送信装置10000は、ポイントクラウドビデオ取得部(Point C
loud Video Acquisition)10001、ポイントクラウドビデオエ
ンコーダ(Point Cloud Video Encoder)10002及び/又は
送信機(Transmitter(又は、通信モジュール))10003を含む。
【0034】
実施例によるポイントクラウドビデオ取得部10001は、キャプチャー、合成又は生
成などの処理過程によりポイントクラウドビデオを取得する。ポイントクラウドビデオは
、3次元空間に位置するポイントの集合であるポイントクラウドで表現されるポイントク
ラウドコンテンツであって、ポイントクラウドビデオデータなどと呼ばれる。実施例によ
るポイントクラウドビデオは、一つ又はそれ以上のフレームを含む。一つのフレームは停
止映像/ピクチャを示す。よって、ポイントクラウドビデオはポイントクラウド映像/フ
レーム/ピクチャを含み、ポイントクラウド映像、フレーム及びピクチャのうちのいずれ
かに呼ばれる。
【0035】
実施例によるポイントクラウドビデオエンコーダ10002は、確保したポイントクラ
ウドビデオデータを符号化する。ポイントクラウドビデオエンコーダ10002はポイン
トクラウド圧縮(Point Cloud Compression)コーディングに基づ
いてポイントクラウドビデオデータを符号化する。実施例によるポイントクラウド圧縮コ
ーディングは、G-PCC(Geometry-based Point Cloud C
ompression)コーディング及び/又はV-PCC(Video based P
oint Cloud Compression)コーディング又は次世代コーディングを
含む。なお、実施例によるポイントクラウド圧縮コーディングは、上述した実施例に限ら
れない。ポイントクラウドビデオエンコーダ10002は、符号化されたポイントクラウ
ドビデオデータを含むビットストリームを出力することができる。ビットストリームは符
号化されたポイントクラウドビデオデータだけではなく、ポイントクラウドビデオデータ
の符号化に関連するシグナル情報を含む。
【0036】
実施例による送信機10003は、符号化されたポイントクラウドビデオデータを含む
ビットストリームを送信する。実施例によるビットストリームはファイル又はセグメント
(例えば、ストリーミングセグメント)などにカプセル化されて、放送網及び/又はブロ
ードバンド網などの様々なネットワークにより送信される。図示していないが、送信装置
10000はカプセル化動作を行うカプセル化部(又はカプセル化モジュール)を含む。
また実施例において、カプセル化部は送信機10003に含まれる。実施例において、フ
ァイル又はセグメントはネットワークにより受信装置10004に送信されるか、又はデ
ジタル格納媒体(例えば、USB、SD、CD、DVD、ブルーレイ、HDD、SSDな
ど)に格納される。実施例による送信機10003は受信装置10004(又は受信機(
Receiver)10005)と4G、5G、6Gなどのネットワークにより有/無線
通信が可能である。また送信機10003はネットワークシステム(例えば、4G、5G
、6Gなどの通信ネットワークシステム)によって必要なデータ処理動作を行うことがで
きる。また送信装置10000はオン・デマンド(On Demand)方式によってカ
プセル化されたデータを送信することもできる。
【0037】
実施例による受信装置10004は、受信機(Receiver)10005、ポイン
トクラウドビデオデコーダ(Point Cloud Decoder)10006及び/
又はレンダラー(Renderer)10007を含む。実施例において、受信装置10
004は無線接続技術(例えば、5G NR(New RAT)、LTE(Long Te
rm Evolution))を用いて、基地局及び/又は他の無線機器と通信を行う機
器、ロボット、車両、AR/VR/XR機器、携帯機器、家電、IoT(Interne
t of Thing)機器、AI機器/サーバーなどを含む。
【0038】
実施例による受信機10005は、ポイントクラウドビデオデータを含むビットストリ
ーム又はビットストリームがカプセル化されたファイル/セグメントなどをネットワーク
又は格納媒体から受信する。受信機10005はネットワークシステム(例えば、4G、
5G、6Gなどの通信ネットワークシステム)により必要なデータ処理動作を行う。実施
例による受信機10005は、受信したファイル/セグメントをデカプセル化してビット
ストリームを出力する。また実施例において、受信機10005はデカプセル化の動作を
行うためのデカプセル化部(又はデカプセル化モジュール)を含む。またデカプセル化部
は受信機10005とは別個のエレメント(又はコンポーネント)で具現される。
【0039】
ポイントクラウドビデオデコーダ10006は、ポイントクラウドビデオデータを含む
ビットストリームを復号する。ポイントクラウドビデオデコーダ10006はポイントク
ラウドビデオデータが符号化された方式により復号することができる(例えば、ポイント
クラウドビデオエンコーダ10002の動作の逆の過程)。従って、ポイントクラウドビ
デオデコーダ10006はポイントクラウド圧縮の逆過程であるポイントクラウド復元コ
ーディングを行って、ポイントクラウドビデオデータを復号することができる。ポイント
クラウド復元コーディングはG-PCCコーディングを含む。
【0040】
レンダラー10007は復号されたポイントクラウドビデオデータをレンダリングする
。レンダラー10007はポイントクラウドビデオデータだけではなく、オディオデータ
もレンダリングしてポイントクラウドコンテンツを出力する。実施例において、レンダラ
ー10007はポイントクラウドコンテンツをディスプレイするためのディスプレイを含
む。実施例において、ディスプレイはレンダラー10007に含まれず、別のデバイス又
はコンポーネントで具現される。
【0041】
図面において、点線で示した矢印は、受信装置10004で得たフィードバック情報(
feedback information)の送信経路を示す。フィードバック情報は
ポイントクラウドコンテンツを消費するユーザとの相互作用を反映するための情報であっ
て、ユーザの情報(例えば、ヘッドオリエンテーション情報)、ビューポート(View
port)情報などを含む。特に、ポイントクラウドコンテンツがユーザとの相互作用が
必要なサービス(例えば、自律走行サービスなど)のためのものである場合には、フィー
ドバック情報はコンテンツ送信側(例えば、送信装置10000)及び/又はサービス供
給者に伝達されることができる。実施例において、フィードバック情報は送信装置100
00だけではなく受信装置10004でも使用されることができ、提供されないこともで
きる。
【0042】
実施例によるヘッドオリエンテーション情報はユーザの頭の位置、方向、角度、動きな
どに関する情報である。実施例による受信装置10004はヘッドオリエンテーション情
報に基づいてビューポート情報を計算する。ビューポート情報はユーザが見ているポイン
トクラウドビデオの領域に関する情報である。視点(viewpoint)はユーザがポ
イントクラウドビデオを見ている点であり、ビューポート領域の真ん中を意味する。即ち
、ビューポートは視点を中心とする領域であり、領域のサイズ、形態などはFOV(Fi
eld Of View)により決定される。従って、受信装置10004はヘッドオリエ
ンテーション情報以外に、装置が支援する垂直(vertical)或いは水平(hor
izontal)FOVなどに基づいてビューポート情報を抽出することができる。また
受信装置10004はゲイズ分析(Gaze Analysis)などを行って、ユーザ
のポイントクラウド消費方式、ユーザが凝視するポイントクラウドビデオ領域、凝視時間
などを確認する。実施例において、受信装置10004はゲイズ分析の結果を含むフィー
ドバック情報を送信装置10000に送信することができる。実施例によるフィードバッ
ク情報はレンダリング及び/又はディスプレイ過程で得られる。実施例によるフィードバ
ック情報は受信装置10004に含まれた一つ又はそれ以上のセンサにより確保される。
また実施例において、フィードバック情報はレンダラー10007又は別の外部エレメン
ト(又はデバイス、コンポーネントなど)により確保される。
図1に示された点線はレンダ
ラー10007で確保したフィードバック情報の伝達過程を示す。ポイントクラウドコン
テンツ提供システムはフィードバック情報に基づいてポイントクラウドデータを処理(符
号化/復号)する。従って、ポイントクラウドビデオデータデコーダ10006はフィー
ドバック情報に基づいて復号の動作を行うことができる。また受信装置10004はフィ
ードバック情報を送信装置10000に送信することができる。送信装置10000(又
はポイントクラウドビデオデータエンコーダ10002)はフィードバック情報に基づい
て符号化の動作を行うことができる。従って、ポイントクラウドコンテンツ提供システム
は全てのポイントクラウドデータを処理(符号化/復号)せず、フィードバック情報に基
づいて必要なデータ(例えば、ユーザのヘッド位置に対応するポイントクラウドデータ)
を効率的に処理して、ユーザにポイントクラウドコンテンツを提供することができる。
【0043】
実施例において、送信装置10000はエンコーダ、送信デバイス、送信機などに呼ば
れ、受信装置10004はデコーダ、受信デバイス、受信機などに呼ばれる。
【0044】
実施例による
図1のポイントクラウドコンテンツ提供システムで処理される(取得/符
号化/送信/復号/レンダリングの一連の過程で処理される)ポイントクラウドデータは
、ポイントクラウドコンテンツデータ又はポイントクラウドビデオデータとも呼ばれる。
実施例において、ポイントクラウドコンテンツデータはポイントクラウドデータに関連す
るメタデータ或いはシグナル情報を含む概念として使用することができる。
【0045】
図1に示したポイントクラウドコンテンツ提供システムのエレメントは、ハードウェア
、ソフトウェア、プロセッサ及び/又はこれらの組み合わせなどで具現される。
【0046】
図2は実施例によるポイントクラウドコンテンツ提供の動作を示すブロック図である。
【0047】
図2は
図1で説明したポイントクラウドコンテンツ提供システムの動作を示すブロック
図である。上述したように、ポイントクラウドコンテンツ提供システムは、ポイントクラ
ウド圧縮コーディング(例えば、G-PCC)に基づいてポイントクラウドデータを処理
する。
【0048】
実施例によるポイントクラウドコンテンツ提供システム(例えば、ポイントクラウド送
信装置10000又はポイントクラウドビデオ取得部10001)では、ポイントクラウ
ドビデオを取得する(20000)。ポイントクラウドビデオは3次元空間を表現する座
標系に属するポイントクラウドで表現される。実施例によるポイントクラウドビデオはP
ly(Polygon File format or the Stanford Tria
ngle format)ファイルを含む。ポイントクラウドビデオが一つ又はそれ以上の
フレームを有する場合、取得したポイントクラウドビデオは一つ又はそれ以上のPlyフ
ァイルを含む。Plyファイルはポイントのジオメトリ(Geometry)及び/又は
特質(Attribute)のようなポイントクラウドデータを含む。ジオメトリはポイ
ントの位置を含む。それぞれのポイントの位置は3次元座標系(例えば、XYZ軸からな
る座標系など)を示すパラメータ(例えば、X軸、Y軸、Z軸それぞれの値)で表現され
る。特質はポイントの特質(例えば、それぞれのポイントのテクスチャ情報、色(YCb
Cr又はRGB)、反射率(r)、透明度など)を含む。一つのポイントは一つ又はそれ
以上の特質(又は属性)を有する。例えば、一つのポイントは、色の一つの特質を有する
か、或いは色及び反射率の二つの特質を有することができる。実施例において、ジオメト
リは位置、ジオメトリ情報、ジオメトリデータなどとも呼ばれ、特質は特質、特質情報、
特質データなどとも呼ばれる。またポイントクラウドコンテンツ提供システム(例えば、
ポイントクラウド送信装置10000又はポイントクラウドビデオ取得部10001)は
、ポイントクラウドビデオの取得過程に関連する情報(例えば、深さ情報、色情報など)
からポイントクラウドデータを確保することができる。
【0049】
実施例によるポイントクラウドコンテンツ提供システム(例えば、送信装置10000
又はポイントクラウドビデオエンコーダ10002)は、ポイントクラウドデータを符号
化する(20001)。ポイントクラウドコンテンツ提供システムは、ポイントクラウド
圧縮コーディングに基づいてポイントクラウドデータを符号化する。上述したように、ポ
イントクラウドデータはポイントのジオメトリ及び特質を含む。よって、ポイントクラウ
ドコンテンツ提供システムは、ジオメトリを符号化するジオメトリ符号化を行ってジオメ
トリビットストリームを出力することができる。ポイントクラウドコンテンツ提供システ
ムは、特質を符号化する特質符号化を行って特質ビットストリームを出力することができ
る。実施例において、ポイントクラウドコンテンツ提供システムはジオメトリ符号化に基
づいて特質符号化を行うことができる。実施例によるジオメトリビットストリーム及び特
質ビットストリームは多重化されて一つのビットストリームで出力される。実施例による
ビットストリームはジオメトリ符号化及び特質符号化に関連するシグナル情報をさらに含
む。
【0050】
実施例によるポイントクラウドコンテンツ提供システム(例えば、送信装置10000
又は送信機10003)は、符号化されたポイントクラウドデータを送信する(2000
2)。
図1で説明したように、符号化されたポイントクラウドデータはジオメトリビット
ストリーム、特質ビットストリームで表現される。また符号化されたポイントクラウドデ
ータはポイントクラウドデータの符号化に関連するシグナル情報(例えば、ジオメトリ符
号化及び特質符号化に関連するシグナル情報)と共に、ビットストリームの形態で送信さ
れる。またポイントクラウドコンテンツ提供システムは符号化されたポイントクラウドデ
ータを送信するビットストリームをカプセル化してファイル又はセグメントの形態で送信
する。
【0051】
実施例によるポイントクラウドコンテンツ提供システム(例えば、受信装置10004
又は受信機10005)は、符号化されたポイントクラウドデータを含むビットストリー
ムを受信する。またポイントクラウドコンテンツ提供システム(例えば、受信装置100
04又は受信機10005)は、ビットストリームを逆多重化することができる。
【0052】
ポイントクラウドコンテンツ提供システム(例えば、受信装置10004又はポイント
クラウドビデオデコーダ10005)は、ビットストリームで送信される符号化されたポ
イントクラウドデータ(例えば、ジオメトリビットストリーム、特質ビットストリーム)
を復号する。ポイントクラウドコンテンツ提供システム(例えば、受信装置10004又
はポイントクラウドビデオデコーダ10005)は、ビットストリームに含まれたポイン
トクラウドビデオデータの符号化に関連するシグナル情報に基づいてポイントクラウドビ
デオデータを復号する。ポイントクラウドコンテンツ提供システム(例えば、受信装置1
0004又はポイントクラウドビデオデコーダ10005)は、ジオメトリビットストリ
ームを復号してポイントの位置(ジオメトリ)を復元する。ポイントクラウドコンテンツ
提供システムは、復元したジオメトリに基づいて特質ビットストリームを復号してポイン
トの特質を復元する。ポイントクラウドコンテンツ提供システム(例えば、受信装置10
004又はポイントクラウドビデオデコーダ10005)は、復元されたジオメトリによ
る位置及び復号された特質に基づいてポイントクラウドビデオを復元する。
【0053】
実施例によるポイントクラウドコンテンツ提供システム(例えば、受信装置10004
又はレンダラー10007)は、復号されたポイントクラウドデータをレンダリングする
(20004)。ポイントクラウドコンテンツ提供システム(例えば、受信装置1000
4又はレンダラー10007)は、復号過程で復号されたジオメトリ及び特質を様々なレ
ンダリング方式によってレンダリングする。ポイントクラウドコンテンツのポイントは、
一定の厚さを有する定点、該当定点の位置を中央とする所定の最小サイズを有する立方体
、又は定点の位置を中央とする円などにレンダリングされる。レンダリングされたポイン
トクラウドコンテンツの全部又は一部の領域はディスプレイ(例えば、VR/ARディス
プレイ、一般ディスプレイなど)によりユーザに提供される。
【0054】
実施例によるポイントクラウドコンテンツ提供システム(例えば、受信装置10004
)は、フィードバック情報を確保することができる(20005)。ポイントクラウドコ
ンテンツ提供システムは、フィードバック情報に基づいてポイントクラウドデータを符号
化及び/又は復号する。実施例によるフィードバック情報及びポイントクラウドコンテン
ツ提供システムの動作は、
図1で説明したフィードバック情報及び動作と同一であるので
、具体的な説明は省略する。
【0055】
図3は実施例によるポイントクラウドビデオキャプチャー過程の一例を示す図である。
【0056】
図3は
図1及び
図2で説明したポイントクラウドコンテンツ提供システムのポイントク
ラウドビデオキャプチャー過程の一例を示す。
【0057】
ポイントクラウドコンテンツは、様々な3次元空間(例えば、現実環境を示す3次元空
間、仮想環境を示す3次元空間など)に位置するオブジェクト(object)及び/又
は環境を示すポイントクラウドビデオ(イメージ及び/又は映像)を含む。従って、実施
例によるポイントクラウドコンテンツ提供システムは、ポイントクラウドコンテンツを生
成するために一つ又はそれ以上のカメラ(例えば、深さ情報を確保できる赤外線カメラ、
深さ情報に対応する色情報を抽出できるRGBカメラなど)、プロジェクター(例えば、
深さ情報を確保するための赤外線パターンプロジェクターなど)、LiDARなどを使用
してポイントクラウドビデオをキャプチャーする。実施例によるポイントクラウドコンテ
ンツ提供システムは、深さ情報から3次元空間上のポイントで構成されたジオメトリの形
態を抽出し、色情報からそれぞれのポイントの特質を抽出してポイントクラウドデータを
確保する。実施例によるイメージ及び/又は映像は内向き(inward-facing
)方式及び外向き(outward-facing)方式のうちのいずれか1つ以上に基
づいてキャプチャーされる。
【0058】
図3の左側には内向き方式が示されている。内向き方式は中心オブジェクトを取り囲ん
で位置する一つ又はそれ以上のカメラ(又はカメラセンサ)が中心オブジェクトをキャプ
チャーする方式である。内向き方式は核心核心客体に対する360°イメージをユーザに
提供するポイントクラウドコンテンツ(例えば、ユーザに客体(例:キャラクター、選手
、品物、俳優などの核心となる客体)の360°イメージを提供するVR/ARコンテン
ツ)を生成するために使用される。
【0059】
図3の右側には外向き方式が示されている。外向き方式は中心オブジェクトを取り囲ん
で位置する一つ又はそれ以上のカメラ(又はカメラセンサ)が中心オブジェクトではない
中心オブジェクトの環境をキャプチャーする方式である。外向き方式はユーザの視点から
の周辺環境を提供するためのポイントクラウドコンテンツ(例えば、自律走行車両のユー
ザに提供される外部環境を示すコンテンツ)を生成するために使用される。
【0060】
図示したように、ポイントクラウドコンテンツは一つ又はそれ以上のカメラのキャプチ
ャー動作に基づいて生成される。この場合、それぞれのカメラの座標系が異なるので、ポ
イントクラウドコンテンツ提供システムはキャプチャー動作前にグローバル空間座標系(
global coordinate system)を設定するために、一つ又はそれ以
上のカメラの校正(calibration)を行う。またポイントクラウドコンテンツ提
供システムは、上述したキャプチャー方式でキャプチャーされたイメージ及び/又は映像
と任意のイメージ及び/又は映像を合成してポイントクラウドコンテンツを生成する。ま
たポイントクラウドコンテンツ提供システムは、仮想空間を示すポイントクラウドコンテ
ンツを生成する場合、
図3で説明したキャプチャー動作を行わない。実施例によるポイン
トクラウドコンテンツ提供システムは、キャプチャーしたイメージ及び/又は映像に対し
て後処理を行うこともできる。即ち、ポイントクラウドコンテンツ提供システムは、望ま
ない領域(例えば、背景)を除去したり、キャプチャーしたイメージ及び/又は映像が連
結された空間を認識して空間(spatial hole)がある場合、それを埋める動
作を行うことができる。
【0061】
またポイントクラウドコンテンツ提供システムは、それぞれのカメラから確保したポイ
ントクラウドビデオのポイントに対して座標系変換を行って、一つのポイントクラウドコ
ンテンツを生成することができる。ポイントクラウドコンテンツ提供システムは、それぞ
れのカメラの位置座標を基準としてポイントの座標系変換を行う。これにより、ポイント
クラウドコンテンツ提供システムは、一つの広い範囲を示すコンテンツを生成するか、或
いはポイントの密度が高いポイントクラウドコンテンツを生成することができる。
【0062】
図4は実施例によるポイントクラウドエンコーダ(Point Cloud Encod
er)の一例を示す図である。
【0063】
図4は
図1のポイントクラウドビデオエンコーダ10002の一例を示す。ポイントク
ラウドエンコーダは、ネットワーク状況或いはアプリケーションなどによってポイントク
ラウドコンテンツの質(例えば、無損失-lossless、損失-lossy、損失に
近い-near-lossless)を調節するために、ポイントクラウドデータ(例え
ば、ポイントの位置及び/又は特質)を再構成して符号化動作を行う。ポイントクラウド
コンテンツの全体サイズが大きい場合(例えば、30fpsの場合、60Gbpsである
ポイントクラウドコンテンツ)、ポイントクラウドコンテンツ提供システムは該当コンテ
ンツをリアルタイムストリーミングできないこともある。従って、ポイントクラウドコン
テンツ提供システムは、ネットワーク環境などに合わせて提供するために、最大ターゲッ
トビットレートに基づいてポイントクラウドコンテンツを再構成することができる。
【0064】
図1及び
図2に示したように、ポイントクラウドエンコーダはジオメトリ符号化及び特
質符号化を行うことができる。ジオメトリ符号化は特質符号化よりも先に行われる。
【0065】
実施例によるポイントクラウドエンコーダは、座標系変換部(Transformat
ion Coordinates)40000、量子化部(Quantize and R
emove Points(Voxelize))40001、八分木分析部(Anal
yze Octree)40002、表面近似分析部(Analyze Surface
Approximation)40003、演算エンコーダ(Arithmetic E
ncode)40004、ジオメトリ再構成部(Reconstruct Geomet
ry)40005、色変換部(Transform Colors)40006、特質変
換部(Transfer Attributes)40007、RAHT変換部4000
8、LOD生成部(Generated LOD)40009、リフト変換部(Lift
ing)40010、係数量子化部(Quantize Coefficients)4
0011及び/又は演算エンコーダ(Arithmetic Encode)40012
を含む。
【0066】
座標系変換部40000、量子化部40001、八分木分析部40002、表面近似分
析部40003、演算エンコーダ40004及びジオメトリ再構成部40005は、ジオ
メトリ符号化を行うことができる。実施例によるジオメトリ符号化は、八分木ジオメトリ
コーディング、ダイレクトコーディング(direct coding)、trisou
pジオメトリ符号化(trisoup geometry encoding)及びエント
ロピー符号化を含む。ダイレクトコーディング及びtrisoupジオメトリ符号化は選
択的に或いは組み合わせて適用される。なお、ジオメトリ符号化は上記の例示に限られな
い。
【0067】
図示したように、実施例による座標系変換部40000は、位置を受信して座標系(c
oordinate)に変換する。例えば、位置は3次元空間(例えば、XYZ座標系で
表現される3次元空間など)の位置情報に変換される。実施例による3次元空間の位置情
報はジオメトリ情報とも称される。
【0068】
実施例による量子化部40001はジオメトリを量子化する。例えば、量子化部400
01は全体ポイントの最小位置値(例えば、X軸、Y軸、Z軸に対して各軸上の最小値)
に基づいてポイントを量子化する。量子化部40001は最小の位置値とそれぞれのポイ
ントの位置値との差に所定の量子スケール(quatization scale)値を
掛けた後、切り下げ又は切り上げをして最も近い整数値を探す量子化動作を行う。従って
、一つ又はそれ以上のポイントは同一の量子化された位置(又は位置値)を有することが
できる。実施例による量子化部40001は量子化されたポイントを再構成するために、
量子化された位置に基づいてボクセル化(voxelization)を行う。2次元イ
メージ/ビデオ情報を含む最小単位はピクセル(pixel)のように、実施例によるポ
イントクラウドコンテンツ(又は3次元ポイントクラウドビデオ)のポイントは一つ又は
それ以上のボクセル(voxel)に含まれる。ボクセルはボリューム(Volume)
とピクセル(Pixel)を組み合わせた言葉であり、3次元空間を表現する軸(例えば
、X軸、Y軸、Z軸)に基づいて3次元空間をユニット(unit=1.0)単位で分け
たときに発生する3次元キュービック空間を意味する。量子化部40001は3次元空間
のポイントのグループをボクセルでマッチングすることができる。実施例において、一つ
のボクセルは一つのポイントのみを含むことができる。実施例において、一つのボクセル
は一つ又はそれ以上のポイントを含む。また一つのボクセルを一つのポイントで表現する
ために、一つのボクセルに含まれた一つ又はそれ以上のポイントの位置に基づいて、該当
ボクセルの中央点(ceter)の位置を設定することができる。この場合、一つのボク
セルに含まれた全ての位置の特質が統合されて(combined)、該当ボクセルに割
り当てられる。
【0069】
実施例による八分木分析部40002は、ボクセルを八分木構造で表すための八分木ジ
オメトリコーディング(又は八分木コーディング)を行う。八分木構造は八分割構造に基
づいてボクセルにマッチングされたポイントを表現する。
【0070】
実施例による表面近似分析部40003は、八分木を分析して近似化する。実施例によ
る八分木分析及び近似化は、八分木及びボクセル化を効率的に提供するために、多数のポ
イントを含む領域をボクセル化するために分析を行う過程である。
【0071】
実施例による演算エンコーダ40004は、八分木及び/又は近似化された八分木をエ
ントロピー符号化する。例えば、符号化方式は演算(Arithmetic)符号化方法
を含む。符号化の結果としてジオメトリビットストリームが生成される。
【0072】
色変換部40006、特質変換部40007、RAHT変換部40008、LOD生成
部40009、リフト変換部40010、係数量子化部40011及び/又は演算エンコ
ーダ40012は、特質符号化を行う。上述したように、一つのポイントは一つ又はそれ
以上の特質を有する。実施例による特質符号化は、一つのポイントが有する特質に対して
等しく適用される。但し、一つの特質(例えば、色)が一つ又はそれ以上の要素を含む場
合は、各要素ごとに独立した特質符号化が適用される。実施例による特質符号化は、色変
換コーディング、特質変換コーディング、RAHT(Region Adaptive H
ierarchial Transform)コーディング、予測変換(Interpo
laration-based hierarchical nearest-neigh
bour prediction-Prediction Transform)コーディ
ング及びリフト変換(interpolation-based hierarchic
al nearest-neighbour prediction with an up
date/lifting step(Lifting Transform))コーディ
ングを含む。ポイントクラウドコンテンツによって、上述したRAHTコーディング、予
測変換コーディング及びリフト変換コーディングが選択的に使用されるか、又は一つ又は
それ以上のコーディングの組み合わせが使用される。また実施例による特質符号化は上述
した例示に限られない。
【0073】
実施例による色変換部40006は、特質に含まれた色値(又はテクスチャ)を変換す
る色変換コーディングを行う。例えば、色変換部40006は色情報のフォーマットを変
換(例えば、RGBからYCbCrに変換)する。実施例による色変換部40006の動
作は、特質に含まれた色値によって任意に(optional)適用される。
【0074】
実施例によるジオメトリ再構成部40005は、八分木及び/又は近似化した八分木を
再構成(復元)する。ジオメトリ再構成部40005はポイントの分布を分析した結果に
基づいて八分木/ボクセルを再構成する。再構成された八分木/ボクセルは再構成された
ジオメトリ(又は復元されたジオメトリ)とも呼ばれる。
【0075】
実施例による特質変換部40007は、ジオメトリ符号化が行われていない位置及び/
又は再構成されたジオメトリに基づいて特質を変換する特質変換を行う。上述したように
、特質はジオメトリに従属するので、特質変換部40007は再構成されたジオメトリ情
報に基づいて特質を変換することができる。例えば、特質変換部40007は、ボクセル
に含まれたポイントの位置値に基づいてその位置のポイントが有する特質を変換すること
ができる。上述したように、一つのボクセルに含まれた一つ又はそれ以上のポイントの位
置に基づいて該当ボクセルの中央点の位置が設定される場合、特質変換部40007は一
つ又はそれ以上のポイントの特質を変換する。trisoupジオメトリ符号化が行われ
た場合、特質変換部40007はtrisoupジオメトリ符号化に基づいて特質を変換
することができる。
【0076】
特質変換部40007は、各ボクセルの中央点の位置(又は位置値)から特定の位置/
半径内に隣接しているポイントの特質又は特質値(例えば、各ポイントの色、又は反射率
など)の平均値を計算して特質変換を行う。特質変換部40007は平均値の計算時、中
央点から各ポイントまでの距離による加重値を適用する。従って、各ボクセルは位置及び
計算された特質(又は特質値)を有する。
【0077】
特質変換部40007はK-Dツリー又はモールトンコード(moulton cod
e)に基づいて各ボクセルの中央点の位置から特定の位置/半径内に存在する隣接ポイン
トを探索する。K-Dツリーは二分探索木(binary search tree)で迅
速に最短隣接点探索(Nearest Neighbor Search-NNS)ができ
るように、ポイントを位置基盤に管理する資料構造を支援する。モールトンコードは全て
のポイントの3次元位置を示す座標値(例えば、(x,y,z))をビット値で示し、ビ
ットを混ぜて生成される。例えば、ポイントの位置を示す座標値が(5,9,1)である
と、座標値のビット値は(0101、1001、0001)である。ビット値をz、y、
xの順にビットインデックスに合わせて混ぜると、010001000111である。こ
の値を10進数で示すと1095になる。即ち、座標値が(5,9,1)であるポイント
のモールトンコード値は1095である。特質変換部40007はモールトンコード値を
基準としてポイントを整列し、depth-first traversal過程により
最短隣接点探索(NNS)を行う。特質変換動作後、特質コーディングのための他の変換
過程でも最短隣接点探索(NNS)が必要であれば、K-Dツリー又はモールトンコード
が活用される。
【0078】
図示したように、変換された特質はRAHT変換部40008及び/又はLOD生成部
40009に入力される。
【0079】
実施例によるRAHT変換部40008は、再構成されたジオメトリ情報に基づいて特
質情報を予測するRAHTコーディングを行う。例えば、RAHT変換部40008は、
八分木の下位レベルにあるノードに連関する特質情報に基づいて、八分木の上位レベルに
あるノードの特質情報を予測することができる。
【0080】
実施例によるLOD生成部40009は予測変換コーディングを行うために、LOD(
Level of Detail)を生成する。実施例によるLODはポイントクラウドコ
ンテンツの詳細を示す程度であり、LOD値が小さいほどポイントクラウドコンテンツの
詳細が下がり、LOD値が大きいほどポイントクラウドコンテンツの詳細が高いことを示
す。ポイントをLODによって分類できる。
【0081】
実施例によるリフト変換部40010は、ポイントクラウドの特質を加重値に基づいて
変換するリフト変換コーディングを行う。上述したように、リフト変換コーディングは選
択的に適用される。
【0082】
実施例による係数量子化部40011は、特質コーディングされた特質を係数に基づい
て量子化する。
【0083】
実施例による演算エンコーダ40012は、量子化された特質を演算コーディングに基
づいて符号化する。
【0084】
図4のポイントクラウドエンコーダのエレメントは、図示していないが、ポイントクラ
ウド提供装置に含まれた一つ又はそれ以上のメモリと通信可能に設定された一つ又はそれ
以上のプロセッサ又は集積回路(integrated circuits)を含むハー
ドウェア、ソフトウェア、ファームウェア又はこれらの組み合わせで具現される。一つ又
はそれ以上のプロセッサは、上述した
図4のポイントクラウドエンコーダのエレメントの
動作及び/又は機能のうちいずれか一つを行うことができる。また、一つ又はそれ以上の
プロセッサは、
図4のポイントクラウドエンコーダのエレメントの動作及び/又は機能を
行うためのソフトウェアプログラム及び/又は指示(instruction)のセット
を動作又は実行することができる。実施例による一つ又はそれ以上のメモリは高速ランダ
ムアクセスメモリを含むか、又は非揮発性メモリ(例えば、一つ又はそれ以上のマグネチ
ックディスク格納デバイス、フラッシュメモリデバイス、又は他の非揮発性固体メモリデ
バイス(Solid-state memory devices)など)を含む。
【0085】
【0086】
図5はX軸、Y軸、Z軸の3つの軸で構成された座標系で表現される3次元空間上に位
置するボクセルを示す。
図4に示すように、ポイントクラウドエンコーダ(例えば、量子
化部40001など)はボクセル化を行う。ボクセルは3次元空間を表現する軸(例えば
、X軸、Y軸、Z軸)に基づいて3次元空間をユニット(unit=1.0)単位で分け
たときに発生する3次元キュービック空間を意味する。
図5は2つの極点(0,0,0)及
び(2
d、2
d、2
d)により定義される境界ボックス(cubical axis-ali
gned bounding box)を再帰的に分割(reculsive subdi
viding)する八分木構造により生成されたボクセルの一例を示す。一つのボクセル
は少なくとも一つ以上のポイントを含む。ボクセルはボクセル群(voxel grou
p)との位置関係から空間座標を推定することができる。上述したように、ボクセルは2
次元イメージ/映像のピクセルと同様に、特質(色又は反射率など)を有する。ボクセル
に対する具体的な説明は
図4で説明した通りであるので、省略する。
【0087】
図6は実施例による八分木及び占有コード(occupancy code)の一例を
示す図である。
【0088】
図1ないし
図4に示したように、ポイントクラウドコンテンツ提供システム(ポイント
クラウドビデオエンコーダ10002)又はポイントクラウドエンコーダ(例えば、八分
木分析部40002)は、ボクセルの領域及び/又は位置を効率的に管理するために、八
分木構造基盤の八分木ジオメトリコーディング(又は八分木コーディング)を行う。
【0089】
図6の上側は八分木構造を示している。実施例によるポイントクラウドコンテンツの3
次元空間は座標系の軸(例えば、X軸、Y軸、Z軸)で表現される。八分木構造は2つの
極点(0,0,0)及び(2
d、2
d、2
d)により定義される境界ボックス(cubica
l axis-aligned bounding box)を再帰的に分割(recul
sive subdividing)して生される。2dはポイントクラウドコンテンツ
(又はポイントクラウドビデオ)の全体ポイントを取り囲む最小の境界ボックスを構成す
る値で設定される。dは八分木の深さを示す。d値は以下の式により決定される。以下の
式において、(x
int
n、y
int
n、z
int
n)は量子化されたポイントの位置(又は位置値)
を示す。
【0090】
【0091】
図6の上側中央に示したように、分割によって全体の3次元空間は8つの空間に分割さ
れる。分割されたそれぞれの空間は6つの面を有するキューブで表現される。
図6の右上
側に示したように、8つの空間はそれぞれ再び座標系の軸(例えば、X軸、Y軸、Z軸)
により分割される。よって、それぞれの空間は再び8つの小さい空間に分割される。分割
された小さい空間も6つの面を有するキューブで表現される。このような分割方式は八分
木のリーフノード(leaf node)がボクセルになるまで適用される。
【0092】
図6の下側は八分木の占有コードを示す。八分木の占有コードは一つの空間が分かれて
発生する8つの分割空間がそれぞれ少なくとも一つのポイントを含むか否かを示すために
生成される。従って、一つの占有コードは8つの子ノード(child node)で表
現される。それぞれの子ノードは分割された空間の占有率(occupancy)を示し
、子ノードは1ビットの値を有する。従って、占有コードは8ビットコードで表現される
。即ち、子ノードに対応する空間に少なくとも一つのポイントが含まれていると、該当ノ
ードは1値を有する。ノードに対応する空間にポイントが含まれていないと(empty
)、該当ノードは0値を有する。
図6に示した占有コードは00100001であるので
、8つの子ノードのうち、3番目の子ノード及び8番目の子ノードに対応する空間はそれ
ぞれ少なくとも一つのポイントを含むことを示している。図示したように、3番目の子ノ
ード及び8番目の子ノードはそれぞれ8つの子ノードを有し、それぞれの子ノードは8ビ
ットの占有コードで表現される。図面では、3番目の子ノードの占有コードが10000
111であり、8番目の子ノードの占有コードが01001111であることを示してい
る。実施例によるポイントクラウドエンコーダ(例えば、演算エンコーダ40004)は
占有コードをエントロピー符号化することができる。また圧縮効率を高めるために、ポイ
ントクラウドエンコーダは占有コードをイントラ/インターコーディングすることができ
る。実施例による受信装置(例えば、受信装置10004又はポイントクラウドビデオデ
コーダ10006)は占有コードに基づいて八分木を再構成する。
【0093】
実施例によるポイントクラウドエンコーダ(例えば、
図4のポイントクラウドエンコー
ダ、又は八分木分析部40002)は、ポイントの位置を格納するためにボクセル化及び
八分木コーディングを行う。しかし、3次元空間内のポイントがいつも均一に分布してい
ることではないので、ポイントが多く存在しない特定の領域が存在し得る。従って、3次
元空間の全体に対してボクセル化を行うことは非効率的である。例えば、特定の領域にポ
イントがほぼ存在しないと、該当領域までボクセル化を行う必要はない。
【0094】
従って、実施例によるポイントクラウドエンコーダは、上述した特定の領域(又は八分
木のリーフノードを除いたノード)についてはボクセル化を行わず、特定の領域に含まれ
たポイントの位置を直接コーディングするダイレクトコーディング(Direct co
ding)を行う。実施例によるダイレクトコーディングポイントの座標は、ダイレクト
コーディングモード(Direct Coding Mode、DCM)と呼ばれる。また
実施例によるポイントクラウドエンコーダは、表面モデル(surface model
)に基づいて特定の領域(又はノード)内のポイントの位置をボクセルに基づいて再構成
するtrisoupジオメトリ符号化(Trisoup geometry encodi
ng)を行うことができる。trisoupジオメトリ符号化はオブジェクトの表現を三
角形メッシュ(triangle mesh)のシリーズで表現するジオメトリ符号化で
ある。従って、ポイントクラウドデコーダはメッシュ表面からポイントクラウドを生成す
ることができる。実施例によるダイレクトコーディング及びtrisoupジオメトリ符
号化は選択的に行われる。また実施例によるダイレクトコーディング及びtrisoup
ジオメトリ符号化は八分木ジオメトリコーディング(又は八分木コーディング)と結合し
て行うことができる。
【0095】
ダイレクトコーディング(Direct coding)を行うためには、ダイレクト
コーディングを適用するための直接モード(direct mode)の使用オプション
が活性化されている必要があり、ダイレクトコーディングを適用するノードはリーフノー
ドではなく、特定のノード内に閾値(threshold)以下のポイントが存在する必
要がある。またダイレクトコーディングの対象となる全体ポイントの個数は所定の閾値を
超えてはいけない。上記条件を満たすと、実施例によるポイントクラウドエンコーダ(又
は演算エンコーダ40004)はポイントの位置(又は位置値)をエントロピーコーディ
ングすることができる。
【0096】
実施例によるポイントクラウドエンコーダ(例えば、表面近似分析部40003)は、
八分木の特定のレベル(レベルは八分木の深さdよりは小さい場合)を定め、そのレベル
からは表面モデルを使用してノード領域内のポイントの位置をボクセルに基づいて再構成
するtrisoupジオメトリ符号化を行うことができる(trisoupモード)。実
施例によるポイントクラウドエンコーダは、trisoupジオメトリ符号化を適用する
レベルを指定できる。例えば、指定されたレベルが八分木の深さと同一であると、ポイン
トクラウドエンコーダはtrisoupモードで動作しない。即ち、実施例によるポイン
トクラウドエンコーダは指定されたレベルが八分木の深さ値よりも小さい場合にのみtr
isoupモードで動作することができる。実施例による指定されたレベルのノードの3
次元立方体領域をブロック(block)と呼ぶ。一つのブロックは一つ又はそれ以上の
ボクセルを含む。ブロック又はボクセルはブリック(brick)に対応することもでき
る。それぞれのブロック内においてジオメトリは表面(surface)と表現される。
実施例による表面は最大1回、ブロックの各エッジ(edge)と交差することができる
。
【0097】
一つのブロックは12つのエッジを有するので、一つのブロック内に少なくとも12つ
の交差点が存在する。それぞれの交差点はバーテックス(vertex、頂点又は頂上)
と呼ばれる。エッジに沿って存在するバーテックスは該当エッジを共有する全てのブロッ
クのうち、そのエッジに隣接する少なくとも一つの占有ボクセル(occupied v
oxel)がある場合に検知される。実施例による占有ボクセルはポイントを含むボクセ
ルを意味する。エッジに沿って検出されたバーテックスの位置は、該当エッジを共有する
全てのブロックのうち、該当エッジに隣接する全てのボクセルのエッジによる平均位置で
ある(the average position along the edge of a
ll voxels)。
【0098】
バーテックスが検出されると、実施例によるポイントクラウドエンコーダは、エッジの
開始点(x、y、z)、エッジの方向ベクトル(Δx、Δy、Δz)、バーテックス位置
値(エッジ内の相対的位置値)をエントロピーコーディングすることができる。tris
oupジオメトリ符号化が適用された場合、実施例によるポイントクラウドエンコーダ(
例えば、ジオメトリ再構成部40005)は三角形再構成(triangle reco
nstruction)、アップ-サンプリング(up-sampling)、ボクセル
化過程を行って復元されたジオメトリ(再構成されたジオメトリ)を生成することができ
る。
【0099】
ブロックのエッジに位置するバーテックスはブロックを通過する表面を決定する。実施
例による表面は非平面多角形である。三角形再構成の過程ではエッジの開始点、エッジの
方向ベクトルとバーテックスの位置値に基づいて三角形で示される表面を再構成する。三
角形再構成の過程は以下の通りである。下記式中、「まる1」各バーテックスの中心(c
entroid)値を計算し、「まる2」各バーテックスの値から中心値を引いた値に「
まる3」自乗を行って、その値を全て併せた値を得る。
【0100】
【0101】
加えられた値の最小値を求め、最小値がある軸に沿って投影(Projection)
過程を行う。例えば、x要素(element)が最小である場合、各バーテックスをブ
ロックの中心を基準としてx軸に投影し、(y,z)平面に投影させる。(y,z)平面
に投影させて得た値が(ai,bi)であれば、atan2(bi,ai)によりθ値を
求め、θ値を基準としてバーテックスを整列する。以下の表はバーテックスの個数によっ
て三角形を生成するためのバーテックスの組み合わせを示している。バーテックスは1か
らnまで順に整列される。以下の表は4つのバーテックスに対して、バーテックスの組み
合わせによって2つの三角形が構成されることを示している。1番目の三角形は整列され
たバーテックスのうち、1、2、3番目のバーテックスで構成され、2番目の三角形は整
列されたバーテックスのうち、3,4,1番目のバーテックスで構成される。
【0102】
表2-1.Triangles formed from vertices order
ed 1,…,n
【0103】
n triangles
【0104】
3 (1,2,3)
【0105】
4 (1,2,3), (3,4,1)
【0106】
5 (1,2,3), (3,4,5), (5,1,3)
【0107】
6 (1,2,3), (3,4,5), (5,6,1), (1,3,5)
【0108】
7 (1,2,3), (3,4,5), (5,6,7), (7,1,3), (3,5,7)
【0109】
8 (1,2,3), (3,4,5), (5,6,7), (7,8,1), (1,3,5), (5,7,1)
【0110】
9 (1,2,3), (3,4,5), (5,6,7), (7,8,9), (9,1,3), (3,5,7), (7,9,3)
【0111】
10 (1,2,3), (3,4,5), (5,6,7), (7,8,9), (9,10,1), (1,3,5), (5,7,9), (9,1,5)
【0112】
11 (1,2,3), (3,4,5), (5,6,7), (7,8,9), (9,10,11), (11,1,3), (3,5,7), (7,9,11)
, (11,3,7)
【0113】
12 (1,2,3), (3,4,5), (5,6,7), (7,8,9), (9,10,11), (11,12,1), (1,3,5), (5,7,9)
, (9,11,1), (1,5,9)
【0114】
アップサンプリング過程は三角形のエッジに沿って中間に点を追加してボクセル化する
ために行われる。アップサンプリング係数(upsampling factor)とブ
ロックの幅を基準として追加点を生成する。追加点はリファインドバーテックス(ref
ined vertice)と呼ばれる。実施例によるポイントクラウドエンコーダはリ
ファインドバーテックスをボクセル化することができる。またポイントクラウドエンコー
ダはボクセル化された位置(又は位置値)に基づいて特質符号化を行うことができる。
【0115】
図7は実施例による隣接ノードパターンの一例を示す図である。
【0116】
ポイントクラウドビデオの圧縮効率を増加させるために、実施例によるポイントクラウ
ドエンコーダはコンテキスト適応演算(context adaptive arithm
etic)コーディングに基づいてエントロピーコーディングを行う。
【0117】
図1ないし
図6で説明したように、ポイントクラウドコンテンツ提供システム又はポイ
ントクラウドエンコーダ(例えば、ポイントクラウドビデオエンコーダ10002、
図4
のポイントクラウドエンコーダ又は演算エンコーダ40004)は、占有コードをすぐエ
ントロピーコーディングすることができる。またポイントクラウドコンテンツ提供システ
ム又はポイントクラウドエンコーダは、現在ノードの占有コードと隣接ノードの占有率に
基づいてエントロピー符号化(イントラ符号化)を行うか、又は以前フレームの占有コー
ドに基づいてエントロピー符号化(インター符号化)を行うことができる。実施例による
フレームは、同時間に生成されたポイントクラウドビデオの集合を意味する。実施例によ
るイントラ符号化/インター符号化の圧縮効率は、参照する隣接ノードの個数によって異
なる。ビットが大きくなると複雑になるが、一側に傾くようにして圧縮効率を高めること
ができる。例えば、3-bit contextを有すると、2の3乗である8つの方法
でコーディングする。分けてコーディングする部分は具現の複雑度に影響を及ぼす。従っ
て、圧縮効率と複雑度の適正水準を合わせる必要がある。
【0118】
図7は隣接ノードの占有率に基づいて占有パターンを求める過程を示す。実施例による
ポイントクラウドエンコーダは、八分木の各ノードの隣接ノードの占有率(occupa
ncy)を判断して隣接ノードパターン(neighbor pattern)値を得る
。隣接ノードパターンは該当ノードの占有パターンを推論するために使用される。
図7の
左側はノードに対応するキューブ(真ん中に位置するキューブ)及び該当キューブと少な
くとも一面を共有する6つのキューブ(隣接ノード)を示している。図示したノードは同
じ深さのノードである。図示した数字は6つのノードとそれぞれ連関する加重値(1、2
、4、8、16、32、など)を示す。各加重値は隣接ノードの位置によって順に付与さ
れる。
【0119】
図7の右側は隣接ノードパターン値を示す。隣接ノードパターン値は占有された隣接ノ
ード(ポイントを有する隣接ノード)の加重値が掛けられた値の合計である。従って、隣
接ノードパターン値は0から63までの値を有する。隣接ノードパターン値が0であるこ
とは、該当ノードの隣接ノードのうち、ポイントを有するノード(占有ノード)がないこ
とを意味する。隣接ノードパターン値が63であることは、隣接ノードが全て占有ノード
であることを意味する。図示したように、加重値1、2、4、8が付与された隣接ノード
は占有ノードであるので、隣接ノードパターン値は1、2、4、8を足した値である15
である。ポイントクラウドエンコーダは隣接ノードパターン値によってコーディングを行
うことができる(例えば、隣接ノードパターン値が63である場合、64つのコーディン
グを行う)。実施例においてポイントクラウドエンコーダは隣接ノードパターン値を変更
して(例えば、64を10又は6に変更するテーブルに基づく)、コーディングの複雑度
を減らすことができる。
【0120】
図8は実施例によるLODごとのポイント構成の一例を示す図である。
【0121】
図1ないし
図7で説明したように、特質符号化が行われる前、符号化されたジオメトリ
は再構成(復元)される。ダイレクトコーディングが適用された場合、ジオメトリ再構成
の動作はダイレクトコーディングされたポイントの配置を変更することを含む(例えば、
ダイレクトコーディングされたポイントをポイントクラウドデータの前方に配置)。tr
isoupジオメトリ符号化が適用された場合、ジオメトリ再構成の過程は三角形再構成
、アップサンプリング、ボクセル化の過程を特質はジオメトリに従属するので、特質符号
化は再構成されたジオメトリに基づいて行われる。
【0122】
ポイントクラウドエンコーダ(例えば、LOD生成部40009)はポイントをLOD
ごとに分類する(reorganization)。図面はLODに対応するポイントク
ラウドコンテンツを示す。図において左側はオリジナルポイントクラウドコンテンツを示
す。図において左側から2番目は最低LODのポイントの分布を示し、最右側は最高LO
Dのポイントの分布を示す。即ち、最低LODのポイントは粗い(sparse)分布で
あり、最高LODのポイントは細かい分布である。即ち、図面の下側に示された矢印方向
に沿ってLODが増加するほどポイント間の間隔(又は距離)は短くなる。
【0123】
図9は実施例によるLODごとのポイント構成の一例を示す図である。
【0124】
図1ないし
図8で説明したように、ポイントクラウドコンテンツ提供システム又はポイ
ントクラウドエンコーダ(例えば、ポイントクラウドビデオエンコーダ10002、
図4
のポイントクラウドエンコーダ又はLOD生成部40009)はLODを生成する。LO
Dはポイントを設定されたLOD距離値(又はユークリッド距離(Euclidean
Distance)のセット)によって改良レベル(refinement level
s)のセットで再整列して生成される。LOD生成過程はポイントクラウドエンコーダだ
けではなく、ポイントクラウドデコーダでも行われる。
【0125】
図9の上側は3次元空間に分布されたポイントクラウドコンテンツのポイントの一例(
P0~P9)を示す。
図9のオリジナルオーダー(Original order)はL
OD生成前のポイントP0~P9の順を示す。
図9のLOD基盤のオーダー(LOD b
ased order)はLOD生成によるポイントの順を示す。ポイントはLODごと
に再整列される。また高いLODは低いLODに属するポイントを含む。
図9に示すよう
に、LOD0はP0、P5、P4及びP2を含む。LOD1はLOD0のポイントとP1
、P6及びP3を含む。LOD2はLOD0のポイント、LOD1のポイント及びP9、
P8及びP7を含む。
【0126】
図4で説明したように、実施例によるポイントクラウドエンコーダは予測変換コーディ
ング、リフト変換コーディング及びRAHT変換コーディングを選択的に又は組み合わせ
て行うことができる。
【0127】
実施例によるポイントクラウドエンコーダは、ポイントに対する予測機(predic
tor)を生成して各ポイントの予測特質(又は予測特質値)を設定するための予測変換
コーディングを行う。即ち、N個のポイントに対してN個の予測機が生成される。実施例
による予測機は各ポイントのLOD値とLODごとに設定された距離内に存在する隣接ポ
イントに対するインデックス情報及び隣接ポイントまでの距離値に基づいて加重値(=1
/距離)を計算することができる。
【0128】
実施例による予測特質(又は特質値)は、各ポイントの予測機に設定された隣接ポイン
トの特質(又は特質値、例えば、色、反射率など)に各隣接ポイントまでの距離に基づい
て計算された加重(又は加重値)を掛けた値の平均値で設定される。実施例によるポイン
トクラウドエンコーダ(例えば、係数量子化部40011)は、各ポイントの特質(特質
値)から予測特質(特質値)を引いた残余値(residuals、残余特質、残余特質
値、特質予測残余値などとも呼ばれる)を量子化(quatization)及び逆量子
化(inverse quantization)することができる。量子化過程は以下
の表の通りである。
【0129】
【0130】
【0131】
実施例によるポイントクラウドエンコーダ(例えば、演算エンコーダ40012)は、
各ポイントの予測機に隣接するポイントがあれば、上述したように、量子化及び逆量子化
された残余値をエントロピーコーディングする。実施例によるポイントクラウドエンコー
ダ(例えば、演算エンコーダ40012)は、各ポイントの予測機に隣接するポイントが
ないと、上述した過程を行わず、該当ポイントの特質をエントロピーコーディングする。
【0132】
実施例によるポイントクラウドエンコーダ(例えば、リフト変換部40010)は、各
ポイントの予測機を生成し、予測機に計算されたLODを設定及び隣接ポイントを登録し
、隣接ポイントまでの距離による加重値を設定してリフト変換コーディングを行う。実施
例によるリフト変換コーディングは、上述した測変換コーディングと類似するが、特質値
に加重値を累積適用するという点で差がある。実施例による特質値に加重値を累積適用す
る過程は以下の通りである。
【0133】
1)各ポイントの加重値を貯蔵する配列QW(QuantizationWieght
)を生成する。QWの全ての要素の初期値は1.0である。予測機に登録された隣接ノー
ドの予測機インデックスのQW値に現在ポイントの予測機の加重値を掛けた値を加える。
【0134】
2)リフト予測過程:予測された特質値を計算するために、ポイントの特質値に加重値
を掛けた値を既存の特質値から引く。
【0135】
3)アップデートウェイト(updateweight)及びアップデートという臨時
配列を生成し、臨時配列を0に初期化する。
【0136】
4)全ての予測機に対して計算された加重値に予測機インデックスに該当するQWに
貯蔵された加重値をさらに掛けて算出された加重値をアップデートウェイト配列に隣接ノ
ードのインデックスとして累積して合算する。アップデート配列には隣接ノードのインデ
ックスの特質値に算出された加重値を掛けた値を累積して合算する。
【0137】
5)リフトアップデート過程:全ての予測機に対して、アップデート配列の特質値を予
測機インデックスのアップデートウェイト配列の加重値で割り、割った値に再び既存の特
質値を加える。
【0138】
6)全ての予測機に対して、リフトアップデート過程でアップデートされた特質値にリ
フト予測過程でアップデートされた(QWに貯蔵された)加重値をさらに掛けて予測特質
値を算出する。実施例によるポイントクラウドエンコーダ(例えば、係数量子化部400
11)は予測特質値を量子化する。またポイントクラウドエンコーダ(例えば、演算エン
コーダ40012)は量子化された特質値をエントロピーコーディングする。
【0139】
実施例によるポイントクラウドエンコーダ(例えば、RAHT変換部40008)は、
八分木の下位レベルのノードに連関する特質を使用して上位レベルのノードの特質を予測
するRAHT変換コーディングを行う。RAHT変換コーディングは八分木バックワード
スキャンによる特質イントラコーディングの一例である。実施例によるポイントクラウド
エンコーダは、ボクセルから全体領域にスキャンし、各ステップにおいてボクセルをもっ
と大きいブロックに合わせながらルートノード(root node)までの併合過程を
繰り返して行う。実施例による併合過程は、占有ノードのみについて行われる。空ノード
(empty node)については併合過程が行われず、空ノードの直上位ノードにつ
いて併合過程が行われる。
【0140】
【0141】
gDC値もまたハイパス係数と共に量子化されてエントロピーコーディングされる。
【0142】
図10は実施例によるポイントクラウドデコーダ(Point Cloud Decod
er)の一例を示す図である。
【0143】
図10に示したポイントクラウドデコーダは、
図1に示したポイントクラウドビデオデ
コーダ10006の一例であり、
図1で説明したイントクラウドビデオデコーダ1000
6の動作などと同一又は類似する動作を行う。図示したように、ポイントクラウドデコー
ダは一つ又はそれ以上のビットストリーム(bitstream)に含まれたジオメトリ
ビットストリーム(geometry bitstream)及び特質ビットストリーム
(attribute bitstream)を受信する。ポイントクラウドデコーダは
ジオメトリデコーダ(geometry decoder)及び特質デコーダ(attr
ibute decoder)を含む。ジオメトリデコーダはジオメトリビットストリー
ムに対してジオメトリ復号を行って復号されたジオメトリ(decoded geome
try)を出力する。特質デコーダは復号されたジオメトリ及び特質ビットストリームに
基づいて特質復号を行って復号された特質(decoded attributes)を
出力する。復号されたジオメトリ及び復号された特質はポイントクラウドコンテンツを復
元(decoded point cloud)するために使用される。
【0144】
図11は実施例によるポイントクラウドデコーダ(Point Cloud Decod
er)の一例を示す図である。
【0145】
図11に示したポイントクラウドデコーダは、
図10で説明したポイントクラウドデコ
ーダの一例であり、
図1ないし
図9で説明したポイントクラウドエンコーダの符号化動作
の逆過程である復号動作を行う。
【0146】
図1及び
図10で説明したように、ポイントクラウドデコーダはジオメトリ復号及び特
質復号を行う。ジオメトリ復号は特質復号よりも先に行われる。
【0147】
実施例によるポイントクラウドデコーダは、演算デコーダ(arithmetic d
ecode)11000、八分木合成部(synthesize octree)110
01、表面近似合成部(synthesize surface approximati
on)11002、ジオメトリ再構成部(reconstruct geometry)
11003、座標系逆変換部(inverse transform coordinat
es)11004、演算デコーダ(arithmetic decode)11005、
逆量子化部(inverse quantize)11006、RAHT変換部1100
7、LOD生成部(generate LOD)11008、逆リフト部(Invers
e lifting)11009及び/又は色逆変換部(inverse transfo
rm colors)11010を含む。
【0148】
演算デコーダ11000、八分木合成部11001、表面近似合成部11002、ジオ
メトリ再構成部11003及び座標系逆変換部11004はジオメトリ復号を行う。実施
例によるジオメトリ復号はダイレクトコーディング(direct coding)及び
trisoupジオメトリ復号(trisoup geometry decoding)
を含む。ダイレクトコーディング及びtrisoupジオメトリ復号は選択的に適用され
る。またジオメトリ復号は上記の例示に限られず、
図1ないし
図9で説明したジオメトリ
符号化の逆過程で行われる。
【0149】
実施例による演算デコーダ11000は、受信したジオメトリビットストリームを演算
コーディングに基づいて復号する。演算デコーダ11000の動作は演算エンコーダ40
004の逆過程に対応する。
【0150】
実施例による八分木合成部11001は、復号されたジオメトリビットストリームから
(又は復号結果、確保されたジオメトリに関する情報)から占有コードを取得して八分木
を生成する。占有コードに関する具体的な説明は
図1ないし
図9に説明した通りである。
【0151】
実施例による表面近似合成部11002は、trisoupジオメトリ符号化が適用さ
れた場合、復号されたジオメトリ及び/又は生成された八分木に基づいて表面を合成する
。
【0152】
実施例によるジオメトリ再構成部11003は、表面及び/又は復号されたジオメトリ
に基づいてジオメトリを再生成する。
図1ないし
図9で説明したように、ダイレクトコー
ディング及びtrisoupジオメトリ符号化は選択的に適用される。従って、ジオメト
リ再構成部11003はダイレクトコーディングが適用されたポイントの位置情報を直接
持ってきて追加する。また、trisoupジオメトリ符号化が適用される場合、ジオメ
トリ再構成部11003はジオメトリ再構成部40005の再構成動作、例えば、三角形
再構成、アップサンプリング、ボクセル化動作を行ってジオメトリを復元する。具体的な
内容は
図6で説明した通りであるので省略する。復元されたジオメトリは特質を含まない
ポイントクラウドピクチャ又はフレームを含む。
【0153】
実施例による座標系逆変換部11004は復元されたジオメトリに基づいて座標系を変
換してポイントの位置を得る。
【0154】
演算デコーダ11005、逆量子化部11006、RAHT変換部11007、LOD
生成部11008、逆リフト部11009及び/又は色逆変換部11010は、
図10で
説明した特質復号を行う。実施例による特質復号は、RAHT(Region Adap
tive Hierarchial Transform)復号、予測変換(Interp
olaration-based hierarchical nearest-neig
hbour prediction-Prediction Transform)復号、
及びリフト変換(interpolation-based hierarchical
nearest-neighbour prediction with an updat
e/lifting step (Lifting Transform))復号を含む。
上記3つの復号は選択的に使用されるか、又は一つ又はそれ以上の復号の組み合わせが使
用される。また実施例による特質復号は上述した例示に限られない。
【0155】
実施例による演算デコーダ11005は、特質ビットストリームを演算コーディングで
復号する。
【0156】
実施例による逆量子化部11006は、復号された特質ビットストリーム又は復号結果
確保した特質に関する情報を逆量子化(inverse quantization)し
て、逆量子化された特質(又は特質値)を出力する。逆量子化はポイントクラウドエンコ
ーダの特質符号化に基づいて選択的に適用される。
【0157】
実施例においてRAHT変換部11007、LOD生成部11008及び/又は逆リフ
ト部11009は、再構成されたジオメトリ及び逆量子化された特質を処理する。上述し
たように、RAHT変換部11007、LOD生成部11008及び/又は逆リフト部1
1009は、ポイントクラウドエンコーダの符号化によってそれに対応する復号動作を選
択的に行う。
【0158】
実施例による色逆変換部11010は、復号された特質に含まれた色値(又はテクスチ
ャ)を逆変換するための逆変換コーディングを行う。色逆変換部11010の動作はポイ
ントクラウドエンコーダの色変換部40006の動作に基づいて選択的に行われる。
【0159】
図11のポイントクラウドデコーダの要素は、図示していないが、ポイントクラウド提
供装置に含まれた一つ又はそれ以上のメモリと通信可能に設定された一つ又はそれ以上の
プロセッサ又は集積回路(integrated circuits)を含むハードウェ
ア、ソフトウェア、ファームウェア又はこれらの組み合わせで具現される。一つ又はそれ
以上のプロセッサは、上述した
図11のポイントクラウドデコーダの要素の動作及び/又
は機能のうちのいずれかを行う。また、一つ又はそれ以上のプロセッサは、
図11のポイ
ントクラウドデコーダのエレメントの動作及び/又は機能を行うためのソフトウェアプロ
グラム及び/又は指示(instruction)のセットを動作又は実行する。
【0160】
【0161】
図12に示した送信装置は、
図1の送信装置10000(又は
図4のポイントクラウド
エンコーダ)の一例である。
図12に示した送信装置は、
図1ないし
図9で説明したポイ
ントクラウドエンコーダの動作及び符号化方法と同一又は類似する動作及び方法のうちの
いずれかを行う。実施例による送信装置は、データ入力部12000、量子化処理部12
001、ボクセル化処理部12002、八分木占有コード生成部12003、表面モデル
処理部12004、イントラ/インターコーディング処理部12005、演算コーダー1
2006、メタデータ処理部12007、色変換処理部12008、特質変換処理部(又
は属性変換処理部)12009、予測/リフト/RAHT変換処理部12010、演算コ
ーダー12011及び/又は送信処理部12012を含む。
【0162】
実施例によるデータ入力部12000はポイントクラウドデータを受信又は取得する。
データ入力部12000はポイントクラウドビデオ取得部10001の動作及び/又は取
得方法(又は
図2に示した取得過程20000)と同一又は類似する動作及び/又は取得
方法を行う。
【0163】
データ入力部12000、量子化処理部12001、ボクセル化処理部12002、八
分木占有コード生成部12003、表面モデル処理部12004、イントラ/インターコ
ーディング処理部12005及び演算コーダー12006はジオメトリ符号化を行う。実
施例によるジオメトリ符号化は、
図1ないし
図9で説明したジオメトリ符号化と同一又は
類似するので、具体的な説明は省略する。
【0164】
実施例による量子化処理部12001は、ジオメトリ(例えば、ポイントの位置値、又
はポジション値)を量子化する。量子化処理部12001の動作及び/又は量子化は、図
4に示した量子化部40001の動作及び/又は量子化と同一又は類似する。具体的な説
明は
図1ないし
図9に説明した通りである。
【0165】
実施例によるボクセル化処理部12002は、量子化されたポイントの位置値をボクセ
ル化する。ボクセル化処理部120002は
図4に示した量子化部40001の動作及び
/又はボクセル化過程と同一又は類似する動作及び/又は過程を行う。具体的な説明は図
1ないし
図9に説明した通りである。
【0166】
実施例による表面モデル処理部12004は、表面モデル(surface mode
l)に基づいて特定の領域(又はノード)内のポイントの位置をボクセル基盤に再構成す
るtrisoupジオメトリ符号化を行う。表面モデル処理部12004は
図4に示した
ポイントクラウドエンコーダ(例えば、表面近似分析部40003)の動作及び/又は方
法と同一又は類似する動作及び/又は方法を行う。具体的な説明は
図1ないし
図9に説明
した通りである。
【0167】
実施例による八分木占有コード生成部12003は、ボクセル化されたポイントの位置
を八分木構造に基づいて八分木コーディングを行う。八分木占有コード生成部12003
は占有コードを生成する。八分木占有コード生成部12003は
図4及び
図6で説明した
ポイントクラウドエンコーダ(又は八分木分析部40002)の動作及び/又は方法と同
一又は類似する動作及び/又は方法を行う。具体的な説明は
図1ないし
図9に説明した通
りである。
【0168】
実施例によるイントラ/インターコーディング処理部12005は、ポイントクラウド
データをイントラ/インターコーディングする。イントラ/インターコーディング処理部
12005は、
図7で説明したイントラ/インターコーディングと同一又は類似するコー
ディングを行う。具体的な説明は
図7に説明した通りである。実施例においてイントラ/
インターコーディング処理部12005は演算コーダー12006に含まれる。
【0169】
実施例による演算コーダー12006は、ポイントクラウドデータの八分木及び/又は
近似化された八分木をエントロピー符号化する。例えば、符号化方式は演算(Arith
metic)符号化方法を含む。演算コーダー12006は演算エンコーダ40004の
動作及び/又は方法と同一又は類似する動作及び/又は方法を行う。
【0170】
実施例によるメタデータ処理部12007は、ポイントクラウドデータに関するメタデ
ータ、例えば、設定値などを処理してジオメトリ符号化及び/又は特質符号化などの必要
な処理過程に提供する。また実施例によるメタデータ処理部12007は、ジオメトリ符
号化及び/又は特質符号化に関連するシグナル情報を生成及び/又は処理する。実施例に
よるシグナル情報はジオメトリ符号化及び/又は特質符号化とは別途に符号化処理される
。また実施例によるシグナル情報はインターリービングされることもある。
【0171】
色変換処理部12008、特質変換処理部12009、予測/リフト/RAHT変換処
理部12010及び演算コーダー12011は特質符号化を行う。実施例による特質符号
化は、
図1ないし
図9で説明した特質符号化と同一又は類似するので具体的な説明は省略
する。
【0172】
実施例による色変換処理部12008は、特質に含まれた色値を変換する色変換コーデ
ィングを行う。色変換処理部12008は再構成されたジオメトリに基づいて色変換コー
ディングを行う。再構成されたジオメトリに関する説明は、
図1ないし
図9に説明した通
りである。また
図4で説明した色変換部40006の動作及び/又は方法と同一又は類似
する動作及び/又は方法を行う。具体的な説明は省略する。
【0173】
実施例による特質変換処理部12009は、ジオメトリ符号化が行われていない位置及
び/又は再構成されたジオメトリに基づいて特質を変換する特質変換を行う。特質変換処
理部12009は
図4に説明した特質変換部40007の動作及び/又は方法と同一又は
類似する動作及び/又は方法を行う。具体的な説明は省略する。実施例による予測/リフ
ト/RAHT変換処理部12010は変換された特質をRAHTコーディング、予測変換
コーディング及びリフト変換コーディングのうちのいずれか一つ又は組み合わせてコーデ
ィングする。予測/リフト/RAHT変換処理部12010は
図4に説明したRAHT変
換部40008、LOD生成部40009及びリフト変換部40010の動作と同一又は
類似する動作のうちのいずれか1つ以上を行う。また、予測変換コーディング、リフト変
換コーディング及びRAHT変換コーディングに関する説明は
図1ないし
図9に説明した
通りであるので、具体的な説明は省略する。
【0174】
実施例による演算コーダー12011は、コーディングされた特質を演算コーディング
に基づいて符号化する。演算コーダー12011は演算エンコーダ400012の動作及
び/又は方法と同一又は類似する動作及び/又は方法を行う。
【0175】
実施例による送信処理部12012は、符号化されたジオメトリ及び/又は符号化され
た特質、メタデータ情報を含む各ビットストリームを送信するか、又は符号化されたジオ
メトリ及び/又は符号化された特質、メタデータ情報を一つのビットストリームで構成し
て送信する。実施例による符号化されたジオメトリ及び/又は符号化された特質、メタデ
ータ情報が一つのビットストリームで構成された場合、ビットストリームは一つ又はそれ
以上のサブビットストリームを含む。実施例によるビットストリームはシーケンスレベル
のシグナリングのためのSPS(Sequence Parameter Set)、ジオ
メトリ情報コーディングのシグナリングのためのGPS(Geometry Param
eter Set)、特質情報コーディングのシグナリングのためのAPS(Attri
bute Parameter Set)、タイルレベルのシグナリングのためのTPS(
Tile Parameter Set)を含むシグナル情報及びスライスデータを含む。
スライスデータは一つ又はそれ以上のスライスに関する情報を含む。実施例による一つの
スライスは一つのジオメトリビットストリーム(Geom00)及び一つ又はそれ以上の
特質ビットストリーム(Attr00、Attr10)を含む。
【0176】
スライス(slice)とは、コーディングされたポイントクラウドフレームの全体又は
一部を示すシンタックスエレメントのシリーズをいう。
【0177】
実施例によるTPSは一つ又はそれ以上のタイルに対してそれぞれのタイルに関する情
報(例えば、bounding boxの座標値情報及び高さ/サイズ情報など)を含む
。ジオメトリビットストリームはヘッダとペイロードを含む。実施例によるジオメトリビ
ットストリームのヘッダはGPSに含まれたパラメータセットの識別情報(geom_p
arameter_set_id)、タイル識別子(geom_tile_id)、スラ
イス識別子(geom_slice_id)及びペイロードに含まれたデータに関する情
報などを含む。上述したように、実施例によるメタデータ処理部12007はシグナル情
報を生成及び/又は処理して送信処理部12012に送信することができる。実施例にお
いて、ジオメトリ符号化を行うエレメント及び特質符号化を行うエレメントは、点線処理
したように、相互データ/情報を共有することができる。実施例による送信処理部120
12は送信機10003の動作及び/又は送信方法と同一又は類似する動作及び/又は送
信方法を行う。具体的な説明は
図1及び
図2に説明した通りであるので、省略する。
【0178】
【0179】
図13に示した受信装置は、
図1の受信装置10004(又は
図10及び
図11のポイ
ントクラウドデコーダ)の一例である。
図13に示した受信装置は、
図1ないし
図11で
説明したポイントクラウドデコーダの動作及び復号方法と同一又は類似する動作及び方法
のうちのいずれかを行う。
【0180】
実施例による受信装置は、受信部13000、受信処理部13001、演算(arit
hmetic)デコーダ13002、占有コード(Occupancy code)基盤
の八分木再構成処理部13003、表面モデル処理部(三角形再構成、アップサンプリン
グ、ボクセル化)13004、逆(inverse)量子化処理部13005、メタデー
タ分析13006、演算(arithmetic)デコーダ13007、逆量子化処理部
13008、予測/リフト/RAHT逆変換処理部13009、色逆変換処理部1301
0及び/又はレンダラー13011を含む。実施例による復号の各構成要素は実施例によ
る符号化の構成要素の逆過程を行う。
【0181】
実施例による受信部13000は、ポイントクラウドデータを受信する。受信部130
00は
図1の受信機10005の動作及び/又は受信方法と同一又は類似する動作及び/
又は受信方法を行う。具体的な説明は省略する。
【0182】
実施例による受信処理部13001は受信したデータからジオメトリビットストリーム
及び/又は特質ビットストリームを得る。受信処理部13001は受信部13000に含
まれる。
【0183】
演算デコーダ13002、占有コード基盤の八分木再構成処理部13003、表面モデ
ル処理部13004及び逆量子化処理部13005はジオメトリ復号を行う。実施例によ
るジオメトリ復号は
図1ないし
図10で説明したジオメトリ復号と同一又は類似するので
、具体的な説明は省略する。
【0184】
実施例による演算デコーダ13002はジオメトリビットストリームを演算コーディン
グに基づいて復号する。演算デコーダ13002は演算デコーダ11000の動作及び/
又はコーディングと同一又は類似する動作及び/又はコーディングを行う。
【0185】
実施例による占有コード基盤の八分木再構成処理部13003は、復号されたジオメト
リビットストリームから(又は復号結果、確保されたジオメトリに関する情報)から占有
コードを取得して八分木を再構成する。占有コード基盤の八分木再構成処理部13003
は、八分木合成部11001の動作及び/又は八分木生成方法と同一又は類似する動作及
び/又は方法を行う。実施例による表面モデル処理部13004はtrisoupジオメ
トリ符号化が適用された場合、表面モデル方式に基づいてtrisoupジオメトリ復号
及びそれに関連するジオメトリ再構成(例えば、三角形再構成、アップサンプリング、ボ
クセル化)を行う。表面モデル処理部13004は表面近似合成部11002及び/又は
ジオメトリ再構成部11003の動作と同一又は類似する動作を行う。
【0186】
実施例による逆量子化処理部13005は復号されたジオメトリを逆量子化する。
【0187】
実施例によるメタデータ分析13006は受信したポイントクラウドデータに含まれた
メタデータ、例えば、設定値などを分析する。メタデータ分析13006はメタデータを
ジオメトリ復号及び/又は特質復号に伝達する。メタデータに関する具体的な説明は
図1
2で説明した通りであるので省略する。
【0188】
演算デコーダ13007、逆量子化処理部13008、予測/リフト/RAHT逆変換
処理部13009及び色相逆変換処理部13010は特質復号を行う。特質復号は
図1な
しい
図10で説明した特質復号と同一又は類似するので、具体的な説明は省略する。
【0189】
実施例による演算デコーダ13007は、特質ビットストリームを演算コーディングに
復号する。演算デコーダ13007は再構成されたジオメトリに基づいて特質ビットスト
リームの復号を行う。演算デコーダ13007は演算デコーダ11005の動作及び/又
はコーディングと同一又は類似する動作及び/又はコーディングを行う。
【0190】
実施例による逆量子化処理部13008は、復号された特質ビットストリームを逆量子
化する。逆量子化処理部13008は逆量子化部11006の動作及び/又は逆量子化方
法と同一又は類似する動作及び/又は方法を行う。
【0191】
実施例による予測/リフト/RAHT逆変換処理部13009は、再構成されたジオメ
トリ及び逆量子化された特質を処理する。予測/リフト/RAHT逆変換処理部1300
9は、RAHT変換部11007、LOD生成部11008及び/又は逆リフト部110
09の動作及び/又は復号と同一又は類似する動作及び/又は復号のうちのいずれか1つ
以上を行う。実施例による色逆変換処理部13010は、復号された特質に含まれた色値
(又はテクスチャ)を逆変換するための逆変換コーディングを行う。色逆変換処理部13
010は色逆変換部11010の動作及び/又は逆変換コーディングと同一又は類似する
動作及び/又は逆変換コーディングを行う。実施例によるレンダラー13011はポイン
トクラウドデータをレンダリングする。
【0192】
図14は実施例によるポイントクラウドデータの送受信方法/装置に連動可能な構造の
一例を示す図である。
【0193】
図14の構造はサーバー1460、ロボット1410、自律走行車両1420、XR装
置1430、スマートフォン1440、家電1450及び/又はHMD1470のうちの
いずれかがクラウドネットワーク1410に連結された構成を示している。ロボット14
10、自律走行車両1420、XR装置1430、スマートフォン1440又は家電14
50などは装置とも呼ばれる。またXR装置1430は実施例によるポイントクラウドデ
ータ(PCC)装置に対応するか又はPCC装置に連動する。
【0194】
クラウドネットワーク1400はクラウドコンピューティングインフラの一部を構成す
るか、又はクラウドコンピューティングインフラ内に存在するネットワークを意味する。
ここで、クラウドネットワーク1400は3Gネットワーク、4G又はLTEネットワー
ク又は5Gネットワークなどを用いて構成される。
【0195】
サーバー1460はロボット1410、自律走行車両1420、XR装置1430、ス
マートフォン1440、家電1450及び/又はHMD1470のいずれかにクラウドネ
ットワーク1400により連結され、連結された装置1410~1470のプロセシング
の少なくとも一部を助けることができる。
【0196】
HMD(Head-Mount Display)1470は実施例によるXRデバイ
ス及び/又はPCCデバイスが具現されるタイプのうちのいずれかを示す。実施例による
HMDタイプのデバイスは、コミュニケーションズユニット、コントロールユニット、メ
モリユニット、I/Oユニット、センサユニット及びパーワ供給ユニットなどを含む。
【0197】
以下、上記技術が適用される装置1410~1450の様々な実施例について説明する
。ここで、
図14に示した装置1410~1450は上述した実施例によるポイントクラ
ウドデータ送受信装置に連動/結合することができる。
【0198】
<PCC+XR>
【0199】
XR/PCC装置1430はPCC及び/又はXR(AR+VR)技術が適用されて、
HMD(Head-Mount Display)、車両に備えられたHUD(Head
-Up Display)、TV、携帯電話、スマートフォン、コンピューター、ウェア
ラブルデバイス、家電機器、デジタル看板、車両、固定型ロボットや移動型ロボットなど
で具現されることもできる。
【0200】
XR/PCC装置1430は、様々なセンサにより又は外部装置から取得した3次元ポ
イントクラウドデータ又はイメージデータを分析して3次元ポイントに対する位置データ
及び特質データを生成することにより周辺空間又は現実客体に関する情報を得て、出力す
るXR客体をレンダリングして出力することができる。例えば、XR/PCC装置143
0は認識された物体に関する追加情報を含むXR客体を該当認識された物体に対応して出
力することができる。
【0201】
<PCC+XR+モバイルフォン>
【0202】
XR/PCC装置1430は、PCC技術が適用されて、モバイルフォン1440など
で具現される。
【0203】
モバイルフォン1440は、PCC技術に基づいてポイントクラウドコンテンツを復号
し、ディスプレイすることができる。
【0204】
<PCC+自立走行+XR>
【0205】
自律走行車両1420はPCC技術及びXR技術が適用されて、移動型ロボット、車両
、無人飛行体などで具現される。
【0206】
XR/PCC技術が適用された自律走行車両1420は、XR映像を提供する手段を備
えた自律走行車両やXR映像内での制御/相互作用の対象となる自律走行車両などを意味
する。特に、XR映像内での制御/相互作用の対象となる自律走行車両1420はXR装
置1430とは区分されて互いに連動されることができる。
【0207】
XR/PCC映像を提供する手段を備えた自律走行車両1420は、カメラを含むセン
サからセンサ情報を得、得たセンサ情報に基づいて生成されたXR/PCC映像を出力す
る。例えば、自律走行車両1420はHUDを備えてXR/PCC映像を出力することに
より、搭乗者に現実客体又は画面内の客体に対応するXR/PCC客体を提供することが
できる。
【0208】
このとき、XR/PCC客体がHUDに出力される場合には、XR/PCC客体の少な
くとも一部が搭乗者の視線が向く実際の客体にオーバーラップされるように出力される。
反面、XR/PCC客体が自律走行車両内に備えられるディスプレイに出力される場合に
は、XR/PCC客体の少なくとも一部が画面内の客体にオーバーラップされるように出
力される。例えば、自律走行車両1220は車路、他の車両、信号灯、交通表示板、二輪
車、歩行者、建物などのような客体に対応するXR/PCC客体を出力することができる
。
【0209】
実施例によるVR(Virtual Reality)技術、AR(Augmente
d Reality)技術、MR(Mixed Reality)技術及び/又はPCC(
Point Cloud Compression)技術は、様々なデバイスに適用可能で
ある。
【0210】
即ち、VR技術は現実の客体や背景などをCG映像のみで提供するディスプレイ技術で
ある。反面、AR技術は実際物事の映像上に仮想のCG映像を共に見せる技術である。ま
た、MR技術は現実世界に仮想客体を混ぜて見せるという点では上記AR技術と類似する
。しかし、AR技術では現実の客体とCG映像からなる仮想の客体の区別が明らかであり
、現実客体を補完する形態で仮想の客体を使用する反面、MR技術では仮想の客体と現実
の客体が同様の性格と見なされるという点でAR技術とは区別される。より具体的には、
例えば、上記MR技術が適用されたものがホログラムサービスである。
【0211】
但し、最近にはVR、AR、MR技術を明確に区別するよりは、XR(extende
d Reality)技術とも呼ぶ。よって、本発明の実施例はVR、AR、MR、XR
技術のいずれにも適用可能である。かかる技術はPCC、V-PCC、G-PCC技術基
盤の符号化/復号が適用される。
【0212】
実施例によるPCC方法/装置は自律走行サービスを提供する車両に適用できる。
【0213】
自律走行サービスを提供する車両はPCCデバイスと有無線通信可能に連結される。
【0214】
実施例によるポイントクラウドデータ(PCC)送受信装置は、車両と有無線通信可能
に連結された場合、自律走行サービスと共に提供できるAR/VR/PCCサービス関連
コンテンツデータを受信/処理して車両に送信することができる。またポイントクラウド
データ送受信装置車両に搭載された場合は、ポイントクラウド送受信装置はユーザインタ
ーフェース装置で入力されたユーザ入力信号によってAR/VR/PCCサービス関連コ
ンテンツデータを受信/処理してユーザに提供することができる。実施例による車両又は
ユーザインターフェース装置はユーザ入力信号を受信する。実施例によるユーザ入力信号
は自律走行サービスを指示する信号を含む。
【0215】
図15は実施例によるポイントクラウドエンコーダを示す。
【0216】
実施例によるポイントクラウドエンコーダ15000は、ポイントクラウドデータ(P
CCデータ)15000aを受信し、これらを符号化する。実施例によるポイントクラウ
ドエンコーダは幾何情報ビットストリーム15000b及び属性情報ビットストリーム1
5000cを出力する。実施例によるポイントクラウドエンコーダ15000は空間分割
部15001、幾何情報符号化部15002及び/又は属性情報符号化部15003を含
む。
【0217】
図15のポイントクラウドエンコーダは、
図1の送信装置1000、ポイントクラウド
ビデオエンコーダ10002、
図2の符号化部18001、
図4のエンコーダ、
図12の
送信装置、及び
図14のXRデバイス1430などに対応又は結合する。
【0218】
空間分割部15001は、ポイントクラウドエンコーダがポイントクラウドデータ(P
CCデータ)15000aを受信し、ポイントクラウドデータを一つ又はそれ以上の3次
元空間に分割する。空間分割部15001はポイントクラウドデータを受信し、ポイント
クラウドデータを3次元ブロックに空間分割する。ポイントクラウドデータはポイント(
又は複数のポイント)の幾何情報及び/又は属性情報を含む。空間分割部15001は境
界ボックス(bounding box)及び/又は副境界ボックスなどに基づいてポイ
ントクラウドデータ(PCCデータ)を空間分割する。実施例による方法/装置は分割さ
れた単位(ボックス)に基づいて符号化/復号を行う。
【0219】
実施例による送信装置(例えば、空間分割部)は、3次元空間上のポイントクラウドデ
ータを圧縮するために、並列処理が可能な単位に分割する。実施例による空間分割部15
001は、受信装置がユーザに拡張性(Scalability)、及び/又は関心領域
(ROI)の機能を支援するために、ポイントクラウドデータをスライス単位に分割する
。
【0220】
実施例による送信装置は、低遅延、低複雑度、時間的拡張性、空間的拡張性、関心領域
基盤の空間的拡張性、品質拡張性、並列的符号化、及び受信装置の並列的復号化を達成す
るために、実施例によるポイントクラウドデータをスライス(ブリックとも呼ばれる)、
タイル単位に分割する。よって、実施例による送信装置は、スライス単位で拡張性の調節
、量子値の調節などを支援する動作を行う必要がある。従って、実施例によるポイントク
ラウドデータ送信装置は、スライス間の重畳領域が含まれるように重畳スライスを構成す
る。実施例によるポイントクラウドデータ送信装置がポイントクラウドデータを一つ又は
それ以上のスライス(又は重畳スライス)に分割する方法については、以下に詳しく説明
する。
【0221】
スライスとは、実施例によるポイントクラウドデータ送信装置がポイントクラウドデー
タを符号化及び/又は復号するための単位(又は最小単位)を意味し、ポイントクラウド
データ送信装置及び/又は受信装置は、スライス単位でポイントクラウドデータを独立し
て(independently)符号化及び/又は復号化することができる。実施例に
よるスライスは、他にはブリック、ブロック、マクロブロックとも呼ばれる。
【0222】
空間分割部15001は、
図1のクラウド取得(Point Cloud Acquis
ition)10001、
図2の取得20000の動作、
図3ないし
図5による動作、図
12のデータ入力部12000の動作の一部/全部を行う。
【0223】
幾何情報符号化部15002は、実施例によるポイントクラウドデータ(PCCデータ
)のジオメトリ情報を受信してそれを符号化する。ジオメトリ情報はポイントクラウドデ
ータに含まれたポイントの位置情報を意味する。幾何情報符号化部15002はジオメト
リ情報を符号化して幾何情報ビットストリームを出力する。幾何情報符号化部15002
はポイントの位置情報を再構成して復元された幾何情報15002aを出力する。幾何情
報符号化部15002は復元された幾何情報を属性情報符号化部15002に伝達する。
【0224】
幾何情報符号化部15002は、
図1のポイントクラウドビデオエンコーダ(Poin
t Cloud Video Encoder)10002、
図2の符号化部20001、
図4の座標系変換部40000、量子化40001、八分木分析部40002、表面近似
分析部40003、演算エンコーダ40004、ジオメトリ再構成部40005、
図12
の量子化処理部12001、ボクセル化処理部12002、八分木占有コード生成部12
003、表面モデル処理部12004、イントラ/インターコーディング処理部1200
5及び/又は演算コーダー12006の動作の一部/全部を行う。
【0225】
属性情報符号化部15003は実施例によるポイントクラウドデータの属性情報を受信
し、幾何情報符号化部15003から受信した復元された幾何情報を用いて属性情報を符
号化する。属性情報符号化部15003は属性情報を符号化して属性情報ビットストリー
ム15000cを出力する。属性情報符号化部15003は例えば、実施例による予測変
換(prediction transform)、リフト変換(lifting tra
nsform)及び/又はRAHT(Region Adaptive Hierarch
ical Transform)変換を行う。属性情報符号化部15003は、例えば、
予測リフト(prediction lifting)変換を行う。予測リフト変換は実
施例による予測変換及び/又はリフト変換の各々の詳しい動作の一部又は全部を組み合わ
せたことを意味する。
【0226】
実施例によるポイントクラウドエンコーダは、実施例による予測変換(predict
ion transform)、リフト変換(lifting transform)及び
/又はRAHT(Region Adaptive Hierarchical Tran
sform)変換の一部、全部及び/又はそれぞれの組み合わせにより符号化を行う。
【0227】
属性情報符号化部15003は、
図1のポイントクラウドビデオエンコーダ10002
、
図2の符号化部20001、
図4の色変換部40006、属性変換部40007、RA
TH変換部40008、LOD生成部40009、リフト変換部40010、係数量子化
部40011及び/又は演算符号化部40012の動作、
図12の色変換処理部1200
8、属性変換処理部12009、予測/リフト/RAHT変換処理部12010、演算コ
ーダー12011の動作の全部/一部を行う。
【0228】
ここで、復元された幾何情報15002cは、
図4で説明したジオメトリ再構成部(R
econstruct Geometry)40005により再構成された八分木及び/
又は近似化された八分木を意味する。復元された幾何情報は
図6で説明した占有コードを
意味するか又は八分木構造を意味する。復元された幾何情報は
図12で説明した八分木占
有コード生成部12003により生成された八分木占有コードを意味することもできる。
【0229】
属性情報符号化部15003は、実施例によるポイントクラウドデータの属性情報を符
号化する。ここで、実施例による符号化部15003は実施例による復元された幾何情報
(又は復元されたジオメトリ情報)を用いて属性情報を符号化する。属性情報符号化部1
5003は受信されたデータを符号化して特質情報(又は属性情報)を含むビットストリ
ームを生成することができる。
【0230】
実施例による属性情報符号化部15003は、
図4の色変換部40006、属性送信部
40007、RAHT変換部40008、LOD生成部40009、リフト部40010
、量子化部40011及び/又は演算符号化部40012を含む。
【0231】
実施例によるポイントクラウドデータは、データの特性によってカテゴリー1とカテゴ
リー3とに分類される。カテゴリー1のデータは静的データであって、1枚のフレーム(
frame)で構成されるデータである。カテゴリー3のデータは動的データであって、
N枚のフレームで構成されるデータである。ポイントクラウドデータのファイルフォーマ
ットであるplyファイルは、データの取得方法によって複数のポイントで構成される。
【0232】
実施例によるポイントは、該当ポイントの位置情報(ジオメトリ情報)及び色情報、反
射率情報、時間情報、法線ベクトル(Normal vector)情報などを含む属性
情報(特質情報)を含む。実施例によるポイントは表現しようとする条件に応じて様々な
情報を含む。ポイントからなるカテゴリー1とカテゴリー3のデータは大容量のポイント
を含むフレームを含む。しかし、実施例によるポイントクラウドデータ送信装置は、この
ポイントを含むフレームを受信して符号化する場合、遅延時間と不要なリソースが多く使
われるという問題がある。
【0233】
従って、実施例によるポイントクラウドデータ送信装置では、ポイントクラウドデータ
の送信動作、符号化動作、受信装置の復号化動作、及び受信装置のレンダリング処理動作
がリアルタイムで行われると共に、低遅延で処理するために、ポイントクラウドデータを
複数の領域に分割する。実施例によるポイントクラウドデータ送信装置では、ポイントク
ラウドデータのフレームをタイル、スライス及び/又はブリックの単位に分割する。
【0234】
従って、実施例によるポイントクラウドデータ送信装置では、3次元ポイントクラウド
(Point Cloud)データの並列処理能力の向上及び拡張性(scalabil
ity)の向上のために独立したデータ分割方法によってポイントクラウドデータを分割
する。独立したデータ分割を行うとき、空間上近い点同士で再分割が行われる方法を支援
することで空間適応的分割方法を含むことができる。
【0235】
実施例によれば、ポイントクラウドデータは、例えばデータの特性によってカテゴリー
1(Category 1)とカテゴリー3(Category 3)とに分類される。
例えば、カテゴリー1のデータは静的ポイントクラウド(static point c
loud)であって、1枚のフレーム(frame)で構成されるデータである。例えば
、カテゴリー3のデータは動的データ(動的に取得されたポイントクラウドデータ、dy
namically acquired point cloud data)であって
、N枚のフレーム(frame)で構成される。
【0236】
実施例によるフレーム(frame)は、実施例によるタイル及び/又はスライスなど
を含む。実施例によるタイル及び/又はスライスは、1つ又はそれ以上のポイントを含む
。1つのポイントは、位置情報、色情報、反射率情報、時間情報、ノーマル大型地形地図
(fused)データなどで構成される。実施例によれば、ポイントクラウドデータのフ
ァイルフォーマット(file format)であるplyファイルは、データの法線
ベクトル(Normal vector)情報など表現しようとする条件に応じて様々な
情報を含むことができる。
【0237】
このようなポイントからなるカテゴリー1とカテゴリー3のデータは、大容量のポイン
トを1つのフレームで構成する。1つのデータを符号化/復号化する時間とリソースが多
く使われるという問題がある。例えば、大型ポイントクラウドであるカテゴリー3-fu
sedデータは、1つのデータに圧縮するには処理にかかるメモリが多く必要であり、よ
って符号化過程において多くのリソースと時間が消費される。また1枚のフレーム内で算
出すべき隣接ノード(neighbor nodes)算出法、LoD(Level o
f Detail)生成など1回の符号化/復号化で処理すべき単位が大きくなり得る。
【0238】
よって、実施例によるポイントクラウドデータ送信装置/受信装置は、ポイントクラウ
ドデータを1つ又はそれ以上のタイル(tiles)及び/又はスライス(slices
)に分割し、これらに基づいて並列的に符号化/復号を行う。ポイントクラウドの送信、
符号化/復号化、レンダリング処理過程がリアルタイム、低遅延で行われるために、送信
装置及び/又は受信装置は、ポイントクラウドフレームの1枚をタイル、スライス、又は
ブリックの単位に分ける。このような構成は、送信装置及び/又は受信装置が空間上のラ
ンダムアクセス(random access)と並列符号化/復号化を行えるようにす
る。よって、実施例によるポイントクラウドデータ送信装置(又は空間分割部)1500
1は、3次元ポイントクラウド(Point Cloud)データを符号化及び/又は圧
縮する前に、並列処理と空間ランダムアクセス(spatial random acce
ss)機能を支援するためのポイントクラウドデータを分割することができる。
【0239】
実施例によるスライス(slice)は、独立して実施例によるポイントクラウドデー
タ送信装置によって符号化されるか、ポイントクラウドデータ受信装置によって復号され
るポイントのセットを意味する(A slice is A set of point
s that can be encoded or decoded indepen
dently)。スライスは1つのジオメトリデータユニット及び0又はそれ以上の特質
データユニットを含む(A slice comprises one geometr
y data unit and zero or more attribute da
ta units)。特質データユニットは、同一のスライス内にある対応するジオメト
リデータユニットに依存する(Attribute data units depen
d upon the corresponding geometry data un
it within the same slice)。同一のスライスにおいて、ジオメト
リデータユニットは、連関した特質ユニットよりも先に現れることがある(Within
a slice、the geometry data unit must appear
before any associated attribute units)。スライ
スのデータユニットは連続的である(The data units of a slice
must be contiguous)。1つのフレーム(frame)におけるスライ
スの順序は任意に決定される。
【0240】
スライスのグループは、共通するタイル識別子により識別される(A group o
f slices may be identified by a common til
e identifier)。よって、実施例によるポイントクラウドデータ送信装置は
、タイルインベントリ(tile inventory、又はタイルパラメータセット(
tile parameter set))を含むシグナル情報をさらに送信する。タイル
インベントリは、各々のタイル(tile)に対する境界ボックスを説明する。1つのタ
イルは境界ボックス内の他のタイルとオーバーラップ(overlap)されることがあ
る(a tile inventory describes a bounding bo
x for each tile。a tile may overlap another t
ile in the bounding box)。各々のスライスは、そのスライスが
含まれるタイルを識別するインデックス(index)を含む。
【0241】
実施例によるポイントクラウドデータ送信装置は、ポイントクラウドデータを分割し、
これらをそれぞれ独立して符号化することで、ポイントクラウドデータが占有する3次元
空間上のランダムアクセス(random access)と並列符号化を可能にし、よ
って実施例によるポイントクラウドデータ受信装置はこのポイントクラウドデータを素早
く復号することができる。
【0242】
図16は実施例によるポイントクラウドデータ送信装置を示す。
【0243】
図16に示した実施例によるポイントクラウドデータ送信装置は、
図1のポイントクラ
ウドビデオ取得部10001、ポイントクラウドビデオエンコーダ10002の一部又は
全部、
図2の取得部18000及び/又は符号化部18001の全部又は一部である。図
16に示した実施例による構成は、
図15の空間分割部15001、幾何情報符号化部1
5002及び/又は属性情報符号化部15003の一部又は全部に含まれる。
【0244】
図16に示した実施例によるポイントクラウドデータ送信装置は、
図14のXRデバイ
ス1430などによって結合される。
【0245】
実施例によるポイントクラウドデータ送信装置は、データ特性調査部16000、分割
部及び精製部16001、データ入力部16002、座標変換部16003、量子化/ボ
クセル化処理部16004、八分木占有コード生成部16005、表面モデル処理部16
006、第1の演算コーダ、ジオメトリ再構成部16008、色変換処理部16009、
属性変換処理部16010、予測/リフト/RAHT変換処理部16011、係数量子化
処理部16012及び/又は第2の演算コーダ16013を含む。
【0246】
データ特性調査部16000は、実施例によるポイントクラウドデータの特性を調査す
る。データ特性調査部16000は、
図1のポイントクラウドビデオ取得部10001の
動作、
図3に示した動作を行う。
【0247】
分割部及び/又は精製部16001は、実施例によるポイントクラウドデータを分割(
partition)及び/又は精製(refine)する。分割及び/又は精製部16
001は、分割部及び/又は精製部を含む。
【0248】
実施例による分割部は、ポイントクラウドデータを1つ又はそれ以上のタイル(til
e)に分割する。実施例による分割部は、ポイントクラウドデータを1つ又はそれ以上の
スライス(slice)(ブリック(brick)又はブロック(block)とも呼ば
れる)に分割する。
【0249】
例えば、分割部は、ポイントクラウドデータを1つ又はそれ以上のタイル(tile)
に分割し、各々のタイルに対して1つ又はそれ以上のスライス(slice)に分割する
。1つのスライス(slice)はポイントクラウドデータのポイント(point)を
含むことができる。
【0250】
実施例による精製部は、ポイントクラウドデータを分割して生成された1つ又はそれ以
上のスライス(又はタイル)を精製する。精製とは、1つ又はそれ以上のスライス(sl
ice)を併合(merge)して、併合されたスライスを生成するか、1つのスライス
を分離(split)して、複数のスライスを生成又は隣接したスライスに再分配するこ
とを意味する。
【0251】
併合(merge)とは、2つ以上のスライスに含まれたポイントをいずれも含む1つ
のスライスを生成する動作を意味する。
【0252】
分離(split)とは、1つのスライスに含まれたポイントが2つ以上のスライスに
含まれるように1つのスライスを再び分割するか、1つのスライスに含まれたポイントを
該当スライス及び該当スライスと隣接したスライスが分け持つように再分配することを意
味する。
【0253】
分割部及び/又は精製部16001は、
図15に示した空間分割部15001に含まれ
る。
【0254】
データ入力部16002には、実施例による分割部及び/又は精製部16001によっ
て生成されたスライスが入力される。データ入力部16002は、入力されたスライスを
実施例によるエンコーダ(例えば、ジオメトリエンコーダ及び/又は特質エンコーダ)へ
伝達する。例えば、実施例によるデータ入力部16002は、各々のスライスに含まれた
ポイントの位置情報(位置値)を実施例による座標変換部16003へ伝達する。また、
例えば、実施例によるデータ入力部16002は、各々のスライスに含まれたポイントの
属性情報(位置値)を実施例による色変換処理部16009へ伝達する。
【0255】
実施例によるデータ入力部16002は、ポイントクラウドデータ送信装置が各々のス
ライス別に独立した符号化を行うために、スライス単位でポイントクラウドデータが入力
され、スライス単位でポイントクラウドデータを実施例によるエンコーダへ伝達する。
【0256】
データ入力部16002は、
図15に示した空間分割部15001に含まれる。
【0257】
座標変換部16003は、実施例によるポイントの位置情報(位置値)を受信し、これ
らの座標を変換する。座標変換部16003は、
図1のポイントクラウドビデオエンコー
ダ10002、
図2の符号化部18001、
図4の座標変換部30000、
図5の動作を
行う。
【0258】
量子化/ボクセル化処理部16004は、実施例によるポイントクラウドデータを量子
化及び/又はボクセル化する。量子化/ボクセル化処理部16004は、
図1のポイント
クラウドビデオエンコーダ10002、
図2の符号化部18001、
図4の量子化及びボ
クセル化部30001、
図5の動作、
図6の動作を行う。
【0259】
八分木占有コード生成部16005は、量子化及び/又はボクセル化処理したポイント
クラウドデータを用いて八分木(octree)占有コード(occupancy co
de)を生成する。量子化/ボクセル化処理部16004は、
図1のポイントクラウドビ
デオエンコーダ10002、
図2の符号化部18001、
図4の八分木分析部30002
、
図6の動作、
図7の動作を行う。
【0260】
表面モデル処理部16006は、
図4の表面モデル処理部30003の動作、
図12の
表面モデル処理部12004の動作を行う。
【0261】
第1の演算コーダは、実施例による八分木占有コードを演算コーディングする。第1の
演算コーダは、
図4の演算符号化部30004の動作を行う。
【0262】
ジオメトリ再構成部16008は、八分木占有コード生成部16005によって生成さ
れた八分木占有コード及び/又は、表面モデル処理部16006によって表面モデル処理
された八分木占有コードを用いてジオメトリ情報を再構成する。ジオメトリ再構成部16
008は、
図4のジオメトリ再構成部30005の動作を行う。
【0263】
色変換処理部16009は、特質に含まれた色値(又はテキスチャー)を変換する色変
換コーディングを行う。色変換処理部16009は、
図4に示した色変換部40006を
意味する。
【0264】
属性変換処理部16010は、ジオメトリ符号化が行われていない位置及び/又は再構
成されたジオメトリに基づいて特質を変換する特質変換を行う。属性変換処理部1601
0は、
図4に示した特質変換部40007を意味する。
【0265】
予測/リフト/RAHT変換処理部16011は、
図4のRAHT変換部40008、
LOD生成部40009及び/又はリフト変換部40010を意味する。
【0266】
係数量子化処理部16012は、
図4の係数量子化部40011を意味する。
【0267】
第2の演算コーダ16013は、
図4の演算コーダ40012、
図12の演算コーダ1
2011を意味する。
【0268】
実施例によるポイントクラウドデータ送信装置は、符号化されたジオメトリビットスト
リーム、符号化された特質ビットストリームを結合する結合部をさらに含んでもよい。
【0269】
図17は実施例によるポイントクラウドデータ送信装置を示す。
【0270】
図17に示した構成要素は、例えば、
図15の空間分割部15001、
図16のデータ
特性調査部16000、分割部及び/又は精製部16001を意味する。
図17に示した
構成要素は、
図1のポイントクラウドビデオ取得部10001及び/又はポイントクラウ
ドビデオエンコーダ10002であってもよい。
図17に示した構成要素は、
図2の取得
部18000及び/又は符号化部18001、
図12のデータ入力部12000であって
もよい。
【0271】
図17に示した実施例によるポイントクラウドデータ送信装置は、
図14のXRデバイ
ス1430などによって結合される。
【0272】
実施例によるポイントクラウドデータ送信装置17000(例えば、空間分割部150
01)は、分割部17001、精製部17002を含む。
【0273】
実施例による分割部17001は、ポイントクラウドデータを受信し、これらを前処理
(preprocessing)及び/又は分割(partition)する。例えば、
分割部は、1つのフレーム(frame)を1つ又はそれ以上のタイル(tile)及び
/又はスライス(slices)に分割する。実施例による分割部17001は、様々な
分割方法(partitioning method)によってポイントクラウドデータ
を分割する。よって、分割部17001は実施例による分割方法確認部17001aを含
む。
【0274】
実施例による分割方法確認部17001aは、ポイントクラウドデータの特性に基づい
て分割方法を決定する。実施例による分割方法は、時間による分割方法(Timesta
mp partitioning)、モールトン順序分割方法(Morton orde
r partitioning)、均等四角形分割方法(Uniform square
partitioning)、八分木分割方法(Octree partitioni
ng)のうちのいずれか1つである。
【0275】
実施例による分割部17001(又は分割方法確認部17001a)は、実施例による
分割部がポイントクラウドデータを分割する分割方法を示すシグナル情報を生成する(例
えば、後述する分割方法(partitioning_method)パラメータなど)
。実施例による送信装置(又は分割部)は、上述した分割方法のうちの1つの分割方法に
基づいてポイントクラウドデータを分割してもよく、複数の分割方法に基づいて分割して
もよい。
【0276】
実施例による分割部17001は、
図16のデータ特性調査部16000、データ特性
による分割部&精製部16001の動作の一部又は全部を行う。実施例による分割部17
001は、
図15の空間分割部15001の動作の一部又は全部を行う。実施例による分
割部17001は、
図1のポイントクラウドビデオエンコーダ10002、
図2の符号化
部18001に含まれる。
【0277】
実施例による精製部17002(refiner)は、実施例による分割部によって生
成されたスライスのうちの一部のスライスを併合(merge)又は分離(split)
する。精製部は、所定の基準(1つのスライスに入るポイントの数、空間の体積、ポイン
トの密度)によって既に分割部によって分割されたスライスを精製(refine)する
。
【0278】
併合(merge)とは、分割部17001によって分割して生成されたスライスのう
ちの一部のスライスを1つのスライスに合わせることである。例えば、スライスのうちの
第1のスライス、第2のスライスを併合する場合、精製部17002は、第1のスライス
及び第2のスライスに含まれた全てのポイントを含む1つのスライスを生成する。
【0279】
分離(split)とは、分割部17001によって分割して生成されたスライスのう
ちの1つのスライスを複数のスライスに分けるか、1つのスライスに含まれたポイントを
隣接したスライスと分け持つように分配(又はスライスの境界を再設定)することを意味
する。例えば、第1のスライスを分離(split)する場合、第1のスライスに含まれ
たポイントを第2のスライス、第3のスライスなどが含むように再分割する動作を意味す
る。例えば、第1のスライスを分離(split)する場合、第1のスライスに含まれた
ポイントを、第1のスライスと隣接した第2のスライスと分け持つように、第1のスライ
スと第2のスライスの境界を再設定することを意味する。
【0280】
実施例による精製部17002は、実施例による併合(merge)の動作を行う併合
部17002a、分離(split)の動作を行う分離部17002bを含む。
【0281】
実施例による精製部17002(又は併合部17002a)は、1つのスライスに含ま
れたポイントの数が、ポイントの数の最小値(minimum number of po
ints)より少ない場合、該当スライスを他のスライスと併合(merge)する。ポ
イントの数の最小値はシステムによって予め設定した値でもよく、ユーザが設定した値で
もよい。
【0282】
実施例による精製部17002(又は分離部17002b)は、1つのスライスに含ま
れたポイントの数が、ポイントの数の最大値(maximum number of po
ints)より多い場合、該当スライスを分離(split)する。ポイントの数の最大
値はシステムによって予め設定した値でもよく、ユーザが設定した値でもよい。
【0283】
精製部17002は、実施例による境界ボックス内の空間上に位置するスライスのイン
デックス(index)に応じて、1次元探索、2次元探索、3次元探索などを行う。
【0284】
実施例による分割方法は、ジオメトリビットストリームと属性ビットストリームを送信
するために、送信装置からシグナル情報で送信することができる。実施例による送信装置
は、符号化されたジオメトリビットストリーム及び符号化された特質ビットストリームを
結合する結合部をさらに含んでもよい。このとき、結合部は、ジオメトリビットストリー
ムと属性ビットストリームをどのような順序によって結合するかを決定し、この順序を示
す情報をシグナル情報で送信することができる。
【0285】
精製部17002は、実施例による精製動作(例えば、併合部17002の併合動作及
び/又は分離部17002bの分離動作)は、精製のためのデータ構造(data st
ructure)に基づいて行われる。精製のためのデータ構造は、分割部17001に
よって分割されたスライス間の隣接性(adjacency)を示すためのデータ構造を
含む。
【0286】
精製のためのデータ構造は、例えば、リスト型(1次元配列、1次元リンクされたリス
ト、2次元配列、2次元リンクされたリストなど)のデータ構造であってもよく、ツリー
型(二分木、k-ワンツリー、bツリーなど)のデータ構造であってもよい。
【0287】
例えば、精製部では、リスト型のデータ構造を用いるリスト型精製方法(List r
efine method)を使用するか、又はツリー型のデータ構造を用いるツリー型
精製方法(Tree refine method)を使用するかを決定する。リスト型精
製方法は、分割されたリストをスライスに属したポイントの数の昇順(list_poi
nt_num_ascending_order)又は降順(list_point_n
um_descending_order)にシグナリングする。
【0288】
実施例による精製部の精製動作の精製方法は、距離に基づく精製方法、2/4/6方形
の精製方法を含む。距離に基づく精製方法は、例えば、minポイント間の距離(min
Point_distance)、maxポイント間の距離(maxPoint_dis
tance)、またmidポイント間の距離(midpoint_distance)を
精製有無に対する基準として有する。2/4/6方形の精製方法は、例えば、所定のスラ
イスと隣接するn個のスライスのうち、ポイントの数が少ない順に併合(minPoin
tNum_order)、ポイントの数が多い順に併合(maxPointNum_or
der)、またユーザが定義した順に併合(left_right_bottom_to
p_order)を行う。
【0289】
実施例による分割部17001で行う分割方法の実施例は、
図18ないし
図21、
図2
4ないし
図25で詳しく説明する。
【0290】
実施例による精製部17002の動作に対する実施例は、
図22、
図23、
図26、図
27で説明する。
【0291】
よって、実施例によるポイントクラウドデータ送信装置/受信装置は、ポイントクラウ
ドデータを1つ又はそれ以上のタイル(tiles)及び/又はスライス(slices
)に分割し、これに基づいて並列的に符号化/復号を行う。この構成は、送信装置及び/
又は受信装置が空間上のランダムアクセス(random access)と並列符号化
/復号化をできるようにする。
【0292】
図18は実施例によるポイントクラウドデータ送信装置がポイントクラウドデータを分
割する動作の一例を示す。
【0293】
具体的に、
図18は、ポイントクラウドデータを伝達する1つのフレーム(frame
)においてポイントクラウドデータが複数のスライス(slice)に分割されることを
示す。即ち、
図18はポイントクラウドデータ18001とこれらを分割する複数のスラ
イス(slice)18002を示す。
図18に示した動作は、
図17の分割部1700
1、
図16のデータ特性調査部16000、データ特性による分割部&精製部16001
の一部又は全部、
図15の空間分割部15001において行われる。
【0294】
図18に示した動作の一部又は全部は、
図14のXRデバイス1430などによって結
合して行われる。
【0295】
実施例によるポイントクラウドデータ18001は、
図1ないし
図16で説明したポイ
ントクラウドデータを意味し、カテゴリー1(Category 1)データ及び/又は
カテゴリー3(Category 3)データのうちのいずれか1つを意味する。
図18
に示したポイントクラウドデータは、例えば、カテゴリー3(Category)データ
を意味する。
【0296】
複数のスライス18002は、
図15ないし
図17で説明したスライス(又はブリック
)を意味する。1つのスライスはポイントを含む。
【0297】
実施例によるポイントクラウドデータ送信装置は、
図18に示したように、ポイントク
ラウドデータを複数のスライスに分割する。しかし、ポイントクラウドデータをスライス
に分割する場合、スライスのサイズ及び密度によっては符号化/復号の効率が低下するこ
とがある。
【0298】
例えば、
図18の18002aに示したスライスは、多数のポイントを含むためポイン
トの密度が高い。
図18の18002aをポイントクラウドデータが独立して符号化する
場合、多いメモリのリソースと高い処理演算が求められる。別の例として、
図18の18
002bに示したスライスは、ポイントの数が少ないため、符号化の効率が低下すること
がある。
図18の18002bをポイントクラウドデータが独立して符号化する場合、不
要な遅延が発生する可能性がある。
【0299】
また、例えば、送信装置が均等に又は所定の基準に従ってスライスを分割するだけであ
る場合、実施例による受信装置を使用する者が18002bを視聴する場合にも、送信装
置は18001に存在する全ての部分を符号化する必要があり、受信装置はその部分を全
部復号する必要がある。これは送信装置及び/又は受信装置が不要な遅延を発生させるこ
とになる。
【0300】
よって、送信装置は、18002aのスライスに対して、
図15ないし
図17で説明し
た分離(split)の動作によって複数のスライスに分離する。また送信装置は、18
002bのスライスに対して、
図15ないし
図17で説明した併合(merge)の動作
によって他のスライスと併合する。また実施例による送信装置は、
図19ないし
図21、
図24ないし
図25による分割方法に基づいて分割を行うことで、符号化の性能を効率的
に改善することができる。分割方法には、例えば、時間による分割方法(Timesta
mp partitioning)、モールトン順序分割方法(Morton orde
r partitioning)、均等四角形分割方法(Uniform square
partitioning)、八分木分割方法(Octree partitioni
ng)などがある。
【0301】
実施例によるポイントクラウドデータ送信装置/受信装置は、ポイントクラウドデータ
を1つ又はそれ以上のタイル(tiles)及び/又はスライス(slices)に分割
し、これに基づいて並列的に符号化/復号を行う。この構成は、送信装置及び/又は受信
装置が空間上のランダムアクセス(random access)と並列符号化/復号化
をできるようにする。
【0302】
図19は実施例によるポイントクラウドデータを分割する方法の実施例を示す。
【0303】
図19の動作は、
図18に示した分割動作の方法の実施例を示す。
図19の動作は、図
17の分割部17001、
図16のデータ特性調査部16000、データ特性による分割
部&精製部17001、
図15の空間分割部15001において行われる。
【0304】
図19に示した動作の一部又は全部は、
図14のXRデバイス1430などによって結
合して行われる。
【0305】
図19は、実施例による時間分割方法(timestamp partitionin
g)を示す。
図19の動作は、ポイントクラウドデータの属性のうちの時間属性に基づい
て分割することを意味する。実施例によるポイントクラウドデータの時間(time)特
質(属性)は、実施例による取得部(Acquisition)によって取得される特質
データであるため、時間属性が存在する場合にはこの方法を用いることができる。
【0306】
図19(B)によれば、ポイントクラウドデータは時間属性を含む。実施例によるポイ
ントは、同図に示したように、フロート(float)のような時間属性を含む。
【0307】
図19(A)によれば、ポイントクラウドデータ送信装置は、
図19の右側の時間属性
を用いてポイントの時間順序を把握する。例えば、ポイントクラウドデータ送信装置は、
時間属性を整列してポイントクラウドデータがいずれの方向順に生成されるかを確認する
。
【0308】
ポイントクラウドデータ送信装置は、時間属性を昇順又は降順に整列してポイントを複
数のスライスに分割する。
【0309】
図20は実施例によるポイントクラウドデータの分割方法及び精製方法の実施例を示す
。
【0310】
図20の動作は、
図17ないし
図18に示した分割動作及び精製方法の実施例を示す。
図20の動作は、
図17の分割部17001及び/又は精製部17002、
図16のデー
タ特性調査部16000、データ特性による分割部&精製部17001、
図15の空間分
割部15001において行われる。
【0311】
図20に示した動作の一部又は全部は、
図14のXRデバイス1430などによって結
合して行われる。
【0312】
図20は、モールトン順序分割方法(Morton order partition
ing)及びモールトン順序精製方法(Morton order refining)を
示す。
図20の動作は、ポイントクラウドデータのポイントのモールトンコードに基づい
てポイントを複数のスライスに分割する。
【0313】
モールトンコード(Morton code)は、ポイントの位置情報の座標値(例え
ば、x座標値、y座標値、z座標値)をビット単位でインターリービングして生成された
コードを意味する。モールトンコードは2進数又は10進数の実数で表現される。実施例
によるポイントクラウドデータ送信装置は、分割されたスライスに基づいて実施例による
分割/精製動作及び/又は符号化動作の順序を定める。
【0314】
図20によれば、実施例による分割部は、ポイントクラウドデータを含む3次元空間(
例えば、境界ボックス)を所定の基準に従って分割する。所定の基準は、
図19、
図20
、
図22ないし
図26に示した分割方法による基準である。例えば、分割部は、ポイント
クラウドデータを含む3次元空間を
図26に示した軸長さに基づく分割方法によって複数
のスライスに分割するか、又は
図22に示した均等四角形分割方法によって複数のスライ
スに分割する。分割部は、ポイントクラウドデータのポイントの数、分割されたスライス
の最大のポイント数及び/又は最小のポイント数に基づいて分割を行う。
【0315】
図20によれば、実施例による精製部は、分割された複数のスライスを、各々のスライ
スの位置に基づいて、各々のスライスのモールトンコードを生成し、生成したスライスの
モールトンコードの昇順に実施例による精製(例えば、
図23ないし
図24に示した方法
)を行う。
【0316】
実施例により分割されたスライスは、ポイントの存在するスライスとポイントの存在し
ないスライスとに分けられ、ポイントの存在するスライスをモールトンコードに基づいて
整列すれば、bottom-left-frontスライスからtop-right-b
ackスライスまで整列することができる。
【0317】
例えば、スライスのうち、モールトンコード順に、最小コードは20001スライスで
ある。20001スライスはポイントの数が少ないため、実施例による精製部は次のモー
ルトンコード順である20002スライスと併合するか否かを決定する。次に、2000
2スライスは20001スライスと併合されたスライスであり、依然としてポイントの数
が少ないことがある(例えば、mimPointNumより少ないポイント数を有する)
。よって、精製部は、20002スライスを次のモールトンコード順である20003ス
ライスと併合するか否かを決定する。
【0318】
例えば、精製部が20002スライス及び20003スライスを併合する場合、併合さ
れたスライス内のポイントの数が多いことがある(例えば、maxPointNumより
多いポイント数を有する)。よって、精製部は、併合された20003スライスを分離(
split)することができる。精製部は、20003スライスを次のモールトンコード
順である20004スライスの方向に分離してもよく、20002の方向に分離してもよ
く、20001の方向に分離してもよい。
【0319】
精製部は上述した方法によって、2000nスライスまで実施例によるスライスを併合
及び/又は分離する。
【0320】
実施例によるポイントクラウドデータ送信装置は、上述した方法によってスライスを生
成することで、個別のポイントの属性を照会しなくてもスライスを生成することができ、
スライスの生成過程から発生する遅延を減らすことができる。
【0321】
図21は実施例によるポイントクラウドデータを分割する方法の実施例を示す。
【0322】
図21の動作は、
図18に示した分割動作の方法の実施例を示す。
図21の動作は、図
17の分割部17001、
図16のデータ特性調査部16000、データ特性による分割
部&精製部17001、
図15の空間分割部15001において行われる。
【0323】
図21に示した動作の一部又は全部は、
図14のXRデバイス1430などによって結
合して行われる。
【0324】
図21は、均等四角形分割方法(Uniform square partition
ing)を示す。
図21の動作は、ポイントクラウドデータのポイントを均等な四角形(
uniform square)21002のスライスに分割することを示す。均等な四
角形(uniform square)21002は、例えば、少なくとも1面が正四角
形の正六面体を意味する。均等な四角形のスライスは、碁盤状スライスとも呼ばれる。
【0325】
ポイントクラウドデータ21001は、
図1ないし
図20に示したポイントを含むデー
タを意味する。
【0326】
均等な四角形スライス21002は、ポイントクラウドデータの境界ボックス2100
0を構成するスライスである。
【0327】
実施例によるポイントクラウドデータ送信装置は、ポイントクラウドデータ21001
の境界ボックスの最長軸、中間長軸を最短軸の長さにセグメント(segment)する
ことで複数の均等な四角形のスライス21002を生成する。
【0328】
例えば、
図21によれば、ポイントクラウドデータの境界ボックスは、最長軸である第
1の軸21000C(maxAxis)、中間長軸である第2の軸21000b(mid
Axis)及び最短軸である第3の軸21000a(minAxis)で構成される。ポ
イントクラウドデータ送信装置は、第1の軸(例えば、maxAxis)、第2の軸(例
えば、midAxis)を第3の軸の長さに切り、均等な四角形のスライス21002を
生成(又はセグメント)する。
【0329】
実施例によるポイントクラウドデータ送信装置は、均等四角形分割方法(Unifor
m square partitioning)に基づいてポイントクラウドデータを複
数のスライスに分割した後、複数のスライスをさらに精製(refine)する。ポイン
トクラウドデータ送信装置が複数のスライスをさらに精製(refine)する過程は、
図22ないし
図23、
図26ないし
図27で詳細に説明する。
【0330】
実施例によるポイントクラウドデータ送信装置は、上述した方法によってスライスを生
成することで、個別のポイントの属性を照会しなくてもスライスを生成することができ、
スライス生成過程から発生する遅延を減らすことができる。
【0331】
図22は実施例によるスライス(slice)を精製する方法の実施例を示す。
【0332】
図22に示した実施例によるスライスを精製する動作は、
図15の空間分割部1500
1、
図16のデータ特性による分割部&精製部16001、
図17の精製部17002に
おいて行われる。
【0333】
図22(A)は、ポイントクラウドデータのポイントが複数のスライスに分割2200
0されることを示す。実施例によるスライスは、スライス識別子によって他のスライスと
区別できる。例えば、22001で指示されるスライスの識別子は、N(N番目のスライ
ス)である。
【0334】
図22に示した動作の一部又は全部は、
図14のXRデバイス1430などによって結
合して行われる。
【0335】
実施例によれば、N番目のスライス22001は、他のスライスと隣接している。例え
ば、N番目のスライス22001は、複数の隣接したスライス(adjacent sl
ices)を有する。例えば、
図22(A)によれば、N番目のスライスは、N+1番目
のスライス、N-M番目のスライス、N+M番目のスライス、N-1番目のスライスと隣
接している。
【0336】
図22によれば、N+1番目のスライスはN番目のスライス22001の上(up)方
向に隣接したスライスであり、N-1番目のスライスはN番目のスライス22001の下
(down)方向に隣接したスライスであり、N+M番目のスライスはN番目のスライス
22001の右(right)方向に隣接したスライスであり、N-M番目のスライスは
N番目のスライス22001の左(left)方向に隣接したスライスである。
【0337】
実施例によるポイントクラウドデータ送信装置は、特定のスライス(例えば、N番目の
スライス)を精製することができる。
【0338】
図22(B)は、実施例によるポイントクラウドデータ送信装置がポイントクラウドデ
ータを複数のスライスに分割(partition)し、分割したスライスのうちの一部
を精製する動作を示す。
【0339】
実施例によるポイントクラウドデータ送信装置は、ポイントクラウドデータを分割する
ステップ22002a、特定のスライスと隣接したスライスに関する情報を導き出すステ
ップ22002b及び/又はスライスを併合(merge)及び/又は分離(split
)することで精製するステップ22002cを含む。
【0340】
ポイントクラウドデータを分割するステップ22002aは、ポイントクラウドデータ
を複数のスライス(slice)に分割する。ポイントクラウドデータを分割するステッ
プ22002aは、
図15の空間分割部15001、
図16のデータ特性調査部1600
0、データ特性による分割部16001の動作の一部、
図17の分割部17001、
図1
8ないし
図21の動作を行う。例えば、ポイントクラウドデータを分割するステップ22
002aは、
図21に示した均等四角形分割方法(Uniform square pa
rtitioning)によってポイントクラウドデータを分割する。分割したスライス
(例えば、図示した現在スライス(current slice))は、
図22(A)に
より、隣接したスライス(例えば、上側スライス(top slice)、下側スライス
(bottom slice)、左側スライス(left slice)、右側スライス
(right slice))を有する。
【0341】
特定のスライスと隣接したスライスに関する情報を導き出すステップ22002bは、
分割したスライス(例えば、現在スライス(current slice))と隣接した
スライスに関する情報を導き出す。
【0342】
例えば、0番目のスライスは、最左側最下端に位置したスライスである。この場合、隣
接したスライスが1番目のスライス及び3番目のスライスであり、ポイントクラウドデー
タ送信装置は各々の隣接したスライスのポイントの数を確認(例えば、1番目のスライス
は100個、3番目のスライスは200個など)する。ポイントクラウドデータ送信装置
は、既に確認したスライスに対しては重複してポイントの数を確認しなくてもよい。
【0343】
スライスを併合(merge)及び/又は分離(split)することで精製するステ
ップ22002cは、分割したスライスを精製する。
【0344】
ポイントクラウドデータ送信装置は、分割したスライス(例えば、現在スライス(cu
rrent slice))のポイント数がポイントの最小数(minimum num
ber of point、minNumPoint)より少ない場合は、実施例による隣
接したスライスのうちの1つのスライスと併合する。よって、併合したスライスは分割し
たスライスに含まれたポイントと隣接したスライスのうちの1つのスライスに含まれたポ
イントをいずれも含む1つのスライスである。隣接したスライスのうちの1つのスライス
は、例えば、隣接したスライスのうち、ポイントの数が最も少ないスライスである。
【0345】
例えば、現在スライス(current slice)がポイントの最小数(minN
umPoint)より少ないポイントを有する場合、ポイントクラウドデータ送信装置は
、実施例による併合(merge)の動作を行う。現在スライスと隣接したスライス(4
個のスライス)のそれぞれが20個、100個、50個、80個のポイントを有する場合
、20個のポイントを有するスライスを現在スライスと併合する。
【0346】
ポイントクラウドデータ送信装置は、分割したスライス(例えば、現在スライス(cu
rrent slice))のポイントの数がポイントの最大数(maximum nu
mber of point、maxNumPoint)より多い場合は、分割したスライ
スを分離(split)することができる。よって、ポイントクラウドデータ送信装置は
、分割したスライス(current slice)に含まれたポイントを2つ以上のス
ライスが含むようにする。
【0347】
例えば、現在スライス(current slice)がポイントの最大数(maxN
umPoint)より少ないポイントを有する場合、ポイントクラウドデータ送信装置は
、実施例による分離(split)の動作を行う。現在スライスの数が150個(例えば
、ポイントの最大数(maxNumPoint)が100個である場合)、ポイントクラ
ウドデータ送信装置は、現在スライスを分離して2個のスライスを生成する。
【0348】
ポイントクラウドデータ送信装置は、例えば、現在スライス(N番目のスライス)の1
50個のポイントのうちの100個はN番目のスライスに、余りの50個のポイントは隣
接したスライス(例えば、N+1番目のスライス)に分配する。この場合、N+1番目の
スライスはその境界がさらに大きくなることがある。例えば、N番目のスライスに含まれ
たポイントのうち、N+1番目のスライスの近くに位置するポイントはN+1番目のスラ
イスに含まれるように、ポイントクラウドデータ送信装置がN+1番目のスライスの境界
を再設定する。
【0349】
実施例によるポイントクラウドデータ送信装置は、現在スライスで再分配するポイント
を次のインデックスを有するスライスに再分配し、次のインデックスを有するスライスの
境界を再調整することができる。
【0350】
実施例によるポイントクラウドデータ送信装置は、上述した方法によってスライスを生
成することで、個々のポイントの属性を照会しなくてもスライスを生成することができ、
スライス生成過程から発生する遅延を減らすことができる。
【0351】
実施例によるポイントクラウドデータ送信装置は、このような構成により、スライス内
のポイントの数を均等に又は適宜に分配又は決定することができ、送信装置の並列的な符
号化効率を高めることができる。
【0352】
また、実施例によるポイントクラウドデータ受信装置は、このような構成により、スラ
イス内のポイントの数の偏差が大きくないように設定され、各々のスライスを独立して符
号化する過程から発生する遅延を減らすことができる。
【0353】
図23は実施例によるポイントクラウドデータが複数のスライスに分割及び/又は精製
された結果の一例を示す。
【0354】
図23の動作は、
図17の分割部17001、
図16のデータ特性調査部16000、
データ特性による分割部&精製部17001、
図15の空間分割部15001において行
われる。
【0355】
図23に示した動作の一部又は全部は、
図14のXRデバイス1430などによって結
合して行われる。
【0356】
実施例によるポイントクラウドデータ送信装置は、ポイントクラウドデータを分割(p
artitioning)して複数のスライスを生成し、生成した複数のスライスを精製
する。
【0357】
実施例によるポイントクラウドデータ送信装置は、実施例による分割(partiti
oning)の動作を行い、以下のような動作を行う。
【0358】
1)隣接情報生成(Generate adjacent information)
【0359】
各々の分割されたスライス(精製されていないスライス)は、少なくとも1つの隣接し
たスライス(adjacent slice)に関する情報を含む隣接情報(adjac
ent information)を生成する。実施例による隣接したスライスは、分割
されたスライス(current slice)と下側に(bottom)、左側に(l
eft)、上側に(top)、右側に(right)隣接したスライスのうちの1つを意
味する。実施例による隣接したスライスは、分割されたスライス(current sl
ice)と下側に(bottom)、左側に(left)、上側に(top)、右側に(
right)、前側に(front)、後側に(back)隣接したスライスのうちの1
つを意味する。
【0360】
隣接情報は、現在スライス(current slice)と下側に(bottom)
隣接したスライス、左側に(left)隣接したスライス、上側に(top)隣接したス
ライス及び/又は右側に(right)隣接したスライスの情報(例えば、スライスの識
別子情報、スライスに含まれたポイント数の情報など)を含む。隣接情報は、現在スライ
ス(current slice)と下側に(bottom)隣接したスライス、左側に
(left)隣接したスライス、上側に(top)隣接したスライス、右側に(righ
t)隣接したスライス、前側に(front)隣接したスライス、後側に(back)隣
接したスライスの情報を含む。
【0361】
2)併合(Merge)
【0362】
実施例による併合(merge)は、現在スライス(current slice)と
隣接したスライスのうちの1つを併合する。併合(merge)は、現在スライス(cu
rrent slice)のポイントの数がポイントの最小数情報(minimum n
umbers of points、minNumPoint)の値より少ない場合に行わ
れる。
【0363】
実施例による隣接したスライスのうちの1つは、現在スライス(current sl
ice)と下側に(bottom)隣接したスライス、左側に(left)隣接したスラ
イス、上側に(top)隣接したスライス、右側に(right)隣接したスライス、前
側に(front)隣接したスライス、後側に(back)隣接したスライスである。
【0364】
3)分離(Split)
【0365】
実施例による分離(split)は、現在スライス(current slice)を
複数のスライスに分けるか、次のインデックスを有するスライスにポイントを再分配する
ことを意味する。分離(split)は現在スライス(current slice)の
ポイントの数がポイントの最小数情報(minimum numbers of poin
ts、minNumPoint)の値より少ない場合に行われる。
【0366】
図23は実施例によるポイントクラウドデータ送信装置が併合(merge)及び/又
は分離(split)の動作を行った後のスライスを示す。ポイントクラウドデータ送信
装置が併合(merge)及び/又は分離(split)の動作を行う場合、スライスは
ポイントの分布又は領域に適応して(adaptive)配置される。即ち、実施例によ
る併合(merge)及び/又は分離(split)の動作が行われたスライスは符号化
又は復号に最適化してポイントの数を含む。
【0367】
実施例によるポイントクラウドデータ送信装置は、このような構成により、スライス内
のポイントの数を均等に又は適宜に分配又は決定することができ、送信装置の並列的な符
号化効率を高めることができる。
【0368】
また、実施例によるポイントクラウドデータ受信装置は、このような構成により、スラ
イス内のポイントの数の偏差が大きくないように設定され、各々のスライスを独立して符
号化する過程から発生する遅延を減らすことができる。
【0369】
図24は実施例によるポイントクラウドデータを分割する方法の実施例を示す。
【0370】
図24の動作は、
図18に示した分割動作の方法の実施例を示す。
図24の動作は、図
17の分割部17001、
図16のデータ特性調査部16000、データ特性による分割
部&精製部17001、
図15の空間分割部15001において行われる。
【0371】
図24に示した分割方法による動作は、
図1の送信装置1000、送信機10003、
ポイントクラウドビデオエンコーダ10002、
図2の符号化部18001、送信部18
002、
図4のエンコーダ、
図12の送信装置、
図14のXRデバイス1430などによ
って結合して行われる。
【0372】
図24に示した動作の一部又は全部は、
図14のXRデバイス1430などによって結
合して行われる。
【0373】
図24は八分木分割方法(Octree partitioning)を示す。
図24
の動作は、ポイントクラウドデータのポイントを境界ボックス(bounding bo
x)24000に対する八分木(octree)に基づいて複数のスライスに分割するこ
とを示す。
【0374】
八分木分割方法(Octree partitioning)は、全体の空間(実施例
によるポイントクラウドデータが含まれた境界ボックス)を8つの空間に8等分して再帰
的(recursive)に分割する。
【0375】
実施例によるポイントクラウドデータ送信装置は、最長軸の長さLを境界ボックスに設
定し(LXLXL)、八分木の1レベルが下がる度に8のl自乗(8 power of
l)の空間を生成する。実施例による八分木のレベル(l)は所定値でもよく、ユーザに
よって設定された値でもよい。例えば、八分木のレベル(即ち、l)の値を3にする場合
、送信装置は、8^3の512つの空間に分割することができる。実施例による送信装置
は、実施例によるレベルの値をシグナル情報として受信装置に送信することができる。
【0376】
実施例によるレベルの値は入力値として伝達された値でもよく、境界ボックス(空間)
内に存在するポイントの数に基づいて決定(例えば、lの数はポイントの数でしきい値と
して決定)してもよい。
【0377】
例えば、実施例による送信装置は、スライス分割のためのレベルがxであるとき、1つ
のスライス内に存在するポイントの数が1ないし100,000であるスライスの数が全
体のスライス数の50%を占める場合には八分木分割を中止することができる。このとき
、八分木分割を中止する方法としては、密度、しきい値、スライスの長さなどを基準とし
てもよい。
【0378】
八分木分割方法(Octree partitioning)は、八分木を用いた均等
-ジオメトリ分割(Uniform-Geometry partition usin
g Octree)とも呼ばれる。八分木を用いた均等-ジオメトリ分割は、例えば、以
下の動作を行う分割方法である。
【0379】
1)八分木の深さ(八分木のレベル、depOctree)を1に設定する。(Set
the depth of octree partition depOctree = 1
by default)
【0380】
2)八分木分割スキーム(Octree partition scheme)に従っ
てポイントクラウドデータを8^depOctree個のスライスに分割する。(Div
ide the input point cloud into 8depOctree s
lices by Octree partition scheme.)
【0381】
3)全てのスライスに対して、各々のスライス内のポイントの分布比率がポイントの最
大数(maxPointNum)になるように確認する。分布比率のしきい値(thre
s)を設定する。分布の比率がしきい値より大きい場合、次のステップに進む。分布の比
率がしきい値より大きくない場合は、1)の動作を再び行い、八分木の深さ(depOc
tree)の値から1を上げる。(Evaluate the proportion r
atio of points smaller than the maxPointNum
in all slices.Set a ratio threshold thres.
If ratio is bigger than thres、go to next ste
p.Otherwise、back to procedure 1) and set de
pOctree += 1.)
【0382】
スライス分割(slice partition)が行われた後、ポイントの数がポイ
ントの最大数(MaxPointNum)より多いスライスのポイントクラウドは分離(
split)してもよい。スライス分割(slice partition)が行われた
後、ポイントの数がポイントの最小数(MinPointNum)より少ないスライスの
ポイントクラウドは併合(merge)してもよい。(After slice part
ition、the point cloud of slice whose point
count is more than MaxPointNum is splitted、
and the point cloud of slice whose point cou
nt too few points is merged.)
【0383】
実施例による分離(split)の動作は、
図18なしい
図23に示した分離動作を意
味する。分離動作は、ポイントの数(Asize)がポイントの最大数より多い場合は、
該当スライスをn個のスライスに分けることができる。nは、例えば、ceil(Asi
ze/MaxPointNum)である。
【0384】
実施例による併合(merge)の動作は、
図18ないし
図23に示した併合動作を意
味する。併合動作は、ポイントの数がポイントの最小数(MinPointNum)より
少ない場合、該当スライスを前のスライス又は次のスライスと併合する。(Merge:
If the point count of current slice is less
than MinPointNum、merge it with either prio
r slice or next one.)
【0385】
併合(merge)しようとするスライス(slice)を決定するために、実施例に
よるポイントクラウドデータ送信装置は、併合の方向(direction to mer
ge)を以下のように決定する。
【0386】
スライスが最初のスライス(first place)である場合、併合の方向は、次
のスライス(next slice)の方向である。
【0387】
スライスが最後のスライス(at the end)である場合、併合の方向は、前のス
ライス(prior slice)の方向である。
【0388】
スライスが最初のスライスでもなく、最後のスライスでもない場合は、以下のように行
われる。該当スライス(current slice)が前のスライス(prior s
lice)と併合して生成されたスライスのポイントの数を「SumFront」、該当
スライス(current slice)が次のスライス(next slice)と併
合して生成されたスライスのポイントの数を「SumNext」とすれば、併合動作は、
以下のように行われる。
【0389】
SumFrontがポイントの最大数より大きく、SumNextがポイントの最大数
より大きい場合(If SumFront > MaxPointNum and SumN
ext > MaxPointNum)、前のスライス(prior slice)及び次
のスライス(next slice)のうち、ポイントの数がより多いスライスを選択す
る。
【0390】
SumFrontがポイントの最大数より小さく、SumNextがポイントの最大数
より小さい場合(If SumFront < MaxPointNum and SumN
ext < MaxPointNum)、前のスライス(prior slice)及び次
のスライス(next slice)のうち、ポイントの数がより多いスライスを選択す
る。
【0391】
その他の場合(otherwise)、SumFront及びSumNextのうちの
一方がポイントの最大数より大きく、その他方がポイントの最大数より小さい場合は、前
のスライス(prior slice)及び次のスライス(next slice)のうち
、少ないポイントの数を有するスライスと併合する。
【0392】
併合動作が行われた後、併合後に生成された全てのスライスを巡回して、SumMer
gedとMaxPointNumを比較する。SumMergedは併合したスライスの
ポイントの数である。
【0393】
SumMerged < MinPointNumである場合、現在スライスを他のスラ
イスとさらに併合することができる。
【0394】
SumMerged > MaxPointNumである場合は、併合したスライスを分
離(split)することができる。
【0395】
MinPointNum <SumMerged< MaxPointNumである場
合、現在スライスを維持する。
【0396】
実施例によるポイントクラウドデータ送信装置は、このような構成により、スライス内
のポイントの数を均等に又は適宜に分配又は決定することができ、送信装置の並列的な符
号化効率を高めることができる。
【0397】
また、実施例によるポイントクラウドデータ受信装置は、このような構成により、スラ
イス内のポイントの数の偏差が大きくないように設定され、各々のスライスを独立して符
号化する過程から発生する遅延を減らすことができる。
【0398】
図25は実施例によるポイントクラウドデータを分割する方法の実施例を示す。
【0399】
図25の動作は、
図18に示した分割動作方法の実施例を示す。
図25の動作は、
図1
7の分割部17001、
図16のデータ特性調査部16000、データ特性による分割部
&精製部17001、
図15の空間分割部15001において行われる。
【0400】
図25に示した分割方法による動作は、
図1の送信装置1000、送信機10003、
ポイントクラウドビデオエンコーダ10002、
図2の符号化部18001、送信部18
002、
図4のエンコーダ、
図12の送信装置、
図14のXRデバイス1430などによ
って結合して行われる。
【0401】
図25は、ポイントクラウドデータ送信装置がポイントクラウドデータの占める3次元
空間又はポイントクラウドデータ25000を境界ボックスの軸の長さに基づいて分割し
た領域25001、25002に分割することを示す。実施例によるポイントクラウドデ
ータ送信装置は、実施例によるポイントクラウドデータを1つ又はそれ以上の境界ボック
スの軸の長さに基づいて分割した領域25001、25002別に符号化することができ
る。実施例によれば、境界ボックスの軸の長さに基づいて分割した領域25001、25
002(例えば、スライス)に分割する動作を適応的軸長さ基盤のスライスタイルリング
(又は軸長さ基盤のスライス分割)とも呼ぶ。
図25に示した動作は、例えば、
図12の
データ入力部12000において行われる。
【0402】
ポイントクラウドデータ25000は、1つ又はそれ以上のポイントを含む。ポイント
クラウドデータは、3次元空間(例えば、境界ボックス)内に含まれる。実施例による3
次元空間(例えば、境界ボックス)は、x軸、y軸及びz軸で表現される。
【0403】
ポイントクラウドデータ25000は、例えば、x軸、y軸及びz軸のうちのいずれか
の長さがその他の2つの軸の長さよりも短いか、顕著に短い。例えば、1つの軸を除く2
つの軸に広く分散されている形態の地形を表現するポイントクラウドデータが存在する。
ポイントクラウドデータの送信装置が軸の長さとは関係なく境界ボックス内のポイントに
対して符号化を行う場合、符号化の効率は低下する。よって、ポイントクラウドデータ送
信装置は、3次元空間の軸の長さに適応して、1つ又はそれ以上の領域に分割する必要が
ある。よって、実施例によるポイントクラウドデータ送信装置は、x軸、y軸及びz軸の
相対的な長さを算出し、算出した相対的な長さに基づいてポイントクラウドデータを1つ
又はそれ以上の領域に分割する。
【0404】
実施例によるポイントクラウドデータ送信装置(例えば、
図16のタイル分割部160
00)は、3次元空間のx軸の長さ25000x、y軸の長さ25000y及びz軸の長
さ25000zのうち、最長軸(例えば、X軸)の長さを最短軸(例えば、Z軸)の長さ
単位に分割して、1つ又はそれ以上のスライス25001を構成する。1つ又はそれ以上
のスライスに分けられたデータは、並列的に符号化及び復号が可能な単位である。
【0405】
実施例によるポイントクラウドデータ送信装置(例えば、
図18のタイル分割部180
00、又は
図19のタイルリング部19001)は、一部のスライス25001に対して
再分割を行う。実施例による再分割は、スライスのうちの一部のスライスに対して、最長
軸(即ち、
図25の25001スライスではy軸25000y)を最短軸(例えば、x軸
又はz軸)の長さ単位に分割して、1つ又はそれ以上の細部のスライス(又は第2のスラ
イス25002)を構成する。1つ又はそれ以上の細部のスライス(又は第2のスライス
)に分けられたデータは、並列的に符号化及び復号が可能な単位である。
【0406】
実施例によるポイントクラウドデータ送信装置は、第1のスライス内のポイントの最大
数と最小数(maxPointNum、minPointNum)で空間上のデータ分布
によらず、ポイントの最小/最大(min/max)情報に基づいて分割を行ってもよい
。
【0407】
実施例によるポイントクラウドデータ送信装置は、第1のスライス又は第2のスライス
を領域内のポイントの数、領域のそれぞれが割り当てる空間のサイズ、領域内に含まれた
ポイントの密度に基づいて、また再分割を行うか否かを決定する。実施例によれば、空間
上に再分割を行う場合、空間適応的に行い、単に特定の軸に分ける方法の他にも中間軸を
基準として再分割を行うような方法でスライスを分割することができる。
【0408】
実施例によるポイントクラウドデータ送信装置は、実施例による適応的軸長さ基盤の領
域タイルリングを用いることで、大型地形地物を含むポイントクラウドデータの1つのフ
レーム内で空間単位で連関関係のあるシーケンスにおいて効果的に符号化を行うことがで
きる。実施例によるポイントクラウドデータ受信装置は、大型地形地物を含むポイントク
ラウドデータに対して効果的に復号化を行うことができる。
【0409】
例えば、最短軸(例えば、Z軸)で最長軸(例えば、X軸)を分割して1つのスライス
を構成する。特定の軸に分けられたスライスは再分割されてもよい。上述した最短軸で最
長軸を分割する方法を再分割に置き換えて、再帰的に分割を行ってもよい。再分割される
スライスは最短軸がまたZ軸となり、スライス内で分割されない最長軸であるY軸に対し
てZ軸の長さx(Z軸の長さ)だけの空間を有するスライスに再分割される。
【0410】
実施例による軸長さ基盤のスライス分割方法は、最長エッジに対する均等-ジオメトリ
分割(Uniform-Geometry partition along the
longest edge)とも呼ばれる。
【0411】
最長エッジに対する均等-ジオメトリ分割(Uniform-Geometry pa
rtition along the longest edge)は、例えば、以下の
ように行われる。
【0412】
1)実施例によるスライス分割方法によってポイントクラウドデータを分割する。
【0413】
2)スライス内のポイントの最大数(例えば、実施例によるMaxPointNum)
及び/又はスライス内のポイントの最小数(例えば、実施例によるMinPointNu
m)に基づいて、実施例による併合(merge)動作及び/又は分離(split)動
作を行う。
【0414】
実施例によるポイントクラウドデータ送信装置は、このような構成により、別途のシグ
ナル情報及びパラメータがなくても、スライス内のポイントの数を均等に又は適宜に分配
又は決定することができ、送信装置の並列的な符号化効率を高めることができる。
【0415】
実施例による軸長さ基盤のスライス分割方法は、ポイントクラウドデータにおいて1つ
の軸を除く2つの軸に広く分散されている形態の地形を有するポイントクラウドデータを
分割する方法において効果的である。
【0416】
図26は実施例による隣接したスライス(adjacent slice)の一例を示
す。
【0417】
図26の動作は、
図22に示した実施例による精製動作において、該当スライスと隣接
したスライス(adjacent slice)を決定する方法を示す。例えば、
図26
に示した動作は、
図22のN番目のスライス(slice N)22001と隣接したス
ライス(adjacent slice)を探す方法を示す。
【0418】
図26の動作は、
図17の精製部17002、
図16のデータ特性調査部16000、
データ特性による分割部&精製部16001、
図15の空間分割部15001において行
われる。
【0419】
図26に示した分割方法による動作は、
図1の送信装置1000、送信機10003、
ポイントクラウドビデオエンコーダ10002、
図2の符号化部18001、送信部18
002、
図4のエンコーダ、
図12の送信装置、
図14のXRデバイス1430などによ
って結合して行われる。
【0420】
精製部は、実施例による併合(merge)動作及び/又は分離(split)動作を
行う。精製部は、精製基準に従って決定する距離に基づく精製及び/又は2/4/6方形
に基づく精製を行う。
【0421】
図26(A)ないし26(C)のそれぞれは、2方形精製方法、4方形精製方法、6方
形精製方法を示す。
【0422】
実施例によるポイントクラウドデータ送信装置は、分割されたスライスの位置又は分割
方法によって、2方形(左右)、4方形(左右上下)、6方形(左右上下前後)に存在す
る隣接スライスの探索を行う。
【0423】
【0424】
2方形に基づく精製方法は、1次元で長軸を短軸で分ける分割方法の精製方法であって
、併合又は分離が適用される。例えば、2方形に基づく精製方法は、ポイントクラウドデ
ータ送信装置が1つのスライスに対して併合(merge)動作及び/又は分離(spl
it)動作を行うために、隣接したスライス(adjacent slice)を1次元
上で探索する。例えば、ポイントクラウドデータ送信装置は、2方形に基づく精製方法に
よって、該当スライスと左側に隣接したスライス、該当スライスと右側に隣接したスライ
スを用いて併合及び/又は分離の動作を行う。
【0425】
【0426】
4方形に基づく精製方法は、現在位置するスライスから上側、下側、左側、右側に位置
するスライスの位置を見て併合又は分離を行う方法である。例えば、4方形に基づく精製
方法は、ポイントクラウドデータ送信装置が1つのスライスに対して併合(merge)
動作及び/又は分離(split)動作を行うために、隣接したスライス(adjace
nt slice)を2次元上で探索する。例えば、ポイントクラウドデータ送信装置は
、4方形に基づく精製方法によって、該当スライスと左側に(left)隣接したスライ
ス、該当スライスと右側に(right)隣接したスライス、該当スライスと上側に(u
p)隣接したスライス、該当ライスと下側に(bottom)隣接したスライスを用いて
、併合及び/又は分離の動作を行う。
【0427】
【0428】
6方形に基づく精製方法は、八分木分割方法のように、空間に基づいて分割が行われた
分割方法に適用される。例えば、6方形に基づく精製方法は、ポイントクラウドデータ送
信装置が1つのスライスに対して併合(merge)動作及び/又は分離(split)
動作を行うために、隣接したスライス(adjacent slice)を3次元上で探
索する。例えば、ポイントクラウドデータ送信装置は、6方形に基づく精製方法によって
、該当スライスと左側に(left)隣接したスライス、該当スライスと右側に(rig
ht)隣接したスライス、該当スライスと上側に(up)隣接したスライス、該当スライ
スと下側に(bottom)隣接したスライス、該当スライスと前側に(front)隣
接したスライス、該当スライスと後側に(back)隣接したスライスを用いて、併合及
び/又は分離の動作を行う。
【0429】
ポイントクラウドデータ送信装置が分割部において分けられたスライスを2、4、6方
形に併合及び/又は分離する方法は、1次元リスト型で構成されたデータ構造及び/又は
ツリー型で構成されたデータ構造に基づいて行われる。ポイントクラウドデータ送信装置
が1次元リスト型で構成されたデータ構造及び/又はツリー型で構成されたデータ構造に
基づいて併合及び/又は分離する動作は、
図27に詳述する。
【0430】
距離に基づく精製方法は、分割部で分割したスライスの適応的距離を算出又は測定し、
算出又は測定した距離に基づいて併合動作及び/又は分離動作を行う。距離に基づく精製
方法は、例えば、疑似コード(pseudocode)で示すと以下のようである。
【0431】
for(slice N)
【0432】
slice0からslice1~Nの全ての距離
【0433】
最も近い距離に存在するsliceXをslice0の次であるslice1に格納
【0434】
slice++
【0435】
例えば、ポイントクラウドデータ送信装置は、現在スライスと最も近く存在するスライ
ス(即ち、該当スライスから最小距離を有するスライス)、現在スライスと全てのスライ
スのそれぞれの距離のうち、中間値を有する距離のスライス、現在スライスと最も遠く存
在するスライス(即ち、該当スライスから最大距離を有するスライス)の距離を測定又は
算出することができ、全てのスライスの距離のうち、最も近いスライスが次のスライスに
再整列される。
【0436】
ポイントクラウドデータ送信装置は、最も近いスライス、中間スライス及び/又は最も
遠いスライスを算出及び測定する場合、既に照会したスライスをスキップすることができ
る。例えば、二番目のスライスでは一番目のスライスを除外して残りのスライス3~Nま
での距離を測定又は算出して最も近いスライスを次のスライスとして決定し、上記動作を
全てのスライスNに対して繰り返して行う。
【0437】
ポイントクラウドデータ送信装置は、距離に基づいて整列されたスライス順に併合動作
及び/又は分離動作を行う。併合動作は1つのスライス内のポイントの数がminPoi
ntNumより少ない場合、次のスライスと併合する動作であり、分離動作は1つのスラ
イス内のポイントの数がmaxPointNumより多い場合、次のスライスと近い位置
に属するポイントを分離(split)して2つのスライスに分ける。
【0438】
実施例によるポイントクラウドデータ送信装置は、距離に基づく精製及び/又は2/4
/6方形に基づく精製動作を、
図18ないし
図25に示した分割方法を適用したスライス
に対して共通して適用する。
【0439】
実施例によるポイントクラウドデータ送信装置は、このような構成により、スライス内
のポイントの数を均等に又は適宜に分配又は決定することができ、送信装置の並列的な符
号化効率を高めることができる。
【0440】
また、実施例によるポイントクラウドデータ受信装置は、このような構成により、スラ
イス内のポイント数の偏差が大きくないように設定され、各々のスライスを独立して符号
化する過程から発生する遅延を減らすことができる。
【0441】
図27は実施例による隣接したスライス(adjacent slice)を用いてス
ライスを精製する方法の一例を示す。
【0442】
図27は隣接したスライス(adjacent slice)を用いてスライスを精製
するためのデータ構造を示す。ポイントクラウドデータ送信装置が分割部部で分けられた
スライスを2、4、6方形に併合及び/又は分離する方法は、1次元リスト型で構成され
たデータ構造及び/又はツリー型で構成されたデータ構造に基づいて行われる。
【0443】
図27は、
図22に示した実施例による精製動作において、該当スライスと隣接したス
ライス(adjacent slice)を決定し、実施例による精製動作を示す。例え
ば、
図27に示した動作は、
図22のN番目のスライス(slice N)22001と
隣接したスライス(adjacent slice)を探す方法を示し、隣接したスライ
スと精製する動作を示す。
【0444】
図27は、
図17の精製部17002、
図16のデータ特性調査部16000、データ
特性による分割部&精製部16001、
図15の空間分割部15001において行われる
。
【0445】
図27に示した分割方法による動作は、
図1の送信装置1000、送信機10003、
ポイントクラウドビデオエンコーダ10002、
図2の符号化部18001、送信部18
002、
図4のエンコーダ、
図12の送信装置、
図14のXRデバイス1430などによ
って結合して行われる。
【0446】
図27(A)は1次元リスト型に基づくデータ構造によって精製動作を行うことを示す
。
【0447】
例えば、送信装置は、ポイントクラウドデータを分割して生成されたN個のスライスを
、各々のスライスに含まれたポイント数に基づいて整列する。整列したスライスは、整列
前の上側、下側、左側、右側に位置する隣接したスライスをインデックスに格納する。送
信装置は、ポイントの数で整列されたスライスに対して最小ポイント数のスライスから併
合及び分離を行う。このとき、送信装置は、併合されるスライスが上側、下側、左側、右
側に位置するインデックスを確認し、4つのスライスの中でもポイントの数が最小のスラ
イスから併合する。送信装置は、併合後にもminPointNumより少ないポイント
数を有する場合、2つ/4つ/6つの隣接したスライスのうち、その次にポイントの数の
少ないスライスと併合する。送信装置は、スライス内のmaxPointNumより多い
ポイントを有しているとき、最小ポイント数を有する方向に分離を行う。
【0448】
例えば、
図27(A)によれば、1次元リスト型に基づくデータ構造は、
図27(A)
の右側図のようである。1次元リスト型に基づくデータ構造は、各々のスライスを行に区
分し、各行に対応するスライスと隣接したスライスをリンク(link)することで構成
される。各行は、該当スライスと隣接したスライスをポイント数の昇順に従ってリンク(
link)する。例えば、2番目のスライスは[2]行に位置し、2番目のスライスは0番
目、3番目及び4番目のスライスと隣接し、0番目のスライス(10個)、3番目のスラ
イス(30個)、4番目のスライス(100個)の順にポイントの数が少ないため、[2]
行には[0]、[3]、[4]が順にリンクされる。ここで、データ構造の1番目の列( [0]
ないし[5]と示される個所)はヘッド(head)とも呼び、2番目の列ないし最後の列
に該当する箇所はノード(node)とも呼ぶ。
【0449】
例えば、
図27(A)によれば、以下のように行われる。
【0450】
0番目のスライスから順に精製動作を行う。0番目のスライスは10個のポイントを有
し、1番目のスライス及び2番目のスライスのそれぞれと上側(up)、右側(righ
t)に隣接する。精製部は隣接したスライス(1番目及び2番目のスライス)のうち、ポ
イント数の少ないスライス順に併合を行うか否かを決定する。例えば、精製部は、0番目
のスライスを1番目及び2番目のスライスのうち、ポイント数の少ない1番目のスライス
と併合する。仮に、0番目のスライスが1番目のスライスと併合した後にもminPoi
ntNumより少ないポイントを有する場合、精製部は併合したスライスを2番目のスラ
イスと再び併合する。
図27(A)では、minPointNumを60と仮定していて
、0番目及び1番目のスライスと併合して50個のポイントを有するため、精製部は該当
スライスを2番目のスライスと再び併合して100個のスライスを有することができる。
併合した0番目ないし2番目のスライスのポイント数は100個であって、maxPoi
ntNumの以下であるため、分離動作は行わない。よって、精製部は、次のスライス(
3番目のスライス)に対して併合及び分離を行うか否かを確認する。
【0451】
3番目のスライスは30個のポイントを有する。よって、精製部は隣接したスライスの
うちの最小ポイントを有するスライスと併合する。データ構造によれば、1番目のスライ
ス、2番目のスライス、5番目のスライスの順に併合を行う。1番目のスライスは0番目
ないし3番目のスライスと併合したスライスであって、100個のポイントを有する。よ
って、3番目のスライスは0番目ないし2番目のスライスと併合して130個のポイント
を有する。併合したスライスは0番目ないし2番目又は3番目のスライスに含まれる。併
合した0番目ないし3番目のスライスはmaxPointNumより多いため、2つのス
ライスに分離される。
【0452】
4番目のスライスのポイント数は、minPointNum以上、maxPointN
um以下であるため、精製が行われない。
【0453】
5番目のスライスのポイント数は、maxPointNum以上であるため(180個
)、精製部は5番目のスライスを分離する。精製部は5番目のスライスを、例えば、4番
目の方向に90個のポイントを有する2つのスライスに分離する。
【0454】
図27(B)はツリー型に基づくデータ構造によって精製動作を行うことを示す。
【0455】
実施例による精製部がツリー型に基づくデータ構造によって精製動作を行う場合、精製
部はツリー型精製とも呼ばれる。
【0456】
実施例によるツリー型精製部は、ポイントクラウドデータを含むスライスのそれぞれの
位置情報をツリー(tree)型のデータ構造で示す。
図27(B)はツリー型のデータ
構造の一例である。
【0457】
例えば、
図27(B)によれば、ツリー型に基づくデータ構造は、
図27(B)の右側
図のようである。ツリー型に基づくデータ構造において、子ノード(child nod
e、1つ又は複数)は、親ノード(parent node)の隣接したスライスの関係
であることを示す。例えば、0番目のスライスは1番目のスライスと2番目のスライスと
隣接しているため、0番目のスライスを親ノード、1番目及び2番目のスライスは0番目
のスライスの子ノードである。さらに、1番目のスライスは3番目のスライスとより隣接
しているため、1番目のスライスの子ノードは3番目のスライスである。さらに、2番目
のスライスは4番目のスライスとより隣接しているため、2番目のスライスの子ノードは
4番目のスライスである。さらに、4番目のスライスは5番目のスライスとより隣接して
いるため、4番目のスライスの子ノードは5番目のスライスである。即ち、精製部はスラ
イスのインデックスとスライス内のポイント数を用いて、ツリー型隣接性情報を含むツリ
ー型データ構造で生成する。
【0458】
精製部は、例えば、完成したツリーで深さ優先探索(DFS、Depth first
search)を行い、ポイント数を調査する。
【0459】
例えば、精製部は、深さ優先探索を用いてリーフノードにある5番目のスライスからm
inPointNum及びmaxPointNumの間にポイント数が存在するか否かを
確認する。例えば、5番目のスライスは150個のポイントを有するため、精製部は5番
目のスライスに対して分離動作を行い、2つのスライスに分ける。例えば、精製部は5番
目のスライスを分離し、2つ以上のスライスを生成して、2つ以上のスライスをいずれも
4番目のスライスの子ノードとして生成する。また、例えば、精製部は5番目のスライス
を分離し、一部は親ノードである4番目のスライスに組み入れ(又は再分配)てもよく、
余りのポイントを1つ又はそれ以上のスライスに分配して4番目のスライスの子ノードと
して生成してもよい。
【0460】
精製部は、深さ優先探索を用いて、次の4番目のスライスに対して精製動作を行う。仮
に、5番目のスライスを精製する過程において、5番目のスライス内のポイントのうちの
一部が4番目のスライスに組み入れられない場合、4番目のスライスのポイントの数は1
00個である。よって、精製動作を行わない(minPointNum及びmaxPoi
ntNumの間のポイント数を有するためである)。
【0461】
精製部は、次の2番目のスライスに対して精製動作を行うか否かを確認する。2番目の
スライスは、精製動作を行わない(minPointNum及びmaxPointNum
の間のポイント数を有するためである)。
【0462】
精製部は、次の3番目のスライスに対して精製動作を行うか否かを確認する。3番目の
スライスは、30個のポイントを有するため、併合動作を行う(minPointNum
以上であるためである)。精製部は3番目のスライスの親ノードである1番目のスライス
と併合を行い、70個のポイントを有するスライスを生成する。併合した1番目及び3番
目のスライスは0番目のスライスの子ノードとして生成される。併合した1番目及び3番
目のスライスに対して、精製部は分離動作を行わない。
【0463】
精製部は、次の0番目のスライスに対して精製動作を行うか否かを確認する。0番目の
スライスは、10個のポイントを有するため、子ノードのうち、少ないポイント数を有す
るスライス(即ち、併合した1番目及び3番目のスライス)と併合して80個のポイント
を有するスライスを生成する。
【0464】
実施例によるポイントクラウドデータ送信装置は、このような構成により、スライス内
のポイント数を均等に又は適宜に分配又は決定することができ、送信装置の並列的な符号
化効率を高めることができる。
【0465】
実施例によるポイントクラウドデータ送信装置は、このようなデータ構造を用いて精製
動作を行うことで、メモリの効率を極大化すると共に、精製過程において不要な遅延及び
エラーを最小化することができる。
【0466】
また、実施例によるポイントクラウドデータ受信装置は、このような構成により、スラ
イス内のポイント数の偏差が大きくないように設定され、各々のスライスを独立して符号
化する過程から発生する遅延を減らすことができる。
【0467】
図28は実施例によるポイントクラウドデータ受信装置の一例を示す。
【0468】
図28に示した分割動作は、
図1の受信装置10004、受信部10005、ポイント
クラウドビデオデコーダ10006、
図2の復号18003、送信部18002、
図10
、
図11のデコーダ、
図13の受信装置、
図14のXRデバイス1430などによって結
合して行われる。
【0469】
実施例によるポイントクラウド受信装置(又はデコーダ)28000は、幾何情報復号
化部28001及び/又は属性情報復号化部28002を含む。実施例によれば、ポイン
トクラウドデコーダは、PCC復号化機、PCC復号化部、ポイントクラウド復号化機、
ポイントクラウド復号化部、PCCデコーダなどとも呼ばれる。
【0470】
幾何情報復号化部28001は、ポイントクラウドデータの幾何情報ビットストリーム
28000aを受信する。幾何情報復号化部28001は、ポイントクラウドデータの幾
何情報ビットストリーム28000aを復号化(復号)して、復元されたポイントクラウ
ドデータ28000cの特質情報を出力する。 幾何情報復号化部28001は、幾何情
報ビットストリームをジオメトリ情報で再構成して、復元された幾何情報28001を出
力する。幾何情報ビットストリーム28000aは、
図15の幾何情報ビットストリーム
、ジオメトリビットストリームを意味する。属性情報ビットストリーム28000bは、
図15の属性情報ビットストリーム、特質ビットストリームを意味する。
【0471】
幾何情報復号化部28001は、入力された幾何情報ビットストリームを復号化して、
幾何情報を復元する。復元された幾何情報は、属性情報復号化部に入力される。属性情報
復号化部28002は、入力された属性情報ビットストリームと幾何情報復号化部から入
力された復元された幾何情報が入力され、属性情報を復元する。復元された幾何情報は、
図11に示したジオメトリ再構成部(reconstruct geometry)11
003によって再構成されたジオメトリを意味する。復元された幾何情報は、
図13に示
した占有コードに基づく八分木再構成処理部13003によって再構成された八分木占有
コードを意味する。
【0472】
幾何情報復号化部28001は実施例による受信装置が受信した幾何情報ビットストリ
ームを受信する。幾何情報復号化部28001は幾何情報ビットストリームを復号化する
。
【0473】
幾何情報復号化部28001は、
図1のポイントクラウドビデオデコーダの動作、
図2
の復号20003、
図10のジオメトリデコーダの動作、
図11に示した演算デコーダ1
1000、八分木合成部11001、表面近似合成部11002、ジオメトリ 再構成部
11003及び/又は座標系逆変換部11004の動作の全部/一部を行う。
【0474】
属性情報復号化部28002はポイントクラウドデータの属性情報ビットストリーム2
8000bを受信する。属性情報復号化部28002は、ポイントクラウドデータの属性
情報ビットストリーム28000bを復号化(デコード)し、復元されたポイントクラウ
ドデータ28000cの特質情報を出力する。属性情報復号化部28002は、幾何情報
復号化部28001によって生成された復元された幾何情報28001aに基づいて属性
情報ビットストリームを復号化(デコード)する。
【0475】
属性情報復号化部28002は、実施例による受信装置が受信した属性情報ビットスト
リームを受信する。属性情報復号化部は、復元された幾何情報に基づいて属性情報ビット
ストリームの属性情報を復号化する。ポイントクラウドデータに含まれた幾何情報及び/
又は属性情報は復号化されて復元されたPCCデータである。
【0476】
属性情報復号化部28002は、
図1のポイントクラウドビデオデコーダ、
図2の復号
20003の動作、
図10に示した特質デコーダ(attribute decoder
)の動作、
図11の逆量子化部11006、RAHT11007、LOD生成部1100
8、逆リフト部11009,及び/又は色逆変換部11010の動作、
図13に示した演
算デコーダ13007、逆量子化処理部13008、予測/リフト/RAHT逆変換処理
部13009、色逆変換処理部13010及び/又はレンダラー13011の動作の一部
又は全部を行う。
【0477】
図29は実施例によるポイントクラウドデータ受信装置を示す。
【0478】
図29に示した実施例によるポイントクラウドデータデコーダの一部又は全部は、
図1
の受信装置10004、受信部10005、ポイントクラウドビデオデコーダ10006
、
図2の復号18003、送信部18002、
図10、
図11のデコーダ、
図13の受信
装置、
図14のXRデバイス1430などによって結合して行われる。
【0479】
図29の実施例によるポイントクラウドデコーダは、
図28の実施例によるポイントク
ラウドデータデコーダ28000を意味する。実施例によるポイントクラウドデコーダは
、受信部29000、分割されたデータ入力部29001、第1の演算デコーダ2900
2、占有コードに基づく八分木再構成処理部29003、表面モデル処理部29004、
ジオメトリ再構成部29005、座標逆変換部29006、第2の演算デコーダ2900
7、逆量子化処理部29008、予測/リフト/RAHT逆変換処理部29009、属性
再構成部29010、色逆変換部29011及び/又はポイント結合部を含む。
【0480】
図29に示した実施例によるポイントクラウドデータデコーダの構成要素は、ブリック
(brick)単位で行われてもよく、ブリック単位で独立して行われてもよい。
【0481】
受信部29000は実施例によるポイントクラウドデータを含むビットストリームを受
信する。受信部29000は受信したビットストリームを分割されたデータ入力部290
01に送信する。受信部29000は、
図1の受信機10007、
図2の送信部2000
2、
図13の受信部13000の動作を行う。
【0482】
分割されたデータ入力部29001は、実施例によるポイントクラウドデータを含むビ
ットストリームをブリック(brick)単位で受信し、ブリック単位で復号を行うため
にブリック単位でポイントクラウドデータのジオメトリビットストリームと属性ビットス
トリームを出力する。分割されたデータ入力部29001は、ブリック単位のジオメトリ
ビットストリームを第1の演算デコーダ29002に送信し、ブリック単位の属性ビット
ストリームを第2の演算デコーダ29002に送信する。
【0483】
分割されたデータ入力部29001は、受信部29000によって受信したビットスト
リームに含まれた、ブリック単位で符号化されたことを示すシグナル情報(例えば、bi
stream_brick_decoding_flag)が存在する場合(又はブリッ
ク単位で符号化されたことを指示する場合)、実施例によるポイントクラウドデータ受信
装置は、受信ビットストリームに対してN回の復号動作が行われる。分割されたデータ入
力部29001は、
図1の受信機10007、
図2の送信20002、
図13の受信処理
部13001の動作を行う。
【0484】
第1の演算デコーダ29002はブリック単位でジオメトリビットストリームを受信す
る。第1の演算デコーダ29002はジオメトリビットストリームを復号化する。第1の
演算デコーダ29002は復号化されたジオメトリ情報を出力する。
【0485】
第1の演算デコーダ29002は、
図1のポイントクラウドビデオデコーダ10006
、
図2の復号20003、
図11の演算復号部11000、
図13の演算デコーダ130
02の動作を行う。
【0486】
占有コードに基づく八分木再構成処理部29003は、復号化されたジオメトリ情報を
受信する。占有コードに基づく八分木再構成処理部29003は、ブリック単位のジオメ
トリビットストリームに基づいて占有(occupancy)基盤の八分木(octre
e)を再構成する。占有コードに基づく八分木再構成処理部29003は、再構成された
八分木を表面モデル処理部29004に送信する。
【0487】
占有コードに基づく八分木再構成処理部29003は、
図1のポイントクラウドビデオ
デコーダ10006、
図2の復号20003、
図11の八分木分析部11001、
図13
の占有コードに基づく八分木再構成処理部13003の動作を行う。
【0488】
表面モデル処理部29004は、第1の演算デコーダ29002によって復号されたジ
オメトリ情報及び/又は占有コードに基づく八分木再構成処理部29003によって再構
成された八分木に基づいてジオメトリ情報の表面モデル処理を行う。ジオメトリ情報の表
面モデル処理は、例えば、三角形再構成の動作、アップ-サンプリングの動作、ボクセル
化の動作を含む。
【0489】
表面モデル処理部29004は、
図1のポイントクラウドビデオデコーダ10006、
図2の復号20003、
図11の表面近似分析部11002、
図13の表面モデル処理部
13004の動作を行う。
【0490】
ジオメトリ再構成部29005は、表面モデル処理部29004によって表面モデル処
理されたジオメトリ情報を受信する。ジオメトリ再構成部は、表面モデル処理されたジオ
メトリ情報を再構成する。ジオメトリ再構成部29005は、再構成されたジオメトリ情
報を予測/リフト/RAHT逆変換処理部29009及び/又は座標逆変換部29006
に送信する。
【0491】
ジオメトリ再構成部29005は、
図1のポイントクラウドビデオデコーダ10006
、
図2の復号20003、
図11のジオメトリ再構成部11003の動作を行う。
【0492】
座標逆変換部29006は、ジオメトリ再構成部29005によって生成されたジオメ
トリ情報の座標情報を逆変換する。座標逆変換部29006は、ジオメトリ情報を逆変換
して、ポイントクラウドデータのポイントの位置情報を出力する。座標逆変換部2900
6はポイントの位置情報をポイント結合部29012に送信する。
【0493】
座標逆変換部29006は、該当ポイントに対応するブリック(brick)に対して
ジオメトリ復号が行われたことを示す情報を分割されたデータ入力部29001に送信す
る。
【0494】
座標逆変換部29006は、
図1のポイントクラウドビデオデコーダ10006、
図2
の復号20003、
図11の座標逆変換部11004の動作を行う。
【0495】
第2の演算デコーダ29007は、ブリック単位でジオメトリビットストリームを受信
する。第2の演算デコーダ29007は、属性ビットストリーム(特質ビットストリーム
)を復号化する。第2の演算デコーダ29007は復号化された特質情報を出力する。
【0496】
第2の演算デコーダ29007は、
図1のポイントクラウドビデオデコーダ10006
、
図2の復号20003、
図11の演算復号11005、
図13の演算デコーダ1300
7の動作を行う。
【0497】
逆量子化処理部29008は、第2の演算デコーダ29007によって生成された復号
化された特質情報を受信する。逆量子化処理部29008は、受信した復号化された特質
情報を逆量子化する。逆量子化処理部29008は、逆量子化された特質情報を出力し、
逆量子化された特質情報を予測/リフト/RAHT逆変換処理部29009に送信する。
【0498】
逆量子化処理部29008は、
図1のポイントクラウドビデオデコーダ10006、図
2の復号20003、
図11の逆量子化部11006、
図13の演算デコーダ13007
の動作を行う。
【0499】
予測/リフト/RAHT逆変換処理部29009は、逆量子化処理部29008によっ
て逆量子化されたジオメトリ情報を受信し、これらを逆変換する。予測/リフト/RAH
T逆変換処理部29009は、逆量子化された特質情報を予測方法(predictio
n)、リフト方法(lifting)、RAHT方法のうちの少なくとも1つに基づいて
逆変換する。予測/リフト/RAHT逆変換処理部29009は、ジオメトリ再構成部2
9005によって再構成されたジオメトリ情報(又は復元されたジオメトリ情報)に基づ
いて特質情報を逆変換する。
【0500】
予測/リフト/RAHT逆変換処理部29009は、
図1のポイントクラウドビデオデ
コーダ10006、
図2の復号20003、
図11のRAHT11007、LOD生成部
11008、逆リフト部11009の動作を行う。
【0501】
属性再構成部29010は、予測/リフト/RAHT逆変換処理部29009によって
逆変換された特質情報に基づいて属性情報を再構成する。属性再構成部は再構成された属
性情報を出力し、これを色逆変換処理部29011に送信する。
【0502】
属性再構成部29010は、
図1のポイントクラウドビデオデコーダ10006、
図2
の復号20003、
図11の色逆変換部11010、
図13の色逆変換処理部13010
の動作を行う。
【0503】
色逆変換部29011は、属性再構成部29010によって再構成されたジオメトリ情
報を受信する。色逆変換部29011は、再構成されたジオメトリ情報を色逆変換する。
色逆変換部29011はポイントクラウドデータのポイントの属性情報を出力する。
【0504】
色逆変換部29006は、該当ポイントに対応するブリック(brick)に対して特
質復号が行われたことを示す情報を分割されたデータ入力部29001に送信する。属性
再構成部29010は、
図1のポイントクラウドビデオデコーダ10006、
図2の復号
20003、
図11の色逆変換部11010、
図13の色逆変換処理部13010の動作
を行う。
【0505】
ポイント結合部は、実施例によるポイントクラウドデータのポイントのジオメトリ情報
(位置情報)及び/又はポイントの特質情報(属性情報)を受信する。ポイント結合部は
ブリック(brick)単位のポイントクラウドデータのポイントのジオメトリ情報(位
置情報)及び/又はポイントの特質情報(属性情報)を受信し、これをブリック単位で結
合する。ポイント結合部はポイントの位置情報と属性情報を含むブリック単位のポイント
クラウドデータを出力する。
【0506】
図30は実施例によるポイントクラウドデータのビットストリーム構造の一例を示す。
【0507】
図30は実施例によるポイントクラウドデータのビットストリーム構造30000の一
例である。
図30に示したポイントクラウドデータのビットストリーム構造30000は
、実施例による送信装置の
図1の送信機10003、
図2の送信部18002、
図12の
送信処理部12012、
図16のビットストリーム結合部16014、
図17のビットス
トリーム結合部17000で生成される。
【0508】
実施例による送信装置は、分割部と精製部を追加/実行するために、フィルタリング情
報をシグナルする。
【0509】
実施例によるパラメータ(メタデータ、シグナル情報などと呼ばれる)は、後述する実
施例による送信機のプロセス上で生成されてもよく、実施例による受信機に伝達されて再
構成過程に用いられてもよい。
【0510】
例えば、実施例によるパラメータは、後述する実施例による送信装置のメタデータ処理
部(又はメタデータ生成部)で生成され、実施例による受信装置のメタデータ分析で取得
される。
【0511】
図30に示したポイントクラウドデータのビットストリーム構造30000は、実施例
による受信装置の
図1の受信機10005、
図2の復号部18003、
図13の受信部1
3000、
図35の受信部35000で受信するビットストリームである。
図30に示し
たポイントクラウドデータのビットストリーム構造30000は、
図36の各々のスライ
スのジオメトリと属性ビットストリーム36001を意味する。
【0512】
図38に示した実施例によるビットストリーム構造30000の一部又は全部は、
図1
4のXRデバイス1430によって生成される。また、同図に示すブリック(brick
)はスライス(slice)に対応し、その逆も成り立つ。本明細書においてブリックは
スライスとも呼ばれる。
【0513】
実施例によるポイントクラウドデータ送信装置は、
図31に示したビットストリーム構
造を有するビットストリーム30000を送信する。ポイントクラウドデータのビットス
トリーム30000は、SPS(Sequential Parameter Set)3
0001、GPS(Geometry Parameter Set)30002、APS
(Attribute Parameter Set)30003、TPS(Tile P
arameter Set)30004及び1つ又はそれ以上のスライス(slice 0
、slice 1 …slice n)30004を含む。ポイントクラウドデータのビッ
トストリーム30000は、1つ又はそれ以上のタイル(tile)を含む。実施例によ
るタイルは、1つ又はそれ以上のスライスを含むスライスグループである。実施例による
ビットストリーム30000は、ポイントクラウドデータを領域別に分けて処理するよう
に、タイル又はスライスを提供する。実施例によるビットストリーム30000の各々の
領域は、互いに異なる重要度を有する。よって、ポイントクラウドデータをタイルで分け
られる場合、各々のタイルに異なるフィルター(符号化方法)、異なるフィルターユニッ
トを適用することができる。ポイントクラウドをスライスで分けられる場合、各々のスラ
イスに異なるフィルター、異なるフィルターユニットを適用することができる。
【0514】
実施例によるポイントクラウドデータ送信装置は、
図31に示したビットストリーム3
0000の構造によってポイントクラウドデータを送信することで、重要度に応じて異な
る符号化動作を適用し、品質(quality)の良い符号化方法を重要な領域に使用す
る方法を提供できる。
【0515】
実施例によるポイントクラウドデータ受信装置は、受信装置の処理能力(capaci
ty)によって、全体のポイントクラウドデータに複雑な復号化(フィルタリング)方法
の代わりに、領域別に(タイル又はスライスで分けられる領域)互いに異なるフィルタリ
ング(復号化方法)を提供することで、ユーザにとって重要な領域にさらに良い画質及び
システム上の適宜な遅延(latency)を保障することができる。
【0516】
SPS(Sequence Parameter Set)30001は、各々のスライ
スセグメントヘッダ(slice segment header)内の構文要素(syn
tax element)によって参照されるPPS内の構文要素のコンテンツによって
決定される0又はそれ以上の全体のCVSに適用される構文要素を含む構文構造である。
(a syntax structure containing syntax elem
ents that apply to zero or more entire CVSs
as determined by the content of a syntax el
ement found in the PPS referred to by a synt
ax element found in each slice segment head
er.)SPSは、実施例によるポイントクラウドデータビットストリームのシーケンス
情報を含む。
【0517】
GPS(Geometry Parameter Set)30002は、0又はそれ以
上の全体のジオメトリ(又は、符号化されたジオメトリ)が適用される構文要素(syn
tax elements)を含む構文構造(syntax structure)を意
味する。実施例によるGPS30002は、1つ又はそれ以上のスライス30004に含
まれたポイントクラウドデータの特質(属性)情報を符号化する方法に関する情報を含む
。GPS30002は、いずれのSPS30001に関連したジオメトリパラメータを含
むかを示すSPS識別子情報、該当GPSを識別するGPS識別子情報を含む。
【0518】
APS(Attribute Parameter Set)30003は、0又はそれ
以上の全体の特質(又は符号化された特質)が適用される構文要素(syntax el
ements)を含む構文構造(syntax structure)を意味する。実施
例によるAPS30003は、1つ又はそれ以上のスライス30004に含まれたポイン
トクラウドデータの特質(属性)情報を符号化する方法に関する情報を含む。APS30
003は、いずれのSPS30001に関連したジオメトリパラメータを含むかを示すS
PS識別子情報、該当APSを識別するGPS識別子情報を含む。
【0519】
TPS(Tile Parameter Set)30004は、0又はそれ以上の全体
のタイル(又は符号化されたタイル)が適用される構文要素(syntax eleme
nts)を含む構文構造(syntax structure)を意味する。タイルイン
ベントリは、実施例によるポイントクラウドデータビットストリームに含まれた0又はそ
れ以上のタイル(tile)に関する情報を含む。タイルインベントリは、実施例によっ
てはTPS(Tile Parameter Set)とも呼ばれる。
【0520】
TPS(Tile Parameter Set)30004は、1つ又はそれ以上のタ
イル(tile)を識別する識別子情報及び1つ又はそれ以上のタイル(tile)の範
囲(即ち、タイルの境界ボックス)を示す情報を含む。1つ又はそれ以上のタイル(ti
le)の範囲(即ち、タイルの境界ボックス)を示す情報は、該当タイルが示す境界ボッ
クスの基準となるポイントの座標情報(例えば、Tile(n).tile_bound
ing_box_xyz0)及び該当境界ボックスの幅、高さ及び深さに関する情報(例
えば、Tile(n).tile_boudning_box_whd)を含む。複数の
タイルが存在する場合、タイルインベントリ(Tile Inventory)3300
4は、各々のタイルに対する境界ボックスを示す情報を含む。例えば、各々のタイルがタ
イルの識別子情報によって0ないしnで表現される場合、各々のタイルの境界ボックスを
示す情報は、Tile(0).tile_bounding_box_xyz0、Til
e(0).tile_bounding_box_whd、Tile(1).tile_b
ounding_box_xyz0、Tile(1).tile_bounding_b
ox_whd …などと示される。
【0521】
スライス30004は、実施例によるポイントクラウドデータの送信装置がポイントク
ラウドデータを符号化するための単位を意味する。実施例によるスライス30004は、
1つのジオメトリビットストリーム(Geom00)30004a及び1つ又はそれ以上
の特質ビットストリーム(Attr00、Attr10、30004b、30004b)
を含む単位を意味する。
【0522】
スライス30004は、該当スライス内に含まれたポイントクラウドデータのジオメト
リ情報を示すジオメトリスライス(Geometry Slice、Geom)3000
4a及び該当スライス内に含まれたポイントクラウドデータの特質情報を示す1つ又はそ
れ以上の特質スライス(Attribute Slice、Attr)30004b、3
0004cを含む。
【0523】
ジオメトリスライス(Geometry Slice、Geom)30004aは、ポ
イントクラウドデータのジオメトリ情報を含むジオメトリスライスデータ(Geomet
ry Slice Data、Geom_slice_data)30004a-2及びジ
オメトリスライスデータに関する情報を含むジオメトリスライスヘッダ(Geometr
y Slice Header、Geom_slice_header、GSH)3000
4a-1を含む。
【0524】
ジオメトリスライスヘッダ30004a-1は、該当スライス内のジオメトリスライス
データ30004a-2に関する情報を含む。例えば、ジオメトリスライスヘッダ300
04a-1は、いずれのGPS30002が該当スライスのジオメトリ情報を示すかを識
別するためのジオメトリパラメータセット識別子(geom_geom_paramet
er_set_id)、該当ジオメトリスライスを識別するためのジオメトリスライス識
別子(geom_slice_id)、該当ジオメトリスライスデータのボックス原点を
示すジオメトリボックス原点情報(geomBoxOrigin)、ジオメトリスライス
のログスケールを示す情報(geom_box_log2_scale)、該当ジオメト
リスライスのポイント数に関連した情報(geom_num_points)などを含む
。
【0525】
実施例によるポイントクラウドデータビットストリームが1つ又はそれ以上のタイル(
tile)を含む場合、実施例によるジオメトリビットストリームのヘッダは該当ジオメ
トリビットストリームを含むタイルを識別するための情報(geom_tile_id)
をさらに含んでもよい。
【0526】
特質スライス(Attribute Slice、Attr)30004b、3000
4cは、ポイントクラウドデータの特質情報を含む特質スライスデータ(Attribu
te Slice Data、Attr_slice_data)及び特質スライスデータ
に関する情報を含む特質スライスヘッダ(Attribute Slice Header
、Attr_slice_header、ASH)33005cを含む。
【0527】
実施例によれば、ポイントクラウド符号化に必要なパラメータは、ポイントクラウド(
point cloud)のパラメータセット(parameter set)及びヘッダ
(header)情報として新たに定義できる。例えば、属性情報符号化を行うときには
、特質パラメータセット(attribute parameter set)RBSP
構文(syntax)に、タイル基盤符号化を行うときには、タイルヘッダ構文(til
e_header syntax)などに追加することができる。
【0528】
実施例によれば、送信装置は、実施例による重畳スライスの構成をシグナルするために
、タイル別に又はスライス別に異なるスライス構成ヘッダユニットを生成する。
【0529】
実施例によるポイントクラウドデータ送受信方法は、このようなビットストリーム構造
を提供することで、受信機においてポイントクラウドデータの属性情報の復号化性能を高
めることができる。
【0530】
図31は実施例によるビットストリームのSPS(Sequence Paramet
er Set)の一例を示す。
【0531】
図31に示したパラメータは、
図30に示したSPS(Sequence Param
eter Set)に含まれる。実施例によるSPSは、実施例によるスライスの分割(
スライス分割)、スライスタイルリング方法に関連したシグナル情報及び/又は関連した
シグナル情報を含む。
【0532】
プロファイル_idc(profile_idc)は、H.264標準文書のアネック
スA(Annex A)を満たすビットストリームのプロファイル(profile)を
示す情報を意味する。profile_idcの他の値は、ISO/IECによって今後
使用してもよい。(indicates a profile to which the b
itstream conforms as specified in Annex A。
Bitstreams shall not contain values of prof
ile_idc other than those specified in Annex
A.Other values of profile_idc are reserve
d for future use by ISO/IEC.)
【0533】
プロファイル互換性フラグ(profile_compatibility_flag
s)が1の場合、該当ビットストリームはprofile_idcがAnnex Aによ
りjであるプロファイル(profile)を満たすことを示す。profile_co
mpatibility_flag「 j ]の値は、Annex Aにより定義された値
ではなくjを有する場合には0である。(equal to 1、indicates t
hat the bitstream conforms to the profile i
ndicated by profile_idc equal to j as speci
fied in Annex A.The value of profile_compa
tibility_flag「 j 」 shall be equal to 0 for a
ny value of j that is not specified as an all
owed value of profile_idc in Annex A.)
【0534】
レベル_idc(level_idc)は、H.264標準文書のアネックスA(An
nex A)を満たすビットストリームのレベルを示す。ビットストリームは、H.26
4標準文書のアネックスAに定義された情報と他の情報としてlevel_idcの値を
有さない。Level_idcの他の値は、ISO/IECによって今後使用するために
残す。(indicates a level to which the bitstrea
m conforms as specified in Annex A.Bitstre
ams may not contain values of level_idc oth
er than those specified in Annex A。Other va
lues of level_idc are reserved for future u
se by ISO/IEC.)
【0535】
SPS境界ボックス存在フラグ(sps_bounding_box_present
_flag)は、境界ボックスオフセットとサイズ情報がシグナルされる場合には1であ
る。(equal to 1 specifies the bounding box of
fset and size information is signalled。sps
_bounding_box_present_flag equal to 0 spec
ifies)
【0536】
SPS境界ボックス存在フラグ(sps_bounding_box_present
_flag)が「true」値を有する場合、実施例によるSPSはSPS境界ボックス
xオフセット(sps_bounding_box_offset_x)、SPS境界ボ
ックスyオフセット(sps_bounding_box_offset_y)、SPS
境界ボックスzオフセット(sps_bounding_box_offset_z)、
SPS境界ボックススケール因子(sps_bounding_box_scale_f
actor)、SPS境界ボックス幅サイズ(sps_bounding_box_si
ze_width)、SPS境界ボックス高さサイズ(sps_bounding_bo
x_size_height)及びSPS境界ボックス深さサイズ(sps_bound
ing_box_size_depth)をさらに含む。
【0537】
SPS境界ボックスオフセットx(sps_bounding_box_offset
_x)は、直交座標系のソース境界ボックスのxオフセットを示す。その情報が存在しな
い場合、本パラメータの値は0である。(indicates the x offset
of the source bounding box in the cartesia
n coordinates.When not present、the value o
f sps_bounding_box_offset_x is inferred to
be 0.)
【0538】
SPS境界ボックスオフセットy(sps_bounding_box_offset
_y)は、直交座標系のソース境界ボックスのyオフセットを示す。その情報が存在しな
い場合、本パラメータの値は0である。(indicates indicates th
e y offset of the source bounding box in th
e cartesian coordinates.When not present、t
he value of sps_bounding_box_offset_y is i
nferred to be 0.)
【0539】
SPS境界ボックスオフセットz(sps_bounding_box_offset
_z)は、直交座標系のソース境界ボックスのzオフセットを示す。その情報が存在しな
い場合、本パラメータの値は0である。(indicates indicates th
e z offset of the source bounding box in the
Cartesian coordinates.When not present、th
e value of sps_bounding_box_offset_z is in
ferred to be 0.)
【0540】
SPS境界ボックススケール因子(sps_bounding_box_scale_
factor)は、直交座標系のソース境界ボックスのスケール因子を示す。その情報が
存在しない場合、本パラメータの値は1又は0である。(indicates the s
cale factor the source bounding box in the
Cartesian coordinates.When not present、th
e value of sps_bounding_box_scale_factor i
s inferred to be 1.Indicates.When not prese
nt、the value of sps_bounding_box_scale_fa
ctor is inferred to be 0.)
【0541】
SPS境界ボックスサイズ幅(sps_bounding_box_size_wid
th)は、直交座標系のソース境界ボックスの幅を示す。その情報が存在しない場合、s
ps_bounding_box_size_widthの値は10などの所定値である
。(indicates the width of the source boundi
ng box in the Cartesian coordinates. … When
not present、the value of sps_bounding_box
_size_width is inferred to be a specific va
lue (such as 10).)
【0542】
SPS境界ボックスサイズ高さ(sps_bounding_box_size_he
ight)は、直交座標系のソース境界ボックスの高さを示す。その情報が存在しない場
合、sps_bounding_box_size_heightの値は1又は0である
。(indicates the height of the source bound
ing box in the Cartesian coordinates.When
not present、the value of sps_bounding_box_
size_height is inferred to be 1。When not pr
esent、the value of sps_bounding_box_size_
hieght is inferred to be 0.)
【0543】
SPS境界ボックスサイズ深さ(sps_bounding_box_size_de
pth)は、直交座標系のソース境界ボックスの深さを示す。その情報が存在しない場合
、sps_bounding_box_size_heightの値は1又は0である。
(indicates the depth of the source boundin
g box in the Cartesian coordinates.When no
t present、the value of sps_bounding_box_si
ze_depth is inferred to bE 1.When not prese
nt、the value of sps_bounding_box_size_dep
th is inferred to be 0.)
【0544】
SPSソーススケール因子(sps_source_scale_factor)は、
ソースポイントクラウドのスケール因子を示す。(indicates the scal
e factor of the source point cloud.)
【0545】
SPS連続パラメータセットID(sps_seq_parameter_set_i
d)は、他の構文要素によって参照されるSPSに対するid情報を示す。sps_se
q_parameter_set_idは、該当バージョンの明細書内の条件を満たす範
囲内で0~15の値に定められる。0ではない他の情報としてsps_seq_para
meter_set_idは、ISO/IECによって今後使用される。(provid
es an identifier for the SPS for reference b
y other syntax elements.In The value of sps
_seq_parameter_set_id may be in the range o
f 0 to 15、inclusive in bitstreams conformin
g to this version of this Specification.The
value other than 0 for sps_seq_parameter_s
et_id is reserved for future use by ISO/IEC
.)
【0546】
SPS特質セット数(sps_num_attribute_sets)は、ビットス
トリーム内のコーディングされた属性の数を示す。sps_seq_parameter
_set_idは0~64の範囲である。(indicates the number
of coded attributes in the bitstream。The va
lue of sps_num_attribute_sets may be in the
range of 0 to 64.)
【0547】
実施例によるSPSは、SPS特質セット数(sps_num_attribute_
sets)だけの特質範囲(attribute_dimension[ i ])、特質イ
ンスタンス(attribute_instance_id[ i ])、特質ビット深さ(
attribute_bitdepth[ i ])、特質CICP色プライマリ(attr
ibute_cicp_colour_primaries[ i ])、特質CICP伝達
特性(attribute_cicp_transfer_characteristi
cs[ i ])、特質CICPマトリックス係数(attribute_cicp_mat
rix_coeffs[ i ])、特質CICPビデオプルレンジフラグ(attribu
te_cicp_video_full_range_flag[ i ])及び/又は既知
の特質ラベルフラグ(known_attribute_label_flag[ i ])
を含む。
【0548】
特質範囲(attribute_dimension[ i ])は、i番目の属性のコン
ポーネントの数を示す。(specifies the number of compon
ents of the i-th attribute.)
【0549】
特質インスタンス(attribute_instance_id[ i ])は、属性イ
ンスタンスidを示す。(specifies attribute instance
id.)
【0550】
特質ビット深さ(attribute_bitdepth[ i ])は、i番目の属性信
号(ら)のビット深さ(bitdepth)情報を示す。(specifies the
bitdepth of the i-th attribute signal(s).)
【0551】
特質CICP色プライマリ(attribute_cicp_colour_prim
aries[ i ])は、色属性ソースプライマリの色度を示す。(indicates
the chromaticity coordinates of the colo
ur attribute source primaries.)
【0552】
特質CICP伝達特性(attribute_cicp_transfer_char
acteristics[ i ])は、ソース入力線形視覚的強度(input line
ar optical intensity)であるLcと0から1の間の公称実際-値
で構成された、色属性の参照光電子的伝達特性関数を示す。又は、本パラメータは、出力
線形視覚的強度(output linear optical intensity)
であるLoと0から1の範囲を有する公称実際-値で構成された、参照光電子的伝達特性
関数の逆を示す。(either indicates the reference
opto-electronic transfer characteristic f
unction of the colour attribute as a functi
on of a source input linear optical intensi
ty Lc with a nominal real-valued range of 0
to 1 or indicates the inverse of the refere
nce Electro-optical transfer characterist
ic function as a function of an output line
ar optical intensity Lo with a nominal rea
l-valued range of 0 to 1.)
【0553】
特質CICPマトリックス係数(attribute_cicp_matrix_co
effs[ i ])は、緑色、青色及び赤色(又は、Y、Z、Xの三原色)の輝度(lum
a)と彩度(chroma)信号の行列係数を示す。(describes the ma
trix coefficients used in deriving luma and
chroma signals from the green、blue、and red
、or Y、Z、and X primaries.)
【0554】
特質CICPビデオプルレンジフラグ(attribute_cicp_video_
full_range_flag[ i ])は、E′Y、E′PB及びE′PR又はE′R
、E′G及びE′Bの実際-値コンポーネント信号から導き出すブラックレベルと輝度及
び彩度信号の範囲を示す。(specifies indicates the blac
k level and range of the luma and chroma sig
nals as derived from E'Y、E'PB、and E'PR or E'E'
nd E'real-valued component signals.)
【0555】
既知の特質ラベル(known_attribute_label[ i ])が0である
場合、属性が色であることを示す。本パラメータが1である場合、属性は反射率であるこ
とを示す。本パラメータが2である場合、属性はフレームインデックスであることを示す
。(equal to 0 specifies the attribute is
colour.known_attribute_label「 i 」 equal
to 1 specifies the attribute is reflecta
nce.known_attribute_label「 i 」 Equal to
2 specifies the attribute is farme index
.)
【0556】
実施例によるSPSは、分割イネーブルフラグ(partitioning_enab
ling_flag)をさらに含んでもよい。
【0557】
分割イネーブルフラグ(partitioning_enabling_flag)は
、実施例によるスライス分割(分割)動作を行うか否かを示す情報を示す。例えば、分割
イネーブルフラグの値が0である場合、ポイントクラウドデータ送信装置は、実施例によ
るポイントクラウドデータを1つ又はそれ以上のスライスに分割しないことを示す。分割
イネーブルフラグの値が1である場合、ポイントクラウドデータ送信装置は、実施例によ
るポイントクラウドデータを1つ又はそれ以上のスライスに分割することを示す。
【0558】
分割イネーブルフラグの値が1である場合、実施例によるSPSは、分割方法(Par
titioning_method)情報をさらに含んでもよい。
【0559】
分割方法(Partitioning_method)は、実施例によるポイントクラ
ウドデータ送信装置がポイントクラウドデータを分割する方法を示す情報である。
【0560】
例えば、分割方法(Partitioning_method)情報の値が0である場
合、本パラメータは送信装置が実施例による時間による分割方法(Timestamp_
partitioning_method、時間属性を用いたスライス分割方法)に基づ
いて分割動作が行われることを示す。分割方法は、1つ以上を用いることができる(スラ
イス別に使用した分割方法シグナリング)。
【0561】
例えば、分割方法(Partitioning_method)情報の値が1である場
合、本パラメータは、送信装置がモールトンコード順序分割方法(Morton_ord
er_partitioning_method、モールトン順序を用いたスライス分割
方法)に基づいてスライス分割が行われることを示す。
【0562】
例えば、分割方法(Partitioning_method)情報の値が2である場
合、本パラメータは、送信装置が均等四角形分割方法(Uniform_square_
partitioning_method)に基づいてスライス分割が行われることを示
す。
【0563】
例えば、分割方法(Partitioning_method)情報の値が3である場
合、
図18ないし
図27に示した他のスライス分割方法によって分割が行われることを示
す。
【0564】
精製スライス方法フラグ(refine_slice_method_flag)は、
実施例によるポイントクラウドデータ送信装置が分割されたスライスを精製するか否かを
示す情報である。例えば、精製スライス方法フラグ(refine_slice_met
hod_flag)の値が0である場合、送信装置がスライスに対して実施例による精製
動作を行わないことを示す。例えば、精製スライス方法フラグ(refine_slic
e_method_flag)の値が1である場合、送信装置がスライスに対して実施例
による精製動作を行うことを示す。
【0565】
例えば、精製スライス方法フラグ(refine_slice_method_fla
g)の値が1である場合、実施例によるSPSは精製方法(refine_method
)情報をさらに含んでもよい。
【0566】
精製方法(refine_method)情報は、送信装置が分割されたスライスをい
ずれの方法(又は形態)で精製するかを示す情報である。例えば、精製方法(refin
e_method)情報の値が0(又は第1の値)である場合、送信装置は実施例による
リスト基盤のスライス精製方法を使用することを意味する(list_refine_m
ethod:リスト基盤のスライス精製方法)。例えば、精製方法(refine_me
thod)情報の値が1(又は第2の値)である場合、送信装置は実施例によるツリー基
盤のスライス精製方法を使用することを意味する(tree_refine_metho
d:ツリー基盤のスライス精製方法)。
【0567】
精製方法状態(refine_method_condition)情報は、送信装置
が行う精製方法が距離に基づく方法であるか、2/4/6方形に基づく精製方法であるか
、及び/又はその他の精製方法であるかを示す。
【0568】
例えば、精製方法状態(refine_method_condition)情報の値
が0である場合、本パラメータは、送信装置が実施例による距離に基づく精製方法(di
stance_refine_method)を使用することを示す。精製方法状態(r
efine_method_condition)情報の値が0である場合、TPSは距
離ポイント間位置(distance_point_to_point_locatio
n)情報をさらに含んでもよい。
【0569】
例えば、精製方法状態(refine_method_condition)情報の値
が1である場合、本パラメータは、送信装置が実施例による2/4/6方形に基づく隣接
スライスによって精製を行う方法を使用することを示す(distance_refin
e_method)。精製方法状態(refine_method_condition
)情報の値が1である場合、TPSは隣接スライス併合順序(neighbours_o
rder_to_merge)情報をさらに含んでもよい(2way_neighbou
r_refine_mehod)。
【0570】
例えば、精製方法状態(refine_method_condition)情報の値
が2である場合、本パラメータは、送信装置がその他の精製方法(others)を使用
することを示す。
【0571】
距離ポイント間位置(distance_point_to_point_locat
ion)情報は、実施例による送信装置が、距離に基づく精製方法で精製を行う場合、各
々のスライスの距離を測定する基準を示す。
【0572】
例えば、送信装置は、距離ポイント間位置(distance_point_to_p
oint_location)情報を用いて、境界ボックス内の最も近いスライス、中間
値のスライス、最も遠いスライスを基準として距離測定を行う。
【0573】
距離ポイント間位置(distance_point_to_point_locat
ion)情報の値が0である場合、送信装置は、スライスのうちの最も近いスライスを基
準として距離測定を行うことを示す。距離ポイント間位置(distance_poin
t_to_point_location)情報の値が1である場合、送信装置は、スラ
イスのうちの距離が中間値に該当するスライスを基準として距離測定を行う。距離ポイン
ト間位置(distance_point_to_point_location)情報
の値が2である場合、送信装置は、スライスのうちの最も遠いスライスを基準として距離
測定を行う。
【0574】
隣接スライス併合順序(neighbours_order_to_merge)情報
は、2つ/4つ/6つの隣接するスライス(該当スライスと上側に隣接、該当スライスと
下側に隣接、該当スライスと左側に隣接、該当スライスと右側に隣接)のうち、以下に示
した順に併合動作及び/又は分離動作を行う。
【0575】
隣接スライス併合順序(neighbours_order_to_merge)情報
の値が0である場合、該当スライスと隣接したスライスのうちの最小数のポイントを含む
スライスを優先して併合及び/又は分離の動作を行うことを示す。隣接スライス併合順序
(neighbours_order_to_merge)情報の値が1である場合、該
当スライスと隣接したスライスのうちの最大数のポイントを含むスライスを優先して併合
及び/又は分離の動作を行うことを示す。隣接スライス併合順序(neighbours
_order_to_merge)情報の値が2である場合、該当スライスと隣接したス
ライスのうちの所定のスライスを優先して併合及び/又は分離の動作を行うことを示す。
【0576】
SPS拡張存在フラグ(sps_extension_present_flag)が
1である場合、sps_extension_dataがSPS RBSP構文構造内に
存在することを示す。本パラメータが0である場合、その構文構造が存在しないことを示
す。存在しない場合、sps_extension_present_flagの値が0
である。(equal to 1 specifies that the sps_exte
nsion_data syntax structure is present in
the SPS RBSP syntax structure.sps_extensi
on_present_flag Equal to 0 specifies that t
his syntax structure is not present.When n
ot present、the value of sps_extension_pres
ent_flag is inferred to be equal to 0.)
【0577】
SPS拡張データフラグ(sps_extension_data_flag)はいず
れの値でも有する。本パラメータの存在は、デコーダの該当標準文書のアネックスAに示
されたプロファイルの動作に影響を及ぼさない。(may have any value
。Its presence and value do not affect decod
er conformance to profiles specified in Ann
ex A Decoders conforming to a profile speci
fied in Annex A.)
【0578】
実施例によるSPSは、タイル内のシーケンス入力スライス構成フラグ(sequen
tial_input_slice_configuration_in_tile_f
lag)、重畳スライス構成フラグ(overlapping_slice_compo
se_flag)、重畳スライス構成方法(overlapping_slice_co
mpose_method[ i ])情報をさらに含んでもよい。
【0579】
図32は実施例によるビットストリームのTPS(Tile Parameter Se
t)の一例を示す。
【0580】
図32に示されたパラメータは、
図30に示したTPS(Tile Paramete
r Set)に含まれる。実施例によるTPSは、実施例によるスライスの分割(スライ
ス分割)、スライスタイルリング方法に関連したシグナル情報及び/又は関連したシグナ
ル情報を含む。
【0581】
タイル数(num_tiles)は、該当ビットストリーム内に存在するタイルの数を
示す。(Represents the number of tiles signall
ed for the bitstream.)仮に、該当ビットストリーム内に存在する
タイルがない場合は、num_tilesは0とシグナルされる。(When not p
resent、num_tiles is inferred to be 0.)
【0582】
実施例によるTPSは、タイル数(num_tiles)に示された値だけ以下のシグ
ナル情報を含む。
【0583】
タイル境界ボックスオフセットx[i](tile_bounding_box_off
set_x[ i ])は、直交座標系内のi-番目のタイルのxオフセットを示す。(in
dicates the x offset of the i-th tile in the
cartesian coordinates.)xオフセットが存在しない場合は、t
ile_bounding_box_offset_x[ 0 ]の値がsps_bound
ing_box_offset_xである。(When not present、the
value of tile_bounding_box_offset_x「 0 」 i
s inferred to be sps_bounding_box_offset_x
.)
【0584】
タイル境界ボックスオフセットy[i](tile_bounding_box_off
set_y[ i ])は、直交座標系内のi-番目のタイルのyオフセットを示す。(in
dicates the y offset of the i-th tile in the
cartesian coordinates.)yオフセットが存在しない場合は、t
ile_bounding_box_offset_y[ 0 ]の値がsps_bound
ing_box_offset_yである。(When not present、the
value of tile_bounding_box_offset_y「 0 」 i
s inferred to be sps_bounding_box_offset_y
.)
【0585】
タイル境界ボックスオフセットz[i](tile_bounding_box_off
set_z[ i ])は、直交座標系内のi-番目のタイルのzオフセットを示す。(in
dicates indicates the z offset of the i-th t
ile in the Cartesian coordinates.)zオフセットが存
在しない場合は、tile_bounding_box_offset_z[ 0 ]の値が
sps_bounding_box_offset_zである。(When not pr
esent、the value of tile_bounding_box_offs
et_z「 0 」 is inferred to be sps_bounding_bo
x_offset_z.)
【0586】
タイル境界ボックススケール因子[i](tile_bounding_box_sca
le_factor[ i ])は、直交座標系内のi-番目のタイルに関連したスケール因
子(scale factor)を示す。(indicates the scale f
actor the i-th tile in the Cartesian coordi
nates.)スケール因子が存在しない場合は、tile_bounding_box
_scale_factor[ 0 ]がsps_bounding_box_scale_
factorである。(When not present,the value of t
ile_bounding_box_scale_factor[ 0 ] is infer
red to be sps_bounding_box_scale_factor.)
【0587】
タイル境界ボックスサイズ幅[i](tile_bounding_box_size_
width[ i ])は、直交座標系内のi-番目のタイルの幅(width)を示す。(
indicates the width of the i-th tile in the
Cartesian coordinates.)幅の値が存在しない場合は、tile
_bounding_box_size_width[ 0 ]はsps_bounding
_box_size_widthである。(When not present、the
value of tile_bounding_box_size_width「 0 」
is inferred to be sps_bounding_box_size_w
idth.)
【0588】
タイル境界ボックスサイズ高さ[i](tile_bounding_box_size
_height[ i ])は、直交座標系内のi-番目のタイルの高さ(height)を
示す。(indicates the height of the i-th tile i
n the Cartesian coordinates.)高さ値が存在しない場合は
、tile_bounding_box_size_height[ 0 ]はsps_bo
unding_box_size_heightである。(When not prese
nt、the value of tile_bounding_box_size_he
ight[ 0 ] is inferred to be sps_bounding_box
_size_height.)
【0589】
タイル境界ボックスサイズ深さ[i](tile_bounding_box_size
_depth[ i ])は、直交座標系内のi-番目のタイルの深さ(depth)を示す
。(indicates the depth of the i-th tile in th
e Cartesian coordinates.)高さ値が存在しない場合は、til
e_bounding_box_size_depth[ 0 ]はsps_boundin
g_box_size_depthである。(When not present、the
value of tile_bounding_box_size_depth[ 0 ]
is inferred to be sps_bounding_box_size_de
pth.)
【0590】
実施例によるTPSは、分割イネーブルフラグ(partitioning_enab
le_flag)を含む。
【0591】
分割イネーブルフラグ(partitioning_enabling_flag)は
、
図31に示したSPSに含まれた分割イネーブルフラグ(partitioning_
enabling_flag)と同様な動作を意味するパラメータである。分割イネーブ
ルフラグの値が1である場合、実施例によるTPSは、分割方法(Partitioni
ng_method)情報をさらに含んでもよい。
【0592】
分割方法(Partitioning_method)は、
図31に示したSPSに含
まれた分割方法(Partitioning_method)と同様な動作を意味する。
【0593】
精製スライス方法フラグ(refine_slice_method_flag)は、
図31に示したSPSに含まれた精製スライス方法フラグ(refine_slice_
method_flag)と同様な動作を意味するパラメータである。例えば、精製スラ
イス方法フラグ(refine_slice_method_flag)の値が1である
場合、実施例によるTPSは、精製方法(refine_method)情報をさらに含
んでもよい。
【0594】
精製方法(refine_method)情報は、
図31に示したSPSに含まれた精
製方法(refine_method)情報と同様な動作を意味するパラメータである。
【0595】
精製方法状態(refine_method_condition)情報は、
図31に
示したSPSに含まれた精製方法状態(refine_method_conditio
n)情報と同様な動作を意味するパラメータである。
【0596】
例えば、精製方法状態(refine_method_condition)情報の値
が0である場合、本パラメータは、送信装置が実施例による距離に基づく精製方法(di
stance_refine_method)を使用することを示す。精製方法状態(r
efine_method_condition)情報の値が0である場合、TPSは距
離ポイント間位置(distance_point_to_point_locatio
n)情報をさらに含んでもよい。
【0597】
例えば、精製方法状態(refine_method_condition)情報の値
が1である場合、本パラメータは、送信装置が実施例による2/4/6方形に基づく隣接
スライスによって精製を行うことを示す。精製方法状態(refine_method_
condition)情報の値が1である場合、TPSは隣接スライス併合順序(nei
ghbours_order_to_merge)情報をさらに含んでもよい。
【0598】
距離ポイント間位置(distance_point_to_point_locat
ion)情報、隣接スライス併合順序(neighbours_order_to_me
rge)情報は、
図31に示したSPSに含まれた距離ポイント間位置(distanc
e_point_to_point_location)情報、隣接スライス併合順序(
neighbours_order_to_merge)情報と同様な動作を意味するパ
ラメータである。
【0599】
図33は実施例によるビットストリームのGPS(Geometry Paramet
er Set)の一例を示す。
【0600】
図33に示したパラメータは、
図30に示したGPS(Geometry Param
eter Set)に含まれる。実施例によるGPSは、実施例によるスライス(sli
ce)の分割(スライス分割)、スライスタイルリング方法に関連したシグナル情報及び
/又は関連したシグナル情報を含む。
【0601】
GPSパラメータセットID(gps_geom_parameter_set_id
)は、他の構文要素によって参照されるGPSの識別子を示す。本パラメータの値は0~
15である。(provides an identifier for the GPS f
or reference by other syntax elements.The
value of gps_seq_parameter_set_id may be i
n the range of 0 to 15、inclusive.)
【0602】
GPS連続パラメータセットID(gps_seq_parameter_set_i
d)は、動的SPSに対するsps_seq_parameter_set_idの値を
示す。その値は0~15である。(specifies the value of sps
_seq_parameter_set_id for the active SPS.T
he value of gps_seq_parameter_set_id shall
be in the range of 0 to 15、inclusive.)
【0603】
GPS境界ボックス存在フラグ(gps_box_present_flag)は、追
加の境界ボックス情報がGPS内でジオメトリヘッダ(geometry header
)に提供される場合には1である。本パラメータは、追加の境界ボックス情報がジオメト
リヘッダに提供されない場合には0を示す。(equal to 1 specifies
an additional bounding box information is
provided in a geometry header that referenc
es the current GPS.gps_bounding_box_prese
nt_flag equal to 0 specifies that additiona
l bounding box information is not signalled
in the geometry header.)
【0604】
ユニークジオメトリポイントフラグ(unique_geometry_points
_flag)は、全ての出力されたポイントが固有の位置を有する場合は1である。本パ
ラメータは、出力ポイントが同じ位置に存在する場合は0である。(equal to 1
indicates that all output points have uniq
ue positions. unique_geometry_points_flag
equal to 0 indicates that the output points
may have same positions.)
【0605】
隣接コンテキスト制約フラグ(neighbour_context_restric
tion_flag)が0である場合、八分木占有コーディングが6つの隣接ノードに基
づいて決定されたコンテキストを使用することを示す。その値が1である場合、八分木占
有コーディングが兄弟ノードのみに基づいて決定されたコンテキストを使用することを示
す。(equal to 0 indicates that octree occu
pancy coding uses contexts determined fro
m six neighbouring parent nodes.neighbour_
context_restriction_flag equal to 1 indica
tes that octree coding uses contexts determ
ined from sibling nodes only.)
【0606】
推論ダイレクトコーディングモード設定フラグ(inferred_direct_c
oding_mode_enabled_flag)が0である場合、八分木コーディン
グがinferred_direct_coding_modeを使用することを示す。
その値が1である場合、兄弟隣接ノードから決定された複数のコンテキストを使用して八
分木コーディングを行うことを示す。(equal to 0 indicates the
octree coding uses inferred_direct_coding
_mode。inferred_direct_coding_mode_enable
d_flag equal to 1 indicates the octree codi
ng uses multiple context determined from si
bling neighbouring nodes.)
【0607】
ログ2ネーバーアベイル境界(log2_neighbour_avail_boun
dary)は、復号プロセスが以下のように用いられるNeighbAvailBoun
daryの値を示す。(specifies the value of the vari
able NeighbAvailBoundary that is used in th
e decoding process as follows:)
【0608】
NeighbAvailBoundary = 2log2_neighbour_av
ail_boundary
【0609】
ログ2trisoupノードサイズ(log2_trisoup_node_size
)は、以下のように定められる三角形ノードのサイズであって、TrisoupNode
Sizeを示す。(specifies the variable TrisoupNo
deSize as the size of the triangle nodes as
follows.)
【0610】
TrisoupNodeSize = 2log2_trisoup_node_siz
e
【0611】
log2_trisoup_node_sizeの値は0より大きい。log2_tr
isoup_node_sizeの大きさが0である場合、ジオメトリビットストリーム
はもっぱら八分木コーディング構文のみを含むことを示す。(The value of
log2_trisoup_node_size may be equal to
or greater than 0。When log2_trisoup_node_s
ize is equal to 0、the geometry bitstream in
cludes only the octree coding syntax.)
【0612】
実施例によるTPSは、分割イネーブルフラグ(partitioning_enab
le_flag)を含む。
【0613】
分割イネーブルフラグ(partitioning_enabling_flag)は
、
図31に示したSPSに含まれた分割イネーブルフラグ(partitioning_
enabling_flag)と同様な動作を意味するパラメータである。分割イネーブ
ルフラグの値が1である場合、実施例によるGPSは、分割方法(Partitioni
ng_method)情報をさらに含んでもよい。
【0614】
分割方法(Partitioning_method)は、
図31に示したSPSに含
まれた分割方法(Partitioning_method)と同様な動作を意味するパ
ラメータである。
【0615】
精製スライス方法フラグ(refine_slice_method_flag)は、
図31に示したSPSに含まれた精製スライス方法フラグ(refine_slice_
method_flag)と同様な動作を意味するパラメータである。例えば、精製スラ
イス方法フラグ(refine_slice_method_flag)の値が1である
場合、実施例によるGPSは精製方法(refine_method)情報をさらに含ん
でもよい。
【0616】
精製方法(refine_method)情報は、
図31に示したSPSに含まれた精
製方法(refine_method)情報と同様な動作を意味するパラメータである。
【0617】
精製方法状態(refine_method_condition)情報は、
図31に
示したSPSに含まれた精製方法状態(refine_method_conditio
n)情報と同様な動作を意味するパラメータである。
【0618】
例えば、精製方法状態(refine_method_condition)情報の値
が0である場合、本パラメータは、送信装置が実施例による距離に基づく精製方法(di
stance_refine_method)を使用することを示す。精製方法状態(r
efine_method_condition)情報の値が0である場合、TPSは距
離ポイント間位置(distance_point_to_point_locatio
n)情報をさらに含んでもよい。
【0619】
例えば、精製方法状態(refine_method_condition)情報の値
が1である場合、本パラメータは、送信装置が実施例による2/4/6方形に基づく隣接
スライスによって精製を行うことを示す。精製方法状態(refine_method_
condition)情報の値が1である場合、TPSは、隣接スライス併合順序(ne
ighbours_order_to_merge)情報をさらに含んでもよい。
【0620】
距離ポイント間位置(distance_point_to_point_locat
ion)情報、隣接スライス併合順序(neighbours_order_to_me
rge)情報は、
図31に示したSPSに含まれた距離ポイント間位置(distanc
e_point_to_point_location)情報、隣接スライス併合順序(
neighbours_order_to_merge)情報と同様な動作を意味するパ
ラメータである。
【0621】
GPS拡張存在フラグ(gps_extension_present_flag)が
1である場合、gps_extension_data構文構造がGPS RBSP構文
構造内に存在することを示す。0である場合、その構文構造が存在しないことを示す。(
equal to 1 specifies that the gps_extension
_data syntax structure is present in the GP
S RBSP syntax structure.gps_extension_pre
sent_flag equal to 0 specifies that this sy
ntax structure is not Present.When not pre
sent、the value of gps_ extension_present_f
lag is inferred to be equal to 0.)
【0622】
GPS拡張存在フラグ(gps_extension_data_flag)は、いず
れの値でも有する。該当値が存在する場合、値はデコーダに影響を及ぼさない。(may
have any value.Its presence and value do no
t affect decoder conformance to profiles sp
ecified in Annex A.Decoders conforming to
a profile specified in Annex A.)
【0623】
図34は実施例によるビットストリームのSPS(Sequence Paramet
er Set)の一例を示す。
【0624】
図34に示されたパラメータは、
図30に示したSPS(Sequence Para
meter Set)に含まれる。実施例によるSPSは、実施例によるスライス(sl
ice)の分割(スライス分割)、スライスタイルリング方法に関連したシグナル情報及
び/又は関連したシグナル情報を含む。
【0625】
実施例によるSPSは、
図31に示したプロファイル_idc(profile_id
c)、プロファイル互換性フラグ(profile_compatibility_fl
ags)、レベル_idc(level_idc)、SPS境界ボックス存在フラグ(s
ps_bounding_box_present_flag)、SPS境界ボックスオ
フセットx(sps_bounding_box_offset_x)、SPS境界ボッ
クスオフセットy(sps_bounding_box_offset_y)、SPS境
界ボックスオフセットz(sps_bounding_box_offset_z)、S
PS境界ボックススケール因子(sps_bounding_box_scale_fa
ctor)、SPS境界ボックスサイズ幅(sps_bounding_box_siz
e_width)、SPS境界ボックスサイズ高さ(sps_bounding_box
_size_height)、SPS境界ボックスサイズ深さ(sps_boundin
g_box_size_depth)、SPSソーススケール因子(sps_sourc
e_scale_factor)、SPS連続パラメータセットID(sps_seq_
parameter_set_id)、SPS特質セット数(sps_num_attr
ibute_sets)、特質範囲(attribute_dimension[ i ])
、特質インスタンス(attribute_instance_id[ i ])、特質ビッ
ト深さ(attribute_bitdepth[ i ])、特質CICP色プライマリ(
attribute_cicp_colour_primaries[ i ])、特質CI
CP伝達特性(attribute_cicp_transfer_character
istics[ i ])、特質CICPマトリックス係数(attribute_cicp
_matrix_coeffs[ i ])、特質CICPビデオプルレンジフラグ(att
ribute_cicp_video_full_range_flag[ i ])、既知
の特質ラベル(known_attribute_label[ i ])、分割イネーブル
フラグ(partitioning_enabling_flag)、分割方法(Par
titioning_method)、精製スライス方法フラグ(refine_sli
ce_method_flag)、精製方法(refine_method)、精製方法
状態(refine_method_condition)、距離ポイント間位置(di
stance_point_to_point_location)、隣接スライス併合
順序(neighbours_order_to_merge)、SPS拡張存在フラグ
(sps_extension_present_flag)、SPS拡張データフラグ
(sps_extension_data_flag)を含む。
図31と重なり合う
図3
4の要素の定義は、
図31の説明を参照する。
【0626】
実施例によるSPSは、精製方法状態の値が1である場合、隣接スライス数(neig
hbor_num)情報及び/又は隣接スライス探索方法(neighbor_sear
ch_method)情報をさらに含んでもよい。
【0627】
隣接スライス数(neighbor_num)情報は、実施例による送信装置(精製部
)が該当スライスと隣接するスライスの数をシグナルする。例えば、2方形精製方法の場
合、所定のスライスは隣接スライス数情報の値が2である。
【0628】
隣接スライス探索方法(neighbor_search_method)情報は、送
信装置がN個(2方形/4方形/6方形)のスライスに基づいて精製を行う場合、隣接す
るスライスの選択方向を示す。
【0629】
図35は実施例によるビットストリームのTPS(Tile Parameter Se
t)の一例を示す。
【0630】
図35に示したパラメータは、
図30に示したTPS(Tile Parameter
Set)に含まれる。実施例によるTPSは、実施例によるスライスの分割(スライス分
割)、スライスタイルリング方法に関連したシグナル情報及び/又は関連したシグナル情
報を含む。
【0631】
実施例によるTPSは、
図32に示した実施例によるタイル数(num_tiles)
情報、タイル境界ボックスオフセットx[i](tile_bounding_box_o
ffset_x[ i ])情報、タイル境界ボックスオフセットy[i](tile_bou
nding_box_offset_y[ i ])情報、タイル境界ボックスオフセットz
[i](tile_bounding_box_offset_z[ i ])情報、タイル境
界ボックススケール因子[i](tile_bounding_box_scale_fa
ctor[ i ])情報、タイル境界ボックスサイズ幅[i](tile_bounding
_box_size_width[ i ])情報、タイル境界ボックスサイズ高さ[i](t
ile_bounding_box_size_height[ i ])情報、タイル境界
ボックスサイズ深さ[i](tile_bounding_box_size_depth
[ i ])情報、分割イネーブルフラグ(partitioning_enabling_
flag)情報、分割方法(Partitioning_method)情報、精製スラ
イス方法フラグ(refine_slice_method_flag)情報、精製方法
(refine_method)情報、精製方法状態(refine_method_c
ondition)情報、距離ポイント間位置(distance_point_to_
point_location)情報、隣接スライス併合順序(neighbours_
order_to_merge)情報を含む。
図32と重なり合う
図35の要素の定義は
、
図32の説明を参照する。
【0632】
実施例によるTPSは、精製方法状態の値が1である場合、隣接スライス数(neig
hbor_num)情報及び/又は隣接スライス探索方法(neighbor_sear
ch_method)情報をさらに含んでもよい。
【0633】
隣接スライス数(neighbor_num)情報、隣接スライス探索方法(neig
hbor_search_method)情報は、
図34に示した隣接スライス数(ne
ighbor_num)情報、隣接スライス探索方法(neighbor_search
_method)情報と同一又は類似する動作を行う。TPSは、タイル数(num_t
iles)だけ各々のタイルに対する隣接スライス数(neighbor_num)情報
及び/又は隣接スライス探索方法(neighbor_search_method)情
報を含む。
【0634】
図36は実施例によるビットストリームのGPS(Geometry Paramet
er Set)の一例を示す。
【0635】
図36に示したパラメータは、
図30に示したGPS(Geometry Param
eter Set)に含まれる。実施例によるGPSは、実施例によるスライスの分割(
スライス分割)、スライスタイルリング方法に関連したシグナル情報及び/又は関連した
シグナル情報を含む。
【0636】
実施例によるGPSは、
図33に示した実施例によるGPSパラメータセットID(g
ps_geom_parameter_set_id)情報、GPS連続パラメータセッ
トID(gps_seq_parameter_set_id)情報、GPS境界ボック
ス存在フラグ(gps_box_present_flag)情報、ユニークジオメトリ
ポイントフラグ(unique_geometry_points_flag)情報、隣
接コンテキスト制約フラグ(neighbour_context_restricti
on_flag)情報、推論ダイレクトコーディングモード設定フラグ(inferre
d_direct_coding_mode_enabled_flag)情報、ビット
単位占有コーディングフラグ(bitwise_occupancy_coding_f
lag)情報、子隣接スライスイネーブルフラグ(child_neighbours_
enabled_flag)情報、ジオメトリ占有CTX減少因子(geom_occu
pancy_ctx_reduction_factor)情報、ログ2ネーバーアベイ
ル境界(log2_neighbour_avail_boundary)情報、ログ2
イントラ予測最大ノードサイズ(log2_intra_pred_max_node_
size)情報、ログ2trisoupノードサイズ(log2_trisoup_no
de_size)情報、分割イネーブルフラグ(partitioning_enabl
ing_flag)情報、分割方法(Partitioning_method)情報、
精製スライス方法フラグ(refine_slice_method_flag)情報、
精製方法(refine_method)情報、精製方法状態(refine_meth
od_condition)情報、距離ポイント間位置(distance_point
_to_point_location)情報、隣接スライス併合順序(neighbo
urs_order_to_merge)情報、GPS拡張存在フラグ(gps_ext
ension_present_flag)情報、GPS拡張存在フラグ(gps_ex
tension_data_flag)情報を含む。
図33と重なり合う
図36の要素の
定義は、
図33の説明を参照する。
【0637】
実施例によるGPSは、精製方法状態情報の値が1である場合、隣接スライス数(ne
ighbor_num)情報及び/又は隣接スライス探索方法(neighbor_se
arch_method)情報をさらに含んでもよい。
【0638】
隣接スライス数(neighbor_num)情報、隣接スライス探索方法(neig
hbor_search_method)情報は、
図34に示した隣接スライス数(ne
ighbor_num)情報、隣接スライス探索方法(neighbor_search
_method)情報と同一又は類似する動作を行う。GPSは、タイル数(num_t
iles)だけ各々のタイルに対する隣接スライス数(neighbor_num)情報
及び/又は隣接スライス探索方法(neighbor_search_method)情
報を含む。
【0639】
図37は実施例によるビットストリームのGSH(Geometry Slice He
ader)の一例を示す。
【0640】
図37に示したパラメータは、
図30に示したジオメトリスライスヘッダ(GSH、G
eometry Slice Header)30004a-1に含まれる。実施例による
GSHは、実施例によるスライスの分割(スライス分割)、スライスタイルリング方法に
関連したシグナル情報及び/又は関連したシグナル情報を含む。
【0641】
GSHジオメトリパラメータセットID(gsh_geometry_paramet
er_set_id)は、動的GPSのgps_geom_parameter_set
_idの値を示す。(specifies the value of the gps_g
eom_parameter_set_id of the active GPS.)
【0642】
GSHタイルID(gsh_tile_id)は、タイル(tile)のidを示す。
(specifies id of tile.)
【0643】
GSHスライスID(gsh_slice_id)は、スライス(slice)のid
を示す。(specifies id of slice.)
【0644】
実施例によるGPSボックス存在フラグ(GPS_box_present_flag
)が1又は「true」の値を有する場合、GSHはGSHボックスログ2スケール(g
sh_box_log2_scale)、GSHボックスソースx(gsh_box_o
rigin_x)、GSHボックスソースy(gsh_box_origin_y)、G
SHボックスソースz(gsh_box_origin_z)をさらに含んでもよい。
【0645】
GSHボックスログ2スケール(gsh_box_log2_scale)は、スケー
ル値を示す。(specifies scale value.)
【0646】
GSHボックスソースx(gsh_box_origin_x)は、直交座標系内のソ
ース境界ボックスのx座標情報を示す。(specifies the x of the
source bounding box in the cartesian coord
inates.)
【0647】
GSHボックスソースy(gsh_box_origin_y)は、直交座標系内のソ
ース境界ボックスのy座標情報を示す。(specifies the y of the
source bounding box in the cartesian coord
inates.)
【0648】
GSHボックスソースz(gsh_box_origin_z)は、直交座標系内のソ
ース境界ボックスのz座標情報を示す。(specifies the z of the
source bounding box in the cartesian coord
inates.)
【0649】
GSHログ2最大ノードサイズ(gsh_log2_max_nodesize)は、
復号プロセスが以下のように行われるMaxNodeSizeの値を示す。(speci
fies the value of the variable MaxNodeSize
that is used in the decoding process as fol
lows:)
【0650】
MaxNodeSize = 2(gbh_log2_max_nodesize)
【0651】
GSHポイント数(gsh_points_number)は、スライス内のコーディ
ングされたポイントの数を示す。(specifies the number of co
ded points in the slice.)
【0652】
実施例によるGSHは、
図31ないし
図36に示した実施例による分割イネーブルフラ
グ(partitioning_enabling_flag)情報、分割方法(Par
titioning_method)情報、精製スライス方法フラグ(refine_s
lice_method_flag)情報、精製方法(refine_method)情
報、精製方法状態(refine_method_condition)情報、距離ポイ
ント間位置(distance_point_to_point_location)情
報及び/又は隣接スライス併合順序(neighbours_order_to_mer
ge)情報をさらに含んでもよい。
【0653】
実施例によるGSHは、精製方法状態情報の値が1である場合、隣接スライス数(ne
ighbor_num)情報及び/又は隣接スライス探索方法(neighbor_se
arch_method)情報をさらに含んでもよい。
【0654】
隣接スライス数(neighbor_num)情報、隣接スライス探索方法(neig
hbor_search_method)情報は、
図34に示した隣接スライス数(ne
ighbor_num)情報、隣接スライス探索方法(neighbor_search
_method)情報と同一又は類似する動作を行う。
【0655】
図38は実施例によるビットストリームのASH(Attribute Slice H
eader)の一例を示す。
【0656】
図38に示したパラメータは、
図30に示したAttr30004b、30004cに
含まれる。実施例によるASHは、実施例によるスライスの分割(スライス分割)、スラ
イスタイルリング方法に関連したシグナル情報及び/又は関連したシグナル情報を含む。
【0657】
ASH特質パラメータセットID(abh_attr_parameter_set_
id)は、現在の動的APSのaps_attr_parameter_set_idの
値を示す。(specifies the value of the aps_attr_
parameter_set_id of the active APS.)
【0658】
ASH特質SPS特質インデックス(abh_attr_sps_attr_idx)
は、現在の動的SPS内の特質セットを示す。abh_attr_sps_attr_i
dxの値は、0ないし現在の動的SPSのsps_num_attribute_set
sdの値の範囲内である。(specifies the attribute set i
n the active SPS.The value of abh_attr_sps_
attr_idx may be in the range of 0 to sps_num
_attribute_sets in the active SPS.)
【0659】
ASH特質ジオメトリスライスID(abh_attr_geom_slice_id
)は、ジオメトリスライスidの値を示す。(specifies the value
of geom slice id.)
【0660】
実施例によるASHは、
図31ないし
図37に示した実施例による分割イネーブルフラ
グ(partitioning_enabling_flag)情報、分割方法(Par
titioning_method)情報、精製スライス方法フラグ(refine_s
lice_method_flag)情報、精製方法(refine_method)情
報、精製方法状態(refine_method_condition)情報、距離ポイ
ント間位置(distance_point_to_point_location)情
報及び/又は隣接スライス併合順序(neighbours_order_to_mer
ge)情報をさらに含んでもよい。
【0661】
実施例によるASHは、精製方法状態情報の値が1である場合、隣接スライス数(ne
ighbor_num)情報及び/又は隣接スライス探索方法(neighbor_se
arch_method)情報をさらに含んでもよい。
【0662】
隣接スライス数(neighbor_num)情報、隣接スライス探索方法(neig
hbor_search_method)情報は、
図34に示した隣接スライス数(ne
ighbor_num)情報、隣接スライス探索方法(neighbor_search
_method)情報と同一又は類似する動作を行う。
【0663】
図39は実施例によるポイントクラウドデータ送信方法を示す流れ図である。
【0664】
実施例によるポイントクラウドデータ送信方法は、ポイントクラウドデータを符号化す
るステップ39000及び/又はポイントクラウドデータ及びポイントクラウドデータに
関するシグナル情報を含むビットストリームを送信するステップ39001を含む。
【0665】
図39に示した動作の一部又は全部は、
図14のXRデバイス1430などによって結
合して行われる。
【0666】
ポイントクラウドデータを符号化するステップ39000は、ポイントクラウドデータ
送信装置がポイントクラウドデータを取得(acquire)し、取得したポイントクラ
ウドデータを符号化(encoding)する。符号化は、
図1のポイントクラウドビデ
オエンコーダ10002の動作、
図2の符号化部18001の動作、
図4に示した動作の
一部又は全部、
図5ないし
図9に示した動作の一部又は全部、
図12に示した動作の一部
又は全部を意味する。
【0667】
ポイントクラウドデータを符号化するステップ39000は、
図15に示した空間分割
部15001の動作、幾何情報符号化部15002の動作、属性情報符号化部15003
の動作、
図16ないし28に示した動作の一部又は全部を行う。
【0668】
ポイントクラウドデータ及びポイントクラウドデータに関するシグナル情報を含むビッ
トストリームを送信するステップ39001は、ポイントクラウドデータ送信装置が符号
化されたポイントクラウドデータ及び/又はシグナル情報を送信する。ステップ3900
1は、
図1の送信機10003、
図2の送信部18002、
図12の送信処理部1201
2の動作を意味する。ステップ39001は、
図15の幾何情報ビットストリーム150
00b、属性情報ビットストリーム15000cを送信する。ステップ39001は、幾
何情報ビットストリーム15000b、属性情報ビットストリーム15000cを1つの
ビットストリームに結合して送信するステップである。
【0669】
シグナル情報はメタデータ(metadata)とも呼ばれる。
【0670】
ポイントクラウドデータは、例えば、
図30に示したスライスに含まれたジオメトリス
ライスデータ(geometry slice data)及び/又は各々のAttrに含
まれた特質スライスデータ(attribute slice data)を意味する。メ
タデータは、例えば、
図30のSPS30001、GPS30002、APS30003
、TPS30004を含む。メタデータは、例えば、スライスに含まれたジオメトリスラ
イスヘッダ30004a-1及び/又は各々のAttrに含まれた特質スライスヘッダ(
attribute slice header、ASH)を意味する。
【0671】
即ち、メタデータは、例えば、
図31ないし
図37に示した実施例によるSPS、TP
S、GPS、GSH及び/又はASHを含む。
【0672】
実施例によるポイントクラウドデータ送信方法は、ポイントクラウドデータをスライス
に基づいて分割するステップをさらに含んでもよい。ポイントクラウドデータをスライス
に基づいて分割するステップは、ポイントクラウドデータを符号化するステップ3900
0の以前に行われてもよい。実施例によるポイントクラウドデータ送信方法は、分割され
たスライス別に独立して(independently)ポイントクラウドデータを符号
化するステップ39000を行う。
【0673】
実施例によるポイントクラウドデータ送信方法は、スライス内のポイント数がポイント
の最小数より少ない場合、前記スライスを隣接したスライス(adjacent sli
ce)と併合(merging)するステップをさらに含んでもよい。実施例による分割
するステップは、実施例による均等-ジオメトリ分割(Uniform-Geometr
y partition using Octree)、実施例による最長エッジに対す
る均等-ジオメトリ分割(Uniform-Geometry partition a
long the longest edge)及び/又は実施例による均等四角形分割
方法(Uniform square partitioning)のうちの少なくとも
1つに基づいて行われる。
【0674】
実施例による均等-ジオメトリ分割(Uniform-Geometry parti
tion using Octree)は、
図24に示した分割方法を意味する。実施例
による均等-ジオメトリ分割(Uniform-Geometry partition
along the longest edge)は、
図25に示した分割方法を意味
する。実施例による均等四角形分割方法(Uniform square partit
ioning)は、
図21に示した分割方法を意味する。
【0675】
実施例によるポイントクラウドデータ送信方法は、スライス内のポイント数がポイント
の最大数より多い場合、前記スライスを2つ以上のスライスに分離(split)するス
テップをさらに含んでもよい。
【0676】
実施例による隣接したスライスは、4方形精製方法に基づいて、前記スライスの左側ス
ライス(left slice)、前記スライスの右側スライス(right slic
e)、前記スライスの上側スライス(top slice)又は前記スライスの下側スラ
イス(bottom slice)のうちの1つである。実施例による隣接したスライス
は、6方形精製方法に基づいて、前記スライスの左側スライス(left slice)
、前記スライスの右側スライス(right slice)、前記スライスの上側スライ
ス(top slice)、前記スライスの下側スライス(bottom slice)、
前記スライスの前側スライス(front slice)及び/又は前記スライスの後側
スライス(back slice)のうちの1つである。
【0677】
図40は実施例によるポイントクラウドデータ受信方法を示す流れ図である。
【0678】
実施例によるポイントクラウドデータ受信方法は、ポイントクラウドデータ及び/又は
前記ポイントクラウドデータに関するシグナル情報を含むビットストリームを受信するス
テップ40000及び/又はビットストリーム内のポイントクラウドデータを復号するス
テップ40001を含む。
【0679】
図40に示した動作の一部又は全部は、
図14のXRデバイス1430などによって結
合して行われる。
【0680】
ビットストリームを受信するステップ40000は、
図1の受信機10005の動作、
図2の送信部で送信されたビットストリームを受信する動作、
図10に示したビットスト
リーム(bitstream)を受信する動作、
図12のデータ入力部12000、
図1
3の受信部13000、受信処理部13001の動作を意味する。
【0681】
ビットストリームは、
図28の幾何情報ビットストリーム28000a、属性情報ビッ
トストリーム28000bを含むビットストリームである。ビットストリームは、ポイン
トクラウドデータ及び/又は前記ポイントクラウドデータに関するシグナル情報を含む。
シグナル情報はメタデータ(metadata)とも呼ばれる。
【0682】
ポイントクラウドデータは、例えば、
図30に示したスライス(slice)に含まれ
たジオメトリスライスデータ(geometry slice data)及び/又は各々
のAttrに含まれた特質スライスデータ(attribute slice data)
を意味する。メタデータは、例えば、
図30のSPS30001、GPS30002、A
PS30003、TPS30004を含む。メタデータは、例えば、スライスに含まれた
ジオメトリスライスヘッダ30004a-1及び/又は各々のAttrに含まれた特質ス
ライスヘッダ(attribute slice header、ASH)を意味する。
【0683】
即ち、メタデータは、例えば、
図31ないし
図37に示した実施例によるSPS、TP
S、GPS、GSH及び/又はASHを含む。
【0684】
実施例によるビットストリーム(又は、ポイントクラウドデータ)は、1つ又はそれ以
上のスライス又は1つ又はそれ以上のタイルによって伝達される。各々のスライスは、実
施例によるポイントクラウドデータを分割する方法に基づいて分割(partition
ing)されるか、実施例によるポイントクラウドデータを精製する方法に基づいて精製
(refine)されたポイントクラウドデータを含む。
【0685】
実施例は方法及び/又は装置の観点で説明しており、方法の説明及び装置の説明は互い
に補完して適用できる。
【0686】
説明の便宜のために、各図を区分して説明したが、各図に述べられている実施例を併合
して新しい実施例を具現するように設計することも可能である。また通常の技術者の必要
によって、以前に説明した実施例を実行するためのプログラムが記録されているコンピュ
ーターで読み取り可能な記録媒体を設計することも実施例の権利範囲に属する。実施例に
よる装置及び方法は、上述したように説明された実施例の構成と方法が限られて適用され
るのではなく、実施例は様々な変形が行われるように各実施例の全部又は一部が選択的に
組み合わせられて構成されることもできる。実施例の好ましい実施例について示して説明
したが、実施例は上述した特定の実施例に限定されず、請求の範囲で請求する実施例の要
旨から離脱せず、当該発明が属する技術分野において通常の知識を有する者により様々な
変形実施が可能であり、かかる変形実施は実施例の技術的思想や見込みから個々に理解さ
れてはいけない。
【0687】
実施例による装置の様々な構成要素は、ハードウェア、ソフトウェア、ファームウェア
又はそれらの組み合わせにより構成される。実施例の様々な構成要素は一つのチップ、例
えば、一つのハードウェア回路で具現される。実施例において、実施例による構成要素は
それぞれ個々のチップで具現される。実施例において、実施例による装置の構成要素のい
ずれかは一つ又はそれ以上のプログラムを実行できる一つ又はそれ以上のプロセッサで構
成され、一つ又はそれ以上のプログラムは実施例による動作/方法のうちのいずれか一つ
又はそれ以上の動作/方法を行わせるか、実行させるための指示を含む。実施例による装
置の方法/動作を行うための実行可能な指示は、一つ又はそれ以上のプロセッサにより実
行されるために構成された一時的ではないCRM又は他のコンピュータープログラム製品
に格納されるか、又は一つ又はそれ以上のプロセッサにより実行されるために構成された
一時的なCRM又は他のコンピュータープログラム製品に格納されることができる。また
実施例によるメモリは、揮発性メモリ(例えば、RAMなど)だけではなく、非揮発性メ
モリ、フラッシュメモリ、PROMなどを全部含む概念として使用される。また、インタ
ーネットによる送信などのような搬送波の形態で具現されることも含む。またプロセッサ
が読み取られる記録媒体は、ネットワークで連結されたコンピューターシステムに分散さ
れて、分散方式によりプロセッサが読み取られるコードが格納されて実行されることがで
きる。
【0688】
この明細書において、「/」と「、」は「及び/又は」に解釈される。例えば、「A/
B」は「A及び/又はB」に解釈され、「A、B」は「A及び/又はB」に解釈される。
さらに、「A/B/C」は「A、B及び/又はCのうちのいずれか」を意味する。また、
「A、B、C」も「A、B及び/又はCのうちのいずれか」を意味する。さらに、この文
書において、「又は」は「及び/又は」に解釈される。例えば、「A又はB」は、1)「
A」のみを意味するか、2)「B」のみを意味するか、又は3)「A及びB」を意味する。
言い換えれば、この明細書において「又は」は「さらに(additionally)又
は代わりに(alternatively)」を意味する。
【0689】
第1、第2などの用語は実施例の様々な構成要素を説明するために使用される。しかし
、実施例による様々な構成要素は上記用語により解釈が制限されてはいけない。かかる用
語は一つの構成要素を他の構成要素と区別するために使用されることに過ぎない。例えば
、第1ユーザ入力信号は第2ユーザ入力信号と称することができる。同様に、第2ユーザ
入力信号は第1ユーザ入力信号と称することができる。かかる用語の使用は様々な実施例
の範囲から離脱していない。第1ユーザ入力信号及び第2ユーザ入力信号はいずれもユー
ザ入力信号であるが、文脈上、明確に示していない限り、同一のユーザ入力信号を意味し
てはいない。
【0690】
実施例を説明のために使用された用語は、特定の実施例を説明するために使用されてお
り、実施例を制限するものではない。実施例の説明及び請求範囲で使用したように、文脈
上明確に称していない限り、単数は複数を含む。「及び/又は」という表現は用語間の全
ての可能な結合を含む意味で使用される。「含む」は特徴、数、段階、要素及び/又はコ
ンポーネントが存在することを説明し、さらなる特徴、数、段階、要素及び/又はコンポ
ーネントを含まないことを意味しない。実施例を説明するために使用される、「~である
場合」、「~とき」などの条件表現は選択的な場合のみに制限して解釈されない。特定の
条件を満たすとき、特定の条件に対応して関連動作を行うか、又は関連定義が解釈される
ように意図されている。
【0691】
また、この明細書で説明する実施例による動作は、実施例によってメモリ及び/又はプ
ロセッサを含む送受信装置により行われる。メモリは実施例による動作を処理/制御する
ためのプログラムを格納し、プロセッサはこの明細で説明した様々な動作を制御する。プ
ロセッサはコントローラなどとも称される。実施例の動作はファームウェア、ソフトウェ
ア及び/又はこれらの組み合わせにより行われ、ファームウェア、ソフトウェア及び/又
はこれらの組み合わせはプロセッサに格納されるか又はメモリに格納される。
【0692】
なお、上述した実施例による動作は、実施例による送信装置及び/又は受信装置によっ
て行われる。送受信装置はメディアデータを送受信する送受信部、実施例によるプロセス
に対する指示(プログラムコード、アルゴリズム、フローチャート及び/又はデータ)を
格納するメモリ、送/受信装置の動作を制御するプロセッサを含む。
【0693】
プロセッサはコントローラーとも呼ばれ、例えば、ハードウェア、ソフトウェア、及び
/又はそれらの組み合わせに対応する。上述した実施例による動作はプロセッサによって
行われる。また、プロセッサは、上述した実施例の動作のためのエンコーダ/デコードな
どで具現される。
【0694】
発明を実施するための最善の形態について具体的に説明する。
【産業上の利用可能性】
【0695】
本発明の思想や範囲を逸脱することなく、本発明で様々な変更及び変形が可能であるこ
とは当業者にとって自明である。したがって、本発明は、添付の特許請求の範囲及びその
同等範囲内で提供される本発明の変更及び変形を含むものとして意図される。
【手続補正書】
【提出日】2024-03-05
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
ポイントクラウドデータを符号化する(encoding)方法であって、
前記ポイントクラウドデータを含むスライス(slice)を均等四角形(uniform squares)に分割する(partitioning)ステップ;
前記分割したスライスの各スライスについての隣接情報(adjacent infomation)を生成する(generating)ステップ;
前記隣接情報は隣接スライス内に複数のポイントを含み、
前記分割したスライス内において複数のポイントに基づいて前記分割したスライスを処理する(processing)ステップ;
前記処理したスライスのジオメトリデータ(geometry data)を符号化するステップ;及び
前記処理したスライスの属性データ(attribute data)を符号化するステップ;を含んでなる、ポイントクラウドデータを符号化する方法。
【請求項2】
前記スライスは、前記ポイントクラウドデータの最短軸の長さにより、最長軸及び中間長軸にセグメントする(segmenting)ことで分割される、請求項1に記載の方法。
【請求項3】
前記隣接スライスは、前記分割したスライスの前記各スライスに対して、下側隣接スライス、左側隣接スライス、上側隣接スライス、及び右側隣接スライスを含む、請求項1に記載の方法。
【請求項4】
前記分割したスライスを処理するステップは、
第1スライス内の複数のポイントの数がポイントの最小数より少ない場合、前記分割したスライスの前記第1スライスと、前記第1スライスの隣接スライスのうち最小数のポイントを有する前記隣接スライスのうちの1つと、を併合する(merging)ステップ;又は
第1スライス内の複数のポイントの数がポイントの最大数より大きい場合、第2スライスの前記隣接スライスのうち前記隣接スライスの1つの方向に前記分割したスライスの前記第1スライスを分離する(splitting)ステップ;を含む、請求項1に記載の方法。
【請求項5】
前記ビットストリームは、前記ポイントクラウドデータを分割する方法を示すシグナル情報を含む、請求項1に記載の方法。
【請求項6】
ポイントクラウドデータを復号する(decoding)装置であって、
メモリ;及び
プロセッサ;を備えてなり、
前記プロセッサは、
ジオメトリデータ(geometry data)と、属性データ(attribute data)とを含むポイントクラウドデータを含むビットストリームを受信するステップ;及び
前記ポイントクラウドデータは、前記ポイントクラウドデータが均等四角形(uniform squares)に分割された(partitioned)スライス(slice)内に含まれ、
前記分割されたスライスについての隣接情報が生成され、
前記隣接情報は隣接スライス内の複数のポイントを含み、
前記ジオメトリデータと、前記属性データと、を復号するステップ;を実行する、ポイントクラウドデータを復号する装置。
【請求項7】
前記分割されたスライスは、
第1スライス内の前記複数のポイントの数がポイントの最小数より少ない場合、前記第1スライスの前記隣接スライスのうち最小数のポイントを有する前記隣接スライスの1つと併合された(merged)第1スライス、又は
前記第1スライス内の前記複数のポイントの数がポイントの最大数より大きい場合、前記第1スライスの前記隣接スライスの1つの方向に分離された(split)第1スライス、を含む、請求項6に記載の装置。
【請求項8】
ポイントクラウドデータを復号する(decoding)方法であって、
ジオメトリデータ(geometry data)と、属性データ(attribute data)とを含むポイントクラウドデータを含むビットストリームを受信するステップ;及び
前記ポイントクラウドデータは、前記ポイントクラウドデータが均等四角形(uniform squares)に分割された(partitioned)スライス(slice)内に含まれ、
前記分割されたスライスについての隣接情報が生成され、
前記隣接情報は隣接スライス内に複数のポイントを含み、
前記ジオメトリデータと、前記属性データと、を復号するステップ;を含んでなる、ポイントクラウドデータを復号する方法。
【請求項9】
前記分割したスライスは、
第1スライス内の前記複数のポイントの数がポイントの最小数より少ない場合、前記第1スライスの前記隣接スライスのうち最小数のポイントを有する前記隣接スライスの1つと併合された(merged)第1スライス、又は
第1スライス内の複数のポイントの数がポイントの最大数より大きい場合、前記第1スライスの前記隣接スライスの1つの方向に分離された(split)第1スライス、を含む、請求項8に記載の方法。
【請求項10】
非一時的コンピューター読取可能なデジタル記録媒体であって、
ポイントクラウドデータを符号化する(encoding)方法により発生したビットストリームを保存するものであり、
前記符号化する方法は、
前記ポイントクラウドデータを含むスライス(slice)を均等四角形(uniform squares)に分割する(partitioning)ステップ;
前記分割したスライスの各スライスについての隣接情報(adjacent infomation)を生成する(generating)ステップ;
前記隣接情報は隣接スライス内に複数のポイントを含み、
前記分割したスライス内において複数のポイントに基づいて前記分割したスライスを処理する(processing)ステップ;
前記処理したスライスのジオメトリデータ(geometry data)を符号化するステップ;及び
前記処理したスライスの属性データ(attribute data)を符号化するステップ;を含んでなる、デジタル記録媒体。