知財求人 - 知財ポータルサイト「IP Force」
▶ エルジー エレクトロニクス インコーポレイティドの特許一覧
特許7589368ポイントクラウドデータ送信装置、ポイントクラウドデータ送信方法、ポイントクラウドデータ受信装置及びポイントクラウドデータ受信方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-11-15
(45)【発行日】2024-11-25
(54)【発明の名称】ポイントクラウドデータ送信装置、ポイントクラウドデータ送信方法、ポイントクラウドデータ受信装置及びポイントクラウドデータ受信方法
(51)【国際特許分類】
G06T 9/40 20060101AFI20241118BHJP
【ＦＩ】
G06T9/40
【請求項の数】
13
(21)【出願番号】P 2023557359
(86)(22)【出願日】2022-03-17
(65)【公表番号】
(43)【公表日】2024-03-06
(86)【国際出願番号】 KR2022003773
(87)【国際公開番号】W WO2022197129
(87)【国際公開日】2022-09-22
【審査請求日】2023-10-31
(31)【優先権主張番号】10-2021-0035795
(32)【優先日】2021-03-19
(33)【優先権主張国・地域又は機関】KR
(73)【特許権者】
【識別番号】502032105
【氏名又は名称】エルジー エレクトロニクス インコーポレイティド
【氏名又は名称原語表記】ＬＧ ＥＬＥＣＴＲＯＮＩＣＳ ＩＮＣ．
【住所又は居所原語表記】１２８， Ｙｅｏｕｉ－ｄａｅｒｏ， Ｙｅｏｎｇｄｅｕｎｇｐｏ－ｇｕ， ０７３３６ Ｓｅｏｕｌ，Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ
(74)【代理人】
【識別番号】100099759
【弁理士】
【氏名又は名称】青木 篤
(74)【代理人】
【識別番号】100123582
【弁理士】
【氏名又は名称】三橋 真二
(74)【代理人】
【識別番号】100165191
【弁理士】
【氏名又は名称】河合 章
(74)【代理人】
【識別番号】100114018
【弁理士】
【氏名又は名称】南山 知広
(74)【代理人】
【識別番号】100159259
【弁理士】
【氏名又は名称】竹本 実
(72)【発明者】
【氏名】イ スヨン
(72)【発明者】
【氏名】オ ヒョンムク
(72)【発明者】
【氏名】ホ ヒョチョン
(72)【発明者】
【氏名】パク ユスン
【審査官】岩井 健二
(56)【参考文献】
【文献】国際公開第２０２１／００２６６５（ＷＯ，Ａ１）
【文献】国際公開第２０２０／１９７９６６（ＷＯ，Ａ１）
【文献】国際公開第２０１９／２３５３６６（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ９／００ － ９／４０
(57)【特許請求の範囲】
【請求項1】
ポイントクラウドデータを送信する方法であって、前記方法は、フレームに対する参照フレームに基づいて前記フレーム内のポイントクラウドデータを符号化するステップであって、
前記ポイントクラウドデータのジオメトリデータと特質データは、インター予測に基づいてそれぞれ符号化され、
動き補償が閾値に基づいて前記ポイントクラウドデータに適用される、ステップと、
前記ポイントクラウドデータを含むビットストリームを送信するステップと、を含み、
前記ビットストリームは前記閾値に関連する情報を含む、方法。
【請求項2】
第１のフレームに対して予測ユニットが生成され、第２のフレームに対して調査領域が生成され、
前記ポイントクラウドデータを符号化するステップは、前記予測ユニット及び前記調査領域のうちの少なくとも１つに含まれた１つ以上のポイントの数に基づいて前記予測ユニットを符号化するステップを含む、請求項１に記載の方法。
【請求項3】
前記予測ユニットに含まれた１つ以上のポイントの数に基づいて、前記調査領域に含まれたポイントが符号化され、前記調査領域に含まれたポイントが前記予測ユニットの範囲外にあることに基づいて、前記ポイントが除外される、請求項２に記載の方法。
【請求項4】
前記調査領域の底側かつ左側かつ前側に位置したポイント、及び前記予測ユニットの底側かつ左側かつ前側に位置したポイントに基づいて、動きベクトルが生成される、請求項２に記載の方法。
【請求項5】
前記調査領域の頂点上のポイント及び前記予測ユニットの頂点上のポイントに基づいて、動きベクトルが生成される、請求項２に記載の方法。
【請求項6】
前記調査領域に含まれたポイントの平均、最大値、最小値、中央値のうちの少なくとも１つ及び前記予測ユニットに含まれたポイントの平均、最大値、最小値、中央値のうちの少なくとも１つに基づいて、動きベクトルが生成される、請求項２に記載の方法。
【請求項7】
ポイントクラウドデータを送信するように構成された装置であって、前記装置は、フレームに対する参照フレームに基づいて前記フレーム内のポイントクラウドデータを符号化するように構成されたエンコーダであって、
前記ポイントクラウドデータのジオメトリデータと特質データは、インター予測に基づいてそれぞれ符号化され、
動き補償が閾値に基づいて前記ポイントクラウドデータに適用される、エンコーダと、
前記ポイントクラウドデータを含むビットストリームを送信するように構成された送信機と、を含み、
前記ビットストリームは前記閾値に関連する情報を含む、装置。
【請求項8】
ポイントクラウドデータを受信する方法であって、前記方法は、前記ポイントクラウドデータを含むビットストリームを受信するステップと、
フレームに対する参照フレームに基づいて前記フレーム内の前記ポイントクラウドデータを復号するステップと、を含み、
前記ポイントクラウドデータのジオメトリデータと特質データは、インター予測に基づいてそれぞれ復号され、
動き補償は、閾値に基づいて前記ポイントクラウドデータに適用され、
前記ビットストリームは前記閾値に関連する情報を含む、方法。
【請求項9】
第１のフレームに対して予測ユニットが生成され、第２のフレームに対して調査領域が生成され、
前記ポイントクラウドデータを復号するステップは、前記予測ユニット及び前記調査領域のうちの少なくとも１つに含まれた１つ以上のポイントの数に基づいて前記予測ユニットを復号するステップを含む、請求項８に記載の方法。
【請求項10】
前記予測ユニットに含まれた１つ以上のポイントの数に基づいて、前記調査領域に含まれたポイントが復号され、前記調査領域に含まれたポイントが前記予測ユニットの範囲外にあることに基づいて、前記ポイントが除外される、請求項９に記載の方法。
【請求項11】
前記調査領域の底側かつ左側かつ前側に位置したポイント、及び前記予測ユニットの底側かつ左側かつ前側に位置したポイントに基づいて、動きベクトルが生成され、又は、
前記ビットストリームは、前記動きベクトルに関する情報を含む、請求項９に記載の方法。
【請求項12】
前記調査領域の頂点上のポイント及び前記予測ユニットの頂点上のポイントに基づいて、動きベクトルが生成され、又は、
前記ビットストリームは前記動きベクトルに関する情報を含む、請求項９に記載の方法。
【請求項13】
ポイントクラウドデータを受信するように構成された装置であって、前記装置は、
前記ポイントクラウドデータを含むビットストリームを受信するように構成された受信機と、
フレームに対する参照フレームに基づいて前記フレーム内の前記ポイントクラウドデータを復号するように構成されたデコーダと、を含み、
前記ポイントクラウドデータのジオメトリデータと特質データは、インター予測に基づいてそれぞれ復号され、
動き補償が閾値に基づいて前記ポイントクラウドデータに適用され、
前記ビットストリームは前記閾値に関連する情報を含む、装置。
【発明の詳細な説明】
【技術分野】
【0001】
実施例はポイントクラウドコンテンツ(ｐｏｉｎｔ Ｃｌｏｕｄ Ｃｏｎｔｅｎｔ)を処理する方法及び装置に関する。
【背景技術】
【0002】
ポイントクラウドコンテンツは３次元空間を表現する座標系に属する点(ポイント)の集合であるポイントクラウドで表現されるコンテンツである。ポイントクラウドコンテンツは３次元からなるメディアを表現でき、ＶＲ(Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ、仮想現実)、ＡＲ(Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ、拡張現実)、ＭＲ(Ｍｉｘｅｄ Ｒｅａｌｉｔｙ、複合現実)及び自律走行サービスなどの様々なサービスを提供するために使用される。しかし、ポイントクラウドコンテンツを表現するためには、数万から数十万個のポイントデータが必要である。従って、膨大な量のポイントデータを効率的に処理する方法が求められる。
【発明の概要】
【発明が解決しようとする課題】
【0003】
実施例はポイントクラウドデータを効率的に処理するための装置及び方法を提供する。実施例は遅延(ｌａｔｅｎｃｙ)及び符号化／復号複雑度を解決するためのポイントクラウドデータ処理方法及び装置を提供する。
【0004】
但し、上述した技術的課題のみに制限されず、記載する全ての内容に基づいて当業者が導き出される他の技術的課題にも実施例の権利範囲を拡張することができる。
【課題を解決するための手段】
【0005】
実施例によるポイントクラウドデータ送信方法は、ポイントクラウドデータを符号化するステップ、及びポイントクラウドデータを含むビットストリームを送信するステップを含む。実施例によるポイントクラウドデータ受信方法は、ポイントクラウドデータを含むビットストリームを受信するステップ、及びポイントクラウドデータを復号するステップを含む。
【発明の効果】
【0006】
実施例による装置及び方法は、高効率でポイントクラウドデータを処理することができる。
【0007】
実施例による装置及び方法は、良質のポイントクラウドサービスを提供することができる。
【0008】
実施例による装置及び方法は、ＶＲサービス、自律走行サービスなどの汎用的なサービスを提供するためのポイントクラウドコンテンツを提供することができる。
【図面の簡単な説明】
【0009】
添付図面は実施例の理解を助けるためのものであり、実施例に関連する説明と共に実施例を示す。後述する様々な実施例に対するより適切な理解のために、添付図面において類似する参照番号に対応する部分を含む次の図面に関連して以下の実施例の説明を必ず参照すべきである。
【0010】
【図1】実施例によるポイントクラウドコンテンツ提供システムの一例を示す。
【0011】
【図2】実施例によるポイントクラウドコンテンツ提供動作を示すブロック図である。
【0012】
【図3】実施例によるポイントクラウドビデオキャプチャー過程の一例を示す。
【0013】
【図4】実施例によるポイントクラウドエンコーダ(Ｐｏｉｎｔ Ｃｌｏｕｄ Ｅｎｃｏｄｅｒ)の一例を示す。
【0014】
【図5】実施例によるボクセルの一例を示す。
【0015】
【図6】実施例による八分木及び占有コード(ｏｃｃｕｐａｎｃｙ ｃｏｄｅ)の一例を示す。
【0016】
【図7】実施例による隣接ノードパターンの一例を示す。
【0017】
【図8】実施例によるＬＯＤごとのポイント構成の一例を示す。
【0018】
【図9】実施例によるＬＯＤごとのポイント構成の一例を示す。
【0019】
【図10】実施例によるポイントクラウドデコーダ(Ｐｏｉｎｔ Ｃｌｏｕｄ Ｄｅｃｏｄｅｒ)の一例を示す。
【0020】
【図11】実施例によるポイントクラウドデコーダ(Ｐｏｉｎｔ Ｃｌｏｕｄ Ｄｅｃｏｄｅｒ)の一例を示す。
【0021】
【図12】実施例による送信装置の一例を示す。
【0022】
【図13】実施例による受信装置の一例を示す。
【0023】
【図14】実施例によるポイントクラウドデータ送受信方法／装置に連動可能な構造の一例を示す。
【0024】
【図15】実施例による動きベクトル分類機を示す。
【0025】
【図16】実施例による参照フレーム及び現在フレームを示す。
【0026】
【図17】実施例による調査領域及び／又は予測ユニットに含まれたポイントを示す。
【0027】
【図18-21】実施例による動きベクトル推定の動作を示す。
【0028】
【図22】実施例によるポイントクラウドデータを含むビットストリームを示す。
【0029】
【図23】実施例によるシーケンスパラメータセット、ジオメトリパラメータセットを示す。
【0030】
【図24】実施例によるＰＵツリー構造情報を示す。
【0031】
【図25】実施例による予測モードを示す。
【0032】
【図26】実施例によるポイントクラウドデータ送信方法を示す。
【0033】
【図27】実施例によるポイントクラウドデータ受信方法を示す。
【0034】
【図28】実施例によるポイントクラウドデータ送信方法を示す。
【0035】
【図29】実施例によるポイントクラウドデータ受信方法を示す。
【発明を実施するための形態】
【0036】
添付図面を参照しながら望ましい実施例について具体的に説明する。添付図面を参照した以下の詳細な説明は、実施例によって具現可能な実施例のみを示すというより、望ましい実施例を説明するためのものである。以下の詳細な説明は実施例に関する徹底な理解を提供するために細部事項を含む。しかし、かかる細部事項がなくても実施例を実行できることは当業者にとって明らかである。
【0037】
実施例で使用するほとんどの用語は該当分野において広く使用される一般的なものであるが、一部は出願人によって任意に選択されたものもあり、その意味は必要によって以下に詳しく説明する。よって、実施例は用語の単純な名称や意味ではなく、用語が意図する意味に基づいて理解されるべきである。
【0038】
図１は実施例によるポイントクラウドコンテンツ提供システムの一例を示す図である。
【0039】
図１に示したポイントクラウドコンテンツ提供システムは、送信装置(ｔｒａｎｓｍｉｓｓｉｏｎ ｄｅｖｉｃｅ)１００００及び受信装置(ｒｅｃｅｐｔｉｏｎ ｄｅｖｉｃｅ)１０００４を含む。送信装置１００００及び受信装置１０００４はポイントクラウドデータを送受信するために有無線通信が可能である。
【0040】
実施例による送信装置１００００は、ポイントクラウドビデオ(又はポイントクラウドコンテンツ)を確保し処理して送信する。実施例において、送信装置１００００は固定局(ｆｉｘｅｄ ｓｔａｔｉｏｎ)、ＢＴＳ(ｂａｓｅ ｔｒａｎｓｃｅｉｖｅｒ ｓｙｓｔｅｍ)、ネットワーク、ＡＩ(Ａｒｉｔｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ)機器及び／又はシステム、ロボット、ＡＲ／ＶＲ／ＸＲ機器及び／又はサーバーなどを含む。また実施例において、送信装置１００００は無線接続技術(例、５Ｇ ＮＲ(Ｎｅｗ ＲＡＴ)、ＬＴＥ(Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ))を用いて、基地局及び／又は他の無線機器と通信を行う機器、ロボット、車両、ＡＲ／ＶＲ／ＸＲ機器、携帯機器、家電、ＩｏＴ(Ｉｎｔｅｒｎｅｔ ｏｆ Ｔｈｉｎｇ)機器、ＡＩ機器／サーバーなどを含む。
【0041】
実施例による送信装置１００００は、ポイントクラウドビデオ獲得部(Ｐｏｉｎｔ Ｃｌｏｕｄ Ｖｉｄｅｏ Ａｃｑｕｉｓｉｔｉｏｎ)１０００１、ポイントクラウドビデオエンコーダ(Ｐｏｉｎｔ Ｃｌｏｕｄ Ｖｉｄｅｏ Ｅｎｃｏｄｅｒ)１０００２及び／又は送信機(Ｔｒａｎｓｍｉｔｔｅｒ(又は通信モジュール)１０００３を含む。
【0042】
実施例によるポイントクラウドビデオ獲得部１０００１は、キャプチャー、合成又は生成などの処理過程によりポイントクラウドビデオを獲得する。ポイントクラウドビデオは、３次元空間に位置するポイントの集合であるポイントクラウドで表現されるポイントクラウドコンテンツであって、ポイントクラウドビデオデータなどと呼ばれる。実施例によるポイントクラウドビデオは、一つ又はそれ以上のフレームを含む。一つのフレームは停止映像／ピクチャを示す。よって、ポイントクラウドビデオはポイントクラウド映像／フレーム／ピクチャを含み、ポイントクラウド映像、フレーム及びピクチャのうちのいずれかに呼ばれる。
【0043】
実施例によるポイントクラウドビデオエンコーダ１０００２は、確保したポイントクラウドビデオデータを符号化する。ポイントクラウドビデオエンコーダ１０００２はポイントクラウド圧縮(Ｐｏｉｎｔ Ｃｌｏｕｄ Ｃｏｍｐｒｅｓｓｉｏｎ)コーディングに基づいてポイントクラウドビデオデータを符号化する。実施例によるポイントクラウド圧縮コーディングは、Ｇ－ＰＣＣ(Ｇｅｏｍｅｔｒｙ－ｂａｓｅｄ Ｐｏｉｎｔ Ｃｌｏｕｄ Ｃｏｍｐｒｅｓｓｉｏｎ)コーディング及び／又はＶ－ＰＣＣ(Ｖｉｄｅｏ ｂａｓｅｄ Ｐｏｉｎｔ Ｃｌｏｕｄ Ｃｏｍｐｒｅｓｓｉｏｎ)コーディング又は次世代コーディングを含む。なお、実施例によるポイントクラウド圧縮コーディングは、上述した実施例に限られない。ポイントクラウドビデオエンコーダ１０００２は、符号化されたポイントクラウドビデオデータを含むビットストリームを出力することができる。ビットストリームは符号化されたポイントクラウドビデオデータだけではなく、ポイントクラウドビデオデータの符号化に関連するシグナリング情報を含む。
【0044】
実施例による送信機１０００３は、符号化されたポイントクラウドビデオデータを含むビットストリームを送信する。実施例によるビットストリームはファイル又はセグメント(例えば、ストリーミングセグメント)などにカプセル化されて、放送網及び／又はブロードバンド網などの様々なネットワークにより送信される。図示していないが、送信装置１００００はカプセル化動作を行うカプセル化部(又はカプセル化モジュール)を含む。また実施例において、カプセル化部は送信機１０００３に含まれる。実施例において、ファイル又はセグメントはネットワークにより受信装置１０００４に送信されるか、又はデジタル格納媒体(例えば、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、ブルーレイ、ＨＤＤ、ＳＳＤなど)に格納される。実施例による送信機１０００３は受信装置１０００４(又は受信機(Ｒｅｃｅｉｖｅｒ)１０００５)と４Ｇ、５Ｇ、６Ｇなどのネットワークにより有無線通信が可能である。また送信機１０００３はネットワークシステム(例えば、４Ｇ、５Ｇ、６Ｇなどの通信ネットワークシステム)によって必要なデータ処理動作を行うことができる。また送信装置１００００はオン・デマンド(Ｏｎ Ｄｅｍａｎｄ)方式によってカプセル化されたデータを送信することもできる。
【0045】
実施例による受信装置１０００４は、受信機(Ｒｅｃｅｉｖｅｒ)１０００５、ポイントクラウドビデオデコーダ(Ｐｏｉｎｔ Ｃｌｏｕｄ Ｄｅｃｏｄｅｒ)１０００６及び／又はレンダラー(Ｒｅｎｄｅｒｅｒ)１０００７を含む。実施例において、受信装置１０００４は無線接続技術(例、５Ｇ ＮＲ(Ｎｅｗ ＲＡＴ)、ＬＴＥ(Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ))を用いて、基地局及び／又は他の無線機器と通信を行う機器、ロボット、車両、ＡＲ／ＶＲ／ＸＲ機器、携帯機器、家電、ＩｏＴ(Ｉｎｔｅｒｎｅｔ ｏｆ Ｔｈｉｎｇ)機器、ＡＩ機器／サーバーなどを含む。
【0046】
実施例による受信機１０００５は、ポイントクラウドビデオデータを含むビットストリーム又はビットストリームがカプセル化されたファイル／セグメントなどをネットワーク又は格納媒体から受信する。受信機１０００５はネットワークシステム(例えば、４Ｇ、５Ｇ、６Ｇなどの通信ネットワークシステム)により必要なデータ処理動作を行う。実施例による受信機１０００５は、受信したファイル／セグメントをデカプセル化してビットストリームを出力する。また実施例において、受信機１０００５はデカプセル化の動作を行うためのデカプセル化部(又はデカプセル化モジュール)を含む。またデカプセル化部は受信機１０００５とは別個のエレメント(又はコンポーネント)で具現される。
【0047】
ポイントクラウドビデオデコーダ１０００６は、ポイントクラウドビデオデータを含むビットストリームを復号する。ポイントクラウドビデオデコーダ１０００６はポイントクラウドビデオデータが符号化された方式により復号することができる(例えば、ポイントクラウドビデオエンコーダ１０００２の動作の逆の過程)。従って、ポイントクラウドビデオデコーダ１０００６はポイントクラウド圧縮の逆過程であるポイントクラウド復元コーディングを行って、ポイントクラウドビデオデータを復号することができる。ポイントクラウド復元コーディングはＧ－ＰＣＣコーディングを含む。
【0048】
レンダラー１０００７は復号されたポイントクラウドビデオデータをレンダリングする。レンダラー１０００７はポイントクラウドビデオデータだけではなく、オディオデータもレンダリングしてポイントクラウドコンテンツを出力する。実施例において、レンダラー１０００７はポイントクラウドコンテンツをディスプレイするためのディスプレイを含む。実施例において、ディスプレイはレンダラー１０００７に含まれず、別のデバイス又はコンポーネントで具現される。
【0049】
図面において、点線で示した矢印は、受信装置１０００４で得たフィードバック情報(ｆｅｅｄｂａｃｋ ｉｎｆｏｒｍａｔｉｏｎ)の送信経路を示す。フィードバック情報はポイントクラウドコンテンツを消費するユーザとの相互作用を反映するための情報であって、ユーザの情報を含む(例えば、ヘッドオリエンテーション情報)、ビューポート情報など)。特に、ポイントクラウドコンテンツがユーザとの相互作用が必要なサービス(例えば、自律走行サービスなど)のためのものである場合には、フィードバック情報はコンテンツ送信側(例えば、送信装置１００００)及び／又はサービス供給者に伝達されることができる。実施例において、フィードバック情報は送信装置１００００だけではなく受信装置１０００４でも使用されることができ、提供されないこともできる。
【0050】
実施例によるヘッドオリエンテーション情報はユーザの頭の位置、方向、角度、動きなどに関する情報である。実施例による受信装置１０００４はヘッドオリエンテーション情報に基づいてビューポート情報を計算する。ビューポート情報はユーザが見ているポイントクラウドビデオの領域に関する情報である。視点(ｖｉｅｗｐｏｉｎｔ)はユーザがポイントクラウドビデオを見ている点であり、ビューポート領域の真ん中を意味する。即ち、ビューポートは視点を中心とする領域であり、領域のサイズ、形態などはＦＯＶ(Ｆｉｅｌｄ Ｏｆ Ｖｉｅｗ)により決定される。従って、受信装置１０００４はヘッドオリエンテーション情報以外に、装置が支援する垂直(ｖｅｒｔｉｃａｌ)或いは水平(ｈｏｒｉｚｏｎｔａｌ)ＦＯＶなどに基づいてビューポート情報を抽出することができる。また受信装置１０００４はゲイズ分析(Ｇａｚｅ Ａｎａｌｙｓｉｓ)などを行って、ユーザのポイントクラウド消費方式、ユーザが凝視するポイントクラウドビデオ領域、凝視時間などを確認する。実施例において、受信装置１０００４はゲイズ分析の結果を含むフィードバック情報を送信装置１００００に送信することができる。実施例によるフィードバック情報はレンダリング及び／又はディスプレイ過程で得られる。実施例によるフィードバック情報は受信装置１０００４に含まれた一つ又はそれ以上のセンサにより確保される。また実施例において、フィードバック情報はレンダラー１０００７又は別の外部エレメント(又はデバイス、コンポーネントなど)により確保される。図１に示された点線はレンダラー１０００７で確保したフィードバック情報の伝達過程を示す。ポイントクラウドコンテンツ提供システムはフィードバック情報に基づいてポイントクラウドデータを処理(符号化／復号)する。従って、ポイントクラウドビデオデータデコーダ１０００６はフィードバック情報に基づいて復号の動作を行うことができる。また受信装置１０００４はフィードバック情報を送信装置１００００に送信することができる。送信装置１００００(又はポイントクラウドビデオデータエンコーダ１０００２)はフィードバック情報に基づいて符号化の動作を行うことができる。従って、ポイントクラウドコンテンツ提供システムは全てのポイントクラウドデータを処理(符号化／復号)せず、フィードバック情報に基づいて必要なデータ(例えば、ユーザのヘッド位置に対応するポイントクラウドデータ)を効率的に処理して、ユーザにポイントクラウドコンテンツを提供することができる。
【0051】
実施例において、送信装置１００００はエンコーダ、送信デバイス、送信機などに呼ばれ、受信装置１０００４はデコーダ、受信デバイス、受信機などに呼ばれる。
【0052】
実施例による図１のポイントクラウドコンテンツ提供システムで処理される(獲得／符号化／送信／復号／レンダリングの一連の過程で処理される)ポイントクラウドデータは、ポイントクラウドコンテンツデータ又はポイントクラウドビデオデータとも呼ばれる。実施例において、ポイントクラウドコンテンツデータはポイントクラウドデータに関連するメタデータ或いはシグナリング情報を含む概念として使用することができる。
【0053】
図１に示したポイントクラウドコンテンツ提供システムのエレメントは、ハードウェア、ソフトウェア、プロセッサ及び／又はこれらの組み合わせなどで具現される。
【0054】
図２は実施例によるポイントクラウドコンテンツ提供の動作を示すブロック図である。
【0055】
図２は図１で説明したポイントクラウドコンテンツ提供システムの動作を示すブロック図である。上述したように、ポイントクラウドコンテンツ提供システムは、ポイントクラウド圧縮コーディング(例えば、Ｇ－ＰＣＣ)に基づいてポイントクラウドデータを処理する。
【0056】
実施例によるポイントクラウドコンテンツ提供システム(例えば、ポイントクラウド送信装置１００００又はポイントクラウドビデオ獲得部１０００１)では、ポイントクラウドビデオを獲得する(２００００)。ポイントクラウドビデオは３次元空間を表現する座標系に属するポイントクラウドで表現される。実施例によるポイントクラウドビデオはＰｌｙ(Ｐｏｌｙｇｏｎ Ｆｉｌｅ ｆｏｒｍａｔ ｏｒ ｔｈｅ Ｓｔａｎｆｏｒｄ Ｔｒｉａｎｇｌｅ ｆｏｒｍａt)ファイルを含む。ポイントクラウドビデオが一つ又はそれ以上のフレームを有する場合、獲得したポイントクラウドビデオは一つ又はそれ以上のＰｌｙファイルを含む。Ｐｌｙファイルはポイントのジオメトリ(Ｇｅｏｍｅｔｒｙ)及び／又は特質(Ａｔｔｒｉｂｕｔｅ)のようなポイントクラウドデータを含む。ジオメトリはポイントの位置を含む。それぞれのポイントの位置は３次元座標系(例えば、ＸＹＺ軸からなる座標系など)を示すパラメータ(例えば、Ｘ軸、Ｙ軸、Ｚ軸それぞれの値)で表現される。特質はポイントの特質(例えば、それぞれのポイントのテクスチャ情報、色相(ＹＣｂＣｒ又はＲＧＢ)、反射率(ｒ)、透明度など)を含む。一つのポイントは一つ又はそれ以上の特質(又は属性)を有する。例えば、一つのポイントは、色相の一つの特質を有するか、或いは色相及び反射率の二つの特質を有することができる。実施例において、ジオメトリは位置、ジオメトリ情報、ジオメトリデータなどとも呼ばれ、特質は特質、特質情報、特質データなどとも呼ばれる。またポイントクラウドコンテンツ提供システム(例えば、ポイントクラウド送信装置１００００又はポイントクラウドビデオ獲得部１０００１)は、ポイントクラウドビデオの獲得過程に関連する情報(例えば、深さ情報、色相情報など)からポイントクラウドデータを確保することができる。
【0057】
実施例によるポイントクラウドコンテンツ提供システム(例えば、送信装置１００００又はポイントクラウドビデオエンコーダ１０００２)は、ポイントクラウドデータを符号化する(２０００１)。ポイントクラウドコンテンツ提供システムは、ポイントクラウド圧縮コーディングに基づいてポイントクラウドデータを符号化する。上述したように、ポイントクラウドデータはポイントのジオメトリ及び特質を含む。よって、ポイントクラウドコンテンツ提供システムは、ジオメトリを符号化するジオメトリ符号化を行ってジオメトリビットストリームを出力することができる。ポイントクラウドコンテンツ提供システムは、特質を符号化する特質符号化を行って特質ビットストリームを出力することができる。実施例において、ポイントクラウドコンテンツ提供システムはジオメトリ符号化に基づいて特質符号化を行うことができる。実施例によるジオメトリビットストリーム及び特質ビットストリームは多重化されて一つのビットストリームで出力される。実施例によるビットストリームはジオメトリ符号化及び特質符号化に関連するシグナリング情報をさらに含む。
【0058】
実施例によるポイントクラウドコンテンツ提供システム(例えば、送信装置１００００又は送信機１０００３)は、符号化されたポイントクラウドデータを送信する(２０００２)。図１で説明したように、符号化されたポイントクラウドデータはジオメトリビットストリーム、特質ビットストリームで表現される。また符号化されたポイントクラウドデータはポイントクラウドデータの符号化に関連するシグナリング情報(例えば、ジオメトリ符号化及び特質符号化に関連するシグナリング情報)と共に、ビットストリームの形態で送信される。またポイントクラウドコンテンツ提供システムは符号化されたポイントクラウドデータを送信するビットストリームをカプセル化してファイル又はセグメントの形態で送信する。
【0059】
実施例によるポイントクラウドコンテンツ提供システム(例えば、受信装置１０００４又は受信機１０００５)は、符号化されたポイントクラウドデータを含むビットストリームを受信する。またポイントクラウドコンテンツ提供システム(例えば、受信装置１０００４又は受信機１０００５)は、ビットストリームを逆多重化することができる。
【0060】
ポイントクラウドコンテンツ提供システム(例えば、受信装置１０００４又はポイントクラウドビデオデコーダ１０００５)は、ビットストリームで送信される符号化されたポイントクラウドデータ(例えば、ジオメトリビットストリーム、特質ビットストリーム)を復号する。ポイントクラウドコンテンツ提供システム(例えば、受信装置１０００４又はポイントクラウドビデオデコーダ１０００５)は、ビットストリームに含まれたポイントクラウドビデオデータの符号化に関連するシグナリング情報に基づいてポイントクラウドビデオデータを復号する。ポイントクラウドコンテンツ提供システム(例えば、受信装置１０００４又はポイントクラウドビデオデコーダ１０００５)は、ジオメトリビットストリームを復号してポイントの位置(ジオメトリ)を復元する。ポイントクラウドコンテンツ提供システムは、復元したジオメトリに基づいて特質ビットストリームを復号してポイントの特質を復元する。ポイントクラウドコンテンツ提供システム(例えば、受信装置１０００４又はポイントクラウドビデオデコーダ１０００５)は、復元されたジオメトリによる位置及び復号された特質に基づいてポイントクラウドビデオを復元する。
【0061】
実施例によるポイントクラウドコンテンツ提供システム(例えば、受信装置１０００４又はレンダラー１０００７)は、復号されたポイントクラウドデータをレンダリングする(２０００４)。ポイントクラウドコンテンツ提供システム(例えば、受信装置１０００４又はレンダラー１０００７)は、復号過程で復号されたジオメトリ及び特質を様々なレンダリング方式によってレンダリングする。ポイントクラウドコンテンツのポイントは、一定の厚さを有する定点、該当定点の位置を中央とする所定の最小サイズを有する立方体、又は定点の位置を中央とする円などにレンダリングされる。レンダリングされたポイントクラウドコンテンツの全部又は一部の領域はディスプレイ(例えば、ＶＲ／ＡＲディスプレイ、一般ディスプレイなど)によりユーザに提供される。
【0062】
実施例によるポイントクラウドコンテンツ提供システム(例えば、受信装置１０００４)は、フィードバック情報を確保することができる(２０００５)。ポイントクラウドコンテンツ提供システムは、フィードバック情報に基づいてポイントクラウドデータを符号化及び／又は復号する。実施例によるフィードバック情報及びポイントクラウドコンテンツ提供システムの動作は、図１で説明したフィードバック情報及び動作と同一であるので、具体的な説明は省略する。
【0063】
図３は実施例によるポイントクラウドビデオキャプチャー過程の一例を示す図である。
【0064】
【0065】
ポイントクラウドコンテンツは、様々な３次元空間(例えば、現実環境を示す３次元空間、仮想環境を示す３次元空間など)に位置するオブジェクト(ｏｂｊｅｃｔ)及び／又は環境を示すポイントクラウドビデオ(イメージ及び／又は映像)を含む。従って、実施例によるポイントクラウドコンテンツ提供システムは、ポイントクラウドコンテンツを生成するために一つ又はそれ以上のカメラ(例えば、深さ情報を確保できる赤外線カメラ、深さ情報に対応する色相情報を抽出できるＲＧＢカメラなど)、プロジェクト(例えば、深さ情報を確保するための赤外線パターンプロジェクターなど)、ＬｉＤＡＲなどを使用してポイントクラウドビデオをキャプチャーする。実施例によるポイントクラウドコンテンツ提供システムは、深さ情報から３次元空間上のポイントで構成されたジオメトリの形態を抽出し、色相情報からそれぞれのポイントの特質を抽出してポイントクラウドデータを確保する。実施例によるイメージ及び／又は映像は内向き(ｉｎｗａｒｄ－ｆａｃｉｎｇ)方式及び外向き(ｏｕｔｗａｒｄ－ｆａｃｉｎｇ)方式のうちのいずれかに基づいてキャプチャーされる。
【0066】
図３の左側には内向き方式が示されている。内向き方式は中心オブジェクトを取り囲んで位置する一つ又はそれ以上のカメラ(又はカメラセンサ)が中心オブジェクトをキャプチャーする方式である。内向き方式は核心客体に対する３６０°イメージをユーザに提供するポイントクラウドコンテンツ(例えば、ユーザに客体(例：キャラクター、選手、品物、俳優などの核心となる客体)の３６０°イメージを提供するＶＲ／ＡＲコンテンツ)を生成するために使用される。
【0067】
図３の右側には外向き方式が示されている。外向き方式は中心オブジェクトを取り囲んで位置する一つ又はそれ以上のカメラ(又はカメラセンサ)が中心オブジェクトではない中心オブジェクトの環境をキャプチャーする方式である。外向き方式はユーザの視点からの周辺環境を提供するためのポイントクラウドコンテンツ(例えば、自律走行車両のユーザに提供される外部環境を示すコンテンツ)を生成するために使用される。
【0068】
図示したように、ポイントクラウドコンテンツは一つ又はそれ以上のカメラのキャプチャー動作に基づいて生成される。この場合、それぞれのカメラの座標系が異なるので、ポイントクラウドコンテンツ提供システムはキャプチャー動作前にグローバル空間座標系(ｇｌｏｂａｌ ｃｏｏｒｄｉｎａｔｅ ｓｙｓｔｅｍ)を設定するために、一つ又はそれ以上のカメラの較正(ｃａｌｉｂｒａｔｉｏｎ)を行う。またポイントクラウドコンテンツ提供システムは、上述したキャプチャー方式でキャプチャーされたイメージ及び／又は映像と任意のイメージ及び／又は映像を合成してポイントクラウドコンテンツを生成する。またポイントクラウドコンテンツ提供システムは、仮想空間を示すポイントクラウドコンテンツを生成する場合、図３で説明したキャプチャー動作を行わない。実施例によるポイントクラウドコンテンツ提供システムは、キャプチャーしたイメージ及び／又は映像に対して後処理を行うこともできる。即ち、ポイントクラウドコンテンツ提供システムは、望まない領域(例えば、背景)を除去したり、キャプチャーしたイメージ及び／又は映像が連結された空間を認識して空間(ｓｐａｔｉａｌ ｈｏｌｅ)がある場合、それを埋める動作を行うことができる。
【0069】
またポイントクラウドコンテンツ提供システムは、それぞれのカメラから確保したポイントクラウドビデオのポイントに対して座標系変換を行って、一つのポイントクラウドコンテンツを生成することができる。ポイントクラウドコンテンツ提供システムは、それぞれのカメラの位置座標を基準としてポイントの座標系変換を行う。これにより、ポイントクラウドコンテンツ提供システムは、一つの広い範囲を示すコンテンツを生成するか、或いはポイントの密度が高いポイントクラウドコンテンツを生成することができる。
【0070】
図４は実施例によるポイントクラウドエンコーダ(Ｐｏｉｎｔ Ｃｌｏｕｄ Ｅｎｃｏｄｅｒ)の一例を示す図である。
【0071】
図４は図１のポイントクラウドビデオエンコーダ１０００２の一例を示す。ポイントクラウドエンコーダは、ネットワーク状況或いはアプリケーションなどによってポイントクラウドコンテンツの質(例えば、無損失－ｌｏｓｓｌｅｓｓ、損失－ｌｏｓｓｙ、損失に近い－ｎｅａｒ－ｌｏｓｓｌｅｓｓ)を調節するために、ポイントクラウドデータ(例えば、ポイントの位置及び／又は特質)を再構成して符号化動作を行う。ポイントクラウドコンテンツの全体サイズが大きい場合(例えば、３０ｆｐｓの場合、６０Ｇｂｐｓであるポイントクラウドコンテンツ)、ポイントクラウドコンテンツ提供システムは該当コンテンツをリアルタイムストリーミングすることができない。従って、ポイントクラウドコンテンツ提供システムは、ネットワーク環境などに合わせて提供するために、最大ターゲットビットレートに基づいてポイントクラウドコンテンツを再構成することができる。
【0072】
【0073】
実施例によるポイントクラウドエンコーダは、座標系変換部(Ｔｒａｎｓｆｏｒｍａｔｉｏｎ Ｃｏｏｒｄｉｎａｔｅｓ)４００００、量子化部(Ｑｕａｎｔｉｚｅ ａｎｄ Ｒｅｍｏｖｅ Ｐｏｉｎｔｓ(Ｖｏｘｅｌｉｚｅ))４０００１、八分木分析部(Ａｎａｌｙｚｅ Ｏｃｔｒｅｅ)４０００２、表面近似分析部(Ａｎａｌｙｚｅ Ｓｕｒｆａｃｅ Ａｐｐｒｏｘｉｍａｔｉｏｎ)４０００３、演算エンコーダ(Ａｒｉｔｈｍｅｔｉｃ Ｅｎｃｏｄｅ)４０００４、ジオメトリ再構成部(Ｒｅｃｏｎｓｔｒｕｃｔ Ｇｅｏｍｅｔｒｙ)４０００５、色変換部(Ｔｒａｎｓｆｏｒｍ Ｃｏｌｏｒｓ)４０００６、特質変換部(Ｔｒａｎｓｆｅｒ Ａｔｔｒｉｂｕｔｅｓ)４０００７、ＲＡＨＴ変換部４０００８、ＬＯＤ生成部(Ｇｅｎｅｒａｔｅｄ ＬＯＤ)４０００９、リフト変換部(Ｌｉｆｔｉｎｇ)４００１０、係数量子化部(Ｑｕａｎｔｉｚｅ Ｃｏｅｆｆｉｃｉｅｎｔｓ)４００１１及び／又は演算エンコーダ(Ａｒｉｔｈｍｅｔｉｃ Ｅｎｃｏｄｅ)４００１２を含む。
【0074】
座標系変換部４００００、量子化部４０００１、八分木分析部４０００２、表面近似分析部４０００３、演算エンコーダ４０００４及びジオメトリ再構成部４０００５は、ジオメトリ符号化を行うことができる。実施例によるジオメトリ符号化は、八分木ジオメトリコーディング、ダイレクトコーディング(ｄｉｒｅｃｔ ｃｏｄｉｎｇ)、ｔｒｉｓｏｕｐジオメトリ符号化(ｔｒｉｓｏｕｐ ｇｅｏｍｅｔｒｙ ｅｎｃｏｄｉｎｇ)及びエントロピー符号化を含む。ダイレクトコーディング及びｔｒｉｓｏｕｐジオメトリ符号化は選択的に或いは組み合わせて適用される。なお、ジオメトリ符号化は上記の例示に限られない。
【0075】
図示したように、実施例による座標系変換部４００００は、位置を受信して座標系(ｃｏｏｒｄｉｎａｔｅ)に変換する。例えば、位置は３次元空間(例えば、ＸＹＺ座標系で表現される３次元空間など)の位置情報に変換される。実施例による３次元空間の位置情報はジオメトリ情報とも称される。
【0076】
実施例による量子化部４０００１はジオメトリを量子化する。例えば、量子化部４０００１は全体ポイントの最小位置値(例えば、Ｘ軸、Ｙ軸、Ｚ軸に対して各軸上の最小値)に基づいてポイントを量子化する。量子化部４０００１は最小の位置値とそれぞれのポイントの位置値との差に所定の量子スケール(ｑｕａｔｉｚａｔｉｏｎ ｓｃａｌｅ)値を掛けた後、切り下げ又は切り上げをして最も近い整数値を探す量子化動作を行う。従って、一つ又はそれ以上のポイントは同一の量子化された位置(又は位置値)を有することができる。実施例による量子化部４０００１は量子化されたポイントを再構成するために、量子化された位置に基づいてボクセル化(ｖｏｘｅｌｉｚａｔｉｏｎ)を行う。２次元イメージ／ビデオ情報を含む最小単位はピクセル(ｐｉｘｅｌ)のように、実施例によるポイントクラウドコンテンツ(又は３次元ポイントクラウドビデオ)のポイントは一つ又はそれ以上のボクセル(ｖｏｘｅｌ)に含まれる。ボクセルはボリューム(Ｖｏｌｕｍｅ)とピクセル(Ｐｉｘｅｌ)を組み合わせた言葉であり、３次元空間を表現する軸(例えば、Ｘ軸、Ｙ軸、Ｚ軸)に基づいて３次元空間をユニット(ｕｎｉｔ＝１.０)単位で分けたときに発生する３次元キュービック空間を意味する。量子化部４０００１は３次元空間のポイントのグループをボクセルでマッチングすることができる。実施例において、一つのボクセルは一つのポイントのみを含むことができる。実施例において、一つのボクセルは一つ又はそれ以上のポイントを含む。また一つのボクセルを一つのポイントで表現するために、一つのボクセルに含まれた一つ又はそれ以上のポイントの位置に基づいて、該当ボクセルの中央点(ｃｅｔｅｒ)の位置を設定することができる。この場合、一つのボクセルに含まれた全ての位置の特質が統合されて(ｃｏｍｂｉｎｅｄ)、該当ボクセルに割り当てられる。
【0077】
実施例による八分木分析部４０００２は、ボクセルを八分木構造で表すための八分木ジオメトリコーディング(又は八分木コーディング)を行う。八分木構造は八分割構造に基づいてボクセルにマッチングされたポイントを表現する。
【0078】
実施例による表面近似分析部４０００３は、八分木を分析して近似化する。実施例による八分木分析及び近似化は、八分木及びボクセル化を効率的に提供するために、多数のポイントを含む領域をボクセル化するために分析を行う過程である。
【0079】
実施例による演算エンコーダ４０００４は、八分木及び／又は近似化された八分木をエントロピー符号化する。例えば、符号化方式は演算(Ａｒｉｔｈｍｅｔｉｃ)符号化方法を含む。符号化の結果としてジオメトリビットストリームが生成される。
【0080】
色変換部４０００６、特質変換部４０００７、ＲＡＨＴ変換部４０００８、ＬＯＤ生成部４０００９、リフト変換部４００１０、係数量子化部４００１１及び／又は演算エンコーダ４００１２は、特質符号化を行う。上述したように、一つのポイントは一つ又はそれ以上の特質を有する。実施例による特質符号化は、一つのポイントが有する特質に対して等しく適用される。但し、一つの特質(例えば、色相)が一つ又はそれ以上の要素を含む場合は、（各）要素ごとに独立した特質符号化が適用される。実施例による特質符号化は、色変換コーディング、特質変換コーディング、ＲＡＨＴ(Ｒｅｇｉｏｎ Ａｄａｐｔｉｖｅ Ｈｉｅｒａｒｃｈｉａｌ Ｔｒａｎｓｆｏｒｍ)コーディング、予測変換(Ｉｎｔｅｒｐｏｌａｒａｔｉｏｎ－ｂａｓｅｄ ｈｉｅｒａｒｃｈｉｃａｌ ｎｅａｒｅｓｔ－ｎｅｉｇｈｂｏｕｒ ｐｒｅｄｉｃｔｉｏｎ－Ｐｒｅｄｉｃｔｉｏｎ Ｔｒａｎｓｆｏｒｍ)コーディング及びリフト変換(ｉｎｔｅｒｐｏｌａｔｉｏｎ－ｂａｓｅｄ ｈｉｅｒａｒｃｈｉｃａｌ ｎｅａｒｅｓｔ－ｎｅｉｇｈｂｏｕｒ ｐｒｅｄｉｃｔｉｏｎ ｗｉｔｈ ａｎ ｕｐｄａｔｅ／ｌｉｆｔｉｎｇ ｓｔｅｐ（Ｌｉｆｔｉｎｇ Ｔｒａｎｓｆｏｒｍ))コーディングを含む。ポイントクラウドコンテンツによって、上述したＲＡＨＴコーディング、予測変換コーディング及びリフト変換コーディングが選択的に使用されるか、又は一つ又はそれ以上のコーディングの組み合わせが使用される。また実施例による特質符号化は上述した例示に限られない。
【0081】
実施例による色変換部４０００６は、特質に含まれた色値(又はテクスチャ)を変換する色変換コーディングを行う。例えば、色変換部４０００６は色相情報のフォーマットを変換(例えば、ＲＧＢからＹＣｂＣｒに変換)する。実施例による色変換部４０００６の動作は、特質に含まれた色値によって任意に(ｏｐｔｉｏｎａｌ)適用される。
【0082】
実施例によるジオメトリ再構成部４０００５は、八分木及び／又は近似化した八分木を再構成(復元)する。ジオメトリ再構成部４０００５はポイントの分布を分析した結果に基づいて八分木／ボクセルを再構成する。再構成された八分木／ボクセルは再構成されたジオメトリ(又は復元されたジオメトリ)とも呼ばれる。
【0083】
実施例による特質変換部４０００７は、ジオメトリ符号化が行われていない位置及び／又は再構成されたジオメトリに基づいて特質を変換する特質変換を行う。上述したように、特質はジオメトリに従属するので、特質変換部４０００７は再構成されたジオメトリ情報に基づいて特質を変換することができる。例えば、特質変換部４０００７は、ボクセルに含まれたポイントの位置値に基づいてその位置のポイントが有する特質を変換することができる。上述したように、一つのボクセルに含まれた一つ又はそれ以上のポイントの位置に基づいて該当ボクセルの中央点の位置が設定される場合、特質変換部４０００７は一つ又はそれ以上のポイントの特質を変換する。ｔｒｉｓｏｕｐジオメトリ符号化が行われた場合、特質変換部４０００７はｔｒｉｓｏｕｐジオメトリ符号化に基づいて特質を変換することができる。
【0084】
特質変換部４０００７は、各ボクセルの中央点の位置(又は位置値)から特定の位置／半径内に隣接しているポイントの特質又は特質値(例えば、各ポイントの色相、又は反射率など)の平均値を計算して特質変換を行う。特質変換部４０００７は平均値の計算時、中央点から各ポイントまでの距離による加重値を適用する。従って、各ボクセルは位置及び計算された特質(又は特質値)を有する。
【0085】
特質変換部４０００７はＫ－Ｄツリー又はモールトンコード(ｍｏｕｌｔｏｎ ｃｏｄｅ)に基づいて各ボクセルの中央点の位置から特定の位置／半径内に存在する隣接ポイントを探索する。Ｋ－Ｄツリーは二分探索木(ｂｉｎａｒｙ ｓｅａｒｃｈ ｔｒｅｅ)で迅速に最短隣接点探索(Ｎｅａｒｅｓｔ Ｎｅｉｇｈｂｏｒ Ｓｅａｒｃｈ－ＮＮＳ)をできるように、ポイントを位置基盤に管理する資料構造を支援する。モールトンコードは全てのポイントの３次元位置を示す座標値(例えば、(ｘ，ｙ，ｚ))をビット値で示し、ビットを混ぜて生成される。例えば、ポイントの位置を示す座標値が(５，９，１)であると、座標値のビット値は(０１０１、１００１、０００１)である。ビット値をｚ、ｙ、ｘの順にビットインデックスに合わせて混ぜると、０１０００１０００１１１である。この値を１０進数で示すと１０９５になる。即ち、座標値が(５，９，１)であるポイントのモールトンコード値は１０９５である。特質変換部４０００７はモールトンコード値を基準としてポイントを整列し、ｄｅｐｔｈ－ｆｉｒｓｔ ｔｒａｖｅｒｓａｌ過程により最短隣接点探索(ＮＮＳ)を行う。特質変換動作後、特質コーディングのための他の変換過程でも最短隣接点探索(ＮＮＳ)が必要であれば、Ｋ－Ｄツリー又はモールトンコードが活用される。
【0086】
図示したように、変換された特質はＲＡＨＴ変換部４０００８及び／又はＬＯＤ生成部４０００９に入力される。
【0087】
実施例によるＲＡＨＴ変換部４０００８は、再構成されたジオメトリ情報に基づいて特質情報を予測するＲＡＨＴコーディングを行う。例えば、ＲＡＨＴ変換部４０００８は、八分木の下位レベルにあるノードに連関する特質情報に基づいて、八分木の上位レベルにあるノードの特質情報を予測することができる。
【0088】
実施例によるＬＯＤ生成部４０００９は予測変換コーディングを行うために、ＬＯＤ(Ｌｅｖｅｌ ｏｆ Ｄｅｔａｉｌ)を生成する。実施例によるＬＯＤはポイントクラウドコンテンツの詳細を示す程度であり、ＬＯＤ値が小さいほどポイントクラウドコンテンツの詳細が下がり、ＬＯＤ値が大きいほどポイントクラウドコンテンツの詳細が高いことが示されている。ポイントをＬＯＤによって分類できる。
【0089】
実施例によるリフト変換部４００１０は、ポイントクラウドの特質を加重値に基づいて変換するリフト変換コーディングを行う。上述したように、リフト変換コーディングは選択的に適用される。
【0090】
実施例による係数量子化部４００１１は、特質コーディングされた特質を係数に基づいて量子化する。
【0091】
実施例による演算エンコーダ４００１２は、量子化された特質を演算コーディングに基づいて符号化する。
【0092】
図４のポイントクラウドエンコーダのエレメントは、図示していないが、ポイントクラウド提供装置に含まれた一つ又はそれ以上のメモリと通信可能に設定された一つ又はそれ以上のプロセッサ又は集積回路(ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔｓ)を含むハードウェア、ソフトウェア、ファームウェア又はこれらの組み合わせで具現される。一つ又はそれ以上のプロセッサは、上述した図４のポイントクラウドエンコーダのエレメントの動作及び／又は機能のうち、いずれか一つを行うことができる。また、一つ又はそれ以上のプロセッサは、図４のポイントクラウドエンコーダのエレメントの動作及び／又は機能を行うためのソフトウェアプログラム及び／又は指示(ｉｎｓｔｒｕｃｔｉｏｎ)のセットを動作又は実行することができる。実施例による一つ又はそれ以上のメモリは高速ランダムアクセスメモリを含むか、又は非揮発性メモリ(例えば、一つ又はそれ以上のマグネチックディスク格納デバイス、フラッシュメモリデバイス、又は他の非揮発性固体のメモリデバイス(Ｓｏｌｉｄ－ｓｔａｔｅ ｍｅｍｏｒｙ ｄｅｖｉｃｅｓ)など)を含む。
【0093】
図５は実施例によるボクセルの一例を示す図である。
【0094】
図５はＸ軸、Ｙ軸、Ｚ軸の３つの軸で構成された座標系で表現される３次元空間上に位置するボクセルを示す。図４に示すように、ポイントクラウドエンコーダ(例えば、量子化部４０００１など)はボクセル化を行う。ボクセルは３次元空間を表現する軸(例えば、Ｘ軸、Ｙ軸、Ｚ軸)に基づいて３次元空間をユニット(ｕｎｉｔ＝１.０)単位で分けたときに発生する３次元キュービック空間を意味する。図５は２つの極点(０,０,０)及び(２d，２d，２d)により定義される境界ボックス(ｃｕｂｉｃａｌ ａｘｉｓ－ａｌｉｇｎｅｄ ｂｏｕｎｄｉｎｇ ｂｏｘ)を再帰的に分割(ｒｅｃｕｌｓｉｖｅ ｓｕｂｄｉｖｉｄｉｎｇ)する八分木構造により生成されたボクセルの一例を示す。一つのボクセルは少なくとも一つ以上のポイントを含む。ボクセルはボクセル群(ｖｏｘｅｌ ｇｒｏｕｐ)との位置関係から空間座標を推定することができる。上述したように、ボクセルは２次元イメージ／映像のピクセルと同様に、特質(色相又は反射率など)を有する。ボクセルに対する具体的な説明は図４で説明した通りであるので、省略する。
【0095】
図６は実施例による八分木及び占有コード(ｏｃｃｕｐａｎｃｙ ｃｏｄｅ)の一例を示す図である。
【0096】
図１ないし図４に示したように、ポイントクラウドコンテンツ提供システム(ポイントクラウドビデオエンコーダ１０００２)又はポイントクラウドエンコーダ(例えば、八分木分析部４０００２)は、ボクセルの領域及び／又は位置を効率的に管理するために、八分木構造基盤の八分木ジオメトリコーディング(又は八分木コーディング)を行う。
【0097】
図６の上側は八分木構造を示している。実施例によるポイントクラウドコンテンツの３次元空間は座標系の軸(例えば、Ｘ軸、Ｙ軸、Ｚ軸)で表現される。八分木構造は２つの極点(０,０,０)及び(２d、２d、２d)により定義される境界ボックス(ｃｕｂｉｃａｌ ａｘｉｓ－ａｌｉｇｎｅｄ ｂｏｕｎｄｉｎｇ ｂｏｘ)を再帰的に分割(ｒｅｃｕｌｓｉｖｅ ｓｕｂｄｉｖｉｄｉｎｇ)して生される。２ｄはポイントクラウドコンテンツ(又はポイントクラウドビデオ)の全体ポイントを取り囲む最小の境界ボックスを構成する値で設定される。ｄは八分木の深さを示す。ｄ値は以下の式により決定される。以下の式において、(ｘint
n，ｙint
n，ｚint
n)は量子化されたポイントの位置(又は位置値)を示す。
【0098】
【数1】
【0099】
図６の上側中央に示したように、分割によって全体３次元空間は８つの空間に分かれる。分割されたそれぞれの空間は６つの面を有するキューブで表現される。図６の右上側に示したように、８つの空間はそれぞれ再び座標系の軸(例えば、Ｘ軸、Ｙ軸、Ｚ軸)により分かれる。よって、それぞれの空間は再び８つの小さい空間に分かれる。分割された小さい空間も６つの面を有するキューブで表現される。このような分割方式は八分木のリーフノード(ｌｅａｆ ｎｏｄｅ)がボクセルになるまで適用される。
【0100】
図６の下側は八分木の占有コードを示す。八分木の占有コードは一つの空間が分かれて発生する８つの分割空間がそれぞれ少なくとも一つのポイントを含むか否かを示すために生成される。従って、一つの占有コードは８つの子ノード(ｃｈｉｌｄ ｎｏｄｅ)で表現される。それぞれの子ノードは分割された空間の占有率(ｏｃｃｕｐａｎｃｙ)を示し、子ノードは１ビットの値を有する。従って、占有コードは８ビットコードで表現される。即ち、子ノードに対応する空間に少なくとも一つのポイントが含まれていると、該当ノードは１値を有する。ノードに対応する空間にポイントが含まれていないと(ｅｍｐｔｙ)、該当ノードは０値を有する。図６に示した占有コードは００１００００１であるので、８つの子ノードのうち、３番目の子ノード及び８番目の子ノードに対応する空間はそれぞれ少なくとも一つのポイントを含むことを示している。図示したように、３番目の子ノード及び８番目の子ノードはそれぞれ８つの子ノードを有し、それぞれの子ノードは８ビットの占有コードで表現される。図面では、３番目の子ノードの占有コードが１００００１１１であり、８番目の子ノードの占有コードが０１００１１１１であることを示している。実施例によるポイントクラウドエンコーダ(例えば、演算エンコーダ４０００４)は占有コードをエントロピー符号化することができる。また圧縮効率を高めるために、ポイントクラウドエンコーダは占有コードをイントラ／インターコーディングすることができる。実施例による受信装置(例えば、受信装置１０００４又はポイントクラウドビデオデコーダ１０００６)は占有コードに基づいて八分木を再構成する。
【0101】
実施例によるポイントクラウドエンコーダ(例えば、図４のポイントクラウドエンコーダ、又は八分木分析部４０００２)は、ポイントの位置を格納するためにボクセル化及び八分木コーディングを行う。しかし、３次元空間内のポイントがいつも均一に分布していることではないので、ポイントが多く存在しない特定の領域が存在し得る。従って、３次元空間の全体に対してボクセル化を行うことは非効率的である。例えば、特定の領域にポイントがほぼ存在しないと、該当領域までボクセル化を行う必要はない。
【0102】
従って、実施例によるポイントクラウドエンコーダは、上述した特定の領域(又は八分木のリーフノードを除いたノード)についてはボクセル化を行わず、特定の領域に含まれたポイントの位置を直接コーディングするダイレクトコーディング(Ｄｉｒｅｃｔ ｃｏｄｉｎｇ)を行う。実施例によるダイレクトコーディングポイントの座標は、ダイレクトコーディングモード(Ｄｉｒｅｃｔ Ｃｏｄｉｎｇ Ｍｏｄｅ、ＤＣＭ)と呼ばれる。また実施例によるポイントクラウドエンコーダは、表面モデル(ｓｕｒｆａｃｅ ｍｏｄｅｌ)に基づいて特定の領域(又はノード)内のポイントの位置をボクセルに基づいて再構成するｔｒｉｓｏｕｐジオメトリ符号化(Ｔｒｉｓｏｕｐ ｇｅｏｍｅｔｒｙ ｅｎｃｏｄｉｎｇ)を行うことができる。ｔｒｉｓｏｕｐジオメトリ符号化はオブジェクトの表現を三角形メッシュ(ｔｒｉａｎｇｌｅ ｍｅｓｈ)のシリーズで表現するジオメトリ符号化である。従って、ポイントクラウドデコーダはメッシュ表面からポイントクラウドを生成することができる。実施例によるダイレクトコーディング及びｔｒｉｓｏｕｐジオメトリ符号化は選択的に行われる。また実施例によるダイレクトコーディング及びｔｒｉｓｏｕｐジオメトリ符号化は八分木ジオメトリコーディング(又は八分木コーディング)と結合して行うことができる。
【0103】
ダイレクトコーディング(Ｄｉｒｅｃｔ ｃｏｄｉｎｇ)を行うためには、ダイレクトコーディングを適用するための直接モード(ｄｉｒｅｃｔ ｍｏｄｅ)の使用オプションが活性化されている必要があり、ダイレクトコーディングを適用するノードはリーフノードではなく、特定のノード内に閾値(ｔｈｒｅｓｈｏｌｄ)以下のポイントが存在する必要がある。またダイレクトコーディングの対象となる全体ポイントの個数は所定の閾値を超えてはいけない。上記条件を満たすと、実施例によるポイントクラウドエンコーダ(又は演算エンコーダ４０００４)はポイントの位置(又は位置値)をエントロピーコーディングすることができる。
【0104】
実施例によるポイントクラウドエンコーダ(例えば、表面近似分析部４０００３)は、八分木の特定のレベルを定め(レベルは八分木の深さｄよりは小さい場合)、そのレベルからは表面モデルを使用してノード領域内のポイントの位置をボクセルに基づいて再構成するｔｒｉｓｏｕｐジオメトリ符号化を行うことができる(ｔｒｉｓｏｕｐモード)。実施例によるポイントクラウドエンコーダは、ｔｒｉｓｏｕｐジオメトリ符号化を適用するレベルを指定できる。例えば、指定されたレベルが八分木の深さと同一であると、ポイントクラウドエンコーダはｔｒｉｓｏｕｐモードで動作しない。即ち、実施例によるポイントクラウドエンコーダは指定されたレベルが八分木の深さ値よりも小さい場合にのみｔｒｉｓｏｕｐモードで動作することができる。実施例による指定されたレベルのノードの３次元立方体領域をブロック(ｂｌｏｃｋ)と呼ぶ。一つのブロックは一つ又はそれ以上のボクセルを含む。ブロック又はボクセルはブリック(ｂｒｉｃｋ)に対応することもできる。それぞれのブロック内においてジオメトリは表面(ｓｕｒｆａｃｅ)と表現される。実施例による表面は最大１回、ブロックの各エッジ(ｅｄｇｅ)と交差することができる。
【0105】
一つのブロックは１２つのエッジを有するので、一つのブロック内に少なくとも１２つの交差点が存在する。それぞれの交差点はバーテックス(ｖｅｒｔｅｘ、頂点又は頂上)と呼ばれる。エッジに沿って存在するバーテックスは該当エッジを共有する全てのブロックのうち、そのエッジに隣接する少なくとも一つの占有ボクセル(ｏｃｃｕｐｉｅｄ ｖｏｘｅｌ)がある場合に検知される。実施例による占有ボクセルはポイントを含むボクセルを意味する。エッジに沿って検出されたバーテックスの位置は、該当エッジを共有する全てのブロックのうち、該当エッジに隣接する全てのボクセルのエッジによる平均位置である(ｔｈｅ ａｖｅｒａｇｅ ｐｏｓｉｔｉｏｎ ａｌｏｎｇ ｔｈｅ ｅｄｇｅ ｏｆ ａｌｌ ｖｏｘｅｌｓ)。
【0106】
バーテックスが検出されると、実施例によるポイントクラウドエンコーダは、エッジの開始点(ｘ、ｙ、ｚ)、エッジの方向ベクトル(Δｘ、Δｙ、Δｚ)、バーテックス位置値(エッジ内の相対的位置値)をエントロピーコーディングすることができる。ｔｒｉｓｏｕｐジオメトリ符号化が適用された場合、実施例によるポイントクラウドエンコーダ(例えば、ジオメトリ再構成部４０００５)は三角形再構成(ｔｒｉａｎｇｌｅ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ)、アップ－サンプリング(ｕｐ－ｓａｍｐｌｉｎｇ)、ボクセル化過程を行って復元されたジオメトリ(再構成されたジオメトリ)を生成することができる。
【0107】
ブロックのエッジに位置するバーテックスはブロックを通過する表面を決定する。実施例による表面は非平面多角形である。三角形再構成の過程ではエッジの開始点、エッジの方向ベクトルとバーテックスの位置値に基づいて三角形で示される表面を再構成する。三角形再構成の過程は以下の通りである。（１）各バーテックスの中心(ｃｅｎｔｒｏｉｄ)値を計算し、（２）各バーテックスの値から中心値を引いた値に（３）自乗を行って、その値を全て併せた値を得る。
【0108】
【数2】
【0109】
加えられた値の最小値を求め、最小値がある軸に沿って投影(Ｐｒｏｊｅｃｔｉｏｎ)過程を行う。例えば、ｘ要素(ｅｌｅｍｅｎｔ)が最小である場合、各バーテックスをブロックの中心を基準としてｘ軸に投影し、(ｙ，ｚ)平面に投影させる。(ｙ，ｚ)平面に投影させて得た値が(ａｉ，ｂｉ)であれば、ａｔａｎ２(ｂｉ、ａｉ)によりθ値を求め、θ値を基準としてバーテックスを整列する。以下の表はバーテックスの個数によって三角形を生成するためのバーテックスの組み合わせを示している。バーテックスは１からｎまで順に整列される。以下の表は４つのバーテックスに対して、バーテックスの組み合わせによって２つの三角形が構成されることを示している。１番目の三角形は整列されたバーテックスのうち、１、２、３番目のバーテックスで構成され、２番目の三角形は整列されたバーテックスのうち、３、４、１番目のバーテックスで構成される。
【0110】
表２－１．Ｔｒｉａｎｇｌｅｓ ｆｏｒｍｅｄ ｆｒｏｍ ｖｅｒｔｉｃｅｓ ｏｒｄｅｒｅｄ １，…，ｎ
【0111】
ｎ ｔｒｉａｎｇｌｅｓ
【0112】
3 (1,2,3)
【0113】
4 (1,2,3), (3,4,1)
【0114】
5 (1,2,3), (3,4,5), (5,1,3)
【0115】
6 (1,2,3), (3,4,5), (5,6,1), (1,3,5)
【0116】
7 (1,2,3), (3,4,5), (5,6,7), (7,1,3), (3,5,7)
【0117】
8 (1,2,3), (3,4,5), (5,6,7), (7,8,1), (1,3,5), (5,7,1)
【0118】
9 (1,2,3), (3,4,5), (5,6,7), (7,8,9), (9,1,3), (3,5,7), (7,9,3)
【0119】
10 (1,2,3), (3,4,5), (5,6,7), (7,8,9), (9,10,1), (1,3,5), (5,7,9), (9,1,5)
【0120】
11 (1,2,3), (3,4,5), (5,6,7), (7,8,9), (9,10,11), (11,1,3), (3,5,7), (7,9,11), (11,3,7)
【0121】
12 (1,2,3), (3,4,5), (5,6,7), (7,8,9), (9,10,11), (11,12,1), (1,3,5), (5,7,9), (9,11,1), (1,5,9)
【0122】
アップサンプリング過程は三角形のエッジに沿って中間に点を追加してボクセル化するために行われる。アップサンプリング係数(ｕｐｓａｍｐｌｉｎｇ ｆａｃｔｏｒ)とブロックの幅を基準として追加点を生成する。追加点はリファインドバーテックス(ｒｅｆｉｎｅｄ ｖｅｒｔｉｃｅ)と呼ばれる。実施例によるポイントクラウドエンコーダはリファインドバーテックスをボクセル化することができる。またポイントクラウドエンコーダはボクセル化された位置(又は位置値)に基づいて特質符号化を行うことができる。
【0123】
図７は実施例による隣接ノードパターンの一例を示す図である。
【0124】
ポイントクラウドビデオの圧縮効率を増加させるために、実施例によるポイントクラウドエンコーダはコンテキスト適応演算(ｃｏｎｔｅｘｔ ａｄａｐｔｉｖｅ ａｒｉｔｈｍｅｔｉｃ)コーディングに基づいてエントロピーコーディングを行う。
【0125】
図１ないし図６で説明したように、ポイントクラウドコンテンツ提供システム又はポイントクラウドエンコーダ(例えば、ポイントクラウドビデオエンコーダ１０００２、図４のポイントクラウドエンコーダ又は演算エンコーダ４０００４)は、占有コードをすぐエントロピーコーディングすることができる。またポイントクラウドコンテンツ提供システム又はポイントクラウドエンコーダは、現在ノードの占有コードと隣接ノードの占有率に基づいてエントロピー符号化(イントラ符号化)を行うか、又は以前フレームの占有コードに基づいてエントロピー符号化(インター符号化)を行うことができる。実施例によるフレームは、同時間に生成されたポイントクラウドビデオの集合を意味する。実施例によるイントラ符号化／インター符号化の圧縮効率は、参照する隣接ノードの個数によって異なる。ビットが大きくなると複雑になるが、一側に傾くようにして圧縮効率を高めることができる。例えば、３－ｂｉｔ ｃｏｎｔｅｘｔを有すると、２の３乗である８つの方法でコーディングする。分けてコーディングする部分は具現の複雑度に影響を及ぼす。従って、圧縮効率と複雑度の適正水準を合わせる必要がある。
【0126】
図７は隣接ノードの占有率に基づいて占有パターンを求める過程を示す。実施例によるポイントクラウドエンコーダは、八分木の各ノードの隣接ノードの占有率(ｏｃｃｕｐａｎｃｙ)を判断して隣接ノードパターン(ｎｅｉｇｈｂｏｒ ｐａｔｔｅｒｎ)値を得る。隣接ノードパターンは該当ノードの占有パターンを推論するために使用される。図７の左側はノードに対応するキューブ(真ん中に位置するキューブ)及び該当キューブと少なくとも一面を共有する６つのキューブ(隣接ノード)を示している。図示したノードは同じ深さのノードである。図示した数字は６つのノードとそれぞれ連関する加重値(１、２、４、８、１６、３２、など)を示す。各加重値は隣接ノードの位置によって順に付与される。
【0127】
図７の右側は隣接ノードパターン値を示す。隣接ノードパターン値は占有された隣接ノード(ポイントを有する隣接ノード)の加重値が掛けられた値の合計である。従って、隣接ノードパターン値は０から６３までの値を有する。隣接ノードパターン値が０であることは、該当ノードの隣接ノードのうち、ポイントを有するノード(占有ノード)がないことを意味する。隣接ノードパターン値が６３であることは、隣接ノードが全て占有ノードであることを意味する。図示したように、加重値１、２、４、８が付与された隣接ノードは占有ノードであるので、隣接ノードパターン値は１、２、４、８を併せた値である１５である。ポイントクラウドエンコーダは隣接ノードパターン値によってコーディングを行うことができる(例えば、隣接ノードパターン値が６３である場合、６４つのコーディングを行う)。実施例においてポイントクラウドエンコーダは隣接ノードパターン値を変更して(例えば、６４を１０又は６に変更するテーブルに基づく)、コーディングの複雑度を減らすことができる。
【0128】
図８は実施例によるＬＯＤごとのポイント構成の一例を示す図である。
【0129】
図１ないし図７で説明したように、特質符号化が行われる前、符号化されたジオメトリは再構成(復元)される。ダイレクトコーディングが適用された場合、ジオメトリ再構成の動作はダイレクトコーディングされたポイントの配置を変更することを含む(例えば、ダイレクトコーディングされたポイントをポイントクラウドデータの前方に配置)。ｔｒｉｓｏｕｐジオメトリ符号化が適用された場合、ジオメトリ再構成の過程は三角形再構成、アップサンプリング、ボクセル化の過程を特質はジオメトリに従属するので、特質符号化は再構成されたジオメトリに基づいて行われる。
【0130】
ポイントクラウドエンコーダ(例えば、ＬＯＤ生成部４０００９)はポイントをＬＯＤごとに分類する(ｒｅｏｒｇａｎｉｚａｔｉｏｎ)。図面はＬＯＤに対応するポイントクラウドコンテンツを示す。図において左側はオリジナルポイントクラウドコンテンツを示す。図において左側から２番目は最低ＬＯＤのポイントの分布を示し、最右側は最高ＬＯＤのポイントの分布を示す。即ち、最低ＬＯＤのポイントは粗い(ｓｐａｒｓｅ)分布であり、最高ＬＯＤのポイントは細かい分布である。即ち、図面の下側に示された矢印方向に沿ってＬＯＤが増加するほどポイント間の間隔(又は距離)は短くなる。
【0131】
図９は実施例によるＬＯＤごとのポイント構成の一例を示す図である。
【0132】
図１ないし図８で説明したように、ポイントクラウドコンテンツ提供システム又はポイントクラウドエンコーダ(例えば、ポイントクラウドビデオエンコーダ１０００２、図４のポイントクラウドエンコーダ又はＬＯＤ生成部４０００９)はＬＯＤを生成する。ＬＯＤはポイントを設定されたＬＯＤ距離値(又はユークリッド距離(Ｅｕｃｌｉｄｅａｎ Ｄｉｓｔａｎｃｅ)のセット)によって改良レベル(ｒｅｆｉｎｅｍｅｎｔ ｌｅｖｅｌｓ)のセットで再整列して生成される。ＬＯＤ生成過程はポイントクラウドエンコーダだけではなく、ポイントクラウドデコーダでも行われる。
【0133】
図９の上側は３次元空間に分布されたポイントクラウドコンテンツのポイントの一例(Ｐ０～Ｐ９)を示す。図９のオリジナルオーダー(Ｏｒｉｇｉｎａｌ ｏｒｄｅｒ)はＬＯＤ生成前のポイントＰ０～Ｐ９の順を示す。図９のＬｏＤ基盤のオーダー(ＬＯＤ ｂａｓｅｄ ｏｒｄｅｒ)はＬＯＤ生成によるポイントの順を示す。ポイントはＬＯＤごとに再整列される。また高いＬＯＤは低いＬＯＤに属するポイントを含む。図９に示すように、ＬＯＤ０はＰ０、Ｐ５、Ｐ４及びＰ２を含む。ＬＯＤ１はＬＯＤ０のポイントとＰ１、Ｐ６及びＰ３を含む。ＬＯＤ２はＬＯＤ０のポイント、ＬＯＤ１のポイント及びＰ９、Ｐ８及びＰ７を含む。
【0134】
図４で説明したように、実施例によるポイントクラウドエンコーダは予測変換コーディング、リフト変換コーディング及びＲＡＨＴ変換コーディングを選択的に又は組み合わせて行うことができる。
【0135】
実施例によるポイントクラウドエンコーダは、ポイントに対する予測機(ｐｒｅｄｉｃｔｏｒ)を生成して各ポイントの予測特質(又は予測特質値)を設定するための予測変換コーディングを行う。即ち、Ｎ個のポイントに対してＮ個の予測機が生成される。実施例による予測機は各ポイントのＬＯＤ値とＬＯＤごとに設定された距離内に存在する隣接ポイントに対するインデックス情報及び隣接ポイントまでの距離値に基づいて加重値(＝１／距離)を計算することができる。
【0136】
実施例による予測特質(又は特質値)は、各ポイントの予測機に設定された隣接ポイントの特質(又は特質値、例えば、色相、反射率など)に各隣接ポイントまでの距離に基づいて計算された加重(又は加重値)を掛けた値の平均値で設定される。実施例によるポイントクラウドエンコーダ(例えば、係数量子化部４００１１)は、各ポイントの特質(特質値)から予測特質(特質値)を引いた残余値(ｒｅｓｉｄｕａｌｓ、残余特質、残余特質値、特質予測残余値などとも呼ばれる)を量子化(ｑｕａｔｉｚａｔｉｏｎ)及び逆量子化(ｉｎｖｅｒｓｅ ｑｕａｎｔｉｚａｔｉｏｎ)することができる。量子化過程は以下の表の通りである。
【0137】
表．Ａｔｔｒｉｂｕｔｅ ｐｒｅｄｉｃｔｉｏｎ ｒｅｓｉｄｕａｌｓ ｑｕａｎｔｉｚａｔｉｏｎ ｐｓｅｕｄｏ ｃｏｄｅ
【0138】
ｉｎｔ ＰＣＣＱｕａｎｔｉｚａｔｉｏｎ(ｉｎＴ ｖａｌｕｅ, ｉｎＴ ｑｕａｎｔＳｔｅｐ) {
【0139】
ｉｆ( ｖａｌｕｅ >=０) {
【0140】
ｒｅｔｕｒｎ ｆｌｏｏｒ(ｖａｌｕｅ / ｑｕａｎｔＳｔｅｐ + １．０ / ３．０);
【0141】
} ｅｌｓｅ {
【0142】
ｒｅｔｕｒｎ -ｆｌｏｏｒ(-ｖａｌｕｅ / ｑｕａｎｔＳｔｅｐ + １．０ / ３．０);
【0143】
｝
【0144】
｝
【0145】
表．Ａｔｔｒｉｂｕｔｅ ｐｒｅｄｉｃｔｉｏｎ ｒｅｓｉｄｕａｌｓ ｉｎｖｅｒｓｅ ｑｕａｎｔｉｚａｔｉｏｎ ｐｓｅｕｄｏ Ｃｏｄｅ
【0146】
ｉｎｔ ＰＣＣＩｎｖｅｒｓｅＱｕａｎｔｉｚａｔｉｏｎ(ｉｎＴ ｖａｌｕｅ, ｉｎＴ ｑｕａｎｔＳｔｅｐ) {
【0147】
ｉｆ( ｑｕａｎｔＳｔｅｐ ==０) {
【0148】
ｒｅｔｕｒｎ ｖａｌｕｅ;
【0149】
} ｅｌｓｅ {
【0150】
ｒｅｔｕｒｎ ｖａｌｕｅ＊ｑｕａｎｔＳｔｅｐ;
【0151】
｝
【0152】
｝
【0153】
実施例によるポイントクラウドエンコーダ(例えば、演算エンコーダ４００１２)は、各ポイントの予測機に隣接するポイントがあれば、上述したように、量子化及び逆量子化された残余値をエントロピーコーディングする。実施例によるポイントクラウドエンコーダ(例えば、演算エンコーダ４００１２)は、各ポイントの予測機に隣接するポイントがないと、上述した過程を行わず、該当ポイントの特質をエントロピーコーディングする。
【0154】
実施例によるポイントクラウドエンコーダ(例えば、リフト変換部４００１０)は、各ポイントの予測機を生成し、予測機に計算されたＬＯＤを設定及び隣接ポイントを登録し、隣接ポイントまでの距離による加重値を設定してリフト変換コーディングを行う。実施例によるリフト変換コーディングは、上述した測変換コーディングと類似するが、特質値に加重値を累積適用するという点で差がある。実施例による特質値に加重値を累積適用する過程は以下の通りである。
【0155】
１）各ポイントの加重値を貯蔵する配列ＱＷ(ＱｕａｎｔｉｚａｔｉｏｎＷｉｅｇｈｔ)を生成する。ＱＷの全ての要素の初期値は１.０である。予測機に登録された隣接ノードの予測機インデックスのＱＷ値に現在ポイントの予測機の加重値を掛けた値を加える。
【0156】
２）リフト予測過程：予測された特質値を計算するために、ポイントの特質値に加重値を掛けた値を既存の特質値から引く。
【0157】
３）アップデートウェイト(ｕｐｄａｔｅｗｅｉｇｈｔ)及びアップデートという臨時配列を生成し、臨時配列を０に初期化する。
【0158】
４）全ての予測機に対して計算された加重値に予測機インデックスに該当するＱＷに貯蔵された加重値をさらに掛けて算出された加重値をアップデートウェイト配列に隣接ノードのインデックスとして累積して合算する。アップデート配列には隣接ノードのインデックスの特質値に算出された加重値を掛けた値を累積して合算する。
【0159】
５）リフトアップデート過程：全ての予測機に対して、アップデート配列の特質値を予測機インデックスのアップデートウェイト配列の加重値で割り、割った値に再び既存の特質値を加える。
【0160】
６）全ての予測機に対して、リフトアップデート過程でアップデートされた特質値にリフト予測過程でアップデートされた(ＱＷに貯蔵された)加重値をさらに掛けて予測特質値を算出する。実施例によるポイントクラウドエンコーダ(例えば、係数量子化部４００１１)は予測特質値を量子化する。またポイントクラウドエンコーダ(例えば、演算エンコーダ４００１２)は量子化された特質値をエントロピーコーディングする。
【0161】
実施例によるポイントクラウドエンコーダ(例えば、ＲＡＨＴ変換部４０００８)は、八分木の下位レベルのノードに連関する特質を使用して上位レベルのノードの特質を予測するＲＡＨＴ変換コーディングを行う。ＲＡＨＴ変換コーディングは八分木バックワードスキャンによる特質イントラコーディングの一例である。実施例によるポイントクラウドエンコーダは、ボクセルから全体領域にスキャンし、各ステップにおいてボクセルをもっと大きいブロックに合わせながらルートノード(ｒｏｏｔ ｎｏｄｅ)までの併合過程を繰り返して行う。実施例による併合過程は、占有ノードのみについて行われる。空ノード(ｅｍｐｔｙ ｎｏｄｅ)については併合過程が行われず、空ノードの直上位ノードについて併合過程が行われる。
【0162】
【0163】
【数3】
【0164】
【0165】
【数4】
【0166】
図１０は実施例によるポイントクラウドデコーダ(Ｐｏｉｎｔ Ｃｌｏｕｄ Ｄｅｃｏｄｅｒ)の一例を示す図である。
【0167】
図１０に示したポイントクラウドデコーダは、図１に示したポイントクラウドビデオデコーダ１０００６の一例であり、図１で説明したイントクラウドビデオデコーダ１０００６の動作などと同一又は類似する動作を行う。図示したように、ポイントクラウドデコーダは一つ又はそれ以上のビットストリーム(ｂｉｔｓｔｒｅａｍ)に含まれたジオメトリビットストリーム(ｇｅｏｍｅｔｒｙ ｂｉｔｓｔｒｅａｍ)及び特質ビットストリーム(Ａｔｔｒｉｂｕｔｅ ｂｉｔｓｔｒｅａｍ)を受信する。ポイントクラウドデコーダはジオメトリデコーダ(ｇｅｏｍｅｔｒｙ ｄｅｃｏｄｅｒ)及び特質デコーダ(Ａｔｔｒｉｂｕｔｅ ｄｅｃｏｄｅｒ)を含む。ジオメトリデコーダはジオメトリビットストリームに対してジオメトリ復号を行って復号されたジオメトリ(ｄｅｃｏｄｅｄ ｇｅｏｍｅｔｒｙ)を出力する。特質デコーダは復号されたジオメトリ及び特質ビットストリームに基づいて特質復号を行って復号された特質(ｄｅｃｏｄｅｄ Ａｔｔｒｉｂｕｔｅs)を出力する。復号されたジオメトリ及び復号された特質はポイントクラウドコンテンツを復元(ｄｅｃｏｄｅｄ ｐｏｉｎｔ ｃｌｏｕｄ)するために使用される。
【0168】
図１１は実施例によるポイントクラウドデコーダ(Ｐｏｉｎｔ Ｃｌｏｕｄ Ｄｅｃｏｄｅｒ)の一例を示す図である。
【0169】
【0170】
【0171】
実施例によるポイントクラウドデコーダは、演算デコーダ(ａｒｉｔｈｍｅｔｉｃ ｄｅｃｏｄｅ)１１０００、八分木合成部(ｓｙｎｔｈｅｓｉｚｅ ｏｃｔｒｅｅ)１１００１、表面近似合成部(ｓｙｎｔｈｅｓｉｚｅ ｓｕｒｆａｃｅ ａｐｐｒｏｘｉｍａｔｉｏｎ)１１００２、ジオメトリ再構成部(ｒｅｃｏｎｓｔｒｕｃｔ ｇｅｏｍｅｔｒｙ)１１００３、座標系逆変換部(ｉｎｖｅｒｓｅ ｔｒａｎｓｆｏｒｍ ｃｏｏｒｄｉｎａｔｅｓ)１１００４、演算デコーダ(ａｒｉｔｈｍｅｔｉｃ ｄｅｃｏｄｅ)１１００５、逆量子化部(ｉｎｖｅｒｓｅ ｑｕａｎｔｉｚｅ)１１００６、ＲＡＨＴ変換部１１００７、ＬＯＤ生成部(ｇｅｎｅｒａｔｅ ＬＯＤ)１１００８、逆リフト部(Ｉｎｖｅｒｓｅ ｌｉｆｔｉｎｇ)１１００９及び／又は色逆変換部(ｉｎｖｅｒｓｅ ｔｒａｎｓｆｏｒｍ ｃｏｌｏｒｓ)１１０１０を含む。
【0172】
演算デコーダ１１０００、八分木合成部１１００１、表面近似合成部１１００２、ジオメトリ再構成部１１００３及び座標系逆変換部１１００４はジオメトリ復号を行う。実施例によるジオメトリ復号はダイレクトコーディング(ｄｉｒｅｃｔ ｃｏｄｉｎｇ)及びｔｒｉｓｏｕｐジオメトリ復号(ｔｒｉｓｏｕｐ ｇｅｏｍｅｔｒｙ ｄｅｃｏｄｉｎｇ)を含む。ダイレクトコーディング及びｔｒｉｓｏｕｐジオメトリ復号は選択的に適用される。またジオメトリ復号は上記の例示に限られず、図１ないし図９で説明したジオメトリ符号化の逆過程で行われる。
【0173】
実施例による演算デコーダ１１０００は、受信したジオメトリビットストリームを演算コーディングに基づいて復号する。演算デコーダ１１０００の動作は演算エンコーダ４０００４の逆過程に対応する。
【0174】
実施例による八分木合成部１１００１は、復号されたジオメトリビットストリームから(又は復号結果、確保されたジオメトリに関する情報)から占有コードを獲得して八分木を生成する。占有コードに関する具体的な説明は図１ないし図９に説明した通りである。
【0175】
実施例による表面近似合成部１１００２は、ｔｒｉｓｏｕｐジオメトリ符号化が適用された場合、復号されたジオメトリ及び／又は生成された八分木に基づいて表面を合成する。
【0176】
実施例によるジオメトリ再構成部１１００３は、表面及び／又は復号されたジオメトリに基づいてジオメトリを再生成する。図１ないし図９で説明したように、ダイレクトコーディング及びｔｒｉｓｏｕｐジオメトリ符号化は選択的に適用される。従って、ジオメトリ再構成部１１００３はダイレクトコーディングが適用されたポイントの位置情報を直接持ってきて追加する。また、ｔｒｉｓｏｕｐジオメトリ符号化が適用される場合、ジオメトリ再構成部１１００３はジオメトリ再構成部４０００５の再構成動作、例えば、三角形再構成、アップサンプリング、ボクセル化動作を行ってジオメトリを復元する。具体的な内容は図６で説明した通りであるので省略する。復元されたジオメトリは特質を含まないポイントクラウドピクチャ又はフレームを含む。
【0177】
実施例による座標系逆変換部１１００４は復元されたジオメトリに基づいて座標系を変換してポイントの位置を得る。
【0178】
演算デコーダ１１００５、逆量子化部１１００６、ＲＡＨＴ変換部１１００７、ＬＯＤ生成部１１００８、逆リフト部１１００９及び／又は色逆変換部１１０１０は、図１０で説明した特質復号を行う。実施例による特質復号は、ＲＡＨＴ(Ｒｅｇｉｏｎ Ａｄａｐｔｉｖｅ Ｈｉｅｒａｒｃｈｉａｌ Ｔｒａｎｓｆｏｒｍ)復号、予測変換(Ｉｎｔｅｒｐｏｌａｒａｔｉｏｎ－ｂａｓｅｄ ｈｉｅｒａｒｃｈｉｃａｌ ｎｅａｒｅｓｔ－ｎｅｉｇｈｂｏｕｒ ｐｒｅｄｉｃｔｉｏｎ－Ｐｒｅｄｉｃｔｉｏｎ Ｔｒａｎｓｆｏｒｍ)復号、及びリフト変換(ｉｎｔｅｒｐｏｌａｔｉｏｎ－ｂａｓｅｄ ｈｉｅｒａｒｃｈｉｃａｌ ｎｅａｒｅｓｔ－ｎｅｉｇｈｂｏｕｒ ｐｒｅｄｉｃｔｉｏｎ ｗｉｔｈ ａｎ ｕｐｄａｔｅ／ｌｉｆｔｉｎｇ ｓｔｅｐ (Ｌｉｆｔｉｎｇ Ｔｒａｎｓｆｏｒｍ))復号を含む。上記３つの復号は選択的に使用されるか、又は一つ又はそれ以上の復号の組み合わせが使用される。また実施例による特質復号は上述した例示に限られない。
【0179】
実施例による演算デコーダ１１００５は、特質ビットストリームを演算コーディングに復号する。
【0180】
実施例による逆量子化部１１００６は、復号された特質ビットストリーム又は復号結果確保した特質に関する情報を逆量子化(ｉｎｖｅｒｓｅ ｑｕａｎｔｉｚａｔｉｏｎ)して、逆量子化された特質(又は特質値)を出力する。逆量子化はポイントクラウドエンコーダの特質符号化に基づいて選択的に適用される。
【0181】
実施例においてＲＡＨＴ変換部１１００７、ＬＯＤ生成部１１００８及び／又は逆リフト部１１００９は、再構成されたジオメトリ及び逆量子化された特質を処理する。上述したように、ＲＡＨＴ変換部１１００７、ＬＯＤ生成部１１００８及び／又は逆リフト部１１００９は、ポイントクラウドエンコーダの符号化によってそれに対応する復号動作を選択的に行う。
【0182】
実施例による色逆変換部１１０１０は、復号された特質に含まれた色値(又はテクスチャ)を逆変換するための逆変換コーディングを行う。色逆変換部１１０１０の動作はポイントクラウドエンコーダの色変換部４０００６の動作に基づいて選択的に行われる。
【0183】
図１１のポイントクラウドデコーダのエレメントは、図示していないが、ポイントクラウド提供装置に含まれた一つ又はそれ以上のメモリと通信可能に設定された一つ又はそれ以上のプロセッサ又は集積回路(ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔｓ)を含むハードウェア、ソフトウェア、ファームウェア又はこれらの組み合わせで具現される。一つ又はそれ以上のプロセッサは、上述した図１１のポイントクラウドデコーダのエレメント動作及び／又は機能のうちのいずれかを行う。また、一つ又はそれ以上のプロセッサは、図１１のポイントクラウドデコーダのエレメントの動作及び／又は機能を行うためのソフトウェアプログラム及び／又は指示(ｉｎｓｔｒｕｃｔｉｏｎ)のセットを動作又は実行する。
【0184】
図１２は実施例による送信装置の一例を示す。
【0185】
図１２に示した送信装置は、図１の送信装置１００００(又は図４のポイントクラウドエンコーダ)の一例である。図１２に示した送信装置は、図１ないし図９で説明したポイントクラウドエンコーダの動作及び符号化方法と同一又は類似する動作及び方法のうちのいずれかを行う。実施例による送信装置は、データ入力部１２０００、量子化処理部１２００１、ボクセル化処理部１２００２、八分木占有コード生成部１２００３、表面モデル処理部１２００４、イントラ／インターコーディング処理部１２００５、演算コーダー１２００６、メタデータ処理部１２００７、色相変換処理部１２００８、特質変換処理部(又は属性変換処理部)１２００９、予測／リフト／ＲＡＨＴ変換処理部１２０１０、演算コーダー１２０１１及び／又は送信処理部１２０１２を含む。
【0186】
実施例によるデータ入力部１２０００はポイントクラウドデータを受信又は獲得する。データ入力部１２０００はポイントクラウドビデオ獲得部１０００１の動作及び／又は獲得方法(又は図２に示した獲得過程２００００)と同一又は類似する動作及び／又は獲得方法を行う。
【0187】
データ入力部１２０００、量子化処理部１２００１、ボクセル化処理部１２００２、八分木占有コード生成部１２００３、表面モデル処理部１２００４、イントラ／インターコーディング処理部１２００５及び演算コーダー１２００６はジオメトリ符号化を行う。実施例によるジオメトリ符号化は、図１ないし図９で説明したジオメトリ符号化と同一又は類似するので、具体的な説明は省略する。
【0188】
実施例による量子化処理部１２００１は、ジオメトリ(例えば、ポイントの位置値、又はポジション値)を量子化する。量子化処理部１２００１の動作及び／又は量子化は、図４に示した量子化部４０００１の動作及び／又は量子化と同一又は類似する。具体的な説明は図１ないし図９に説明した通りである。
【0189】
実施例によるボクセル化処理部１２００２は、量子化されたポイントの位置値をボクセル化する。ボクセル化処理部１２０００２は図４に示した量子化部４０００１の動作及び／又はボクセル化過程と同一又は類似する動作及び／又は過程を行う。具体的な説明は図１ないし図９に説明した通りである。
【0190】
実施例による八分木占有コード生成部１２００３は、ボクセル化されたポイントの位置を八分木構造に基づいて八分木コーディングを行う。八分木占有コード生成部１２００３は占有コードを生成する。八分木占有コード生成部１２００３は図４及び図６で説明したポイントクラウドエンコーダ(又は八分木分析部４０００２)の動作及び／又は方法と同一又は類似する動作及び／又は方法を行う。具体的な説明は図１ないし図９に説明した通りである。
【0191】
実施例による表面モデル処理部１２００４は、表面モデル(ｓｕｒｆａｃｅ ｍｏｄｅｌ)に基づいて特定の領域(又はノード)内のポイントの位置をボクセル基盤に再構成するｔｒｉｓｏｕｐジオメトリ符号化を行う。表面モデル処理部１２００４は図４に示したポイントクラウドエンコーダ(例えば、表面近似分析部４０００３)の動作及び／又は方法と同一又は類似する動作及び／又は方法を行う。具体的な説明は図１ないし図９に説明した通りである。
【0192】
実施例によるイントラ／インターコーディング処理部１２００５は、ポイントクラウドデータをイントラ／インターコーディングする。イントラ／インターコーディング処理部１２００５は、図７で説明したイントラ／インターコーディングと同一又は類似するコーディングを行う。具体的な説明は図７に説明した通りである。実施例においてイントラ／インターコーディング処理部１２００５は演算コーダー１２００６に含まれる。
【0193】
実施例による演算コーダー１２００６は、ポイントクラウドデータの八分木及び／又は近似化された八分木をエントロピー符号化する。例えば、符号化方式は演算(Ａｒｉｔｈｍｅｔｉｃ)符号化方法を含む。演算コーダー１２００６は演算エンコーダ４０００４の動作及び／又は方法と同一又は類似する動作及び／又は方法を行う。
【0194】
実施例によるメタデータ処理部１２００７は、ポイントクラウドデータに関するメタデータ、例えば、設定値などを処理してジオメトリ符号化及び／又は特質符号化などの必要な処理過程に提供する。また実施例によるメタデータ処理部１２００７は、ジオメトリ符号化及び／又は特質符号化に関連するシグナリング情報を生成及び／又は処理する。実施例によるシグナリング情報はジオメトリ符号化及び／又は特質符号化とは別途に符号化処理される。また実施例によるシグナリング情報はインターリービングされることもある。
【0195】
色相変換処理部１２００８、特質変換処理部１２００９、予測／リフト／ＲＡＨＴ変換処理部１２０１０及び演算コーダー１２０１１は特質符号化を行う。実施例による特質符号化は、図１ないし図９で説明した特質符号化と同一又は類似するので具体的な説明は省略する。
【0196】
実施例による色相変換処理部１２００８は、特質に含まれた色相値を変換する色相変換コーディングを行う。色相変換処理部１２００８は再構成されたジオメトリに基づいて色相変換コーディングを行う。再構成されたジオメトリに関する説明は、図１ないし図９に説明した通りである。また図４で説明した色変換部４０００６の動作及び／又は方法と同一又は類似する動作及び／又は方法を行う。具体的な説明は省略する。
【0197】
実施例による特質変換処理部１２００９は、ジオメトリ符号化が行われていない位置及び／又は再構成されたジオメトリに基づいて特質を変換する特質変換を行う。特質変換処理部１２００９は図４に説明した特質変換部４０００７の動作及び／又は方法と同一又は類似する動作及び／又は方法を行う。具体的な説明は省略する。実施例による予測／リフト／ＲＡＨＴ変換処理部１２０１０は変換された特質をＲＡＨＴコーディング、予測変換コーディング及びリフト変換コーディングのうちのいずれか一つ又は組み合わせてコーディングする。予測／リフト／ＲＡＨＴ変換処理部１２０１０は図４に説明したＲＡＨＴ変換部４０００８、ＬＯＤ生成部４０００９及びリフト変換部４００１０の動作と同一又は類似する動作のうちのいずれかを行う。また、予測変換コーディング、リフト変換コーディング及びＲＡＨＴ変換コーディングに関する説明は図１ないし図９に説明した通りであるので、具体的な説明は省略する。
【0198】
実施例による演算コーダー１２０１１は、コーディングされた特質を演算コーディングに基づいて符号化する。演算コーダー１２０１１は演算エンコーダ４０００１２の動作及び／又は方法と同一又は類似する動作及び／又は方法を行う。
【0199】
実施例による送信処理部１２０１２は、符号化されたジオメトリ及び／又は符号化された特質、メタデータ情報を含む各ビットストリームを送信するか、又は符号化されたジオメトリ及び／又は符号化された特質、メタデータ情報を一つのビットストリームで構成して送信する。実施例による符号化されたジオメトリ及び／又は符号化された特質、メタデータ情報が一つのビットストリームで構成された場合、ビットストリームは一つ又はそれ以上のサブビットストリームを含む。実施例によるビットストリームはシーケンスレベルのシグナリングのためのＳＰＳ(Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ)、ジオメトリ情報コーディングのシグナリングのためのＧＰＳ(Ｇｅｏｍｅｔｒｙ Ｐａｒａｍｅｔｅｒ Ｓｅｔ)、特質情報コーディングのシグナリングのためのＡＰＳ(Ａｔｔｒｉｂｕｔｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ)、タイルレベルのシグナリングのためのＴＰＳ(Ｔｉｌｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ)を含むシグナリング情報及びスライスデータを含む。スライスデータは一つ又はそれ以上のスライスに関する情報を含む。実施例による一つのスライスは一つのジオメトリビットストリーム(Ｇｅｏｍ００)及び一つ又はそれ以上の特質ビットストリーム(Ａｔｔｒ００、Ａｔｔｒ１０)を含む。
【0200】
スライス(ｓｌｉｃｅ)とは、コーディングされたポイントクラウドフレームの全体又は一部を示すシンタックスエレメントのシリーズをいう。
【0201】
実施例によるＴＰＳは一つ又はそれ以上のタイルに対してそれぞれのタイルに関する情報(例えば、ｂｏｕｎｄｉｎｇ ｂｏｘの座標値情報及び高さ／サイズ情報など)を含む。ジオメトリビットストリームはヘッダとペイロードを含む。実施例によるジオメトリビットストリームのヘッダはＧＰＳに含まれたパラメータセットの識別情報(ｇｅｏｍ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄ)、タイル識別子(ｇｅｏｍ_ｔｉｌｅ_ｉｄ)、スライス識別子(ｇｅｏｍ_ｓｌｉｃｅ_ｉｄ)及びペイロードに含まれたデータに関する情報などを含む。上述したように、実施例によるメタデータ処理部１２００７はシグナリング情報を生成及び／又は処理して送信処理部１２０１２に送信することができる。実施例において、ジオメトリ符号化を行うエレメント及び特質符号化を行うエレメントは、点線処理したように、相互データ／情報を共有することができる。実施例による送信処理部１２０１２は送信機１０００３の動作及び／又は送信方法と同一又は類似する動作及び／又は送信方法を行う。具体的な説明は図１及び図２に説明した通りであるので、省略する。
【0202】
図１３は実施例による受信装置の一例を示す。
【0203】
図１３に示した受信装置は、図１の受信装置１０００４(又は図１０及び図１１のポイントクラウドデコーダ)の一例である。図１３に示した受信装置は、図１ないし図１１で説明したポイントクラウドデコーダの動作及び復号方法と同一又は類似する動作及び方法のうちのいずれかを行う。
【0204】
実施例による受信装置は、受信部１３０００、受信処理部１３００１、演算(ａｒｉｔｈｍｅｔｉｃ)デコーダ１３００２、占有コード(Ｏｃｃｕｐａｎｃｙ ｃｏｄｅ)基盤の八分木再構成処理部１３００３、表面モデル処理部(三角形再構成、アップサンプリング、ボクセル化)１３００４、逆(ｉｎｖｅｒｓｅ)量子化処理部１３００５、メタデータ分析１３００６、演算(ａｒｉｔｈｍｅｔｉｃ)デコーダ１３００７、逆量子化処理部１３００８、予測／リフト／ＲＡＨＴ逆変換処理部１３００９、色相逆変換処理部１３０１０及び／又はレンダラー１３０１１を含む。実施例による復号の各構成要素は実施例による符号化の構成要素の逆過程を行う。
【0205】
実施例による受信部１３０００は、ポイントクラウドデータを受信する。受信部１３０００は図１の受信機１０００５の動作及び／又は受信方法と同一又は類似する動作及び／又は受信方法を行う。具体的な説明は省略する。
【0206】
実施例による受信処理部１３００１は受信したデータからジオメトリビットストリーム及び／又は特質ビットストリームを得る。受信処理部１３００１は受信部１３０００に含まれる。
【0207】
演算デコーダ１３００２、占有コード基盤の八分木再構成処理部１３００３、表面モデル処理部１３００４及び逆量子化処理部１３００５はジオメトリ復号を行う。実施例によるジオメトリ復号は図１ないし図１０で説明したジオメトリ復号と同一又は類似するので、具体的な説明は省略する。
【0208】
実施例による演算デコーダ１３００２はジオメトリビットストリームを演算コーディングに基づいて復号する。演算デコーダ１３００２は演算デコーダ１１０００の動作及び／又はコーディングと同一又は類似する動作及び／又はコーディングを行う。
【0209】
実施例による占有コード基盤の八分木再構成処理部１３００３は、復号されたジオメトリビットストリームから(又は復号結果、確保されたジオメトリに関する情報)から占有コードを獲得して八分木を再構成する。占有コード基盤の八分木再構成処理部１３００３は、八分木合成部１１００１の動作及び／又は八分木生成方法と同一又は類似する動作及び／又は方法を行う。実施例による表面モデル処理部１３００４はｔｒｉｓｏｕｐジオメトリ符号化が適用された場合、表面モデル方式に基づいてｔｒｉｓｏｕｐジオメトリ復号及びそれに関連するジオメトリ再構成(例えば、三角形再構成、アップサンプリング、ボクセル化)を行う。表面モデル処理部１３００４は表面近似合成部１１００２及び／又はジオメトリ再構成部１１００３の動作と同一又は類似する動作を行う。
【0210】
実施例による逆量子化処理部１３００５は復号されたジオメトリを逆量子化する。
【0211】
実施例によるメタデータ分析１３００６は受信したポイントクラウドデータに含まれたメタデータ、例えば、設定値などを分析する。メタデータ分析１３００６はメタデータをジオメトリ復号及び／又は特質復号に伝達する。メタデータに関する具体的な説明は図１２で説明した通りであるので省略する。
【0212】
演算デコーダ１３００７、逆量子化処理部１３００８、予測／リフト／ＲＡＨＴ逆変換処理部１３００９及び色相逆変換処理部１３０１０は特質復号を行う。特質復号は図１なしい図１０で説明した特質復号と同一又は類似するので、具体的な説明は省略する。
【0213】
実施例による演算デコーダ１３００７は、特質ビットストリームを演算コーディングに復号する。演算デコーダ１３００７は再構成されたジオメトリに基づいて特質ビットストリームの復号を行う。演算デコーダ１３００７は演算デコーダ１１００５の動作及び／又はコーディングと同一又は類似する動作及び／又はコーディングを行う。
【0214】
実施例による逆量子化処理部１３００８は、復号された特質ビットストリームを逆量子化する。逆量子化処理部１３００８は逆量子化部１１００６の動作及び／又は逆量子化方法と同一又は類似する動作及び／又は方法を行う。
【0215】
実施例による予測／リフト／ＲＡＨＴ逆変換処理部１３００９は、再構成されたジオメトリ及び逆量子化された特質を処理する。予測／リフト／ＲＡＨＴ逆変換処理部１３００９は、ＲＡＨＴ変換部１１００７、ＬＯＤ生成部１１００８及び／又は逆リフト部１１００９の動作及び／又は復号と同一又は類似する動作及び／又は復号のうちのいずれかを行う。実施例による色相逆変換処理部１３０１０は、復号された特質に含まれた色値(又はテクスチャ)を逆変換するための逆変換コーディングを行う。色相逆変換処理部１３０１０は色逆変換部１１０１０の動作及び／又は逆変換コーディングと同一又は類似する動作及び／又は逆変換コーディングを行う。実施例によるレンダラー１３０１１はポイントクラウドデータをレンダリングする。
【0216】
図１４は実施例によるポイントクラウドデータの送受信方法／装置に連動可能な構造の一例を示す図である。
【0217】
図１４の構造はサーバー１４６０、ロボット１４１０、自律走行車両１４２０、ＸＲ装置１４３０、スマートフォン１４４０、家電１４５０及び／又はＨＭＤ１４７０のうちのいずれかがクラウドネットワーク１４１０に連結された構成を示している。ロボット１４１０、自律走行車両１４２０、ＸＲ装置１４３０、スマートフォン１４４０又は家電１４５０などは装置とも呼ばれる。またＸＲ装置１４３０は実施例によるポイントクラウドデータ(ＰＣＣ)装置に対応するか又はＰＣＣ装置に連動する。
【0218】
クラウドネットワーク１４００はクラウドコンピューティングインフラの一部を構成するか、又はクラウドコンピューティングインフラ内に存在するネットワークを意味する。ここで、クラウドネットワーク１４００は３Ｇネットワーク、４Ｇ又はＬＴＥネットワーク又は５Ｇネットワークなどを用いて構成される。
【0219】
サーバー１４６０はロボット１４１０、自律走行車両１４２０、ＸＲ装置１４３０、スマートフォン１４４０、家電１４５０及び／又はＨＭＤ１４７０のいずれかにクラウドネットワーク１４００により連結され、連結された装置１４１０～１４７０のプロセシングの少なくとも一部を助けることができる。
【0220】
ＨＭＤ(Ｈｅａｄ－Ｍｏｕｎｔ Ｄｉｓｐｌａｙ)１４７０は実施例によるＸＲデバイス及び／又はＰＣＣデバイスが具現されるタイプのうちのいずれかを示す。実施例によるＨＭＤタイプのデバイスは、コミュニケーションズユニット、コントロールユニット、メモリユニット、Ｉ／Ｏユニット、センサユニット及びパーワ供給ユニットなどを含む。
【0221】
以下、上記技術が適用される装置１４１０～１４５０の様々な実施例について説明する。ここで、図１４に示した装置１４１０～１４５０は上述した実施例によるポイントクラウドデータ送受信装置に連動／結合することができる。
【0222】
＜ＰＣＣ＋ＸＲ＞
【0223】
ＸＲ／ＰＣＣ装置１４３０はＰＣＣ及び／又はＸＲ(ＡＲ＋ＶＲ)技術が適用されて、ＨＭＤ(Ｈｅａｄ－Ｍｏｕｎｔ Ｄｉｓｐｌａｙ)、車両に備えられたＨＵＤ(Ｈｅａｄ－Ｕｐ Ｄｉｓｐｌａｙ)、ＴＶ、携帯電話、スマートフォン、コンピューター、ウェアラブルデバイス、家電機器、デジタル看板、車両、固定型ロボットや移動型ロボットなどに具現されることもできる。
【0224】
ＸＲ／ＰＣＣ装置１４３０は、様々なセンサにより又は外部装置から獲得した３次元ポイントクラウドデータ又はイメージデータを分析して３次元ポイントに対する位置データ及び特質データを生成することにより周辺空間又は現実オブジェクトに関する情報を得て、出力するＸＲ客体をレンダリングして出力することができる。例えば、ＸＲ／ＰＣＣ装置１４３０は認識された物体に関する追加情報を含むＸＲ客体を該当認識された物体に対応して出力することができる。
【0225】
＜ＰＣＣ＋ＸＲ＋モバイルフォン＞
【0226】
ＸＲ／ＰＣＣ装置１４３０は、ＰＣＣ技術が適用されて、モバイルフォン１４４０などで具現されることができる。
【0227】
モバイルフォン１４４０は、ＰＣＣ技術に基づいてポイントクラウドコンテンツを復号し、ディスプレイすることができる。
【0228】
＜ＰＣＣ＋自立走行＋ＸＲ＞
【0229】
自律走行車両１４２０はＰＣＣ技術及びＸＲ技術が適用されて、移動型ロボット、車両、無人飛行体などで具現される。
【0230】
ＸＲ／ＰＣＣ技術が適用された自律走行車両１４２０は、ＸＲ映像を提供する手段を備えた自律走行車両やＸＲ映像内での制御／相互作用の対象となる自律走行車両などを意味する。特に、ＸＲ映像内での制御／相互作用の対象となる自律走行車両１４２０はＸＲ装置１４３０とは区分されて互いに連動されることができる。
【0231】
ＸＲ／ＰＣＣ映像を提供する手段を備えた自律走行車両１４２０は、カメラを含むセンサからセンサ情報を得、得たセンサ情報に基づいて生成されたＸＲ／ＰＣＣ映像を出力する。例えば、自律走行車両１４２０はＨＵＤを備えてＸＲ／ＰＣＣ映像を出力することにより、搭乗者に現実オブジェクト又は画面内のオブジェクトに対応するＸＲ／ＰＣＣ客体を提供することができる。
【0232】
この時、ＸＲ／ＰＣＣ客体がＨＵＤに出力される場合には、ＸＲ／ＰＣＣ客体の少なくとも一部が搭乗者の視線が向く実際の客体にオーバーラップされるように出力される。反面、ＸＲ／ＰＣＣ客体が自律走行車両内に備えられるディスプレイに出力される場合には、ＸＲ／ＰＣＣ客体の少なくとも一部が画面内の客体にオーバーラップされるように出力される。例えば、自律走行車両１２２０は車路、他の車両、信号灯、交通表示板、二輪車、歩行者、建物などのような客体に対応するＸＲ／ＰＣＣ客体を出力することができる。
【0233】
実施例によるＶＲ(Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ)技術、ＡＲ(Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ)技術、ＭＲ(Ｍｉｘｅｄ Ｒｅａｌｉｔｙ)技術及び／又はＰＣＣ(Ｐｏｉｎｔ Ｃｌｏｕｄ Ｃｏｍｐｒｅｓｓｉｏｎ)技術は、様々なデバイスに適用可能である。
【0234】
即ち、ＶＲ技術は現実の客体や背景などをＣＧ映像のみで提供するディスプレイ技術である。反面、ＡＲ技術は実際物事の映像上に仮想のＣＧ映像を共に見せる技術である。また、ＭＲ技術は現実世界に仮想客体を混ぜて見せるという点では上記ＡＲ技術と類似する。しかし、ＡＲ技術では現実の客体とＣＧ映像からなる仮想の客体の区別が明らかであり、現実客体を補完する形態で仮想の客体を使用する反面、ＭＲ技術では仮想の客体と現実の客体が同様の性格と見なされるという点でＡＲ技術とは区別される。より具体的には、例えば、上記ＭＲ技術が適用されたことがホログラムサービスである。
【0235】
但し、最近にはＶＲ、ＡＲ、ＭＲ技術を明確に区別するよりは、ＸＲ(ｅｘｔｅｎｄｅｄ Ｒｅａｌｉｔｙ)技術とも呼ぶ。よって、本発明の実施例はＶＲ、ＡＲ、ＭＲ、ＸＲ技術のいずれにも適用可能である。かかる技術はＰＣＣ、Ｖ－ＰＣＣ、Ｇ－ＰＣＣ技術基盤の符号化／復号が適用される。
【0236】
実施例によるＰＣＣ方法／装置は自律走行サービスを提供する車両に適用できる。
【0237】
自律走行サービスを提供する車両はＰＣＣデバイスと有無線通信可能に連結される。
【0238】
実施例によるポイントクラウドデータ(ＰＣＣ)送受信装置は、車両と有無線通信可能に連結された場合、自律走行サービスと共に提供できるＡＲ／ＶＲ／ＰＣＣサービス関連コンテンツデータを受信／処理して車両に送信することができる。またポイントクラウドデータ送受信装置車両に搭載された場合は、ポイントクラウド送受信装置はユーザインターフェース装置で入力されたユーザ入力信号によってＡＲ／ＶＲ／ＰＣＣサービス関連コンテンツデータを受信／処理してユーザに提供することができる。実施例による車両又はユーザインターフェース装置はユーザ入力信号を受信する。実施例によるユーザ入力信号は自律走行サービスを指示する信号を含む。
【0239】
実施例によるポイントクラウドデータ送信方法／装置は、図１の送信装置１００００、ポイントクラウドビデオエンコーダ１０００２、送信機１０００３、図２の獲得－符号化－送信２００００－２０００１－２０００２、図４のエンコーダ、図１２の送信装置、図１４のデバイス、図１５のプロセッサ(動きベクトル分類機)などを称する用語として解釈される。
【0240】
実施例によるポイントクラウドデータ受信方法／装置は、図１の受信装置１０００４、受信機１０００５、ポイントクラウドビデオデコーダ１０００６、図２の送信－復号－レンダリング２０００２－２０００３－２０００４、図１０及び図１１のデコーダ、図１３の受信装置、図１４のデバイス、図１５のプロセッサ(動きベクトル分類機)などを称する用語として解釈される。
【0241】
また、実施例によるポイントクラウドデータ送受信方法／装置は、実施例による方法／装置に略称することもある。
【0242】
実施例において、ポイントクラウドデータを構成するジオメトリデータ、ジオメトリ情報、位置情報などは互いに同じ意味に解釈される。ポイントクラウドデータを構成する特質データ、特質情報、属性情報などは互いに同一の意味として解釈される。
【0243】
実施例による方法／装置は、ＰＣＣコンテンツ圧縮のためのデータ分布適応的予測ユニットを定義して符号化／復号する(Ｔｈｅ ｍｅｔｈｏｄ ｆｏｒ ｄｅｆｉｎｉｎｇ Ｄｉｓｔｒｉｂｕｔｉｏｎ ａｄａｐｔｉｖｅ Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ ｏｎ ＰＣＣ)。
【0244】
実施例による符号化／復号化の方法は、フレーム単位でポイントクラウドデータを圧縮して復元する。特に、１つ以上のフレームを有するポイントクラウドデータの圧縮効率を高めるための方法であって、実施例はフレーム間の予測技術を適用するために予測単位(ｐｒｅｄｉｃｔｉｏｎ ｕｎｉｔ，ＰＵ)を定義して使用する。実施例による予測ユニット(ｐｒｅｄｉｃｔｉｏｎ ｕｎｉｔ)は、実施例によってユニット、第１のユニット、領域、第１の領域などと様々に呼ばれる。
【0245】
実施例は、ポイントクラウド(ｐｏｉｎｔ ｃｌｏｕｄ)からなるデータを圧縮するための方法を提供する。具体的に、１つ以上のフレームを有するポイントクラウドの効果的な圧縮のために非常に少数のポイントを含むＰＵを処理する方法を提案する。
【0246】
ＥＭ(ｉｎｔｅｒ ｐｒｅｄｉｃｔｉｏｎ)技術において、動き推定(Ｍｏｔｉｏｎ ｅｓｔｉｍａｔｉｏｎ)を行うために適用された方法は、最小６つから最大２６つの互いに異なる方向の単位ベクトルからなるＬＵＴ(Ｌｏｏｋ Ｕｐ Ｔａｂｌｅ)が存在する。動き推定の対象となるポイントのベクトル距離(ｖｅｃｔｏｒ ｄｉｆｆｅｒｅｎｃｅ)から現在フレーム(ｃｕｒｒｅｎｔ ｆｒａｍｅ)のポイントとなるために加われる最適な動きベクトルを探す過程を経てベスト動きベクトル(ｂｅｓｔ ｍｏｔｉｏｎ ｖｅｃｔｏｒ)で動き補償(ｍｏｔｉｏｎ ｃｏｍｐｅｎｓａｔｉｏｎ)を行う。
【0247】
このとき、ＬＵＴで定義されたユニットベクトル(ｕｎｉｔ ｖｅｃｔｏｒ)の情報は、（各）軸ごとに９０°ずつ回転して得られる６つのベクトルからなる最小のｖｅｃｔｏｒ ＬＵＴ又は調査パターン(ｓｅａｒｃｈｉｎｇ ｐａｔｔｅｒｎ)で定義され、全ての方向に４５°で傾けられている２６つのユニットベクトルからなる調査パターンが最大のＬＵＴを適用する。ＬＵＴは、状況によって、適応的(ａｄａｐｔｉｖｅ)に適用されるのではなく、ユーザの必要に応じて手動にＬＵＴを切り替えする必要がある。この調査パターンは、所定の探索方向に繰り返して実行することで動きベクトルが探せるという長所があるが、それぞれのターゲットベクトル(ｔａｒｇｅｔ ｖｅｃｔｏｒ)－スケールファクタ(ｓｃａｌｅ ｆａｃｔｏｒ)ｘ調査パターン(ｓｅａｒｃｈｉｎｇ ｐａｔｔｅｒｎ)に対して最小の差異を有するスケールファクタｘ調査パターンを探し、繰り返してスケールファクタ(ｓｃａｌｅ ｆａｃｔｏｒ)を調整しながら最も近い動きベクトルを探していく方式である。
【0248】
しかし、動きベクトルを探す対象、すなわち、調査領域(Ｓｅａｒｃｈ Ｗｉｎｄｏｗ)内に含まれたポイントの数と現在フレーム(ｃｕｒｒｅｎｔ ｆｒａｍｅ)において現在ノード(ｃｕｒｒｅｎｔ ｎｏｄｅ)内に含まれたポイントの数が過度に少ない場合にもこの方法を適用するが、２つ、３つのポイントに対する動きベクトル推定(ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｅｓｔｉｍａｔｉｏｎ)を行うためにこの方法を適用することは、過度なコスト(ｃｏｓｔ)の浪費となり、その情報を探すためにＲＤＯ値を基準として判断するため、非常に少ないポイント数の場合には正確度が低下する可能性もある。
【0249】
実施例は、動きベクトル推定(ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｅｓｔｉｍａｔｉｏｎ)を行うとき、対象となるポイント数が所定数の以下である場合、既存の過度な動きベクトル推定(ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｅｓｔｉｍａｔｉｏｎ)方法ではなく、別の分類プロセスを経て動きベクトル推定を直接に処理する方法を提供する。
【0250】
実施例は、動きベクトルダイレクトコーディングモード(Ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｄｉｒｅｃｔ ｃｏｄｉｎｇ ｍｏｄｅ，ＭＶＤＣＭ)に基づいて、調査領域(Ｓｅａｒｃｈ ｗｉｎｄｏｗ)と予測ユニット(Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ)内に含まれたポイント数が所定数の以下である場合、他のポイントと分離して処理する。
【0251】
また、調査領域(Ｓｅａｒｃｈ ｗｉｎｄｏｗ)と予測ユニット(Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ)内に含まれたポイントが極小である場合、動きベクトル推定過程を省略してもよい。
【0252】
調査領域と予測ユニット内に含まれたポイントが極小である場合、送信機では動きベクトル情報を省略し、調査領域と予測ユニットの状態を示す情報に基づいて受信機において動きベクトルを計算して適用する。
【0253】
ＭＶＤＣＭの場合、既存の予測ユニットを基本とする動きベクトル推定／補償の方法とは分離して動きベクトルを計算する。
【0254】
実施例間の変更及び結合が可能である。本明細書で使用する用語は、当該分野において広く使用される範囲内で、用語の意図する意味に基づいて理解される。本明細書では、属性情報(特質データ)をサブサンプリングする場合を例示したが、位置情報(ジオメトリデータ)をサブサンプリングするか、ポイントそのものをサブサンプリングするか、ポイントクラウドを構成する情報を非対称的に構成するためにサブサンプリングする場合にも適用できる。
【0255】
実施例による方法／装置の動作は、位置情報に基づいて作成されているが、ポイント単位、非対称分割単位、属性情報単位、又は位置と属性情報単位のいずれにも適用できる。
【0256】
図１５は実施例による動きベクトル分類機を示す。
【0257】
図１５の実施例による動きベクトル分類機は、図１の送信装置１００００、ポイントクラウドビデオエンコーダ１０００２、受信装置１０００４、ポイントクラウドビデオデコーダ１０００６、図２の符号化２０００１、復号２０００３、図４のエンコーダ、図１０及び図１１のデコーダ、図１２の送信装置、図１３の受信装置、図１４のＸＲデバイス１４３０、図２６の符号化方法、図２７の復号化方法、図２８の送信方法、図２９の受信方法などに含まれるか対応する。
【0258】
図１５の各構成要素は、ハードウェア、ソフトウェア、プロセッサ、及び／又はそれらの組み合わせに対応する。
【0259】
実施例による動きベクトル分類機(又はプロセッサ、コントローラーなどとも呼ばれる)は、分類機１５００及び動きベクトル 推定機１５０１を含む。
【0260】
図１５は、調査ターゲット(Ｓｅａｒｃｈ Ｔａｒｇｅｔ)に含まれたポイント数が基準値以下の場合、動きベクトルをダイレクトコーディング(Ｄｉｒｅｃｔ Ｃｏｄｉｎｇ)する対象と選定し、その動きベクトルを推定(ｅｓｔｉｍａｔｉｏｎ)せず、直接に計算して分類する構造である。参照フレーム(Ｒｅｆｅｒｅｎｃｅ ｆｒａｍｅ)と現在フレーム(ｃｕｒｒｅｎｔ ｆｒａｍｅ)のポイントクラウド(ＰｏｉｎｔＣｌｏｕｄ)があり、現在フレームで予測ユニット(ＰＵ)が定義された場合、調査領域(ｓｅａｒｃｈ ｗｉｎｄｏｗ)の領域は、以下のように定義される。
【0261】
Ｓｅａｒｃｈ ｗｉｎｄｏｗ[３] ＝ ＰＵ[３] ＋ ｍｏｔｉｏｎ_ｗｉｎｄｏｗ＿ｓｉｚｅ[３]
【0262】
Ｓｅａｒｃｈ ＷｉｎｄｏｗとＰＵ、ｍｏｔｉｏｎ＿ｗｉｎｄｏｗ＿ｓｉｚｅは、３つの値を有する配列で、調査領域(Ｓｅａｒｃｈ ｗｉｎｄｏｗ)とＰＵはキューブ(Ｃｕｂｅ)又はキューボイド(Ｃｕｂｏｉｄ)の形態となり、調査領域はＰＵを含み、ＰＵより大きい領域で示す。Ｃｕｂｅ又はＣｕｂｏｉｄに定義されることで、３つの軸のそれぞれのサイズ(ｓｉｚｅ)が異なってもよく、同一であってよい。
【0263】
予測ユニットと調査領域が定義された後は、現在フレームに該当するポイントクラウドの中でＰＵ領域に該当するポイントを動きベクトル推定する対象と選定し、参照フレームのポイントクラウドの中で調査領域に含まれるポイントを探して動きベクトル推定する対象と選定して、１次分類する。
【0264】
参照フレームは、現在フレームを符号化／復号化するために参照するフレームである。現在フレームの以前に符号化／復号化されたフレームであってもよい。
【0265】
実施例による動きベクトル分類機は、調査ターゲットに含まれたポイント数が基準値以下の場合、現在フレーム及び／又は参照フレーム上の予測ユニットを選定し、調査領域を定義する。
【0266】
実施例による動きベクトル分類機は、ＰＵと調査領域の範囲のポイントを選定する。ＰＵ及び調査領域の形態及びサイズなどによってポイントが選定される。
【0267】
実施例による動きベクトル分類機は、現在フレームのポイントがＭＶＤＣＭ(ダイレクトコーディング、特定のコーディングモードなどとも呼ばれる)対象であるかを確認する。ＰＵ及び／又は調査領域に含まれたポイント数をカウントする。
【0268】
実施例による分類機１５００は、ポイントがＭＶＤＣＭ対象ポイントである場合、ＭＶＣＤＣＭのための動きベクトルを決定する。
【0269】
実施例による動きベクトル推定機１５０１は、ポイントがＭＶＤＣＭ対象ポイントではない場合、動きベクトル推定を行う。
【0270】
現在フレームは第１のフレーム、参照フレームは第２のフレームとも呼ばれる。
【0271】
図１６は実施例による参照フレーム及び現在フレームを示す。
【0272】
【0273】
図１６に示すように、２つのフレームにおいて類似位置に該当する領域におけるポイントを動きベクトル推定の対象とする。
【0274】
実施例によるエンコーダ／デコーダが現在フレーム１６０１を符号化／復号化する。現在フレーム１６０１は、ポイント(ジオメトリデータ及び／又は特質データ１６０３)を含む。現在フレーム１６０１を符号化／復号するために、参照フレーム１６００を参照する。参照フレーム１６００は、符号化／復号化されたポイント１６０２を含む。現在フレーム１６０１の符号化／復号化の対象がＰＵ１６０２である場合、ポイントの予測のために、参照する情報を参照フレーム１６００の調査領域１６０４に基づいて調査する。
【0275】
図１７は実施例による調査領域及び／又は予測ユニットに含まれたポイントを示す。
【0276】
【0277】
図１６に示したように、調査領域と予測ユニット(ＰＵ)の範囲が決定されれば、その範囲に含まれたポイント数を各々の領域においてカウントする。
【0278】
参照フレームの調査領域に少ない数のポイントが存在し、その数が同一であるか、調査領域のポイント数と予測ユニットのポイント数が異なり、予測ユニットのポイント数がＭＶＤＣＭの基準ポイントと同一である場合、ＭＶＤＣＭ(Ｍｏｔｉｏｎ ｖｅｃｔｏｒ Ｄｉｒｅｃｔ Ｃｏｄｉｎｇ Ｍｏｄｅ)の対象となる。
【0279】
そのＰＵがＭＶＤＣＭとなっていることを区分可能なシグナリングと、ＭＶＤＣＭに分類可能なポイント基準情報を示すシグナリングを図２２のビットストリームに追加してもよい。
【0280】
例えば、参照フレームの調査領域は、Ｐｒ１、Ｐｒ２、Ｐｒ３のようにポイントを３つ含む。現在フレームの予測ユニットは、Ｐｃ１、Ｐｃ２、Ｐｃ３のようにポイントを３つ含む。
【0281】
【0282】
図１８、図１９、図２０、図２１に示す動きベクトル推定は、図１５の動きベクトル分類機(プロセッサ、コントローラー)、図１５を含むか対応するポイントクラウドデータ送受信方法／装置などによって実行される。以下、実施例による動作を行うプロセッサを動きベクトル推定機とも呼ぶ。
【0283】
実施例による動きベクトル推定方法(動きベクトル推定機)は、様々な方法を含む。実施例の１つとして以下のような方法のいずれかが適用される。
【0284】
現在予測ユニットがＭＶＤＣＭ条件を満たす場合、調査領域に含まれたポイント情報をそのまま相続することができる。
【0285】
相続されたポイントが予測ユニット範囲から外れた場合、そのポイントは、図１８に示したように予測されたポイントクラウド対象から除外してもよい。
【0286】
例えば、図１７において、予測ユニットのポイントＰｃ１、Ｐｃ２、Ｐｃ３が３つであり、その個数がＭＶＣＤＭ条件を満たす場合、調査領域に含まれたポイントＰｒ１、Ｐｒ２、Ｐｒ３の情報をそのまま予測ユニットのポイント情報として相続する。例えば、Ｐｒ１、Ｐｒ２、Ｐｒ３位置情報(ジオメトリデータ)、属性情報(特質データ)をＰｃ１、Ｐｃ２、Ｐｃ３の位置情報(ジオメトリデータ)、属性情報(特質データ)として相続する。
【0287】
ここで、相続されたＰｒ１、Ｐｒ２、Ｐｒ３ポイントが予測ユニット範囲から外れることがある。例えば、Ｐｒ１がＰＵ範囲から外れる。実施例による方法／装置は、範囲から外れた相続ポイントを予測されたポイントクラウドから除外することができる。予測ポイントは参照フレームのＰｒ２、Ｐｒ３となる。
【0288】
実施例による動きベクトル推定機は、調査領域とＰＵブロックの位置のうち、原点と最も近い位置をそれぞれ探す。例えば、最下端の左前に位置したポイントが選定される。
【0289】
図１９によれば、調査領域の最下端の左前に位置したポイントから矢印で連結された位置までの距離をベクトルとし、ＭＶＤＣＭの条件を満たすと、そのベクトルを調査領域に含まれたポイントに適用して動きベクトル補償を行う。
【0290】
補償後のポイントが予測機、すなわち、ＰＵと同一の位置／サイズのブロック内に含まれる場合は、そのポイントをＰＵの予測されたポイントクラウドとする。
【0291】
例えば、実施例による動きベクトル推定機は、調査領域において原点に最も近い位置１９００を探し、ＰＵにおいて原点に最も近い位置１９０１を探す。２つの点を連結するベクトルを生成する。ここで、ポイント数が基準値以下の場合、ＭＶＤＣＭのために、ベクトルに基づいて調査領域に含まれたポイントに適用して動きベクトル補償を行う。ベクトルに基づいて予測(動き補償)されたポイントのそれぞれは、予測機(ｐｒｅｄｉｃｔｏｒ)として設定される。予測機ＰがＰＵと同一のサイズ及び／又は位置を有するブロック内に含まれる場合、ポイント(予測機Ｐ)を予測されたポイントクラウドデータとして指定する。
【0292】
図１９によれば、位置の基準は最下端の左前でもよいが、上端、右側、後ろに位置したポイント間の距離１９０２でもよい。このように、調査領域とＰＵの領域を区分可能な８つの頂点(ｖｅｒｔｅｘ)を基準として対をなす位置に基づいて動きベクトルを探し、そのうち最小のＲＤＯ値を有するベクトルを動きベクトルと指定する。
【0293】
実施例による動き推定機は、現在フレームの予測コーディングを行うために、現在フレーム及び参照フレーム間の対応領域に属する２つのポイントを選定して、動き補償のための動きベクトルを生成する。動きベクトルを構成する２つのポイントは、距離が最も近い２つのポイントに選定される。距離が近いポイントであるほど位置及び／又は属性が類似し、予測コーディング時に残差が最も小さいため、効率的な符号化及び復号化が可能である。実施例によるポイントクラウドデータ送受信方法／装置は、参照フレームに含まれたポイント及び動きベクトルに基づいて、現在フレームに含まれたポイントの予測データ(ジオメトリ予測データ及び／又は特質予測データ)を生成する。実施例による方法／装置は、現在ポイントと予測データとの残差値を生成して送受信する。
【0294】
図２０によれば、調査領域の８つのポイントから最も近い予測ユニットの８つのポイントで連結したベクトルのうちの１つが補償時に適用する動きベクトルとなり、それを決定するためにＲＤＯ値を比較する。
【0295】
調査領域と予測ユニットのいずれも立方体で、全ての方向で同一の探索領域を有することを説明したが、ｍｏｔｉｏｎ＿ｗｉｎｄｏｗ＿ｓｉｚｅ[３]の各要素の値が変化すると、予測ユニットは立方体であるが調査領域は直方体であってもよい。
【0296】
その値はｍｏｔｉｏｎ＿ｗｉｎｄｏｗ＿ｓｉｚｅ[３]と予測ユニット情報から予測することができ、選定されたベクトルが計算された位置のみシグナリングすれば、別の動きベクトルはシグナリングしなくても推定が可能である。
【0297】
参照フレームの調査領域に含まれたポイントの代表値と、現在フレームの予測ユニットに含まれたポイントの代表値との差異を動きベクトルとしてシグナリングする。代表値は、算術平均、幾何平均、最大値、最小値、中央値のいずれかである。実施例による動きベクトル情報は、図２４などに示した動きベクトル情報(ＭＶｓ)である。
【0298】
例えば、実施例による動き推定機は、動きベクトルＶ１、Ｖ２、Ｖ３、Ｖ４、Ｖ５、Ｖ６、Ｖ７、Ｖ８を生成し、Ｖ１ないしＶ８の中で最も類似するポイント(位置／属性)の動きベクトルを選択する。
【0299】
実施例による受信方法／装置は、図２２のビットストリームを受信し、ビットストリームに含まれた動きベクトル関連情報を分析し、現在フレームに対する予測データを生成して、受信した残差値と合算してポイントクラウドデータを復元する。
【0300】
図２１によれば、現在フレームと予測ユニットがＭＶＤＣＭ対象であるか、参照フレームの調査領域と予測ユニットがいずれもＭＶＤＣＭ対象である場合、各々の調査領域と予測ユニット内で代表値であるＰＲ(参照フレームの代表ポイント)とＰＣ(現在フレームの代表ポイント)を計算し、Ｍｏｔｉｏｎ ｖｅｃｔｏｒ ＝ ＰＲ－ＰＣ(参照フレーム代表ポイントと現在フレーム代表ポイントとの差異値)で計算することができ、受信装置は、予測ユニットにおいてＭＶＤＣＭ方式で動きベクトルを生成したことを示すシグナリング情報をビットストリームから分析し、代表値を用いて探した動きベクトルを受信する。
【0301】
例えば、実施例による方法／装置は、調査領域及び予測ユニット領域内に含まれたポイントを代表するポイントを生成する。代表値(代表ポイント)は、ポイントの算術平均、幾何平均、最大値、最小値、中央値、統計的に代表特性を付与可能な任意値などに基づいて選定される。このとき、動きベクトル２１００は、代表ポイントを用いて生成される。
【0302】
言い換えれば、実施例による動きベクトル補償方法は、１) 調査領域ポイント情報をそのまま相続(図１８)、２) 調査領域及び予測ユニットに含まれたポイントの中で特定のポイントを選定して動きベクトルを生成(図１９及び図２０)、及び／又は３) 調査領域及び予測ユニットで代表ポイントを選定し、動きベクトルを生成(図２１)などに基づいて、動き補償を実行する。実施例による動きベクトル補償方法の中で選択的にいずれか１つの方法を用いるか複数の方法を用いる。
【0303】
図２２は実施例によるポイントクラウドデータを含むビットストリームを示す。
【0304】
実施例によるポイントクラウドデータ送信方法／装置は、図１の送信装置１００００、ポイントクラウドビデオエンコーダ１０００２、送信機１０００３、図２の獲得－符号化－送信２００００－２０００１－２０００２、図４のエンコーダ、図１２の送信装置、図１４のデバイス、図１５のプロセッサ(動きベクトル分類機)などは、ポイントクラウドデータを符号化し、図２３ないし図２５などのパラメータを生成し、ポイントクラウドデータ及びパラメータを含むビットストリームを生成して送信する。
【0305】
実施例によるポイントクラウドデータ受信方法／装置は、図１の受信装置１０００４、受信機１０００５、ポイントクラウドビデオデコーダ１０００６、図２の送信－復号－レンダリング２０００２－２０００３－２０００４、図１０及び図１１のデコーダ、図１３の受信装置、図１４のデバイス、図１５のプロセッサ(動きベクトル分類機)などは、ポイントクラウドデータ及びパラメータを含むビットストリームを受信し、パラメータに基づいてポイントクラウドデータを復元する。
【0306】
実施例による方法／装置は、調査ターゲットに含まれたポイント数が基準値以下の場合、動き補償方法を分類して、その方法に関する情報をビットストリーム上に定義する。本実施例は、シーケンスパラメータセット(ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ，ＳＰＳ)においてＭＶＤＣＭ方法が適用されていることを通知し、ＭＶＤＣＭ情報を、実施方法に従って、シーケンスパラメータセットに関連情報の全部又は一部を送達し、ジオメトリパラメータセット(ｇｅｏｍｅｔｒｙ ｐａｒａｍｅｔｅｒ ｓｅｔ，ＳＰＳ)、スライスヘッダ(ｓｌｉｃｅ ｈｅａｄｅｒ、データユニットとも呼ぶ)、ＳＥＩメッセージなどでそれぞれの情報を送達する。
【0307】
また、アプリケーション、システムに応じて相応する位置又は所定の位置に定義して、適用範囲、適用方法などを異にして使用する。また、以下に定義されたシンタックスエレメント(ｓｙｎｔａｘ ｅｌｅｍｅｎｔ)が現在ポイントクラウドデータストリームだけではなく、複数のポイントクラウドデータストリームに適用される場合には、上位概念のパラメントセットなどによって送達する。
【0308】
実施例を追加／実行するために、関連情報をシグナリングする。以下、実施例によるパラメータ(メタデータ、シグナリング情報などと様々に呼ばれる)は、後述する実施例による送信機のプロセス上で生成され、実施例による受信機に送達されて再構成過程に用いられる。例えば、実施例によるパラメータは、後述する実施例による送信装置のメタデータ処理部(又は、メタデータ生成部)で生成され、実施例による受信装置のメタデータ分析部から得られる。ポイントクラウドデータは、図２２のように符号化される。
【0309】
各略語は、以下を意味する。ＳＰＳ：Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ、ＧＰＳ：Ｇｅｏｍｅｔｒｙ Ｐａｒａｍｅｔｅｒ Ｓｅｔ、ＡＰＳ：Ａｔｔｒｉｂｕｔｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ、ＴＰＳ：Ｔｉｌｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ、Ｇｅｏｍ：Ｇｅｏｍｅｔｒｙ ｂｉｔｓｔｒｅａｍ ＝ ｇｅｏｍｅｔｒｙ ｓｌｉｃｅ ｈｅａｄｅｒ ＋ ｇｅｏｍｅｔｒｙ ｓｌｉｃｅ ｄａｔａ、Ａｔｔｒ：Ａｔｔｒｉｂｕｔｅ ｂｉｔｓｔｒｅａｍ ＝ ａｔｔｒｉｂｕｔｅ ｂｒｉｃｋ ｈｅａｄｅｒ ＋ ａｔｔｒｉｂｕｔｅ ｂｒｉｃｋ ｄａｔａ。
【0310】
実施例によるスライスは、データユニットとも呼ばれる。例えば、ジオメトリスライスヘッダはジオメトリデータユニットヘッダ、特質スライスヘッダは特質データユニットである。データユニットは、符号化／復号化の単位に相応するポイントクラウドデータ(ジオメトリデータ／特質データ)を示す。
【0311】
実施例によるビットストリームは、１つ又は１つ以上のデータユニットを含む。データユニットは、データユニット上のペイロード(ジオメトリ／特質)に関する指示情報を含むヘッダを含む。タイルは、スライス(データユニット)を含む単位である。タイル、スライス、データユニットに関する位置情報、幅、高さ、深さ情報、識別情報(ＩＤ)などによって互いに参照される。１つのデータユニットは、１つのジオメトリ及び複数の特質からなる。例えば、受信装置は、図２２のビットストリームを受信して１つのタイルに含まれたスライスを確認する。また、各々のスライスのジオメトリデータ及び特質データを復元する。
【0312】
図２３は実施例によるシーケンスパラメータセット、ジオメトリパラメータセットを示す。
【0313】
【0314】
実施例によるＳＰＳは、以下のような情報を含む。
【0315】
シンプルプロファイル(ｓｉｍｐｌｅ＿ｐｒｏｆｉｌｅ＿ｃｏｍｐｌｉａｎｔ): １と同じであることはビットストリームが単純プロファイルを遵守することを示す。０と同一のｓｉｍｐｌｅ＿ｐｒｏｆｉｌｅ＿ｃｏｍｐｌｉａｎｔは、ビットストリームが単純プロファイル以外のプロファイルを遵守することを示す。
【0316】
デンスプロファイル(ｄｅｎｓｅ＿ｐｒｏｆｉｌｅ＿ｃｏｍｐｌｉａｎｔ): １と同じであることはビットストリームがデンスプロファイルを遵守することを示す。０と同一のｄｅｎｓｉｔｙ＿ｐｒｏｆｉｌｅ＿ｃｏｍｐｌｉａｎｔは、ビットストリームがデンスプロファイル以外のプロファイルを遵守することを示す。
【0317】
予測プロファイル(ｐｒｅｄｉｃｔｉｖｅ＿ｐｒｏｆｉｌｅ＿ｃｏｍｐｌｉａｎｔ): １と同じであることはビットストリームが予測プロファイルを遵守することを示す。０と同一のｐｒｅｄｉｃｔｉｖｅ＿ｐｒｏｆｉｌｅ＿ｃｏｍｐｌｉａｎｔは、ビットストリームが予測プロファイル以外のプロファイルを遵守することを示す。
【0318】
メインプロファイル(ｍａｉｎ＿ｐｒｏｆｉｌｅ＿ｃｏｍｐｌｉａｎｔ): １と同じであることはビットストリームが基本プロファイルを遵守することを示す。０と同一のｍａｉｎ＿ｐｒｏｆｉｌｅ＿ｃｏｍｐｌｉａｎｔは、ビットストリームが基本プロファイル以外のプロファイルを遵守することを示す。
【0319】
スライスリオーダリング制約(ｓｌｉｃｅ＿ｒｅｏｒｄｅｒｉｎｇ＿ｃｏｎｓｔｒａｉｎｔ): １と同じであることはビットストリームがスライスの再整列及び除去に敏感であることを示す。０と同一のｓｌｉｃｅ＿ｒｅｏｒｄｅｒｉｎｇ＿ｃｏｎｓｔｒａｉｎｔは、ビットストリームがスライスの再整列及び除去に敏感ではないことを示す。
【0320】
ユニークポイントポジション制約(ｕｎｉｑｕｅ＿ｐｏｉｎｔ＿ｐｏｓｉｔｉｏｎｓ＿ｃｏｎｓｔｒａｉｎｔ): １と同じであることはそれぞれコーディングされたポイントクラウドフレームにおいて全てのポイントが固有な位置を有することを示す。０と同一のｕｎｉｑｕｅ＿ｐｏｉｎｔ＿ｐｏｓｉｔｉｏｎｓ＿ｃｏｎｓｔｒａｉｎｔは、コーディングされたポイントクラウドフレームにおいて２つ以上のポイントが同一の位置を有してもよいことを示す。
【0321】
例えば、各々のスライスのポイントが固有な位置を有していても、フレームの他のスライスポイントが一致してもよい。この場合、ｕｎｉｑｕｅ＿ｐｏｉｎｔ＿ｐｏｓｉｔｉｏｎｓ＿ｃｏｎｓｔｒａｉｎｔは０に設定される。
【0322】
シーケンスパラメータセットＩＤ(ｓｐｓ＿ｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄ): 他のＤＵが参照するようにＳＰＳを識別する。ｓｐｓ＿ｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄは、この明細書のこのバージョンに従うビットストリームにおいて０でなければならない。ｓｐｓ＿ｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄの別の値はＩＳＯ／ＩＥＣにおいて今後のために予約されている。
【0323】
フレームビット(ｆｒａｍｅ＿ｃｔｒ＿ｌｓｂ＿ｂｉｔｓ ｆｒａｍｅ＿ｃｔｒ＿ｌｓｂ): 構文要素の長さをビット単位で指定する。
【0324】
スライスタグ(ｓｌｉｃｅ＿ｔａｇ＿ｂｉｔｓ): ｓｌｉｃｅ＿ｔａｇ構文要素の長さをビット単位で示す。
【0325】
シーケンスオリジン(ｓｅｑ＿ｏｒｉｇｉｎ＿ｂｉｔｓ): 各々の構文要素ｓｅｑ＿ｏｒｉｇｉｎ＿ｘｙｚ[ｋ]のビット長さを示す。
【0326】
ｓｅｑ＿ｏｒｉｇｉｎ＿ｘｙｚ[ｋ]、ｓｅｑ＿ｏｒｉｇｉｎ＿ｌｏｇ２＿ｓｃａｌｅ ｔｏｇｅｔｈｅｒ: コーディング座標系のｋ番目の原点構成要素を示す。存在しない場合、ｓｅｑ＿ｏｒｉｇｉｎ＿ｘｙｚ[ｋ]及びｓｅｑ＿ｏｒｉｇｉｎ＿ｌｏｇ２＿ｓｃａｌｅの値は０と類推される。コーディング座標系の原点は、ＳｅｑＯｒｉｇｉｎ[ｋ]のように指定される。
【0327】
境界ボックスサイズ(ｓｅｑ＿ｂｏｕｎｄｉｎｇ＿ｂｏｘ＿ｓｉｚｅ＿ｂｉｔｓ): 各々の構文要素ｓｅｑ＿ｂｏｕｎｄｉｎｇ＿ｂｏｘ＿ｓｉｚｅ＿ｍｉｎｕｓ１＿ｘｙｚ[ｋ]の長さをビット単位で示す。
【0328】
境界ボックスサイズ座標情報(ｓｅｑ＿ｂｏｕｎｄｉｎｇ＿ｂｏｘ＿ｓｉｚｅ＿ｍｉｎｕｓ１＿ｘｙｚ[ｋ]): ＋１は出力座標系においてコーディングされたボリューム寸法の幅、高さ及び深さのｋ番目の構成要素をそれぞれ示す。
【0329】
ｓｅｑ＿ｕｎｉｔ＿ｎｕｍｅｒａｔｏｒ＿ｍｉｎｕｓ１、ｓｅｑ＿ｕｎｉｔ＿ｄｅｎｏｍｉｎａｔｏｒ＿ｍｉｎｕｓ１、ｓｅｑ＿ｕｎｉｔ＿ｉｓ＿ｍｅｔｒｅｓ: 出力座標系 Ｘ、Ｙ及びＺ単位ベクトルの長さを示す。
【0330】
グローバルスケールファクタ(ｓｅｑ＿ｇｌｏｂａｌ＿ｓｃａｌｅ＿ｆａｃｔｏｒ＿ｌｏｇ２、ｓｅｑ＿ｇｌｏｂａｌ＿ｓｃａｌｅ＿ｒｅｆｉｎｅｍｅｎｔ＿ｂｉｔｓ、ｓｅｑ＿ｇｌｏｂａｌ＿ｓｃａｌｅ＿ｒｅｆｉｎｅｍｅｎｔ＿ｆａｃｔｏｒ): コーディング座標系の位置から出力ポイント位置を導く固定小数点のスケールファクタを指定する。
【0331】
調整係数(ｓｅｑ＿ｇｌｏｂａｌ＿ｓｃａｌｅ＿ｒｅｆｉｎｅｍｅｎｔ＿ｆａｃｔｏｒ): 全域スケール値に対する微細調整を示す。存在しない場合、ｓｅｑ＿ｇｌｏｂａｌ＿ｓｃａｌｅ＿ｒｅｆｉｎｅｍｅｎｔ＿ｆａｃｔｏｒは０と類推される。
【0332】
特質数(ｎｕｍ＿ａｔｔｒｉｂｕｔｅｓ): コーディングされたポイントクラウドに存在する属性の数を示す。
【0333】
特質コンポーネント(ａｔｔｒ＿ｃｏｍｐｏｎｅｎｔｓ＿ｍｉｎｕｓ１[ａｔｔｒＩｄ]): 属性の構成要素の数を示す。
【0334】
特質インスタンス識別子(ａｔｔｒ＿ｉｎｓｔａｎｃｅ＿ｉｄ[ａｔｔｒＩｄ]): ａｔｔｒＩｄ－ｔｈ属性に対するインスタンス識別子を示す。
【0335】
ａｔｔｒ＿ｉｎｓｔａｎｃｅ＿ｉｄ値は、属性ラベルが同じ属性を区別するために使用される。例えば、互いに異なる観点からサンプリングされた様々な色相属性があるポイントクラウドである。
【0336】
特質ビット深さ(ａｔｔｒ＿ｂｉｔｄｅｐｔｈ＿ｍｉｎｕｓ１[ａｔｔｒＩｄ]): ＋１はａｔｔｒＩｄ－ｔｈ属性の各構成要素のビット深さを示す。
【0337】
ａｔｔｒ＿ｌａｂｅｌ＿ｋｎｏｗｎ[ａｔｔｒＩｄ]、ａｔｔｒ＿ｌａｂｅｌ[ａｔｔｒＩｄ]、及びａｔｔｒ＿ｌａｂｅｌ＿ｏｉｄ[ａｔｔｒＩｄ]は、ａｔｔｒＩｄ－ｔｈ属性によって送信されるデータのタイプを一緒に識別する。ａｔｔｒ＿ｌａｂｅｌ＿ｋｎｏｗｎ[ａｔｔｒＩｄ]は、属性がａｔｔｒ＿ｌａｂｅｌ[ａｔｔｒＩｄ]値で識別されるか、又はオブジェクト識別子ａｔｔｒ＿ｌａｂｅｌ＿ｏｉｄ[ａｔｔｒＩｄ]で識別されるかを指定する。
【0338】
ａｔｔｒ＿ｌａｂｅｌによる属性タイプは、以下のようである。０：Ｃｏｌｏｕｒ、１：Ｒｅｆｌｅｃｔａｎｃｅ、２：Ｏｐａｃｉｔｙ、３：Ｆｒａｍｅ ｉｎｄｅｘ、４：Ｆｒａｍｅ ｎｕｍｂｅｒ、５：Ｍａｔｅｒｉａｌ ｉｄｅｎｔｉｆｉｅｒ、６：Ｎｏｒｍａｌ ｖｅｃｔｏｒ。
【0339】
特質プロパティ(ａｔｔｒ＿ｐｒｏｐｅｒｔｙ＿ｃｎｔ): 属性に対するＳＰＳにあるａｔｔｒｉｂｕｔｅ＿ｐｒｏｐｅｒｔｙ構文構造の数を示す。
【0340】
ジオメトリ軸手順(ｇｅｏｍ＿ａｘｉｓ＿ｏｒｄｅｒ): コーディングされたポイントクラウドのＸ、Ｙ及びＺ軸とＳ、Ｔ及びＶ軸との対応関係を示す。
【0341】
ｂｙｐａｓｓ＿ｓｔｒｅａｍ＿ｅｎａｂｌｅｄ: １と同じであることはバイパスコーディングモードがビットストリームの読み取りに使用されることを示す。０と同一のｂｙｐａｓｓ＿ｓｔｒｅａｍ＿ｅｎａｂｌｅｄは、バイパスコーディングモードがビットストリームの読み取りに使用されないことを示す。
【0342】
エントロピー継続可否(ｅｎｔｒｏｐｙ＿ｃｏｎｔｉｎｕａｔｉｏｎ＿ｅｎａｂｌｅｄ): １と同じであることはＤＵのエントロピー分析が先行スライスにおいてＤＵの最終エントロピー分析状態に依存できるか否かを示す。ｓｌｉｃｅ＿ｒｅｏｒｄｅｒｉｎｇ＿ｃｏｎｓｔｒａｉｎｔが０であるとき、ｅｎｔｒｏｐｙ＿ｃｏｎｔｉｎｕａｔｉｏｎ＿ｅｎａｂｌｅｄが０であることは、ビットストリーム適合性の要求事項である。
【0343】
ｓｐｓ＿ｅｘｔｅｎｓｉｏｎ＿ｐｒｅｓｅｎｔ: ０と同じであることはＳＰＳ構文構造にｓｐｓ＿ｅｘｔｅｎｓｉｏｎ＿ｄａｔａ構文構造がないことを示す。
【0344】
また、ダイレクトモード情報(ＭＶＤＣＭ＿ｅｎａｂｌｅ)によって、シーケンスパラメータセットは、ダイレクトポイント数情報(ＭＶＤＣＭ＿ｐｏｉｎｔｓ)をさらに含んでもよい。
【0345】
実施例による受信装置は、ダイレクトモード情報に基づいてポイントクラウドデータを効率的に復元することができる。
【0346】
実施例によるＧＰＳは、以下のような情報を含む。
【0347】
ジオメトリパラメータセットＩＤ(ｇｐｓ＿ｇｅｏｍ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄ): 別のＤＵが参照するようにＧＰＳを示す。
【0348】
シーケンスパラメータセットＩＤ(ｇｐｓ＿ｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄ): 活性ＳＰＳ ｓｐｓ＿ｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄの値を示す。
【0349】
スライスジオメトリオリジンスケール存在(ｓｌｉｃｅ＿ｇｅｏｍ＿ｏｒｉｇｉｎ＿ｓｃａｌｅ＿ｐｒｅｓｅｎｔ): ＧＤＵヘッダにｓｌｉｃｅ＿ｇｅｏｍ＿ｏｒｉｇｉｎ＿ｌｏｇ２＿ｓｃａｌｅが存在するか否かを示す。０と同一のｓｌｉｃｅ＿ｇｅｏｍ＿ｏｒｉｇｉｎ＿ｓｃａｌｅ＿ｐｒｅｓｅｎｔは、スライス原点スケールがｇｐｓ＿ｓｌｉｃｅ＿ｇｅｏｍ＿ｏｒｉｇｉｎ＿ｌｏｇ２＿ｓｃａｌｅと同じであることを示す。
【0350】
ジオメトリオリジンスケール(ｇｐｓ＿ｇｅｏｍ＿ｏｒｉｇｉｎ＿ｌｏｇ２＿ｓｃａｌｅ): ｓｌｉｃｅ＿ｇｅｏｍ＿ｏｒｉｇｉｎ＿ｓｃａｌｅ＿ｐｒｅｓｅｎｔが０と同一であるとき、ｓｌｉｃｅ＿ｏｒｉｇｉｎ＿ｘｙｚにおいてスライス原点を導くための倍率因数を示す。
【0351】
ｄｕｐｌｉｃａｔｅ＿ｐｏｉｎｔｓ＿ｅｎａｂｌｅｄが０である場合、現在ＧＰＳを参照する全てのスライスにおいて全ての出力ポイントがスライス内で固有な位置を有することを指定する。１と同一のｄｕｐｌｉｃａｔｅ＿ｐｏｉｎｔｓ＿ｅｎａｂｌｅｄは、現在ＧＰＳを参照する全てのスライスにおいて２つ以上の出力ポイントがスライス内で同一の位置を有してもよいことを示す。
【0352】
重複ポイント可否(ｄｕｐｌｉｃａｔｅ＿ｐｏｉｎｔｓ＿ｅｎａｂｌｅｄ): ０と同じであることは単一スライス内で同一のポイント位置を数回コーディングすることを禁止しない。
【0353】
ジオメトリツリータイプ(ｇｅｏｍ＿ｔｒｅｅ＿ｔｙｐｅ): ０と同じであることはスライスポイント位置が占有ツリー(７．３．３．４)を用いてコーディングされることを示す。１と同一のｇｅｏｍ＿ｔｒｅｅ＿ｔｙｐｅは、スライスポイント位置が予測ツリー(７．３．３．１１)を用いてコーディングされることを示す。
【0354】
八分木ポイントリスト存在(ｏｃｃｔｒｅｅ＿ｐｏｉｎｔ＿ｃｎｔ＿ｌｉｓｔ＿ｐｒｅｓｅｎｔ): 各々の占有ツリーレベルのポイント数リストがＧＤＵフッターに存在するか否かを示す。存在しない場合、ｏｃｃｔｒｅｅ＿ｐｏｉｎｔ＿ｃｎｔ＿ｌｉｓｔ＿ｐｒｅｓｅｎｔは０と類推される。
【0355】
八分木ダイレクトコーディングモード(ｏｃｃｔｒｅｅ＿ｄｉｒｅｃｔ＿ｃｏｄｉｎｇ＿ｍｏｄｅ): ０より大きいと、ポイント位置が占有ツリーの適合なダイレクトノードによってコーディングされることを示す。０と同一のｏｃｃｔｒｅｅ＿ｄｉｒｅｃｔ＿ｃｏｄｉｎｇ＿ｍｏｄｅは、ダイレクトノードが占有ツリーに存在しないことを示す。
【0356】
八分木ダイレクトジョイントコーディング可否(ｏｃｃｔｒｅｅ＿ｄｉｒｅｃｔ＿ｊｏｉｎｔ＿ｃｏｄｉｎｇ＿ｅｎａｂｌｅｄ): １と同じであることは２つの地点がダイレクトノードによってコーディングされるとき、地点の特定手順を仮定して部分的にその位置が共同にコーディングされることを示す。
【0357】
八分木コーディング済み軸リスト存在(ｏｃｃｔｒｅｅ＿ｃｏｄｅｄ＿ａｘｉｓ＿ｌｉｓｔ＿ｐｒｅｓｅｎｔ): １と同じであることはＧＤＵヘッダが各占有ツリーレベルのノードサイズを誘導するために使用するｏｃｃｔｒｅｅ＿ｃｏｄｅｄ＿ａｘｉｓ構文要素を含むことを示す。０と同一のｏｃｃｔｒｅｅ＿ｃｏｄｅｄ＿ａｘｉｓ＿ｌｉｓｔ＿ｐｒｅｓｅｎｔは、ｏｃｃｔｒｅｅ＿ｃｏｄｅｄ＿ａｘｉｓシンタック要素がＧＤＵシンタックスに存在せず、占有ツリーが３次体積を表せることを示す。
【0358】
八分木隣接窓(ｏｃｃｔｒｅｅ＿ｎｅｉｇｈ＿ｗｉｎｄｏｗ＿ｌｏｇ２＿ｍｉｎｕｓ１): ＋１は現在ノードの外部を含む窓を形成する占有ツリーノードの数を指定し、そのノードと関連するプロセスでノードを使用できない。０と同一のｏｃｃｔｒｅｅ＿ｎｅｉｇｈ＿ｗｉｎｄｏｗ＿ｌｏｇ２＿ｍｉｎｕｓ１は、兄弟ノードのみが現在ノードで使用可能なものとみなされることを示す。
【0359】
八分木隣接子可否(ｏｃｃｔｒｅｅ＿ａｄｊａｃｅｎｔ＿ｃｈｉｌｄ＿ｅｎａｂｌｅｄ): １と同じであることは隣接占有ツリーノードの隣接した子がビット占有状況下に使用されるか否かを示す。存在しない場合、ｏｃｃｔｒｅｅ＿ａｄｊａｃｅｎｔ＿ｃｈｉｌｄ＿ｅｎａｂｌｅｄは０と類推される。
【0360】
ｏｃｃｔｒｅｅ＿ｉｎｔｒａ＿ｐｒｅｄ＿ｍａｘ＿ｎｏｄｅｓｉｚｅ＿ｌｏｇ２は、占有イントラ予測に適した占有ツリーノードサイズを示す。存在しない場合、ｏｃｃｔｒｅｅ＿ｉｎｔｒａ＿ｐｒｅｄ＿ｍａｘ＿ｎｏｄｅｓｉｚｅ＿ｌｏｇ２は０と類推される。
【0361】
八分木ビットワイズコーディング(ｏｃｃｔｒｅｅ＿ｂｉｔｗｉｓｅ＿ｃｏｄｉｎｇ): １と同じであることは占有ツリーノードがビットコンテキスト化によって構文要素ｏｃｃｕｐａｎｃｙ＿ｂｉｔを用いて符号化されることを示す。０と同一のｏｃｃｔｒｅｅ＿ｂｉｔｗｉｓｅ＿ｃｏｄｉｎｇは、占有ツリーノードが予め符号化された構文要素ｏｃｃｕｐａｎｃｙ＿ｂｙｔｅを用いて符号化されることを示す。
【0362】
ｏｃｃｔｒｅｅ＿ｐｌａｎａｒ＿ｅｎａｂｌｅｄが１であれば、平面コーディングモードが活性化されることを示す。０と同一のｏｃｃｔｒｅｅ＿ｐｌａｎａｒ＿ｅｎａｂｌｅｄは、平面コーディングモードが活性化されないことを示す。存在しない場合、ｏｃｃｔｒｅｅ＿ｐｌａｎａｒ＿ｅｎａｂｌｅｄは０と類推される。
【0363】
八分木平面閾値(ｏｃｃｔｒｅｅ＿ｐｌａｎａｒ＿ｔｈｒｅｓｈｏｌｄ[ｉ]): 平面コーディングモードが効率的である可能性が最も高いｉ番目の方向に沿って平面コーディングモードに対する活性化閾値を示す。
【0364】
八分木ダイレクトモード(ｏｃｃｔｒｅｅ＿ｄｉｒｅｃｔ＿ｎｏｄｅ＿ｒａｔｅ＿ｍｉｎｕｓ１): 合計３２つの適合なダイレクトノードのうち、ｏｃｃｔｒｅｅ＿ｄｉｒｅｃｔ＿ｎｏｄｅ＿ｒａｔｅ＿ｍｉｎｕｓ１ ＋ １のみコーディングされることを示す。
【0365】
ジオメトリアンギュラ可否(ｇｅｏｍ＿ａｎｇｕｌａｒ＿ｅｎａｂｌｅｄ): 角度原点に位置し、Ｖ軸を中心に回転するビームセットの優先順位を用いてジオメトリをコーディングするか否かを示す。
【0366】
スライスアンギュラオリジン存在(ｓｌｉｃｅ＿ａｎｇｕｌａｒ＿ｏｒｉｇｉｎ＿ｐｒｅｓｅｎｔ): スライス関連の角度原点がＧＤＵヘッダに存在するか否かを示す。０と同一のｓｌｉｃｅ＿ａｎｇｕｌａｒ＿ｏｒｉｇｉｎ＿ｐｒｅｓｅｎｔは、角度原点がｇｐｓ＿ａｎｇｕｌａｒ＿ｏｒｉｇｉｎ＿ｘｙｚであることを示す。存在しない場合、ｓｌｉｃｅ＿ａｎｇｕｌａｒ＿ｏｒｉｇｉｎ＿ｐｒｅｓｅｎｔは０と類推される。
【0367】
アンギュラオリジン(ｇｐｓ＿ａｎｇｕｌａｒ＿ｏｒｉｇｉｎ＿ｂｉｔｓ＿ｍｉｎｕｓ１): 各々の構文要素ｇｐｓ＿ａｎｇｕｌａｒ＿ｏｒｉｇｉｎ＿ｘｙｚ[ｋ]の長さをビット単位で示す。
【0368】
ｇｐｓ＿ａｎｇｕｌａｒ＿ｏｒｉｇｉｎ＿ｘｙｚ[ｋ]: ビーム原点のｋ番目(ｘ，ｙ，ｚ)位置構成要素を示す。存在しない場合、ｇｐｓ＿ａｎｇｕｌａｒ＿ｏｒｉｇｉｎ＿ｘｙｚ[ｋ]は０と類推される。
【0369】
アンギュラ方位角、半径スケール(ｐｔｒｅｅ＿ａｎｇｕｌａｒ＿ａｚｉｍｕｔｈ＿ｐｉ＿ｂｉｔｓ＿ｍｉｎｕｓ１１、ｐｔｒｅｅ＿ａｎｇｕｌａｒ＿ｒａｄｉｕｓ＿ｓｃａｌｅ＿ｌｏｇ２): デカルト座標に変換する間、各座標系を用いてコーディングされた位置のサイズを調整するために使用される要素を示す。
【0370】
アンギュラ方位角ステップ(ｐｔｒｅｅ＿ａｎｇｕｌａｒ＿ａｚｉｍｕｔｈ＿ｓｔｅｐ＿ｍｉｎｕｓ１): ＋１は方位角の単位変更を示す。角度予測ツリーコーディングに使用される差分予測残差は、ｐｔｒｅｅ＿ａｎｇｕｌａｒ＿ａｚｉｍｕｔｈ＿ｓｔｅｐ＿ｍｉｎｕｓ１に１を足した倍数で部分的に表現される。ｐｔｒｅｅ＿ａｎｇｕｌａｒ＿ａｚｉｍｕｔｈ＿ｓｔｅｐ＿ｍｉｎｕｓ１の値は、(１<<(ｐｔｒｅｅ＿ａｎｇｕｌａｒ＿ａｚｉｍｕｔｈ＿ｐｉ＿ｂｉｔｓ＿ｍｉｎｕｓ１１ ＋ １２) )より小さい。
【0371】
ビーム数(ｎｕｍ＿ｂｅａｍｓ＿ｍｉｎｕｓ１): ＋１は角度コーディングモードに使用されるビームの数を示す。
【0372】
ビームエレベーション(ｂｅａｍ＿ｅｌｅｖａｔｉｏｎ＿ｉｎｉｔ、ｂｅａｍ＿ｅｌｅｖａｔｉｏｎ＿ｄｉｆｆ[ｉ]): ビーム高度を一番目及び二番目にコーディングされた軸に定義された平面上の傾きで示す。ＢｅａｍＥｌｅｖ配列で指定された各々のビームの高度傾きは、１８つの少数ビットのある二進固定小数点の値である。
【0373】
ビームオフセット(ｂｅａｍ＿ｖｏｆｆｓｅｔ＿ｉｎｉｔ、ｂｅａｍ＿ｖｏｆｆｓｅｔ＿ｄｉｆｆ[ｉ]): ＧｅｏｍＡｎｇｕｌａｒＯｒｉｇｉｎ[２]に相対的なｉ番目のビーム位置のＶ軸に沿って修正することを示す。
【0374】
ビームサンプル(ｂｅａｍ＿ｓａｍｐｌｅｓ＿ｐｅｒ＿ｔｕｒｎ＿ｉｎｉｔ＿ｍｉｎｕｓ１、ｂｅａｍ＿ｓａｍｐｌｅｓ＿ｐｅｒ＿ｔｕｒｎ＿ｄｉｆｆ[ｉ]): 角度コーディングモードの処理に使用される原点に位置した回転感知システムのｉ番目のビームによって生成されたサンプル数を示す。
【0375】
八分木平面バッファー可否(ｏｃｃｔｒｅｅ＿ｐｌａｎａｒ＿ｂｕｆｆｅｒ＿ｄｉｓａｂｌｅｄ): １と同じであることは平面モードフラグ及び平面モードで平面位置をコーディングする過程においてバッファーを用いて最も近いノードを追跡しないことを示す。ｏｃｃｔｒｅｅ＿ｐｌａｎａｒ＿ｂｕｆｆｅｒ＿ｄｉｓａｂｌｅｄが０であれば、バッファーを用いて最も近いノードを追跡することを示す。存在しない場合、ｏｃｃｔｒｅｅ＿ｐｌａｎａｒ＿ｂｕｆｆｅｒ＿ｄｉｓａｂｌｅｄは、ｏｃｃｔｒｅｅ＿ｐｌａｎａｒ＿ｅｎａｂｌｅｄと類推される。
【0376】
ジオメトリスケール可否(ｇｅｏｍ＿ｓｃａｌｉｎｇ＿ｅｎａｂｌｅｄ): １と同じであることはジオメトリ復号プロセス中にジオメトリ位置に対するスケーリングが呼び出されることを示す。０と同一のｇｅｏｍ＿ｓｃａｌｉｎｇ＿ｅｎａｂｌｅｄは、ジオメトリ位置にスケーリングが不要であることを示す。存在しない場合、ｇｅｏｍ＿ｓｃａｌｉｎｇ＿ｅｎａｂｌｅｄが０と類推される。
【0377】
ジオメトリ初期ＱＰ(ｇｅｏｍ＿ｉｎｉｔｉａｌ＿ｑｐ): 初期幾何学位置ＱＰを示す。
【0378】
ジオメトリＱＰマルチプライヤ(ｇｅｏｍ＿ｑｐ＿ｍｕｌｔｉｐｌｉｅｒ＿ｌｏｇ２): ジオメトリスケーリングステップサイズ及び移動を誘導する前にジオメトリＱＰ値に適用するスケールファクタを示す。ｇｅｏｍ＿ｑｐ＿ｍｕｌｔｉｐｌｉｅｒ＿ｌｏｇ２の値は、０..３の範囲にある。ｘ＝０..３に対してｘと同一のｇｅｏｍ＿ｑｐ＿ｍｕｌｔｉｐｌｉｅｒ＿ｌｏｇ２は、(８ >>ｘ)ＱＰ値がジオメトリスケーリングステップサイズが２倍に増加するたびに指定されることを示す。
【0379】
ＱＰ周期(ｐｔｒｅｅ＿ｑｐ＿ｐｅｒｉｏｄ＿ｌｏｇ２): 予測ツリーノードＱＰオフセットをシグナリングするための基本周波数を示す。
【0380】
八分木ダイレクトノードＱＰオフセット(ｏｃｃｔｒｅｅ＿ｄｉｒｅｃｔ＿ｎｏｄｅ＿ｑｐ＿ｏｆｆｓｅｔ): ダイレクトコーディングモードによってコーディングされたポイント位置をスケーリングに使用するためにｓｌｉｃｅＱｐに相対的なオフセットを示す。存在しない場合、ｏｃｃｔｒｅｅ＿ｄｉｒｅｃｔ＿ｎｏｄｅ＿ｑｐ＿ｏｆｆｓｅｔの値は０と類推される。
【0381】
実施例によるＧＰＳは、さらにＭＶＤＣＭ構造情報を含んでもよい。 ＭＶＤＣＭ情報(ｇｐｓ＿ＭＶＤＣＭ＿ｅｎａｂｌｅ)によって、ポイント情報(ｇｐｓ＿ＭＶＤＣＭ＿ｐｏｉｎｔｓ)及び予測モード情報(ｇｐｓ＿ＭＶＤＣＭ＿ｐｒｅｄｉｃｔｉｏｎ＿ｍｏｄｅ)をさらに含んでもよい。
【0382】
図２４は実施例によるＰＵツリー構造情報を示す。
【0383】
実施例によるＳｔｒｕｃｔ ＰＵｔｒｅｅ()は、図２２のビットストリーム内のｇｅｏｍ＿ｓｌｉｃｅ＿ｄａｔａに含まれる構造体である。インター予測に関する内容をＳｔｒｕｃｔ ＰＵｔｒｅｅ()が送信する。
【0384】
インター予測のための参照ＳＷ上で具現され、確認することができる。
【0385】
実施例によるＰＵ構造体は、さらにダイレクトフラグ(ＭＶＤＣＭ＿ｆｌａｇｓ)情報を含んでもよい。
【0386】
ダイレクトコーディングモード可否(ＭＶＤＣＭ＿ｅｎａｂｌｅ): ＭＶＤＣＭ適用可否を示すためのフラグであって、コンテンツ(ｃｏｎｔｅｎｔｓ)単位でシグナリングするためにＳＰＳで宣言される。例えば、真(Ｔｒｕｅ)であればＭＶＤＣＭ＿ｅｎａｂｌｅ適用可、偽(Ｆａｌｓｅ)であればＭＶＤＣＭ＿ｅｎａｂｌｅ適用不可であることを示す。
【0387】
ダイレクトコーディングモードポイント(ＭＶＤＣＭ＿ｐｏｉｎｔｓ): ＭＶＤＣＭ＿ｅｎａｂｌｅが真(ｔｒｕｅ)であれば、ＭＶＤＣＭ適用可の基準となるポイント数を共にシグナリング情報に送達する。仮に、ＳＰＳにＭＶＤＣＭ＿ｅｎａｂｌｅがｔｒｕｅであるが、ＭＶＤＣＭ＿ｐｏｉｎｔｓがない場合は、ＧＰＳ、ｇｅｏｍｅｔｒｙ＿ｓｌｉｃｅ＿ｈｅａｄｅｒで該当情報がシグナリングされる。
【0388】
ＧＰＳダイレクトコーディングモード可否(ｇｐｓ＿ＭＶＤＣＭ＿ｅｎａｂｌｅ): ＭＶＤＣＭ適用可否を示すフラグであって、フレーム単位でシグナリングするためにＧＰＳで宣言される。例えば、ＴｒｕｅであればＭＶＤＣＭ＿ｅｎａｂｌｅ適用可であり、ＦａｌｓｅであればＭＶＤＣＭ＿ｅｎａｂｌｅ適用不可であることを示す。
【0389】
ＳＰＳでＭＶＤＣＭ適用可否に対するフラグがあれば、ＧＰＳもｇｐｓ＿ＭＶＤＣＭ＿ｅｎａｂｌｅによって該当情報をシグナリング情報として送信できる。フラグがＳＰＳにない場合は、ＧＰＳ単位でＭＶＤＣＭ適用可否をジオメトリ単位ごとに異にしてシグナリングしてもよい。
【0390】
ＧＰＳダイレクトコーディングモードポイント(ｇｐｓ＿ＭＶＤＣＭ＿ｐｏｉｎｔｓ): ＭＶＤＣＭ＿ｅｎａｂｌｅがｔｒｕｅであれば、ＭＶＤＣＭ適用可の基準となるポイント数を共にシグナリングする。仮に、ＳＰＳにおいてＭＶＤＣＭ＿ｅｎａｂｌｅがｔｒｕｅであるが、ＭＶＤＣＭ＿ｐｏｉｎｔｓがない場合は、ＧＰＳ又はｇｅｏｍｅｔｒｙ＿ｓｌｉｃｅ＿ｈｅａｄｅｒでシグナリングされる。
【0391】
ＧＰＳダイレクトコーディングモード予測モード(ｇｐｓ＿ＭＶＤＣＭ＿ｐｒｅｄｉｃｔｉｏｎ＿ｍｏｄｅ): 該当予測ユニットがＭＶＤＣＭ対象となる場合、予測時に使用されたモード情報をフレーム単位ごとに異にしてシグナリングしてもよい。同一のフレームに含まれた全ての予測ユニットに対して同一のモードが適用できる。
【0392】
図２５は実施例による予測モードを示す。
【0393】
【0394】
実施例による予測モードは、順に、参照フレームの調査領域ポイントをそのまま相続するｎｏ ｃｏｍｐｅｎｓａｔｉｏｎ(００００、図１８)、調査領域と予測ユニット領域を示すキューブ(ｃｕｂｅ)又はキューボイド(ｃｕｂｏｉｄ)の頂点のうち、オリジンポイントと最も近い頂点間の差異を動きベクトルとするｏｒｉｇｉｎ＿ｃｌｏｓｅｄ(０００１、図１９)、調査領域と予測ユニットの領域において８対の頂点間のベクトルのうち、ＲＤＯが最小のベクトルを動きベクトルとするｃｌｏｓｅｓｔ＿ｖｅｒｔｅｘ(００１０、図２０)、調査領域と予測ユニットのそれぞれにおいて代表値を計算し、代表値間のベクトルの差異を動きベクトルとするＣｅｎｔｅｒ＿ｐｏｉｎｔ＿ｖｅｃｔｏｒ(００１１、図２１)などがある。これらのモードは、ＭＶＤＣＭの条件を満たす場合、必要に応じて追加してもよく削除してもよい。
【0395】
ｇｓｈ＿ＭＶＤＣＭ＿ｅｎａｂｌｅ: ＭＶＤＣＭ適用可否を示すためのフラグであって、スライス単位でシグナリングするためにジオメトリスライスヘッダで宣言される。Ｔｒｕｅ： ＭＶＤＣＭ＿ｅｎａｂｌｅ適用可、Ｆａｌｓｅ: ＭＶＤＣＭ＿ｅｎａｂｌｅ適用不可、ＳＰＳ又はＧＰＳにＭＶＤＣＭ適用可否に対するフラグがあれば、ｇｈｓ＿ＭＶＤＣＭ＿ｅｎａｂｌｅはその情報を相続してシグナリングされる。
【0396】
ｇｓｈ＿ＭＶＤＣＭ＿ｐｏｉｎｔｓ: ｇｓｈ＿ＭＶＤＣＭ＿ｅｎａｂｌｅがｔｒｕｅであれば、ＭＶＤＣＭ適用可能の基準となるポイント数を共にシグナリングする。仮に、ＳＰＳのＭＶＤＣＭ＿ｅｎａｂｌｅがｔｒｕｅであるか、ＧＰＳのｇｐｓ＿ＭＶＤＣＭ＿ｅｎａｂｌｅがｔｒｕｅであるが、ＭＶＤＣＭ＿ｐｏｉｎｔｓ又はｇｐｓ＿ＭＶＤＣＭ＿ｐｏｉｎｔｓがない場合は、ｇｅｏｍｅｔｒｙ＿ｓｌｉｃｅ＿ｈｅａｄｅｒでシグナイングされる。
【0397】
ｇｓｈ＿ＭＶＤＣＭ＿ｐｒｅｄｉｃｔｉｏｎ＿ｍｏｄｅ: 該当予測ユニットがＭＶＤＣＭ対象となる場合、予測時に使用したモード情報をスライス単位で異にしてシグナリングしてもよい。同一のスライスに含まれた全ての予測ユニットに対して同一のモードが適用できる。
【0398】
予測モードは、順に、参照フレームの調査領域ポイントをそのまま相続するｎｏ ｃｏｍｐｅｎｓａｔｉｏｎ、調査領域と予測ユニット領域を示すキューブ(ｃｕｂｅ)又はキューボイド(ｃｕｂｏｉｄ)の頂点のうち、オリジンポイントと最も近い頂点間の差異を動きベクトルとするｏｒｉｇｉｎ＿ｃｌｏｓｅｄ、調査領域と予測ユニットの領域において８対の頂点間のベクトルのうち、ＲＤＯが最小のベクトルを動きベクトルとするｃｌｏｓｅｓｔ＿ｖｅｒｔｅｘ、調査領域と予測ユニットのそれぞれにおいて代表値を計算し、代表値間のベクトルの差異を動きベクトルとするＣｅｎｔｅｒ＿ｐｏｉｎｔ＿ｖｅｃｔｏｒなどがある。これらのモードは、ＭＶＤＣＭの条件を満たす場合、必要に応じて追加してもよく削除してもよい。
【0399】
フラグ(ｐｏｐｕｌ＿ｆｌａｇｓ): ＰＵ内のポイント存否を示すフラグである。
【0400】
スプリットフラグ(ｓｐｌｉｔ＿ｆｌａｇｓ): 該当ＰＵをさらに小さい単位に分割するかに関するフラグである。
【0401】
動きベクトル(ＭＶｓ): ＰＵに適用する動きベクトルを示す。
【0402】
フラグ(ｉｓＷｏｒｌｄ): グローバル動き補償後のポイントクラウドを参照にするか否かを示すフラフである。
【0403】
フラグ(ＭＶＤＣＭ＿ｆｌａｇｓ): 該当ＰＵにＭＶＤＣＭが適用されたか否かを示すためにＭＶＤＣＭ＿ｆｌａｇｓを追加してもよい。ＭＶＤＣＭ＿ｆｌａｇｓがｔｒｕｅであればＭＶＤＣＭが適用されたＰＵを示し、ｆａｌｓｅであればＭＶＤＣＭが適用されていないＰＵを意味する。
【0404】
図２６は実施例によるポイントクラウドデータ送信方法を示す。
【0405】
実施例によるポイントクラウドデータ送信方法／装置は、図１の送信装置１００００、ポイントクラウドビデオエンコーダ１０００２、送信機１０００３、図２の獲得－符号化－送信２００００－２０００１－２０００２、図４のエンコーダ、図１２の送信装置、図１４のデバイス、図１５のプロセッサ(動きベクトル分類機)などは、図２６に示したフローチャートを実行することができる。
【0406】
実施例による送信装置の構造は、実施例によるポイントクラウドエンコーダの構造を示す。ポイントクラウド圧縮処理の一般で説明するポイントクラウドエンコーダが具体的に表現される。
【0407】
送信機は、まず、ポイントクラウドデータが入力され、ポイントの位置(ｇｅｏｍｅｔｒｙ)と属性(ａｔｔｒｉｂｕｔｅ)値に分離し、コーディング可能な形態に座標変換を行う。変換された座標値で量子化及びボクセル化によってデータを精製し、グローバル動き推定及び補償を行う。
【0408】
グローバル動き推定が終わってから、ローカル動きベクトル推定単位である予測ユニットと調査領域の領域を決定し、ＳＰＳで定義されたフラグであるＭＶＤＣＭ＿ｅｎａｂｌｅ情報を確認し、ｔｒｕｅであれば、ＰＵと調査領域の各領域においてポイント数をカウントして、各領域においてポイント数がＭＶＤＣＭ＿ｐｏｉｎｔより少ない場合は、動きベクトル推定を行わないか、別の動きベクトルを抽出して該当ＰＵがＭＶＤＣＭであることを示すフラグを共に送信する。動きベクトル推定をせずにＭＶＤＣＭであるＰＵの動きベクトルを選定するために、調査領域とＰＵの位置情報に基づいて動きベクトルを抽出する。抽出した動きベクトルを適用し、インター予測されていないノードと共にイントラ予測を行い、１つのフラームに含まれた全ての位置／ＰＵ／ノードに対するジオメトリコーディングが完了すると、再構成の後に属性符号化が実行されて、ジオメトリと特質ビットストリームを送信する。
【0409】
２６００、実施例による送信方法は、ポイントクラウドデータを獲得して量子化してボクセル化する。
【0410】
２６０１、実施例による送信方法は、量子化及びボクセル化されたポイントクラウドデータに対してグローバル動き推定及び補償を適用する。ポイントクラウドデータをグローバルに推定して補償する。
【0411】
２６０２、実施例による送信方法は、ローカルにポイントクラウドデータを推定して補償する。ローカル領域に該当する現在フレームの予測ユニット及び参照フレームの調査領域を決定する。
【0412】
２６０３、実施例による送信方法は、ダイレクトコーディングモードが活性化される場合、ローカル推定／補償を行う領域内のポイント数をカウントする。例えば、調査領域に含まれたポイント数をカウントする。また、予測ユニットに含まれたポイント数をカウントする。
【0413】
２６０４、実施例による送信方法は、予測ユニット及び調査領域のそれぞれに含まれたポイント数がダイレクトコーディングモードのポイント数より少ないかを判断し、その数が基準値以下であれば、動きベクトルを誘導する。
【0414】
２６０５、実施例による送信方法は、生成された動きベクトルに基づいて予測ユニットに対してダイレクトコーディングモードを用いて動きベクトル補償を行う。
【0415】
２６０６、実施例による送信方法は、ダイレクトコーディングモードが非活性化された場合、動きベクトル推定を行う。また、ダイレクトコーディングモードが活性化されるが、ポイント数が基準値より多い場合、動きベクトル推定を行う。動きベクトルを推定し、推定した動きベクトルに基づいて動きベクトル補償を行って動きベクトルを符号化する。
【0416】
ポイント数が少ない場合には、２６０３ないし２６０５による方法が迅速かつ正確な効果を発揮する。
【0417】
イントラ予測の動き補償の後、実施例による送信方法は、インター予測を行う。
【0418】
実施例による送信方法は、符号化されたジオメトリを復元し、特質コーディングを行う。特質コーディングは、イントラフレーム方法によって行われる。
【0419】
実施例による送信方法は、符号化されたジオメトリ／特質を含むビットストリームを生成する。実施例による送信方法は、符号化に関するパラメータを含むビットストリームを生成する(図２２を参照)。
【0420】
実施例は、一般的なジオメトリコーディング又は特質コーディング方法ではなく、特定の条件である場合、別の処理方式を適用することができる。特に、イントラ予測のための方法と比較するとき、隣接ノードとの連関性が非常に低い場合、特定のイントラコーディング予測を行ってもよい。しかし、実施例は、インター予測において予測ユニットに含まれたポイント数が非常に少ない場合、動きベクトル予測を省略又は別の方法を適用する方法を示す。すなわち、複数のフレーム間の効率的な圧縮／復元の効果を提供することができる。
【0421】
また、ＰＵ単位で画面間の予測を行うとき、動きベクトル予測ができるが、ＰＵの状態を考慮せずに、共通的に動きベクトル予測する方法とは異なり、実施例は、ＰＵに含まれたポイント数に応じて、動きベクトル予測をモードごとに適応的に提供する効果がある。ポイント数が少ない場合、調査パターンなどによって遅延が増加することがあるため、追加のモードが必要である。
【0422】
図２７は実施例によるポイントクラウドデータ受信方法を示す。
【0423】
実施例によるポイントクラウドデータ受信方法／装置は、図１の受信装置１０００４、受信機１０００５、ポイントクラウドビデオデコーダ１０００６、図２の送信－復号－レンダリング２０００２－２０００３－２０００４、図１０及び図１１のデコーダ、図１３の受信装置、図１４のデバイス、図１５のプロセッサ(動きベクトル分類機)などは、図２７に示したフローチャートを実行することができる。
【0424】
実施例による受信装置の構造は、実施例によるポイントクラウドデコーダの構造を示す。ポイントクラウド圧縮処理の一般で説明するポイントクラウドデコーダは、以下のように具体的に表現される。
【0425】
受信機は、送信機から送信したジオメトリと特質ビットストリームをエントロピー復号、逆量子化、逆変換した後、スライス／フレーム単位に対してグローバル動き補償が可能である場合にはグローバル動き推定を行い、ＰＵと調査領域を定義し、ＳＰＳから送信されたフラグであるＭＶＤＣＭ＿ｅｎａｂｌｅがｔｒｕｅであれば、該当ＰＵのＭＶＤＣＭ＿ｆｌａｇがｔｒｕｅであるかを確認して、ｔｒｕｅであれば、ＰＵの動きベクトルであるＰＵ＿ｔｒｅｅ＿ＭＶｓを調査領域とＰＵの位置情報で探すか、エンコーダから送信された動きベクトルがあれば復号して動き補償してポイントクラウドをアップデートし、それともＰＵがスプリント(ｓｐｌｉｔ)に該当するかについてＰＵ＿ｔｒｅｅ＿ｓｐｌｉｔ＿ｆｌａｇｓを確認して、ｆａｌｓｅであれば、ＰＵ＿ｔｒｅｅ＿ＭＶｓを復号し、補償した後に補償されたポイントがＰＵ範囲内に含まれる場合、そのポイントクラウドをアップデートする。ジオメトリの復元が全て完了すると、該当位置に属性情報を含ませるために、色相情報を逆変換し、再構成されポイントクラウドコンテンツ(ｒｅｃｏｎｓｔｒｕｃｔｅｄ ｐｏｉｎｔ ｃｌｏｕｄ ｃｏｎｔｅｎｔｓ)をレンダラーに送達する。以下の実施例による受信装置の構造は、実施例によるポイントクラウドデコーダの構造を示す。ポイントクラウド圧縮処理の一般で説明するポイントクラウドデコーダは、以下のように具体的に表現される。
【0426】
実施例による各々の受信方法は、対応する送信方法の逆過程に従う。
【0427】
２７００、実施例による受信方法は、符号化されたポイントクラウドデータ及びパラメータを含むビットストリームを受信する。
【0428】
２７０１、実施例による受信方法は、エントロピー方式に基づいてポイントクラウドデータを復号する。
【0429】
２７０２、実施例による受信方法は、送信過程の逆過程であって、座標系を逆に変換する。
【0430】
２７０３、実施例による受信方法は、グローバル動き補償を行う。
【0431】
２７０４、実施例による受信方法は、ローカル動き補償を行う。ローカル動き補償のために、現在フレームの予測ユニット及び参照フレームの調査領域を決定する。
【0432】
２７０５、実施例による受信方法は、ダイレクトコーディングモードが活性化され、予測ユニットに対するダイレクトコーディングモードフラグがｔｒｕｅであれば、ダイレクトコーディングモードのための動きベクトル推定を行う。
【0433】
２７０６、実施例による受信方法は、動きベクトルによって動き補償を行う。
【0434】
２７０７、実施例による受信方法は、ダイレクトコーディングモードが非活性化され、又はＰＵのダイレクトコーディングモードフラグがｆａｌｓｅであり、ＰＵツリースプリットフラグがｆａｌｓｅであれば、ダイレクトコーディング動きベクトルではなく、ＰＵ動きベクトルを復号する。
【0435】
実施例による受信方法は、ノード範囲が補償されたポイントクラウド領域に属する場合、ポイントクラウドデータをアップデートし、ポイントクラウドデータを復元する。特質データを復号する。
【0436】
実施例による受信方法は、モードがＭＶＤＣＭであり、エンコーダから送信された動きベクトル(ＭＶ)があれば、復号後にそのまま適用し、ＭＶがない場合にはデコーダで予測して適用する。
【0437】
図２８は実施例によるポイントクラウドデータ送信方法を示す。
【0438】
Ｓ２８００、実施例によるポイントクラウドデータ送信方法は、ポイントクラウドデータを符号化するステップを含む。
【0439】
実施例による符号化動作は、図１の送信装置１００００、ポイントクラウドビデオエンコーダ１０００２、図２の符号化、図４のエンコーダ、図１２の送信装置、図１４のＸＲデバイス１４３０、図１５の動き補償(インター予測)、図２２のビットストリーム生成、図２６の送信動作などを含む。
【0440】
Ｓ２８０１、実施例によるポイントクラウドデータ送信方法は、さらにポイントクラウドデータを含むビットストリームを送信するステップを含む。
【0441】
実施例による送信動作は、図１の送信機１０００３、図２の送信、図４のジオメトリ／特質ビットストリーム送信、図１２のビットストリーム送信、図１５のインター／イントラ予測後の送信、図２２のビットストリーム送信、図２６の符号化されたビットストリーム送信などを含む。
【0442】
図２９は実施例によるポイントクラウドデータ受信方法を示す。
【0443】
Ｓ２９００、実施例によるポイントクラウドデータ受信方法は、ポイントクラウドデータを含むビットストリームを受信するステップを含む。
【0444】
【0445】
Ｓ２９０１、実施例によるポイントクラウドデータ受信方法は、さらにポイントクラウドデータを復号するステップを含む。
【0446】
実施例による復号動作は、図１のポイントクラウドビデオデコーダ１０００６、図２の復号２０００３、図１０及び図１１のデコーダ、図１３のジオメトリ／特質復号、図１５の動き補償による予測、図２２のパラメータに基づくビットストリーム復号、図２７の受信動作などを含む。
【0447】
図１によれば、ポイントクラウドデータ送信方法は、ポイントクラウドデータを符号化するステップ;及びポイントクラウドデータを含むビットストリームを送信するステップ;を含む。
【0448】
図１５によれば、ダイレクトコーディングモード(ＭＶＤＣＭ)による動き補償に関して、ポイントクラウドデータを符号化するステップは、第１のフレームに含まれたポイントクラウドデータを第２のフレームに含まれたポイントクラウドデータに基づいて符号化する。
【0449】
第１のフレームは、現在符号化の対象となるポイントを含む現在フレームであり、第２のフレームは、第１のフレーム内のポイントに対する予測データを生成するために参照する参照フレームである。参照フレームは、現在フレームの以前に圧縮／復元されたフレームである。参照フレームは、現在フレームの以後に圧縮／復元されるフレームである。
【0450】
図１６及び図１７によれば、ダイレクトコーディングモード(ＭＶＤＣＭ)による動き補償に関して、実施例は、ポイント数をカウントし、数情報に基づいてモードを決定する。例えば、第１のフレームに対する予測ユニットを生成し、第２のフレームに対する調査領域を生成し、ポイントクラウドデータを符号化するステップは、予測ユニット及び調査領域のうちの少なくとも１つに含まれた１つ又は１つ以上のポイント数に基づいて予測ユニットを符号化する。
【0451】
図１８によれば、ダイレクトコーディングモード(ＭＶＤＣＭ)による動き補償に関連して、調査領域を相続して、領域外のポイントを除外する。予測ユニットに含まれた１つ又は１つ以上のポイント数に基づいて、調査領域に含まれたポイントが符号化され、調査領域に含まれたポイントが予測ユニットの範囲外にある場合、ポイントが除外される。
【0452】
図１９によれば、ダイレクトコーディングモード(ＭＶＤＣＭ)による動き補償に関連して、ＭＶは、領域(ボックス)の底側(ｂｏｔｔｏｍ)、左側(ｌｅｆｔ)、前側(ｆｒｏｎｔ)である。例えば、調査領域の底側、左側、前側に位置したポイント及び予測ユニットの底側、左側、前側に位置したポイントに基づいて動きベクトルが生成される。
【0453】
図２０によれば、ダイレクトコーディングモード(ＭＶＤＣＭ)による動き補償に関連して、ＭＶの８つの候補のうち、ＲＤＯに基づいて特定のＭＶを選択する。例えば、調査領域の頂点のポイント及び予測ユニットの頂点のポイントに基づいて、動きベクトルが生成される。
【0454】
図２１によれば、ダイレクトコーディングモード(ＭＶＤＣＭ)による動き補償に関連して、ＭＶを代表値で生成する。例えば、調査領域に含まれたポイントの平均、最大値、最小値、中央値のうちの少なくとも１つ及び予測ユニットに含まれたポイントの平均、最大値、最小値、中央値のうちの少なくとも１つに基づいて、動きベクトルを生成する。
【0455】
実施例による送信方法は、送信装置、エンコーダ、動き推定機などによって実行される。
【0456】
実施例によるポイントクラウドデータ受信方法は、送信方法に対応するか、逆過程に対応する。例えば、ポイントクラウドデータ受信方法は、ポイントクラウドデータを含むビットストリームを受信するステップ;及びポイントクラウドデータを復号するステップ;を含む。
【0457】
ポイントクラウドデータを復号するステップは、第１のフレームに含まれたポイントクラウドデータを第２のフレームに含まれたポイントクラウドデータに基づいて復号する。
【0458】
また、第１のフレームに対する予測ユニットを生成し、第２のフレームに対する調査領域を生成し、ポイントクラウドデータを復号するステップは、予測ユニット及び調査領域のうちの少なくとも１つに含まれた１つ又は１つ以上のポイント数に基づいて予測ユニットを復号する。
【0459】
実施例による復号は、インターフレーム予測によって、ポイント(ジオメトリ／特質)を復元する過程を称する。
【0460】
実施例による予測ユニットに含まれた１つ又は１つ以上のポイント数に基づいて、調査領域に含まれたポイントが復号され、調査領域に含まれたポイントが予測ユニットの範囲外であれば、前記ポイントが除外される。
【0461】
調査領域の底側、左側、前側に位置したポイント及び予測ユニットの底側、左側、前側に位置したポイントに基づいて動きベクトルが生成されるか、ビットストリームに含まれた動きベクトルに関する情報を用いてポイントを復元する。
【0462】
調査領域の頂点のポイント及び予測ユニットの頂点のポイントに基づいて、動きベクトルが生成されるか、ビットストリームに含まれた動きベクトルに関する情報を用いてポイントを復元する。
【0463】
これによって、実施例による方法／装置は、ポイントクラウドコンテンツの画面間予測を行うとき、予測単位であるＰＵが含むポイント数によるモードを多様に使用することができる。例えば、ＰＵが非常に少ない数のポイントを含む場合、多い探索過程を求める動きベクトル推定方法を適用せずに、調査領域とＰＵとの関係に基づいて動きベクトルを予測し、関連シグナリング情報を生成して送信する。エンコーダは、ＰＵと調査領域の状態によって、早期終了(Ｅａｒｌｙ ｔｅｒｍｉｎａｔｅ)して符号化時間を減少させることができ、デコーダは復号された動きベクトルを適用した後、ＰＵ範囲内に含まれているか否かを確認する必要がないため、復号時間を減少させることができる。
【0464】
実施例は方法及び／又は装置の観点で説明しており、方法の説明及び装置の説明は互いに補完して適用できる。
【0465】
説明の便宜のために、各図を区分して説明したが、各図に述べられている実施例を併合して新しい実施例を具現するように設計することも可能である。また通常の技術者の必要によって、以前に説明した実施例を実行するためのプログラムが記録されているコンピューターで読み取り可能な記録媒体を設計することも実施例の権利範囲に属する。実施例による装置及び方法は、上述したように、説明された実施例の構成と方法が限定して適用されることではなく、実施例は様々に変形可能に各実施例の全部又は一部が選択的に組み合わせられて構成されることもできる。実施例の好ましい実施例について示して説明したが、実施例は上述した特定の実施例に限定されず、請求の範囲で請求する実施例の要旨から離脱せず、当該発明が属する技術分野において通常の知識を有する者により様々な変形実施が可能であり、かかる変形実施は実施例の技術的思想や見込みから個々に理解されてはいけない。
【0466】
実施例による装置の様々な構成要素は、ハードウェア、ソフトウェア、ファームウェア又はそれらの組み合わせにより構成される。実施例の様々な構成要素は一つのチップ、例えば、一つのハードウェア回路で具現される。実施例において、実施例による構成要素はそれぞれ個々のチップで具現される。実施例において、実施例による装置の構成要素のいずれかは一つ又はそれ以上のプログラムを実行できる一つ又はそれ以上のプロセッサで構成され、一つ又はそれ以上のプログラムは実施例による動作／方法のうちのいずれか一つ又はそれ以上の動作／方法を行わせるか、実行させるための指示を含む。実施例による装置の方法／動作を行うための実行可能な指示は、一つ又はそれ以上のプロセッサにより実行されるために構成された一時的ではないＣＲＭ又は他のコンピュータープログラム製品に格納されるか、又は一つ又はそれ以上のプロセッサにより実行されるために構成された一時的なＣＲＭ又は他のコンピュータープログラム製品に格納されることができる。また実施例によるメモリは、揮発性メモリ(例えば、ＲＡＭなど)だけではなく、非揮発性メモリ、フラッシュメモリ、ＰＲＯＭなどを全部含む概念として使用される。また、インターネットによる送信などのような搬送波の形態で具現されることも含む。またプロセッサが読み取られる記録媒体は、ネットワークで連結されたコンピューターシステムに分散されて、分散方式によりプロセッサが読み取られるコードが格納されて実行されることができる。
【0467】
この明細書において、「／」と「、」は「及び／又は」に解釈される。例えば、「Ａ／Ｂ」は「Ａ及び／又はＢ」に解釈され、「Ａ、Ｂ」は「Ａ及び／又はＢ」に解釈される。さらに、「Ａ／Ｂ／Ｃ」は「Ａ、Ｂ及び／又はＣのうちのいずれか」を意味する。また、「Ａ、Ｂ、Ｃ」も「Ａ、Ｂ及び／又はＣのうちのいずれか」を意味する。さらに、この文書において、「又は」は「及び／又は」に解釈される。例えば、「Ａ又はＢ」は、１)「Ａ」のみを意味するか、２)「Ｂ」のみを意味するか、又は３)「Ａ及びＢ」を意味する。言い換えれば、この明細書において「又は」は「さらに(ａｄｄｉｔｉｏｎａｌｌｙ)又は代わりに(ａｌｔｅｒｎａｔｉｖｅｌｙ)」を意味する。
【0468】
第１、第２などの用語は実施例の様々な構成要素を説明するために使用される。しかし、実施例による様々な構成要素は上記用語により解釈が制限されてはいけない。かかる用語は一つの構成要素を他の構成要素と区別するために使用されることに過ぎない。例えば、第１ユーザ入力信号は第２ユーザ入力信号と称することができる。同様に、第２ユーザ入力信号は第１ユーザ入力信号と称することができる。かかる用語の使用は様々な実施例の範囲から離脱していない。第１ユーザ入力信号及び第２ユーザ入力信号はいずれもユーザ入力信号であるが、文脈上、明確に示していない限り、同一のユーザ入力信号を意味してはいない。
【0469】
実施例を説明のために使用された用語は、特定の実施例を説明するために使用されており、実施例を制限されるものではない。実施例の説明及び請求範囲で使用したように、文脈上明確に称していない限り、単数は複数を含む。「及び／又は」表現は用語間の全ての可能な結合を含む意味で使用される。「含む」は特徴、数、段階、要素及び／又はコンポーネントが存在することを説明し、さらなる特徴、数、段階、要素及び／又はコンポーネントを含まないことを意味しない。実施例を説明するために使用される、「～である場合」、「～の時」などの条件表現は選択的な場合にのみ制限して解釈されない。特定の条件を満たすとき、特定の条件に対応して関連動作を行うか、又は関連定義が解釈されるように意図されている。
【0470】
また、この明細で説明する実施例による動作は、実施例によってメモリ及び／又はプロセッサを含む送受信装置により行われる。メモリは実施例による動作を処理／制御するためのプログラムを格納し、プロセッサはこの明細で説明した様々な動作を制御する。プロセッサはコントローラーなどとも称される。実施例の動作はファームウェア、ソフトウェア及び／又はこれらの組み合わせにより行われ、ファームウェア、ソフトウェア及び／又はこれらの組み合わせはプロセッサに格納されるか又はメモリに格納される。
【0471】
一方、前述した実施例による動作は、実施例による送信装置及び／又は受信装置によって実行される。送受信装置は、メディアデータを送受信する送受信部、実施例によるプロセスに対する指示(プログラムコード、アルゴリズム、フローチャート(ｆｌｏｗｃｈａｒｔ)及び／又はデータ)を格納するメモリ、送／受信装置の動作を制御するプロセッサを含む。
【0472】
プロセッサはコントローラーなどとも呼び、例えば、ハードウェア、ソフトウェア、及び／又はそれらの組み合わせに対応する。前述した実施例による動作は、プロセッサによって実行される。また、プロセッサは、前述した実施例の動作のためのエンコーダ／デコーダなどで具現される。
【0473】
上述したように、実施例を実施するための最善の形態について関連内容を説明する。
【産業上の利用可能性】
【0474】
上述したように、実施例はポイントクラウドデータ送受信装置及びシステムに全体又は部分的に適用することができる。
【0475】
当業者であれば、実施例の範囲内で実施例を様々に変更及び変形することができる。
【0476】
実施例は変更／変形を含み、変更／変形は請求項及びそれと同一のものの範囲内である。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
