▶ エルジー エレクトロニクス インコーポレイティドの特許一覧
特開2024-71473ポイントクラウドデータ送信装置、ポイントクラウドデータ送信方法、ポイントクラウドデータ受信装置及びポイントクラウドデータ受信方法。
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024071473
(43)【公開日】2024-05-24
(54)【発明の名称】ポイントクラウドデータ送信装置、ポイントクラウドデータ送信方法、ポイントクラウドデータ受信装置及びポイントクラウドデータ受信方法。
(51)【国際特許分類】
G06T 9/40 20060101AFI20240517BHJP
G06T 7/50 20170101ALI20240517BHJP
【ＦＩ】
G06T9/40
G06T7/50
【審査請求】有
【請求項の数】14
【出願形態】ＯＬ
(21)【出願番号】P 2024045132
(22)【出願日】2024-03-21
(62)【分割の表示】P 2022520572の分割
【原出願日】2020-10-05
(31)【優先権主張番号】62/910,398
(32)【優先日】2019-10-03
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】502032105
【氏名又は名称】エルジー エレクトロニクス インコーポレイティド
【氏名又は名称原語表記】ＬＧ ＥＬＥＣＴＲＯＮＩＣＳ ＩＮＣ．
【住所又は居所原語表記】１２８， Ｙｅｏｕｉ－ｄａｅｒｏ， Ｙｅｏｎｇｄｅｕｎｇｐｏ－ｇｕ， ０７３３６ Ｓｅｏｕｌ，Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ
(74)【代理人】
【識別番号】100099759
【弁理士】
【氏名又は名称】青木 篤
(74)【代理人】
【識別番号】100123582
【弁理士】
【氏名又は名称】三橋 真二
(74)【代理人】
【識別番号】100165191
【弁理士】
【氏名又は名称】河合 章
(74)【代理人】
【識別番号】100114018
【弁理士】
【氏名又は名称】南山 知広
(74)【代理人】
【識別番号】100159259
【弁理士】
【氏名又は名称】竹本 実
(72)【発明者】
【氏名】ホ ヘチョン
(72)【発明者】
【氏名】オ セチン
(57)【要約】
【課題】ポイントクラウドを効率的に送受信するためのポイントクラウドデータ送信方法を提供する。
【解決手段】実施例によるポイントクラウドデータ送信方法は、ポイントクラウドデータを獲得する段階、前記ポイントクラウドデータのポイントの位置を含むジオメトリ情報を符号化する段階、前記ジオメトリ情報に基づいて前記ポイントクラウドデータのポイントの特質値を含む特質情報を符号化する段階、及び前記符号化されたジオメトリ情報、前記符号化された特質情報及びシグナリング情報を送信する段階を含む。
【選択図】図１７
【解決手段】実施例によるポイントクラウドデータ送信方法は、ポイントクラウドデータを獲得する段階、前記ポイントクラウドデータのポイントの位置を含むジオメトリ情報を符号化する段階、前記ジオメトリ情報に基づいて前記ポイントクラウドデータのポイントの特質値を含む特質情報を符号化する段階、及び前記符号化されたジオメトリ情報、前記符号化された特質情報及びシグナリング情報を送信する段階を含む。
【選択図】図１７
【特許請求の範囲】
【請求項1】
ポイントクラウドデータを獲得する段階と、
前記ポイントクラウドデータのポイントの位置を含むジオメトリ情報を符号化する段階と、
前記ジオメトリ情報に基づいて前記ポイントクラウドデータのポイントの特質値を含む特質情報を符号化する段階と、
前記符号化されたジオメトリ情報、前記符号化された特質情報及びシグナリング情報を送信する段階を含み、
前記特質情報を符号化する段階は、
符号化されるポイントの最隣接ポイントに基づいて予測器候補を生成する段階、
各予測器候補のスコアを得、最低のスコアを有する予測器候補に対応する予測モードを前記ポイントの予測モードとして設定する段階、及び
前記ポイントの予測モードと前記ポイントの予測モードに基づいて得られた残余の特質値を符号化する段階を含む、ポイントクラウドデータ送信方法。
前記ポイントクラウドデータのポイントの位置を含むジオメトリ情報を符号化する段階と、
前記ジオメトリ情報に基づいて前記ポイントクラウドデータのポイントの特質値を含む特質情報を符号化する段階と、
前記符号化されたジオメトリ情報、前記符号化された特質情報及びシグナリング情報を送信する段階を含み、
前記特質情報を符号化する段階は、
符号化されるポイントの最隣接ポイントに基づいて予測器候補を生成する段階、
各予測器候補のスコアを得、最低のスコアを有する予測器候補に対応する予測モードを前記ポイントの予測モードとして設定する段階、及び
前記ポイントの予測モードと前記ポイントの予測モードに基づいて得られた残余の特質値を符号化する段階を含む、ポイントクラウドデータ送信方法。
【請求項2】
前記ポイントの最隣接ポイントの特質値の間の最大差値がしきい値と等しいか又は大きい、請求項１に記載のポイントクラウドデータ送信方法。
【請求項3】
前記特質情報を符号化する段階は、
予測モード１ないし予測モード３のうちのいずれかを前記ポイントの予測モードとして設定し、
前記予測モード１において、前記ポイントの予測特質値は前記最隣接ポイントのうち、一番近い隣接ポイントの特質値に基づいて決定され、
前記予測モード２において、前記ポイントの予測特質値は前記最隣接ポイントのうち、二番目に近い隣接ポイントの特質値に基づいて決定され、
前記予測モード３において、前記ポイントの予測特質値は前記最隣接ポイントのうち、三番目に近い隣接ポイントの特質値に基づいて決定される、請求項２に記載のポイントクラウドデータ送信方法。
予測モード１ないし予測モード３のうちのいずれかを前記ポイントの予測モードとして設定し、
前記予測モード１において、前記ポイントの予測特質値は前記最隣接ポイントのうち、一番近い隣接ポイントの特質値に基づいて決定され、
前記予測モード２において、前記ポイントの予測特質値は前記最隣接ポイントのうち、二番目に近い隣接ポイントの特質値に基づいて決定され、
前記予測モード３において、前記ポイントの予測特質値は前記最隣接ポイントのうち、三番目に近い隣接ポイントの特質値に基づいて決定される、請求項２に記載のポイントクラウドデータ送信方法。
【請求項4】
前記特質情報を符号化する段階は、
前記予測モード１ないし予測モード３をそれぞれ適用して求めた各残余の特質値に基づいて、各予測器候補のスコアを得る、請求項３に記載のポイントクラウドデータ送信方法。
前記予測モード１ないし予測モード３をそれぞれ適用して求めた各残余の特質値に基づいて、各予測器候補のスコアを得る、請求項３に記載のポイントクラウドデータ送信方法。
【請求項5】
前記特質情報を符号化する段階は、
前記ポイントの最隣接ポイントの特質値の間の最大差値がしきい値より小さいと、前記ポイントの予測モードとして所定の予測モードを設定する段階と、
前記設定された予測モードに基づいて得られた残余の特質値を符号化する段階を含み、
前記所定の予測モードは予測モード０であり、
前記予測モード０において、前記ポイントの予測特質値は前記最隣接ポイントの距離基盤の加重値平均値により決定される、請求項２に記載のポイントクラウドデータ送信方法。
前記ポイントの最隣接ポイントの特質値の間の最大差値がしきい値より小さいと、前記ポイントの予測モードとして所定の予測モードを設定する段階と、
前記設定された予測モードに基づいて得られた残余の特質値を符号化する段階を含み、
前記所定の予測モードは予測モード０であり、
前記予測モード０において、前記ポイントの予測特質値は前記最隣接ポイントの距離基盤の加重値平均値により決定される、請求項２に記載のポイントクラウドデータ送信方法。
【請求項6】
ポイントクラウドデータを獲得する獲得部と、
前記ポイントクラウドデータのポイントの位置を含むジオメトリ情報を符号化するジオメトリエンコーダと、
前記ジオメトリ情報に基づいて前記ポイントクラウドデータのポイントの特質値を含む特質情報を符号化する特質エンコーダと、
前記符号化されたジオメトリ情報、前記符号化された特質情報及びシグナリング情報を送信する送信部を含み、
前記特質エンコーダは、
符号化されるポイントの最隣接ポイントに基づいて予測器候補を生成し、
各予測器候補のスコアを得た後、最低のスコアを有する予測器候補に対応する予測モードを前記ポイントの予測モードとして設定し、
前記ポイントの予測モードと前記予測モードに基づいて得られた残余の特質値を符号化する、ポイントクラウドデータ送信装置。
前記ポイントクラウドデータのポイントの位置を含むジオメトリ情報を符号化するジオメトリエンコーダと、
前記ジオメトリ情報に基づいて前記ポイントクラウドデータのポイントの特質値を含む特質情報を符号化する特質エンコーダと、
前記符号化されたジオメトリ情報、前記符号化された特質情報及びシグナリング情報を送信する送信部を含み、
前記特質エンコーダは、
符号化されるポイントの最隣接ポイントに基づいて予測器候補を生成し、
各予測器候補のスコアを得た後、最低のスコアを有する予測器候補に対応する予測モードを前記ポイントの予測モードとして設定し、
前記ポイントの予測モードと前記予測モードに基づいて得られた残余の特質値を符号化する、ポイントクラウドデータ送信装置。
【請求項7】
前記ポイントの最隣接ポイントの特質値の間の最大差値がしきい値と等しいか又は大きい、請求項６に記載のポイントクラウドデータ送信装置。
【請求項8】
前記特質エンコーダは、
予測モード１ないし予測モード３のうちのいずれかを前記ポイントの予測モードとして設定し、
前記予測モード１において、前記ポイントの予測特質値は前記最隣接ポイントのうち、一番近い隣接ポイントの特質値に基づいて決定され、
前記予測モード２において、前記ポイントの予測特質値は前記最隣接ポイントのうち、二番目に近い隣接ポイントの特質値に基づいて決定され、
前記予測モード３において、前記ポイントの予測特質値は前記最隣接ポイントのうち、三番目に近い隣接ポイントの特質値に基づいて決定される、請求項７に記載のポイントクラウドデータ送信装置。
予測モード１ないし予測モード３のうちのいずれかを前記ポイントの予測モードとして設定し、
前記予測モード１において、前記ポイントの予測特質値は前記最隣接ポイントのうち、一番近い隣接ポイントの特質値に基づいて決定され、
前記予測モード２において、前記ポイントの予測特質値は前記最隣接ポイントのうち、二番目に近い隣接ポイントの特質値に基づいて決定され、
前記予測モード３において、前記ポイントの予測特質値は前記最隣接ポイントのうち、三番目に近い隣接ポイントの特質値に基づいて決定される、請求項７に記載のポイントクラウドデータ送信装置。
【請求項9】
前記特質エンコーダは、
前記予測モード１ないし予測モード３をそれぞれ適用して求めた各残余の特質値に基づいて、各予測器候補のスコアを得る、請求項８に記載のポイントクラウドデータ送信装置。
前記予測モード１ないし予測モード３をそれぞれ適用して求めた各残余の特質値に基づいて、各予測器候補のスコアを得る、請求項８に記載のポイントクラウドデータ送信装置。
【請求項10】
前記特質エンコーダは、
前記ポイントの最隣接ポイントの特質値の間の最大差値がしきい値より小さいと、前記ポイントの予測モードとして所定の予測モードを設定し、前記設定された予測モードに基づいて得られた残余の特質値を符号化し、
前記所定の予測モードは予測モード０であり、
前記予測モード０において、前記ポイントの予測特質値は前記最隣接ポイントの距離基盤の加重値平均値により決定される、請求項７に記載のポイントクラウドデータ送信装置。
前記ポイントの最隣接ポイントの特質値の間の最大差値がしきい値より小さいと、前記ポイントの予測モードとして所定の予測モードを設定し、前記設定された予測モードに基づいて得られた残余の特質値を符号化し、
前記所定の予測モードは予測モード０であり、
前記予測モード０において、前記ポイントの予測特質値は前記最隣接ポイントの距離基盤の加重値平均値により決定される、請求項７に記載のポイントクラウドデータ送信装置。
【請求項11】
ジオメトリ情報、特質情報及びシグナリング情報を受信する受信部と、
前記シグナリング情報に基づいて前記ジオメトリ情報を復号してポイントの位置を復元するジオメトリデコーダと、
前記シグナリング情報と前記ジオメトリ情報に基づいて前記特質情報を復号して前記ポイントの特質値を復元する特質デコーダと、
前記ポイントの位置と特質値に基づいて復元されたポイントクラウドデータをレンダリングするレンダラーを含み、
前記特質デコーダは、
復号されるポイントの予測モードを得、前記ポイントの予測モードに基づいて前記ポイントの予測特質値を得、前記ポイントの予測特質値と前記特質情報に含まれた前記ポイントの残余の特質値に基づいて前記ポイントの特質値を復元する、ポイントクラウドデータ受信装置。
前記シグナリング情報に基づいて前記ジオメトリ情報を復号してポイントの位置を復元するジオメトリデコーダと、
前記シグナリング情報と前記ジオメトリ情報に基づいて前記特質情報を復号して前記ポイントの特質値を復元する特質デコーダと、
前記ポイントの位置と特質値に基づいて復元されたポイントクラウドデータをレンダリングするレンダラーを含み、
前記特質デコーダは、
復号されるポイントの予測モードを得、前記ポイントの予測モードに基づいて前記ポイントの予測特質値を得、前記ポイントの予測特質値と前記特質情報に含まれた前記ポイントの残余の特質値に基づいて前記ポイントの特質値を復元する、ポイントクラウドデータ受信装置。
【請求項12】
前記特質デコーダは、
前記ポイントの最隣接ポイントの特質値の間の最大差値がしきい値と等しいか又は大きいと、前記特質情報から前記ポイントの予測モードを得、
前記得られた予測モードは予測モード１ないし予測モード３のうちのいずれかである、請求項１１に記載のポイントクラウドデータ受信装置。
前記ポイントの最隣接ポイントの特質値の間の最大差値がしきい値と等しいか又は大きいと、前記特質情報から前記ポイントの予測モードを得、
前記得られた予測モードは予測モード１ないし予測モード３のうちのいずれかである、請求項１１に記載のポイントクラウドデータ受信装置。
【請求項13】
前記予測モード１において、前記ポイントの予測特質値は前記最隣接ポイントのうち、一番近い隣接ポイントの特質値に基づいて決定され、
前記予測モード２において、前記ポイントの予測特質値は前記最隣接ポイントのうち、二番目に近い隣接ポイントの特質値に基づいて決定され、
前記予測モード３において、前記ポイントの予測特質値は前記最隣接ポイントのうち、三番目に近い隣接ポイントの特質値に基づいて決定される、請求項１２に記載のポイントクラウドデータ受信装置。
前記予測モード２において、前記ポイントの予測特質値は前記最隣接ポイントのうち、二番目に近い隣接ポイントの特質値に基づいて決定され、
前記予測モード３において、前記ポイントの予測特質値は前記最隣接ポイントのうち、三番目に近い隣接ポイントの特質値に基づいて決定される、請求項１２に記載のポイントクラウドデータ受信装置。
【請求項14】
前記ポイントの最隣接ポイントの特質値の間の最大差値がしきい値より小さいと、前記ポイントの予測モードは所定の予測モードである、請求項１２に記載のポイントクラウドデータ受信装置。
【請求項15】
前記所定の予測モードは予測モード０であり、
前記予測モード０において、前記ポイントの予測特質値は前記最隣接ポイントの距離基盤の加重値平均値により決定される、請求項１４に記載のポイントクラウドデータ受信装置。
前記予測モード０において、前記ポイントの予測特質値は前記最隣接ポイントの距離基盤の加重値平均値により決定される、請求項１４に記載のポイントクラウドデータ受信装置。
【発明の詳細な説明】
【技術分野】
【0001】
実施例はポイントクラウドコンテンツ(Ｐｏｉｎｔ Ｃｌｏｕｄ Ｃｏｎｔｅｎｔ)を処理する方法及び装置に関する。
【背景技術】
【0002】
ポイントクラウドコンテンツは３次元空間を表現する座標系に属する点(ポイント)の集合であるポイントクラウドで表現されるコンテンツである。ポイントクラウドコンテンツは３次元からなるメディアを表現でき、ＶＲ(Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ、仮想現実)、ＡＲ(Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ、拡張現実)、ＭＲ(Ｍｉｘｅｄ Ｒｅａｌｉｔｙ、ＸＲ(Ｅｘｔｅｎｄｅｄ Ｒｅａｌｉｔｙ),複合現実)及び自律走行サービスなどの様々なサービスを提供するために使用される。しかし、ポイントクラウドコンテンツを表現するためには、数万から数十万個のポイントデータが必要である。従って、膨大な量のポイントデータを効率的に処理する方法が求められる。
【発明の概要】
【発明が解決しようとする課題】
【0003】
実施例による技術的課題は、上述した問題などを解決するために、ポイントクラウドを効率的に送受信するためのポイントクラウドデータ送信装置、送信方法、ポイントクラウドデータ受信装置及び受信方法を提供することにある。
【0004】
実施例による技術的課題は、遅延時間(ｌａｔｅｎｃｙ)及び符号化／復号の複雑度を解決するためのポイントクラウドデータ送信装置、送信方法、ポイントクラウドデータ受信装置及び受信方法を提供することにある。
【0005】
実施例による技術的課題は、ジオメトリ基盤のポイントクラウド圧縮(Ｇｅｏｍｅｔｒｙ－ｂａｓｅｄ ｐｏｉｎｔ ｃｌｏｕｄ ｃｏｍｐｒｅｓｓｉｏｎ、Ｇ－ＰＣＣ)の特質(ａｔｔｒｉｂｕｔｅ)情報の符号化技術を改善してポイントクラウドの圧縮性能を向上させるポイントクラウドデータ送信装置、送信方法、ポイントクラウドデータ受信装置及び受信方法を提供することにある。
【0006】
実施例による技術的課題は、Ｇ－ＰＣＣの特質情報の並列処理を支援しながら圧縮効率を向上させるためのポイントクラウドデータ送信装置、送信方法、ポイントクラウドデータ受信装置及び受信方法を提供することにある。
【0007】
実施例による技術的課題は、Ｇ－ＰＣＣの特質情報を符号化するとき、予測器候補のうち、適合する予測器候補を選択する方法を提案することにより、特質ビットストリームのサイズを縮め、特質圧縮の効率を高めるポイントクラウドデータ送信装置、送信方法、ポイントクラウドデータ受信装置及び受信方法を提供することにある。
【0008】
但し、上述した技術的課題のみに制限されず、記載する全ての内容に基づいて当業者が導き出される他の技術的課題まで実施例の権利範囲を拡張することができる。
【課題を解決するための手段】
【0009】
上記の目的及び他の利点を達成するために、実施例によるポイントクラウドデータ送信方法は、ポイントクラウドデータを獲得する段階、ポイントクラウドデータのポイントの位置を含むジオメトリ情報を符号化する段階、ジオメトリ情報に基づいてポイントクラウドデータのポイントの特質値を含む特質情報を符号化する段階、及び符号化されたジオメトリ情報、符号化された特質情報及びシグナリング情報を送信する段階を含む。
【0010】
特質情報を符号化する段階は、符号化されるポイントの最隣接ポイントに基づいて予測器候補を生成する段階、各予測器候補のスコアを得、最低のスコアを有する予測器候補に対応する予測モードをポイントの予測モードとして設定する段階、及びポイントの予測モードとポイントの予測モードに基づいて得られた残余の特質値を符号化する段階を含むことを一実施例とする。
【0011】
最隣接ポイントの特質値の間の最大差値がしきい値と等しいか又は大きいことを一実施例とする。
【0012】
特質情報を符号化する段階は、予測モード１ないし予測モード３のうちのいずれかをポイントの予測モードとして設定し、予測モード１において、ポイントの予測特質値は最隣接ポイントのうち、一番近い隣接ポイントの特質値に基づいて決定され、予測モード２において、ポイントの予測特質値は最隣接ポイントのうち、二番目に近い隣接ポイントの特質値に基づいて決定され、予測モード３において、ポイントの予測特質値は最隣接ポイントのうち、三番目に近い隣接ポイントの特質値に基づいて決定されることを一実施例とする。
【0013】
特質情報を符号化する段階は、予測モード１ないし予測モード３をそれぞれ適用して求めた各残余の特質値に基づいて、各予測器候補のスコアを得ることを一実施例とする。
【0014】
特質情報を符号化する段階は、ポイントの最隣接ポイントの特質値の間の最大差値がしきい値より小さいと、ポイントの予測モードとして所定の予測モードを設定する段階、及び設定された予測モードに基づいて得られた残余の特質値を符号化する段階を含む。
【0015】
所定の予測モードは予測モード０であり、予測モード０において、ポイントの予測特質値は最隣接ポイントの距離基盤の加重値平均値により決定されることを一実施例とする。
【0016】
実施例によるポイントクラウドデータ送信装置は、ポイントクラウドデータを獲得する獲得部、ポイントクラウドデータのポイントの位置を含むジオメトリ情報を符号化するジオメトリエンコーダ、ジオメトリ情報に基づいてポイントクラウドデータのポイントの特質値を含む特質情報を符号化する特質エンコーダ、及び符号化されたジオメトリ情報、符号化された特質情報及びシグナリング情報を送信する送信部を含む。
【0017】
特質エンコーダは、符号化されるポイントの最隣接ポイントに基づいて予測器候補を生成し、各予測器候補のスコアを得た後、最低のスコアを有する予測器候補に対応する予測モードをポイントの予測モードとして設定し、ポイントの予測モードと予測モードに基づいて得られた残余の特質値を符号化することを一実施例とする。
【0018】
ポイントの最隣接ポイントの特質値の間の最大差値がしきい値と等しいか又は大きいことを一実施例とする。
【0019】
特質エンコーダは、予測モード１ないし予測モード３のうちのいずれかをポイントの予測モードとして設定し、予測モード１において、ポイントの予測特質値は最隣接ポイントのうち、一番近い隣接ポイントの特質値に基づいて決定され、予測モード２において、ポイントの予測特質値は最隣接ポイントのうち、二番目に近い隣接ポイントの特質値に基づいて決定され、予測モード３において、ポイントの予測特質値は最隣接ポイントのうち、三番目に近い隣接ポイントの特質値に基づいて決定されることを一実施例とする。
【0020】
特質エンコーダは、予測モード１ないし予測モード３をそれぞれ適用して求めた各残余の特質値に基づいて、各予測器候補のスコアを得ることを一実施例とする。
【0021】
特質エンコーダは、ポイントの最隣接ポイントの特質値の間の最大差値がしきい値より小さいと、ポイントの予測モードとして所定の予測モードを設定し、設定された予測モードに基づいて得られた残余の特質値を符号化することを一実施例とする。
【0022】
所定の予測モードは予測モード０であり、予測モード０において、ポイントの予測特質値は最隣接ポイントの距離基盤の加重値平均値により決定されることを一実施例とする。
【0023】
実施例によるポイントクラウドデータ受信装置は、ジオメトリ情報、特質情報及びシグナリング情報を受信する受信部、シグナリング情報に基づいてジオメトリ情報を復号してポイントの位置を復元するジオメトリデコーダ、シグナリング情報とジオメトリ情報に基づいて特質情報を復号してポイントの特質値を復元する特質デコーダ、及びポイントの位置と特質値に基づいて復元されたポイントクラウドデータをレンダリングするレンダラーを含む。
【0024】
特質デコーダは、復号されるポイントの予測モードを得、ポイントの予測モードに基づいてポイントの予測特質値を得、ポイントの予測特質値と特質情報に含まれたポイントの残余の特質値に基づいてポイントの特質値を復元することを一実施例とする。
【0025】
特質デコーダは、ポイントの最隣接ポイントの特質値の間の最大差値がしきい値と等しいか又は大きいと、特質情報からポイントの予測モードを得、得られた予測モードは予測モード１ないし予測モード３のうちのいずれかであることを一実施例とする。
【0026】
予測モード１において、ポイントの予測特質値は最隣接ポイントのうち、一番近い隣接ポイントの特質値に基づいて決定され、予測モード２において、ポイントの予測特質値は最隣接ポイントのうち、二番目に近い隣接ポイントの特質値に基づいて決定され、予測モード３において、ポイントの予測特質値は最隣接ポイントのうち、三番目に近い隣接ポイントの特質値に基づいて決定されることを一実施例とする。
【0027】
ポイントの最隣接ポイントの特質値の間の最大差値がしきい値より小さいと、ポイントの予測モードは所定の予測モードであることを一実施例とする。
【0028】
所定の予測モードは予測モード０であり、予測モード０において、ポイントの予測特質値は最隣接ポイントの距離基盤の加重値平均値により決定されることを一実施例とする。
【発明の効果】
【0029】
実施例によるポイントクラウドデータ送信方法、送信装置、ポイントクラウドデータ受信方法、受信装置は、良質のポイントクラウドサービスを提供する。
【0030】
実施例によるポイントクラウドデータ送信方法、送信装置、ポイントクラウドデータ受信方法、受信装置は、様々なビデオコーデック方式を達成する。
【0031】
実施例によるポイントクラウドデータ送信方法、送信装置、ポイントクラウドデータ受信方法、受信装置は、自立走行サービスなどの汎用的なポイントクラウドコンテンツを提供する。
【0032】
実施例によるポイントクラウドデータ送信方法、送信装置、ポイントクラウドデータ受信方法、受信装置は、ポイントクラウドデータの独立的な符号化及び復号のためにポイントクラウドデータの空間適応的分割を行うことにより、並列処理の向上及び拡張性(ｓｃａｌａｂｉｌｉｔｙ)を提供する。
【0033】
実施例によるポイントクラウドデータ送信方法、送信装置、ポイントクラウドデータ受信方法、受信装置は、ポイントクラウドデータをタイル及び／又はスライス単位に空間分割して符号化及び復号を行い、そのために必要なデータをシグナリングすることにより、ポイントクラウドの符号化及び復号の性能を向上させることができる。
【0034】
実施例によるポイントクラウドデータ送信方法、送信装置、ポイントクラウドデータ受信方法、受信装置は、特質情報を符号化するとき、予測器候補のうち、最も適合する予測器を選択する方法を変更することにより、特質情報のビットストリームのサイズを縮め、特質情報の圧縮効率を向上させることができる。
【0035】
実施例によるポイントクラウドデータ送信方法、送信装置、ポイントクラウドデータ受信方法、受信装置は、該当ポイントの予測器に登録された隣接ポイントの特質値の間の最大差値が所定のしきい値と等しいか又は大きいと、加重値平均により予測特質値を計算する予測モードが、該当ポイントの予測モードとして設定されないようにすることにより、残余の特質値を含む特質ビットストリームのサイズを縮めることができ、これにより、特質の圧縮効率を向上させることができる。
【図面の簡単な説明】
【0036】
添付図面は実施例をより明確に理解するためのものであり、実施例に関連する説明と共に実施例を示している。
【0037】
【図1】実施例によるポイントクラウドのコンテンツ提供のためのシステムを示す図である。
【0038】
【図2】実施例によるポイントクラウドのコンテンツ提供のための過程を示す図である。
【0039】
【図3】実施例によるポイントクラウドのキャプチャー装備の配列構成を示す図である。
【0040】
【図4】実施例によるポイントクラウドビデオエンコーダ(ｐｏｉｎｔ Ｃｌｏｕｄ Ｖｉｄｅｏ Ｅｎｃｏｄｅｒ)を示す図である。
【0041】
【図5】実施例による３次元空間上のボクセルを示す図である。
【0042】
【図6】実施例による八分木及び占有コードの一例を示す図である。
【0043】
【図7】実施例による隣接ノードパターンの一例を示す図である。
【0044】
【図8】実施例によるＬＯＤごとのポイントクラウドコンテンツのポイント構成の一例を示す図である。
【0045】
【図9】実施例によるＬＯＤごとのポイントクラウドコンテンツのポイント構成の一例を示す図である。
【0046】
【図10】実施例によるポイントクラウドビデオデコーダ(ｐｏｉｎｔ Ｃｌｏｕｄ Ｖｉｄｅｏ Ｄｅｃｏｄｅｒ)のブロック図(ｂｌｏｃｋ ｄｉａｇｒａｍ)の一例である。
【0047】
【図11】実施例によるポイントクラウドビデオデコーダ(ｐｏｉｎｔ Ｃｌｏｕｄ Ｖｉｄｅｏ Ｄｅｃｏｄｅｒ)の一例を示す図である。
【0048】
【図12】実施例による送信機のポイントクラウドビデオ符号化のための構成要素を示す図である。
【0049】
【図13】実施例による受信機のポイントクラウドビデオ復号のための構成要素を示す図である。
【0050】
【図14】実施例によるポイントクラウドデータ方法／装置に連動可能な構造の一例を示す図である。
【0051】
【図15】実施例によるポイントクラウド送信装置のさらに他の例を示す図である。
【0052】
【図16】境界ボックスを一つ以上のタイルに分割する一例を示す図である。
【0053】
【図17】実施例によるジオメトリエンコーダと特質エンコーダのさらに他の例を示す詳細ブロック図である。
【0054】
【図18】実施例による予測モードを設定する方法の一例を示すフローチャートである。
【0055】
【図19】実施例による予測モードを設定する方法の他の例を示すフローチャートである。
【0056】
【図20】実施例によるポイントクラウド受信装置のさらに他の例を示す図である。
【0057】
【図21】実施例によるジオメトリデコーダと特質デコーダのさらに他の例を示す詳細ブロック図である。
【0058】
【図22】実施例による送受信のためのポイントクラウドデータのビットストリーム構造の一例を示す図である。
【0059】
【図23】実施例によるポイントクラウドデータのビットストリーム構造の一例を示す図である。
【0060】
【図24】実施例によるポイントクラウドデータのビットストリーム内の構成間連結関係を示す図である。
【0061】
【図25】この明細書によるシーケンスパラメータセットのシンタックス構造の一例を示す図である。
【0062】
【図26】この明細書によるジオメトリパラメータセットのシンタックス構造の一例を示す図である。
【0063】
【図27】この明細書による特質パラメータセットのシンタックス構造の一例を示す図である。
【0064】
【図28】この明細書によるタイルのパラメータセットのシンタックス構造の一例を示す図である。
【0065】
【図29】この明細書によるジオメトリスライスビットストリームのシンタックス構造の一例を示す図である。
【0066】
【図30】この明細書によるジオメトリスライスヘッダのシンタックス構造の一例を示す図である。
【0067】
【図31】この明細書によるジオメトリスライスデータのシンタックス構造の一例を示す図である。
【0068】
【図32】この明細書による特質スライスビットストリームのシンタックス構造の一例を示す図である。
【0069】
【図33】この明細書による特質スライスヘッダのシンタックス構造の一例を示す図である。
【0070】
【図34】この明細書による特質スライスデータのシンタックス構造の一例を示す図である。
【0071】
【図35】実施例によるポイントクラウドデータ送信方法を示すフローチャートである。
【0072】
【図36】実施例によるポイントクラウドデータ受信方法を示すフローチャートである。
【発明を実施するための形態】
【0073】
以下、添付図面を参照しながらこの明細書に記載された実施例について詳しく説明するが、図面符号に関係なく、同一又は類似する構成要素には同じ参照符号を付し、重複する説明は省略する。以下の実施例は本発明を具体化するためのものであり、本発明の権利範囲を制限又は限定するものではない。本発明の詳細な説明及び実施例から本発明が属する技術分野の専門家が容易に類推できるものは本発明の権利範囲に属するものと解釈される。
【0074】
この明細書の詳細な説明は全ての面で制限的に解釈されてはいけず、例示的なものとして考慮されるべきである。本発明の範囲は添付する請求範囲の合理的な解釈に基づいて決定されるべきであり、本発明の等価的範囲内での全ての変更は本発明の範囲に含まれる。
【0075】
添付図面を参照しながら望ましい実施例について具体的に説明する。添付図面を参照した以下の詳細な説明は、実施例によって具現可能な実施例のみを示すというより、望ましい実施例を説明するためのものである。以下の詳細な説明は実施例に関する徹底な理解を提供するために細部事項を含む。しかし、かかる細部事項がなくても実施例を実行できることは当業者にとって明らかである。実施例で使用するほとんどの用語は該当分野において広く使用される一般的なものであるが、一部は出願人によって任意に選択されたものもあり、その意味は必要によって以下に詳しく説明する。よって、実施例は用語の単純な名称や意味ではなく、用語が意図する意味に基づいて理解されるべきである。また、以下の図面及び詳細な説明は具体的に記載された実施例に限って解釈してはいけず、図面及び詳細な説明に記載の実施例と均等又は代替可能なものまで含むものと解釈すべきである。
【0076】
図１は実施例によるポイントクラウドコンテンツ提供システムの一例を示す図である。
【0077】
図１に示したポイントクラウドコンテンツ提供システムは、送信装置(ｔｒａｎｓｍｉｓｓｉｏｎ ｄｅｖｉｃｅ)１００００及び受信装置(ｒｅｃｅｐｔｉｏｎ ｄｅｖｉｃｅ)１０００４を含む。送信装置１００００及び受信装置１０００４はポイントクラウドデータを送受信するために有無線通信が可能である。
【0078】
実施例による送信装置１００００は、ポイントクラウドビデオ(又はポイントクラウドコンテンツ)を確保し処理して送信する。実施例において、送信装置１００００は固定局(ｆｉｘｅｄ ｓｔａｔｉｏｎ)、ＢＴＳ(ｂａｓｅ ｔｒａｎｓｃｅｉｖｅｒ ｓｙｓｔｅｍ)、ネットワーク、ＡＩ(Ａｒｉｔｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ)機器及び／又はシステム、ロボット、ＡＲ／ＶＲ／ＸＲ機器及び／又はサーバーなどを含む。また実施例において、送信装置１００００は無線接続技術(例、５Ｇ ＮＲ(Ｎｅｗ ＲＡＴ)、ＬＴＥ(Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ))を用いて、基地局及び／又は他の無線機器と通信を行う機器、ロボット、車両、ＡＲ／ＶＲ／ＸＲ機器、携帯機器、家電、ＩｏＴ(Ｉｎｔｅｒｎｅｔ ｏｆ Ｔｈｉｎｇ)機器、ＡＩ機器／サーバーなどを含む。
【0079】
実施例による送信装置１００００は、ポイントクラウドビデオ獲得部(Ｐｏｉｎｔ Ｃｌｏｕｄ Ｖｉｄｅｏ Ａｃｑｕｉｓｉｔｉｏｎ)１０００１、ポイントクラウドビデオエンコーダ(Ｐｏｉｎｔ Ｃｌｏｕｄ Ｖｉｄｅｏ Ｅｎｃｏｄｅｒ)１０００２及び／又は送信機(Ｔｒａｎｓｍｉｔｔｅｒ(又は通信モジュール)１０００３を含む。
【0080】
実施例によるポイントクラウドビデオ獲得部１０００１は、キャプチャー、合成又は生成などの処理過程によりポイントクラウドビデオを獲得する。ポイントクラウドビデオは、３次元空間に位置するポイントの集合であるポイントクラウドで表現されるポイントクラウドコンテンツであって、ポイントクラウドビデオデータなどと呼ばれる。実施例によるポイントクラウドビデオは、一つ又はそれ以上のフレームを含む。一つのフレームは停止映像／ピクチャを示す。よって、ポイントクラウドビデオはポイントクラウド映像／フレーム／ピクチャを含み、ポイントクラウド映像、フレーム及びピクチャのうちのいずれかに呼ばれる。
【0081】
実施例によるポイントクラウドビデオエンコーダ１０００２は、確保したポイントクラウドビデオデータを符号化する。ポイントクラウドビデオエンコーダ１０００２はポイントクラウド圧縮(Ｐｏｉｎｔ Ｃｌｏｕｄ Ｃｏｍｐｒｅｓｓｉｏｎ)コーディングに基づいてポイントクラウドビデオデータを符号化する。実施例によるポイントクラウド圧縮コーディングは、Ｇ－ＰＣＣ(Ｇｅｏｍｅｔｒｙ－ｂａｓｅｄ Ｐｏｉｎｔ Ｃｌｏｕｄ Ｃｏｍｐｒｅｓｓｉｏｎ)コーディング及び／又はＶ－ＰＣＣ(Ｖｉｄｅｏ ｂａｓｅｄ Ｐｏｉｎｔ Ｃｌｏｕｄ Ｃｏｍｐｒｅｓｓｉｏｎ)コーディング又は次世代コーディングを含む。なお、実施例によるポイントクラウド圧縮コーディングは、上述した実施例に限られない。ポイントクラウドビデオエンコーダ１０００２は、符号化されたポイントクラウドビデオデータを含むビットストリームを出力することができる。ビットストリームは符号化されたポイントクラウドビデオデータだけではなく、ポイントクラウドビデオデータの符号化に関連するシグナリング情報を含む。
【0082】
実施例による送信機１０００３は、符号化されたポイントクラウドビデオデータを含むビットストリームを送信する。実施例によるビットストリームはファイル又はセグメント(例えば、ストリーミングセグメント)などにカプセル化されて、放送網及び／又はブロードバンド網などの様々なネットワークにより送信される。図示していないが、送信装置１００００はカプセル化動作を行うカプセル化部(又はカプセル化モジュール)を含む。また実施例において、カプセル化部は送信機１０００３に含まれる。実施例において、ファイル又はセグメントはネットワークにより受信装置１０００４に送信されるか、又はデジタル格納媒体(例えば、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、ブルーレイ、ＨＤＤ、ＳＳＤなど)に格納される。実施例による送信機１０００３は受信装置１０００４(又は受信機(Ｒｅｃｅｉｖｅｒ)１０００５)と４Ｇ、５Ｇ、６Ｇなどのネットワークにより有無線通信が可能である。また送信機１０００３はネットワークシステム(例えば、４Ｇ、５Ｇ、６Ｇなどの通信ネットワークシステム)によって必要なデータ処理動作を行うことができる。また送信装置１００００はオン・デマンド(Ｏｎ Ｄｅｍａｎｄ)方式によってカプセル化されたデータを送信することもできる。
【0083】
実施例による受信装置１０００４は、受信機(Ｒｅｃｅｉｖｅｒ)１０００５、ポイントクラウドビデオデコーダ(Ｐｏｉｎｔ Ｃｌｏｕｄ Ｄｅｃｏｄｅｒ)１０００６及び／又はレンダラー(Ｒｅｎｄｅｒｅｒ)１０００７を含む。実施例において、受信装置１０００４は無線接続技術(例、５Ｇ ＮＲ(Ｎｅｗ ＲＡＴ)、ＬＴＥ(Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ))を用いて、基地局及び／又は他の無線機器と通信を行う機器、ロボット、車両、ＡＲ／ＶＲ／ＸＲ機器、携帯機器、家電、ＩｏＴ(Ｉｎｔｅｒｎｅｔ ｏｆ Ｔｈｉｎｇ)機器、ＡＩ機器／サーバーなどを含む。
【0084】
実施例による受信機１０００５は、ポイントクラウドビデオデータを含むビットストリーム又はビットストリームがカプセル化されたファイル／セグメントなどをネットワーク又は格納媒体から受信する。受信機１０００５はネットワークシステム(例えば、４Ｇ、５Ｇ、６Ｇなどの通信ネットワークシステム)により必要なデータ処理動作を行う。実施例による受信機１０００５は、受信したファイル／セグメントをデカプセル化してビットストリームを出力する。また実施例において、受信機１０００５はデカプセル化の動作を行うためのデカプセル化部(又はデカプセル化モジュール)を含む。またデカプセル化部は受信機１０００５とは別個のエレメント(又はコンポーネント)で具現される。
【0085】
ポイントクラウドビデオデコーダ１０００６は、ポイントクラウドビデオデータを含むビットストリームを復号する。ポイントクラウドビデオデコーダ１０００６はポイントクラウドビデオデータが符号化された方式により復号することができる(例えば、ポイントクラウドビデオエンコーダ１０００２の動作の逆の過程)。従って、ポイントクラウドビデオデコーダ１０００６はポイントクラウド圧縮の逆過程であるポイントクラウド復元コーディングを行って、ポイントクラウドビデオデータを復号することができる。ポイントクラウド復元コーディングはＧ－ＰＣＣコーディングを含む。
【0086】
レンダラー１０００７は復号されたポイントクラウドビデオデータをレンダリングする。レンダラー１０００７はポイントクラウドビデオデータだけではなく、オディオデータもレンダリングしてポイントクラウドコンテンツを出力する。実施例において、レンダラー１０００７はポイントクラウドコンテンツをディスプレイするためのディスプレイを含む。実施例において、ディスプレイはレンダラー１０００７に含まれず、別のデバイス又はコンポーネントで具現される。
【0087】
図面において、点線で示した矢印は、受信装置１０００４で得たフィードバック情報(ｆｅｅｄｂａｃｋ ｉｎｆｏｒｍａｔｉｏｎ)の送信経路を示す。フィードバック情報はポイントクラウドコンテンツを消費するユーザとの相互作用を反映するための情報であって、ユーザの情報を含む(例えば、ヘッドオリエンテーション情報)、ビューポート情報など)。特に、ポイントクラウドコンテンツがユーザとの相互作用が必要なサービス(例えば、自律走行サービスなど)のためのものである場合には、フィードバック情報はコンテンツ送信側(例えば、送信装置１００００)及び／又はサービス供給者に伝達されることができる。実施例において、フィードバック情報は送信装置１００００だけではなく受信装置１０００４でも使用されることができ、提供されないこともできる。
【0088】
実施例によるヘッドオリエンテーション情報はユーザの頭の位置、方向、角度、動きなどに関する情報である。実施例による受信装置１０００４はヘッドオリエンテーション情報に基づいてビューポート情報を計算する。ビューポート情報はユーザが見ているポイントクラウドビデオの領域に関する情報である。視点(ｖｉｅｗｐｏｉｎｔ)はユーザがポイントクラウドビデオを見ている点であり、ビューポート領域の真ん中を意味する。即ち、ビューポートは視点を中心とする領域であり、領域のサイズ、形態などはＦＯＶ(Ｆｉｅｌｄ Ｏｆ Ｖｉｅｗ)により決定される。従って、受信装置１０００４はヘッドオリエンテーション情報以外に、装置が支援する垂直(ｖｅｒｔｉｃａｌ)或いは水平(ｈｏｒｉｚｏｎｔａｌ)ＦＯＶなどに基づいてビューポート情報を抽出することができる。また受信装置１０００４はゲイズ分析(Ｇａｚｅ Ａｎａｌｙｓｉｓ)などを行って、ユーザのポイントクラウド消費方式、ユーザが凝視するポイントクラウドビデオ領域、凝視時間などを確認する。実施例において、受信装置１０００４はゲイズ分析の結果を含むフィードバック情報を送信装置１００００に送信することができる。実施例によるフィードバック情報はレンダリング及び／又はディスプレイ過程で得られる。実施例によるフィードバック情報は受信装置１０００４に含まれた一つ又はそれ以上のセンサにより確保される。また実施例において、フィードバック情報はレンダラー１０００７又は別の外部エレメント(又はデバイス、コンポーネントなど)により確保される。
【0089】
図１に示された点線はレンダラー１０００７で確保したフィードバック情報の伝達過程を示す。ポイントクラウドコンテンツ提供システムはフィードバック情報に基づいてポイントクラウドデータを処理(符号化／復号)する。従って、ポイントクラウドビデオデータデコーダ１０００６はフィードバック情報に基づいて復号の動作を行うことができる。また受信装置１０００４はフィードバック情報を送信装置１００００に送信することができる。送信装置１００００(又はポイントクラウドビデオデータエンコーダ１０００２)はフィードバック情報に基づいて符号化の動作を行うことができる。従って、ポイントクラウドコンテンツ提供システムは全てのポイントクラウドデータを処理(符号化／復号)せず、フィードバック情報に基づいて必要なデータ(例えば、ユーザのヘッド位置に対応するポイントクラウドデータ)を効率的に処理して、ユーザにポイントクラウドコンテンツを提供することができる。
【0090】
実施例において、送信装置１００００はエンコーダ、送信デバイス、送信機などに呼ばれ、受信装置１０００４はデコーダ、受信デバイス、受信機などに呼ばれる。
【0091】
実施例による図１のポイントクラウドコンテンツ提供システムで処理される(獲得／符号化／送信／復号／レンダリングの一連の過程で処理される)ポイントクラウドデータは、ポイントクラウドコンテンツデータ又はポイントクラウドビデオデータとも呼ばれる。実施例において、ポイントクラウドコンテンツデータはポイントクラウドデータに関連するメタデータ或いはシグナリング情報を含む概念として使用することができる。
【0092】
図１に示したポイントクラウドコンテンツ提供システムのエレメントは、ハードウェア、ソフトウェア、プロセッサ及び／又はこれらの組み合わせなどで具現される。
【0093】
図２は実施例によるポイントクラウドコンテンツ提供の動作を示すブロック図である。
【0094】
図２は図１で説明したポイントクラウドコンテンツ提供システムの動作を示すブロック図である。上述したように、ポイントクラウドコンテンツ提供システムは、ポイントクラウド圧縮コーディング(例えば、Ｇ－ＰＣＣ)に基づいてポイントクラウドデータを処理する。
【0095】
実施例によるポイントクラウドコンテンツ提供システム(例えば、ポイントクラウド送信装置１００００又はポイントクラウドビデオ獲得部１０００１)では、ポイントクラウドビデオを獲得する(２００００)。ポイントクラウドビデオは３次元空間を表現する座標系に属するポイントクラウドで表現される。実施例によるポイントクラウドビデオはＰｌｙ(Ｐｏｌｙｇｏｎ Ｆｉｌｅ ｆｏｒｍａｔ ｏｒ ｔｈｅ Ｓｔａｎｆｏｒｄ Ｔｒｉａｎｇｌｅ ｆｏｒｍａｔ)ファイルを含む。ポイントクラウドビデオが一つ又はそれ以上のフレームを有する場合、獲得したポイントクラウドビデオは一つ又はそれ以上のＰｌｙファイルを含む。Ｐｌｙファイルはポイントのジオメトリ(Ｇｅｏｍｅｔｒｙ)及び／又は特質(Ａｔｔｒｉｂｕｔｅ)のようなポイントクラウドデータを含む。ジオメトリはポイントの位置を含む。それぞれのポイントの位置は３次元座標系(例えば、ＸＹＺ軸からなる座標系など)を示すパラメータ(例えば、Ｘ軸、Ｙ軸、Ｚ軸それぞれの値)で表現される。特質はポイントの特質(例えば、それぞれのポイントのテクスチャ情報、色相(ＹＣｂＣｒ又はＲＧＢ)、反射率(ｒ)、透明度など)を含む。一つのポイントは一つ又はそれ以上の特質(又は属性)を有する。例えば、一つのポイントは、色相の一つの特質を有するか、或いは色相及び反射率の二つの特質を有することができる。
【0096】
実施例において、ジオメトリは位置、ジオメトリ情報、ジオメトリデータなどとも呼ばれ、特質は特質、特質情報、特質データなどとも呼ばれる。
【0097】
またポイントクラウドコンテンツ提供システム(例えば、ポイントクラウド送信装置１００００又はポイントクラウドビデオ獲得部１０００１)は、ポイントクラウドビデオの獲得過程に関連する情報(例えば、深さ情報、色相情報など)からポイントクラウドデータを確保することができる。
【0098】
実施例によるポイントクラウドコンテンツ提供システム(例えば、送信装置１００００又はポイントクラウドビデオエンコーダ１０００２)は、ポイントクラウドデータを符号化する(２０００１)。ポイントクラウドコンテンツ提供システムは、ポイントクラウド圧縮コーディングに基づいてポイントクラウドデータを符号化する。上述したように、ポイントクラウドデータはポイントのジオメトリ及び特質を含む。よって、ポイントクラウドコンテンツ提供システムは、ジオメトリを符号化するジオメトリ符号化を行ってジオメトリビットストリームを出力することができる。ポイントクラウドコンテンツ提供システムは、特質を符号化する特質符号化を行って特質ビットストリームを出力することができる。実施例において、ポイントクラウドコンテンツ提供システムはジオメトリ符号化に基づいて特質符号化を行うことができる。実施例によるジオメトリビットストリーム及び特質ビットストリームは多重化されて一つのビットストリームで出力される。実施例によるビットストリームはジオメトリ符号化及び特質符号化に関連するシグナリング情報をさらに含む。
【0099】
実施例によるポイントクラウドコンテンツ提供システム(例えば、送信装置１００００又は送信機１０００３)は、符号化されたポイントクラウドデータを送信する(２０００２)。図１で説明したように、符号化されたポイントクラウドデータはジオメトリビットストリーム、特質ビットストリームで表現される。また符号化されたポイントクラウドデータはポイントクラウドデータの符号化に関連するシグナリング情報(例えば、ジオメトリ符号化及び特質符号化に関連するシグナリング情報)と共に、ビットストリームの形態で送信される。またポイントクラウドコンテンツ提供システムは符号化されたポイントクラウドデータを送信するビットストリームをカプセル化してファイル又はセグメントの形態で送信する。
【0100】
実施例によるポイントクラウドコンテンツ提供システム(例えば、受信装置１０００４又は受信機１０００５)は、符号化されたポイントクラウドデータを含むビットストリームを受信する。またポイントクラウドコンテンツ提供システム(例えば、受信装置１０００４又は受信機１０００５)は、ビットストリームを逆多重化することができる。
【0101】
ポイントクラウドコンテンツ提供システム(例えば、受信装置１０００４又はポイントクラウドビデオデコーダ１０００５)は、ビットストリームで送信される符号化されたポイントクラウドデータ(例えば、ジオメトリビットストリーム、特質ビットストリーム)を復号する。ポイントクラウドコンテンツ提供システム(例えば、受信装置１０００４又はポイントクラウドビデオデコーダ１０００５)は、ビットストリームに含まれたポイントクラウドビデオデータの符号化に関連するシグナリング情報に基づいてポイントクラウドビデオデータを復号する。ポイントクラウドコンテンツ提供システム(例えば、受信装置１０００４又はポイントクラウドビデオデコーダ１０００５)は、ジオメトリビットストリームを復号してポイントの位置(ジオメトリ)を復元する。ポイントクラウドコンテンツ提供システムは、復元したジオメトリに基づいて特質ビットストリームを復号してポイントの特質を復元する。ポイントクラウドコンテンツ提供システム(例えば、受信装置１０００４又はポイントクラウドビデオデコーダ１０００５)は、復元されたジオメトリによる位置及び復号された特質に基づいてポイントクラウドビデオを復元する。
【0102】
実施例によるポイントクラウドコンテンツ提供システム(例えば、受信装置１０００４又はレンダラー１０００７)は、復号されたポイントクラウドデータをレンダリングする(２０００４)。ポイントクラウドコンテンツ提供システム(例えば、受信装置１０００４又はレンダラー１０００７)は、復号過程で復号されたジオメトリ及び特質を様々なレンダリング方式によってレンダリングする。ポイントクラウドコンテンツのポイントは、一定の厚さを有する定点、該当定点の位置を中央とする所定の最小サイズを有する立方体、又は定点の位置を中央とする円などにレンダリングされる。レンダリングされたポイントクラウドコンテンツの全部又は一部の領域はディスプレイ(例えば、ＶＲ／ＡＲディスプレイ、一般ディスプレイなど)によりユーザに提供される。
【0103】
実施例によるポイントクラウドコンテンツ提供システム(例えば、受信装置１０００４)は、フィードバック情報を確保することができる(２０００５)。ポイントクラウドコンテンツ提供システムは、フィードバック情報に基づいてポイントクラウドデータを符号化及び／又は復号する。実施例によるフィードバック情報及びポイントクラウドコンテンツ提供システムの動作は、図１で説明したフィードバック情報及び動作と同一であるので、具体的な説明は省略する。
【0104】
図３は実施例によるポイントクラウドビデオキャプチャー過程の一例を示す図である。
【0105】
【0106】
ポイントクラウドコンテンツは、様々な３次元空間(例えば、現実環境を示す３次元空間、仮想環境を示す３次元空間など)に位置するオブジェクト(ｏｂｊｅｃｔ)及び／又は環境を示すポイントクラウドビデオ(イメージ及び／又は映像)を含む。従って、実施例によるポイントクラウドコンテンツ提供システムは、ポイントクラウドコンテンツを生成するために一つ又はそれ以上のカメラ(例えば、深さ情報を確保できる赤外線カメラ、深さ情報に対応する色相情報を抽出できるＲＧＢカメラなど)、プロジェクト(例えば、深さ情報を確保するための赤外線パターンプロジェクターなど)、ＬｉＤＡＲなどを使用してポイントクラウドビデオをキャプチャーする。実施例によるポイントクラウドコンテンツ提供システムは、深さ情報から３次元空間上のポイントで構成されたジオメトリの形態を抽出し、色相情報からそれぞれのポイントの特質を抽出してポイントクラウドデータを確保する。実施例によるイメージ及び／又は映像は内向き(ｉｎｗａｒｄ－ｆａｃｉｎｇ)方式及び外向き(ｏｕｔｗａｒｄ－ｆａｃｉｎｇ)方式のうちのいずれかに基づいてキャプチャーされる。
【0107】
図３の左側には内向き方式が示されている。内向き方式は中心オブジェクトを取り囲んで位置する一つ又はそれ以上のカメラ(又はカメラセンサ)が中心オブジェクトをキャプチャーする方式である。内向き方式は核心客体に対する３６０°イメージをユーザに提供するポイントクラウドコンテンツ(例えば、ユーザに客体(例：キャラクター、選手、品物、俳優などの核心となる客体)の３６０°イメージを提供するＶＲ／ＡＲコンテンツ)を生成するために使用される。
【0108】
図３の右側には外向き方式が示されている。外向き方式は中心オブジェクトを取り囲んで位置する一つ又はそれ以上のカメラ(又はカメラセンサ)が中心オブジェクトではない中心オブジェクトの環境をキャプチャーする方式である。外向き方式はユーザの視点からの周辺環境を提供するためのポイントクラウドコンテンツ(例えば、自律走行車両のユーザに提供される外部環境を示すコンテンツ)を生成するために使用される。
【0109】
図３のように、ポイントクラウドコンテンツは一つ又はそれ以上のカメラのキャプチャー動作に基づいて生成される。この場合、それぞれのカメラの座標系が異なるので、ポイントクラウドコンテンツ提供システムはキャプチャー動作前にグローバル空間座標系(ｇｌｏｂａｌ ｃｏｏｒｄｉｎａｔｅ ｓｙｓｔｅｍ)を設定するために、一つ又はそれ以上のカメラの較正(ｃａｌｉｂｒａｔｉｏｎ)を行う。またポイントクラウドコンテンツ提供システムは、上述したキャプチャー方式でキャプチャーされたイメージ及び／又は映像と任意のイメージ及び／又は映像を合成してポイントクラウドコンテンツを生成する。またポイントクラウドコンテンツ提供システムは、仮想空間を示すポイントクラウドコンテンツを生成する場合、図３で説明したキャプチャー動作を行わない。実施例によるポイントクラウドコンテンツ提供システムは、キャプチャーしたイメージ及び／又は映像に対して後処理を行うこともできる。即ち、ポイントクラウドコンテンツ提供システムは、望まない領域(例えば、背景)を除去したり、キャプチャーしたイメージ及び／又は映像が連結された空間を認識して空間(ｓｐａｔｉａｌ ｈｏｌｅ)がある場合、それを埋める動作を行うことができる。
【0110】
またポイントクラウドコンテンツ提供システムは、それぞれのカメラから確保したポイントクラウドビデオのポイントに対して座標系変換を行って、一つのポイントクラウドコンテンツを生成することができる。ポイントクラウドコンテンツ提供システムは、それぞれのカメラの位置座標を基準としてポイントの座標系変換を行う。これにより、ポイントクラウドコンテンツ提供システムは、一つの広い範囲を示すコンテンツを生成するか、或いはポイントの密度が高いポイントクラウドコンテンツを生成することができる。
【0111】
図４は実施例によるポイントクラウドビデオエンコーダ(Ｐｏｉｎｔ Ｃｌｏｕｄ Ｖｉｄｅｏ Ｅｎｃｏｄｅｒ)の一例を示す図である。
【0112】
図４は図１のポイントクラウドビデオエンコーダ１０００２の一例を示す。ポイントクラウドビデオエンコーダは、ネットワーク状況或いはアプリケーションなどによってポイントクラウドコンテンツの質(例えば、無損失－ｌｏｓｓｌｅｓｓ、損失－ｌｏｓｓｙ、損失に近い－ｎｅａｒ－ｌｏｓｓｌｅｓｓ)を調節するために、ポイントクラウドデータ(例えば、ポイントの位置及び／又は特質)を再構成して符号化動作を行う。ポイントクラウドコンテンツの全体サイズが大きい場合(例えば、３０ｆｐｓの場合、６０Ｇｂｐｓであるポイントクラウドコンテンツ)、ポイントクラウドコンテンツ提供システムは該当コンテンツをリアルタイムストリーミングすることができない。従って、ポイントクラウドコンテンツ提供システムは、ネットワーク環境などに合わせて提供するために、最大ターゲットビットレートに基づいてポイントクラウドコンテンツを再構成することができる。
【0113】
【0114】
実施例によるポイントクラウドビデオエンコーダは、座標系変換部(Ｔｒａｎｓｆｏｒｍａｔｉｏｎ Ｃｏｏｒｄｉｎａｔｅｓ ｕｎｉｔ)４００００、量子化部(Ｑｕａｎｔｉｚａｔｉｏｎ Ｕｎｉｔ)４０００１、八分木分析部(Ｏｃｔｒｅｅ Ａｎａｌｙｓｉｓ ｕｎｉｔ)４０００２、表面近似分析部(Ｓｕｒｆａｃｅ Ａｐｐｒｏｘｉｍａｔｉｏｎ Ａｎａｌｙｓｉｓ ｕｎｉｔ)４０００３、演算エンコーダ(Ａｒｉｔｈｍｅｔｉｃ Ｅｎｃｏｄｅ)４０００４、ジオメトリ再構成部(Ｇｅｏｍｅｔｒｙ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｕｎｉｔ)４０００５、色変換部(Ｃｏｌｏｒ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ ｕｎｉｔ)４０００６、特質変換部(Ａｔｔｒｉｂｕｔｅ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ ｕｎｉｔ)４０００７、ＲＡＨＴ(Ｒｅｇｉｏｎ Ａｄａｐｔｉｖｅ Ｈｉｅｒａｃｈｉｃａｌ Ｔｒａｎｓｆｏｒｍ)変換部４０００８、ＬＯＤ生成部(ＬＯＤ Ｇｅｎｅｒａｔｉｏｎ ｕｎｉｔ)４０００９、リフト変換部(Ｌｉｆｔｉｎｇ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ ｕｎｉｔ)４００１０、係数量子化部(Ｃｏｅｆｆｉｃｉｅｎｔ Ｑｕａｎｔｉｚａｔｉｏｎ ｕｎｉｔ)４００１１及び／又は演算エンコーダ(Ａｒｉｔｈｍｅｔｉｃ Ｅｎｃｏｄｅｒ)４００１２を含む。
【0115】
座標系変換部４００００、量子化部４０００１、八分木分析部４０００２、表面近似分析部４０００３、演算エンコーダ４０００４及びジオメトリ再構成部４０００５は、ジオメトリ符号化を行うことができる。実施例によるジオメトリ符号化は、八分木ジオメトリコーディング、ダイレクトコーディング(ｄｉｒｅｃｔ ｃｏｄｉｎｇ)、ｔｒｉｓｏｕｐジオメトリ符号化(ｔｒｉｓｏｕｐ ｇｅｏｍｅｔｒｙ ｅｎｃｏｄｉｎｇ)及びエントロピー符号化を含む。ダイレクトコーディング及びｔｒｉｓｏｕｐジオメトリ符号化は選択的に或いは組み合わせて適用される。なお、ジオメトリ符号化は上記の例示に限られない。
【0116】
図示したように、実施例による座標系変換部４００００は、位置を受信して座標系(ｃｏｏｒｄｉｎａｔｅ)に変換する。例えば、位置は３次元空間(例えば、ＸＹＺ座標系で表現される３次元空間など)の位置情報に変換される。実施例による３次元空間の位置情報はジオメトリ情報とも称される。
【0117】
実施例による量子化部４０００１はジオメトリを量子化する。例えば、量子化部４０００１は全体ポイントの最小位置値(例えば、Ｘ軸、Ｙ軸、Ｚ軸に対して各軸上の最小値)に基づいてポイントを量子化する。量子化部４０００１は最小の位置値とそれぞれのポイントの位置値との差に所定の量子スケール(ｑｕａｔｉｚａｔｉｏｎ ｓｃａｌｅ)値を掛けた後、切り下げ又は切り上げをして最も近い整数値を探す量子化動作を行う。従って、一つ又はそれ以上のポイントは同一の量子化された位置(又は位置値)を有することができる。実施例による量子化部４０００１は量子化されたポイントを再構成するために、量子化された位置に基づいてボクセル化(ｖｏｘｅｌｉｚａｔｉｏｎ)を行う。２次元イメージ／ビデオ情報を含む最小単位はピクセル(ｐｉｘｅｌ)のように、実施例によるポイントクラウドコンテンツ(又は３次元ポイントクラウドビデオ)のポイントは一つ又はそれ以上のボクセル(ｖｏｘｅｌ)に含まれる。ボクセルはボリューム(Ｖｏｌｕｍｅ)とピクセル(Ｐｉｘｅｌ)を組み合わせた言葉であり、３次元空間を表現する軸(例えば、Ｘ軸、Ｙ軸、Ｚ軸)に基づいて３次元空間をユニット(ｕｎｉｔ＝１.０)単位で分けたときに発生する３次元キュービック空間を意味する。量子化部４０００１は３次元空間のポイントのグループをボクセルでマッチングすることができる。実施例において、一つのボクセルは一つのポイントのみを含むことができる。実施例において、一つのボクセルは一つ又はそれ以上のポイントを含む。また一つのボクセルを一つのポイントで表現するために、一つのボクセルに含まれた一つ又はそれ以上のポイントの位置に基づいて、該当ボクセルの中央点(ｃｅｔｅｒ)の位置を設定することができる。この場合、一つのボクセルに含まれた全ての位置の特質が統合されて(ｃｏｍｂｉｎｅｄ)、該当ボクセルに割り当てられる。
【0118】
実施例による八分木分析部４０００２は、ボクセルを八分木構造で表すための八分木ジオメトリコーディング(又は八分木コーディング)を行う。八分木構造は八分割構造に基づいてボクセルにマッチングされたポイントを表現する。
【0119】
実施例による表面近似分析部４０００３は、八分木を分析して近似化する。実施例による八分木分析及び近似化は、八分木及びボクセル化を効率的に提供するために、多数のポイントを含む領域をボクセル化するために分析を行う過程である。
【0120】
実施例による演算エンコーダ４０００４は、八分木及び／又は近似化された八分木をエントロピー符号化する。例えば、符号化方式は演算(Ａｒｉｔｈｍｅｔｉｃ)符号化方法を含む。符号化の結果としてジオメトリビットストリームが生成される。
【0121】
色変換部４０００６、特質変換部４０００７、ＲＡＨＴ変換部４０００８、ＬＯＤ生成部４０００９、リフト変換部４００１０、係数量子化部４００１１及び／又は演算エンコーダ４００１２は、特質符号化を行う。上述したように、一つのポイントは一つ又はそれ以上の特質を有する。実施例による特質符号化は、一つのポイントが有する特質に対して等しく適用される。但し、一つの特質(例えば、色相)が一つ又はそれ以上の要素を含む場合は、各要素ごとに独立した特質符号化が適用される。実施例による特質符号化は、色変換コーディング、特質変換コーディング、ＲＡＨＴ(Ｒｅｇｉｏｎ Ａｄａｐｔｉｖｅ Ｈｉｅｒａｒｃｈｉａｌ Ｔｒａｎｓｆｏｒｍ)コーディング、予測変換(Ｉｎｔｅｒｐｏｌａｒａｔｉｏｎ－ｂａｓｅｄ ｈｉｅｒａｒｃｈｉｃａｌ ｎｅａｒｅｓｔ－ｎｅｉｇｈｂｏｕｒ ｐｒｅｄｉｃｔｉｏｎ－Ｐｒｅｄｉｃｔｉｏｎ Ｔｒａｎｓｆｏｒｍ)コーディング及びリフト変換(ｉｎｔｅｒｐｏｌａｔｉｏｎ－ｂａｓｅｄ ｈｉｅｒａｒｃｈｉｃａｌ ｎｅａｒｅｓｔ－ｎｅｉｇｈｂｏｕｒ ｐｒｅｄｉｃｔｉｏｎ ｗｉｔｈ ａｎ ｕｐｄａｔｅ／ｌｉｆｔｉｎｇ ｓｔｅｐ（Ｌｉｆｔｉｎｇ Ｔｒａｎｓｆｏｒｍ))コーディングを含む。ポイントクラウドコンテンツによって、上述したＲＡＨＴコーディング、予測変換コーディング及びリフト変換コーディングが選択的に使用されるか、又は一つ又はそれ以上のコーディングの組み合わせが使用される。また実施例による特質符号化は上述した例示に限られない。
【0122】
実施例による色変換部４０００６は、特質に含まれた色値(又はテクスチャ)を変換する色変換コーディングを行う。例えば、色変換部４０００６は色相情報のフォーマットを変換(例えば、ＲＧＢからＹＣｂＣｒに変換)する。実施例による色変換部４０００６の動作は、特質に含まれた色値によって任意に(ｏｐｔｉｏｎａｌ)適用される。
【0123】
実施例によるジオメトリ再構成部４０００５は、八分木及び／又は近似化した八分木を再構成(復元)する。ジオメトリ再構成部４０００５はポイントの分布を分析した結果に基づいて八分木／ボクセルを再構成する。再構成された八分木／ボクセルは再構成されたジオメトリ(又は復元されたジオメトリ)とも呼ばれる。
【0124】
実施例による特質変換部４０００７は、ジオメトリ符号化が行われていない位置及び／又は再構成されたジオメトリに基づいて特質を変換する特質変換を行う。上述したように、特質はジオメトリに従属するので、特質変換部４０００７は再構成されたジオメトリ情報に基づいて特質を変換することができる。例えば、特質変換部４０００７は、ボクセルに含まれたポイントの位置値に基づいてその位置のポイントが有する特質を変換することができる。上述したように、一つのボクセルに含まれた一つ又はそれ以上のポイントの位置に基づいて該当ボクセルの中央点の位置が設定される場合、特質変換部４０００７は一つ又はそれ以上のポイントの特質を変換する。ｔｒｉｓｏｕｐジオメトリ符号化が行われた場合、特質変換部４０００７はｔｒｉｓｏｕｐジオメトリ符号化に基づいて特質を変換することができる。
【0125】
特質変換部４０００７は、各ボクセルの中央点の位置(又は位置値)から特定の位置／半径内に隣接しているポイントの特質又は特質値(例えば、各ポイントの色相、又は反射率など)の平均値を計算して特質変換を行う。特質変換部４０００７は平均値の計算時、中央点から各ポイントまでの距離による加重値を適用する。従って、各ボクセルは位置及び計算された特質(又は特質値)を有する。
【0126】
特質変換部４０００７はＫ－Ｄツリー又はモールトンコード(ｍｏｕｌｔｏｎ ｃｏｄｅ)に基づいて各ボクセルの中央点の位置から特定の位置／半径内に存在する隣接ポイントを探索する。Ｋ－Ｄツリーは二分探索木(ｂｉｎａｒｙ ｓｅａｒｃｈ ｔｒｅｅ)で迅速に最短隣接点探索(Ｎｅａｒｅｓｔ Ｎｅｉｇｈｂｏｒ Ｓｅａｒｃｈ－ＮＮＳ)をできるように、ポイントを位置基盤に管理する資料構造を支援する。モールトンコードは全てのポイントの３次元位置を示す座標値(例えば、(ｘ，ｙ，ｚ))をビット値で示し、ビットを混ぜて生成される。例えば、ポイントの位置を示す座標値が(５，９，１)であると、座標値のビット値は(０１０１、１００１、０００１)である。ビット値をｚ、ｙ、ｘの順にビットインデックスに合わせて混ぜると、０１０００１０００１１１である。この値を１０進数で示すと１０９５になる。即ち、座標値が(５，９，１)であるポイントのモールトンコード値は１０９５である。特質変換部４０００７はモールトンコード値を基準としてポイントを整列し、ｄｅｐｔｈ－ｆｉｒｓｔ ｔｒａｖｅｒｓａｌ過程により最短隣接点探索(ＮＮＳ)を行う。特質変換動作後、特質コーディングのための他の変換過程でも最短隣接点探索(ＮＮＳ)が必要であれば、Ｋ－Ｄツリー又はモールトンコードが活用される。
【0127】
図示したように、変換された特質はＲＡＨＴ変換部４０００８及び／又はＬＯＤ生成部４０００９に入力される。
【0128】
実施例によるＲＡＨＴ変換部４０００８は、再構成されたジオメトリ情報に基づいて特質情報を予測するＲＡＨＴコーディングを行う。例えば、ＲＡＨＴ変換部４０００８は、八分木の下位レベルにあるノードに連関する特質情報に基づいて、八分木の上位レベルにあるノードの特質情報を予測することができる。
【0129】
実施例によるＬＯＤ生成部４０００９はＬＯＤ(Ｌｅｖｅｌ ｏｆ Ｄｅｔａｉｌ)を生成する。実施例によるＬＯＤはポイントクラウドコンテンツの詳細を示す程度であり、ＬＯＤ値が小さいほどポイントクラウドコンテンツの詳細が下がり、ＬＯＤ値が大きいほどポイントクラウドコンテンツの詳細が高いことが示されている。ポイントをＬＯＤによって分類できる。
【0130】
実施例によるリフト変換部４００１０は、ポイントクラウドの特質を加重値に基づいて変換するリフト変換コーディングを行う。上述したように、リフト変換コーディングは選択的に適用される。
【0131】
実施例による係数量子化部４００１１は、特質コーディングされた特質を係数に基づいて量子化する。
【0132】
実施例による演算エンコーダ４００１２は、量子化された特質を演算コーディングに基づいて符号化する。
【0133】
図４のポイントクラウドビデオエンコーダのエレメントは、図示していないが、ポイントクラウド提供装置に含まれた一つ又はそれ以上のメモリと通信可能に設定された一つ又はそれ以上のプロセッサ又は集積回路(ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔｓ)を含むハードウェア、ソフトウェア、ファームウェア又はこれらの組み合わせで具現される。一つ又はそれ以上のプロセッサは、上述した図４のポイントクラウドビデオエンコーダのエレメントの動作及び／又は機能のうち、いずれか一つを行うことができる。また、一つ又はそれ以上のプロセッサは、図４のポイントクラウドビデオエンコーダのエレメントの動作及び／又は機能を行うためのソフトウェアプログラム及び／又は指示(ｉｎｓｔｒｕｃｔｉｏｎ)のセットを動作又は実行することができる。実施例による一つ又はそれ以上のメモリは高速ランダムアクセスメモリを含むか、又は非揮発性メモリ(例えば、一つ又はそれ以上のマグネチックディスク格納デバイス、フラッシュメモリデバイス、又は他の非揮発性固体のメモリデバイス(Ｓｏｌｉｄ－ｓｔａｔｅ ｍｅｍｏｒｙ ｄｅｖｉｃｅｓ)など)を含む。
【0134】
図５は実施例によるボクセルの一例を示す図である。
【0135】
図５はＸ軸、Ｙ軸、Ｚ軸の３つの軸で構成された座標系で表現される３次元空間上に位置するボクセルを示す。図４に示すように、ポイントクラウドビデオエンコーダ(例えば、量子化部４０００１など)はボクセル化を行う。ボクセルは３次元空間を表現する軸(例えば、Ｘ軸、Ｙ軸、Ｚ軸)に基づいて３次元空間をユニット(ｕｎｉｔ＝１.０)単位で分けたときに発生する３次元キュービック空間を意味する。図５は２つの極点(０,０,０)及び(２d、２d、２d)により定義される境界ボックス(ｃｕｂｉｃａｌ ａｘｉｓ－ａｌｉｇｎｅｄ ｂｏｕｎｄｉｎｇ ｂｏｘ)を再帰的に分割(ｒｅｃｕｌｓｉｖｅ ｓｕｂｄｉｖｉｄｉｎｇ)する八分木構造により生成されたボクセルの一例を示す。一つのボクセルは少なくとも一つ以上のポイントを含む。ボクセルはボクセル群(ｖｏｘｅｌ ｇｒｏｕｐ)との位置関係から空間座標を推定することができる。上述したように、ボクセルは２次元イメージ／映像のピクセルと同様に、特質(色相又は反射率など)を有する。ボクセルに対する具体的な説明は図４で説明した通りであるので、省略する。
【0136】
図６は実施例による八分木及び占有コード(ｏｃｃｕｐａｎｃｙ ｃｏｄｅ)の一例を示す図である。
【0137】
図１ないし図４に示したように、ポイントクラウドコンテンツ提供システム(ポイントクラウドビデオエンコーダ１０００２)又はポイントクラウドビデオエンコーダの八分木分析部４０００２は、ボクセルの領域及び／又は位置を効率的に管理するために、八分木構造基盤の八分木ジオメトリコーディング(又は八分木コーディング)を行う。
【0138】
図６の上側は八分木構造を示している。実施例によるポイントクラウドコンテンツの３次元空間は座標系の軸(例えば、Ｘ軸、Ｙ軸、Ｚ軸)で表現される。八分木構造は２つの極点(０,０,０)及び(２d、２d、２d)により定義される境界ボックス(ｃｕｂｉｃａｌ ａｘｉｓ－ａｌｉｇｎｅｄ ｂｏｕｎｄｉｎｇ ｂｏｘ)を再帰的に分割(ｒｅｃｕｌｓｉｖｅ ｓｕｂｄｉｖｉｄｉｎｇ)して生される。２ｄはポイントクラウドコンテンツ(又はポイントクラウドビデオ)の全体ポイントを取り囲む最小の境界ボックスを構成する値で設定される。ｄ値は以下の数１により決定される。以下の数１において、(ｘint
n、ｙint
n、ｚint
n)は量子化されたポイントの位置(又は位置値)を示す。
【0139】
【数1】
【0140】
図６の上側中央に示したように、分割によって全体３次元空間は８つの空間に分かれる。分割されたそれぞれの空間は６つの面を有するキューブで表現される。図６の右上側に示したように、８つの空間はそれぞれ再び座標系の軸(例えば、Ｘ軸、Ｙ軸、Ｚ軸)により分かれる。よって、それぞれの空間は再び８つの小さい空間に分かれる。分割された小さい空間も６つの面を有するキューブで表現される。このような分割方式は八分木のリーフノード(ｌｅａｆ ｎｏｄｅ)がボクセルになるまで適用される。
【0141】
図６の下側は八分木の占有コードを示す。八分木の占有コードは一つの空間が分かれて発生する８つの分割空間がそれぞれ少なくとも一つのポイントを含むか否かを示すために生成される。従って、一つの占有コードは８つの子ノード(ｃｈｉｌｄ ｎｏｄｅ)で表現される。それぞれの子ノードは分割された空間の占有率(ｏｃｃｕｐａｎｃｙ)を示し、子ノードは１ビットの値を有する。従って、占有コードは８ビットコードで表現される。即ち、子ノードに対応する空間に少なくとも一つのポイントが含まれていると、該当ノードは１値を有する。ノードに対応する空間にポイントが含まれていないと(ｅｍｐｔｙ)、該当ノードは０値を有する。図６に示した占有コードは００１００００１であるので、８つの子ノードのうち、３番目の子ノード及び８番目の子ノードに対応する空間はそれぞれ少なくとも一つのポイントを含むことを示している。図示したように、３番目の子ノード及び８番目の子ノードはそれぞれ８つの子ノードを有し、それぞれの子ノードは８ビットの占有コードで表現される。図面では、３番目の子ノードの占有コードが１００００１１１であり、８番目の子ノードの占有コードが０１００１１１１であることを示している。実施例によるポイントクラウドビデオエンコーダ(例えば、演算エンコーダ４０００４)は占有コードをエントロピー符号化することができる。また圧縮効率を高めるために、ポイントクラウドビデオエンコーダは占有コードをイントラ／インターコーディングすることができる。実施例による受信装置(例えば、受信装置１０００４又はポイントクラウドビデオデコーダ１０００６)は占有コードに基づいて八分木を再構成する。
【0142】
実施例によるポイントクラウドビデオエンコーダ(例えば、八分木分析部４０００２)は、ポイントの位置を格納するためにボクセル化及び八分木コーディングを行う。しかし、３次元空間内のポイントがいつも均一に分布していることではないので、ポイントが多く存在しない特定の領域があり得る。従って、３次元空間の全体に対してボクセル化を行うことは非効率的である。例えば、特定の領域にポイントがほぼ存在しないと、該当領域までボクセル化を行う必要はない。
【0143】
従って、実施例によるポイントクラウドビデオエンコーダは、上述した特定の領域(又は八分木のリーフノードを除いたノード)についてはボクセル化を行わず、特定の領域に含まれたポイントの位置を直接コーディングするダイレクトコーディング(Ｄｉｒｅｃｔ ｃｏｄｉｎｇ)を行う。実施例によるダイレクトコーディングポイントの座標は、ダイレクトコーディングモード(Ｄｉｒｅｃｔ Ｃｏｄｉｎｇ Ｍｏｄｅ、ＤＣＭ)と呼ばれる。また実施例によるポイントクラウドビデオエンコーダは、表面モデル(ｓｕｒｆａｃｅ ｍｏｄｅｌ)に基づいて特定の領域(又はノード)内のポイントの位置をボクセルに基づいて再構成するｔｒｉｓｏｕｐジオメトリ符号化(Ｔｒｉｓｏｕｐ ｇｅｏｍｅｔｒｙ ｅｎｃｏｄｉｎｇ)を行うことができる。ｔｒｉｓｏｕｐジオメトリ符号化はオブジェクトの表現を三角形メッシュ(ｔｒｉａｎｇｌｅ ｍｅｓｈ)のシリーズで表現するジオメトリ符号化である。従って、ポイントクラウドビデオデコーダはメッシュ表面からポイントクラウドを生成することができる。実施例によるダイレクトコーディング及びｔｒｉｓｏｕｐジオメトリ符号化は選択的に行われる。また実施例によるダイレクトコーディング及びｔｒｉｓｏｕｐジオメトリ符号化は八分木ジオメトリコーディング(又は八分木コーディング)と結合して行うことができる。
【0144】
ダイレクトコーディング(Ｄｉｒｅｃｔ ｃｏｄｉｎｇ)を行うためには、ダイレクトコーディングを適用するための直接モード(ｄｉｒｅｃｔ ｍｏｄｅ)の使用オプションが活性化されている必要があり、ダイレクトコーディングを適用するノードはリーフノードではなく、特定のノード内に閾値(ｔｈｒｅｓｈｏｌｄ)以下のポイントが存在する必要がある。またダイレクトコーディングの対象となる全体ポイントの個数は所定の閾値を超えてはいけない。上記条件を満たすと、実施例によるポイントクラウドビデオエンコーダ(例えば、演算エンコーダ４０００４)はポイントの位置(又は位置値)をエントロピーコーディングすることができる。
【0145】
実施例によるポイントクラウドビデオエンコーダ(例えば、表面近似分析部４０００３)は、八分木の特定のレベルを定め(レベルは八分木の深さｄよりは小さい場合)、そのレベルからは表面モデルを使用してノード領域内のポイントの位置をボクセルに基づいて再構成するｔｒｉｓｏｕｐジオメトリ符号化を行うことができる(ｔｒｉｓｏｕｐモード)。実施例によるポイントクラウドビデオエンコーダは、ｔｒｉｓｏｕｐジオメトリ符号化を適用するレベルを指定できる。例えば、指定されたレベルが八分木の深さと同一であると、ポイントクラウドビデオエンコーダはｔｒｉｓｏｕｐモードで動作しない。即ち、実施例によるポイントクラウドビデオエンコーダは指定されたレベルが八分木の深さ値よりも小さい場合にのみｔｒｉｓｏｕｐモードで動作することができる。実施例による指定されたレベルのノードの３次元立方体領域をブロック(ｂｌｏｃｋ)と呼ぶ。一つのブロックは一つ又はそれ以上のボクセルを含む。ブロック又はボクセルはブリック(ｂｒｉｃｋ)に対応することもできる。それぞれのブロック内においてジオメトリは表面(ｓｕｒｆａｃｅ)と表現される。実施例による表面は最大１回、ブロックの各エッジ(ｅｄｇｅ)と交差することができる。
【0146】
一つのブロックは１２つのエッジを有するので、一つのブロック内に少なくとも１２つの交差点が存在する。それぞれの交差点はバーテックス(ｖｅｒｔｅｘ、頂点又は頂上)と呼ばれる。エッジに沿って存在するバーテックスは該当エッジを共有する全てのブロックのうち、そのエッジに隣接する少なくとも一つの占有ボクセル(ｏｃｃｕｐｉｅｄ ｖｏｘｅｌ)がある場合に検知される。実施例による占有ボクセルはポイントを含むボクセルを意味する。エッジに沿って検出されたバーテックスの位置は、該当エッジを共有する全てのブロックのうち、該当エッジに隣接する全てのボクセルのエッジによる平均位置である(ｔｈｅ ａｖｅｒａｇｅ ｐｏｓｉｔｉｏｎ ａｌｏｎｇ ｔｈｅ ｅｄｇｅ ｏｆ ａｌｌ ｖｏｘｅｌｓ)。
【0147】
バーテックスが検出されると、実施例によるポイントクラウドビデオエンコーダは、エッジの開始点(ｘ、ｙ、ｚ)、エッジの方向ベクトル(Δｘ、Δｙ、Δｚ)、バーテックス位置値(エッジ内の相対的位置値)をエントロピーコーディングすることができる。ｔｒｉｓｏｕｐジオメトリ符号化が適用された場合、実施例によるポイントクラウドビデオエンコーダ(例えば、ジオメトリ再構成部４０００５)は三角形再構成(ｔｒｉａｎｇｌｅ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ)、アップ－サンプリング(ｕｐ－ｓａｍｐｌｉｎｇ)、ボクセル化過程を行って復元されたジオメトリ(再構成されたジオメトリ)を生成することができる。
【0148】
ブロックのエッジに位置するバーテックスはブロックを通過する表面を決定する。実施例による表面は非平面多角形である。三角形再構成の過程ではエッジの開始点、エッジの方向ベクトルとバーテックスの位置値に基づいて三角形で示される表面を再構成する。三角形再構成の過程は以下の数２の通りである。（１）各バーテックスの中心(ｃｅｎｔｒｏｉｄ)値を計算し、（２）各バーテックスの値から中心値を引いた値に、（３）自乗を行って、その値を全て加算した値を得る。
【0149】
【数2】
【0150】
その後、加えられた値の最小値を求め、最小値がある軸に沿って投影(Ｐｒｏｊｅｃｔｉｏｎ)過程を行う。 例えば、ｘ要素(ｅｌｅｍｅｎｔ)が最小である場合、各バーテックスをブロックの中心を基準としてｘ軸に投影し、(ｙ，ｚ)平面に投影させる。(ｙ，ｚ)平面に投影させて得た値が(ａｉ，ｂｉ)であれば、ａｔａｎ２(ｂｉ、ａｉ)によりθ値を求め、θ値を基準としてバーテックスを整列する。以下の表１はバーテックスの個数によって三角形を生成するためのバーテックスの組み合わせを示している。バーテックスは１からｎまで順に整列される。以下の表１は４つのバーテックスに対して、バーテックスの組み合わせによって２つの三角形が構成されることを示している。１番目の三角形は整列されたバーテックスのうち、１、２、３番目のバーテックスで構成され、２番目の三角形は整列されたバーテックスのうち、３，４，１番目のバーテックスで構成される。
【0151】
表１．Ｔｒｉａｎｇｌｅｓ ｆｏｒｍｅｄ ｆｒｏｍ ｖｅｒｔｉｃｅｓ ｏｒｄｅｒｅｄ １
【0152】
【表1】
【0153】
アップサンプリング過程は三角形のエッジに沿って中間に点を追加してボクセル化するために行われる。アップサンプリング係数(ｕｐｓａｍｐｌｉｎｇ ｆａｃｔｏｒ)とブロックの幅を基準として追加点を生成する。追加点はリファインドバーテックス(ｒｅｆｉｎｅｄ ｖｅｒｔｉｃｅ)と呼ばれる。実施例によるポイントクラウドビデオエンコーダはリファインドバーテックスをボクセル化することができる。またポイントクラウドビデオエンコーダはボクセル化された位置(又は位置値)に基づいて特質符号化を行うことができる。
【0154】
図７は実施例による隣接ノードパターンの一例を示す図である。
【0155】
ポイントクラウドビデオの圧縮効率を増加させるために、実施例によるポイントクラウドビデオエンコーダはコンテキスト適応演算(ｃｏｎｔｅｘｔ ａｄａｐｔｉｖｅ ａｒｉｔｈｍｅｔｉｃ)コーディングに基づいてエントロピーコーディングを行う。
【0156】
図１ないし図６で説明したように、ポイントクラウドコンテンツ提供システム又は図２のポイントクラウドビデオエンコーダ１０００２又は図４のポイントクラウドビデオエンコーダ又は演算エンコーダ４０００４は、占有コードをすぐエントロピーコーディングすることができる。またポイントクラウドコンテンツ提供システム又はポイントクラウドビデオエンコーダは、現在ノードの占有コードと隣接ノードの占有率に基づいてエントロピー符号化(イントラ符号化)を行うか、又は以前フレームの占有コードに基づいてエントロピー符号化(インター符号化)を行うことができる。実施例によるフレームは、同時間に生成されたポイントクラウドビデオの集合を意味する。実施例によるイントラ符号化／インター符号化の圧縮効率は、参照する隣接ノードの個数によって異なる。ビットが大きくなると複雑になるが、一側に傾くようにして圧縮効率を高めることができる。例えば、３－ｂｉｔ ｃｏｎｔｅｘｔを有すると、２の３乗である８つの方法でコーディングする。分けてコーディングする部分は具現の複雑度に影響を及ぼす。従って、圧縮効率と複雑度の適正水準を合わせる必要がある。
【0157】
図７は隣接ノードの占有率に基づいて占有パターンを求める過程を示す。実施例によるポイントクラウドビデオエンコーダは、八分木の各ノードの隣接ノードの占有率(ｏｃｃｕｐａｎｃｙ)を判断して隣接ノードパターン(ｎｅｉｇｈｂｏｒ ｐａｔｔｅｒｎ)値を得る。隣接ノードパターンは該当ノードの占有パターンを推論するために使用される。図７の左側はノードに対応するキューブ(真ん中に位置するキューブ)及び該当キューブと少なくとも一面を共有する６つのキューブ(隣接ノード)を示している。図示したノードは同じ深さのノードである。図示した数字は６つのノードとそれぞれ連関する加重値(１、２、４、８、１６、３２、など)を示す。各加重値は隣接ノードの位置によって順に付与される。
【0158】
図７の右側は隣接ノードパターン値を示す。隣接ノードパターン値は占有された隣接ノード(ポイントを有する隣接ノード)の加重値が掛けられた値の合計である。従って、隣接ノードパターン値は０から６３までの値を有する。隣接ノードパターン値が０であることは、該当ノードの隣接ノードのうち、ポイントを有するノード(占有ノード)がないことを意味する。隣接ノードパターン値が６３であることは、隣接ノードが全て占有ノードであることを意味する。図示したように、加重値１、２、４、８が付与された隣接ノードは占有ノードであるので、隣接ノードパターン値は１、２、４、８を併せた値である１５である。ポイントクラウドビデオエンコーダは隣接ノードパターン値によってコーディングを行うことができる(例えば、隣接ノードパターン値が６３である場合、６４つのコーディングを行う)。実施例においてポイントクラウドビデオエンコーダは隣接ノードパターン値を変更して(例えば、６４を１０又は６に変更するテーブルに基づく)、コーディングの複雑度を減らすことができる。
【0159】
図８は実施例によるＬＯＤごとのポイント構成の一例を示す図である。
【0160】
図１ないし図７で説明したように、特質符号化が行われる前、符号化されたジオメトリは再構成(復元)される。ダイレクトコーディングが適用された場合、ジオメトリ再構成の動作はダイレクトコーディングされたポイントの配置を変更することを含む(例えば、ダイレクトコーディングされたポイントをポイントクラウドデータの前方に配置)。ｔｒｉｓｏｕｐジオメトリ符号化が適用された場合、ジオメトリ再構成の過程は三角形再構成、アップサンプリング、ボクセル化の過程を特質はジオメトリに従属するので、特質符号化は再構成されたジオメトリに基づいて行われる。
【0161】
ポイントクラウドビデオエンコーダ(例えば、ＬＯＤ生成部４０００９)はポイントをＬＯＤごとに分類(ｒｅｏｒｇａｎｉｚａｔｉｏｎ)又はグルーピング(ｇｒｏｕｐｉｎｇ)することができる。図８はＬＯＤに対応するポイントクラウドコンテンツを示す。図８の最左側はオリジナルポイントクラウドコンテンツを示す。図８の左側から２番目は最低ＬＯＤのポイントの分布を示し、図８の最右側は最高ＬＯＤのポイントの分布を示す。即ち、最低ＬＯＤのポイントは粗い(ｓｐａｒｓｅ)分布であり、最高ＬＯＤのポイントは細かい分布である。即ち、図８の下側に示された矢印方向に沿ってＬＯＤが増加するほどポイント間の間隔(又は距離)は短くなる。
【0162】
図９は実施例によるＬＯＤごとのポイント構成の一例を示す図である。
【0163】
図１ないし図８で説明したように、ポイントクラウドコンテンツ提供システム又はポイントクラウドビデオエンコーダ(例えば、図２のポイントクラウドビデオエンコーダ１０００２、図４のポイントクラウドビデオエンコーダ又はＬＯＤ生成部４０００９)はＬＯＤを生成する。ＬＯＤはポイントを設定されたＬＯＤ距離値(又はユークリッド距離(Ｅｕｃｌｉｄｅａｎ Ｄｉｓｔａｎｃｅ)のセット)によって改良レベル(ｒｅｆｉｎｅｍｅｎｔ ｌｅｖｅｌｓ)のセットで再整列して生成される。ＬＯＤ生成過程はポイントクラウドビデオエンコーダだけではなく、ポイントクラウドビデオデコーダでも行われる。
【0164】
図９の上側は３次元空間に分布されたポイントクラウドコンテンツのポイントの一例(Ｐ０～Ｐ９)を示す。図９のオリジナルオーダー(Ｏｒｉｇｉｎａｌ ｏｒｄｅｒ)はＬＯＤ生成前のポイントＰ０～Ｐ９の順を示す。図９のＬｏＤ基盤のオーダー(ＬＯＤ ｂａｓｅｄ ｏｒｄｅｒ)はＬＯＤ生成によるポイントの順を示す。ポイントはＬＯＤごとに再整列される。また高いＬＯＤは低いＬＯＤに属するポイントを含む。図９に示すように、ＬＯＤ０はＰ０、Ｐ５、Ｐ４及びＰ２を含む。ＬＯＤ１はＬＯＤ０のポイントとＰ１、Ｐ６及びＰ３を含む。ＬＯＤ２はＬＯＤ０のポイント、ＬＯＤ１のポイント及びＰ９、Ｐ８及びＰ７を含む。
【0165】
図４で説明したように、実施例によるポイントクラウドビデオエンコーダはＬＯＤ基盤の予測変換コーディング、リフト変換コーディング及びＲＡＨＴ変換コーディングを選択的に又は組み合わせて行うことができる。
【0166】
実施例によるポイントクラウドビデオエンコーダは、ポイントに対する予測器(ｐｒｅｄｉｃｔｏｒ)を生成して各ポイントの予測特質(又は予測特質値)を設定するためのＬＯＤ基盤の予測変換コーディングを行う。即ち、Ｎ個のポイントに対してＮ個の予測器が生成される。実施例による予測器は各ポイントのＬＯＤ値とＬＯＤごとに設定された距離内に存在する隣接ポイントに対するインデックス情報及び隣接ポイントまでの距離値に基づいて加重値(＝１／距離)を計算することができる。
【0167】
実施例による予測特質(又は特質値)は、各ポイントの予測器に設定された隣接ポイントの特質(又は特質値、例えば、色相、反射率など)に各隣接ポイントまでの距離に基づいて計算された加重(又は加重値)を掛けた値の平均値で設定される。実施例によるポイントクラウドビデオエンコーダ(例えば、係数量子化部４００１１)は、該当ポイントの特質(即ち、オリジナル特質値)から該当予測特質(特質値)を引いた該当ポイントの残余値(ｒｅｓｉｄｕａｌ、残余の特質、残余の特質値、特質予測残余値、予測エラー特質値などとも呼ばれる)を量子化(ｑｕａｔｉｚａｔｉｏｎ)及び逆量子化(ｉｎｖｅｒｓｅ ｑｕａｎｔｉｚａｔｉｏｎ)することができる。残余の特質値に対して行われる送信機での量子化過程は表２の通りである。また表２のように量子化された残余の特質値に対して行われる受信機での逆量子化過程は表３の通りである。
【0168】
【表2】
【0169】
【表3】
【0170】
実施例によるポイントクラウドビデオエンコーダ(例えば、演算エンコーダ４００１２)は、各ポイントの予測器に隣接するポイントがあれば、上述したように、量子化及び逆量子化された残余の特質値をエントロピーコーディングする。実施例によるポイントクラウドビデオエンコーダ(例えば、演算エンコーダ４００１２)は、各ポイントの予測器に隣接するポイントがないと、上述した過程を行わず、該当ポイントの特質をエントロピーコーディングする。
【0171】
実施例によるポイントクラウドビデオエンコーダ(例えば、リフト変換部４００１０)は、各ポイントの予測機を生成し、予測機に計算されたＬＯＤを設定及び隣接ポイントを登録し、隣接ポイントまでの距離による加重値を設定してリフト変換コーディングを行う。実施例によるリフト変換コーディングは、上述した測変換コーディングと類似するが、特質値に加重値を累積適用するという点で差がある。実施例による特質値に加重値を累積適用する過程は以下の通りである。
【0172】
１）各ポイントの加重値を貯蔵する配列ＱＷ(ＱｕａｎｔｉｚａｔｉｏｎＷｉｅｇｈｔ)を生成する。ＱＷの全ての要素の初期値は１.０である。予測機に登録された隣接ノードの予測機インデックスのＱＷ値に現在ポイントの予測機の加重値を掛けた値を加える。
【0173】
２）リフト予測過程：予測された特質値を計算するために、ポイントの特質値に加重値を掛けた値を既存の特質値から引く。
【0174】
３）アップデートウェイト(ｕｐｄａｔｅｗｅｉｇｈｔ)及びアップデートという臨時配列を生成し、臨時配列を０に初期化する。
【0175】
４）全ての予測機に対して計算された加重値に予測機インデックスに該当するＱＷに貯蔵された加重値をさらに掛けて算出された加重値をアップデートウェイト配列に隣接ノードのインデックスとして累積して合算する。アップデート配列には隣接ノードのインデックスの特質値に算出された加重値を掛けた値を累積して合算する。
【0176】
５）リフトアップデート過程：全ての予測機に対して、アップデート配列の特質値を予測機インデックスのアップデートウェイト配列の加重値で割り、割った値に再び既存の特質値を加える。
【0177】
６）全ての予測機に対して、リフトアップデート過程でアップデートされた特質値にリフト予測過程でアップデートされた(ＱＷに貯蔵された)加重値をさらに掛けて予測特質値を算出する。実施例によるポイントクラウドビデオエンコーダ(例えば、係数量子化部４００１１)は予測特質値を量子化する。またポイントクラウドビデオエンコーダ(例えば、演算エンコーダ４００１２)は量子化された特質値をエントロピーコーディングする。
【0178】
実施例によるポイントクラウドビデオエンコーダ(例えば、ＲＡＨＴ変換部４０００８)は、八分木の下位レベルのノードに連関する特質を使用して上位レベルのノードの特質を予測するＲＡＨＴ変換コーディングを行う。ＲＡＨＴ変換コーディングは八分木バックワードスキャンによる特質イントラコーディングの一例である。実施例によるポイントクラウドビデオエンコーダは、ボクセルから全体領域にスキャンし、各ステップにおいてボクセルをもっと大きいブロックに合わせながらルートノード(ｒｏｏｔ ｎｏｄｅ)までの併合過程を繰り返して行う。実施例による併合過程は、占有ノードのみについて行われる。空ノード(ｅｍｐｔｙ ｎｏｄｅ)については併合過程が行われず、空ノードの直上位ノードについて併合過程が行われる。
【0179】
以下の数３はＲＡＨＴ変換行列を示す。
はレベルｌでのボクセル(ｖｏｘｅｌ)の平均特質値を示す。
は
と
から計算される。
と
の加重値は
と
である。
【0180】
【数3】
【0181】
【0182】
【数4】
【0183】
ｇＤＣ値もハイパス係数のように量子化されてエントロピーコーディングされる。
【0184】
図１０は実施例によるポイントクラウドビデオデコーダ(Ｐｏｉｎｔ Ｃｌｏｕｄ Ｖｉｄｅｏ Ｄｅｃｏｄｅｒ)の一例を示す図である。
【0185】
図１０に示したポイントクラウドビデオデコーダは、図１に示したポイントクラウドビデオデコーダ１０００６の一例であり、図１で説明したポイントクラウドビデオデコーダ１０００６の動作などと同一又は類似する動作を行う。図示したように、ポイントクラウドビデオデコーダは一つ又はそれ以上のビットストリームに含まれたジオメトリビットストリーム(ｇｅｏｍｅｔｒｙ ｂｉｔｓｔｒｅａｍ)及び特質ビットストリーム(Ａｔｔｒｉｂｕｔｅ ｂｉｔｓｔｒｅａｍ)を受信する。ポイントクラウドビデオデコーダはジオメトリデコーダ(ｇｅｏｍｅｔｒｙ ｄｅｃｏｄｅｒ)及び特質デコーダ(Ａｔｔｒｉｂｕｔｅ ｄｅｃｏｄｅｒ)を含む。ジオメトリデコーダはジオメトリビットストリームに対してジオメトリ復号を行って復号されたジオメトリ(ｄｅｃｏｄｅｄ ｇｅｏｍｅｔｒｙ)を出力する。特質デコーダは復号されたジオメトリに基づいて特質ビットストリームに対して特質復号を行って復号された特質(ｄｅｃｏｄｅｄ Ａｔｔｒｉｂｕｔｅｓ)を出力する。復号されたジオメトリ及び復号された特質はポイントクラウドコンテンツを復元(ｄｅｃｏｄｅｄ ｐｏｉｎｔ ｃｌｏｕｄ)するために使用される。
【0186】
図１１は実施例によるポイントクラウドビデオデコーダの一例を示す図である。
【0187】
図１１に示したポイントクラウドビデオデコーダは図１０で説明したポイントクラウドビデオデコーダの一例であり、図１ないし図９で説明したポイントクラウドビデオエンコーダの符号化動作の逆過程である復号動作を行う。
【0188】
【0189】
実施例によるポイントクラウドビデオデコーダは、演算デコーダ(ａｒｉｔｈｍｅｔｉｃ ｄｅｃｏｄｅｒ、１１０００)、八分木合成部(ｏｃｔｒｅｅ ｓｙｎｔｈｅｓｉｓ ｕｎｉｔ、１１００１)、表面近似合成部(ｓｕｒｆａｃｅ ａｐｐｒｏｘｉｍａｔｉｏｎ ｓｙｎｔｈｅｓｉｓ ｕｎｉｔ、１１００２)、ジオメトリ再構成部(ｇｅｏｍｅｔｒｙ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｕｎｉｔ、１１００３)、座標系逆変換部(ｃｏｏｒｄｉｎａｔｅｓ ｉｎｖｅｒｓｅ ｔｒａｎｓｆｏｒｍａｔｉｏｎ ｕｎｉｔ、１１００４)、演算デコーダ(ａｒｉｔｈｍｅｔｉｃ ｄｅｃｏｄｅｒ、１１００５)、逆量子化部(ｉｎｖｅｒｓｅ ｑｕａｎｔｉｚａｔｉｏｎ ｕｎｉｔ、１１００６)、ＲＡＨＴ変換部１１００７、ＬＯＤ生成部(ＬＯＤ ｇｅｎｅｒａｔｉｏｎ ｕｎｉｔ、１１００８)、逆リフト部(Ｉｎｖｅｒｓｅ ｌｉｆｔｉｎｇ ｕｎｉｔ、１１００９)、及び／又は色逆変換部(ｃｏｌｏｒ ｉｎｖｅｒｓｅ ｔｒａｎｓｆｏｒｍａｔｉｏｎ ｕｎｉｔ、１１０１０)を含む。
【0190】
演算デコーダ１１０００、八分木合成部１１００１、表面近似合成部１１００２、ジオメトリ再構成部１１００３及び座標系逆変換部１１００４は、ジオメトリ復号を行う。実施例によるジオメトリ復号はダイレクト復号(ｄｉｒｅｃｔ ｄｅｃｏｄｉｎｇ)及びｔｒｉｓｏｕｐジオメトリ復号(ｔｒｉｓｏｕｐ ｇｅｏｍｅｔｒｙ ｄｅｃｏｄｉｎｇ)を含む。ダイレクト復号及びｔｒｉｓｏｕｐジオメトリ復号は選択的に適用される。またジオメトリ復号は上記の例示に限られず、図１ないし図９で説明したジオメトリ符号化の逆過程により行われる。
【0191】
実施例による演算デコーダ１１０００は、受信したジオメトリビットストリームを演算コーディングに基づいて復号する。演算デコーダ１１０００の動作は演算エンコーダ４０００４の逆過程に対応する。
【0192】
実施例による八分木合成部１１００１は、復号されたジオメトリビットストリームから(又は復号結果、確保されたジオメトリに関する情報)から占有コードを獲得して八分木を生成する。占有コードに関する具体的な説明は図１ないし図９に説明した通りである。
【0193】
実施例による表面近似合成部１１００２は、ｔｒｉｓｏｕｐジオメトリ符号化が適用された場合、復号されたジオメトリ及び／又は生成された八分木に基づいて表面を合成する。
【0194】
実施例によるジオメトリ再構成部１１００３は、表面及び／又は復号されたジオメトリに基づいてジオメトリを再生成する。図１ないし図９で説明したように、ダイレクトコーディング及びｔｒｉｓｏｕｐジオメトリ符号化は選択的に適用される。従って、ジオメトリ再構成部１１００３はダイレクトコーディングが適用されたポイントの位置情報を直接持ってきて追加する。また、ｔｒｉｓｏｕｐジオメトリ符号化が適用される場合、ジオメトリ再構成部１１００３はジオメトリ再構成部４０００５の再構成動作、例えば、三角形再構成、アップサンプリング、ボクセル化動作を行ってジオメトリを復元する。具体的な内容は図６で説明した通りであるので省略する。復元されたジオメトリは特質を含まないポイントクラウドピクチャ又はフレームを含む。
【0195】
実施例による座標系逆変換部１１００４は復元されたジオメトリに基づいて座標系を変換してポイントの位置を得る。
【0196】
演算デコーダ１１００５、逆量子化部１１００６、ＲＡＨＴ変換部１１００７、ＬＯＤ生成部１１００８、逆リフト部１１００９及び／又は色逆変換部１１０１０は、図１０で説明した特質復号を行う。実施例による特質復号は、ＲＡＨＴ(Ｒｅｇｉｏｎ Ａｄａｐｔｉｖｅ Ｈｉｅｒａｒｃｈｉａｌ Ｔｒａｎｓｆｏｒｍ)復号、予測変換(Ｉｎｔｅｒｐｏｌａｒａｔｉｏｎ－ｂａｓｅｄ ｈｉｅｒａｒｃｈｉｃａｌ ｎｅａｒｅｓｔ－ｎｅｉｇｈｂｏｕｒ ｐｒｅｄｉｃｔｉｏｎ－Ｐｒｅｄｉｃｔｉｏｎ Ｔｒａｎｓｆｏｒｍ)復号、及びリフト変換(ｉｎｔｅｒｐｏｌａｔｉｏｎ－ｂａｓｅｄ ｈｉｅｒａｒｃｈｉｃａｌ ｎｅａｒｅｓｔ－ｎｅｉｇｈｂｏｕｒ ｐｒｅｄｉｃｔｉｏｎ ｗｉｔｈ ａｎ ｕｐｄａｔｅ／ｌｉｆｔｉｎｇ ｓｔｅｐ (Ｌｉｆｔｉｎｇ Ｔｒａｎｓｆｏｒｍ))復号を含む。上記３つの復号は選択的に使用されるか、又は一つ又はそれ以上の復号の組み合わせが使用される。また実施例による特質復号は上述した例示に限られない。
【0197】
実施例による演算デコーダ１１００５は、特質ビットストリームを演算コーディングに復号する。
【0198】
実施例による逆量子化部１１００６は、復号された特質ビットストリーム又は復号結果確保した特質に関する情報を逆量子化(ｉｎｖｅｒｓｅ ｑｕａｎｔｉｚａｔｉｏｎ)して、逆量子化された特質(又は特質値)を出力する。逆量子化はポイントクラウドビデオエンコーダの特質符号化に基づいて選択的に適用される。
【0199】
実施例においてＲＡＨＴ変換部１１００７、ＬＯＤ生成部１１００８及び／又は逆リフト部１１００９は、再構成されたジオメトリ及び逆量子化された特質を処理する。上述したように、ＲＡＨＴ変換部１１００７、ＬＯＤ生成部１１００８及び／又は逆リフト部１１００９は、ポイントクラウドビデオエンコーダの符号化によってそれに対応する復号動作を選択的に行う。
【0200】
実施例による色逆変換部１１０１０は、復号された特質に含まれた色値(又はテクスチャ)を逆変換するための逆変換コーディングを行う。色逆変換部１１０１０の動作はポイントクラウドビデオエンコーダの色変換部４０００６の動作に基づいて選択的に行われる。
【0201】
図１１のポイントクラウドビデオデコーダのエレメントは、図示していないが、ポイントクラウド提供装置に含まれた一つ又はそれ以上のメモリと通信可能に設定された一つ又はそれ以上のプロセッサ又は集積回路(ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔｓ)を含むハードウェア、ソフトウェア、ファームウェア又はこれらの組み合わせで具現される。一つ又はそれ以上のプロセッサは、上述した図１１のポイントクラウドビデオデコーダのエレメント動作及び／又は機能のうちのいずれかを行う。また、一つ又はそれ以上のプロセッサは、図１１のポイントクラウドビデオデコーダのエレメントの動作及び／又は機能を行うためのソフトウェアプログラム及び／又は指示(ｉｎｓｔｒｕｃｔｉｏｎ)のセットを動作又は実行する。
【0202】
図１２は実施例による送信装置の一例を示す。
【0203】
図１２に示した送信装置は、図１の送信装置１００００(又は図４のポイントクラウドビデオエンコーダ)の一例である。図１２に示した送信装置は、図１ないし図９で説明したポイントクラウドビデオエンコーダの動作及び符号化方法と同一又は類似する動作及び方法のうちのいずれかを行う。実施例による送信装置は、データ入力部１２０００、量子化処理部１２００１、ボクセル化処理部１２００２、八分木占有コード生成部１２００３、表面モデル処理部１２００４、イントラ／インターコーディング処理部１２００５、演算コーダ１２００６、メタデータ処理部１２００７、色相変換処理部１２００８、特質変換処理部(又は属性変換処理部)１２００９、予測／リフト／ＲＡＨＴ変換処理部１２０１０、演算コーダ１２０１１及び／又は送信処理部１２０１２を含む。
【0204】
実施例によるデータ入力部１２０００はポイントクラウドデータを受信又は獲得する。データ入力部１２０００はポイントクラウドビデオ獲得部１０００１の動作及び／又は獲得方法(又は図２に示した獲得過程２００００)と同一又は類似する動作及び／又は獲得方法を行う。
【0205】
データ入力部１２０００、量子化処理部１２００１、ボクセル化処理部１２００２、八分木占有コード生成部１２００３、表面モデル処理部１２００４、イントラ／インターコーディング処理部１２００５及び演算コーダ１２００６はジオメトリ符号化を行う。実施例によるジオメトリ符号化は、図１ないし図９で説明したジオメトリ符号化と同一又は類似するので、具体的な説明は省略する。
【0206】
実施例による量子化処理部１２００１は、ジオメトリ(例えば、ポイントの位置値、又はポジション値)を量子化する。量子化処理部１２００１の動作及び／又は量子化は、図４に示した量子化部４０００１の動作及び／又は量子化と同一又は類似する。具体的な説明は図１ないし図９に説明した通りである。
【0207】
実施例によるボクセル化処理部１２００２は、量子化されたポイントの位置値をボクセル化する。ボクセル化処理部１２０００２は図４に示した量子化部４０００１の動作及び／又はボクセル化過程と同一又は類似する動作及び／又は過程を行う。具体的な説明は図１ないし図９に説明した通りである。
【0208】
実施例による八分木占有コード生成部１２００３は、ボクセル化されたポイントの位置を八分木構造に基づいて八分木コーディングを行う。八分木占有コード生成部１２００３は占有コードを生成する。八分木占有コード生成部１２００３は図４及び図６で説明したポイントクラウドエンコーダ(又は八分木分析部４０００２)の動作及び／又は方法と同一又は類似する動作及び／又は方法を行う。具体的な説明は図１ないし図９に説明した通りである。
【0209】
実施例による表面モデル処理部１２００４は、表面モデル(ｓｕｒｆａｃｅ ｍｏｄｅｌ)に基づいて特定の領域(又はノード)内のポイントの位置をボクセル基盤に再構成するｔｒｉｓｏｕｐジオメトリ符号化を行う。表面モデル処理部１２００４は図４に示したポイントクラウドビデオエンコーダ(例えば、表面近似分析部４０００３)の動作及び／又は方法と同一又は類似する動作及び／又は方法を行う。具体的な説明は図１ないし図９に説明した通りである。
【0210】
実施例によるイントラ／インターコーディング処理部１２００５は、ポイントクラウドデータをイントラ／インターコーディングする。イントラ／インターコーディング処理部１２００５は、図７で説明したイントラ／インターコーディングと同一又は類似するコーディングを行う。具体的な説明は図７に説明した通りである。実施例においてイントラ／インターコーディング処理部１２００５は演算コーダ１２００６に含まれる。
【0211】
実施例による演算コーダ１２００６は、ポイントクラウドデータの八分木及び／又は近似化された八分木をエントロピー符号化する。例えば、符号化方式は演算(Ａｒｉｔｈｍｅｔｉｃ)符号化方法を含む。演算コーダ１２００６は演算エンコーダ４０００４の動作及び／又は方法と同一又は類似する動作及び／又は方法を行う。
【0212】
実施例によるメタデータ処理部１２００７は、ポイントクラウドデータに関するメタデータ、例えば、設定値などを処理してジオメトリ符号化及び／又は特質符号化などの必要な処理過程に提供する。また実施例によるメタデータ処理部１２００７は、ジオメトリ符号化及び／又は特質符号化に関連するシグナリング情報を生成及び／又は処理する。実施例によるシグナリング情報はジオメトリ符号化及び／又は特質符号化とは別途に符号化処理される。また実施例によるシグナリング情報はインターリービングされることもある。
【0213】
色相変換処理部１２００８、特質変換処理部１２００９、予測／リフト／ＲＡＨＴ変換処理部１２０１０及び演算コーダ１２０１１は特質符号化を行う。実施例による特質符号化は、図１ないし図９で説明した特質符号化と同一又は類似するので具体的な説明は省略する。
【0214】
実施例による色相変換処理部１２００８は、特質に含まれた色相値を変換する色相変換コーディングを行う。色相変換処理部１２００８は再構成されたジオメトリに基づいて色相変換コーディングを行う。再構成されたジオメトリに関する説明は、図１ないし図９に説明した通りである。また図４で説明した色変換部４０００６の動作及び／又は方法と同一又は類似する動作及び／又は方法を行う。具体的な説明は省略する。
【0215】
実施例による特質変換処理部１２００９は、ジオメトリ符号化が行われていない位置及び／又は再構成されたジオメトリに基づいて特質を変換する特質変換を行う。特質変換処理部１２００９は図４に説明した特質変換部４０００７の動作及び／又は方法と同一又は類似する動作及び／又は方法を行う。具体的な説明は省略する。実施例による予測／リフト／ＲＡＨＴ変換処理部１２０１０は変換された特質をＲＡＨＴコーディング、予測変換コーディング及びリフト変換コーディングのうちのいずれか一つ又は組み合わせてコーディングする。予測／リフト／ＲＡＨＴ変換処理部１２０１０は図４に説明したＲＡＨＴ変換部４０００８、ＬＯＤ生成部４０００９及びリフト変換部４００１０の動作と同一又は類似する動作のうちのいずれかを行う。また、予測変換コーディング、リフト変換コーディング及びＲＡＨＴ変換コーディングに関する説明は図１ないし図９に説明した通りであるので、具体的な説明は省略する。
【0216】
実施例による演算コーダ１２０１１は、コーディングされた特質を演算コーディングに基づいて符号化する。演算コーダ１２０１１は演算エンコーダ４００１２の動作及び／又は方法と同一又は類似する動作及び／又は方法を行う。
【0217】
実施例による送信処理部１２０１２は、符号化されたジオメトリ及び／又は符号化された特質、メタデータ情報を含む各ビットストリームを送信するか、又は符号化されたジオメトリ及び／又は符号化された特質、メタデータ情報を一つのビットストリームで構成して送信する。実施例による符号化されたジオメトリ及び／又は符号化された特質、メタデータ情報が一つのビットストリームで構成された場合、ビットストリームは一つ又はそれ以上のサブビットストリームを含む。実施例によるビットストリームはシーケンスレベルのシグナリングのためのＳＰＳ(Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ)、ジオメトリ情報コーディングのシグナリングのためのＧＰＳ(Ｇｅｏｍｅｔｒｙ Ｐａｒａｍｅｔｅｒ Ｓｅｔ)、特質情報コーディングのシグナリングのためのＡＰＳ(Ａｔｔｒｉｂｕｔｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ)、タイルレベルのシグナリングのためのＴＰＳ(Ｔｉｌｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ)を含むシグナリング情報及びスライスデータを含む。スライスデータは一つ又はそれ以上のスライスに関する情報を含む。実施例による一つのスライスは一つのジオメトリビットストリーム(Ｇｅｏｍ００)及び一つ又はそれ以上の特質ビットストリーム(Ａｔｔｒ００、Ａｔｔｒ１０)を含む。
【0218】
実施例によるＴＰＳは一つ又はそれ以上のタイルに対してそれぞれのタイルに関する情報(例えば、ｂｏｕｎｄｉｎｇ ｂｏｘの座標値情報及び高さ／サイズ情報など)を含む。
【0219】
ジオメトリビットストリームはヘッダとペイロードを含む。実施例によるジオメトリビットストリームのヘッダはＧＰＳに含まれたパラメータセットの識別情報(ｇｅｏｍ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄ)、タイル識別子(ｇｅｏｍ_ｔｉｌｅ_ｉｄ)、スライス識別子(ｇｅｏｍ_ｓｌｉｃｅ_ｉｄ)及びペイロードに含まれたデータに関する情報などを含む。上述したように、実施例によるメタデータ処理部１２００７はシグナリング情報を生成及び／又は処理して送信処理部１２０１２に送信することができる。実施例において、ジオメトリ符号化を行うエレメント及び特質符号化を行うエレメントは、点線処理したように、相互データ／情報を共有することができる。実施例による送信処理部１２０１２は送信機１０００３の動作及び／又は送信方法と同一又は類似する動作及び／又は送信方法を行う。具体的な説明は図１及び図２に説明した通りであるので、省略する。
【0220】
図１３は実施例による受信装置の一例を示す。
【0221】
図１３に示した受信装置は、図１の受信装置１０００４(又は図１０及び図１１のポイントクラウドビデオデコーダ)の一例である。図１３に示した受信装置は、図１ないし図１１で説明したポイントクラウドビデオデコーダの動作及び復号方法と同一又は類似する動作及び方法のうちのいずれかを行う。
【0222】
実施例による受信装置は、受信部１３０００、受信処理部１３００１、演算(ａｒｉｔｈｍｅｔｉｃ)デコーダ１３００２、占有コード(Ｏｃｃｕｐａｎｃｙ ｃｏｄｅ)基盤の八分木再構成処理部１３００３、表面モデル処理部(三角形再構成、アップサンプリング、ボクセル化)１３００４、逆(ｉｎｖｅｒｓｅ)量子化処理部１３００５、メタデータ分析１３００６、演算(ａｒｉｔｈｍｅｔｉｃ)デコーダ１３００７、逆量子化処理部１３００８、予測／リフト／ＲＡＨＴ逆変換処理部１３００９、色相逆変換処理部１３０１０及び／又はレンダラー１３０１１を含む。実施例による復号の各構成要素は実施例による符号化の構成要素の逆過程を行う。
【0223】
実施例による受信部１３０００は、ポイントクラウドデータを受信する。受信部１３０００は図１の受信機１０００５の動作及び／又は受信方法と同一又は類似する動作及び／又は受信方法を行う。具体的な説明は省略する。
【0224】
実施例による受信処理部１３００１は受信したデータからジオメトリビットストリーム及び／又は特質ビットストリームを得る。受信処理部１３００１は受信部１３０００に含まれる。
【0225】
演算デコーダ１３００２、占有コード基盤の八分木再構成処理部１３００３、表面モデル処理部１３００４及び逆量子化処理部１３００５はジオメトリ復号を行う。実施例によるジオメトリ復号は図１ないし図１０で説明したジオメトリ復号と同一又は類似するので、具体的な説明は省略する。
【0226】
実施例による演算デコーダ１３００２はジオメトリビットストリームを演算コーディングに基づいて復号する。演算デコーダ１３００２は演算デコーダ１１０００の動作及び／又はコーディングと同一又は類似する動作及び／又はコーディングを行う。
【0227】
実施例による占有コード基盤の八分木再構成処理部１３００３は、復号されたジオメトリビットストリームから(又は復号結果、確保されたジオメトリに関する情報)から占有コードを獲得して八分木を再構成する。占有コード基盤の八分木再構成処理部１３００３は、八分木合成部１１００１の動作及び／又は八分木生成方法と同一又は類似する動作及び／又は方法を行う。実施例による表面モデル処理部１３００４はｔｒｉｓｏｕｐジオメトリ符号化が適用された場合、表面モデル方式に基づいてｔｒｉｓｏｕｐジオメトリ復号及びそれに関連するジオメトリ再構成(例えば、三角形再構成、アップサンプリング、ボクセル化)を行う。表面モデル処理部１３００４は表面近似合成部１１００２及び／又はジオメトリ再構成部１１００３の動作と同一又は類似する動作を行う。
【0228】
実施例による逆量子化処理部１３００５は復号されたジオメトリを逆量子化する。
【0229】
実施例によるメタデータ分析１３００６は受信したポイントクラウドデータに含まれたメタデータ、例えば、設定値などを分析する。メタデータ分析１３００６はメタデータをジオメトリ復号及び／又は特質復号に伝達する。メタデータに関する具体的な説明は図１２で説明した通りであるので省略する。
【0230】
演算デコーダ１３００７、逆量子化処理部１３００８、予測／リフト／ＲＡＨＴ逆変換処理部１３００９及び色相逆変換処理部１３０１０は特質復号を行う。特質復号は図１なしい図１０で説明した特質復号と同一又は類似するので、具体的な説明は省略する。
【0231】
実施例による演算デコーダ１３００７は、特質ビットストリームを演算コーディングに復号する。演算デコーダ１３００７は再構成されたジオメトリに基づいて特質ビットストリームの復号を行う。演算デコーダ１３００７は演算デコーダ１１００５の動作及び／又はコーディングと同一又は類似する動作及び／又はコーディングを行う。
【0232】
実施例による逆量子化処理部１３００８は、復号された特質ビットストリームを逆量子化する。逆量子化処理部１３００８は逆量子化部１１００６の動作及び／又は逆量子化方法と同一又は類似する動作及び／又は方法を行う。
【0233】
実施例による予測／リフト／ＲＡＨＴ逆変換処理部１３００９は、再構成されたジオメトリ及び逆量子化された特質を処理する。予測／リフト／ＲＡＨＴ逆変換処理部１３００９は、ＲＡＨＴ変換部１１００７、ＬＯＤ生成部１１００８及び／又は逆リフト部１１００９の動作及び／又は復号と同一又は類似する動作及び／又は復号のうちのいずれかを行う。実施例による色相逆変換処理部１３０１０は、復号された特質に含まれた色値(又はテクスチャ)を逆変換するための逆変換コーディングを行う。色相逆変換処理部１３０１０は色逆変換部１１０１０の動作及び／又は逆変換コーディングと同一又は類似する動作及び／又は逆変換コーディングを行う。実施例によるレンダラー１３０１１はポイントクラウドデータをレンダリングする。
【0234】
図１４は実施例によるポイントクラウドデータ送受信方法／装置に連動可能な構造の一例を示す。
【0235】
図１４の構造はサーバー１７６００、ロボット１７１００、自律走行車両１７２００、ＸＲ装置１７３００、スマートフォン１７４００、家電１７５００及び／又はＨＭＤ(Ｈｅａｄ－Ｍｏｕｎｔ Ｄｉｓｐｌａｙ)１７７００のうちのいずれかがクラウドネットワーク１７１００に連結された構成を示している。ロボット１７１００、自律走行車両１７２００、ＸＲ装置１７３００、スマートフォン１７４００又は家電１７５００などは装置とも呼ばれる。またＸＲ装置１７３００は実施例によるポイントクラウドデータ(ＰＣＣ)装置に対応するか又はＰＣＣ装置に連動する。
【0236】
クラウドネットワーク１７０００はクラウドコンピューティングインフラの一部を構成するか、又はクラウドコンピューティングインフラ内に存在するネットワークを意味する。ここで、クラウドネットワーク１７０００は３Ｇネットワーク、４Ｇ又はＬＴＥネットワーク又は５Ｇネットワークなどを用いて構成される。
【0237】
サーバー１７６００はロボット１７１００、自律走行車両１７２００、ＸＲ装置１７３００、スマートフォン１７４００、家電１７５００及び／又はＨＭＤ１７７００のいずれかにクラウドネットワーク１７０００により連結され、連結された装置１７１００～１７７００のプロセシングの少なくとも一部を助けることができる。
【0238】
ＨＭＤ(Ｈｅａｄ－Ｍｏｕｎｔ Ｄｉｓｐｌａｙ)１７７００は実施例によるＸＲデバイス及び／又はＰＣＣデバイスが具現されるタイプのうちのいずれかを示す。実施例によるＨＭＤタイプのデバイスは、コミュニケーションズユニット、コントロールユニット、メモリユニット、Ｉ／Ｏユニット、センサユニット及びパーワ供給ユニットなどを含む。
【0239】
以下、上記技術が適用される装置１７１００～１７５００の様々な実施例について説明する。ここで、図１４に示した装置１７１００～１７５００は上述した実施例によるポイントクラウドデータ送受信装置に連動／結合することができる。
【0240】
＜ＰＣＣ＋ＸＲ＞
【0241】
ＸＲ／ＰＣＣ装置１７３００はＰＣＣ及び／又はＸＲ(ＡＲ＋ＶＲ)技術が適用されて、ＨＭＤ(Ｈｅａｄ－Ｍｏｕｎｔ Ｄｉｓｐｌａｙ)、車両に備えられたＨＵＤ(Ｈｅａｄ－Ｕｐ Ｄｉｓｐｌａｙ)、ＴＶ、携帯電話、スマートフォン、コンピューター、ウェアラブルデバイス、家電機器、デジタル看板、車両、固定型ロボットや移動型ロボットなどに具現されることもできる。
【0242】
ＸＲ／ＰＣＣ装置１７３００は、様々なセンサにより又は外部装置から獲得した３次元ポイントクラウドデータ又はイメージデータを分析して３次元ポイントに対する位置データ及び特質データを生成することにより周辺空間又は現実オブジェクトに関する情報を得て、出力するＸＲ客体をレンダリングして出力することができる。例えば、ＸＲ／ＰＣＣ装置１７３００は認識された物体に関する追加情報を含むＸＲ客体を該当認識された物体に対応して出力することができる。
【0243】
＜ＰＣＣ＋自立走行＋ＸＲ＞
【0244】
自律走行車両１７２００はＰＣＣ技術及びＸＲ技術が適用されて、移動型ロボット、車両、無人飛行体などで具現される。
【0245】
ＸＲ／ＰＣＣ技術が適用された自律走行車両１７２００は、ＸＲ映像を提供する手段を備えた自律走行車両やＸＲ映像内での制御／相互作用の対象となる自律走行車両などを意味する。特に、ＸＲ映像内での制御／相互作用の対象となる自律走行車両１７２００はＸＲ装置１７３００とは区分されて互いに連動されることができる。
【0246】
ＸＲ／ＰＣＣ映像を提供する手段を備えた自律走行車両１７２００は、カメラを含むセンサからセンサ情報を得、得たセンサ情報に基づいて生成されたＸＲ／ＰＣＣ映像を出力する。例えば、自律走行車両１７２００はＨＵＤを備えてＸＲ／ＰＣＣ映像を出力することにより、搭乗者に現実オブジェクト又は画面内のオブジェクトに対応するＸＲ／ＰＣＣ客体を提供することができる。
【0247】
この時、ＸＲ／ＰＣＣ客体がＨＵＤに出力される場合には、ＸＲ／ＰＣＣ客体の少なくとも一部が搭乗者の視線が向く実際の客体にオーバーラップされるように出力される。反面、ＸＲ／ＰＣＣ客体が自律走行車両内に備えられるディスプレイに出力される場合には、ＸＲ／ＰＣＣ客体の少なくとも一部が画面内の客体にオーバーラップされるように出力される。例えば、自律走行車両１２２０は車路、他の車両、信号灯、交通表示板、二輪車、歩行者、建物などのような客体に対応するＸＲ／ＰＣＣ客体を出力することができる。
【0248】
実施例によるＶＲ(Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ)技術、ＡＲ(Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ)技術、ＭＲ(Ｍｉｘｅｄ Ｒｅａｌｉｔｙ)技術及び／又はＰＣＣ(Ｐｏｉｎｔ Ｃｌｏｕｄ Ｃｏｍｐｒｅｓｓｉｏｎ)技術は、様々なデバイスに適用可能である。
【0249】
即ち、ＶＲ技術は現実の客体や背景などをＣＧ映像のみで提供するディスプレイ技術である。反面、ＡＲ技術は実際物事の映像上に仮想のＣＧ映像を共に見せる技術である。また、ＭＲ技術は現実世界に仮想客体を混ぜて見せるという点では上記ＡＲ技術と類似する。しかし、ＡＲ技術では現実の客体とＣＧ映像からなる仮想の客体の区別が明らかであり、現実客体を補完する形態で仮想の客体を使用する反面、ＭＲ技術では仮想の客体と現実の客体が同様の性格と見なされるという点でＡＲ技術とは区別される。より具体的には、例えば、上記ＭＲ技術が適用されたことがホログラムサービスである。
【0250】
但し、最近にはＶＲ、ＡＲ、ＭＲ技術を明確に区別するよりは、ＸＲ(ｅｘｔｅｎｄｅｄ Ｒｅａｌｉｔｙ)技術とも呼ぶ。よって、本発明の実施例はＶＲ、ＡＲ、ＭＲ、ＸＲ技術のいずれにも適用可能である。かかる技術はＰＣＣ、Ｖ－ＰＣＣ、Ｇ－ＰＣＣ技術基盤の符号化／復号が適用される。
【0251】
実施例によるＰＣＣ方法／装置は自律走行サービスを提供する車両に適用できる。
【0252】
自律走行サービスを提供する車両はＰＣＣデバイスと有無線通信可能に連結される。
【0253】
実施例によるポイントクラウドデータ(ＰＣＣ)送受信装置は、車両と有無線通信可能に連結された場合、自律走行サービスと共に提供できるＡＲ／ＶＲ／ＰＣＣサービス関連コンテンツデータを受信／処理して車両に送信することができる。またポイントクラウドデータ送受信装置車両に搭載された場合は、ポイントクラウド送受信装置はユーザインターフェース装置で入力されたユーザ入力信号によってＡＲ／ＶＲ／ＰＣＣサービス関連コンテンツデータを受信／処理してユーザに提供することができる。実施例による車両又はユーザインターフェース装置はユーザ入力信号を受信する。実施例によるユーザ入力信号は自律走行サービスを指示する信号を含む。
【0254】
一方、送信側のポイントクラウドビデオエンコーダは、ポイントクラウドデータを符号化する前に、ポイントクラウドデータを一つ以上の３次元ブロックで空間分割(ｄｉｖｉｓｉｏｎ ｏｒ ｐａｒｔｉｔｉｏｎ)する空間分割過程をさらに行う。即ち、送信装置の符号化及び送信動作、また受信装置の復号及びレンダリング動作がリアルタイムで行われると同時に低遅延処理するために、送信装置においてポイントクラウドデータを複数の領域に空間分割する。また送信装置は空間分割された領域(又はブロック)をそれぞれ独立または非独立に符号化することにより、ポイントクラウドデータが占める３次元空間上の任意接続(ｒａｎｄｏｍ ａｃｃｅｓｓ)と並列符号化を可能にする効果を提供する。また送信装置及び受信装置は、空間分割された領域(又はブロック)単位で独立又は非独立に符号化及び復号を行うことにより、符号化及び復号の過程で繰り返されるエラーを防止することができる。
【0255】
図１５は実施例によるポイントクラウド送信装置のさらに他の例を示す図であり、空間分割部を備えている。
【0256】
実施例によるポイントクラウド送信装置は、データ入力部５１００１、座標系変換部５１００２、量子化処理部５１００３、空間分割部５１００４、シグナリング処理部５１００５、ジオメトリエンコーダ５１００６、特質エンコーダ５１００７及び送信処理部５１００８を含む。実施例によって、座標系変換部５１００２、量子化処理部５１００３、空間分割部５１００４、ジオメトリエンコーダ５１００６及び特質エンコーダ５１００７をポイントクラウドビデオエンコーダと称する。
【0257】
データ入力部５１００１は、図１のポイントクラウドビデオ獲得部１０００１の動作の一部又は全部を行い、又は図１２のデータ入力部１２０００の動作の一部又は全部を行う。座標系変換部５１００２は、図４の座標系変換部４００００の動作の一部又は全部を行う。また量子化処理部５１００３は、図４の量子化部４０００１の動作の一部又は全部を行い、又は図１２の量子化処理部１２００１の動作の一部又は全部を行う。
【0258】
空間分割部５１００４は、量子化処理部５１００３で量子化されて出力されるポイントクラウドデータを境界ボックス(ｂｏｕｎｄｉｎｇ ｂｏｘ)及び／又は副境界ボックスなどに基づいて一つ以上の３次元ブロックで空間分割する。このとき、３次元ブロックはタイルグループ(Ｔｉｌｅ Ｇｒｏｕｐ)又はタイル又はスライス又はコーディング単位(Ｃｏｄｉｎｇ Ｕｎｉｔ、ＣＵ)、予測単位(Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ、ＰＵ)又は変換単位(ＴＵ)を意味する。また空間分割のためのシグナリング情報は、シグナリング処理部５１００５でエントロピー符号化された後、ビットストリーム形態で送信処理部５１００８により送信されることを一実施例とする。
【0259】
図１６(ａ)ないし図１６(ｃ)は境界ボックスを一つ以上のタイルに分割する一例を示している。図１６(ａ)のように、ポイントクラウドデータに該当するポイントクラウドオブジェクトは座標系に基づくボックス形態に示されるが、これを境界ボックスという。即ち、境界ボックスはポイントクラウドポイントを全部入れられる六面体を意味する。
【0260】
図１６(ｂ)及び図１６(ｃ)は図１６(ａ)の境界ボックスがタイル１(ｔｉｌｅ１＃)とタイル２(ｔｉｌｅ２＃)に分割される例を示しており、タイル２(ｔｉｌｅ２＃)はさらにスライス１(ｓｌｉｃｅ１＃)とスライス２(ｓｌｉｃｅ２＃)に分割される例が示されている。
【0261】
一実施例において、ポイントクラウドコンテンツはアクタ(ａｃｔｏｒ)などの一人或いは複数の人、又は一つの事物或いは複数の事物であるが、より大きい範囲では、自律走行のためのマップ、ロボットの実内ナビゲーションのためのマップなどであることもできる。この場合、ポイントクラウドコンテンツは地域的に連結された膨大な量のデータである。そうすると、ポイントクラウドコンテンツを一度に符号化／復号することはできないので、ポイントクラウドコンテンツの圧縮を行う前にタイル分配(ｐａｒｔｉｔｉｏｎｉｎｇ)が行われる。例えば、建物内の１０１号を一つのタイルに、他の１０２号は他のタイルに分割する。分割されたタイルを並列化を適用して迅速な符号化／復号のための支援を行うために、さらにスライスに分配(又は分割)する。これをスライス分配(又は分割)という。
【0262】
即ち、タイル(ｔｉｌｅ)とは、実施例によるポイントクラウドデータが占める３次元空間の一部の領域(例えば、矩形の立方体)を意味する。実施例によるタイルは、一つ又はそれ以上のスライスを含む。実施例によるタイルは、一つ又はそれ以上のスライスに分割(分配)されることにより、ポイントクラウドビデオエンコーダはポイントクラウドデータを並列的に符号化することができる。
【0263】
スライス(ｓｌｉｃｅ)とは、実施例によるポイントクラウドビデオエンコーダにおいて独立して符号化を行えるデータ(又はビットストリーム)の単位、及び／又はポイントクラウドビデオデコーダにおいて独立して復号を行えるデータ(又はビットストリーム)の単位を意味する。実施例によるスライスは、ポイントクラウドデータが占める３次元空間上のデータの集合を意味するか、又はポイントクラウドデータのうちの一部データの集合を意味する。スライスは、実施例によるタイル内に含まれたポイントの領域又はポイントの集合を意味する。実施例によるタイルは、一つのタイル内に含まれたポイントの数に基づいて一つ又はそれ以上のスライスに分割される。例えば、一つのタイルは、ポイントの数ごとに分割されたポイントの集合を意味する。実施例によるタイルは、ポイントの数に基づいて一つ以上のスライスに分割することができ、分割する過程において一部のデータが分離(ｓｐｌｉｔ)又は併合(ｍｅｒｇｅ)されることもある。即ち、スライスは該当タイル内において独立してコーディングされる単位である。このように空間分割されたタイルは、迅速かつ効率的な処理のために、さらに一つ以上のスライスに分けられる。
【0264】
実施例によるポイントクラウドビデオエンコーダは、スライス単位又は一つ以上のスライスを含むタイル単位にポイントクラウドデータの符号化を行う。また実施例によるポイントクラウドビデオエンコーダは、タイルごと又はスライスごとに量子化及び／又は変換を異なるように行うことができる。
【0265】
空間分割部５１００４で空間分割された一つ以上の３次元ブロック(例えば、スライス)の位置はジオメトリエンコーダ５１００６に出力され、特質情報(又は特質という)は特質エンコーダ５１００７に出力される。位置は分割された単位(ボックス又はブロック又はタイル又はタイルグループ又はスライス)に含まれたポイントの位置情報であり、ジオメトリ情報と称する。
【0266】
ジオメトリエンコーダ５１００６は、空間分割部５１００４で出力される位置に基づいて八分木を構成し、符号化(即ち、圧縮)してジオメトリビットストリームを出力する。またジオメトリエンコーダ５１００６は、八分木及び／又は近似化された八分木を再構成して特質エンコーダ５１００７に出力する。再構成された八分木(ｒｅｃｏｎｓｔｒｕｃｔｅｄ ｏｃｔｒｅｅ)は再構成されたジオメトリ(又は復元されたジオメトリ)とも呼ばれる。
【0267】
特質エンコーダ５１００７は、ジオメトリエンコーダ５１００６で出力される再構成されたジオメトリに基づいて空間分割部５１００４で出力される特質を符号化(即ち、圧縮)して特質ビットストリームを出力する。
【0268】
図１７は実施例によるジオメトリエンコーダ５１００６と特質エンコーダ５１００７の他の例を示す詳細ブロック図である。
【0269】
図１７のジオメトリエンコーダ５１００６のボクセル化処理部５３００１、八分木生成部５３００２、ジオメトリ情報予測部５３００３及び演算コーダ５３００４は、図４の八分木分析部４０００２、表面近似分析部４０００３、演算エンコーダ４０００４及びジオメトリ再構成部４０００５の動作の一部又は全部を行うか、又は図１２のボクセル化処理部１２００２、八分木占有コード生成部１２００３、表面モデル処理部１２００４、イントラ／インターコーディング処理部１２００５及び演算(Ａｒｉｔｈｍｅｔｉｃ)コーダ１２００６の動作の一部又は全部を行う。
【0270】
図１７の特質エンコーダ５１００７は、色相変換処理部５３００５、特質変換処理部５３００６、ＬＯＤ構成部５３００７、隣接ポイント集合構成部５３００８、特質情報予測部５３００９、残余特質情報量子化処理部５３０１０及び演算コーダ５３０１１を含む。
【0271】
一実施例において、空間分割部５１００４とボクセル化処理部５３００１の間にさらに量子化処理部が備えられる。量子化処理部は、空間分割部５１００４で空間分割された一つ以上の３次元ブロック(例えば、スライス)の位置を量子化する。この場合、量子化部は図４の量子化部４０００１の動作の一部又は全部を行うか、又は図１２の量子化処理部１２００１の動作の一部又は全部を行う。空間分割部５１００４とボクセル化処理部５３００１の間にさらに量子化処理部が備えられる場合、図１５の量子化処理部５１００３は省略されても、省略されなくてもよい。
【0272】
実施例によるボクセル化処理部５３００１は、空間分割された一つ以上の３次元ブロック(例えば、スライス)の位置又は量子化された位置に基づいてボクセル化(ｖｏｘｅｌｉｚａｔｉｏｎ)を行う。ボクセル化は３次元空間上の位置情報を表す最小限のユニットを意味する。実施例によるポイントクラウドコンテンツ(又は３次元ポイントクラウドビデオ)のポイントは、一つ又はそれ以上のボクセル(ｖｏｘｅｌ)に含まれることができる。実施例によって、一つのボクセルは一つ又はそれ以上のポイントを含む。一実施例において、ボクセル化を行う前に量子化が行われた場合には、複数のポイントが一つのボクセルに属することが発生し得る。
【0273】
この明細書においては、二つ以上のポイントが一つのボクセルに含まれる場合、これら二つ以上のポイントを重複ポイント(又は重畳ポイント、ｄｕｐｌｉｃａｔｅｄ ｐｏｉｎｔｓ)と称する。即ち、ジオメトリ符号化過程において、ジオメトリ量子化とボクセル化により重複ポイントが生成されることができる。
【0274】
実施例によるボクセル化処理部５３００１は、一つのボクセルに属する重複ポイントを併合せず、そのまま八分木生成部５３００２に出力するか、又は重複ポイントを一つのポイントに併合して八分木生成部５３００２に出力する。
【0275】
実施例による八分木生成部５３００２は、ボクセル化処理部５３００１で出力されるボクセルに基づいて八分木を生成する。
【0276】
実施例によるジオメトリ情報予測部５３００３は、八分木生成部５３００２で生成された八分木に基づいてジオメトリ情報の予測及び圧縮を行って演算コーディング部５３００４に出力する。また、ジオメトリ情報予測部５３００３は、圧縮により変更された位置に基づいてジオメトリを再構成し、再構成された(又は復号された)ジオメトリを特質エンコーダ５１００７のＬＯＤ構成部５３００７に出力する。ジオメトリ情報の再構成は、ジオメトリ情報予測部５３００３とは別のデバイス又はコンポーネントで行われることもできる。他の実施例においては、再構成されたジオメトリは特質エンコーダ５１００７の特質変換処理部５３００６にも提供される。
【0277】
特質エンコーダ５１００７の色相変換処理部５３００５は、図４の色変換部４０００６又は図１２の色相変換処理部１２００８に対応する。実施例による色相変換処理部５３００５は、データ入力部５１００１及び／又は空間分割部５１００４で提供される特質に含まれた色相値(又はテクスチャー)を変換する色相変換コーディングを行う。例えば、色相変換処理部５３００５は色相情報のフォーマットを変換することができる(例えば、ＲＧＢからＹＣｂＣｒに変換)。実施例による色相変換処理部５３００５の動作は、特質に含まれた色相値によって選択的に(ｏｐｔｉｏｎａｌ)適用される。他の実施例においては、色相変換処理部５３００５は再構成されたジオメトリに基づいて色相変換コーディングを行う。ジオメトリ再構成に関する詳しい説明は、図１ないし図９の説明を参照できる。
【0278】
実施例による特質変換処理部５３００６は、ジオメトリ符号化が行われない位置及び／又は再構成されたジオメトリに基づいて特質を変換する特質変換を行う。
【0279】
特質変換処理部５３００６は、色相再調整部(ｒｅｃｏｌｏｒｉｎｇ)とも呼ばれる。
【0280】
実施例による特質変換処理部５３００６の動作は、重畳ポイント(ｄｕｐｌｉｃａｔｅｄ ｐｏｉｎｔｓ)の併合有無によって選択的に(ｏｐｔｉｏｎａｌ)適用される。重畳ポイントの併合有無はジオメトリエンコーダ５１００６のボクセル化処理部５３００１又は八分木生成部５３００２で行われることを一実施例とする。
【0281】
この明細書においては、ボクセル化処理部５３００１又は八分木生成部５３００２で一つのボクセルに属するポイントが一つのポイントに併合された場合、特質変換処理部５３００６で特質変換を行うことを一実施例とする。
【0282】
【0283】
実施例によって、ジオメトリ情報予測部５３００３で再構成されたジオメトリ情報と特質変換処理部５３００６で出力される特質情報は、特質圧縮のためにＬＯＤ構成部５３００７に提供される。
【0284】
実施例によって、特質変換処理部５３００６で出力された特質情報は、再構成されたジオメトリ情報に基づいてＲＡＨＴコーディング技法、ＬＯＤ基盤の予測変換コーディング技法及びリフト変換コーディング技法のうちの一つ又は二つ以上を組み合わせて圧縮される。
【0285】
その後、この明細書においては、ＬＯＤ基盤の予測変換コーディング技法及びリフト変換コーディング技法のうちの一つ又は二つを組み合わせて特質圧縮を行うことを一実施例とする。よって、ＲＡＨＴコーディング技法については説明を省略する。ＲＡＨＴ変換コーディングに関する説明は図１ないし図９の説明を参照する。
【0286】
実施例によるＬＯＤ構成部５３００７は、ＬＯＤ(Ｌｅｖｅｌ ｏｆ Ｄｅｔａｉｌ)を生成する。
【0287】
ＬＯＤはポイントクラウドコンテンツの詳細(ｄｅｔａｉｌ)を示す程度であり、ＬＯＤ値が小さいほどポイントクラウドコンテンツの詳細が落ち、ＬＯＤ値が大きいほどポイントクラウドコンテンツの詳細が高いことを示す。ポイントはＬＯＤによって分類される。
【0288】
一実施例においては、予測変換コーディング技法とリフト変換コーディング技法ではＬＯＤによりポイントを分けてグルーピングすることができる。
【0289】
これをＬＯＤ生成過程といい、互いに異なるＬＯＤを有するグループをＬＯＤｌ集合と称する。ここで、ｌはＬＯＤを示し、０から始まる整数である。ＬＯＤ０はポイント間の距離が最も大きいポイントで構成された集合であり、ｌが大きくなるほどＬＯＤｌに属するポイント間の距離は短くなる。
【0290】
実施例による隣接ポイント集合構成部５３００８は、ＬＯＤ構成部５３００７でＬＯＤl集合が生成されると、ＬＯＤl集合に基づいてＬＯＤが等しいか又は小さい(即ち、ノード間の距離が大きい)グループにおいてＸ個(＞０)の最隣接ポイント(ｎｅａｒｅｓｔ ｎｅｉｇｈｂｏｒ)を探して予測器(ｐｒｅｄｉｃｔｏｒ)に隣接ポイント集合として登録する。Ｘ個は隣接ポイントとして設定できる最大数であり、ユーザパラメータにより入力されるか、又はシグナリング処理部５１００５を介してシグナリング情報にシグナリングされる(例えば、ＡＰＳにシグナリングされたｌｉｆｔｉｎｇ_ｎｕｍ_ｐｒｅｄ_ｎｅａｒｅｓｔ_ｎｅｉｇｈｂｏｕｒｓフィールド)。
【0291】
例えば、図９においては、ＬＯＤ１に属するＰ３の隣接ポイントをＬＯＤ０とＬＯＤ１から探す。例えば、隣接ポイントとして設定される最大数(Ｘ)が３であると、Ｐ３と最も近い３つの隣接ノードはＰ２、Ｐ４、Ｐ６になる。これらのノードがＰ３の予測器に隣接ポイント集合として登録される。これらのうち、隣接ノードＰ４が距離を基盤としてＰ３と最も近く、次にＰ６、その次にＰ２であることを一実施例とする。ここで、Ｘ＝３であることは当業者の理解を助けるための一例であり、Ｘ値は変更可能である。
【0292】
上述したように、ポイントクラウドデータの全てのポイントはそれぞれ予測器を有することができる。
【0293】
実施例による特質情報予測部５３００９は、予測器に登録された隣接ポイントから特質値を予測する。予測器は、登録された隣接ポイント集合を有し、各隣接ポイントからの距離値に基づいて１／２距離＝加重値(ｗｅｉｇｈｔ)を登録する。例えば、Ｐ３ノードの予測器は、隣接ポイント集合として(Ｐ２ Ｐ４ Ｐ６)を有し、それぞれの隣接ポイントとの距離値に基づいて加重値を計算する。実施例によって、各隣接ポイントの加重値は
になる。
【0294】
実施例によって、隣接ポイント集合構成部５３００８又は特質情報予測部５３００９は、予測器の隣接ポイント集合が設定されると、隣接ポイントの加重値の総合により各隣接ポイントの加重値を正規化(ｎｏｒｍａｌｉｚｅ)することができる。
【0295】
例えば、Ｐ３ノードの隣接ポイント集合内の全ての隣接ポイントの加重値を加算し(ｔｏｔａｌ_ｗｅｉｇｈｔ＝
＋
)、その値を各隣接ポイントの加重値で再度割ることにより、(
／ｔｏｔａｌ_ｗｅｉｇｈｔ、
／ｔｏｔａｌ_ｗｅｉｇｈｔ、
／ｔｏｔａｌ_ｗｅｉｇｈｔ)、各隣接ポイントの加重値を正規化する。
【0296】
その後、特質情報予測部５３００９は予測器を介して特質値を予測することができる。
【0297】
実施例によって、予測器に登録された隣接ポイントの特質(例えば、色相、反射率など)に加重値(又は正規化された加重値)をかけた値の平均を予測された結果(即ち、予測特質値)として設定するか、又は特定のポイントの特質を予測された結果(即ち、予測特質値)として設定する。実施例によれば、予測特質値は予測特質情報とも称される。また、残余(ｒｅｓｉｄｕａｌ)の特質値(又は残余特質情報、又は残差という)は、該当ポイントの特質値(即ち、オリジナル特質値)から該当ポイントの予測特質値(これを予測特質値、又は予測特質情報という)を引くことにより求めることができる。
【0298】
実施例によれば、様々な予測モード(又は予測器インデックスという)を適用して圧縮された結果値を予め計算した後、これらのうち、最小のビットストリームを生成する予測モード(即ち、予測器インデックス)を選択することができる。
【0299】
次に、予測モードを選択する過程について詳しく説明する。
【0300】
この明細書において、予測モード(ｐｒｅｄｉｃｔｉｏｎ ｍｏｄｅ)は予測器インデックス(ｐｒｅｄｉｃｔｏｒ ｉｎｄｅｘ、Ｐｒｅｉｎｄｅｘ)と同じ意味で使用され、広くは予測方法とも呼ばれる。
【0301】
この明細書において、各ポイントごとに最適な予測モードを探し、この探した予測モードを該当ポイントの予測器に設定する過程を特質情報予測部５３００９で行うことを一実施例とする。
【0302】
実施例によれば、加重値平均(即ち、各ポイントの予測器に設定された隣接ポイントの特質に各隣接ポイントまでの距離に基づいて計算された加重値をかけた値の平均値)により予測特質値を計算する予測モードを予測モード０と称する。また、１番目の隣接ポイントの特質を予測特質値とする予測モードを予測モード１、２番目の隣接ポイントの特質を予測特質値とする予測モードを予測モード２、また３番目の隣接ポイントの特質を予測特質値とする予測モードを予測モード３と称する。つまり、予測モード(又は予測器インデックス)の値が０であると加重値平均、１であると１番目の隣接ノード(即ち、隣接ポイント)、２であると２番目の隣接ノード、また３であると３番目の隣接ノードにより特質値を予測したことを示す。
【0303】
実施例によれば、予測モード０であるときの残余特質値、予測モード１であるときの残余特質値、予測モード２であるときの残余特質値、及び予測モード３であるときの残余特質値を求め、各残余特質値に基づいて各スコア(ｓｃｏｒｅ ｏｒ ｄｏｕｂｌｅ ｓｃｏｒｅ)を計算することができる。また計算したスコアが一番低い値を有する予測モードを選択して、該当ポイントの予測モードとして設定する。スコア計算法については後に詳しく説明する。
【0304】
例えば、２番目の隣接ポイントの特質を予測特質値としたときの残余特質値に基づいて計算されたスコアが一番低い値であったら、予測器インデックス値が２、即ち、予測モード２が該当ポイントの予測モードとして選択される。
【0305】
上記のように、Ｐ３の隣接ポイントＰ２、Ｐ４、Ｐ６のうち、距離に基づいて隣接ポイントＰ４がポイントＰ３と最も近く、次に隣接ポイントＰ６、その次に隣接ポイントＰ２であると仮定すると、１番目の隣接ポイントはＰ４、２番目の隣接ポイントはＰ６、また３番目の隣接ポイントはＰ２になる。
【0306】
これはこの明細書の理解を助けるための一実施例であり、予測モードに割り当てられる値、候補予測モードの数及び予測方法は当業者が追加、削除及び変更できるので、この明細書は上記の実施例に制限されない。
【0307】
実施例によれば、複数の予測モードのうち、最適な予測モードを探して該当ポイントの予測モードとして設定する過程は、所定の条件を満たす場合に行われる。よって、所定の条件を満たさない場合には、最適な予測モードを探す過程を行わず、固定した予測モード、例えば、加重値平均により予測特質値を計算する予測モード０を該当ポイントの予測モードとして設定する。かかる過程は各ポイントごとに行うことを一実施例とする。
【0308】
実施例によれば、特定のポイントに対して所定の条件を満たす場合とは、該当ポイントの予測器に登録された隣接ポイント間の特質要素(例えば、Ｒ、Ｇ、Ｂ)の差の値が所定のしきい値(例えば、ｌｉｆｔｉｎｇ_ａｄａｐｔｉｖｅ_ｐｒｅｄｉｃｔｉｏｎ_ｔｈｒｅｓｈｏｌｄ)と等しいか又は大きい場合、又は該当ポイントの予測器に登録された隣接ポイント間の特質要素(例えば、Ｒ、Ｇ、Ｂ)の差の値を求めて、最も大きい要素値の和が所定のしきい値と等しいか又は大きい場合である。例えば、Ｐ３ポイントが該当ポイントであり、Ｐ３ポイントの隣接ポイントとしてＰ２、Ｐ４、Ｐ６ポイントが登録されたと仮定する。さらに、Ｐ２ポイントとＰ４ポイントの間のＲ、Ｇ、Ｂのそれぞれの差の値を求め、Ｐ２ポイントとＰ６ポイントの間のＲ、Ｇ、Ｂのそれぞれの差の値を求め、Ｐ４ポイントとＰ６ポイントの間のＲ、Ｇ、Ｂのそれぞれの差の値を求めたとき、Ｒ差の値はＰ２ポイントとＰ４ポイントの間で最も大きく、Ｇ差の値はＰ４ポイントとＰ６ポイントの間で最も大きく、またＢ差の値はＰ２ポイントとＰ６ポイントの間で最も大きいと仮定する。また、最も大きいＲ差の値(即ち、Ｐ２とＰ４の間)、最も大きいＧ差の値(即ち、Ｐ４とＰ６の間)、及び最も大きいＢ差の値(即ち、Ｐ２とＰ６の間)のうち、Ｐ２ポイントとＰ４ポイントの間のＲ差の値が最も大きいと仮定する。
【0309】
このような仮定において、Ｐ２ポイントとＰ４ポイントの間のＲ差の値が所定のしきい値と等しいか又は大きい場合、又はＰ２ポイントとＰ４ポイントの間のＲ差の値、Ｐ４ポイントとＰ６ポイントの間のＧ差の値、そしてＰ２ポイントとＰ６ポイントの間のＢ差の値の和が所定のしきい値と等しいか又は大きい場合には、複数の候補予測モードのうち、最適な予測モードを探す過程を行うことができる。また、Ｐ２ポイントとＰ４ポイントの間のＲ差の値が所定のしきい値と等しいか又は大きい場合、又はＰ２ポイントとＰ４ポイントの間のＲ差の値、Ｐ４ポイントとＰ６ポイントの間のＧ差の値、そしてＰ２ポイントとＰ６ポイントの間のＢ差の値の和が所定のしきい値と等しいか又は大きい場合のみに予測モード(例えば、ｐｒｅｄＩｎｄｅｘ)をシグナリングすることができる。
【0310】
特定のポイントに対して所定の条件を満たす他の実施例によれば、該当ポイントの予測器に登録された隣接ポイントの特質値(例えば、反射率)の間の最大差の値が、所定のしきい値(例えば、ｌｉｆｔｉｎｇ_ａｄａｐｔｉｖｅ_ｐｒｅｄｉｃｔｉｏｎ_ｔｈｒｅｓｈｏｌｄ)と等しいか又は大きい場合であることもできる。例えば、Ｐ２ポイントとＰ４ポイントの間の反射率差の値、Ｐ２ポイントとＰ６ポイントの間の反射率差の値、Ｐ４ポイントとＰ６ポイントの間の反射率差の値を求めたとき、Ｐ２ポイントとＰ４ポイントの間の反射率差の値が最も大きいと仮定する。
【0311】
このような仮定において、Ｐ２ポイントとＰ４ポイントの間の反射率差の値が所定のしきい値と等しいか又は大きい場合、複数の候補予測モードのうち、最適な予測モードを探す過程を行うことができる。また、Ｐ２ポイントとＰ４ポイントの間の反射率差の値が所定のしきい値と等しいか又は大きい場合のみに予測モード(例えば、ｐｒｅｄＩｎｄｅｘ)をシグナリングすることができる。
【0312】
実施例によれば、予測モード(例えば、ｐｒｅｄＩｎｄｅｘ)は特質スライスデータにシグナリングすることができる。他の実施例においては、予測モードがシグナリングされないと、送信側ではデフォルトとした予測モード(例えば、予測モード０)に基づいて予測特質値を求め、オリジナル特質値と予測特質値の差により残余特質値を求めて送信し、受信側ではデフォルトとした予測モード(例えば、予測モード０)に基づいて予測特質値を求め、受信された残余特質値と併せて特質値を復元することができる。
【0313】
実施例によれば、しきい値は直接入力されるか、又はシグナリング処理部５１００５によりシグナリング情報にシグナリングされる(例えば、ＡＰＳにシグナリングされたｌｉｆｔｉｎｇ_ａｄａｐｔｉｖｅ_ｐｒｅｄｉｃｔｉｏｎ_ｔｈｒｅｓｈｏｌｄフィールド)。
【0314】
実施例によれば、上述したように、特定のポイントに対して所定の条件を満たす場合、予測器候補を生成することができる。予測器候補は予測モード又は予測器インデックスと称する。
【0315】
実施例によれば、予測器候補に予測モード１ないし予測モード３が含まれる。実施例によれば、予測モード０は予測器候補に含まれても含まれなくてもよい。実施例によれば、さらに上述していない少なくとも一つの予測モードが予測器候補に含まれることもできる。
【0316】
【0317】
図１８は特質のｉ番目のポイントに対して予測モード０ないし予測モード３を用いて最適な予測モードを探す一実施例を示している。
【0318】
即ち、該当ポイントの予測器に登録された隣接ポイントの特質値間の最大差(ｍａｘｉｍｕｍ ｄｉｆｆｅｒｅｎｃｅ)の値を計算し(段階５５００１)、段階５５００１で計算された最大差の値が所定のしきい値と等しいか又は大きいか否かを確認する(段階５５００２)。
【0319】
実施例による段階５５００２において、最大差の値が所定のしきい値より小さいことが確認されると、所定の基本予測モードとして該当ポイントの予測モードが設定される(段階５５００３)。所定の基本予測モードは予測モード０(即ち、加重値平均に基づいて特質値予測)であることを一実施例とする。所定の基本予測モードは予測モード０以外の他の予測モードであってもよい。実施例によれば、所定の基本予測モードとして該当ポイントの予測モードが設定される場合、該当ポイントの予測モードをシグナリングしない。この場合、所定の基本予測モードは送／受信側で既に知っていると仮定する。
【0320】
実施例による段階５５００２において、最大差の値が所定のしきい値と等しいか又は大きいことが確認されると、予測器候補を生成する(段階５５００４)。
【0321】
段階５５００４で生成される予測器候補の数は１より大きいことを一実施例とする。実施例によれば、段階５５００４で生成される予測器候補は予測モード０ないし予測モード３に該当する予測器候補である。
【0322】
段階５５００４において、予測器候補が生成されると、ＲＤＯ(Ｒａｔｅ－Ｄｉｓｔｏｒｔｉｏｎ Ｏｐｔｉｍｉｚａｔｉｏｎ)方法(ｐｒｏｃｅｄｕｒｅ)を適用して最適な予測器を選択する過程を行う。
【0323】
このために、段階５５００４で予測モード０ないし予測モード３に該当する４つの予測器候補が生成されると、各予測器のスコア(ｓｃｏｒｅ ｏｒ ｄｏｕｂｌｅ ｓｃｏｒｅ)を計算する(段階５５００５)。
【0324】
実施例によれば、４つの予測器候補のうちのいずれかを基本予測器として設定し、基本予測器と残りの予測器のスコアを計算する。予測モード０に該当する予測器を基本予測器として設定することを一実施例とする。
【0325】
基本予測器のスコアは以下の数５のように計算される。
【0326】
[数５]
ｄｏｕｂｌｅ ｓｃｏｒｅ＝ａｔｔｒＲｅｓｉｄｕａｌＱｕａｎｔ＋ｋＡｔｔｒＰｒｅｄＬａｍｂｄａＲ
＊(ｑｕａｎｔ.ｓｔｅｐＳｉｚｅ()＞＞ｋＦｉｘｅｄＰｏｉｎｔＡｔｔｒｉｂｕｔｅＳｈｉｆｔ)
ｄｏｕｂｌｅ ｓｃｏｒｅ＝ａｔｔｒＲｅｓｉｄｕａｌＱｕａｎｔ＋ｋＡｔｔｒＰｒｅｄＬａｍｂｄａＲ
＊(ｑｕａｎｔ.ｓｔｅｐＳｉｚｅ()＞＞ｋＦｉｘｅｄＰｏｉｎｔＡｔｔｒｉｂｕｔｅＳｈｉｆｔ)
【0327】
残りの予測器の各スコアは以下の数６のように計算される。
【0328】
[数６]
ｄｏｕｂｌｅ ｓｃｏｒｅ＝ａｔｔｒＲｅｓｉｄｕａｌＱｕａｎｔ＋ｉｄｘＢｉｔｓ＊ｋＡｔｔｒＰｒｅｄＬａｍｂｄａＲ
＊(ｑｕａｎｔ.ｓｔｅｐＳｉｚｅ()＞＞ｋＦｉｘｅｄＰｏｉｎｔＡｔｔｒｉｂｕｔｅＳｈｉｆｔ)
ｄｏｕｂｌｅ ｓｃｏｒｅ＝ａｔｔｒＲｅｓｉｄｕａｌＱｕａｎｔ＋ｉｄｘＢｉｔｓ＊ｋＡｔｔｒＰｒｅｄＬａｍｂｄａＲ
＊(ｑｕａｎｔ.ｓｔｅｐＳｉｚｅ()＞＞ｋＦｉｘｅｄＰｏｉｎｔＡｔｔｒｉｂｕｔｅＳｈｉｆｔ)
【0329】
ここで、ｉｄｘＢｉｔｓ＝ｉ＋(ｉ＝＝ｌｉｆｔｉｎｇ_ｍａｘ_ｎｕｍ_ｄｉｒｅｃｔ_ｐｒｅｄｉｃｔｏｒｓ－１？１:２)である。
【0330】
数５及び数６において、ａｔｔｒＲｅｓｉｄｕａｌＱｕａｎｔは特質の残余特質値を量子化した値であり、ｋＡｔｔｒＰｒｅｄＬａｍｂｄａＲは常数であって、０.０１であることを一実施例とする。また、ｉは何番目の隣接ポイント(即ち、ノード)であるかを指示し(０,１,２,…)、ｑｕａｎｔ.ｓｔｅｐＳｉｚｅは特質量子化のサイズを表す。また、ｋＦｉｘｅｄＰｏｉｎｔＡｔｔｒｉｂｕｔｅＳｈｉｆｔは常数であって、８であることを一実施例とし、この時、ｑｕａｎｔ.ｓｔｅｐＳｉｚｅ()＞＞ｋＦｉｘｅｄＰｏｉｎｔＡｔｔｒｉｂｕｔｅＳｈｉｆｔは８ビットだけ右側に特質量子化サイズをシフトすることを意味する。ｌｉｆｔｉｎｇ_ｍａｘ_ｎｕｍ_ｄｉｒｅｃｔ_ｐｒｅｄｉｃｔｏｒｓｈは予測のために使用される予測器の最大数である。実施例によるｌｉｆｔｉｎｇ_ｍａｘ_ｎｕｍ_ｄｉｒｅｃｔ_ｐｒｅｄｉｃｔｏｒｓの値は３つがデフォルトとして設定され、ユーザパラメータにより入力されるか、又はシグナリング処理部５１００５によりシグナリング情報にシグナリングされることもできる。
【0331】
数５と数６の差は、基本予測器のスコア計算ではｉｄｘＢｉｔｓが適用されないことである。
【0332】
数５及び数６を適用して求めた４つの予測器候補のスコアのうち、最低のスコアを有する予測器候補を探す(段階５５００６)。また最低のスコアを有する予測器候補に該当する予測モードを該当ポイントの予測モードとして設定する(段階５５００７)。即ち、予測モード０ないし予測モード３のうちのいずれかが該当ポイントの予測モードとして設定される(段階５５００８)。例えば、１番目の隣接ポイントを適用して求めたスコアが最も小さいと、予測モード１(即ち、予測器インデックス１)が該当ポイントの予測モードとして設定される。
【0333】
実施例によれば、段階５５００７で設定された該当ポイントの予測モード(例えば、ｐｒｅｄＩｎｄｅｘ)は特質スライスデータにシグナリングされる。
【0334】
複数の予測器候補(即ち、複数の候補予測モード)のうち、数５及び数６を適用して予測器候補(即ち、予測モード)を選択すると、予測モード０に該当する基本予測器のスコア計算にはｉｄｘＢｉｔｓを適用しないので、予測モード０に該当する基本予測器が選択される確率が高い。
【0335】
このとき、該当ポイントの予測器に登録された隣接ポイントの特質値の間の最大差の値が所定のしきい値と等しいか又は大きいとは、既に隣接ポイントの特質差が大きいことを意味する。ところが、該当ポイントの予測モードとして予測モード０が選択されると、このときの予測特質値は隣接ポイントの特質に加重値をかけた値の平均値(即ち、各ポイントの予測器に設定された隣接ポイントの特質に各隣接ポイントまでの距離に基づいて計算された加重値をかけた値の平均値)により求められる。従って、オリジナル特質値と予測特質値の差である残余特質値のビットストリームのサイズが、登録された各隣接ポイントから求めたサイズよりも大きくなる。
【0336】
このように、複数の予測器候補から選択された予測器候補により予測特質値が影響を受け、この予測特質値は残余特質値に影響を与える。
【0337】
この明細書の他の実施例においては、特質効率を向上させるために、予測モード０に該当する予測器を除いた残りの予測器候補のうち、最適な予測器候補を選択することができる。
【0338】
例えば、該当ポイントの予測器に登録された隣接ポイントの特質値の間の最大差の値が所定のしきい値と等しいか又は大きいと、３つの予測器候補、即ち、予測モード１ないし予測モード３(即ち、予測モード０は除外)のうち、スコアが一番低い予測モードが該当ポイントの予測モードとして設定され、最大差の値が所定のしきい値より小さいと、予測モード０が該当ポイントの予測モードとして設定される。予測モード０は加重値平均(即ち、各ポイントの測器に設定された隣接ポイントの特質に各隣接ポイントまでの距離に基づいて計算された加重値をかけた値の平均値)により予測特質値を計算する予測モードである。
【0339】
【0340】
図１９は特質のｉ番目のポイントに対して予測モード１ないし予測モード３を用いて最適な予測モードを探す一実施例を示している。
【0341】
即ち、該当ポイントの予測器に登録された隣接ポイントの特質値の間の最大差(ｍａｘｉｍｕｍ ｄｉｆｆｅｒｅｎｃｅ)の値を計算し(段階５７００１)、段階５７００１で計算された最大差の値が所定のしきい値と等しいか又は大きいか否かを確認する(段階５７００２)。
【0342】
実施例による段階５７００２において、最大差の値が所定のしきい値より小さいことが確認されると、所定の基本予測モードとして該当ポイントの予測モードが設定される(段階５７００３)。所定の基本予測モードは予測モード０(即ち、加重値平均に基づいて特質値予測)であることを一実施例とする。所定の基本予測モードは予測モード０以外の他の予測モードであってもよい。実施例によれば、所定の基本予測モードとして該当ポイントの予測モードが設定される場合、該当ポイントの予測モードをシグナリングしない。この場合、所定の基本予測モードは送／受信側で既に知っていると仮定する。
【0343】
実施例による段階５７００２において、最大差の値が所定のしきい値と等しいか又は大きいことが確認されると、予測器候補を生成する(段階５７００４)。
【0344】
段階５７００４で生成される予測器候補の数は１より大きいことを一実施例とする。実施例によれば、段階５７００４で生成される予測器候補は予測モード１ないし予測モード３に該当する予測器候補である。即ち、予測モード０に該当する予測器は予測器候補に含まれない。言い換えれば、予測器候補は該当ポイントに登録された隣接ポイントの特質値を予測特質値として設定する予測モードに該当する。
【0345】
段階５７００４において予測器候補が生成されると、ＲＤＯ(Ｒａｔｅ－Ｄｉｓｔｏｒｔｉｏｎ Ｏｐｔｉｍｉｚａｔｉｏｎ)方法(ｐｒｏｃｅｄｕｒｅ)を適用して最適な予測器を選択する過程を行う。
【0346】
このために、段階５７００４で予測モード１ないし予測モード３に該当する３つの予測器候補が生成されると、各予測器のスコア(ｓｃｏｒｅ ｏｒ ｄｏｕｂｌｅ ｓｃｏｒｅ)を計算する(段階５７００５)。
【0347】
各予測器のスコアは以下の数７のように計算される。
【0348】
[数７]
ｄｏｕｂｌｅ ｓｃｏｒｅ＝ａｔｔｒＲｅｓｉｄｕａｌＱｕａｎｔ＋ｋＡｔｔｒＰｒｅｄＬａｍｂｄａＲ
＊(ｑｕａｎｔ.ｓｔｅｐＳｉｚｅ()＞＞ｋＦｉｘｅｄＰｏｉｎｔＡｔｔｒｉｂｕｔｅＳｈｉｆｔ)
ｄｏｕｂｌｅ ｓｃｏｒｅ＝ａｔｔｒＲｅｓｉｄｕａｌＱｕａｎｔ＋ｋＡｔｔｒＰｒｅｄＬａｍｂｄａＲ
＊(ｑｕａｎｔ.ｓｔｅｐＳｉｚｅ()＞＞ｋＦｉｘｅｄＰｏｉｎｔＡｔｔｒｉｂｕｔｅＳｈｉｆｔ)
【0349】
数７において、ａｔｔｒＲｅｓｉｄｕａｌＱｕａｎｔは特質の残余特質値を量子化した値であり、ｋＡｔｔｒＰｒｅｄＬａｍｂｄａＲは常数であって、０.０１であることを一実施例とする。また、ｑｕａｎｔ.ｓｔｅｐＳｉｚｅは特質量子化サイズを示し、ｋＦｉｘｅｄＰｏｉｎｔＡｔｔｒｉｂｕｔｅＳｈｉｆｔは常数であって、８であることを一実施例とする。このとき、ｑｕａｎｔ.ｓｔｅｐＳｉｚｅ()＞＞ｋＦｉｘｅｄＰｏｉｎｔＡｔｔｒｉｂｕｔｅＳｈｉｆｔは８ビットだけ右側に特質量子化サイズをシフトすることを意味する。
【0350】
実施例によれば、数７において、ｋＡｔｔｒＰｒｅｄＬａｍｂｄａＲ、ｑｕａｎｔ.ｓｔｅｐＳｉｚｅ()及びｋＦｉｘｅｄＰｏｉｎｔＡｔｔｒｉｂｕｔｅＳｈｉｆｔのうちのいずれかは省略してもよい。
【0351】
他の実施例において、数６を適用して各予測器のスコアを計算することもできる。
【0352】
この明細書においては、数７を適用した求めた３つの予測器候補のスコアのうち、最低のスコアを有する予測器候補を探すことを一実施例とする(段階５７００６)。また最低のスコアを有する予測器候補に該当する予測モードを該当ポイントの予測モードとして設定する(段階５７００７)。即ち、予測モード１ないし予測モード３のうちのいずれかが該当ポイントの予測モードとして設定される(段階５７００８)。例えば、１番目の隣接ポイントを適用して求めたスコアが最も小さいと、予測モード１(即ち、予測器インデックス１)が該当ポイントの予測モードとして設定される。
【0353】
実施例によれば、段階５７００７で設定された該当ポイントの予測モード(例えば、ｐｒｅｄＩｎｄｅｘ)は特質スライスデータにシグナリングされることができる。
【0354】
このように該当ポイントに登録された隣接ポイント間の特質要素の差の値が限界値と等しいか又は大きいと、該当ポイントの予測モードで加重値平均により予測特質値を計算する予測モード０が使用されないようにすることにより、該当ポイントの残余特質値のサイズを縮めることができる。
【0355】
この明細書は、他の実施例においては、段階５７００４で予測モード１ないし予測モード３に該当する３つの予測器候補が生成されると、３つの予測器候補のうちのいずれかを基本予測器に設定した後、基本予測器は数５を適用し、残りの２つの予測器は数６を適用してスコアを計算する。また、３つの予測器候補のスコアのうち、最低のスコアを有する予測器候補に該当する予測モードを該当ポイントの予測モードとして設定し、設定された予測モード(例えば、ｐｒｅｄＩｎｄｅｘ)は特質スライスデータにシグナリングする。
【0356】
実施例によれば、該当ポイントの特質値と該当ポイントに登録された隣接ポイントの間の類似特質値を求め、該当ポイントに登録された隣接ポイントのうち、最も類似した特質値を有する隣接ポイントを選択して、該当隣接ポイントを選択する予測器候補を基本予測器として設定する。
【0357】
実施例による特質類似性を検証するために、ユークリッド色距離(Ｅｕｃｌｉｄｅａｎ Ｃｏｌｏｒ Ｄｉｓｔａｎｃｅ)、相関色温度(Ｃｏｒｒｅｌａｔｅｄ Ｃｏｌｏｒ Ｔｅｍｐｅｒａｔｕｒｅ)、又はＣＩＥ(Ｃｏｍｍｉｓｓｉｏｎ ｏｎ Ｉｌｌｕｍｉｎａｔｉｏｎ)で定義した距離メトリック(ｄｉｓｔａｎｃｅ ｍｅｔｒｉｃ)ＣＩＥ９４を選択的に使用することができる。
【0358】
実施例によるユークリッド色距離は以下の数８により求められる。
【0359】
【数8】
【0360】
実施例によるＣＣＴ(相関色温度)は、以下の数９のように、ＲＧＢ値をＣＩＥ(ＸＹＺ)値に変更して彩度(ｃｈｒｏｍａｔｉｃ ｖａｌｕｅ)に正規化した後、ＣＣＴ値が計算される。
【0361】
【数9】
【0362】
実施例によるＣＩＥ９４は以下の数１０により求められる。
【0363】
【数10】
【0364】
このように該当ポイントの特質値と該当ポイントに登録された隣接ポイントの間で最も類似する特質値を有する隣接ポイントを選択し、該当隣接ポイントに該当する予測器候補を基本予測器として設定する。
【0365】
実施例によれば、特質類似性を検証するために使用された予測器選択関連のオプション情報はシグナリング情報にシグナリングされる。実施例による予測器選択関連のオプション情報は類似特質検索方法(ａｔｔｒｉｂｕｔｅ_ｓｉｍｉｌａｒｉｔｙ_ｃｈｅｃｋ_ｍｅｔｈｏｄ_ｔｙｐｅ)と基本予測器選択方法(ａｔｔｒｉｂｕｔｅ_ｂａｓｅ_ｐｒｅｄｉｃｔｏｒ ｓｅｌｅｃｔｉｏｎ_ｔｙｐｅ)を含む。実施例によるシグナリング情報はシーケンスパラメータセット、特質パラメータセット、タイルパラメータセット及び特質スライスヘッダのうちのいずれかである。
【0366】
このように該当ポイントに登録された隣接ポイント間の特質要素の差の値が限界値と等しいか又は大きいと、該当ポイントの特質値と該当ポイントに登録された隣接ポイントの間で最も類似する特質値を有する隣接ポイントに該当する予測器候補を基本予測器として設定することにより、該当ポイントの残余特質値のサイズを縮めることができる。
【0367】
上記過程により、各ポイントごとに設定された予測モードと設定された予測モードにおける残余特質値は、残余特質情報量子化処理部５３０１０に出力される。
【0368】
実施例によれば、残余特質情報量子化処理部５３０１０は入力される残余特質値に対してゼロランレングス符号化を適用する。
【0369】
この明細書は残余特質値に対して量子化及びゼロランレングス符号化を行うことを一実施例とする。
【0370】
実施例による演算コーダ５３０１１は、残余特質情報量子化処理部５３０１０で出力される予測モードと残余特質値に対して演算コーディングを適用して特質ビットストリームに出力する。
【0371】
ジオメトリエンコーダ５１００６で圧縮されて出力されるジオメトリビットストリームと特質エンコーダ５１００７で圧縮されて出力される特質ビットストリームは、送信処理部５１００８に出力される。
【0372】
実施例による送信処理部５１００８は、図１２の送信処理部１２０１２の動作及び／又は送信方法と同一又は類似する動作及び／又は送信方法を行い、図１の送受信機１０００３の動作及び／又は送信方法と同一又は類似する動作及び／又は送信方法を行う。具体的な説明は図１又は図１２の説明を参照でき、ここでは省略する。
【0373】
実施例による送信処理部５１００８は、ジオメトリエンコーダ５１００６で出力されるジオメトリビットストリーム、特質エンコーダ５１００７で出力される特質ビットストリーム、及びシグナリング処理部５１００５で出力されるシグナリングビットストリームをそれぞれ送信するか、又は一つのビットストリームに多重化して送信する。
【0374】
実施例による送信処理部５１００８は、ビットストリームをファイル又はセグメント(例えば、ストリーミングセグメント)などにカプセル化した後、放送網及び／又はブロードバンド網などの様々なネットワークにより送信することもできる。
【0375】
実施例によるシグナリング処理部５１００５は、シグナリング情報を生成及び／又は処理してビットストリーム形態で送信処理部５１００８に出力する。シグナリング処理部５１００５で生成及び／又は処理されたシグナリング情報は、ジオメトリ符号化、特質符号化及び送信処理のためにジオメトリエンコーダ５１００６、特質エンコーダ５１００７及び／又は送信処理部５１００８に提供されるか、又はシグナリング処理部５１００５にジオメトリエンコーダ５１００６、特質エンコーダ５１００７及び／又は送信処理部５１００８で生成されたシグナリング情報が提供される。
【0376】
この明細書において、シグナリング情報は、パラメータセット(ＳＰＳ：ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ、ＧＰＳ：ｇｅｏｍｅｔｒｙ ｐａｒａｍｅｔｅｒ ｓｅｔ、ＡＰＳ：ａｔｔｒｉｂｕｔｅ ｐａｒａｍｅｔｅｒ ｓｅｔ、ＴＰＳ：Ｔｉｌｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔなど)単位でシグナリングされて送信される。またスライス又はタイルのように各映像のコーディングユニット単位でシグナリングされて送信されることもできる。この明細書において、シグナリング情報はポイントクラウドデータに関するメタデータ(例えば、設定値など)を含み、ジオメトリ符号化、特質符号化及び送信処理のためにジオメトリエンコーダ５１００６と特質エンコーダ５１００７及び／又は送信処理部５１００８に提供される。アプリケーションによってシグナリング情報は、ファイルフォーマット、ＤＡＳＨ(ｄｙｎａｍｉｃ ａｄａｐｔｉｖｅ ｓｔｒｅａｍｉｎｇ ｏｖｅｒ ＨＴＴＰ)、ＭＭＴ(ＭＰＥＧ ｍｅｄｉａ ｔｒａｎｓｐｏｒｔ)などのシステム端、又はＨＤＭＩ(Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ)（登録商標）、ディスプレイポート、ＶＥＳＡ(Ｖｉｄｅｏ Ｅｌｅｃｔｒｏｎｉｃｓ Ｓｔａｎｄａｒｄｓ Ａｓｓｏｃｉａｔｉｏｎ)、ＣＴＡなどの有線インターフェース端でも定義される。
【0377】
実施例による方法／装置が実施例の動作を追加する／行うために、関連情報をシグナリングすることができる。実施例によるシグナリング情報は送信装置及び／又は受信装置で使用される。
【0378】
この明細書において、特質予測のために使用される予測器の最大個数情報(ｌｉｆｔｉｎｇ_ｍａｘ_ｎｕｍ_ｄｉｒｅｃｔ_ｐｒｅｄｉｃｔｏｒｓ)、特質の適応的予測を可能にするためのしきい値情報(ｌｉｆｔｉｎｇ_ａｄａｐｔｉｖｅ_ｐｒｅｄｉｃｔｉｏｎ_ｔｈｒｅｓｈｏｌｄ)、予測器選択関連のオプション情報、例えば、基本予測器選択方法(ａｔｔｒｉｂｕｔｅ_ｂａｓｅ_ｐｒｅｄｉｃｔｏｒ ｓｅｌｅｃｔｉｏｎ_ｔｙｐｅ)、類似特質検索方法(ａｔｔｒｉｂｕｔｅ_ｓｉｍｉｌａｒｉｔｙ_ｃｈｅｃｋ_ｍｅｔｈｏｄ_ｔｙｐｅ)などは、シーケンスパラメータセット、特質パラメータセット、タイルパラメータセット及び特質スライスヘッダのうちのいずれかにシグナリングされることを一実施例とする。また複数の予測器候補から選択された予測器候補に該当する予測モードを指示する予測器インデックス情報(ｐｒｅｄＩｎｄｅｘ)は、特質スライスデータにシグナリングされることを一実施例とする。
【0379】
一方、受信装置のポイントクラウドビデオデコーダでも、上記送信装置のポイントクラウドビデオエンコーダのように、ＬＯＤl集合を生成し、ＬＯＤl集合に基づいて最隣接(ｎｅａｒｅｓｔ ｎｅｉｇｈｂｏｒ)ポイントを探して予測器に隣接ポイント集合として登録し、それぞれの隣接ポイントとの距離値に基づいて加重値を計算して正規化する過程を同一又は類似に行う。また受信された予測モードを復号し、復号された予測モードによって該当ポイントの特質値を予測する。また受信された残余特質値を復号した後、予測された特質値を加えて該当ポイントの特質値を復元する。
【0380】
図２０は実施例によるポイントクラウド受信装置のさらに他の例を示す図である。
【0381】
実施例によるポイントクラウド受信装置は、受信処理部６１００１、シグナリング処理部６１００２、ジオメトリデコーダ６１００３、特質デコーダ６１００４、及び後処理部(ｐｏｓｔ－ｐｒｏｃｅｓｓｏｒ)６１００５を含む。実施例によってジオメトリデコーダ６１００３と特質デコーダ６１００４をポイントクラウドビデオデコーダとも称する。実施例によれば、ポイントクラウドビデオデコーダはＰＣＣデコーダ、ＰＣＣ復号部、ポイントクラウドデコーダ、ポイントクラウド復号部などとも呼ばれる。
【0382】
実施例による受信処理部６１００１は、一つのビットストリームを受信し、又はジオメトリビットストリーム、特質ビットストリーム、シグナリングビットストリームをそれぞれ受信する。実施例による受信処理部６１００１は、ファイル及び／又はセグメントが受信されると、受信されたファイル及び／又はセグメントをカプセル化解除してビットストリームで出力する。
【0383】
実施例による受信処理部６１００１は、一つのビットストリームが受信(又はカプセル化解除)されると、一つのビットストリームからジオメトリビットストリーム、特質ビットストリーム、及び／又はシグナリングビットストリームを逆多重化し、逆多重化されたシグナリングビットストリームはシグナリング処理部６１００２に、ジオメトリビットストリームはジオメトリデコーダ６１００３に、また特質ビットストリームは特質デコーダ６１００４に出力する。
【0384】
実施例による受信処理部６１００１は、ジオメトリビットストリーム、特質ビットストリーム、及び／又はシグナリングビットストリームがそれぞれ受信(又はカプセル化解除)されると、シグナリングビットストリームはシグナリング処理部６１００２に、ジオメトリビットストリームはジオメトリデコーダ６１００３に、また特質ビットストリームは特質デコーダ６１００４に伝達する。
【0385】
シグナリング処理部６１００２は、入力されたシグナリングビットストリームからシグナリング情報、例えば、ＳＰＳ、ＧＰＳ、ＡＰＳ、ＴＰＳ、メタデータなどに含まれた情報をパース(ｐａｒｓｅ)及び処理して、ジオメトリデコーダ６１００３、特質デコーダ６１００４、後処理部６１００５に提供する。他の例として、ジオメトリスライスヘッダ及び／又は特質スライスヘッダに含まれたシグナリング情報も該当スライスデータを復号する前にシグナリング処理部６１００２で予めパースされることもできる。即ち、送信側でポイントクラウドデータが図１６のようにタイル及び／又はスライスに分割されたら、ＴＰＳはそれぞれのタイル内に含まれたスライスの数を含むので、実施例によるポイントクラウドビデオデコーダはスライスの数を確認でき、並列的な復号のための情報を迅速にパースすることができる。
【0386】
よって、この明細書によるポイントクラウドビデオデコーダは、データの量が減少したＳＰＳを受信することにより、ポイントクラウドデータを含むビットストリームを迅速にパース(ｐａｒｓｉｎｇ)することができる。受信装置はタイルを受信し次第、該当タイルの復号を行い、タイルごとにタイル内に含まれたＧＰＳとＡＰＳに基づいてスライスごとに復号を行うことにより、復号の効率を極大化することができる。
【0387】
即ち、ジオメトリデコーダ６１００３は圧縮されたジオメトリビットストリームに対してシグナリング情報(例えば、ジオメトリ関連パラメータ)に基づいて、図１５のジオメトリエンコーダ５１００６の逆過程を行ってジオメトリを復元する。ジオメトリデコーダ６１００３で復元された(又は再構成された(ｒｅｃｏｎｓｔｒｕｃｔｅｄ))ジオメトリは特質デコーダ６１００４に提供される。特質デコーダ６１００４は圧縮された特質ビットストリームに対してシグナリング情報(例えば、特質関連パラメータ)と再構成されたジオメトリに基づいて図１５の特質エンコーダ５１００７の逆過程を行って特質を復元する。実施例によれば、送信側でポイントクラウドデータが図１６のようにタイル及び／又はスライス単位に分割されたら、ジオメトリデコーダ６１００３と特質デコーダ６１００４でタイル及び／又はスライス単位でジオメトリ復号と特質復号を行う。
【0388】
図２１は実施例によるジオメトリデコーダ６１００３と特質デコーダ６１００４の他の例を示す詳細ブロック図である。
【0389】
図２１のジオメトリデコーダ６１００３に含まれた演算デコーダ６３００１、八分木再構成部６３００２、ジオメトリ情報予測部６３００３、逆量子化処理部６３００４及び座標系逆変換部６３００５は、図１１の演算デコーダ１１０００、八分木合成部１１００１、表面近似合成部１１００２、ジオメトリ再構成部１１００３及び座標系逆変換部１１００４の動作の一部又は全部を行うか、又は図１３の演算デコーダ１３００２、占有コード基盤の八分木再構成処理部１３００３、表面モデル処理部１３００４及び逆量子化処理部１３００５の動作の一部又は全部を行う。ジオメトリデコーダ６１００３で復元された位置は、後処理部(ｐｏｓｔ－ｐｒｏｃｅｓｓ)６１００５に出力される。
【0390】
実施例によれば、シーケンスパラメータセット(ＳＰＳ)、特質パラメータセット(ＡＰＳ)、タイルパラメータセット(ＴＰＳ)、及び特質スライスヘッダのうちのいずれかに特質予測のために使用される予測器の最大個数情報(ｌｉｆｔｉｎｇ_ｍａｘ_ｎｕｍ_ｄｉｒｅｃｔ_ｐｒｅｄｉｃｔｏｒｓ)、特質の適応的予測を可能にするためのしきい値情報(ｌｉｆｔｉｎｇ_ａｄａｐｔｉｖｅ_ｐｒｅｄｉｃｔｉｏｎ_ｔｈｒｅｓｈｏｌｄ)、予測器選択関連のオプション情報、例えば、基本予測器選択方法(ａｔｔｒｉｂｕｔｅ_ｂａｓｅ_ｐｒｅｄｉｃｔｏｒ ｓｅｌｅｃｔｉｏｎ_ｔｙｐｅ)、類似特質検索方法(ａｔｔｒｉｂｕｔｅ_ｓｉｍｉｌａｒｉｔｙ_ｃｈｅｃｋ_ｍｅｔｈｏｄ_ｔｙｐｅ)などがシグナリングされていると、シグナリング処理部６１００２で得て特質デコーダ６１００４に提供するか、又は直接特質デコーダ６１００４で得ることができる。
【0391】
実施例による特質デコーダ６１００４は、演算デコーダ６３００６、ＬＯＤ構成部６３００７、隣接ポイント集合構成部６３００８、特質情報予測部６３００９、残余特質情報逆量子化処理部６３０１０及び色相逆変換処理部６３０１１を含む。
【0392】
実施例による演算デコーダ６３００６は、入力される特質ビットストリームを演算復号する。演算デコーダ６３００６は再構成されたジオメトリに基づいて特質ビットストリームの復号を行う。演算デコーダ６３００６は図１１の演算デコーダ１１００５又は図１３の演算デコーダ１３００７の動作及び／又は復号と同一又は類似する動作及び／又は復号を行う。
【0393】
実施例によって演算デコーダ６３００６で出力される特質ビットストリームは、再構成されたジオメトリ情報に基づいてＲＡＨＴ復号、ＬＯＤ基盤の予測変換復号技法及びリフト変換復号技法のうちのいずれか一つ又は二つを組み合わせて復号される。
【0394】
この明細書においては、送信装置でＬＯＤ基盤の予測変換コーディング技法とリフト変換コーディング技法のうちのいずれか一つ又は二つを組み合わせて特質圧縮を行うことを一実施例として説明したので、受信装置でもＬＯＤ基盤の予測変換復号技法とリフト変換復号技法のうちのいずれか一つ又は二つを組み合わせて特質復号を行うことを一実施例として説明する。よって、受信装置でもＲＡＨＴ復号技法については説明を省略する。
【0395】
一実施例によれば、演算デコーダ６３００６で演算復号された特質ビットストリームはＬＯＤ構成部６３００７に提供される。実施例によれば、演算デコーダ６３００６からＬＯＤ構成部６３００７に提供される特質ビットストリームは、予測モードと残余特質値を含む。
【0396】
実施例によるＬＯＤ構成部６３００７は、送信装置のＬＯＤ構成部５３００７と同一又は類似する方法でＬＯＤを生成して、隣接ポイント集合構成部６３００８に出力する。
【0397】
実施例によれば、ＬＯＤ構成部６３００７はポイントをＬＯＤに分けてグルーピングする。このとき、互いに異なるＬＯＤを有するグループをＬＯＤl集合と称する。ここで、ｌはＬＯＤを示し、０から始める整数である。ＬＯＤ０はポイント間の距離が最も大きいポイントで構成された集合であり、ｌが大きくなるほどＬＯＤlに属するポイント間の距離が短くなる。
【0398】
実施例によれば、送信装置で符号化された予測モードと残余特質値は、ＬＯＤごとに存在するか、又はリーフノードに対してのみ存在する。
【0399】
一実施例において、ＬＯＤ構成部６３００７でＬＯＤl集合が生成されると、隣接ポイント集合構成部６３００８はＬＯＤl集合に基づいてＬＯＤが等しいか又は小さい(即ち、ノード間の距離が大きい)グループからＸ個(＞０)の最隣接ポイント(ｎｅａｒｅｓｔ ｎｅｉｇｈｂｏｒ)を探して、予測器に隣接ポイント集合として登録する。ここで、Ｘ個は隣接ポイントとして設定できる最大個数(例えば、ｌｉｆｔｉｎｇ_ｎｕｍ_ｐｒｅｄ_ｎｅａｒｅｓｔ_ｎｅｉｇｈｂｏｕｒｓ)であり、ユーザパラメータにより入力されるか、又はＳＰＳ、ＡＰＳ、ＧＰＳ、ＴＰＳ、ジオメトリスライスヘッダ及び特質スライスヘッダのようなシグナリング情報に含まれて受信される。
【0400】
他の実施例において、隣接ポイント集合構成部６３００８はＳＰＳ、ＡＰＳ、ＧＰＳ、ＴＰＳ、ジオメトリスライスヘッダ及び特質スライスヘッダのようなシグナリング情報に基づいて各ポイントごとに該当ポイントの隣接ポイントを選択する。このために隣接ポイント集合構成部６３００８には該当情報がシグナリング処理部６１００２から提供される。
【0401】
例えば、図９において、ＬＯＤ１に属するＰ３ポイント(即ち、ノード)の隣接ポイントとしてＰ２ Ｐ４ Ｐ６ポイントが選択されてＰ３の予測器に隣接ポイント集合として登録されることができる。
【0402】
実施例により、特質情報予測部６３００９は特定のポイントの予測モードに基づいて該当ポイントの特質値を予測する過程を行う。かかる特質予測過程は再構成されたジオメトリの全てのポイント又は少なくとも一部のポイントに対して行うことを一実施例とする。
【0403】
実施例による特定のポイントの予測モードは予測モード０ないし予測モード３のうちのいずれかである。
【0404】
実施例によれば、送信側の特質エンコーダでは、該当ポイントの予測器に登録された隣接ポイントの特質値の間の最大差(ｍａｘｉｍｕｍ ｄｉｆｆｅｒｅｎｃｅ)の値が所定のしきい値より小さいと、予測モード０を該当ポイントの予測モードとして設定し、所定のしきい値と等しいか又は大きいと、複数の候補予測モードに対してＲＤＯ方法を適用して、そのうちのいずれかを該当ポイントの予測モードとして設定する。かかる過程を各ポイントごとに行うことを一実施例とする。
【0405】
実施例によれば、送信側の特質エンコーダでは、該当ポイントの予測器に登録された隣接ポイントの特質値の間の最大差(ｍａｘｉｍｕｍ ｄｉｆｆｅｒｅｎｃｅ)の値が所定のしきい値と等しいか又は大きいと、予測モード０に該当する予測器を基本予測器として設定した後、基本予測器は数５を適用し、該当ポイントの隣接ポイントに対応する予測器は数６を適用してスコアを計算する。またスコアが一番低い予測器に該当する予測モードを該当ポイントの予測モードとして設定する。該当ポイントの予測モードは予測モード０ないし予測モード３のうちのいずれかに設定される。
【0406】
実施例によれば、送信側の特質エンコーダでは、該当ポイントの予測器に登録された隣接ポイントの特質値の間の最大差(ｍａｘｉｍｕｍ ｄｉｆｆｅｒｅｎｃｅ)の値が所定のしきい値と等しいか又は大きいと、該当ポイントの特質値と該当ポイントに登録された隣接ポイントの間の類似特質値を求め、該当ポイントに登録された隣接ポイントのうち、最も類似する特質値を有する隣接ポイントの予測器を基本予測器として設定する。また、基本予測器は数５を適用し、基本予測器として設定された隣接ポイントを除いた残りの隣接ポイントに対応する予測器は数６を適用してスコアを計算した後、スコアが一番低い予測器に該当する予測モードを該当ポイントの予測モードとして設定する。即ち、該当ポイントの予測モードを設定するために、予測モード０に該当する予測器が使用されない。言い換えれば、該当ポイントの予測モードは予測モード１ないし予測モード３のうちのいずれかに設定される。
【0407】
実施例によれば、送信側の特質エンコーダでは、該当ポイントの予測器に登録された隣接ポイントの特質値の間の最大差(ｍａｘｉｍｕｍ ｄｉｆｆｅｒｅｎｃｅ)の値が所定のしきい値と等しいか又は大きいと、該当ポイントの隣接ポイントに対応する予測器に数７を適用してスコアを計算した後、スコアが一番低い予測器に該当する予測モードを該当ポイントの予測モードとして設定する。即ち、該当ポイントの予測モードを設定するために予測モード０に該当する予測器が使用されない。言い換えれば、該当ポイントの予測モードは予測モード１ないし３のうちのいずれかに設定される。
【0408】
実施例によれば、ＲＤＯ方法を適用して選択される該当ポイントの予測モード(ｐｒｅｄＩｎｄｅｘ)は、特質スライスデータにシグナリングされる。よって、該当ポイントの予測モードは特質スライスデータから得られる。
【0409】
実施例により、特質情報予測部６３００９は上述したように設定された各ポイントの予測モードに基づいて各ポイントの特質値を予測することもできる。
【0410】
例えば、Ｐ３ポイントの予測モードが０であると仮定すると、Ｐ３の予測器に登録された隣接ポイントであるＰ２ Ｐ４ Ｐ６の特質に加重値(又は正規化された加重値)をかけた値の平均を求め、その平均値にＰ３ポイントの予測特質値として決定する。
【0411】
他の例として、Ｐ３ポイントの予測モードが１であると仮定すると、Ｐ３の予測器に登録された隣接ポイントＰ４の特質値をＰ３イントの予測特質値として決定する。
【0412】
さらに他の例として、Ｐ３ポイントの予測モードが２であると仮定すると、Ｐ３の予測器に登録された隣接ポイントＰ６の特質値をＰ３ポイントの予測特質値として決定する。
【0413】
さらに他の例として、Ｐ３ポイントの予測モードが３であると仮定すると、Ｐ３の予測器に登録された隣接ポイントＰ２の特質値をＰ３ポイントの予測特質値として決定する。
【0414】
特質情報予測部６３００９で該当ポイントの予測モードに基づいて該当ポイントの予測特質値が求められると、残余特質情報逆量子化処理部６３０１０は受信された該当ポイントの残余特質値に特質情報予測部６３００９で予測された該当ポイントの予測特質値を加えて該当ポイントの特質値を復元した後、送信装置の量子化過程の逆に逆量子化を行う。
【0415】
一実施例において、送信側でポイントの残余特質値に対してゼロランレングス符号化を適用した場合は、残余特質情報逆量子化処理部６３０１０はポイントの残余特質値に対してゼロランレングス復号を行った後、逆量子化を行う。
【0416】
残余特質情報逆量子化処理部６３０１０で復元された特質値は色相逆変換処理部６３０１１に出力される。
【0417】
色相逆変換処理部６３０１１は復元された特質値に含まれた色値(又はテクスチャー)を逆変換するための逆変換コーディングを行って特質を後処理部６１００５に出力する。色相逆変換処理部６３０１１は図１１の色逆変換部１１０１０又は図１３の色相逆変換処理部１３０１０の動作及び／又は逆変換コーディングと同一又は類似する動作及び／又は逆変換コーディングを行う。
【0418】
後処理部６１００５は、ジオメトリデコーダ６１００３で復元されて出力される位置と特質デコーダ６１００４で復元されて出力される特質をマッチングして、ポイントクラウドデータを再構成する。また後処理部６１００５は、再構成されたポイントクラウドデータがタイル及び／又はスライス単位であれば、シグナリング情報に基づいて送信側の空間分割の逆過程を行う。例えば、図１６(ａ)のような境界ボックスが図１６(ｂ)、図１６(ｃ)のようにタイル及びスライスに分割されたら、シグナリング情報に基づいてタイル及び／又はスライスを結合して、図１６(ａ)のように境界ボックスを復元する。
【0419】
図２２は実施例による送／受信のためのポイントクラウドデータのビットストリーム構造の一例を示す図である。
【0420】
実施例によるジオメトリビットストリーム、特質ビットストリーム、及びシグナリングビットストリームが一つのビットストリームで構成される場合、ビットストリームは一つ又はそれ以上のサブビットストリームを含む。実施例によるビットストリームは、シーケンスレベルのシグナリングのためのＳＰＳ(Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ)、ジオメトリ情報コーディングのシグナリングのためのＧＰＳ(Ｇｅｏｍｅｔｒｙ Ｐａｒａｍｅｔｅｒ Ｓｅｔ)、特質情報コーディングのシグナリングのための一つ以上のＡＰＳ(Ａｔｔｒｉｂｕｔｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ、ＡＰＳ０、ＡＰＳ１)、タイルレベルのシグナリングのためのＴＰＳ(Ｔｉｌｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ)、及び一つ以上のスライス(ｓｌｉｃｅ ０～ｓｌｉｃｅ Ｎ)を含む。即ち、実施例によるポイントクラウドデータのビットストリームは一つ以上のタイルを含み、それぞれのタイルは一つ以上のスライス(ｓｌｉｃｅ０～ｓｌｉｃｅ ｎ)を含むスライスのグループである。実施例によるＴＰＳは一つ以上のタイルに対して各タイルに関する情報(例えば、境界ボックスの座標値情報及び高さ／サイズ情報など)を含む。それぞれのスライスは一つのジオメトリビットストリーム(Ｇｅｏｍ０)及び一つ以上の特質ビットストリーム(Ａｔｔｒ０、Ａｔｔｒ１)を含む。例えば、第１スライス(ｓｌｉｃｅ ０)は一つのジオメトリビットストリーム(Ｇｅｏｍ００)及び一つ以上の特質ビットストリーム(Ａｔｔｒ００、Ａｔｔｒ１０)を含む。
【0421】
それぞれのスライス内のジオメトリビットストリーム(又はジオメトリスライスという)は、ジオメトリスライスヘッダ(ｇｅｏｍ_ｓｌｉｃｅ_ｈｅａｄｅｒ)及びジオメトリスライスデータ(ｇｅｏｍ_ｓｌｉｃｅ_ｄａｔａ)で構成される。実施例によるジオメトリスライスヘッダ(ｇｅｏｍ_ｓｌｉｃｅ_ｈｅａｄｅｒ)は、ジオメトリパラメータセット(ＧＰＳ)に含まれたパラメータセットの識別情報(ｇｅｏｍ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄ)、タイル識別子(ｇｅｏｍ_ｔｉｌｅ_ｉｄ)、スライス識別子(ｇｅｏｍ_ｓｌｉｃｅ_ｉｄ)及びジオメトリスライスデータ(ｇｅｏｍ_ｓｌｉｃｅ_ｄａｔａ)に含まれたデータに関する情報(ｇｅｏｍＢｏｘＯｒｉｇｉｎ、ｇｅｏｍ_ｂｏｘ_ｌｏｇ２_ｓｃａｌｅ、ｇｅｏｍ_ｍａｘ_ｎｏｄｅ_ｓｉｚｅ_ｌｏｇ２、ｇｅｏｍ_ｎｕｍ_ｐｏｉｎｔｓ)などを含む。ｇｅｏｍＢｏｘＯｒｉｇｉｎは該当ジオメトリスライスデータのボックス原点を示すジオメトリボックスオリジン情報であり、ｇｅｏｍ_ｂｏｘ_ｌｏｇ２_ｓｃａｌｅは該当ジオメトリスライスデータの対数スケール(Ｌｏｇ Ｓｃａｌｅ)を示す情報であり、ｇｅｏｍ_ｍａｘ_ｎｏｄｅ_ｓｉｚｅ_ｌｏｇ２はルートジオメトリ八分木ノードのサイズを示す情報であり、ｇｅｏｍ_ｎｕｍ_ｐｏｉｎｔｓは該当ジオメトリスライスデータのポイントの数に関する情報である。実施例によるジオメトリスライスデータ(ｇｅｏｍ_ｓｌｉｃｅ_ｄａｔａ)は、該当スライス内のポイントクラウドデータのジオメトリ情報(又はジオメトリデータ)を含む。
【0422】
それぞれのスライス内のそれぞれの特質ビットストリーム(又は特質スライスという)は、特質スライスヘッダ(ａｔｔｒ_ｓｌｉｃｅ_ｈｅａｄｅｒ)及び特質スライスデータ(ａｔｔｒ_ｓｌｉｃｅ_ｄａｔａ)で構成される。実施例による特質スライスヘッダ(ａｔｔｒ_ｓｌｉｃｅ_ｈｅａｄｅｒ)は該当特質スライスデータに関する情報を含み、特質スライスデータは該当スライス内のポイントクラウドデータの特質情報(又は特質データ又は特質値という)を含む。一つのスライス内の特質ビットストリームが複数個ある場合、それぞれは互いに異なる特質情報を含む。例えば、一つの特質ビットストリームは色相に該当する特質情報を含み、他の一つの特質ストリームは反射率に該当する特質情報を含む。
【0423】
図２３は実施例によるポイントクラウドデータのビットストリーム構造の一例を示す図である。
【0424】
図２４は実施例によるポイントクラウドデータのビットストリーム内における構成間連結関係を示す図である。
【0425】
【0426】
実施例によるＳＰＳは、該当ＳＰＳを識別するための識別子(ｓｅｑ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄ)を含み、ＧＰＳは該当ＧＰＳを識別するための識別子(ｇｅｏｍ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄ)と該当ＧＰＳが属するアクティブＳＰＳ(Ａｃｔｉｖｅ ＳＰＳ)を示す識別子(ｓｅｑ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄ)を含み、ＡＰＳは該当ＡＰＳを識別するための識別子(ａｔｔｒ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄ)と該当ＡＰＳが属するアクティブＳＰＳ(Ａｃｔｉｖｅ ＳＰＳ)を示す識別子(ｓｅｑ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄ)を含む。
【0427】
実施例によるジオメトリビットストリーム(又はジオメトリスライスという)はジオメトリスライスヘッダとジオメトリスライスデータを含み、ジオメトリスライスヘッダは該当ジオメトリスライスで参照するアクティブＧＰＳの識別子(ｇｅｏｍ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄ)を含む。さらにジオメトリスライスヘッダは該当ジオメトリスライスを識別するための識別子(ｇｅｏｍ_ｓｌｉｃｅ_ｉｄ)及び／又は該当タイルを識別するための識別子(ｇｅｏｍ_ｔｉｌｅ_ｉｄ)を含む。ジオメトリスライスデータは該当スライスに属するジオメトリ情報を含む。
【0428】
実施例による特質ビットストリーム(又は特質スライスという)は特質スライスヘッダと特質スライスデータを含み、特質スライスヘッダは該当特質スライスで参照するアクティブＡＰＳの識別子(ａｔｔｒ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄ)と該当特質スライスに関連するジオメトリスライスを識別するための識別子(ｇｅｏｍ_ｓｌｉｃｅ_ｉｄ)を含む。特質スライスデータは該当スライスに属する特質情報を含む。
【0429】
即ち、ジオメトリスライスはＧＰＳを参照し、ＧＰＳはＳＰＳを参照する。また、ＳＰＳは利用可能な特質を並べ、それぞれに識別子を割り当て、復号方法を識別する。特質スライスは識別子により出力特質にマッピングされ、特質スライス自体は先行(復号された)ジオメトリスライスとＡＰＳに対して従属性を有する。ＡＰＳはＳＰＳを参照する。
【0430】
実施例によれば、ポイントクラウドデータの符号化に必要なパラメータはポイントクラウドデータのパラメータセット及び／又は該当スライスヘッダに新しく定義される。例えば、特質情報の符号化を行うときには特質パラメータセット(ＡＰＳ)に、タイル基盤の符号化を行うときにはタイル及び／又はスライスヘッダに追加することができる。
【0431】
図２２ないし図２４に示したように、ポイントクラウドデータのビットストリームはポイントクラウドデータを領域ごとに分けて処理できるように、タイル又はスライスを提供する。実施例によるビットストリームのそれぞれの領域は互いに異なる重要度を有する。従って、ポイントクラウドデータがタイルに分けられる場合、各タイルごとに異なるフィルター(符号化方法)、異なるフィルターユニットを提供することができる。また、ポイントクラウドデータがスライスに分けられる場合は、各スライスごとに異なるフィルター、異なるフィルターユニットを適用することができる。
【0432】
実施例による送信装置及び受信装置はポイントクラウドデータを分割して圧縮するとき、分割された領域内の特質情報の選択的送信のために、高レベルのシンタックス構造でビットストリームを送信及び受信することができる。
【0433】
実施例による送信装置は、図２２ないし図２４のようなビットストリームの構造によってポイントクラウドデータを送信することにより、重要度によって異なる符号化動作を適用して、良質の符号化方法を重要な領域に使用する案を提供することができる。またポイントクラウドデータの特性による効率的な符号化及び送信を支援して、ユーザの要求事項による特質値を提供することができる。
【0434】
実施例による受信装置は、図２２ないし図２４のようなビットストリームの構造によってポイントクラウドデータを受信することにより、受信装置の処理能力によってポイントクラウドデータの全体に複雑な復号(フィルタリング)方法を使用する代わりに、領域ごとに(タイル又はスライスに分けられた領域)互いに異なるフィルタリング(復号)を適用することができる。従って、ユーザにもっと重要な領域にはより良質の画質を提供し、システム上適切な遅延(ｌａｔｅｎｃｙ)を保障することができる。
【0435】
上述したように、タイル又はスライスはポイントクラウドデータを領域ごとに分けて処理するために提供される。また、ポイントクラウドデータを領域ごとに分けるとき、それぞれの領域ごとに異なる隣接ポイント集合を生成するオプションを設定して、複雑度(ｃｏｍｐｌｅｘｉｔｙ)は低いが信頼度が多少落ちる案、又は逆に複雑度は高いが信頼度が高い選択案を提供することができる。
【0436】
実施例によるＳＰＳ、ＡＰＳ、ＴＰＳ及び各スライスごとの特質スライスヘッダのうちのいずれかは予測器選択関連のオプション情報を含む。実施例によれば、予測器選択関連のオプション情報は、基本予測器選択方法(ａｔｔｒｉｂｕｔｅ_ｂａｓｅ_ｐｒｅｄｉｃｔｏｒ ｓｅｌｅｃｔｉｏｎ_ｔｙｐｅ)と類似特質検索方法(ａｔｔｒｉｂｕｔｅ_ｓｉｍｉｌａｒｉｔｙ_ｃｈｅｃｋ_ｍｅｔｈｏｄ_ｔｙｐｅ)を含む。
【0437】
以下説明するこの明細書のシンタックスで使用される用語であるフィールドは、パラメータ又はエレメントと同じ意味を有する。
【0438】
図２５はこの明細書によるシーケンスパラメータセット(ｓｅｑ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｒｂｓｐ())(ＳＰＳ)のシンタックス構造の一例を示す図である。ＳＰＳはポイントクラウドデータビットストリームのシーケンス情報を含み、特に予測器選択関連のオプション情報を含む例を示している。
【0439】
実施例によるＳＰＳは、ｐｒｏｆｉｌｅ_ｉｄｃフィールド、ｐｒｏｆｉｌｅ_ｃｏｍｐａｔｉｂｉｌｉｔｙ_ｆｌａｇｓフィールド、ｌｅｖｅｌ_ｉｄｃフィールド、ｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｐｒｅｓｅｎｔ_ｆｌａｇフィールド、ｓｐｓ_ｓｏｕｒｃｅ_ｓｃａｌｅ_ｆａｃｔｏｒフィールド、ｓｐｓ_ｓｅｑ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄフィールド、ｓｐｓ_ｎｕｍ_ａｔｔｒｉｂｕｔｅ_ｓｅｔｓフィールド及びｓｐｓ_ｅｘｔｅｎｓｉｏｎ_ｐｒｅｓｅｎｔ_ｆｌａｇフィールドを含む。
【0440】
ｐｒｏｆｉｌｅ_ｉｄｃフィールドは、そのビットストリームが従う(ｃｏｎｆｏｒｍ)プロファイルを示す。
【0441】
ｐｒｏｆｉｌｅ_ｃｏｍｐａｔｉｂｉｌｉｔｙ_ｆｌａｇｓフィールドの値が１であると、そのビットストリームがｐｒｏｆｉｌｅ_ｉｄｃフィールドにより指示されたそのプロファイルに従うことを示す(ｔｈｅ ｂｉｔｓｔｒｅａｍ ｃｏｎｆｏｒｍｓ ｔｏ ｔｈｅ ｐｒｏｆｉｌｅ ｉｎｄｉｃａｔｅｄ ｂｙ ｐｒｏｆｉｌｅ_ｉｄｃ)。
【0442】
ｌｅｖｅｌ_ｉｄｃフィールドは、そのビットストリームが従うレベルを示す。
【0443】
ｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｐｒｅｓｅｎｔ_ｆｌａｇフィールドは、ソース境界ボックス情報がＳＰＳにシグナリングされるか否かを示す。ソース境界ボックス情報はソース境界ボックスオフセットとサイズ情報を含む。例えば、ｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｐｒｅｓｅｎｔ_ｆｌａｇフィールドの値が１であると、ソース境界ボックス情報がＳＰＳにシグナリングされ、０であると、シグナリングされないことを示す。ｓｐｓ_ｓｏｕｒｃｅ_ｓｃａｌｅ_ｆａｃｔｏｒフィールドは、ソースポイントクラウドの倍率(ｓｃａｌｅ ｆａｃｔｏｒ)を示す(ｉｎｄｉｃａｔｅｓ ｔｈｅ ｓｃａｌｅ ｆａｃｔｏｒ ｏｆ ｔｈｅ ｓｏｕｒｃｅ ｐｏｉｎｔ ｃｌｏｕｄ)。
【0444】
ｓｐｓ_ｓｅｑ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄフィールドは、他のシンタックスエレメントにより参照されるＳＰＳに関する識別子を提供する(ｐｒｏｖｉｄｅｓ ａｎ ｉｄｅｎｔｉｆｉｅｒ ｆｏｒ ｔｈｅ ＳＰＳ ｆｏｒ ｒｅｆｅｒｅｎｃｅ ｂｙ ｏｔｈｅｒ ｓｙｎｔａｘ ｅｌｅｍｅｎｔｓ)。
【0445】
ｓｐｓ_ｎｕｍ_ａｔｔｒｉｂｕｔｅ_ｓｅｔｓフィールドは、そのビットストリーム内のコーディングされた特質の数を示す(ｉｎｄｉｃａｔｅｓ ｔｈｅ ｎｕｍｂｅｒ ｏｆ ｃｏｄｅｄ ａｔｔｒｉｂｕｔｅｓ ｉｎ ｔｈｅ ｂｉｔｓｔｒｅａｍ)。
【0446】
ｓｐｓ_ｅｘｔｅｎｓｉｏｎ_ｐｒｅｓｅｎｔ_ｆｌａｇフィールドは、ｓｐｓ_ｅｘｔｅｎｓｉｏｎ_ｄａｔａシンタックス構造が該当ＳＰＳシンタックス構造に存在するか否かを示す。例えば、ｓｐｓ_ｅｘｔｅｎｓｉｏｎ_ｐｒｅｓｅｎｔ_ｆｌａｇフィールドの値が１であると、ｓｐｓ_ｅｘｔｅｎｓｉｏｎ_ｄａｔａシンタックス構造がこのＳＰＳシンタックス構造に存在し、０であると、存在しないことを示す(ｅｑｕａｌ ｔｏ １ ｓｐｅｃｉｆｉｅｓ ｔｈａｔ ｔｈｅ ｓｐｓ_ｅｘｔｅｎｓｉｏｎ_ｄａｔａ ｓｙｎｔａｘ ｓｔｒｕｃｔｕｒｅ ｉｓ ｐｒｅｓｅｎｔ ｉｎ ｔｈｅ ＳＰＳ ｓｙｎｔａｘ ｓｔｒｕｃｔｕｒｅ. Ｔｈｅ ｓｐｓ_ｅｘｔｅｎｓｉｏｎ_ｐｒｅｓｅｎｔ_ｆｌａｇ ｆｉｅｌｄ ｅｑｕａｌ ｔｏ ０ ｓｐｅｃｉｆｉｅｓ ｔｈａｔ ｔｈｉｓ ｓｙｎｔａｘ ｓｔｒｕｃｔｕｒｅ ｉｓ ｎｏｔ ｐｒｅｓｅｎｔ. Ｗｈｅｎ ｎｏｔ ｐｒｅｓｅｎｔ、ｔｈｅ ｖａｌｕｅ ｏｆ ｔｈｅ ｓｐｓ_ｅｘｔｅｎｓｉｏｎ_ｐｒｅｓｅｎｔ_ｆｌａｇ ｆｉｅｌｄ ｉｓ ｉｎｆｅｒｒｅｄ ｔｏ ｂｅ ｅｑｕａｌ ｔｏ ０)。
【0447】
実施例によるＳＰＳは、ｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｐｒｅｓｅｎｔ_ｆｌａｇフィールドの値が１であると、さらにｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｏｆｆｓｅｔ_ｘフィールド、ｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｏｆｆｓｅｔ_ｙフィールド、ｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｏｆｆｓｅｔ_ｚフィールド、ｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｃａｌｅ_ｆａｃｔｏｒフィールド、ｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｉｚｅ_ｗｉｄｔｈフィールド、ｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｉｚｅ_ｈｅｉｇｈｔフィールド及びｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｉｚｅ_ｄｅｐｔｈフィールドを含む。
【0448】
ｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｏｆｆｓｅｔ_ｘフィールドは、直交座標系(Ｃａｒｔｅｓｉａｎ ｃｏｏｒｄｉｎａｔｅｓ)において、ソース境界ボックスのｘオフセットを示す。ソース境界ボックスのｘオフセットが存在しないと、ｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｏｆｆｓｅｔ_ｘフィールドの値は０である。
【0449】
ｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｏｆｆｓｅｔ_ｙフィールドは、直交座標系においてソース境界ボックスのｙオフセットを示す。ソース境界ボックスのｙオフセットが存在しないと、ｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｏｆｆｓｅｔ_ｙフィールドの値は０である。
【0450】
ｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｏｆｆｓｅｔ_ｚフィールドは、直交座標系においてソース境界ボックスのｚオフセットを示す。ソース境界ボックスのｚオフセットが存在しないと、ｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｏｆｆｓｅｔ_ｚフィールドの値は０である。
【0451】
ｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｃａｌｅ_ｆａｃｔｏｒフィールドは、直交座標系においてソース境界ボックスの倍率を示す。ソース境界ボックスの倍率が存在しないと、ｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｃａｌｅ_ｆａｃｔｏｒフィールドの値は１である。
【0452】
ｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｉｚｅ_ｗｉｄｔｈフィールドは、直交座標系においてソース境界ボックスの幅を示す。ソース境界ボックスの幅が存在しないと、ｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｉｚｅ_ｗｉｄｔｈフィールドの値は１である。
【0453】
ｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｉｚｅ_ｈｅｉｇｈｔフィールドは、直交座標系においてソース境界ボックスの高さを示す。ソース境界ボックスの高さが存在しないと、ｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｉｚｅ_ｈｅｉｇｈｔフィールドの値は１である。
【0454】
ｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｉｚｅ_ｄｅｐｔｈフィールドは、直交座標系においてソース境界ボックスの深さを示す。ソース境界ボックスの深さが存在しないと、ｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｉｚｅ_ｄｅｐｔｈフィールドの値は１である。
【0455】
実施例によるＳＰＳは、ｓｐｓ_ｎｕｍ_ａｔｔｒｉｂｕｔｅ_ｓｅｔｓフィールドの値だけ繰り返される繰り返し文を含む。このとき、ｉは０に初期化され、繰り返し文が行われるたびに１ずつ増加し、ｉ値がｓｐｓ_ｎｕｍ_ａｔｔｒｉｂｕｔｅ_ｓｅｔｓフィールドの値になるまで繰り返し文が繰り返されることを一実施例とする。この繰り返し文は、ａｔｔｒｉｂｕｔｅ_ｄｉｍｅｎｓｉｏｎ[ｉ]フィールド、ａｔｔｒｉｂｕｔｅ_ｉｎｓｔａｎｃｅ_ｉｄ[ｉ]フィールド、ａｔｔｒｉｂｕｔｅ_ｂｉｔｄｅｐｔｈ[ｉ]フィールド、ａｔｔｒｉｂｕｔｅ_ｃｉｃｐ_ｃｏｌｏｕｒ_ｐｒｉｍａｒｉｅｓ[ｉ]フィールド、ａｔｔｒｉｂｕｔｅ_ｃｉｃｐ_ｔｒａｎｓｆｅｒ_ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ[ｉ]フィールド、ａｔｔｒｉｂｕｔｅ_ｃｉｃｐ_ｍａｔｒｉｘ_ｃｏｅｆｆｓ[ｉ]フィールド、ａｔｔｒｉｂｕｔｅ_ｃｉｃｐ_ｖｉｄｅｏ_ｆｕｌｌ_ｒａｎｇｅ_ｆｌａｇ[ｉ]フィールド、及びｋｎｏｗｎ_ａｔｔｒｉｂｕｔｅ_ｌａｂｅｌ_ｆｌａｇ[ｉ]フィールドを含む。
【0456】
ａｔｔｒｉｂｕｔｅ_ｄｉｍｅｎｓｉｏｎ[ｉ]フィールドは、ｉ番目の特質のコンポーネントの数を示す(ｓｐｅｃｉｆｉｅｓ ｔｈｅ ｎｕｍｂｅｒ ｏｆ ｃｏｍｐｏｎｅｎｔｓ ｏｆ ｔｈｅ ｉ－ｔｈ ａｔｔｒｉｂｕｔｅ)。
【0457】
ａｔｔｒｉｂｕｔｅ_ｉｎｓｔａｎｃｅ_ｉｄ[ｉ]フィールドは、ｉ番目の特質のインスタンス識別子を示す。
【0458】
ａｔｔｒｉｂｕｔｅ_ｂｉｔｄｅｐｔｈ[ｉ]フィールドは、ｉ番目の特質信号のビット深さ(ｂｉｔｄｅｐｔｈ)を示す(ｓｐｅｃｉｆｉｅｓ ｔｈｅ ｂｉｔｄｅｐｔｈ ｏｆ ｔｈｅ ｉ－ｔｈ ａｔｔｒｉｂｕｔｅ ｓｉｇｎａｌ(ｓ))。
【0459】
Ａｔｔｒｉｂｕｔｅ_ｃｉｃｐ_ｃｏｌｏｕｒ_ｐｒｉｍａｒｉｅｓ[ｉ]フィールドは、ｉ番目の特質の色特質ソースプライマリの色度座標(ｃｈｒｏｍａｔｉｃｉｔｙ ｃｏｏｒｄｉｎａｔｅｓ)を示す。
【0460】
ａｔｔｒｉｂｕｔｅ_ｃｉｃｐ_ｔｒａｎｓｆｅｒ_ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ[ｉ]フィールドは、ｉ番目の特質の０から１の間の公称実数値範囲を有するソース入力線形光強度(ｉｎｐｕｔ ｌｉｎｅａｒ ｏｐｔｉｃａｌ ｉｎｔｅｎｓｉｔｙ)であって、参照光電子伝達特性関数(ｒｅｆｅｒｅｎｃｅ ｏｐｔｏ－ｅｌｅｃｔｒｏｎｉｃ ｔｒａｎｓｆｅｒ ｃｈａｒａｃｔｅｒｉｓｔｉｃ ｆｕｎｃｔｉｏｎ)を示すか、又は出力線形光強度(ｏｕｔｐｕｔ ｌｉｎｅａｒ ｏｐｔｉｃａｌ ｉｎｔｅｎｓｉｔｙ)の関数であって、参照電子光伝達特性関数(ｒｅｆｅｒｅｎｃｅ ｏｐｔｏ－ｅｌｅｃｔｒｏｎｉｃ ｔｒａｎｓｆｅｒ ｃｈａｒａｃｔｅｒｉｓｔｉｃ ｆｕｎｃｔｉｏｎ)の逆(ｉｎｖｅｒｓｅ)を示す(ｅｉｔｈｅｒ ｉｎｄｉｃａｔｅｓ ｔｈｅ ｒｅｆｅｒｅｎｃｅ ｏｐｔｏ－ｅｌｅｃｔｒｏｎｉｃ ｔｒａｎｓｆｅｒ ｃｈａｒａｃｔｅｒｉｓｔｉｃ ｆｕｎｃｔｉｏｎ ｏｆ ｔｈｅ ｃｏｌｏｕｒ ａｔｔｒｉｂｕｔｅ ａｓ ａ ｆｕｎｃｔｉｏｎ ｏｆ ａ ｓｏｕｒｃｅ ｉｎｐｕｔ ｌｉｎｅａｒ ｏｐｔｉｃａｌ ｉｎｔｅｎｓｉｔｙ ｗｉｔｈ ａ ｎｏｍｉｎａｌ ｒｅａｌ－ｖａｌｕｅｄ ｒａｎｇｅ ｏｆ ０ ｔｏ １ ｏｒ ｉｎｄｉｃａｔｅｓ ｔｈｅ ｉｎｖｅｒｓｅ ｏｆ ｔｈｅ ｒｅｆｅｒｅｎｃｅ ｅｌｅｃｔｒｏ－ｏｐｔｉｃａｌ ｔｒａｎｓｆｅｒ ｃｈａｒａｃｔｅｒｉｓｔｉｃ ｆｕｎｃｔｉｏｎ ａｓ ａ ｆｕｎｃｔｉｏｎ ｏｆ ａｎ ｏｕｔｐｕｔ ｌｉｎｅａｒ ｏｐｔｉｃａｌ ｉｎｔｅｎｓｉｔｙ)。
【0461】
ａｔｔｒｉｂｕｔｅ_ｃｉｃｐ_ｍａｔｒｉｘ_ｃｏｅｆｆｓ[ｉ]フィールドは、ｉ番目の特質の緑色、青色及び赤色(又はＹ、Ｚ、Ｘの三原色)からルマ(ｌｕｍａ)と彩度(ｃｈｒｏｍａ)信号を導き出すために使用されたマトリックス係数を示す(ｄｅｓｃｒｉｂｅｓ ｔｈｅ ｍａｔｒｉｘ ｃｏｅｆｆｉｃｉｅｎｔｓ ｕｓｅｄ ｉｎ ｄｅｒｉｖｉｎｇ ｌｕｍａ ａｎｄ ｃｈｒｏｍａ ｓｉｇｎａｌｓ ｆｒｏｍ ｔｈｅ ｇｒｅｅｎ、ｂｌｕｅ、ａｎｄ ｒｅｄ、ｏｒ Ｙ、Ｚ、ａｎｄ Ｘ ｐｒｉｍａｒｉｅｓ)。
【0462】
ａｔｔｒｉｂｕｔｅ_ｃｉｃｐ_ｖｉｄｅｏ_ｆｕｌｌ_ｒａｎｇｅ_ｆｌａｇ[ｉ]フィールドは、ｉ番目の特質のＥ’Ｙ、Ｅ’ＰＢ及びＥ’ＰＲ又はＥ’Ｒ、Ｅ’Ｇ及びＥ’Ｂの実際値のコンポーネント信号から導き出されるブラックレベルとルマ及び彩度信号の範囲を示す。(ｓｐｅｃｉｆｉｅｓ ｉｎｄｉｃａｔｅｓ ｔｈｅ ｂｌａｃｋ ｌｅｖｅｌ ａｎｄ ｒａｎｇｅ ｏｆ ｔｈｅ ｌｕｍａ ａｎｄ ｃｈｒｏｍａ ｓｉｇｎａｌｓ ａｓ ｄｅｒｉｖｅｄ ｆｒｏｍ Ｅ‘Ｙ、Ｅ’ＰＢ、ａｎｄ Ｅ‘ＰＲ ｏｒ Ｅ’Ｒ、Ｅ‘Ｇ、ａｎｄ Ｅ’Ｂ ｒｅａｌ－ｖａｌｕｅｄ ｃｏｍｐｏｎｅｎｔ ｓｉｇｎａｌｓ)。
【0463】
ｋｎｏｗｎ_ａｔｔｒｉｂｕｔｅ_ｌａｂｅｌ[ｉ]フィールドは、ｉ番目の特質のためにｋｎｏｗ_ａｔｔｒｉｂｕｔｅ_ｌａｂｅｌフィールド又はａｔｔｒｉｂｕｔｅ_ｌａｂｅｌ_ｆｏｕｒ_ｂｙｔｅｓフィールドがシグナリングされるか否かを示す。例えば、ｋｎｏｗｎ_ａｔｔｒｉｂｕｔｅ_ｌａｂｅｌ_ｆｌａｇ[ｉ]フィールドの値が１であると、ｉ番目の特質のためにｋｎｏｗ_ａｔｔｒｉｂｕｔｅ_ｌａｂｅｌフィールドがシグナリングされ、ｋｎｏｗｎ_ａｔｔｒｉｂｕｔｅ_ｌａｂｅｌ_ｆｌａｇ[ｉ]フィールドの値が１であると、ｉ番目の特質のためにａｔｔｒｉｂｕｔｅ_ｌａｂｅｌ_ｆｏｕｒ_ｂｙｔｅｓフィールドがシグナリングされることを示す。
【0464】
ｋｎｏｗｎ_ａｔｔｒｉｂｕｔｅ_ｌａｂｅｌ[ｉ]フィールドは、特質のタイプを示す。例えば、ｋｎｏｗｎ_ａｔｔｒｉｂｕｔｅ_ｌａｂｅｌ[ｉ]フィールドの値が０であると、ｉ番目の特質はカラーであることを示し、ｋｎｏｗｎ_ａｔｔｒｉｂｕｔｅ_ｌａｂｅｌ[ｉ]フィールドの値が１であると、ｉ番目の特質は反射率(ｒｅｆｌｅｃｔａｎｃｅ)であることを示し、ｋｎｏｗｎ_ａｔｔｒｉｂｕｔｅ_ｌａｂｅｌ[ｉ]フィールドの値が１であると、ｉ番目の特質はフレームインデックス(ｆｒａｍｅ ｉｎｄｅｘ)であることを示す。
【0465】
ａｔｔｒｉｂｕｔｅ_ｌａｂｅｌ_ｆｏｕｒ_ｂｙｔｅｓフィールドは、既知の特質タイプを４バイトコードで示す。
【0466】
一実施例において、ａｔｔｒｉｂｕｔｅ_ｌａｂｅｌ_ｆｏｕｒ_ｂｙｔｅｓフィールドの値が０であるとカラーを、１であると反射率を示す。
【0467】
実施例によるＳＰＳは、ＳＰＳ_ｅｘｔｅｎｓｉｏｎ_ｐｒｅｓｅｎｔ_ｆｌａｇフィールドの値が１であると、さらにＳＰＳ_ｅｘｔｅｎｓｉｏｎ_ｄａｔａ_ｆｌａｇフィールドを含むことができる。
【0468】
ｓｐｓ_ｅｘｔｅｎｓｉｏｎ_ｄａｔａ_ｆｌａｇフィールドはいずれの値であってもよい。
【0469】
実施例によるＳＰＳはさらに予測器選択関連のオプション情報を含む。実施例によれば、予測器選択関連のオプション情報は基本予測器選択方法(ａｔｔｒｉｂｕｔｅ_ｂａｓｅ_ｐｒｅｄｉｃｔｏｒ ｓｅｌｅｃｔｉｏｎ_ｔｙｐｅ)と類似特質検索方法(ａｔｔｒｉｂｕｔｅ_ｓｉｍｉｌａｒｉｔｙ_ｃｈｅｃｋ_ｍｅｔｈｏｄ_ｔｙｐｅ)を含む。
【0470】
実施例によれば、予測器選択関連のオプション情報は上記ｓｐｓ_ｎｕｍ_ａｔｔｒｉｂｕｔｅ_ｓｅｔｓフィールドの値だけ繰り返される繰り返し文に含まれる。
【0471】
即ち、繰り返し文はさらにａｔｔｒｉｂｕｔｅ_ｂａｓｅ_ｐｒｅｄｉｃｔｏｒ ｓｅｌｅｃｔｉｏｎ_ｔｙｐｅ[ｉ]フィールドとａｔｔｒｉｂｕｔｅ_ｓｉｍｉｌａｒｉｔｙ_ｃｈｅｃｋ_ｍｅｔｈｏｄ_ｔｙｐｅ[ｉ]フィールドを含むことができる。
【0472】
ａｔｔｒｉｂｕｔｅ_ｂａｓｅ_ｐｒｅｄｉｃｔｏｒ ｓｅｌｅｃｔｉｏｎ_ｔｙｐｅ[ｉ]フィールドは、ｉ番目の特質の基本予測器選択方法を明示する。例えば、ａｔｔｒｉｂｕｔｅ_ｂａｓｅ_ｐｒｅｄｉｃｔｏｒ ｓｅｌｅｃｔｉｏｎ_ｔｙｐｅ[ｉ]フィールドの値が０であると、隣接の加重値平均(ｗｅｉｇｈｔｅｄ ａｖｅｒａｇｅ ｏｆ ｎｅｉｇｈｂｏｕｒｓ)に基づいて基本予測器が選択され、１であると、特質類似性(ａｔｔｒｉｂｕｔｅ ｓｉｍｉｌａｒｉｔｙ)に基づいて基本予測器が選択されたことを示す。
【0473】
ａｔｔｒｉｂｕｔｅ_ｓｉｍｉｌａｒｉｔｙ_ｃｈｅｃｋ_ｍｅｔｈｏｄ_ｔｙｐｅ[ｉ]フィールドは、ｉ番目の特質の特質類似性を参照するとき、特質類似性検索方法を示す。例えば、ａｔｔｒｉｂｕｔｅ_ｓｉｍｉｌａｒｉｔｙ_ｃｈｅｃｋ_ｍｅｔｈｏｄ_ｔｙｐｅ[ｉ]フィールドの値が０であると、数８のようなユークリッド色距離(Ｅｕｃｌｉｄｅａｎ Ｃｏｌｏｒ Ｄｉｓｔａｎｃｅ)を使用し、１であると、数９のような相関色温度(Ｃｏｒｒｅｌａｔｅｄ Ｃｏｌｏｒ Ｔｅｍｐｅｒａｔｕｒｅ)を使用し、２であると、数１０のようなＣＩＥ９４を使用したことを示す。
【0474】
このようにａｔｔｒｉｂｕｔｅ_ｂａｓｅ_ｐｒｅｄｉｃｔｏｒ ｓｅｌｅｃｔｉｏｎ_ｔｙｐｅ[ｉ]フィールドとａｔｔｒｉｂｕｔｅ_ｓｉｍｉｌａｒｉｔｙ_ｃｈｅｃｋ_ｍｅｔｈｏｄ_ｔｙｐｅ[ｉ]フィールドは、ＳＰＳにシグナリングされる。
【0475】
図２６はこの明細書によるジオメトリパラメータセット(ｇｅｏｍｅｔｒｙ_ｐａｒａｍｅｔｅｒ_ｓｅｔ())(ＧＰＳ)のシンタックス構造の一例を示す図である。実施例によるＧＰＳは一つ又はそれ以上のスライスに含まれたポイントクラウドデータのジオメトリ情報を符号化する方法に関する情報を含む。
【0476】
実施例によるＧＰＳは、ｇｐｓ_ｇｅｏｍ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄフィールド、ｇｐｓ_ｓｅｑ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄフィールド、ｇｐｓ_ｂｏｘ_ｐｒｅｓｅｎｔ_ｆｌａｇフィールド、ｕｎｉｑｕｅ_ｇｅｏｍｅｔｒｙ_ｐｏｉｎｔｓ_ｆｌａｇフィールド、ｎｅｉｇｈｂｏｕｒ_ｃｏｎｔｅｘｔ_ｒｅｓｔｒｉｃｔｉｏｎ_ｆｌａｇフィールド、ｉｎｆｅｒｒｅｄ_ｄｉｒｅｃｔ_ｃｏｄｉｎｇ_ｍｏｄｅ_ｅｎａｂｌｅｄ_ｆｌａｇフィールド、ｂｉｔｗｉｓｅ_ｏｃｃｕｐａｎｃｙ_ｃｏｄｉｎｇ_ｆｌａｇフィールド、ａｄｊａｃｅｎｔ_ｃｈｉｌｄ_ｃｏｎｔｅｘｔｕａｌｉｚａｔｉｏｎ_ｅｎａｂｌｅｄ_ｆｌａｇフィールド、ｌｏｇ２_ｎｅｉｇｈｂｏｕｒ_ａｖａｉｌ_ｂｏｕｎｄａｒｙフィールド、ｌｏｇ２_ｉｎｔｒａ_ｐｒｅｄ_ｍａｘ_ｎｏｄｅ_ｓｉｚｅフィールド、ｌｏｇ２_ｔｒｉｓｏｕｐ_ｎｏｄｅ_ｓｉｚｅフィールド、及びｇｐｓ_ｅｘｔｅｎｓｉｏｎ_ｐｒｅｓｅｎｔ_ｆｌａｇフィールドを含む。
【0477】
ｇｐｓ_ｇｅｏｍ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄフィールドは、他のシンタックスエレメントにより参照されるＧＰＳの識別子を提供する(ｐｒｏｖｉｄｅｓ ａｎ ｉｄｅｎｔｉｆｉｅｒ ｆｏｒ ｔｈｅ ＧＰＳ ｆｏｒ ｒｅｆｅｒｅｎｃｅ ｂｙ ｏｔｈｅｒ ｓｙｎｔａｘ ｅｌｅｍｅｎｔｓ)。
【0478】
ｇｐｓ_ｓｅｑ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄフィールドは、該当アクティブＳＰＳに対するｓｅｑ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄフィールドの値を示す(ｓｐｅｃｉｆｉｅｓ ｔｈｅ ｖａｌｕｅ ｏｆ ｓｐｓ_ｓｅｑ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄ ｆｏｒ ｔｈｅ ａｃｔｉｖｅ ＳＰＳ)。
【0479】
ｇｐｓ_ｂｏｘ_ｐｒｅｓｅｎｔ_ｆｌａｇフィールドは、追加境界ボックスの情報が現在のＧＰＳを参照するジオメトリスライスヘッダから提供されるか否かを示す。例えば、ｇｐｓ_ｂｏｘ_ｐｒｅｓｅｎｔ_ｆｌａｇフィールドの値が１であると、追加境界ボックスの情報が現在のＧＰＳを参照するジオメトリヘッダ内に提供されることを示す。よって、ｇｐｓ_ｂｏｘ_ｐｒｅｓｅｎｔ_ｆｌａｇフィールドの値が１であると、ＧＰＳはさらにｇｐｓ_ｇｓｈ_ｂｏｘ_ｌｏｇ２_ｓｃａｌｅ_ｐｒｅｓｅｎｔ_ｆｌａｇフィールドを含む。
【0480】
ｇｐｓ_ｇｓｈ_ｂｏｘ_ｌｏｇ２_ｓｃａｌｅ_ｐｒｅｓｅｎｔ_ｆｌａｇフィールドは、ｇｐｓ_ｇｓｈ_ｂｏｘ_ｌｏｇ２_ｓｃａｌｅ フィールドが現在のＧＰＳを参照する各ジオメトリスライスヘッダにシグナリングされるか否かを示す。例えば、ｇｐｓ_ｇｓｈ_ｂｏｘ_ｌｏｇ２_ｓｃａｌｅ_ｐｒｅｓｅｎｔ_ｆｌａｇフィールドの値が１であると、ｇｐｓ_ｇｓｈ_ｂｏｘ_ｌｏｇ２_ｓｃａｌｅ フィールドが現在のＧＰＳを参照する各ジオメトリスライスヘッダにシグナリングされることを示す。他の例として、ｇｐｓ_ｇｓｈ_ｂｏｘ_ｌｏｇ２_ｓｃａｌｅ_ｐｒｅｓｅｎｔ_ｆｌａｇフィールドの値が０であると、ｇｐｓ_ｇｓｈ_ｂｏｘ_ｌｏｇ２_ｓｃａｌｅフィールドが現在のＧＰＳを参照する各ジオメトリスライスヘッダにシグナリングされず、全てのスライスのための共通スケール(ｃｏｍｍｏｎ ｓｃａｌｅ)が現在のＧＰＳのｇｐｓ_ｇｓｈ_ｂｏｘ_ｌｏｇ２_ｓｃａｌｅ フィールドにシグナリングされることを示す。
【0481】
ｇｐｓ_ｇｓｈ_ｂｏｘ_ｌｏｇ２_ｓｃａｌｅ_ｐｒｅｓｅｎｔ_ｆｌａｇフィールドの値が０であると、ＧＰＳはさらにｇｐｓ_ｇｓｈ_ｂｏｘ_ｌｏｇ２_ｓｃａｌｅフィールドを含む。
【0482】
ｇｐｓ_ｇｓｈ_ｂｏｘ_ｌｏｇ２_ｓｃａｌｅフィールドは、現在のＧＰＳを参照する全てのスライスに対する境界ボックスオリジンの共通倍率(ｃｏｍｍｏｎ ｓｃａｌｅ ｆａｃｔｏｒ)を示す。
【0483】
ｕｎｉｑｕｅ_ｇｅｏｍｅｔｒｙ_ｐｏｉｎｔｓ_ｆｌａｇフィールドは、全ての出力されたポイントが固有の位置を有するか否かを示す。例えば、ｕｎｉｑｕｅ_ｇｅｏｍｅｔｒｙ_ｐｏｉｎｔｓ_ｆｌａｇフィールドの値が１であると、全ての出力ポイントが固有の位置を有することを示す。ｕｎｉｑｕｅ_ｇｅｏｍｅｔｒｙ_ｐｏｉｎｔｓ_ｆｌａｇフィールドの値が０であると、２個以上の出力ポイントが同じ位置を有することができることを示す(ｅｑｕａｌ ｔｏ １ ｉｎｄｉｃａｔｅｓ ｔｈａｔ ａｌｌ ｏｕｔｐｕｔ ｐｏｉｎｔｓ ｈａｖｅ ｕｎｉｑｕｅ ｐｏｓｉｔｉｏｎｓ. ｕｎｉｑｕｅ_ｇｅｏｍｅｔｒｙ_ｐｏｉｎｔｓ_ｆｌａｇ ｆｉｅｌｄ ｅｑｕａｌ ｔｏ ０ ｉｎｄｉｃａｔｅｓ ｔｈａｔ ｔｈｅ ｏｕｔｐｕｔ ｐｏｉｎｔｓ ｍａｙ ｈａｖｅ ｓａｍｅ ｐｏｓｉｔｉｏｎｓ)。
【0484】
ｎｅｉｇｈｂｏｕｒ_ｃｏｎｔｅｘｔ_ｒｅｓｔｒｉｃｔｉｏｎ_ｆｌａｇフィールドは、八分木占有率コーディングが使用するコンテキストを示す。例えば、ｎｅｉｇｈｂｏｕｒ_ｃｏｎｔｅｘｔ_ｒｅｓｔｒｉｃｔｉｏｎ_ｆｌａｇフィールドの値が０であると、八分木占有率コーディングが６つの隣接親ノード(ｎｅｉｇｈｂｏｒｉｎｇ ｐａｒｅｎｔ ｎｏｄｅｓ)に基づいて決定されたコンテキストを使用することを示す。ｎｅｉｇｈｂｏｕｒ_ｃｏｎｔｅｘｔ_ｒｅｓｔｒｉｃｔｉｏｎ_ｆｌａｇフィールドの値が１であると、八分木占有率コーディングが兄弟ノード(ｓｉｂｌｉｎｇ ｎｏｄｅｓ)のみに基づいて決定されたコンテキストを使用することを示す(ｅｑｕａｌ ｔｏ ０ ｉｎｄｉｃａｔｅｓ ｔｈａｔ ｏｃｔｒｅｅ ｏｃｃｕｐａｎｃｙ ｃｏｄｉｎｇ ｕｓｅｓ ｃｏｎｔｅｘｔｓ ｄｅｔｅｒｍｉｎｅｄ ｆｒｏｍ ｓｉｘ ｎｅｉｇｈｂｏｕｒｉｎｇ ｐａｒｅｎｔ ｎｏｄｅｓ. ｎｅｉｇｈｂｏｕｒ_ｃｏｎｔｅｘｔ_ｒｅｓｔｒｉｃｔｉｏｎ_ｆｌａｇ ｆｉｅｌｄ ｅｑｕａｌ ｔｏ １ ｉｎｄｉｃａｔｅｓ ｔｈａｔ ｏｃｔｒｅｅ ｏｃｃｕｐａｎｃｙ ｃｏｄｉｎｇ ｕｓｅｓ ｃｏｎｔｅｘｔｓ ｄｅｔｅｒｍｉｎｅｄ ｆｒｏｍ ｓｉｂｌｉｎｇ ｎｏｄｅｓ ｏｎｌｙ)。
【0485】
ｉｎｆｅｒｒｅｄ_ｄｉｒｅｃｔ_ｃｏｄｉｎｇ_ｍｏｄｅ_ｅｎａｂｌｅｄ_ｆｌａｇフィールドは、ｄｉｒｅｃｔ_ｍｏｄｅ_ｆｌａｇフィールドが該当ジオメトリノードシンタックスに存在するか否かを示す。例えば、ｉｎｆｅｒｒｅｄ_ｄｉｒｅｃｔ_ｃｏｄｉｎｇ_ｍｏｄｅ_ｅｎａｂｌｅｄ_ｆｌａｇフィールドの値が１であると、ｄｉｒｅｃｔ_ｍｏｄｅ_ｆｌａｇフィールドが該当ジオメトリノードシンタックスに存在することを示す。例えば、ｉｎｆｅｒｒｅｄ_ｄｉｒｅｃｔ_ｃｏｄｉｎｇ_ｍｏｄｅ_ｅｎａｂｌｅｄ_ｆｌａｇフィールドの値が０であると、ｄｉｒｅｃｔ_ｍｏｄｅ_ｆｌａｇフィールドが該当ジオメトリノードシンタックスに存在しないことを示す。
【0486】
ｂｉｔｗｉｓｅ_ｏｃｃｕｐａｎｃｙ_ｃｏｄｉｎｇ_ｆｌａｇフィールドは、ジオメトリノード占有率がそのシンタックスエレメント占有率マップのビット文脈(ｂｉｔｗｉｓｅ ｃｏｎｔｅｘｔｕａｌｉｚａｔｉｏｎ)を使用して符号化されるか否かを示す。例えば、ｂｉｔｗｉｓｅ_ｏｃｃｕｐａｎｃｙ_ｃｏｄｉｎｇ_ｆｌａｇフィールドの値が１であると、ジオメトリノード占有率がそのシンタックスエレメントｏｃｃｕｐａｎｃｙ_ｍａｐのビット文脈を使用して符号化されることを示す。例えば、ｂｉｔｗｉｓｅ_ｏｃｃｕｐａｎｃｙ_ｃｏｄｉｎｇ_ｆｌａｇフィールドの値が０であると、ジオメトリノード占有率がそのディレクトリ符号化されたシンタックスエレメントｏｃｃｕｐａｎｃｙ_ｂｙｔｅを使用して符号化されることを示す。
【0487】
ａｄｊａｃｅｎｔ_ｃｈｉｌｄ_ｃｏｎｔｅｘｔｕａｌｉｚａｔｉｏｎ_ｅｎａｂｌｅｄ_ｆｌａｇフィールドは、隣接八分木ノード(ｎｅｉｇｈｂｏｕｒｉｎｇ ｏｃｔｒｅｅ ｎｏｄｅｓ)の隣接する子(ａｄｊａｃｅｎｔ ｃｈｉｌｄｒｅｎ)がビット占有率の文脈化(ｂｉｔｗｉｓｅ ｏｃｃｕｐａｎｃｙ ｃｏｎｔｅｘｔｕａｌｉｚａｔｉｏｎ)のために使用されるか否かを示す。例えば、ａｄｊａｃｅｎｔ_ｃｈｉｌｄ_ｃｏｎｔｅｘｔｕａｌｉｚａｔｉｏｎ_ｅｎａｂｌｅｄ_ｆｌａｇフィールドの値が１であると、隣接八分木ノード(ｎｅｉｇｈｂｏｕｒｉｎｇ ｏｃｔｒｅｅ ｎｏｄｅｓ)の隣接する子がビット占有率の文脈化のために使用されることを示す。例えば、ａｄｊａｃｅｎｔ_ｃｈｉｌｄ_ｃｏｎｔｅｘｔｕａｌｉｚａｔｉｏｎ_ｅｎａｂｌｅｄ_ｆｌａｇフィールドの値が０であると、隣接八分木ノード(ｎｅｉｇｈｂｏｕｒｉｎｇ ｏｃｔｒｅｅ ｎｏｄｅｓ)の子(ｃｈｉｌｄｒｅｎ)がビット占有率の文脈化のために使用されないことを示す。
【0488】
ｌｏｇ２_ｎｅｉｇｈｂｏｕｒ_ａｖａｉｌ_ｂｏｕｎｄａｒｙフィールドは、復号プロセスにおいて以下のように用いられる変数(ｖａｒｉａｂｌｅ) ＮｅｉｇｈｂＡｖａｉｌＢｏｕｎｄａｒｙの値を示す(ｓｐｅｃｉｆｉｅｓ ｔｈｅ ｖａｌｕｅ ｏｆ ｔｈｅ ｖａｒｉａｂｌｅ ＮｅｉｇｈｂＡｖａｉｌＢｏｕｎｄａｒｙ ｔｈａｔ ｉｓ ｕｓｅｄ ｉｎ ｔｈｅ ｄｅｃｏｄｉｎｇ ｐｒｏｃｅｓｓ ａｓ ｆｏｌｌｏｗｓ: )。
【0489】
ＮｅｉｇｈｂＡｖａｉｌＢｏｕｎｄａｒｙ＝２ｌｏｇ２_neighbour_avail_boundary
【0490】
例えば、ｎｅｉｇｈｂｏｕｒ_ｃｏｎｔｅｘｔ_ｒｅｓｔｒｉｃｔｉｏｎ_ｆｌａｇフィールドの値が１であると、ＮｅｉｇｈｂＡｖａｉｌａｂｉｌｉｔｙＭａｓｋは１に設定される。例えば、ｎｅｉｇｈｂｏｕｒ_ｃｏｎｔｅｘｔ_ｒｅｓｔｒｉｃｔｉｏｎ_ｆｌａｇフィールドの値が０であると、ＮｅｉｇｈｂＡｖａｉｌａｂｉｌｉｔｙＭａｓｋは１＜＜ｌｏｇ２_ｎｅｉｇｈｂｏｕｒ_ａｖａｉｌ_ｂｏｕｎｄａｒｙに設定される。
【0491】
ｌｏｇ２_ｉｎｔｒａ_ｐｒｅｄ_ｍａｘ_ｎｏｄｅ_ｓｉｚｅフィールドは、占有率イントラ予測資格のある八分木ノードサイズを示す(ｓｐｅｃｉｆｉｅｓ ｔｈｅ ｏｃｔｒｅｅ ｎｏｄｅｓｉｚｅ ｅｌｉｇｉｂｌｅ ｆｏｒ ｏｃｃｕｐａｎｃｙ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ)。
【0492】
ｌｏｇ２_ｔｒｉｓｏｕｐ_ｎｏｄｅ_ｓｉｚｅフィールドは、以下のように決定される三角形ノードのサイズであって、変数(ｖａｒｉａｂｌｅ)ＴｒｉｓｏｕｐＮｏｄｅＳｉｚｅを示す(ｓｐｅｃｉｆｉｅｓ ｔｈｅ ｖａｒｉａｂｌｅ ＴｒｉｓｏｕｐＮｏｄｅＳｉｚｅ ａｓ ｔｈｅ ｓｉｚｅ ｏｆ ｔｈｅ ｔｒｉａｎｇｌｅ ｎｏｄｅｓ ａｓ ｆｏｌｌｏｗｓ).
【0493】
ＴｒｉｓｏｕｐＮｏｄｅＳｉｚｅ＝１＜＜ｌｏｇ２_ｔｒｉｓｏｕｐ_ｎｏｄｅ_ｓｉｚｅ
【0494】
ｇｐｓ_ｅｘｔｅｎｓｉｏｎ_ｐｒｅｓｅｎｔ_ｆｌａｇフィールドは、ｇｐｓ_ｅｘｔｅｎｓｉｏｎ_ｄａｔａシンタックス構造が該当ＧＰＳシンタックスに存在するか否かを示す。例えば、ｇｐｓ_ｅｘｔｅｎｓｉｏｎ_ｐｒｅｓｅｎｔ_ｆｌａｇフィールドの値が１であると、ｇｐｓ_ｅｘｔｅｎｓｉｏｎ_ｄａｔａシンタックス構造が該当ＧＰＳシンタックスに存在することを示す。例えば、ｇｐｓ_ｅｘｔｅｎｓｉｏｎ_ｐｒｅｓｅｎｔ_ｆｌａｇフィールドの値が０であると、ｇｐｓ_ｅｘｔｅｎｓｉｏｎ_ｄａｔａシンタックス構造が該当ＧＰＳシンタックスに存在しないことを示す。
【0495】
実施例によるＧＰＳは、ｇｐｓ_ｅｘｔｅｎｓｉｏｎ_ｐｒｅｓｅｎｔ_ｆｌａｇフィールドの値が１であると、さらにｇｐｓ＿ｅｘｔｅｎｓｉｏｎ＿ｄａｔａ＿ｆｌａｇフィールドを含む。
【0496】
ｇｐｓ_ｅｘｔｅｎｓｉｏｎ_ｄａｔａ_ｆｌａｇフィールドはいずれの値であってもよい。その存在と値はデコーダ規格(ｄｅｃｏｄｅｒ ｃｏｎｆｏｒｍａｎｃｅ ｔｏ ｐｒｏｆｉｌｅｓ)に影響を与えない。
【0497】
図２７はこの明細書による特質パラメータセット(ａｔｔｒｉｂｕｔｅ_ｐａｒａｍｅｔｅｒ_ｓｅｔ())(ＡＰＳ)のシンタックス構造の一例を示す図である。実施例によるＡＰＳは一つ又はそれ以上のスライスに含まれたポイントクラウドデータの特質情報を符号化する方法に関する情報を含み、特に予測器選択関連のオプション情報を含む例を示している。
【0498】
実施例によるＡＰＳは、ａｐｓ_ａｔｔｒ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄフィールド、ａｐｓ_ｓｅｑ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄフィールド、ａｔｔｒ_ｃｏｄｉｎｇ_ｔｙｐｅフィールド、ａｐｓ_ａｔｔｒ_ｉｎｉｔｉａｌ_ｑｐフィールド、ａｐｓ_ａｔｔｒ_ｃｈｒｏｍａ_ｑｐ_ｏｆｆｓｅｔフィールド、ａｐｓ_Ｓｌｉｃｅ_ｑｐ_ｄｅｌｔａ_ｐｒｅｓｅｎｔ_ｆｌａｇフィールド、及びａｐｓ_ｅｘｔｅｎｓｉｏｎ_ｐｒｅｓｅｎｔ_ｆｌａｇフィールドを含む。
【0499】
ａｐｓ_ａｔｔｒ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄフィールドは、他のシンタックスエレメントによる参照のためにＡＰＳの識別子を示す。
【0500】
ａｐｓ_ｓｅｑ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄフィールドは、アクティブ(ａｃｔｉｖｅ)ＳＰＳに対するｓｐｓ_ｓｅｑ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄの値を示す。
【0501】
ａｔｔｒ_ｃｏｄｉｎｇ_ｔｙｐｅフィールドは、特質に対するコーディングタイプを示す。
【0502】
一実施例において、ａｔｔｒ_ｃｏｄｉｎｇ_ｔｙｐｅフィールドの値が０であると、コーディングタイプは予測加重値リフト(ｐｒｅｄｉｃｔｉｎｇ ｗｅｉｇｈｔ ｌｉｆｔｉｎｇ)を、１であると、コーディングタイプはＲＡＨＴを、２であると、固定加重値リフト(ｆｉｘ ｗｅｉｇｈｔ ｌｉｆｔｉｎｇ)を示す。
【0503】
ａｐｓ_ａｔｔｒ_ｉｎｉｔｉａｌ_ｑｐフィールドは、ＡＰＳを参照するそれぞれのスライスに対する変数スライス量子化パラメータ(ＳｌｉｃｅＱｐ)の初期値を示す(＝ｐｅｃｉｆｉｅｓ ｔｈｅ ｉｎｉｔｉａｌ ｖａｌｕｅ ｏｆ ｔｈｅ ｖａｒｉａｂｌｅ ＳｌｉｃｅＱｐ ｆｏｒ ｅａｃｈ Ｓｌｉｃｅ ｒｅｆｅｒｒｉｎｇ ｔｏ ｔｈｅ ＡＰＳ)。ＳｌｉｃｅＱｐ初期値はｓｌｉｃｅ_ｑｐ_ｄｅｌｔａ_ｌｕｍａ又はｓｌｉｃｅ_ｑｐ_ｄｅｌｔａ_ｌｕｍａの非ゼロ(ｎｏｎ－ｚｅｒｏ)値が復号されるとき、該当特質スライスセグメントレイヤで修正される(Ｔｈｅ ｉｎｉｔｉａｌ ｖａｌｕｅ ｏｆ ＳｌｉｃｅＱｐ ｉｓ ｍｏｄｉｆｉｅｄ ａｔ ｔｈｅ ａｔｔｒｉｂｕｔｅ ｓｌｉｃｅ ｓｅｇｍｅｎｔ ｌａｙｅｒ ｗｈｅｎ ａ ｎｏｎ－ｚｅｒｏ ｖａｌｕｅ ｏｆ Ｓｌｉｃｅ_ｑｐ_ｄｅｌｔａ_ｌｕｍａ ｏｒ Ｓｌｉｃｅ_ｑｐ_ｄｅｌｔａ_ｌｕｍａ ａｒｅ ｄｅｃｏｄｅｄ)。
【0504】
ａｐｓ_ａｔｔｒ_ｃｈｒｏｍａ_ｑｐ_ｏｆｆｓｅｔフィールドは、シンタックスａｐｓ_ａｔｔｒ_ｉｎｉｔｉａｌ_ｑｐによりシグナリングされた初期量子化パラメータに対するオフセットを示す(ｓｐｅｃｉｆｉｅｓ ｔｈｅ ｏｆｆｓｅｔｓ ｔｏ ｔｈｅ ｉｎｉｔｉａｌ ｑｕａｎｔｉｚａｔｉｏｎ ｐａｒａｍｅｔｅｒ ｓｉｇｎａｌｌｅｄ ｂｙ ｔｈｅ ｓｙｎｔａｘ ａｐｓ_ａｔｔｒ_ｉｎｉｔｉａｌ_ｑｐ)。
【0505】
ａｐｓ_Ｓｌｉｃｅ_ｑｐ_ｄｅｌｔａ_ｐｒｅｓｅｎｔ_ｆｌａｇフィールドは、ａｓｈ_ａｔｔｒ_ｑｐ_ｄｅｌｔａ_ｌｕｍａ及びａｓｈ_ａｔｔｒ_ｑｐ_ｄｅｌｔａ_ｌｕｍａシンタックスエレメントが該当特質スライスヘッダ(ＡＳＨ)に存在するか否かを示す。例えば、ａｐｓ_ｓｌｉｃｅ_ｑｐ_ｄｅｌｔａ_ｐｒｅｓｅｎｔ_ｆｌａｇフィールドの値が１であると、ａｓｈ_ａｔｔｒ_ｑｐ_ｄｅｌｔａ_ｌｕｍａ及びａｓｈ_ａｔｔｒ_ｑｐ_ｄｅｌｔａ_ｌｕｍａシンタックスエレメントが該当特質スライスヘッダ(ＡＳＨ)に存在することを示す(ｅｑｕａｌ ｔｏ １ ｓｐｅｃｉｆｉｅｓ ｔｈａｔ ｔｈｅ ａｓｈ_ａｔｔｒ_ｑｐ_ｄｅｌｔａ_ｌｕｍａ ａｎｄ ａｓｈ_ａｔｔｒ_ｑｐ_ｄｅｌｔａ_ｌｕｍａ ｓｙｎｔａｘ ｅｌｅｍｅｎｔＳ ａｒｅ ｐｒｅｓｅｎｔ ｉｎ ｔｈｅ ＡＳＨ)。例えば、ａｐｓ_ｓｌｉｃｅ_ｑｐ_ｄｅｌｔａ_ｐｒｅｓｅｎｔ_ｆｌａｇフィールドの値が０であると、ａｓｈ_ａｔｔｒ_ｑｐ_ｄｅｌｔａ_ｌｕｍａ及びａｓｈ_ａｔｔｒ_ｑｐ_ｄｅｌｔａ_ｌｕｍａシンタックスエレメントが該当特質スライスヘッダ(ＡＳＨ)に存在しないことを示す(ｓｐｅｃｉｆｉｅｓ ｔｈａｔ ｔｈｅ ａｓｈ_ａｔｔｒ_ｑｐ_ｄｅｌｔａ_ｌｕｍａ ａｎｄ ａｓｈ_ａｔｔｒ_ｑｐ_ｄｅｌｔａ_ｌｕｍａ ｓｙｎｔａｘ ｅｌｅｍｅｎｔｓ ａｒｅ ｎｏｔ ｐｒｅｓｅｎｔ ｉｎ ｔｈｅ ＡＳＨ)。
【0506】
実施例によるＡＰＳは、ａｔｔｒ_ｃｏｄｉｎｇ_ｔｙｐｅフィールドの値が０又は２であると、即ち、コーティングタイプが予測加重値リフト(ｐｒｅｄｉｃｔｉｎｇ ｗｅｉｇｈｔ ｌｉｆｔｉｎｇ)であるか又は固定加重値リフト(ｆｉｘ ｗｅｉｇｈｔ ｌｉｆｔｉｎｇ)であると、さらにｌｉｆｔｉｎｇ_ｎｕｍ_ｐｒｅｄ_ｎｅａｒｅｓｔ_ｎｅｉｇｈｂｏｕｒｓフィールド、ｌｉｆｔｉｎｇ_ｍａｘ_ｎｕｍ_ｄｉｒｅｃｔ_ｐｒｅｄｉｃｔｏｒｓフィールド、ｌｉｆｔｉｎｇ_ｓｅａｒｃｈ_ｒａｎｇｅフィールド、ｌｉｆｔｉｎｇ_ｌｏｄ_ｒｅｇｕｌａｒ_ｓａｍｐｌｉｎｇ_ｅｎａｂｌｅｄ_ｆｌａｇフィールド、及びＬｉｆｔｉｎｇ_ｎｕｍ_ｄｅｔａｉｌ_ｌｅｖｅｌｓ_ｍｉｎｕｓ１フィールドを含む。
【0507】
ｌｉｆｔｉｎｇ_ｎｕｍ_ｐｒｅｄ_ｎｅａｒｅｓｔ_ｎｅｉｇｈｂｏｕｒｓフィールドは、予測(ｐｒｅｄｉｃｔｉｏｎ)のために使用される最隣接(ｎｅａｒｅｓｔ ｎｅｉｇｈｂｏｒ)の最大の数を示す。
【0508】
ｌｉｆｔｉｎｇ_ｍａｘ_ｎｕｍ_ｄｉｒｅｃｔ_ｐｒｅｄｉｃｔｏｒｓフィールドは、ダイレクト予測(ｄｉｒｅｃｔ ｐｒｅｄｉｃｔｉｏｎ)のために使用される予測器の最大の数を示す。実施例によるポイントクラウドデータ復号過程で使用される変数(ｖａｒｉａｂｌｅ)ＭａｘＮｕｍＰｒｅｄｉｃｔｏｒｓの値は以下のように表現される(ｓｐｅｃｉｆｉｅｓ ｔｈｅ ｍａｘｉｍｕｍ ｎｕｍｂｅｒ ｏｆ ｐｒｅｄｉｃｔｏｒ ｔｏ ｂｅ ｕｓｅｄ ｆｏｒ ｄｉｒｅｃｔ ｐｒｅｄｉｃｔｉｏｎ. Ｔｈｅ ｖａｌｕｅ ｏｆ ｔｈｅ ｖａｒｉａｂｌｅ ＭａｘＮｕｍＰｒｅｄｉｃｔｏｒｓ ｔｈａｔ ｉｓ ｕｓｅｄ ｉｎ ｔｈｅ ｄｅｃｏｄｉｎｇ ｐｒｏｃｅｓｓ ａｓ ｆｏｌｌｏｗｓ:)
【0509】
ＭａｘＮｕｍＰｒｅｄｉｃｔｏｒｓ＝ｌｉｆｔｉｎｇ_ｍａｘ_ｎｕｍ_ｄｉｒｅｃｔ_ｐｒｅｄｉｃｔｏｒｓフィールド＋１
【0510】
ｌｉｆｔｉｎｇ_ｌｉｆｔｉｎｇ_ｓｅａｒｃｈ_ｒａｎｇｅフィールドは、予測に使用される最隣接を決定し、距離基盤のＬＯＤ(ｄｉｓｔａｎｃｅ－ｂａｓｅｄ ｌｅｖｅｌｓ ｏｆ ｄｅｔａｉｌ)を構築するために使用される探索範囲を示す(ｓｐｅｃｉｆｉｅＳ ｔｈｅ ｓｅａｒｃｈ ｒａｎｇｅ ｕｓｅｄ ｔｏ ｄｅｔｅｒｍｉｎｅ ｎｅａｒｅｓｔ ｎｅｉｇｈｂｏｕｒｓ ｔｏ ｂｅ ｕｓｅｄ ｆｏｒ ｐｒｅｄｉｃｔｉｏｎ ａｎｄ ｔｏ ｂｕｉｌｄ ｄｉｓｔａｎｃｅ－ｂａｓｅｄ ｌｅｖｅｌｓ ｏｆ ｄｅｔａｉｌ)。
【0511】
ｌｉｆｔｉｎｇ_ｎｕｍ_ｄｅｔａｉｌ_ｌｅｖｅｌｓ_ｍｉｎｕｓ１フィールドは、特質コーティングのためのＬＯＤの数を示す(ｓｐｅｃｉｆｉｅｓ ｔｈｅ ｎｕｍｂｅｒ ｏｆ ｌｅｖｅｌｓ ｏｆ ｄｅｔａｉｌ ｆｏｒ ｔｈｅ ａｔｔｒｉｂｕｔｅ ｃｏｄｉｎｇ)。
【0512】
ｌｉｆｔｉｎｇ_ｌｏｄ_ｒｅｇｕｌａｒ_ｓａｍｐｌｉｎｇ_ｅｎａｂｌｅｄ_ｆｌａｇフィールドは、ＬＯＤ(ｌｅｖｅｌｓ ｏｆ ｄｅｔａｉｌ)が規格サンプリングの戦略により形成されるか否かを示す。例えば、ｌｉｆｔｉｎｇ_ｌｏｄ_ｒｅｇｕｌａｒ_ｓａｍｐｌｉｎｇ_ｅｎａｂｌｅｄ_ｆｌａｇフィールドの値が１であると、ＬＯＤが規格サンプリングの戦略により形成されることを示す。例えば、ｌｉｆｔｉｎｇ_ｌｏｄ_ｒｅｇｕｌａｒ_ｓａｍｐｌｉｎｇ_ｅｎａｂｌｅｄ_ｆｌａｇフィールドの値が０であると、代わりに距離基盤のサンプリング戦略(ｄｉｓｔａｎｃｅ_ｂａｓｅｄ ｓａｍｐｌｉｎｇ ｓｔｒａｔｅｇｙ)が使用されることを示す(Ｔｈｅ ｌｉｆｔｉｎｇ_ｌｏｄ_ｒｅｇｕｌａｒ_ｓａｍｐｌｉｎｇ_ｅｎａｂｌｅｄ_ｆｌａｇ ｅｑｕａｌ ｔｏ １ ｓｐｅｃｉｆｉｅｓ ｌｅｖｅｌｓ ｏｆ ｄｅｔａｉｌ ａｒｅ ｂｕｉｌｔ ｂｙ ｕｓｉｎｇ ａ ｒｅｇｕｌａｒ ｓａｍｐｌｉｎｇ ｓｔｒａｔｅｇｙ. Ｔｈｅ ｌｉｆｔｉｎｇ_ｌｏｄ_ｒｅｇｕｌａｒ_ｓａｍｐｌｉｎｇ_ｅｎａｂｌｅｄ_ｆｌａｇ ｅｑｕａｌ ｔｏ ０ ｓｐｅｃｉｆｉｅｓ ｔｈａｔ ａ ｄｉｓｔａｎｃｅ－ｂａｓｅｄ ｓａｍｐｌｉｎｇ ｓｔｒａｔｅｇｙ ｉｓ ｕｓｅｄ ｉｎｓｔｅａｄ)。
【0513】
実施例によるＡＰＳは、ｌｉｆｔｉｎｇ_ｎｕｍ_ｄｅｔａｉｌ_ｌｅｖｅｌｓ_ｍｉｎｕｓ１フィールドの値だけ繰り返される繰り返し文を含む。このとき、インデックス(ｉｄｘ)は０に初期化され、繰り返し文が行われるたびに１ずつ増加し、インデックス(ｉｄｘ)がｌｉｆｔｉｎｇ_ｎｕｍ_ｄｅｔａｉｌ_ｌｅｖｅｌｓ_ｍｉｎｕｓ１フィールドの値より大きくなるまで繰り返し文が繰り返されることを一実施例とする。この繰り返し文は、ｌｉｆｔｉｎｇ_ｌｏｄ_ｄｅｃｉｍａｔｉｏｎ_ｅｎａｂｌｅｄ_ｆｌａｇフィールドの値が真(例えば、１)であると、ｌｉｆｔｉｎｇ_ｓａｍｐｌｉｎｇ_ｐｅｒｉｏｄ[ｉｄｘ]フィールドを含み、偽(例えば、０)であると、ｌｉｆｔｉｎｇ_ｓａｍｐｌｉｎｇ_ｄｉｓｔａｎｃｅ_ｓｑｕａｒｅｄ[ｉｄｘ]フィールドを含む。
【0514】
ｌｉｆｔｉｎｇ_ｓａｍｐｌｉｎｇ_ｐｅｒｉｏｄ[ｉｄｘ]フィールドは、ＬＯＤ ｉｄｘのためのサンプリング周期を示す(ｓｐｅｃｉｆｉｅｓ ｔｈｅ ｓａｍｐｌｉｎｇ ｐｅｒｉｏｄ ｆｏｒ ｔｈｅ ｌｅｖｅｌ ｏｆ ｄｅｔａｉｌ ｉｄｘ)。
【0515】
ｌｉｆｔｉｎｇ_ｓａｍｐｌｉｎｇ_ｄｉｓｔａｎｃｅ_ｓｑｕａｒｅｄ[ｉｄｘ]フィールドは、ＬＯＤ ｉｄｘのためのサンプリング距離の自乗を示す(ｓｐｅｃｉｆｉｅｓ ｔｈｅ ｓｑｕａｒｅ ｏｆ ｔｈｅ ｓａｍｐｌｉｎｇ ｄｉｓｔａｎｃｅ ｆｏｒ ｔｈｅ ｌｅｖｅｌ ｏｆ ｄｅｔａｉｌ ｉｄｘ)。
【0516】
実施例によるＡＰＳはａｔｔｒ_ｃｏｄｉｎｇ_ｔｙｐｅフィールドの値が０であると、即ち、コーディングタイプが予測加重値リフト(ｐｒｅｄｉｃｔｉｎｇ ｗｅｉｇｈｔ ｌｉｆｔｉｎｇ)であると、さらにｌｉｆｔｉｎｇ_ａｄａｐｔｉｖｅ_ｐｒｅｄｉｃｔｉｏｎ_ｔｈｒｅｓｈｏｌｄフィールドとｌｉｆｔｉｎｇ_ｉｎｔｒａ_ｌｏｄ_ｐｒｅｄｉｃｔｉｏｎ_ｎｕｍ_ｌａｙｅｒＳフィールドを含む。
【0517】
ｌｉｆｔｉｎｇ_ａｄａｐｔｉｖｅ_ｐｒｅｄｉｃｔｉｏｎ_ｔｈｒｅｓｈｏｌｄフィールドは、適応的予測を可能にするためのしきい値を示す(ｓｐｅｃｉｆｉｅｓ ｔｈｅ ｔｈｒｅｓｈｏｌｄ ｔｏ ｅｎａｂｌｅ ａｄａｐｔｉｖｅ ｐｒｅｄｉｃｔｉｏｎ)。
【0518】
ｌｉｆｔｉｎｇ_ｉｎｔｒａ_ｌｏｄ_ｐｒｅｄｉｃｔｉｏｎ_ｎｕｍ_ｌａｙｅｒｓフィールドは、同じＬＯＤレイヤ内の復号されたポイントがターゲットポイントの予測値を生成するために参照できるＬＯＤレイヤの数を示す(ｓｐｅｃｉｆｉｅｓ ｎｕｍｂｅｒ ｏｆ ＬＯＤ ｌａｙｅｒ ｗｈｅｒｅ ｄｅｃｏｄｅｄ ｐｏｉｎｔｓ ｉｎ ｔｈｅ ｓａｍｅ ＬＯＤ ｌａｙｅｒ ｃｏｕｌｄ ｂｅ ｒｅｆｅｒｒｅｄ ｔｏ ｇｅｎｅｒａｔｅ ｐｒｅｄｉｃｔｉｏｎ ｖａｌｕｅ ｏｆ ｔａｒｇｅｔ ｐｏｉｎｔ)。例えば、ｌｉｆｔｉｎｇ_ｉｎｔｒａ_ｌｏｄ_ｐｒｅｄｉｃｔｉｏｎ_ｎｕｍ_ｌａｙｅｒＳフィールドの値がｎｕｍ_ｄｅｔａｉｌ_ｌｅｖｅｌｓ_ｍｉｎｕｓ１フィールド＋１の値であると、ターゲットポイントは全てのＬＯＤレイヤのための同じＬＯＤレイヤ内の復号されたポイントを参照できることを示す(Ｔｈｅ ｌｉｆｔｉｎｇ_ｉｎｔｒａ_ｌｏｄ_ｐｒｅｄｉｃｔｉｏｎ_ｎｕｍ_ｌａｙｅｒｓ ｆｉｅｌｄ ｅｑｕａｌ ｔｏ ｎｕｍ_ｄｅｔａｉｌ_ｌｅｖｅｌｓ_ｍｉｎｕｓ１ ｐｌｕｓ １ ｉｎｄｉｃａｔｅｓ ｔｈａｔ ｔａｒｇｅｔ ｐｏｉｎｔ ｃｏｕｌｄ ｒｅｆｅｒ ｄｅｃｏｄｅｄ ｐｏｉｎｔｓ ｉｎ ｔｈｅ ｓａｍｅ ＬＯＤ ｌａｙｅｒ ｆｏｒ ａｌｌ ＬＯＤ ｌａｙｅｒｓ)。例えば、ｌｉｆｔｉｎｇ_ｉｎｔｒａ_ｌｏｄ_ｐｒｅｄｉｃｔｉｏｎ_ｎｕｍ_ｌａｙｅｒｓフィールドの値が０であると、ターゲットポイントは任意のＬＯＤレイヤのための同じＬＯＤレイヤ内の復号されたポイントを参照できないことを示す(Ｔｈｅ ｌｉｆｔｉｎｇ_ｉｎｔｒａ_ｌｏｄ_ｐｒｅｄｉｃｔｉｏｎ_ｎｕｍ_ｌａｙｅｒｓ ｆｉｅｌｄ ｅｑｕａｌ ｔｏ ０ ｉｎｄｉｃａｔｅｓ ｔｈａｔ ｔａｒｇｅｔ ｐｏｉｎｔ ｃｏｕｌｄ ｎｏｔ ｒｅｆｅｒ ｄｅｃｏｄｅｄ ｐｏｉｎｔｓ ｉｎ ｔｈｅ ｓａｍｅ ＬＯＤ ｌａｙｅｒ ｆｏｒ ａｎｙ ＬＯＤ ｌａｙｅｒｓ)。
【0519】
ａｐｓ_ｅｘｔｅｎｓｉｏｎ_ｐｒｅｓｅｎｔ_ｆｌａｇフィールドは、ａｐｓ_ｅｘｔｅｎｓｉｏｎ_ｄａｔａシンタックス構造が該当ＡＰＳシンタックス構造に存在するか否かを示す。例えば、ａｐｓ_ｅｘｔｅｎｓｉｏｎ_ｐｒｅｓｅｎｔ_ｆｌａｇフィールドの値が１であると、ａｐｓ_ｅｘｔｅｎｓｉｏｎ_ｄａｔａシンタックス構造が該当ＡＰＳシンタックス構造に存在することを示す。例えば、ａｐｓ_ｅｘｔｅｎｓｉｏｎ_ｐｒｅｓｅｎｔ_ｆｌａｇフィールドの値が０であると、ａｐｓ_ｅｘｔｅｎｓｉｏｎ_ｄａｔａシンタックス構造が該当ＡＰＳシンタックス構造に存在しないことを示す。
【0520】
実施例によるＡＰＳは、ａｐｓ_ｅｘｔｅｎｓｉｏｎ_ｐｒｅｓｅｎｔ_ｆｌａｇフィールドの値が１であると、さらにａｐｓ_ｅｘｔｅｎｓｉｏｎ_ｄａｔａ_ｆｌａｇフィールドを含む。
【0521】
ａｐｓ_ｅｘｔｅｎｓｉｏｎ_ｄａｔａ_ｆｌａｇフィールドはいずれの値であってもよい。その存在と値はデコーダ規格(ｄｅｃｏｄｅｒ ｃｏｎｆｏｒｍａｎｃｅ ｔｏ ｐｒｏｆｉｌｅｓ)に影響を与えない。
【0522】
実施例によるＡＰＳはさらに予測器選択関連のオプション情報を含む。
【0523】
実施例によるＡＰＳは、ａｔｔｒ_ｃｏｄｉｎｇ_ｔｙｐｅフィールドの値が０又は２であると、即ち、コーティングタイプが予測加重値リフト(ｐｒｅｄｉｃｔｉｎｇ ｗｅｉｇｈｔ ｌｉｆｔｉｎｇ)、又は固定加重値リフト(ｆｉｘ ｗｅｉｇｈｔ ｌｉｆｔｉｎｇ)であると、さらにａｔｔｒｉｂｕｔｅ_ｂａｓｅ_ｐｒｅｄｉｃｔｏｒ ｓｅｌｅｃｔｉｏｎ_ｔｙｐｅフィールドとａｔｔｒｉｂｕｔｅ_ｓｉｍｉｌａｒｉｔｙ_ｃｈｅｃｋ_ｍｅｔｈｏｄ_ｔｙｐｅフィールドを含む。
【0524】
ａｔｔｒｉｂｕｔｅ_ｂａｓｅ_ｐｒｅｄｉｃｔｏｒ ｓｅｌｅｃｔｉｏｎ_ｔｙｐｅフィールドは、基本予測器選択方法を示す。例えば、ａｔｔｒｉｂｕｔｅ_ｂａｓｅ_ｐｒｅｄｉｃｔｏｒ ｓｅｌｅｃｔｉｏｎ_ｔｙｐｅフィールドの値が０であると、隣接の加重値平均(ｗｅｉｇｈｔｅｄ ａｖｅｒａｇｅ ｏｆ ｎｅｉｇｈｂｏｕｒｓ)に基づいて基本予測器が選択され、１であると、特質類似性(ａｔｔｒｉｂｕｔｅ ｓｉｍｉｌａｒｉｔｙ)に基づいて基本予測器が選択されたことを示す。
【0525】
ａｔｔｒｉｂｕｔｅ_ｓｉｍｉｌａｒｉｔｙ_ｃｈｅｃｋ_ｍｅｔｈｏｄ_ｔｙｐｅフィールドは、特質類似性の検索方法を示す。例えば、ａｔｔｒｉｂｕｔｅ_ｓｉｍｉｌａｒｉｔｙ_ｃｈｅｃｋ_ｍｅｔｈｏｄ_ｔｙｐｅフィールドの値が０であると、数８のようなユークリッド色距離(Ｅｕｃｌｉｄｅａｎ Ｃｏｌｏｒ Ｄｉｓｔａｎｃｅ)を使用し、１であると、数９のような相関色温度(Ｃｏｒｒｅｌａｔｅｄ Ｃｏｌｏｒ Ｔｅｍｐｅｒａｔｕｒｅ)を使用し、２であると、数１０のようなＣＩＥ９４を使用したことを示す。
【0526】
このようにａｔｔｒｉｂｕｔｅ_ｂａｓｅ_ｐｒｅｄｉｃｔｏｒ ｓｅｌｅｃｔｉｏｎ_ｔｙｐｅフィールドとａｔｔｒｉｂｕｔｅ_ｓｉｍｉｌａｒｉｔｙ_ｃｈｅｃｋ_ｍｅｔｈｏｄ_ｔｙｐｅフィールドは、ＡＰＳにシグナリングされることができる。
【0527】
図２８はこの明細書によるタイルパラメータセット(ｔｉｌｅ_ｐａｒａｍｅｔｅｒ_ｓｅｔ())(ＴＰＳ)のシンタックス構造の一例を示す図である。実施例によって、ＴＰＳ(Ｔｉｌｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ)はタイルインベントリ (ｔｉｌｅ ｉｎｖｅｎｔｏｒｙ)とも呼ばれる。実施例によるＴＰＳはタイルごとに各タイルに関連する情報を含み、特に予測予測器選択関連のオプション情報を含む例を示している。
【0528】
実施例によるＴＰＳはｎｕｍ_ｔｉｌｅｓフィールドを含む。
【0529】
ｎｕｍ_ｔｉｌｅｓフィールドは、そのビットストリームのためにシグナリングされたタイルの数を示す。もしタイルが存在しないと、ｎｕｍ_ｔｉｌｅｓフィールドの値は０になる(ｗｈｅｎ ｎｏｔ ｐｒｅｓｅｎｔ、ｎｕｍ_ｔｉｌｅｓｉｓ ｉｎｆｅｒｒｅｄ ｔｏ ｂｅ ０)。
【0530】
実施例によるＴＰＳは、ｎｕｍ_ｔｉｌｅｓフィールドの値だけ繰り返される繰り返し文を含む。このとき、ｉは０に初期化され、繰り返し文が行われるたびに１ずつ増加し、ｉ値がｎｕｍ_ｔｉｌｅｓフィールドの値がなるまで繰り返し文が繰り返されることを一実施例とする。この繰り返し文は、ｔｉｌｅ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｏｆｆｓｅｔ_ｘ[ｉ]フィールド、ｔｉｌｅ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｏｆｆｓｅｔ_ｙ[ｉ]フィールド、ｔｉｌｅ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｏｆｆｓｅｔ_ｚ[ｉ]フィールド、ｔｉｌｅ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｉｚｅ_ｗｉｄｔｈ[ｉ]フィールド、ｔｉｌｅ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｉｚｅ_ｈｅｉｇｈｔ[ｉ]フィールド、及びｔｉｌｅ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｉｚｅ_ｄｅｐｔｈ[ｉ]フィールドを含む。
【0531】
ｔｉｌｅ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｏｆｆｓｅｔ_ｘ[ｉ]フィールドは、直交座標系においてｉ番目のタイルのｘオフセットを示す(ｉｎｄｉｃａｔｅｓ ｔｈｅ Ｘ ｏｆｆｓｅｔ ｏｆ ｔｈｅ ｉ－ｔｈ ｔｉｌｅ ｉｎ ｔｈｅ ｃａｒｔｅｓｉａｎ ｃｏｏｒｄｉｎａｔｅｓ)。
【0532】
ｔｉｌｅ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｏｆｆｓｅｔ_ｙ[ｉ]フィールドは、直交座標系においてｉ番目のタイルのｙオフセットを示す.
【0533】
ｔｉｌｅ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｏｆｆｓｅｔ_ｚ[ｉ]フィールドは、直交座標系においてｉ番目のタイルのｚオフセットを示す。
【0534】
ｔｉｌｅ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｉｚｅ_ｗｉｄｔｈ[ｉ]フィールドは、直交座標系においてｉ番目のタイルの幅(ｗｉｄｔｈ)を示す。
【0535】
ｔｉｌｅ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｉｚｅ_ｈｅｉｇｈｔ[ｉ]フィールドは、直交座標系においてｉ番目のタイルの高さ(ｈｅｉｇｈｔ)を示す。
【0536】
ｔｉｌｅ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｉｚｅ_ｄｅｐｔｈ[ｉ]フィールドは、直交座標系においてｉ番目のタイルの深さ(ｄｅｐｔｈ)を示す。
【0537】
実施例によるＴＰＳはさらに予測器選択関連のオプション情報を含む。
【0538】
実施例によれば、予測器選択関連のオプション情報は、上述したｎｕｍ_ｔｉｌｅｓフィールドの値だけ繰り返される繰り返し文に含まれる。
【0539】
即ち、繰り返し文はさらに、ａｔｔｒｉｂｕｔｅ_ｂａｓｅ_ｐｒｅｄｉｃｔｏｒ ｓｅｌｅｃｔｉｏｎ_ｔｙｐｅ[ｉ]フィールドとａｔｔｒｉｂｕｔｅ_ｓｉｍｉｌａｒｉｔｙ_ｃｈｅｃｋ_ｍｅｔｈｏｄ_ｔｙｐｅ[ｉ]フィールドを含む。
【0540】
ａｔｔｒｉｂｕｔｅ_ｂａｓｅ_ｐｒｅｄｉｃｔｏｒ ｓｅｌｅｃｔｉｏｎ_ｔｙｐｅ[ｉ]フィールドは、ｉ番目のタイルにおいて基本予測器選択方法を示す。例えば、ａｔｔｒｉｂｕｔｅ_ｂａｓｅ_ｐｒｅｄｉｃｔｏｒ ｓｅｌｅｃｔｉｏｎ_ｔｙｐｅ[ｉ]フィールドの値が０であると、隣接の加重値平均(ｗｅｉｇｈｔｅｄ ａｖｅｒａｇｅ ｏｆ ｎｅｉｇｈｂｏｕｒｓ)に基づいて基本予測器が選択され、１であると、特質類似性(ａｔｔｒｉｂｕｔｅ ｓｉｍｉｌａｒｉｔｙ)に基づいて基本予測器が選択されたことを示す。
【0541】
ａｔｔｒｉｂｕｔｅ_ｓｉｍｉｌａｒｉｔｙ_ｃｈｅｃｋ_ｍｅｔｈｏｄ_ｔｙｐｅ[ｉ]フィールドは、ｉ番目のタイルにおいて特質類似性検索方法を示す。例えば、ａｔｔｒｉｂｕｔｅ_ｓｉｍｉｌａｒｉｔｙ_ｃｈｅｃｋ_ｍｅｔｈｏｄ_ｔｙｐｅ[ｉ]フィールドの値が０であると、数８のようなユークリッド色距離(Ｅｕｃｌｉｄｅａｎ Ｃｏｌｏｒ Ｄｉｓｔａｎｃｅ)を使用し、１であると、数９のような相関色温度(Ｃｏｒｒｅｌａｔｅｄ Ｃｏｌｏｒ Ｔｅｍｐｅｒａｔｕｒｅ)を使用し、２であると、数１０のようなＣＩＥ９４を使用したことを示す。
【0542】
このようにａｔｔｒｉｂｕｔｅ_ｂａｓｅ_ｐｒｅｄｉｃｔｏｒ ｓｅｌｅｃｔｉｏｎ_ｔｙｐｅ[ｉ]フィールドとａｔｔｒｉｂｕｔｅ_ｓｉｍｉｌａｒｉｔｙ_ｃｈｅｃｋ_ｍｅｔｈｏｄ_ｔｙｐｅ[ｉ]フィールドは、ＴＰＳにシグナリングされることができる。
【0543】
図２９はこの明細書によるジオメトリスライスビットストリームのシンタックス構造の一例を示す図である。
【0544】
実施例によるジオメトリスライスビットストリーム(ｇｅｏｍｅｔｒｙ_ｓｌｉｃｅ_ｂｉｔｓｔｒｅａｍ())はジオメトリスライスヘッダ(ｇｅｏｍｅｔｒｙ_ｓｌｉｃｅ_ｈｅａｄｅｒ())とジオメトリスライスデータ(ｇｅｏｍｅｔｒｙ_ｓｌｉｃｅ_ｄａｔａ())を含む。
【0545】
図３０はこの明細書によるジオメトリスライスヘッダ(ｇｅｏｍｅｔｒｙ_ｓｌｉｃｅ_ｈｅａｄｅｒ())のシンタックス構造の一例を示す図である。
【0546】
実施例による送信装置が送信するビットストリーム(又は受信装置が受信するビットストリーム)は、一つ以上のスライスを含む。それぞれのスライスはジオメトリスライス及び特質スライスを含む。ジオメトリスライスはジオメトリスライスヘッダ(ＧＳＨ、Ｇｅｏｍｅｔｒｙ ｓｌｉｃｅ Ｈｅａｄｅｒ)を含む。特質スライスは特質スライスヘッダ(ＡＳＨ、ａｔｔｒｉｂｕｔｅ ｓｌｉｃｅ Ｈｅａｄｅｒ)を含む。
【0547】
実施例によるジオメトリスライスヘッダ(ｇｅｏｍｅｔｒｙ_ｓｌｉｃｅ_ｈｅａｄｅｒ())は、ｇｓｈ_ｇｅｏｍ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄフィールド、ｇｓｈ_ｔｉｌｅ_ｉｄフィールド、ｇｓｈ_ｓｌｉｃｅ_ｉｄフィールド、ｇｓｈ_ｍａｘ_ｎｏｄｅ_ｓｉｚｅ_ｌｏｇ２フィールド、ｇｓｈ_ｎｕｍ_ｐｏｉｎｔｓフィールド及びｂｙｔｅ_ａｌｉｇｎｍｅｎｔ()フィールドを含む。
【0548】
実施例によるジオメトリスライスヘッダ(ｇｅｏｍｅｔｒｙ_ｓｌｉｃｅ_ｈｅａｄｅｒ())は、ジオメトリパラメータセット(ＧＰＳ)に含まれたｇｐｓ_ｂｏｘ_ｐｒｅｓｅｎｔ_ｆｌａｇフィールドの値が真(例えば、１)であり、ｇｐｓ_ｇｓｈ_ｂｏｘ_ｌｏｇ２_ｓｃａｌｅ_ｐｒｅｓｅｎｔ_ｆｌａｇフィールドの値が真(例えば、１)であると、さらにｇｓｈ_ｂｏｘ_ｌｏｇ２_ｓｃａｌｅフィールド、ｇｓｈ_ｂｏｘ_ｏｒｉｇｉｎ_ｘフィールド、ｇｓｈ_ｂｏｘ_ｏｒｉｇｉｎ_ｙフィールド、及びｇｓｈ_ｂｏｘ_ｏｒｉｇｉｎ_ｚフィールドを含む。
【0549】
ｇｓｈ_ｇｅｏｍ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄフィールドは、アクティブＧＰＳのｇｐｓ_ｇｅｏｍ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄの値を示す(ｓｐｅｃｉｆｉｅｓ ｔｈｅ ｖａｌｕｅ ｏｆ ｔｈｅ ｇｐｓ_ｇｅｏｍ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄ ｏｆ ｔｈｅ ａｃｔｉｖｅ ｇｐｓ)。
【0550】
ｇｓｈ_ｔｉｌｅ_ｉｄフィールドは、該当ジオメトリスライスヘッダ(ＧＳＨ)により参照される該当タイルの識別子を示す。
【0551】
ｇｓｈ_ｓｌｉｃｅ_ｉｄは、他のシンタックスエレメントによる参照のための該当スライスの識別子を示す。
【0552】
ｇｓｈ_ｂｏｘ_ｌｏｇ２_ｓｃａｌｅフィールドは、該当スライスのための境界ボックスオリジンの倍率を示す。
【0553】
ｇｓｈ_ｂｏｘ_ｏｒｉｇｉｎ_ｘフィールドは、ｇｓｈ_ｂｏｘ_ｌｏｇ２_ｓｃａｌｅフィールドの値によりスケーリングされた境界ボックスオリジンのｘ値を示す。
【0554】
ｇｓｈ_ｂｏｘ_ｏｒｉｇｉｎ_ｙフィールドは、ｇｓｈ_ｂｏｘ_ｌｏｇ２_ｓｃａｌｅフィールドの値によりスケーリングされた境界ボックスオリジンのｙ値を示す。
【0555】
ｇｓｈ_ｂｏｘ_ｏｒｉｇｉｎ_ｚフィールドは、ｇｓｈ_ｂｏｘ_ｌｏｇ２_ｓｃａｌｅフィールドの値によりスケーリングされた境界ボックスオリジンのｚ値を示す。
【0556】
ｇｓｈ_ｍａｘ_ｎｏｄｅ_ｓｉｚｅ_ｌｏｇ２フィールドは、ルートジオメトリ八分木ノードのサイズを示す。
【0557】
ｇｓｈ_ｐｏｉｎｔｓ_ｎｕｍｂｅｒフィールドは、該当スライス内のコーディングされたポイントの数を示す。
【0558】
図３１はこの明細書によるジオメトリスライスデータ(ｇｅｏｍｅｔｒｙ_ｓｌｉｃｅ_ｄａｔａ())のシンタックス構造の一例を示す図である。実施例によるジオメトリスライスデータ(ｇｅｏｍｅｔｒｙ_ｓｌｉｃｅ_ｄａｔａ())は該当スライスに属するジオメトリビットストリームを送信する。
【0559】
実施例によるジオメトリスライスデータ(ｇｅｏｍｅｔｒｙ_ｓｌｉｃｅ_ｄａｔａ())は、ＭａｘＧｅｏｍｅｔｒｙＯｃｔｒｅｅＤｅｐｔｈの値だけ繰り返される第１繰り返し文を含む。このとき、ｄｅｐｔｈは０に初期化され、繰り返し文が行われるたびに１ずつ増加し、ｄｅｐｔｈがＭａｘＧｅｏｍｅｔｒｙＯｃｔｒｅｅＤｅｐｔｈの値になるまで第１繰り返し文が繰り返されることを一実施例とする。第１繰り返し文は、ＮｕｍＮｏｄｅｓＡｔＤｅｐｔｈの値だけ繰り返される第２繰り返し文を含む。このとき、ｎｏｄｅＩｄｘは０に初期化され、繰り返し文が行われるたびに１ずつ増加し、ｎｏｄｅＩｄｘがＮｕｍＮｏｄｅｓＡｔＤｅｐｔｈの値になるまで第２繰り返し文が繰り返されることを一実施例とする。第２繰り返し文は、ｘＮ＝ＮｏｄｅＸ[ｄｅｐｔｈ][ｎｏｄｅＩｄｘ]、ｙＮ＝ＮｏｄｅＹ[ｄｅｐｔｈ][ｎｏｄｅＩｄｘ]、ｚＮ＝ＮｏｄｅＺ[ｄｅｐｔｈ][ｎｏｄｅＩｄｘ]、ｇｅｏｍｅｔｒｙ_ｎｏｄｅ(ｄｅｐｔｈ、ｎｏｄｅＩｄｘ、ｘＮ、ｙＮ、ｚＮ)を含む。ＭａｘＧｅｏｍｅｔｒｙＯｃｔｒｅｅＤｅｐｔｈはジオメトリ八分木深さの最大値を示し、ＮｕｍＮｏｄｅｓＡｔＤｅｐｔｈは該当深さで復号されるノードの数を示す。変数ＮｏｄｅＸ[ｄｅｐｔｈ][ｎｏｄｅＩｄｘ]、ＮｏｄｅＹ[ｄｅｐｔｈ][ｎｏｄｅＩｄｘ]、ＮｏｄｅＺ[ｄｅｐｔｈ][ｎｏｄｅＩｄｘ]は所定の深さで復号順にｎｏｄｅＩｄｘ番目のノードのｘ、ｙ、ｚ座標を示す。ｇｅｏｍｅｔｒｙ_ｎｏｄｅ(ｄｅｐｔｈ、ｎｏｄｅＩｄｘ、ｘＮ、ｙＮ、ｚＮ)により該当深さの該当ノードのジオメトリビットストリームを送信する。
【0560】
実施例によるジオメトリスライスデータ(ｇｅｏｍｅｔｒｙ_ｓｌｉｃｅ_ｄａｔａ()は、ｌｏｇ２_ｔｒｉｓｏｕｐ_ｎｏｄｅ_ｓｉｚｅフィールドの値が０より大きいと、さらにｇｅｏｍｅｔｒｙ_ｔｒｉｓｏｕｐ_ｄａｔａ()を含む。即ち、三角形ノードのサイズが０より大きいと、ｇｅｏｍｅｔｒｙ_ｔｒｉｓｏｕｐ_ｄａｔａ()によりｔｒｉｓｏｕｐジオメトリ符号化されたジオメトリビットストリームを送信する。
【0561】
図３２はこの明細書による特質スライスビットストリーム()のシンタックス構造の一例を示す図である。
【0562】
実施例による特質スライスビットストリーム(ａｔｔｒｉｂｕｔｅ_ｓｌｉｃｅ_ｂｉｔｓｔｒｅａｍ())は、特質スライスヘッダ(ａｔｔｒｉｂｕｔｅ_ｓｌｉｃｅ_ｈｅａｄｅｒ())と特質スライスデータ(ａｔｔｒｉｂｕｔｅ_ｓｌｉｃｅ_ｄａｔａ())を含む。
【0563】
図３３はこの明細書による特質スライスヘッダ(ａｔｔｒｉｂｕｔｅ_ｓｌｉｃｅ_ｈｅａｄｅｒ())のシンタックス構造の一例を示す図である。実施例による特質スライスヘッダは該当特質スライスのためのシグナリング情報を含み、特に予測器選択関連のオプション情報を含む例を示している。
【0564】
実施例による特質スライスヘッダ(ａｔｔｒｉｂｕｔｅ_ｓｌｉｃｅ_ｈｅａｄｅｒ())は、ａｓｈ_ａｔｔｒ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄフィールド、ａｓｈ_ａｔｔｒ_ｓｐｓ_ａｔｔｒ_ｉｄｘフィールド及びａｓｈ_ａｔｔｒ_ｇｅｏｍ_ｓｌｉｃｅ_ｉｄフィールドを含む。
【0565】
実施例による特質スライスヘッダ(ａｔｔｒｉｂｕｔｅ_ｓｌｉｃｅ_ｈｅａｄｅｒ())は、特質パラメータセット(ＡＰＳ)のａｐｓ_ｓｌｉｃｅ_ｑｐ_ｄｅｌｔａ_ｐｒｅｓｅｎｔ_ｆｌａｇフィールドの値が真(例えば、１)であると、さらにａｓｈ_ｑｐ_ｄｅｌｔａ_ｌｕｍａフィールドとａｓｈ_ｑｐ_ｄｅｌｔａ_ｃｈｒｏｍａフィールドを含む。
【0566】
ａｓｈ_ａｔｔｒ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄフィールドは、現在のアクティブＡＰＳのａｐｓ_ａｔｔｒ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄフィールド(例えば、図２７で説明したＡＰＳに含まれたａｐｓ_ａｔｔｒ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄフィールド)の値を示す。
【0567】
ａｓｈ_ａｔｔｒ_ｓｐｓ_ａｔｔｒ_ｉｄｘフィールドは、現在のアクティブＳＰＳ内の特質セットを識別する。ａｓｈ_ａｔｔｒ_ｓｐｓ_ａｔｔｒ_ｉｄｘフィールドの値は０から現在のアクティブＳＰＳに含まれたｓｐｓ_ｎｕｍ_ａｔｔｒｉｂｕｔｅ_ｓｅｔｓフィールドの範囲内にある。
【0568】
ａｓｈ_ａｔｔｒ_ｇｅｏｍ_ｓｌｉｃｅ_ｉｄフィールドは、現在のジオメトリスライスヘッダのｇｓｈ_ｓｌｉｃｅ_ｉｄフィールドの値を示す。
【0569】
ａｓｈ_ｑｐ_ｄｅｌｔａ_ｌｕｍａフィールドは、アクティブ特質パラメータセット内の初期スライスｑｐから導き出されたルマ・デルタ量子化パラメータ(ｑｐ)を示す。
【0570】
ａｓｈ_ｑｐ_ｄｅｌｔａ_ｃｈｒｏｍａフィールドは、アクティブ特質パラメータセット内の初期スライスｑｐから導き出されたクロマ・デルタ量子化パラメータ(ｑｐ)を示す。
【0571】
実施例による特質スライスヘッダ(ａｔｔｒｉｂｕｔｅ_ｓｌｉｃｅ_ｈｅａｄｅｒ())は、さらに予測器選択関連のオプション情報、例えば、ａｔｔｒｉｂｕｔｅ_ｂａｓｅ_ｐｒｅｄｉｃｔｏｒ ｓｅｌｅｃｔｉｏｎ_ｔｙｐｅフィールドとａｔｔｒｉｂｕｔｅ_ｓｉｍｉｌａｒｉｔｙ_ｃｈｅｃｋ_ｍｅｔｈｏｄ_ｔｙｐｅフィールドを含む。
【0572】
ａｔｔｒｉｂｕｔｅ_ｂａｓｅ_ｐｒｅｄｉｃｔｏｒ ｓｅｌｅｃｔｉｏｎ_ｔｙｐｅフィールドは基本予測器選択方法を示す。例えば、ａｔｔｒｉｂｕｔｅ_ｂａｓｅ_ｐｒｅｄｉｃｔｏｒ ｓｅｌｅｃｔｉｏｎ_ｔｙｐｅフィールドの値が０であると、隣接の加重値平均(ｗｅｉｇｈｔｅｄ ａｖｅｒａｇｅ ｏｆ ｎｅｉｇｈｂｏｕｒｓ)に基づいて基本予測器が選択され、１であると、特質類似性(ａｔｔｒｉｂｕｔｅ ｓｉｍｉｌａｒｉｔｙ)に基づいて基本予測器が選択されたことを示す。
【0573】
ａｔｔｒｉｂｕｔｅ_ｓｉｍｉｌａｒｉｔｙ_ｃｈｅｃｋ_ｍｅｔｈｏｄ_ｔｙｐｅフィールドは特質類似性検索方法を示す。例えば、ａｔｔｒｉｂｕｔｅ_ｓｉｍｉｌａｒｉｔｙ_ｃｈｅｃｋ_ｍｅｔｈｏｄ_ｔｙｐｅフィールドの値が０であると、数８のようなユークリッド色距離(Ｅｕｃｌｉｄｅａｎ Ｃｏｌｏｒ Ｄｉｓｔａｎｃｅ)を使用し、１であると、数９のような(Ｃｏｒｒｅｌａｔｅｄ Ｃｏｌｏｒ Ｔｅｍｐｅｒａｔｕｒｅ)を使用し、２であると、数１０のようなＣＩＥ９４を使用したことを示す。
【0574】
このようにａｔｔｒｉｂｕｔｅ_ｂａｓｅ_ｐｒｅｄｉｃｔｏｒ ｓｅｌｅｃｔｉｏｎ_ｔｙｐｅフィールドとａｔｔｒｉｂｕｔｅ_ｓｉｍｉｌａｒｉｔｙ_ｃｈｅｃｋ_ｍｅｔｈｏｄ_ｔｙｐｅフィールドは、特質スライスヘッダ(ａｔｔｒｉｂｕｔｅ_ｓｌｉｃｅ_ｈｅａｄｅｒ())にシグナリングされることができる。
【0575】
図３４はこの明細書による特質スライスデータ(ａｔｔｒｉｂｕｔｅ_ｓｌｉｃｅ_ｄａｔａ())のシンタックス構造の一実施例を示す図である。実施例による特質スライスデータ(ａｔｔｒｉｂｕｔｅ_ｓｌｉｃｅ_ｄａｔａ())は該当スライスに属する特質ビットストリームを送信する。
【0576】
図３４の特質スライスデータ(ａｔｔｒｉｂｕｔｅ_ｓｌｉｃｅ_ｄａｔａ())において、ｄｉｍｅｎｓｉｏｎ＝ａｔｔｒｉｂｕｔｅ_ｄｉｍｅｎｓｉｏｎ[ａｓｈ_ａｔｔｒ_ｓｐｓ_ａｔｔｒ_ｉｄｘ]は、該当特質スライスヘッダ内のａｓｈ_ａｔｔｒ_ｓｐｓ_ａｔｔｒ_ｉｄｘフィールドにより識別される特質セットの特質次元(ａｔｔｒｉｂｕｔｅ_ｄｉｍｅｎｓｉｏｎ)を示す。特質次元(ａｔｔｒｉｂｕｔｅ_ｄｉｍｅｎｓｉｏｎ)は特質を構成するコンポーネントの数を意味する。実施例による特質は反射率、色相などを示す。よって、特質が有するコンポーネントの数は異なる。例えば、色相に対応する特質は３つの色相コンポーネント(例えば、ＲＧＢ)を有する。よって、反射率に対応する特質はモノ次元特質(ｍｏｎｏ－ｄｉｍｅｎｓｉｏｎａｌ ａｔｔｒｉｂｕｔｅ)になり、色相に対応する特質は３次元特質(ｔｈｒｅｅ－ｄｉｍｅｎｓｉｏｎａｌ ａｔｔｒｉｂｕｔｅ)になる。
【0577】
実施例による特質は次元(ｄｅｍｅｎｓｉｏｎ)ごとに特質符号化される。
【0578】
例えば、反射率に対応する特質と色相に対応する特質はそれぞれ特質符号化される。また、実施例による特質は次元に関係なく一緒に特質符号化される。例えば、反射率に対応する特質及び色相に対応する特質は一緒に特質符号化されることができる。
【0579】
図３４において、ｚｅｒｏｒｕｎは残余特質値(ｒｅｓｉｄｕａｌ)の前の０の数を示す(ｚｅｒｏｒｕｎ ｓｐｅｃｉｆｉｅｓ ｔｈｅ ｎｕｍｂｅｒ ｏｆ ０ ｐｒｉｏｒ ｔｏ ｒｅｓｉｄｕａｌ)。
【0580】
また図３４において、ｉはその特質のｉ番目のポイント値を意味し、ａｔｔｒ_ｃｏｄｉｎｇ_ｔｙｐｅフィールドとｌｉｆｔｉｎｇ_ａｄａｐｔｉｖｅ_ｐｒｅｄｉｃｔｉｏｎ_ｔｈｒｅｓｈｏｌｄフィールドはＡＰＳにシグナリングされることを一実施例とする。
【0581】
また、図３４において、変数ＭａｘＮｕｍＰｒｅｄｉｃｔｏｒｓはポイントクラウドデータ復号の過程で使用される変数であり、ＡＰＳにシグナリングされたｌｉｆｔｉｎｇ_ａｄａｐｔｉｖｅ_ｐｒｅｄｉｃｔｉｏｎ_ｔｈｒｅｓｈｏｌｄフィールド値に基づいて以下のように得られる。
【0582】
ＭａｘＮｕｍＰｒｅｄｉｃｔｏＲＳ＝ｌｉｆｔｉｎｇ_ｍａｘ_ｎｕｍ_ｄｉｒｅｃｔ_ｐｒｅｄｉｃｔｏｒｓフィールド＋１
【0583】
ここで、ｌｉｆｔｉｎｇ_ｍａｘ_ｎｕｍ_ｄｉｒｅｃｔ_ｐｒｅｄｉｃｔｏｒｓフィールドは、ダイレクト予測のために使用される予測器の最大個数を示す。
【0584】
実施例によるｐｒｅｄＩｉｎｄｅｘ[ｉ]は、その特質のｉ番目のポイント値を復号するための予測器インデックス(ｐｒｅｄｉｃｔｏｒ ｉｎｄｅｘ又はｐｒｅｄｉｃｔｉｏｎ ｍｏｄｅという)を示す(ｓｐｅｃｉｆｉｅｓ ｔｈｅ ｐｒｅｄｉｃｔｏｒ ｉｎｄｅｘ(ｏｒ ｐｒｅｄｉｃｔｉｏｎ ｍｏｄｅ) ｔｏ ｄｅｃｏｄｅ ｔｈｅ ｉ－ｔｈ ｐｏｉｎｔ ｖａｌｕｅ ｏｆ ｔｈｅ ａｔｔｒｉｂｕｔｅ)。ｐｒｅｄＩｎｄｅｘ[ｉ]の値は０からｌｉｆｔｉｎｇ_ｍａｘ_ｎｕｍ_ｄｉｒｅｃｔ_ｐｒｅｄｉｃｔｏｒｓフィールド値までの範囲にある。
【0585】
実施例による変数(ｖａｒｉａｂｌｅ)ＭａｘＰｒｅｄＤｉｆｆ「ｉ]は以下のように計算される。
【0586】
ｍｉｎＶａｌｕｅ＝ｍａｘＶａｌｕｅ＝
【0587】
ｆｏｒ (ｊ＝０；ｊ＜ｋ；ｊ＋＋){
【0588】
ｍｉｎＶａｌｕｅ＝Ｍｉｎ(ｍｉｎＶａｌｕｅ、
)
【0589】
ｍａｘＶａｌｕｅ＝Ｍａｘ(ｍａｘＶａｌｕｅ、
)
【0590】
}
【0591】
ＭａｘＰｒｅｄＤｉｆｆ[ｉ]＝ｍａｘＶａｌｕｅ－ｍｉｎＶａｌｕｅ；
【0592】
ここで、ｋiは現在ポイントｉのｋ－最隣接のセットであり、
はそれらの復号された／再構成された特質値であると定義される(Ｌｅｔ ｋi ｂｅ ｔｈｅ ｓｅｔ ｏｆ ｔｈｅ ｋ－ｎｅａｒｅｓｔ ｎｅｉｇｈｂｏｕｒｓ ｏｆ ｔｈｅ ｃｕｒｒｅｎｔ ｐｏｉｎｔ い ａｎｄ ｌｅｔ
ｂｅ ｔｈｅｉｒ ｄｅｃｏｄｅｄ／ｒｅｃｏｎｓｔｒｕｃｔｅｄ ａｔｔｒｉｂｕｔｅ ｖａｌｕｅｓ)。また最隣接の数であるｋiは１からｌｉｆｔｉｎｇ_ｎｕｍ_ｐｒｅｄ_ｎｅａｒｅｓｔ_ｎｅｉｇｈｂｏｕｒｓフィールドの値までの範囲にある(Ｔｈｅ ｎｕｍｂｅｒ ｏｆ ｎｅａｒｅｓｔ ｎｅｉｇｈｂｏｕｒｓ、ｋi ｓｈａｌｌ ｂｅ ｒａｎｇｅ ｏｆ １ ｔｏ ｌｉｆｔｉｎｇ_ｎｕｍ_ｐｒｅｄ_ｎｅａｒｅｓｔ_ｎｅｉｇｈｂｏｕｒｓ)。実施例によれば、隣接の復号された／再構成された特質値は予測リフト復号の過程により導き出される(得られる)(Ｔｈｅ ｄｅｃｏｄｅｄ／ｒｅｃｏｎｓｔｒｕｃｔｅｄ ａｔｔｒｉｂｕｔｅ ｖａｌｕｅ ｏｆ ｎｅｉｇｈｂｏｕｒｓ ａｒｅ ｄｅｒｉｖｅｄ ａｃｃｏｒｄｉｎｇ ｔｏ ｔｈｅ Ｐｒｅｄｉｃｔｉｖｅ ｌｉｆｔｉｎｇ ｄｅｃｏｄｉｎｇ ｐｒｏｃｅｓｓ)。
【0593】
ｌｉｆｔｉｎｇ_ｎｕｍ_ｐｒｅｄ_ｎｅａｒｅｓｔ_ｎｅｉｇｈｂｏｕｒｓフィールドはＡＰＳにシグナリングされ、予測のために使用される最隣接の最大数を示す。
【0594】
図３５は実施例によるポイントクラウドデータ送信方法のフローチャートである。
【0595】
実施例によるポイントクラウドデータ送信方法は、ポイントクラウドデータに含まれたジオメトリを符号化する段階７１００１、入力された及び／又は再構成されたジオメトリに基づいてポイントクラウドデータに含まれた特質を符号化する段階７１００２、また符号化されたジオメトリ、符号化された特質及びシグナリング情報を含むビットストリームを送信する段階７１００３を含む。
【0596】
ポイントクラウドデータに含まれたジオメトリと特質を符号化する段階７１００１、７１００２は、図１のポイントクラウドビデオエンコーダ１０００２、図２の符号化２０００１、図４のポイントクラウドビデオエンコーダ、図１２のポイントクラウドビデオエンコーダ、図１４のポイントクラウド符号化、図１５のポイントクラウドビデオエンコーダ、図１７のジオメトリエンコーダと特質エンコーダの動作の一部又は全体を行う。
【0597】
一実施例において、特質を符号化する段階７１００２で設定される特定のポイントの予測モードは予測モード０ないし予測モード３のうちのいずれかである。
【0598】
実施例によれば、該当ポイントの予測器に登録された隣接ポイントの特質値の間の最大差(ｍａｘｉｍｕｍ ｄｉｆｆｅｒｅｎｃｅ)の値が所定のしきい値より小さいと、予測モード０を該当ポイントの予測モードとして設定し、所定のしきい値と等しいか又は大きいと、複数の候補予測モードに対してＲＤＯ方法を適用して、これらのうちのいずれかを該当ポイントの予測モードとして設定する。かかる過程は各ポイントごとに行うことを一実施例とする。
【0599】
実施例によれば、該当ポイントの予測器に登録された隣接ポイントの特質値の間の最大差(ｍａｘｉｍｕｍ ｄｉｆｆｅｒｅｎｃｅ)の値が所定のしきい値と等しいか又は大きいと、予測モード０に該当する予測器を基本予測器として設定した後、基本予測器は数５を適用し、該当ポイントの隣接ポイントに対応する予測器は数６を適用してスコアを計算する。またスコアが一番低い予測器に該当する予測モードを該当ポイントの予測モードとして設定する。該当ポイントの予測モードは予測モード０ないし予測モード３のうちのいずれかに設定される。
【0600】
実施例によれば、該当ポイントの予測器に登録された隣接ポイントの特質値の間の最大差(ｍａｘｉｍｕｍ ｄｉｆｆｅｒｅｎｃｅ)の値が所定のしきい値と等しいか又は大きいと、該当ポイントの特質値と該当ポイントに登録された隣接ポイントの間の類似特質値を求め、該当ポイントに登録された隣接ポイントのうち、最も類似した特質値を有する隣接ポイントの予測器を基本予測器として設定する。また基本予測器は数５を適用し、基本予測器として設定された隣接ポイントを除いた残りの隣接ポイントに対応する予測器は数６を適用してスコアを計算した後、スコアが一番低い予測器に該当する予測モードを該当ポイントの予測モードとして設定する。即ち、該当ポイントの予測モードを設定するために、予測モード０に該当する予測器が使用されない。言い換えれば、該当ポイントの予測モードは予測モード１ないし予測モード３のうちのいずれかに設定される。
【0601】
実施例によれば、該当ポイントの予測器に登録された隣接ポイントの特質値の間の最大差(ｍａｘｉｍｕｍ ｄｉｆｆｅｒｅｎｃｅ)の値が所定のしきい値と等しいか又は大きいと、該当ポイントの隣接ポイントに対応する予測器に数７を適用してスコアを計算した後、スコアが一番低い予測器に該当する予測モードを該当ポイントの予測モードとして設定する。即ち、該当ポイントの予測モードを設定するために、予測モード０に該当する予測器が使用されない。言い換えれば、該当ポイントの予測モードは予測モード１ないし３のうちのいずれかに設定される。
【0602】
実施例によれば、ＲＤＯ方法を適用して選択される該当ポイントの予測モード(ｐｒｅｄＩｎｄｅｘ)は、特質スライスデータにシグナリングされる。
【0603】
実施例によれば、特質を符号化する段階７１００２は、各ポイントの残余特質値にゼロランレングス符号化を適用することができる。
【0604】
実施例によるジオメトリと特質を符号化する段階７１００１、７１００２は、スライス又は一つ又はそれ以上のスライスを含むタイル単位で符号化を行うことができる。
【0605】
符号化されたジオメトリ、符号化された特質、及びシグナリング情報を含むビットストリームを送信する段階７１００３は、図１の送受信機１０００３、図２の送信段階２０００２、図１２の送信処理部１２０１２又は図１５の送信処理部５１００８で行われることもできる。
【0606】
図３６は実施例によるポイントクラウドデータ受信方法のフローチャートである。
【0607】
実施例によるポイントクラウドデータ受信方法は、符号化されたジオメトリ、符号化された特質、及びシグナリング情報を含むビットストリームを受信する段階８１００１、シグナリング情報に基づいてジオメトリを復号する段階８１００２、復号／再構成されたジオメトリとシグナリング情報に基づいて特質を復号する段階８１００３、及び復号されたジオメトリと復号された特質に基づいて復元されたポイントクラウドデータをレンダリングする段階８１００４を含む。
【0608】
実施例による符号化されたジオメトリ、符号化された特質、及び シグナリング情報を含むビットストリームを受信する段階８１００１は、図１の受信１０００５、図２の送信２０００２又は復号２０００３、図１３の受信部１３０００又は受信処理部１３００１、又は図２０の受信処理部６１００１で行われることができる。
【0609】
実施例によるジオメトリと特質を復号する段階８１００２、８１００３は、スライス又は一つ又はそれ以上のスライスを含むタイル単位で復号を行う。
【0610】
実施例によるジオメトリを復号する段階８１００２は、図１のポイントクラウドビデオデコーダ１０００６、図２の復号２０００３、図１１のポイントクラウドビデオデコーダ、図１３のポイントクラウドビデオデコーダ、図２０のジオメトリデコーダ、図２１のジオメトリデコーダの動作の一部又は全体を行う。
【0611】
実施例による特質を復号する段階８１００３は、図１のポイントクラウドビデオデコーダ１０００６、図２の復号２０００３、図１１のポイントクラウドビデオデコーダ、図１３のポイントクラウドビデオデコーダ、図２０の特質デコーダ、図２１の特質デコーダの動作の一部又は全体を行う。
【0612】
実施例によれば、シグナリング情報、例えば、シーケンスパラメータセット、特質パラメータセット、タイルパラメータセット、及び特質スライスヘッダのうちのいずれかは、特質予測のために使用された予測器の最大数の情報(ｌｉｆｔｉｎｇ_ｍａｘ_ｎｕｍ_ｄｉｒｅｃｔ_ｐｒｅｄｉｃｔｏｒｓ)、特質の適応的予測を可能にするためのしきい値の情報(ｌｉｆｔｉｎｇ_ａｄａｐｔｉｖｅ_ｐｒｅｄｉｃｔｉｏｎ_ｔｈｒｅｓｈｏｌｄ)、基本予測器選択 方法(ａｔｔｒｉｂｕｔｅ_ｂａｓｅ_ｐｒｅｄｉｃｔｏｒ ｓｅｌｅｃｔｉｏｎ_ｔｙｐｅ)、及び類似特質検索方法(ａｔｔｒｉｂｕｔｅ_ｓｉｍｉｌａｒｉｔｙ_ｃｈｅｃｋ_ｍｅｔｈｏｄ_ｔｙｐｅ)などを含む。
【0613】
実施例によれば、特質スライスデータは、特定のポイントに対して予測モードを示す予測器インデックス情報(ｐｒｅｄＩｎｄｅｘ)を含む。
【0614】
実施例によって、特質を復号する段階８１００３は、特定のポイントを特質復号するとき、該当特質スライスデータに該当ポイントの予測器インデックス情報がシグナリングされていないと、予測モード０に基づいて該当ポイントの特質値を予測する。
【0615】
実施例によって、特質を復号する段階８１００３は、特定のポイントを特質復号するとき、該当特質スライスデータに該当ポイントの予測器インデックス情報がシグナリングされていると、シグナリングされた予測モードに基づいて該当ポイントの特質値を予測する。
【0616】
実施例によって、特質を復号する段階８１００３は、特定のポイントを特質復号するとき、予測された特質値に受信された該当ポイントの残余特質値を加えて該当ポイントの特質値を復元する。特質を復号する段階８１００３では、かかる過程を各ポイントごとに行って各ポイントの特質値を復元する。
【0617】
実施例によって、特質を復号する段階８１００３は、残余特質値に対してゼロランレングス符号化されていると、特質値の復元前に、送信側の逆過程であるゼロランレングス復号を行う。
【0618】
実施例による復号されたジオメトリと復号された特質に基づいて復元されたポイントクラウドデータをレンダリングする段階８１００４は、復元されたポイントクラウドデータを様々なレンダリング方式でレンダリングすることができる。例えば、ポイントクラウドコンテンツのポイントは、一定の厚さを有する頂点、該当頂点の位置を中央とする特定の最小サイズを有する立方体、又は頂点の位置を中央とする円などにレンダリングされる。レンダリングされたポイントクラウドコンテンツの全部又は一部の領域は、ディスプレイ(例えば、ＶＲ／ＡＲディスプレイ、一般ディスプレイなど)によりユーザに提供される。
【0619】
【0620】
この明細書は該当ポイントの予測器に登録された隣接ポイントの特質値の間の最大差の値が所定のしきい値と等しいか又は大きいと、予測器候補に加重値平均により予測特質値を計算する予測モードが該当ポイントの予測モードとして設定されないようにして、残余特質値を含むビットストリームのサイズを縮めることができ、これにより、特質の圧縮効率を高めることができる。
【0621】
上述したそれぞれのパート、モジュール又はユニットはメモリ(又は貯蔵ユニット)に貯蔵された連続する実行過程を行うソフトウェア、プロセッサ、ハードウェアパートである。上記実施例に記載された各段階は、プロセッサ、ソフトウェア、ハードウェアパートにより行われる。上記実施例に記載のそれぞれのモジュール／ブロック／ユニットは、プロセッサ、ソフトウェア、ハードウェアとして動作する。また実施例が提示する方法はコードとして実行される。このコードはプロセッサが読み取り可能な格納媒体に書き込まれ、よって装置が提供するプロセッサにより読み取られる。
【0622】
また全明細書において、ある部分がある構成要素を“含む”とするとき、これは特に記載しない限り、他の構成要素を除くことではなく、他の構成要素をさらに含むことを意味する。また明細書に記載の“…部”などの用語は、少なくとも一つの機能や動作を処理する単位を意味し、これはハードウェアやソフトウェア又はハードウェアとソフトウェアの組み合わせにより具現される。
【0623】
説明の便宜のために、各図を区分して説明したが、各図に述べられている実施例を併合して新しい実施例を具現するように設計することも可能である。また通常の技術者の必要によって、以前に説明した実施例を実行するためのプログラムが記録されているコンピューターで読み取り可能な記録媒体を設計することも実施例の権利範囲に属する。
【0624】
実施例による装置及び方法は、上述したように、説明された実施例の構成と方法が限定して適用されることではなく、実施例は様々に変形可能に各実施例の全部又は一部が選択的に組み合わせられて構成されることもできる。
【0625】
実施例の好ましい実施例について示して説明したが、実施例は上述した特定の実施例に限定されず、請求の範囲で請求する実施例の要旨から離脱せず、当該発明が属する技術分野において通常の知識を有する者により様々な変形実施が可能であり、かかる変形実施は実施例の技術的思想や見込みから個々に理解されてはいけない。
【0626】
実施例による装置の様々な構成要素は、ハードウェア、ソフトウェア、ファームウェア又はそれらの組み合わせにより構成される。実施例の様々な構成要素は一つのチップ、例えば、一つのハードウェア回路で具現される。実施例において、実施例による構成要素はそれぞれ個々のチップで具現される。実施例において、実施例による装置の構成要素のいずれかは一つ又はそれ以上のプログラムを実行できる一つ又はそれ以上のプロセッサで構成され、一つ又はそれ以上のプログラムは実施例による動作／方法のうちのいずれか一つ又はそれ以上の動作／方法を行わせるか、実行させるための指示を含む。実施例による装置の方法／動作を行うための実行可能な指示は、一つ又はそれ以上のプロセッサにより実行されるために構成された一時的ではないＣＲＭ又は他のコンピュータープログラム製品に格納されるか、又は一つ又はそれ以上のプロセッサにより実行されるために構成された一時的なＣＲＭ又は他のコンピュータープログラム製品に格納されることができる。また実施例によるメモリは、揮発性メモリ(例えば、ＲＡＭなど)だけではなく、非揮発性メモリ、フラッシュメモリ、ＰＲＯＭなどを全部含む概念として使用される。また、インターネットによる送信などのような搬送波の形態で具現されることも含む。またプロセッサが読み取られる記録媒体は、ネットワークで連結されたコンピューターシステムに分散されて、分散方式によりプロセッサが読み取られるコードが格納されて実行されることができる。
【0627】
この明細書において、“／”と“,”は“及び／又は”に解釈される。例えば、“Ａ／Ｂ”は“Ａ及び／又はＢ”に解釈され、“Ａ、Ｂ”は“Ａ及び／又はＢ”に解釈される。さらに、“Ａ／Ｂ／Ｃ”は“Ａ、Ｂ及び／又はＣのうちのいずれか”を意味する。また、“Ａ、Ｂ、Ｃ”も“Ａ、Ｂ及び／又はＣのうちのいずれか”を意味する。さらに、この文書において、“又は”は“及び／又は”に解釈される。例えば、“Ａ又はＢ”は、１)“Ａ”のみを意味するか、２)“Ｂ”のみを意味するか、又は３)“Ａ及びＢ”を意味する。言い換えれば、この明細書において“又は”は“さらに(ａｄｄｉｔｉｏｎａｌｌｙ)又は代わりに(ａｌｔｅｒｎａｔｉｖｅｌｙ)”を意味する。
【0628】
第１、第２などの用語は実施例の様々な構成要素を説明するために使用される。しかし、実施例による様々な構成要素は上記用語により解釈が制限されてはいけない。かかる用語は一つの構成要素を他の構成要素と区別するために使用されることに過ぎない。例えば、第１ユーザ入力信号は第２ユーザ入力信号と称することができる。同様に、第２ユーザ入力信号は第１ユーザ入力信号と称することができる。かかる用語の使用は様々な実施例の範囲から離脱していない。第１ユーザ入力信号及び第２ユーザ入力信号はいずれもユーザ入力信号であるが、文脈上、明確に示していない限り、同一のユーザ入力信号を意味してはいない。
【0629】
実施例を説明のために使用された用語は、特定の実施例を説明するために使用されており、実施例を制限されるものではない。実施例の説明及び請求範囲で使用したように、文脈上明確に称していない限り、単数は複数を含む。「及び／又は」表現は用語間の全ての可能な結合を含む意味で使用される。「含む」は特徴、数、段階、要素及び／又はコンポーネントが存在することを説明し、さらなる特徴、数、段階、要素及び／又はコンポーネントを含まないことを意味しない。実施例を説明するために使用される、「～である場合」、「～の時」などの条件表現は選択的な場合にのみ制限して解釈されない。特定の条件を満たすとき、特定の条件に対応して関連動作を行うか、又は関連定義が解釈されるように意図されている。また、この明細書で説明する実施例による動作は、実施例によってメモリ及び／又はプロセッサを含む送受信装置により行われる。メモリは実施例による動作を処理／制御するためのプログラムを格納し、プロセッサはこの明細書で説明した様々な動作を制御する。プロセッサはコントローラとも称される。実施例において、動作はファームウェア、ソフトウェア及び／又はそれらの組み合わせにより行われ、ファームウェア、ソフトウェア及び／又はそれらの組み合わせはプロセッサに格納されるか又はメモリに格納される。
【0630】
以上、実施例を実施するための最善の形態について説明した。
【産業上の利用可能性】
【0631】
上述したように、実施例はポイントクラウドデータの送受信装置及びシステムに全体的又は部分的に適用することができる。
【0632】
当業者は実施例の範囲内で実施例を様々に変更又は変形することができる。
【0633】
実施例は変更／変形を含み、変更／変形は請求の範囲及びそれらの範囲内のものである。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】
【図35】
【図36】
【手続補正書】
【提出日】2024-04-16
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
符号化装置においてポイントクラウドデータを符号化する方法であって、
前記ポイントクラウドデータ内のポイントの位置を含むジオメトリ情報を符号化する段階と、
前記ポイントクラウドデータ内のポイントの特質値を含む特質情報を符号化する段階と、を含み、
前記特質情報を符号化する段階は、
符号化されるポイントの複数の最隣接ポイントの特質値の間の最大差値が、しきい値と等しいか又は大きい場合、前記複数の最隣接ポイントに基づいて予測器候補を生成する段階であって、各予測器候補は、それぞれの予測モードに対応し、予測モード０に対応する予測器は、前記予測器候補から除外され、前記予測モード０は、前記複数の最隣接ポイントの距離基盤の加重値平均値に基づくモードである、段階と、
前記各予測器候補のスコアを取得し、最低のスコアを有する予測器候補に対応する予測モードを設定する段階であって、前記設定された予測モードは、予測モード１、予測モード２又は予測モード３の１つである、段階と、
前記設定された予測モードに基づいて、前記ポイントの残余の特質値を符号化する段階と、を含む、ポイントクラウドデータ符号化方法。
前記ポイントクラウドデータ内のポイントの位置を含むジオメトリ情報を符号化する段階と、
前記ポイントクラウドデータ内のポイントの特質値を含む特質情報を符号化する段階と、を含み、
前記特質情報を符号化する段階は、
符号化されるポイントの複数の最隣接ポイントの特質値の間の最大差値が、しきい値と等しいか又は大きい場合、前記複数の最隣接ポイントに基づいて予測器候補を生成する段階であって、各予測器候補は、それぞれの予測モードに対応し、予測モード０に対応する予測器は、前記予測器候補から除外され、前記予測モード０は、前記複数の最隣接ポイントの距離基盤の加重値平均値に基づくモードである、段階と、
前記各予測器候補のスコアを取得し、最低のスコアを有する予測器候補に対応する予測モードを設定する段階であって、前記設定された予測モードは、予測モード１、予測モード２又は予測モード３の１つである、段階と、
前記設定された予測モードに基づいて、前記ポイントの残余の特質値を符号化する段階と、を含む、ポイントクラウドデータ符号化方法。
【請求項2】
前記各予測器候補のスコアは、前記それぞれの予測モードに対する予測特質値に前記ポイントの入力特質値を適用することにより得られるそれぞれの残余の特質値に基づいて取得される、請求項１に記載のポイントクラウドデータ符号化方法。
【請求項3】
前記予測モード１に対する前記ポイントの予測特質値は、前記複数の最隣接ポイントの一番目に近い隣接ポイントの特質値として設定され、
前記予測モード２に対する前記ポイントの予測特質値は、前記複数の最隣接ポイントの二番目に近い隣接ポイントの特質値として設定され、
前記予測モード３に対する前記ポイントの予測特質値は、前記複数の最隣接ポイントの三番目に近い隣接ポイントの特質値として設定される、請求項１に記載のポイントクラウドデータ符号化方法。
前記予測モード２に対する前記ポイントの予測特質値は、前記複数の最隣接ポイントの二番目に近い隣接ポイントの特質値として設定され、
前記予測モード３に対する前記ポイントの予測特質値は、前記複数の最隣接ポイントの三番目に近い隣接ポイントの特質値として設定される、請求項１に記載のポイントクラウドデータ符号化方法。
【請求項4】
前記複数の最隣接ポイントの特質値の間の前記最大差値が前記しきい値より小さい場合、前記予測モード０を設定する段階と、
前記設定された予測モード０に基づいて、前記ポイントの残余の特質値を符号化する段階と、をさらに含む、請求項１に記載のポイントクラウドデータ符号化方法。
前記設定された予測モード０に基づいて、前記ポイントの残余の特質値を符号化する段階と、をさらに含む、請求項１に記載のポイントクラウドデータ符号化方法。
【請求項5】
ポイントクラウドデータを符号化するための符号化装置であって、
前記ポイントクラウドデータ内のポイントの位置を含むジオメトリ情報を符号化するよう構成されたジオメトリエンコーダと、
前記ポイントクラウドデータ内のポイントの特質値を含む特質情報を符号化するよう構成された特質エンコーダと、を含み、
前記特質エンコーダは、
符号化されるポイントの複数の最隣接ポイントの特質値の間の最大差値が、しきい値と等しいか又は大きい場合、前記複数の最隣接ポイントに基づいて予測器候補を生成し、各予測器候補は、それぞれの予測モードに対応し、予測モード０に対応する予測器は、前記予測器候補から除外され、前記予測モード０は、前記複数の最隣接ポイントの距離基盤の加重値平均値に基づくモードであり、
前記各予測器候補のスコアを取得し、最低のスコアを有する予測器候補に対応する予測モードを設定し、前記設定された予測モードは、予測モード１、予測モード２又は予測モード３の１つであり、
前記設定された予測モードに基づいて、前記ポイントの残余の特質値を符号化する、符号化装置。
前記ポイントクラウドデータ内のポイントの位置を含むジオメトリ情報を符号化するよう構成されたジオメトリエンコーダと、
前記ポイントクラウドデータ内のポイントの特質値を含む特質情報を符号化するよう構成された特質エンコーダと、を含み、
前記特質エンコーダは、
符号化されるポイントの複数の最隣接ポイントの特質値の間の最大差値が、しきい値と等しいか又は大きい場合、前記複数の最隣接ポイントに基づいて予測器候補を生成し、各予測器候補は、それぞれの予測モードに対応し、予測モード０に対応する予測器は、前記予測器候補から除外され、前記予測モード０は、前記複数の最隣接ポイントの距離基盤の加重値平均値に基づくモードであり、
前記各予測器候補のスコアを取得し、最低のスコアを有する予測器候補に対応する予測モードを設定し、前記設定された予測モードは、予測モード１、予測モード２又は予測モード３の１つであり、
前記設定された予測モードに基づいて、前記ポイントの残余の特質値を符号化する、符号化装置。
【請求項6】
前記各予測器候補のスコアは、前記それぞれの予測モードに対する予測特質値に前記ポイントの入力特質値を適用することにより得られるそれぞれの残余の特質値に基づいて取得される、請求項５に記載の符号化装置。
【請求項7】
前記予測モード１に対する前記ポイントの予測特質値は、前記複数の最隣接ポイントの一番目に近い隣接ポイントの特質値として設定され、
前記予測モード２に対する前記ポイントの予測特質値は、前記複数の最隣接ポイントの二番目に近い隣接ポイントの特質値として設定され、
前記予測モード３に対する前記ポイントの予測特質値は、前記複数の最隣接ポイントの三番目に近い隣接ポイントの特質値として設定される、請求項５に記載の符号化装置。
前記予測モード２に対する前記ポイントの予測特質値は、前記複数の最隣接ポイントの二番目に近い隣接ポイントの特質値として設定され、
前記予測モード３に対する前記ポイントの予測特質値は、前記複数の最隣接ポイントの三番目に近い隣接ポイントの特質値として設定される、請求項５に記載の符号化装置。
【請求項8】
前記特質エンコーダは、
前記複数の最隣接ポイントの特質値の間の前記最大差値が前記しきい値より小さい場合、前記予測モード０を設定し、
前記設定された予測モード０に基づいて、前記ポイントの残余の特質値を符号化する、請求項５に記載の符号化装置。
前記複数の最隣接ポイントの特質値の間の前記最大差値が前記しきい値より小さい場合、前記予測モード０を設定し、
前記設定された予測モード０に基づいて、前記ポイントの残余の特質値を符号化する、請求項５に記載の符号化装置。
【請求項9】
ポイントクラウドデータを復号するための復号装置であって、
ジオメトリ情報を復号し、前記ポイントクラウドデータ内のポイントの位置を導出するよう構成されたジオメトリデコーダと、
特質情報を復号し、前記ポイントクラウドデータ内の前記ポイントの特質値を導出するよう構成された特質デコーダと、を含み、
前記特質デコーダは、
復号されるポイントの予測モードを取得し、前記ポイントの複数の最隣接ポイントの特質値の間の最大差値が、しきい値と等しいか又は大きい場合、予測モード０は、前記取得された予測モードから除外され、前記予測モード０は、前記複数の最隣接ポイントの距離基盤の加重値平均値に基づくモードであり、前記ポイントの予測特質値は、前記取得された予測モードに従って、前記複数の最隣接ポイントの１つの特質値として設定され、前記複数の最隣接ポイントの特質値の間の前記最大差値が、前記しきい値と等しいか又は大きい場合、前記ポイントの前記取得された予測モードは、予測モード１、予測モード２又は予測モード３の１つであり、
前記ポイントの前記予測特質値と前記特質情報内の前記ポイントの残余の特質値に基づいて、前記ポイントの特質値を導出する、復号装置。
ジオメトリ情報を復号し、前記ポイントクラウドデータ内のポイントの位置を導出するよう構成されたジオメトリデコーダと、
特質情報を復号し、前記ポイントクラウドデータ内の前記ポイントの特質値を導出するよう構成された特質デコーダと、を含み、
前記特質デコーダは、
復号されるポイントの予測モードを取得し、前記ポイントの複数の最隣接ポイントの特質値の間の最大差値が、しきい値と等しいか又は大きい場合、予測モード０は、前記取得された予測モードから除外され、前記予測モード０は、前記複数の最隣接ポイントの距離基盤の加重値平均値に基づくモードであり、前記ポイントの予測特質値は、前記取得された予測モードに従って、前記複数の最隣接ポイントの１つの特質値として設定され、前記複数の最隣接ポイントの特質値の間の前記最大差値が、前記しきい値と等しいか又は大きい場合、前記ポイントの前記取得された予測モードは、予測モード１、予測モード２又は予測モード３の１つであり、
前記ポイントの前記予測特質値と前記特質情報内の前記ポイントの残余の特質値に基づいて、前記ポイントの特質値を導出する、復号装置。
【請求項10】
前記予測モード１に対する前記ポイントの前記予測特質値は、前記複数の最隣接ポイントの一番目に近い隣接ポイントの特質値として設定され、
前記予測モード２に対する前記ポイントの前記予測特質値は、前記複数の最隣接ポイントの二番目に近い隣接ポイントの特質値として設定され、
前記予測モード３に対する前記ポイントの前記予測特質値は、前記複数の最隣接ポイントの三番目に近い隣接ポイントの特質値として設定される、請求項９に記載の復号装置。
前記予測モード２に対する前記ポイントの前記予測特質値は、前記複数の最隣接ポイントの二番目に近い隣接ポイントの特質値として設定され、
前記予測モード３に対する前記ポイントの前記予測特質値は、前記複数の最隣接ポイントの三番目に近い隣接ポイントの特質値として設定される、請求項９に記載の復号装置。
【請求項11】
前記複数の最隣接ポイントの特質値の間の前記最大差値が前記しきい値より小さい場合、前記ポイントの前記取得された予測モードは、前記予測モード０であり、
前記予測モード０に対する前記ポイントの予測特質値は、前記複数の最隣接ポイントの前記距離基盤の加重値平均値として設定される、請求項９に記載の復号装置。
前記予測モード０に対する前記ポイントの予測特質値は、前記複数の最隣接ポイントの前記距離基盤の加重値平均値として設定される、請求項９に記載の復号装置。
【請求項12】
復号装置においてポイントクラウドデータを復号する方法であって、
ジオメトリ情報を復号し、前記ポイントクラウドデータ内のポイントの位置を導出する段階と、
特質情報を復号し、前記ポイントクラウドデータ内の前記ポイントの特質値を導出する段階と、を含み、
前記特質情報を復号する段階は、
復号されるポイントの予測モードを取得する段階であって、前記ポイントの複数の最隣接ポイントの特質値の間の最大差値が、しきい値と等しいか又は大きい場合、予測モード０は、前記取得された予測モードから除外され、前記予測モード０は、前記複数の最隣接ポイントの距離基盤の加重値平均値に基づくモードであり、前記ポイントの予測特質値は、前記取得された予測モードに従って、前記複数の最隣接ポイントの１つの特質値として設定され、前記複数の最隣接ポイントの特質値の間の前記最大差値が、前記しきい値と等しいか又は大きい場合、前記ポイントの前記取得された予測モードは、予測モード１、予測モード２又は予測モード３の１つである、段階と、
前記ポイントの前記予測特質値と前記特質情報内の前記ポイントの残余の特質値に基づいて、前記ポイントの特質値を導出する段階と、を含む、ポイントクラウドデータ復号方法。
ジオメトリ情報を復号し、前記ポイントクラウドデータ内のポイントの位置を導出する段階と、
特質情報を復号し、前記ポイントクラウドデータ内の前記ポイントの特質値を導出する段階と、を含み、
前記特質情報を復号する段階は、
復号されるポイントの予測モードを取得する段階であって、前記ポイントの複数の最隣接ポイントの特質値の間の最大差値が、しきい値と等しいか又は大きい場合、予測モード０は、前記取得された予測モードから除外され、前記予測モード０は、前記複数の最隣接ポイントの距離基盤の加重値平均値に基づくモードであり、前記ポイントの予測特質値は、前記取得された予測モードに従って、前記複数の最隣接ポイントの１つの特質値として設定され、前記複数の最隣接ポイントの特質値の間の前記最大差値が、前記しきい値と等しいか又は大きい場合、前記ポイントの前記取得された予測モードは、予測モード１、予測モード２又は予測モード３の１つである、段階と、
前記ポイントの前記予測特質値と前記特質情報内の前記ポイントの残余の特質値に基づいて、前記ポイントの特質値を導出する段階と、を含む、ポイントクラウドデータ復号方法。
【請求項13】
前記予測モード１に対する前記ポイントの前記予測特質値は、前記複数の最隣接ポイントの一番目に近い隣接ポイントの特質値として設定され、
前記予測モード２に対する前記ポイントの前記予測特質値は、前記複数の最隣接ポイントの二番目に近い隣接ポイントの特質値として設定され、
前記予測モード３に対する前記ポイントの前記予測特質値は、前記複数の最隣接ポイントの三番目に近い隣接ポイントの特質値として設定される、請求項１２に記載のポイントクラウドデータ復号方法。
前記予測モード２に対する前記ポイントの前記予測特質値は、前記複数の最隣接ポイントの二番目に近い隣接ポイントの特質値として設定され、
前記予測モード３に対する前記ポイントの前記予測特質値は、前記複数の最隣接ポイントの三番目に近い隣接ポイントの特質値として設定される、請求項１２に記載のポイントクラウドデータ復号方法。
【請求項14】
前記複数の最隣接ポイントの特質値の間の前記最大差値が前記しきい値より小さい場合、前記ポイントの前記取得された予測モードは、前記予測モード０であり、
前記予測モード０に対する前記ポイントの予測特質値は、前記複数の最隣接ポイントの前記距離基盤の加重値平均値として設定される、請求項１２に記載のポイントクラウドデータ復号方法。
前記予測モード０に対する前記ポイントの予測特質値は、前記複数の最隣接ポイントの前記距離基盤の加重値平均値として設定される、請求項１２に記載のポイントクラウドデータ復号方法。