特開 2024-95742 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024095742

(43)【公開日】2024-07-10

(54)【発明の名称】三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置

(51)【国際特許分類】

   G06T 9/40 20060101AFI20240703BHJP

   H04N 19/70 20140101ALI20240703BHJP

   H04N 19/597 20140101ALI20240703BHJP

   H04N 19/126 20140101ALI20240703BHJP

【ＦＩ】

G06T9/40

H04N19/70

H04N19/597

H04N19/126

【審査請求】有

【請求項の数】14

【出願形態】ＯＬ

(21)【出願番号】P 2024060582

(22)【出願日】2024-04-04

(62)【分割の表示】P 2020546044の分割

【原出願日】2019-09-10

(31)【優先権主張番号】62/729,712

(32)【優先日】2018-09-11

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】62/731,281

(32)【優先日】2018-09-14

(33)【優先権主張国・地域又は機関】US

(71)【出願人】

【識別番号】514136668

【氏名又は名称】パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ

【氏名又は名称原語表記】Ｐａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ

(74)【代理人】

【識別番号】100109210

【弁理士】

【氏名又は名称】新居 広守

(74)【代理人】

【識別番号】100137235

【弁理士】

【氏名又は名称】寺谷 英作

(74)【代理人】

【識別番号】100131417

【弁理士】

【氏名又は名称】道坂 伸一

(72)【発明者】

【氏名】ハン チャン ディーン

(72)【発明者】

【氏名】ラサン ポンサク

(72)【発明者】

【氏名】ワン チー

(72)【発明者】

【氏名】井口 賀敬

(72)【発明者】

【氏名】杉尾 敏康

【テーマコード（参考）】

5C159

【Ｆターム（参考）】

5C159MC11

5C159ME01

5C159ME11

5C159PP03

5C159PP13

5C159RC12

5C159RC38

5C159TB06

5C159TC28

5C159UA02

5C159UA05

(57)【要約】      （修正有）

【課題】符号化効率を向上できる三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、又は三次元データ復号装置を提供する。
【解決手段】三次元データ符号化方法は、第１量子化パラメータを用いて複数の三次元点それぞれの属性情報の少なくとも一部を構成する第１要素（第１輝度）を量子化し、第２量子化パラメータを用いて複数の三次元点それぞれの属性情報の少なくとも一部を構成する第２要素（第１色差）を量子化し（Ｓ５３９２）、量子化された第１要素、量子化された第２要素、第１量子化パラメータ、第１量子化パラメータと第２量子化パラメータとの第１差分、第１量子化パラメータと第１要素の量子化に利用可能な第３量子化パラメータとの第２差分および第２量子化パラメータと第２要素の量子化に利用可能な第４量子化パラメータとの第３差分を含むビットストリームを生成する（Ｓ５３９３）。
【選択図】図９６

【特許請求の範囲】

【請求項1】

第１量子化パラメータを用いて複数の三次元点それぞれの属性情報の少なくとも一部を構成する第１要素を量子化し、
第２量子化パラメータを用いて前記複数の三次元点それぞれの属性情報の少なくとも一部を構成する第２要素を量子化し、
量子化された前記第１要素、量子化された前記第２要素、前記第１量子化パラメータ、前記第１量子化パラメータと前記第２量子化パラメータとの第１差分、前記第１量子化パラメータと前記第１要素の量子化に利用可能な第３量子化パラメータとの第２差分、および、前記第２量子化パラメータと前記第２要素の量子化に利用可能な第４量子化パラメータとの第３差分を含むビットストリームを生成する
三次元データ符号化方法。

【請求項2】

前記第１要素は輝度を含み、前記第２要素は色差を含む
請求項１に記載の三次元データ符号化方法。

【請求項3】

前記第１要素の量子化において、所定の条件を満たす場合、前記第３量子化パラメータをさらに用いて前記第１要素を量子化する
請求項１に記載の三次元データ符号化方法。

【請求項4】

前記所定の条件は、前記複数の三次元点が含まれる対象空間を分割した複数のサブ空間毎に当該サブ空間に含まれる１以上の三次元点の前記第１要素を量子化する場合である
請求項３に記載の三次元データ符号化方法。

【請求項5】

前記第２要素の量子化において、所定の条件を満たす場合、前記第４量子化パラメータをさらに用いて前記第２要素を量子化する
請求項１に記載の三次元データ符号化方法。

【請求項6】

前記所定の条件は、前記複数の三次元点が含まれる対象空間を分割した複数のサブ空間毎に当該サブ空間に含まれる１以上の三次元点の前記第２要素を量子化する場合である
請求項３に記載の三次元データ符号化方法。

【請求項7】

ビットストリームから、量子化された第１要素、量子化された第２要素、第１量子化パラメータ、第２量子化パラメータ、前記第１量子化パラメータと第２量子化パラメータとの第１差分、前記第１量子化パラメータと前記第１要素の逆量子化に利用可能な第３量子化パラメータとの第２差分、および、前記第２量子化パラメータと前記第２要素の逆量子化に利用可能な第４量子化パラメータとの第３差分を取得し、
前記第１量子化パラメータを用いて前記量子化された第１要素を逆量子化することで、複数の三次元点それぞれの属性情報の少なくとも一部を構成する第１要素を算出し、
前記第２量子化パラメータを用いて前記量子化された第２要素を逆量子化することで、前記複数の三次元点それぞれの属性情報の少なくとも一部を構成する前記第２要素を算出する
三次元データ復号方法。

【請求項8】

前記第１要素は輝度を含み、前記第２要素は色差を含む
請求項７に記載の三次元データ復号方法。

【請求項9】

前記第１要素の算出において、所定の条件を満たす場合、前記第３量子化パラメータをさらに用いて量子化された前記前記第１要素を逆量子化する
請求項７に記載の三次元データ復号方法。

【請求項10】

前記所定の条件は、前記複数の三次元点が含まれる対象空間を分割した複数のサブ空間毎に当該サブ空間に含まれる１以上の三次元点の量子化された前記第１要素を逆量子化する場合である
請求項９に記載の三次元データ復号方法。

【請求項11】

前記第２要素の算出において、所定の条件を満たす場合、前記第４量子化パラメータをさらに用いて量子化された前記第２要素を逆量子化する
請求項７に記載の三次元データ復号方法。

【請求項12】

前記所定の条件は、前記複数の三次元点が含まれる対象空間を分割した複数のサブ空間毎に当該サブ空間に含まれる１以上の三次元点の量子化された前記第２要素を逆量子化する場合である
請求項１１に記載の三次元データ復号方法。

【請求項13】

プロセッサと、
メモリとを備え、
前記プロセッサは、前記メモリを用いて、
第１量子化パラメータを用いて複数の三次元点それぞれの属性情報の少なくとも一部を構成する第１要素を量子化し、
第２量子化パラメータを用いて前記複数の三次元点それぞれの属性情報の少なくとも一部を構成する第２要素を量子化し、
量子化された前記第１要素、量子化された前記第２要素、前記第１量子化パラメータ、前記第１量子化パラメータと前記第２量子化パラメータとの第１差分、前記第１量子化パラメータと前記第１要素の量子化に利用可能な第３量子化パラメータとの第２差分、および、前記第２量子化パラメータと前記第２要素の量子化に利用可能な第４量子化パラメータとの第３差分を含むビットストリームを生成する
三次元データ符号化装置。

【請求項14】

プロセッサと、
メモリとを備え、
前記プロセッサは、前記メモリを用いて、
ビットストリームから、量子化された第１要素、量子化された第２要素、第１量子化パラメータ、第２量子化パラメータ、前記第１量子化パラメータと第２量子化パラメータとの第１差分、前記第１量子化パラメータと前記第１要素の逆量子化に利用可能な第３量子化パラメータとの第２差分、および、前記第２量子化パラメータと前記第２要素の逆量子化に利用可能な第４量子化パラメータとの第３差分を取得し、
前記第１量子化パラメータを用いて前記量子化された第１要素を逆量子化することで、複数の三次元点それぞれの属性情報の少なくとも一部を構成する第１要素を算出し、
前記第２量子化パラメータを用いて前記量子化された第２要素を逆量子化することで、前記複数の三次元点それぞれの属性情報の少なくとも一部を構成する前記第２要素を算出する
三次元データ復号装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置に関する。

【背景技術】

【0002】

自動車或いはロボットが自律的に動作するためのコンピュータビジョン、マップ情報、監視、インフラ点検、又は、映像配信など、幅広い分野において、今後、三次元データを活用した装置又はサービスの普及が見込まれる。三次元データは、レンジファインダなどの距離センサ、ステレオカメラ、又は複数の単眼カメラの組み合わせなど様々な方法で取得される。

【0003】

三次元データの表現方法の１つとして、三次元空間内の点群によって三次元構造の形状を表すポイントクラウドと呼ばれる表現方法がある。ポイントクラウドでは、点群の位置と色とが格納される。ポイントクラウドは三次元データの表現方法として主流になると予想されるが、点群はデータ量が非常に大きい。よって、三次元データの蓄積又は伝送においては二次元の動画像（一例として、ＭＰＥＧで規格化されたＭＰＥＧ－４ ＡＶＣ又はＨＥＶＣなどがある）と同様に、符号化によるデータ量の圧縮が必須となる。

【0004】

また、ポイントクラウドの圧縮については、ポイントクラウド関連の処理を行う公開のライブラリ（Ｐｏｉｎｔ Ｃｌｏｕｄ Ｌｉｂｒａｒｙ）などによって一部サポートされている。

【0005】

また、三次元の地図データを用いて、車両周辺に位置する施設を検索し、表示する技術が知られている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】国際公開第２０１４／０２０６６３号

【発明の概要】

【発明が解決しようとする課題】

【0007】

三次元データの符号化処理及び復号処理では、符号化効率を向上できることが望まれている。

【0008】

本開示は、符号化効率を向上できる三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、又は三次元データ復号装置を提供することを目的とする。

【課題を解決するための手段】

【0009】

本開示の一態様に係る三次元データ符号化方法は、第１量子化パラメータを用いて複数の三次元点それぞれの属性情報の少なくとも一部を構成する第１要素を量子化し、第２量子化パラメータを用いて前記複数の三次元点それぞれの属性情報の少なくとも一部を構成する第２要素を量子化し、量子化された前記第１要素、量子化された前記第２要素、前記第１量子化パラメータ、前記第１量子化パラメータと前記第２量子化パラメータとの第１差分、前記第１量子化パラメータと前記第１要素の量子化に利用可能な第３量子化パラメータとの第２差分、および、前記第２量子化パラメータと前記第２要素の量子化に利用可能な第４量子化パラメータとの第３差分を含むビットストリームを生成する。

【0010】

本開示の一態様に係る三次元データ復号方法は、ビットストリームから、量子化された第１要素、量子化された第２要素、第１量子化パラメータ、第２量子化パラメータ、前記第１量子化パラメータと第２量子化パラメータとの第１差分、前記第１量子化パラメータと前記第１要素の逆量子化に利用可能な第３量子化パラメータとの第２差分、および、前記第２量子化パラメータと前記第２要素の逆量子化に利用可能な第４量子化パラメータとの第３差分を取得し、前記第１量子化パラメータを用いて前記量子化された第１要素を逆量子化することで、複数の三次元点それぞれの属性情報の少なくとも一部を構成する第１要素を算出し、前記第２量子化パラメータを用いて前記量子化された第２要素を逆量子化することで、前記複数の三次元点それぞれの属性情報の少なくとも一部を構成する前記第２要素を算出する。

【0011】

本開示の一態様に係る三次元データ符号化方法は、第１量子化パラメータを用いて複数の三次元点それぞれの位置情報を量子化し、前記複数の三次元点それぞれの属性情報のうちの第１の色を示す第１輝度および第１色差について、第２量子化パラメータを用いて前記第１輝度を量子化し、かつ、第３量子化パラメータを用いて前記第１色差を量子化し、量子化された前記位置情報、量子化された前記第１輝度、量子化された前記第１色差、前記第１量子化パラメータ、前記第２量子化パラメータ、および、前記第２量子化パラメータと前記第３量子化パラメータとの第１差分を含むビットストリームを生成する。

【0012】

本開示の一態様に係る三次元データ復号方法は、ビットストリームを取得することで量子化された位置情報、量子化された第１輝度、量子化された第１色差、第１量子化パラメータ、第２量子化パラメータ、および、前記第２量子化パラメータと第３量子化パラメータとの第１差分を取得し、前記第１量子化パラメータを用いて前記量子化された位置情報を逆量子化することで、複数の三次元点の位置情報を算出し、前記第２量子化パラメータを用いて前記量子化された第１輝度を逆量子化することで、前記複数の三次元点の第１の色を示す第１輝度および第１色差のうちの前記第１輝度を算出し、前記第２量子化パラメータおよび前記第１差分から得られる前記第３量子化パラメータを用いて前記量子化された第１色差を逆量子化することで、前記第１色差を算出する。

【発明の効果】

【0013】

本開示は、符号化効率を向上できる三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、又は三次元データ復号装置を提供できる。

【図面の簡単な説明】

【0014】

【図1】図１は、実施の形態１に係る三次元データ符号化復号システムの構成を示す図である。

【図2】図２は、実施の形態１に係る点群データの構成例を示す図である。

【図3】図３は、実施の形態１に係る点群データ情報が記述されたデータファイルの構成例を示す図である。

【図4】図４は、実施の形態１に係る点群データの種類を示す図である。

【図5】図５は、実施の形態１に係る第１の符号化部の構成を示す図である。

【図6】図６は、実施の形態１に係る第１の符号化部のブロック図である。

【図7】図７は、実施の形態１に係る第１の復号部の構成を示す図である。

【図8】図８は、実施の形態１に係る第１の復号部のブロック図である。

【図9】図９は、実施の形態１に係る第２の符号化部の構成を示す図である。

【図10】図１０は、実施の形態１に係る第２の符号化部のブロック図である。

【図11】図１１は、実施の形態１に係る第２の復号部の構成を示す図である。

【図12】図１２は、実施の形態１に係る第２の復号部のブロック図である。

【図13】図１３は、実施の形態１に係るＰＣＣ符号化データに関わるプロトコルスタックを示す図である。

【図14】図１４は、実施の形態１に係る符号化部のブロック図である。

【図15】図１５は、実施の形態１に係る復号部のブロック図である。

【図16】図１６は、実施の形態１に係る符号化処理のフローチャートである。

【図17】図１７は、実施の形態１に係る復号処理のフローチャートである。

【図18】図１８は、実施の形態２に係るＩＳＯＢＭＦＦの基本構造を示す図である。

【図19】図１９は、実施の形態２に係るプロトコルスタックを示す図である。

【図20】図２０は、実施の形態２に係るＮＡＬユニットをコーデック１用のファイルに格納する例を示す図である。

【図21】図２１は、実施の形態２に係るＮＡＬユニットをコーデック２用のファイルに格納する例を示す図である。

【図22】図２２は、実施の形態２に係る第１の多重化部の構成を示す図である。

【図23】図２３は、実施の形態２に係る第１の逆多重化部の構成を示す図である。

【図24】図２４は、実施の形態２に係る第２の多重化部の構成を示す図である。

【図25】図２５は、実施の形態２に係る第２の逆多重化部の構成を示す図である。

【図26】図２６は、実施の形態２に係る第１の多重化部による処理のフローチャートである。

【図27】図２７は、実施の形態２に係る第２の多重化部による処理のフローチャートである。

【図28】図２８は、実施の形態２に係る第１の逆多重化部及び第１の復号部による処理のフローチャートである。

【図29】図２９は、実施の形態２に係る第２の逆多重化部及び第２の復号部による処理のフローチャートである。

【図30】図３０は、実施の形態３に係る符号化部及び第３の多重化部の構成を示す図である。

【図31】図３１は、実施の形態３に係る第３の逆多重化部及び復号部の構成を示す図である。

【図32】図３２は、実施の形態３に係る第３の多重化部による処理のフローチャートである。

【図33】図３３は、実施の形態３に係る第３の逆多重化部及び復号部による処理のフローチャートである。

【図34】図３４は、実施の形態３に係る三次元データ格納装置による処理のフローチャートである。

【図35】図３５は、実施の形態３に係る三次元データ取得装置による処理のフローチャートである。

【図36】図３６は、実施の形態４に係る符号化部及び多重化部の構成を示す図である。

【図37】図３７は、実施の形態４に係る符号化データの構成例を示す図である。

【図38】図３８は、実施の形態４に係る符号化データ及びＮＡＬユニットの構成例を示す図である。

【図39】図３９は、実施の形態４に係るｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅのセマンティクス例を示す図である。

【図40】図４０は、実施の形態４に係るＮＡＬユニットの送出順序の例を示す図である。

【図41】図４１は、実施の形態４に係る三次元データ符号化装置による処理のフローチャートである。

【図42】図４２は、実施の形態４に係る三次元データ復号装置による処理のフローチャートである。

【図43】図４３は、実施の形態４に係る多重化処理のフローチャートである。

【図44】図４４は、実施の形態４に係る逆多重化処理のフローチャートである。

【図45】図４５は、実施の形態４に係る三次元データ符号化装置による処理のフローチャートである。

【図46】図４６は、実施の形態４に係る三次元データ復号装置による処理のフローチャートである。

【図47】図４７は、実施の形態５に係る分割部のブロック図である。

【図48】図４８は、実施の形態５に係るスライス及びタイルの分割例を示す図である。

【図49】図４９は、実施の形態５に係るスライス及びタイルの分割パターンの例を示す図である。

【図50】図５０は、実施の形態６に係る符号化時または復号時において、ＣＡＢＡＣ初期化フラグに応じて、ＣＡＢＡＣ符号化／復号エンジンの再初期化の処理を示すフローチャートである。

【図51】図５１は、実施の形態６に係る三次元データ符号化装置に含まれる第１の符号化部の構成を示すブロック図である。

【図52】図５２は、実施の形態６に係る分割部の構成を示すブロック図である。

【図53】図５３は、実施の形態６に係る位置情報符号化部および属性情報符号化部の構成を示すブロック図である。

【図54】図５４は、実施の形態６に係る第１の復号部の構成を示すブロック図である。

【図55】図５５は、実施の形態６に係る位置情報復号部および属性情報復号部の構成を示すブロック図である。

【図56】図５６は、実施の形態６に係る位置情報の符号化あるいは属性情報の符号化におけるＣＡＢＡＣの初期化に関する処理の一例を示すフローチャートである。

【図57】図５７は、実施の形態６に係るビットストリームとした点群データにおいてＣＡＢＡＣ初期化のタイミングの一例を示す図である。

【図58】図５８は、実施の形態６に係る符号化データの構成及び符号化データのＮＡＬユニットへの格納方法を示す図である。

【図59】図５９は、実施の形態６に係る位置情報の復号あるいは属性情報の復号におけるＣＡＢＡＣの初期化に関する処理の一例を示すフローチャートである。

【図60】図６０は、実施の形態６に係る点群データの符号化処理のフローチャートである。

【図61】図６１は、実施の形態６に係る付加情報を更新する処理の一例を示すフローチャートである。

【図62】図６２は、実施の形態６に係るＣＡＢＡＣ初期化する処理の一例を示すフローチャートである。

【図63】図６３は、実施の形態６に係る点群データの復号処理のフローチャートである。

【図64】図６４は、実施の形態６に係るＣＡＢＡＣ復号部を初期化する処理の一例を示すフローチャートである。

【図65】図６５は、実施の形態６に係るタイルおよびスライスの例を示す図である。

【図66】図６６は、実施の形態６に係るＣＡＢＡＣの初期化およびコンテキスト初期値の決定方法の一例を示すフローチャートである。

【図67】図６７は、実施の形態６に係るＬｉＤＡＲで得られた点群データを上面視した地図をタイルに分割した場合の例を示す図である。

【図68】図６８は、実施の形態６に係るＣＡＢＡＣ初期化およびコンテキスト初期値の決定方法の他の一例を示すフローチャートである。

【図69】図６９は、実施の形態７に係る量子化部、および、逆量子化部の処理について説明するための図である。

【図70】図７０は、実施の形態７に係る量子化値のデフォルト値と量子化デルタとを説明するための図である。

【図71】図７１は、実施の形態７に係る三次元データ符号化装置に含まれる第１の符号化部の構成を示すブロック図である。

【図72】図７２は、実施の形態７に係る分割部の構成を示すブロック図である。

【図73】図７３は、実施の形態７に係る位置情報符号化部および属性情報符号化部の構成を示すブロック図である。

【図74】図７４は、実施の形態７に係る第１の復号部の構成を示すブロック図である。

【図75】図７５は、実施の形態７に係る位置情報復号部および属性情報復号部の構成を示すブロック図である。

【図76】図７６は、実施の形態７に係る位置情報の符号化あるいは属性情報の符号化における量子化値の決定に関する処理の一例を示すフローチャートである。

【図77】図７７は、実施の形態７に係る位置情報および属性情報の復号処理の一例を示すフローチャートである。

【図78】図７８は、実施の形態７に係る量子化パラメータの伝送方法の第１の例について説明するための図である。

【図79】図７９は、実施の形態７に係る量子化パラメータの伝送方法の第２の例について説明するための図である。

【図80】図８０は、実施の形態７に係る量子化パラメータの伝送方法の第３の例について説明するための図である。

【図81】図８１は、実施の形態７に係る点群データの符号化処理のフローチャートである。

【図82】図８２は、実施の形態７に係るＱＰ値を決定し、付加情報を更新する処理の一例を示すフローチャートである。

【図83】図８３は、実施の形態７に係る決定されたＱＰ値を符号化する処理の一例を示すフローチャートである。

【図84】図８４は、実施の形態７に係る点群データの復号処理のフローチャートである。

【図85】図８５は、実施の形態７に係るＱＰ値を取得して、スライスまたはタイルのＱＰ値を復号する処理の一例を示すフローチャートである。

【図86】図８６は、実施の形態７に係るＧＰＳのシンタックス例を示す図である。

【図87】図８７は、実施の形態７に係るＡＰＳのシンタックス例を示す図である。

【図88】図８８は、実施の形態７に係る位置情報のヘッダのシンタックス例を示す図である。

【図89】図８９は、実施の形態７に係る属性情報のヘッダのシンタックス例を示す図である。

【図90】図９０は、実施の形態７に係る量子化パラメータの伝送方法の他の例について説明するための図である。

【図91】図９１は、実施の形態７に係る量子化パラメータの伝送方法の他の例について説明するための図である。

【図92】図９２は、実施の形態７に係る量子化パラメータの伝送方法の第９の例について説明するための図である。

【図93】図９３は、実施の形態７に係るＱＰ値の制御例を説明するための図である。

【図94】図９４は、実施の形態７に係るオブジェクトの品質に基づくＱＰ値の決定方法の一例を示すフローチャートである。

【図95】図９５は、実施の形態７に係るレート制御に基づくＱＰ値の決定方法の一例を示すフローチャートである。

【図96】図９６は、実施の形態７に係る符号化処理のフローチャートである。

【図97】図９７は、実施の形態７に係る復号処理のフローチャートである。

【発明を実施するための形態】

【0015】

本開示の一態様に係る三次元データ符号化方法は、第１量子化パラメータを用いて複数の三次元点それぞれの位置情報を量子化し、前記複数の三次元点それぞれの属性情報のうちの第１の色を示す第１輝度および第１色差について、第２量子化パラメータを用いて前記第１輝度を量子化し、かつ、第３量子化パラメータを用いて前記第１色差を量子化し、量子化された前記位置情報、量子化された前記第１輝度、量子化された前記第１色差、前記第１量子化パラメータ、前記第２量子化パラメータ、および、前記第２量子化パラメータと前記第３量子化パラメータとの第１差分を含むビットストリームを生成する。

【0016】

これによれば、三次元データ符号化方法は、ビットストリームにおいて、第３量子化パラメータを第２量子化パラメータからの第１差分で示すため、符号化効率を向上できる。

【0017】

例えば、さらに、第４量子化パラメータを用いて前記複数の三次元点それぞれの前記属性情報のうちの反射率を量子化し、前記生成では、量子化された前記反射率、および、前記第４量子化パラメータをさらに含むビットストリームを生成してもよい。

【0018】

例えば、前記第２量子化パラメータを用いた量子化では、前記複数の三次元点が含まれる対象空間を分割した複数のサブ空間毎に当該サブ空間に含まれる１以上の三次元点の前記第１輝度を量子化する場合、第５量子化パラメータをさらに用いて前記サブ空間に含まれる１以上の三次元点の前記第１輝度を量子化し、前記第３量子化パラメータを用いた量子化では、前記１以上の三次元点の前記第１色差を量子化する場合、第６量子化パラメータをさらに用いて前記１以上の三次元点の前記第１色差を量子化し、前記生成では、前記第２量子化パラメータと前記第５量子化パラメータとの第２差分、および、前記第３量子化パラメータと前記第６量子化パラメータとの第３差分をさらに含むビットストリームを生成してもよい。

【0019】

これによれば、三次元データ符号化方法は、ビットストリームにおいて、第５量子化パラメータを第２量子化パラメータからの第２差分で示し、かつ、第６量子化パラメータを第３量子化パラメータからの第３差分で示すため、符号化効率を向上できる。

【0020】

例えば、前記生成では、前記第２量子化パラメータを用いた量子化、および、前記第３量子化パラメータを用いた量子化において、前記第５量子化パラメータおよび前記第６量子化パラメータを用いて量子化した場合、前記第５量子化パラメータおよび前記第６量子化パラメータを用いて量子化したことを示す識別情報をさらに含むビットストリームを生成してもよい。

【0021】

これによれば、ビットストリームを取得した三次元データ復号装置は、識別情報を用いて第５量子化パラメータおよび第６量子化パラメータを用いて量子化したことを判定できるため、復号処理の処理負荷を低減することができる。

【0022】

例えば、さらに、前記複数の三次元点それぞれの属性情報のうちの第２の色を示す第２輝度および第２色差について、第７量子化パラメータを用いて前記第２輝度を量子化し、かつ、第８量子化パラメータを用いて前記第２色差を量子化し、前記生成では、さらに、量子化された前記第２輝度、量子化された前記第２色差、前記第７量子化パラメータ、および、前記第７量子化パラメータと前記第８量子化パラメータとの第４差分をさらに含むビットストリームを生成してもよい。

【0023】

これによれば、三次元データ符号化方法は、ビットストリームにおいて、第８量子化パラメータを第７量子化パラメータからの第４差分で示すため、符号化効率を向上できる。また、三次元点の属性情報に２種類の色情報を含めることができる。

【0024】

また、本開示の一態様に係る三次元データ復号方法は、ビットストリームを取得することで量子化された位置情報、量子化された第１輝度、量子化された第１色差、第１量子化パラメータ、第２量子化パラメータ、および、前記第２量子化パラメータと第３量子化パラメータとの第１差分を取得し、前記第１量子化パラメータを用いて前記量子化された位置情報を逆量子化することで、複数の三次元点の位置情報を算出し、前記第２量子化パラメータを用いて前記量子化された第１輝度を逆量子化することで、前記複数の三次元点の第１の色を示す第１輝度および第１色差のうちの前記第１輝度を算出し、前記第２量子化パラメータおよび前記第１差分から得られる前記第３量子化パラメータを用いて前記量子化された第１色差を逆量子化することで、前記第１色差を算出する。

【0025】

このため、三次元データ復号方法は、三次元点の位置情報および属性情報を正しく復号できる。

【0026】

例えば、前記取得では、前記ビットストリームを取得することでさらに量子化された反射率、および、第４量子化パラメータを取得し、前記三次元データ復号方法は、さらに、前記第４量子化パラメータを用いて前記量子化された反射率を逆量子化することで、前記複数の三次元点の反射率を算出してもよい。

【0027】

このため、三次元データ復号方法は、三次元点の反射率を正しく復号できる。

【0028】

例えば、前記取得では、前記ビットストリームを取得することでさらに、前記第２量子化パラメータと第５量子化パラメータとの第２差分、および、前記第３量子化パラメータと第６量子化パラメータとの第３差分を取得し、前記第１輝度の算出では、前記量子化された第１輝度が、前記複数の三次元点が含まれる対象空間を分割した複数のサブ空間毎に当該サブ空間に含まれる１以上の三次元点の第１輝度が量子化された輝度である場合、前記第２量子化パラメータおよび前記第２差分から得られる前記第５量子化パラメータを用いて前記量子化された第１輝度を逆量子化することで、前記１以上の三次元点の前記第１輝度を算出し、前記第１色差の算出では、前記量子化された第１色差が、前記１以上の三次元点の第１色差が量子化された色差である場合、前記第３量子化パラメータおよび前記第３差分から得られる前記第６量子化パラメータを用いて前記量子化された第１色差を逆量子化することで、前記１以上の三次元点の前記第１色差を算出してもよい。

【0029】

例えば、前記取得では、前記ビットストリームを取得することでさらに、前記第５量子化パラメータおよび前記第６量子化パラメータを用いて量子化したことを示す識別情報を取得し、前記第１輝度の算出では、前記識別情報が前記第５量子化パラメータおよび前記第６量子化パラメータを用いて量子化したことを示す場合、前記量子化された第１輝度が、前記１以上の三次元点の前記第１輝度が量子化された輝度であると判定し、前記第１色差の算出では、前記識別情報が前記第５量子化パラメータおよび前記第６量子化パラメータを用いて量子化したことを示す場合、前記量子化された第１色差が、前記１以上の三次元点の前記第１色差が量子化された色差であると判定してもよい。

【0030】

これによれば、三次元データ復号方法は、識別情報を用いて第５量子化パラメータおよび第６量子化パラメータを用いて量子化したこと判定できるため、復号処理の処理負荷を低減することができる。

【0031】

例えば、前記取得では、前記ビットストリームを取得することでさらに、量子化された第２輝度、量子化された第２色差、第７量子化パラメータ、および、前記第７量子化パラメータと第８量子化パラメータとの第４差分を取得し、前記三次元データ復号方法は、さらに、前記第７量子化パラメータを用いて前記量子化された第２輝度を逆量子化することで、前記複数の三次元点の第２の色を示す第２輝度および第２色差のうちの前記第２輝度を算出し、前記第７量子化パラメータおよび前記第４差分から得られる前記第８量子化パラメータを用いて前記量子化された第２色差を逆量子化することで、前記第２色差を算出してもよい。

【0032】

このため、三次元データ復号方法は、三次元点の第２の色を正しく復号できる。

【0033】

また、本開示の一態様に係る三次元データ符号化装置は、プロセッサと、メモリとを備え、前記プロセッサは、前記メモリを用いて、第１量子化パラメータを用いて複数の三次元点それぞれの位置情報を量子化し、前記複数の三次元点それぞれの属性情報のうちの第１の色を示す第１輝度および第１色差について、第２量子化パラメータを用いて前記第１輝度を量子化し、かつ、第３量子化パラメータを用いて前記第１色差を量子化し、量子化された前記位置情報、量子化された前記第１輝度、量子化された前記第１色差、前記第１量子化パラメータ、前記第２量子化パラメータ、および、前記第２量子化パラメータと前記第３量子化パラメータとの第１差分を含むビットストリームを生成する。

【0034】

これによれば、三次元データ符号化装置は、第３量子化パラメータを第２量子化パラメータからの第１差分で示すため、符号化効率を向上できる。

【0035】

また、本開示の一態様に係る三次元データ復号装置は、プロセッサと、メモリとを備え、前記プロセッサは、前記メモリを用いて、ビットストリームを取得することで量子化された位置情報、量子化された第１輝度、量子化された第１色差、第１量子化パラメータ、第２量子化パラメータ、および、前記第２量子化パラメータと第３量子化パラメータとの第１差分を取得し、前記第１量子化パラメータを用いて前記量子化された位置情報を逆量子化することで、複数の三次元点の位置情報を算出し、前記第２量子化パラメータを用いて前記量子化された第１輝度を逆量子化することで、前記複数の三次元点の第１色を示す第１輝度および第１色差のうちの前記第１輝度を算出し、前記第２量子化パラメータおよび前記第１差分から得られる前記第３量子化パラメータを用いて前記量子化された第１色差を逆量子化することで、前記第１色差を算出する。

【0036】

このため、三次元データ復号装置は、三次元点の位置情報および属性情報を正しく復号できる。

【0037】

なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。

【0038】

以下、実施の形態について、図面を参照しながら具体的に説明する。なお、以下で説明する実施の形態は、いずれも本開示の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

【0039】

（実施の形態１）
ポイントクラウドの符号化データを実際の装置又はサービスにおいて使用する際には、ネットワーク帯域を抑制するために用途に応じて必要な情報を送受信することが望ましい。しかしながら、これまで、三次元データの符号化構造にはそのような機能が存在せず、そのための符号化方法も存在しなかった。

【0040】

本実施の形態では、三次元のポイントクラウドの符号化データにおいて用途に応じて必要な情報を送受信する機能を提供するための三次元データ符号化方法及び三次元データ符号化装置、並びに、当該符号化データを復号する三次元データ復号方法及び三次元データ復号装置、並びに、当該符号化データを多重化する三次元データ多重化方法、並びに、当該符号化データを伝送する三次元データ伝送方法について説明する。

【0041】

特に、現在、点群データの符号化方法（符号化方式）として第１の符号化方法、及び第２の符号化方法が検討されているが、符号化データの構成、及び符号化データをシステムフォーマットへ格納する方法が定義されておらず、このままでは符号化部におけるＭＵＸ処理（多重化）、又は、伝送或いは蓄積ができないという課題がある。

【0042】

また、ＰＣＣ（Ｐｏｉｎｔ Ｃｌｏｕｄ Ｃｏｍｐｒｅｓｓｉｏｎ）のように、第１の符号化方法と第２の符号化方法の２つのコーデックが混在するフォーマットをサポートする方法はこれまで存在しない。

【0043】

本実施の形態では、第１の符号化方法と第２の符号化方法の２つのコーデックが混在するＰＣＣ符号化データの構成、及び符号化データをシステムフォーマットへ格納する方法について説明する。

【0044】

まず、本実施の形態に係る三次元データ（点群データ）符号化復号システムの構成を説明する。図１は、本実施の形態に係る三次元データ符号化復号システムの構成例を示す図である。図１に示すように、三次元データ符号化復号システムは、三次元データ符号化システム４６０１と、三次元データ復号システム４６０２と、センサ端末４６０３と、外部接続部４６０４とを含む。

【0045】

三次元データ符号化システム４６０１は、三次元データである点群データを符号化することで符号化データ又は多重化データを生成する。なお、三次元データ符号化システム４６０１は、単一の装置により実現される三次元データ符号化装置であってもよいし、複数の装置により実現されるシステムであってもよい。また、三次元データ符号化装置は、三次元データ符号化システム４６０１に含まれる複数の処理部のうち一部を含んでもよい。

【0046】

三次元データ符号化システム４６０１は、点群データ生成システム４６１１と、提示部４６１２と、符号化部４６１３と、多重化部４６１４と、入出力部４６１５と、制御部４６１６とを含む。点群データ生成システム４６１１は、センサ情報取得部４６１７と、点群データ生成部４６１８とを含む。

【0047】

センサ情報取得部４６１７は、センサ端末４６０３からセンサ情報を取得し、センサ情報を点群データ生成部４６１８に出力する。点群データ生成部４６１８は、センサ情報から点群データを生成し、点群データを符号化部４６１３へ出力する。

【0048】

提示部４６１２は、センサ情報又は点群データをユーザに提示する。例えば、提示部４６１２は、センサ情報又は点群データに基づく情報又は画像を表示する。

【0049】

符号化部４６１３は、点群データを符号化（圧縮）し、得られた符号化データと、符号化過程において得られた制御情報と、その他の付加情報とを多重化部４６１４へ出力する。付加情報は、例えば、センサ情報を含む。

【0050】

多重化部４６１４は、符号化部４６１３から入力された符号化データと、制御情報と、付加情報とを多重することで多重化データを生成する。多重化データのフォーマットは、例えば蓄積のためのファイルフォーマット、又は伝送のためのパケットフォーマットである。

【0051】

入出力部４６１５（例えば、通信部又はインタフェース）は、多重化データを外部へ出力する。または、多重化データは、内部メモリ等の蓄積部に蓄積される。制御部４６１６（またはアプリ実行部）は、各処理部を制御する。つまり、制御部４６１６は、符号化及び多重化等の制御を行う。

【0052】

なお、センサ情報が符号化部４６１３又は多重化部４６１４へ入力されてもよい。また、入出力部４６１５は、点群データ又は符号化データをそのまま外部へ出力してもよい。

【0053】

三次元データ符号化システム４６０１から出力された伝送信号（多重化データ）は、外部接続部４６０４を介して、三次元データ復号システム４６０２に入力される。

【0054】

三次元データ復号システム４６０２は、符号化データ又は多重化データを復号することで三次元データである点群データを生成する。なお、三次元データ復号システム４６０２は、単一の装置により実現される三次元データ復号装置であってもよいし、複数の装置により実現されるシステムであってもよい。また、三次元データ復号装置は、三次元データ復号システム４６０２に含まれる複数の処理部のうち一部を含んでもよい。

【0055】

三次元データ復号システム４６０２は、センサ情報取得部４６２１と、入出力部４６２２と、逆多重化部４６２３と、復号部４６２４と、提示部４６２５と、ユーザインタフェース４６２６と、制御部４６２７とを含む。

【0056】

センサ情報取得部４６２１は、センサ端末４６０３からセンサ情報を取得する。

【0057】

入出力部４６２２は、伝送信号を取得し、伝送信号から多重化データ（ファイルフォーマット又はパケット）を復号し、多重化データを逆多重化部４６２３へ出力する。

【0058】

逆多重化部４６２３は、多重化データから符号化データ、制御情報及び付加情報を取得し、符号化データ、制御情報及び付加情報を復号部４６２４へ出力する。

【0059】

復号部４６２４は、符号化データを復号することで点群データを再構成する。

【0060】

提示部４６２５は、点群データをユーザに提示する。例えば、提示部４６２５は、点群データに基づく情報又は画像を表示する。ユーザインタフェース４６２６は、ユーザの操作に基づく指示を取得する。制御部４６２７（またはアプリ実行部）は、各処理部を制御する。つまり、制御部４６２７は、逆多重化、復号及び提示等の制御を行う。

【0061】

なお、入出力部４６２２は、点群データ又は符号化データをそのまま外部から取得してもよい。また、提示部４６２５は、センサ情報などの付加情報を取得し、付加情報に基づいた情報を提示してもよい。また、提示部４６２５は、ユーザインタフェース４６２６で取得されたユーザの指示に基づき、提示を行ってもよい。

【0062】

センサ端末４６０３は、センサで得られた情報であるセンサ情報を生成する。センサ端末４６０３は、センサ又はカメラを搭載した端末であり、例えば、自動車などの移動体、飛行機などの飛行物体、携帯端末、又はカメラなどがある。

【0063】

センサ端末４６０３で取得可能なセンサ情報は、例えば、（１）ＬＩＤＡＲ、ミリ波レーダ、又は赤外線センサから得られる、センサ端末４６０３と対象物との距離、又は対象物の反射率、（２）複数の単眼カメラ画像又はステレオカメラ画像から得られるカメラと対象物との距離又は対象物の反射率等である。また、センサ情報は、センサの姿勢、向き、ジャイロ（角速度）、位置（ＧＰＳ情報又は高度）、速度、又は加速度等を含んでもよい。また、センサ情報は、気温、気圧、湿度、又は磁気等を含んでもよい。

【0064】

外部接続部４６０４は、集積回路（ＬＳＩ又はＩＣ）、外部蓄積部、インターネットを介したクラウドサーバとの通信、又は、放送等により実現される。

【0065】

次に、点群データについて説明する。図２は、点群データの構成を示す図である。図３は、点群データの情報が記述されたデータファイルの構成例を示す図である。

【0066】

点群データは、複数の点のデータを含む。各点のデータは、位置情報（三次元座標）、及びその位置情報に対する属性情報とを含む。この点が複数集まったものを点群と呼ぶ。例えば、点群は対象物（オブジェクト）の三次元形状を示す。

【0067】

三次元座標等の位置情報（Ｐｏｓｉｔｉｏｎ）をジオメトリ（ｇｅｏｍｅｔｒｙ）と呼ぶこともある。また、各点のデータは、複数の属性種別の属性情報（ａｔｔｒｉｂｕｔｅ）を含んでもよい。属性種別は、例えば色又は反射率などである。

【0068】

１つの位置情報に対して１つの属性情報が対応付けられてもよいし、１つの位置情報に対して複数の異なる属性種別を持つ属性情報が対応付けられてもよい。また、１つの位置情報に対して同じ属性種別の属性情報が複数対応付けられてもよい。

【0069】

図３に示すデータファイルの構成例は、位置情報と属性情報とが１対１に対応する場合の例であり、点群データを構成するＮ個の点の位置情報と属性情報とを示している。

【0070】

位置情報は、例えば、ｘ、ｙ、ｚの３軸の情報である。属性情報は、例えば、ＲＧＢの色情報である。代表的なデータファイルとしてｐｌｙファイルなどがある。

【0071】

次に、点群データの種類について説明する。図４は、点群データの種類を示す図である。図４に示すように、点群データには、静的オブジェクトと、動的オブジェクトとがある。

【0072】

静的オブジェクトは、任意の時間（ある時刻）の三次元点群データである。動的オブジェクトは、時間的に変化する三次元点群データである。以降、ある時刻の三次元点群データをＰＣＣフレーム、又はフレームと呼ぶ。

【0073】

オブジェクトは、通常の映像データのように、ある程度領域が制限されている点群であってもよいし、地図情報のように領域が制限されていない大規模点群であってもよい。

【0074】

また、様々な密度の点群データがあり、疎な点群データと、密な点群データとが存在してもよい。

【0075】

以下、各処理部の詳細について説明する。センサ情報は、ＬＩＤＡＲ或いはレンジファインダなどの距離センサ、ステレオカメラ、又は、複数の単眼カメラの組合せなど様々な方法で取得される。点群データ生成部４６１８は、センサ情報取得部４６１７で得られたセンサ情報に基づき点群データを生成する。点群データ生成部４６１８は、点群データとして、位置情報を生成し、位置情報に、当該位置情報に対する属性情報を付加する。

【0076】

点群データ生成部４６１８は、位置情報の生成又は属性情報の付加の際に、点群データを加工してもよい。例えば、点群データ生成部４６１８は、位置が重複する点群を削除することでデータ量を減らしてもよい。また、点群データ生成部４６１８は、位置情報を変換（位置シフト、回転又は正規化など）してもよいし、属性情報をレンダリングしてもよい。

【0077】

なお、図１では、点群データ生成システム４６１１は、三次元データ符号化システム４６０１に含まれるが、三次元データ符号化システム４６０１の外部に独立して設けられてもよい。

【0078】

符号化部４６１３は、点群データを予め規定された符号化方法に基づき符号化することで符号化データを生成する。符号化方法には大きく以下の２種類がある。一つ目は、位置情報を用いた符号化方法であり、この符号化方法を、以降、第１の符号化方法と記載する。二つ目は、ビデオコーデックを用いた符号化方法であり、この符号化方法を、以降、第２の符号化方法と記載する。

【0079】

復号部４６２４は、符号化データを予め規定された符号化方法に基づき復号することで点群データを復号する。

【0080】

多重化部４６１４は、符号化データを、既存の多重化方式を用いて多重化することで多重化データを生成する。生成された多重化データは、伝送又は蓄積される。多重化部４６１４は、ＰＣＣ符号化データの他に、映像、音声、字幕、アプリケーション、ファイルなどの他のメディア、又は基準時刻情報を多重化する。また、多重化部４６１４は、さらに、センサ情報又は点群データに関連する属性情報を多重してもよい。

【0081】

多重化方式又はファイルフォーマットとしては、ＩＳＯＢＭＦＦ、ＩＳＯＢＭＦＦベースの伝送方式であるＭＰＥＧ－ＤＡＳＨ、ＭＭＴ、ＭＰＥＧ－２ ＴＳ Ｓｙｓｔｅｍｓ、ＲＭＰなどがある。

【0082】

逆多重化部４６２３は、多重化データからＰＣＣ符号化データ、その他のメディア、及び時刻情報などを抽出する。

【0083】

入出力部４６１５は、多重化データを、放送又は通信など、伝送する媒体又は蓄積する媒体にあわせた方法を用いて伝送する。入出力部４６１５は、インターネット経由で他のデバイスと通信してもよいし、クラウドサーバなどの蓄積部と通信してもよい。

【0084】

通信プロトコルとしては、ｈｔｔｐ、ｆｔｐ、ＴＣＰ又はＵＤＰなどが用いられる。ＰＵＬＬ型の通信方式が用いられてもよいし、ＰＵＳＨ型の通信方式が用いられてもよい。

【0085】

有線伝送及び無線伝送のいずれが用いられてもよい。有線伝送としては、Ｅｔｈｅｒｎｅｔ（登録商標）、ＵＳＢ、ＲＳ－２３２Ｃ、ＨＤＭＩ（登録商標）、又は同軸ケーブルなどが用いられる。無線伝送としては、無線ＬＡＮ、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はミリ波などが用いられる。

【0086】

また、放送方式としては、例えばＤＶＢ－Ｔ２、ＤＶＢ－Ｓ２、ＤＶＢ－Ｃ２、ＡＴＳＣ３．０、又はＩＳＤＢ－Ｓ３などが用いられる。

【0087】

図５は、第１の符号化方法の符号化を行う符号化部４６１３の例である第１の符号化部４６３０の構成を示す図である。図６は、第１の符号化部４６３０のブロック図である。第１の符号化部４６３０は、点群データを第１の符号化方法で符号化することで符号化データ（符号化ストリーム）を生成する。この第１の符号化部４６３０は、位置情報符号化部４６３１と、属性情報符号化部４６３２と、付加情報符号化部４６３３と、多重化部４６３４とを含む。

【0088】

第１の符号化部４６３０は、三次元構造を意識して符号化を行うという特徴を有する。また、第１の符号化部４６３０は、属性情報符号化部４６３２が、位置情報符号化部４６３１から得られる情報を用いて符号を行うという特徴を有する。第１の符号化方法は、ＧＰＣＣ（Ｇｅｏｍｅｔｒｙ ｂａｓｅｄ ＰＣＣ）とも呼ばれる。

【0089】

点群データは、ＰＬＹファイルのようなＰＣＣ点群データ、又は、センサ情報から生成されたＰＣＣ点群データであり、位置情報（Ｐｏｓｉｔｉｏｎ）、属性情報（Ａｔｔｒｉｂｕｔｅ）、及びその他の付加情報（ＭｅｔａＤａｔａ）を含む。位置情報は位置情報符号化部４６３１に入力され、属性情報は属性情報符号化部４６３２に入力され、付加情報は付加情報符号化部４６３３に入力される。

【0090】

位置情報符号化部４６３１は、位置情報を符号化することで符号化データである符号化位置情報（Ｃｏｍｐｒｅｓｓｅｄ Ｇｅｏｍｅｔｒｙ）を生成する。例えば、位置情報符号化部４６３１は、８分木等のＮ分木構造を用いて位置情報を符号化する。具体的には、８分木では、対象空間が８個のノード（サブ空間）に分割され、各ノードに点群が含まれるか否かを示す８ビットの情報（オキュパンシー符号）が生成される。また、点群が含まれるノードは、さらに、８個のノードに分割され、当該８個のノードの各々に点群が含まれるか否かを示す８ビットの情報が生成される。この処理が、予め定められた階層又はノードに含まれる点群の数の閾値以下になるまで繰り返される。

【0091】

属性情報符号化部４６３２は、位置情報符号化部４６３１で生成された構成情報を用いて符号化することで符号化データである符号化属性情報（Ｃｏｍｐｒｅｓｓｅｄ Ａｔｔｒｉｂｕｔｅ）を生成する。例えば、属性情報符号化部４６３２は、位置情報符号化部４６３１で生成された８分木構造に基づき、処理対象の対象点（対象ノード）の符号化において参照する参照点（参照ノード）を決定する。例えば、属性情報符号化部４６３２は、周辺ノード又は隣接ノードのうち、８分木における親ノードが対象ノードと同一のノードを参照する。なお、参照関係の決定方法はこれに限らない。

【0092】

また、属性情報の符号化処理は、量子化処理、予測処理、及び算術符号化処理のうち少なくとも一つを含んでもよい。この場合、参照とは、属性情報の予測値の算出に参照ノードを用いること、又は、符号化のパラメータの決定に参照ノードの状態（例えば、参照ノードに点群が含まれる否かを示す占有情報）を用いること、である。例えば、符号化のパラメータとは、量子化処理における量子化パラメータ、又は算術符号化におけるコンテキスト等である。

【0093】

付加情報符号化部４６３３は、付加情報のうち、圧縮可能なデータを符号化することで符号化データである符号化付加情報（Ｃｏｍｐｒｅｓｓｅｄ ＭｅｔａＤａｔａ）を生成する。

【0094】

多重化部４６３４は、符号化位置情報、符号化属性情報、符号化付加情報及びその他の付加情報を多重化することで符号化データである符号化ストリーム（Ｃｏｍｐｒｅｓｓｅｄ Ｓｔｒｅａｍ）を生成する。生成された符号化ストリームは、図示しないシステムレイヤの処理部へ出力される。

【0095】

次に、第１の符号化方法の復号を行う復号部４６２４の例である第１の復号部４６４０について説明する。図７は、第１の復号部４６４０の構成を示す図である。図８は、第１の復号部４６４０のブロック図である。第１の復号部４６４０は、第１の符号化方法で符号化された符号化データ（符号化ストリーム）を、第１の符号化方法で復号することで点群データを生成する。この第１の復号部４６４０は、逆多重化部４６４１と、位置情報復号部４６４２と、属性情報復号部４６４３と、付加情報復号部４６４４とを含む。

【0096】

図示しないシステムレイヤの処理部から符号化データである符号化ストリーム（Ｃｏｍｐｒｅｓｓｅｄ Ｓｔｒｅａｍ）が第１の復号部４６４０に入力される。

【0097】

逆多重化部４６４１は、符号化データから、符号化位置情報（Ｃｏｍｐｒｅｓｓｅｄ Ｇｅｏｍｅｔｒｙ）、符号化属性情報（Ｃｏｍｐｒｅｓｓｅｄ Ａｔｔｒｉｂｕｔｅ）、符号化付加情報（Ｃｏｍｐｒｅｓｓｅｄ ＭｅｔａＤａｔａ）、及び、その他の付加情報を分離する。

【0098】

位置情報復号部４６４２は、符号化位置情報を復号することで位置情報を生成する。例えば、位置情報復号部４６４２は、８分木等のＮ分木構造で表される符号化位置情報から三次元座標で表される点群の位置情報を復元する。

【0099】

属性情報復号部４６４３は、位置情報復号部４６４２で生成された構成情報に基づき、符号化属性情報を復号する。例えば、属性情報復号部４６４３は、位置情報復号部４６４２で得られた８分木構造に基づき、処理対象の対象点（対象ノード）の復号において参照する参照点（参照ノード）を決定する。例えば、属性情報復号部４６４３は、周辺ノード又は隣接ノードのうち、８分木における親ノードが対象ノードと同一のノードを参照する。なお、参照関係の決定方法はこれに限らない。

【0100】

また、属性情報の復号処理は、逆量子化処理、予測処理、及び算術復号処理のうち少なくとも一つを含んでもよい。この場合、参照とは、属性情報の予測値の算出に参照ノードを用いること、又は、復号のパラメータの決定に参照ノードの状態（例えば、参照ノードに点群が含まれる否かを示す占有情報）を用いること、である。例えば、復号のパラメータとは、逆量子化処理における量子化パラメータ、又は算術復号におけるコンテキスト等である。

【0101】

付加情報復号部４６４４は、符号化付加情報を復号することで付加情報を生成する。また、第１の復号部４６４０は、位置情報及び属性情報の復号処理に必要な付加情報を復号時に使用し、アプリケーションに必要な付加情報を外部に出力する。

【0102】

次に、第２の符号化方法の符号化を行う符号化部４６１３の例である第２の符号化部４６５０について説明する。図９は、第２の符号化部４６５０の構成を示す図である。図１０は、第２の符号化部４６５０のブロック図である。

【0103】

第２の符号化部４６５０は、点群データを第２の符号化方法で符号化することで符号化データ（符号化ストリーム）を生成する。この第２の符号化部４６５０は、付加情報生成部４６５１と、位置画像生成部４６５２と、属性画像生成部４６５３と、映像符号化部４６５４と、付加情報符号化部４６５５と、多重化部４６５６とを含む。

【0104】

第２の符号化部４６５０は、三次元構造を二次元画像に投影することで位置画像及び属性画像を生成し、生成した位置画像及び属性画像を既存の映像符号化方式を用いて符号化するという特徴を有する。第２の符号化方法は、ＶＰＣＣ（Ｖｉｄｅｏ ｂａｓｅｄ ＰＣＣ）とも呼ばれる。

【0105】

点群データは、ＰＬＹファイルのようなＰＣＣ点群データ、又は、センサ情報から生成されたＰＣＣ点群データであり、位置情報（Ｐｏｓｉｔｉｏｎ）、属性情報（Ａｔｔｒｉｂｕｔｅ）、及びその他の付加情報ＭｅｔａＤａｔａ）を含む。

【0106】

付加情報生成部４６５１は、三次元構造を二次元画像に投影することで、複数の二次元画像のマップ情報を生成する。

【0107】

位置画像生成部４６５２は、位置情報と、付加情報生成部４６５１で生成されたマップ情報とに基づき、位置画像（Ｇｅｏｍｅｔｒｙ Ｉｍａｇｅ）を生成する。この位置画像は、例えば、画素値として距離（Ｄｅｐｔｈ）が示される距離画像である。なお、この距離画像は、一つの視点から複数の点群を見た画像（一つの二次元平面に複数の点群を投影した画像）であってもよいし、複数の視点から複数の点群を見た複数の画像であってもよいし、これらの複数の画像を統合した一つの画像であってもよい。

【0108】

属性画像生成部４６５３は、属性情報と、付加情報生成部４６５１で生成されたマップ情報とに基づき、属性画像を生成する。この属性画像は、例えば、画素値として属性情報（例えば色（ＲＧＢ））が示される画像である。なお、この画像は、一つの視点から複数の点群を見た画像（一つの二次元平面に複数の点群を投影した画像）であってもよいし、複数の視点から複数の点群を見た複数の画像であってもよいし、これらの複数の画像を統合した一つの画像であってもよい。

【0109】

映像符号化部４６５４は、位置画像及び属性画像を、映像符号化方式を用いて符号化することで、符号化データである符号化位置画像（Ｃｏｍｐｒｅｓｓｅｄ Ｇｅｏｍｅｔｒｙ Ｉｍａｇｅ）及び符号化属性画像（Ｃｏｍｐｒｅｓｓｅｄ Ａｔｔｒｉｂｕｔｅ Ｉｍａｇｅ）を生成する。なお、映像符号化方式として、公知の任意の符号化方法が用いられてよい。例えば、映像符号化方式は、ＡＶＣ又はＨＥＶＣ等である。

【0110】

付加情報符号化部４６５５は、点群データに含まれる付加情報、及びマップ情報等を符号化することで符号化付加情報（Ｃｏｍｐｒｅｓｓｅｄ ＭｅｔａＤａｔａ）を生成する。

【0111】

多重化部４６５６は、符号化位置画像、符号化属性画像、符号化付加情報、及び、その他の付加情報を多重化することで符号化データである符号化ストリーム（Ｃｏｍｐｒｅｓｓｅｄ Ｓｔｒｅａｍ）を生成する。生成された符号化ストリームは、図示しないシステムレイヤの処理部へ出力される。

【0112】

次に、第２の符号化方法の復号を行う復号部４６２４の例である第２の復号部４６６０について説明する。図１１は、第２の復号部４６６０の構成を示す図である。図１２は、第２の復号部４６６０のブロック図である。第２の復号部４６６０は、第２の符号化方法で符号化された符号化データ（符号化ストリーム）を、第２の符号化方法で復号することで点群データを生成する。この第２の復号部４６６０は、逆多重化部４６６１と、映像復号部４６６２と、付加情報復号部４６６３と、位置情報生成部４６６４と、属性情報生成部４６６５とを含む。

【0113】

図示しないシステムレイヤの処理部から符号化データである符号化ストリーム（Ｃｏｍｐｒｅｓｓｅｄ Ｓｔｒｅａｍ）が第２の復号部４６６０に入力される。

【0114】

逆多重化部４６６１は、符号化データから、符号化位置画像（Ｃｏｍｐｒｅｓｓｅｄ Ｇｅｏｍｅｔｒｙ Ｉｍａｇｅ）、符号化属性画像（Ｃｏｍｐｒｅｓｓｅｄ Ａｔｔｒｉｂｕｔｅ Ｉｍａｇｅ）、符号化付加情報（Ｃｏｍｐｒｅｓｓｅｄ ＭｅｔａＤａｔａ）、及び、その他の付加情報を分離する。

【0115】

映像復号部４６６２は、符号化位置画像及び符号化属性画像を、映像符号化方式を用いて復号することで、位置画像及び属性画像を生成する。なお、映像符号化方式として、公知の任意の符号化方式が用いられてよい。例えば、映像符号化方式は、ＡＶＣ又はＨＥＶＣ等である。

【0116】

付加情報復号部４６６３は、符号化付加情報を復号することで、マップ情報等を含む付加情報を生成する。

【0117】

位置情報生成部４６６４は、位置画像とマップ情報とを用いて位置情報を生成する。属性情報生成部４６６５は、属性画像とマップ情報とを用いて属性情報を生成する。

【0118】

第２の復号部４６６０は、復号に必要な付加情報を復号時に使用し、アプリケーションに必要な付加情報を外部に出力する。

【0119】

以下、ＰＣＣ符号化方式における課題を説明する。図１３は、ＰＣＣ符号化データに関わるプロトコルスタックを示す図である。図１３には、ＰＣＣ符号化データに、映像（例えばＨＥＶＣ）又は音声などの他のメディアのデータを多重し、伝送又は蓄積する例を示す。

【0120】

多重化方式及びファイルフォーマットは、様々な符号化データを多重し、伝送又は蓄積するための機能を有している。符号化データを伝送又は蓄積するためには、符号化データを多重化方式のフォーマットに変換しなければならない。例えば、ＨＥＶＣでは、ＮＡＬユニットと呼ばれるデータ構造に符号化データを格納し、ＮＡＬユニットをＩＳＯＢＭＦＦに格納する技術が規定されている。

【0121】

一方、現在、点群データの符号化方法として第１の符号化方法（Ｃｏｄｅｃ１）、及び第２の符号化方法（Ｃｏｄｅｃ２）が検討されているが、符号化データの構成、及び符号化データをシステムフォーマットへ格納する方法が定義されておらず、このままでは符号化部におけるＭＵＸ処理（多重化）、伝送及び蓄積ができないという課題がある。

【0122】

なお、以降において、特定の符号化方法の記載がなければ、第１の符号化方法、及び第２の符号化方法のいずれかを示すものとする。

【0123】

以下、本実施の形態に係るＮＡＬユニットの定義方法について説明する。例えば、ＨＥＶＣなどの、これまでのコーデックでは、１つのコーデックに対して、１つのフォーマットのＮＡＬユニットが定義されている。しかし、ＰＣＣのように、第１の符号化方法と第２の符号化方法との２つのコーデック（以降、ＰＣＣコーデックと称する）が混在するフォーマットをサポートする方法はこれまで存在しない。

【0124】

まず、上述した第１の符号化部４６３０及び第２の符号化部４６５０の両方の機能を持つ符号化部４６７０、並びに、第１の復号部４６４０及び第２の復号部４６６０の両方の機能を持つ復号部４６８０について説明する。

【0125】

図１４は、本実施の形態に係る符号化部４６７０のブロック図である。この符号化部４６７０は、上述した第１の符号化部４６３０及び第２の符号化部４６５０と、多重化部４６７１とを含む。多重化部４６７１は、第１の符号化部４６３０で生成された符号化データと第２の符号化部４６５０で生成された符号化データとを多重化し、得られた符号化データを出力する。

【0126】

図１５は、本実施の形態に係る復号部４６８０のブロック図である。この復号部４６８０は、上述した第１の復号部４６４０及び第２の復号部４６６０と、逆多重化部４６８１とを含む。逆多重化部４６８１は、入力された符号化データから、第１の符号化方法が用いられている符号化データと、第２の符号化方法が用いられている符号化データとを抽出する。逆多重化部４６８１は、第１の符号化方法が用いられている符号化データを第１の復号部４６４０に出力し、第２の符号化方法が用いられている符号化データを第２の復号部４６６０に出力する。

【0127】

上記の構成により、符号化部４６７０は、第１の符号化方法及び第２の符号化方法を選択的に用いて点群データを符号化することができる。また、復号部４６８０は、第１の符号化方法を用いて符号化された符号化データ、第２の符号化方法を用いて符号化された符号化データ、及び、第１の符号化方法と第２の符号化方法との両方を用いて符号化された符号化データを復号できる。

【0128】

例えば、符号化部４６７０は、点群データ単位、又はフレーム単位で符号化方法（第１の符号化方法及び第２の符号化方法）を切り替えてもよい。また、符号化部４６７０は、符号化可能な単位で符号化方法を切り替えてもよい。

【0129】

符号化部４６７０は、例えば、ＰＣＣコーデックの識別情報を含む符号化データ（符号化ストリーム）を生成する。

【0130】

復号部４６８０に含まれる逆多重化部４６８１は、例えば、ＰＣＣコーデックの識別情報を用いて、データを識別する。逆多重化部４６８１は、当該データが第１の符号化方法で符号化されたデータである場合には、第１の復号部４６４０に当該データを出力し、当該データが第２の符号化方法で符号化されたデータである場合には、当該データを第２の復号部４６６０に出力する。

【0131】

なお、符号化部４６７０は、ＰＣＣコーデックの識別情報以外にも、両方の符号化方法を用いたか、いずれか一方の符号化方法を用いたかを示す情報を制御情報として送出してもよい。

【0132】

次に、本実施の形態に係る符号化処理について説明する。図１６は、本実施の形態に係る符号化処理のフローチャートである。ＰＣＣコーデックの識別情報を用いることにより、複数コーデックに対応した符号化処理が可能となる。

【0133】

まず、符号化部４６７０は、ＰＣＣデータを第１の符号化方法、第２の符号化方法のいずれか一方又は両方のコーデックで符号化する（Ｓ４６８１）。

【0134】

使用したコーデックが第２の符号化方法である場合（Ｓ４６８２で第２の符号化方法）、符号化部４６７０は、ＮＡＬユニットヘッダに含まれるｐｃｃ＿ｃｏｄｅｃ＿ｔｙｐｅをＮＡＬユニットのペイロードに含まれるデータが第２の符号化方法で符号化されたデータであることを示す値に設定する（Ｓ４６８３）。次に、符号化部４６７０は、ＮＡＬユニットヘッダのｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅに第２の符号化方法用のＮＡＬユニットの識別子を設定する（Ｓ４６８４）。そして、符号化部４６７０は、設定したＮＡＬユニットヘッダを有し、ペイロードに符号化データを含むＮＡＬユニットを生成する。そして、符号化部４６７０は、生成したＮＡＬユニットを送信する（Ｓ４６８５）。

【0135】

一方、使用したコーデックが第１の符号化方法である場合（Ｓ４６８２で第１の符号化方法）、符号化部４６７０は、ＮＡＬユニットヘッダに含まれるｐｃｃ＿ｃｏｄｅｃ＿ｔｙｐｅをＮＡＬユニットのペイロードに含まれるデータが第１の符号化方法で符号化されたデータであることを示す値に設定する（Ｓ４６８６）。次に、符号化部４６７０は、ＮＡＬユニットヘッダに含まれるｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅに第１の符号化方法用のＮＡＬユニットの識別子を設定する（Ｓ４６８７）。次に、符号化部４６７０は、設定したＮＡＬユニットヘッダを有し、ペイロードに符号化データを含むＮＡＬユニットを生成する。そして、符号化部４６７０は、生成したＮＡＬユニットを送信する（Ｓ４６８５）。

【0136】

次に、本実施の形態に係る復号処理について説明する。図１７は、本実施の形態に係る復号処理のフローチャートである。ＰＣＣコーデックの識別情報を用いることにより、複数コーデックに対応した復号処理が可能となる。

【0137】

まず、復号部４６８０は、ＮＡＬユニットを受信する（Ｓ４６９１）。例えば、このＮＡＬユニットは、上述した符号化部４６７０における処理で生成されたものである。

【0138】

次に、復号部４６８０は、ＮＡＬユニットヘッダに含まれるｐｃｃ＿ｃｏｄｅｃ＿ｔｙｐｅが第１の符号化方法を示すか、第２の符号化方法を示すかを判定する（Ｓ４６９２）。

【0139】

ｐｃｃ＿ｃｏｄｅｃ＿ｔｙｐｅが第２の符号化方法を示す場合（Ｓ４６９２で第２の符号化方法）、復号部４６８０は、ＮＡＬユニットのペイロードに含まれるデータが第２の符号化方法で符号化されたデータであると判断する（Ｓ４６９３）。そして、第２の復号部４６６０は、ＮＡＬユニットヘッダに含まれるｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅが、第２の符号化方法用のＮＡＬユニットの識別子であるとしてデータを識別する（Ｓ４６９４）。そして、復号部４６８０は、第２の符号化方法の復号処理を用いてＰＣＣデータを復号する（Ｓ４６９５）。

【0140】

一方、ｐｃｃ＿ｃｏｄｅｃ＿ｔｙｐｅが第１の符号化方法を示す場合（Ｓ４６９２で第１の符号化方法）、復号部４６８０は、ＮＡＬユニットのペイロードに含まれるデータが第１の符号化方法で符号化されたデータであると判断する（Ｓ４６９６）。そして、復号部４６８０は、ＮＡＬユニットヘッダに含まれるｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅが、第１の符号化方法用のＮＡＬユニットの識別子であるとしてデータを識別する（Ｓ４６９７）。そして、復号部４６８０は、第１の符号化方法の復号処理を用いてＰＣＣデータを復号する（Ｓ４６９８）。

【0141】

以上のように、本開示の一態様に係る三次元データ符号化装置は、三次元データ（例えば点群データ）を符号化することで符号化ストリームを生成し、前記符号化ストリームの制御情報（例えば、パラメータセット）に、第１符号化方法と第２符号化方法のうち、前記符号化に用いた符号化方法を示す情報（例えば、コーデックの識別情報）を格納する。

【0142】

これによれば、三次元データ復号装置は、当該三次元データ符号化装置で生成された符号化ストリームを復号する際に、制御情報に格納された情報を用いて符号化に用いられた符号化方法を判定できる。よって、三次元データ復号装置は、複数の符号化方法が用いられる場合においても正しく符号化ストリームを復号できる。

【0143】

例えば、前記三次元データは、位置情報を含む。三次元データ符号化装置は、前記符号化では、前記位置情報を符号化する。三次元データ符号化装置は、前記格納では、前記位置情報の制御情報に、前記第１符号化方法と前記第２符号化方法のうち、前記位置情報の符号化に用いた符号化方法を示す情報を格納する。

【0144】

例えば、前記三次元データは、位置情報と属性情報とを含む。三次元データ符号化装置は、前記符号化では、前記位置情報と前記属性情報とを符号化する。三次元データ符号化装置は、前記格納では、前記位置情報の制御情報に、前記第１符号化方法と前記第２符号化方法のうち、前記位置情報の符号化に用いた符号化方法を示す情報を格納し、前記属性情報の制御情報に、前記第１符号化方法と前記第２符号化方法のうち、前記属性情報の符号化に用いた符号化方法を示す情報を格納する。

【0145】

これによれば、位置情報と属性情報とに異なる符号化方法を用いることができるので、符号化効率を向上できる。

【0146】

例えば、前記三次元データ符号化方法は、さらに、前記符号化ストリームを１以上のユニット（例えば、ＮＡＬユニット）に格納する。

【0147】

例えば、前記ユニットは、前記第１符号化方法と前記第２符号化方法とで共通したフォーマットを有し、前記ユニットに含まれるデータの種別を示す情報であって、前記第１符号化方法と前記第２符号化方法とで独立した定義を有する情報（例えば、ｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ）を含む。

【0148】

例えば、前記ユニットは、前記第１符号化方法と前記第２符号化方法とで独立したフォーマットを有し、前記ユニットに含まれるデータの種別を示す情報であって、前記第１符号化方法と前記第２符号化方法とで独立した定義を有する情報（例えば、ｃｏｄｅｃ１＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ又はｃｏｄｅｃ２＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ）を含む。

【0149】

例えば、前記ユニットは、前記第１符号化方法と前記第２符号化方法とで共通したフォーマットを有し、前記ユニットに含まれるデータの種別を示す情報であって、前記第１符号化方法と前記第２符号化方法とで共通した定義を有する情報（例えば、ｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ）を含む。

【0150】

例えば、三次元データ符号化装置は、プロセッサと、メモリとを備え、プロセッサは、メモリを用いて、上記の処理を行う。

【0151】

また、本実施の形態に係る三次元データ復号装置は、三次元データを符号化することで生成された符号化ストリームの制御情報（例えば、パラメータセット）に含まれる、第１符号化方法と第２符号化方法のうち、前記三次元データの符号化に用いられた符号化方法を示す情報（例えば、コーデックの識別情報）に基づき、符号化ストリームの符号化に用いられた符号化方法を判定し、判定した前記符号化方法を用いて前記符号化ストリームを復号する。

【0152】

これによれば、三次元データ復号装置は、符号化ストリームを復号する際に、制御情報に格納された情報を用いて符号化に用いられた符号化方法を判定できる。よって、三次元データ復号装置は、複数の符号化方法が用いられる場合においても正しく符号化ストリームを復号できる。

【0153】

例えば、前記三次元データは、位置情報を含み、前記符号化ストリームは、前記位置情報の符号化データを含む。三次元データ復号装置は、前記判定では、前記符号化ストリームに含まれる前記位置情報の制御情報に含まれる、前記第１符号化方法と前記第２符号化方法のうち、前記位置情報の符号化に用いられた符号化方法を示す情報に基づき、前記位置情報の符号化に用いられた符号化方法を判定する。三次元データ復号装置は、前記復号では、判定した前記位置情報の符号化に用いられた符号化方法を用いて前記位置情報の符号化データを復号する。

【0154】

例えば、前記三次元データは、位置情報と属性情報とを含み、前記符号化ストリームは、前記位置情報の符号化データと前記属性情報の符号化データとを含む。三次元データ復号装置は、前記判定では、前記符号化ストリームに含まれる前記位置情報の制御情報に含まれる、前記第１符号化方法と前記第２符号化方法のうち、前記位置情報の符号化に用いられた符号化方法を示す情報に基づき、前記位置情報の符号化に用いられた符号化方法を判定し、前記符号化ストリームに含まれる前記属性情報の制御情報に含まれる、前記第１符号化方法と前記第２符号化方法のうち、前記属性情報の符号化に用いられた符号化方法を示す情報に基づき、前記属性情報の符号化に用いられた符号化方法を判定する。三次元データ復号装置は、前記復号では、判定した前記位置情報の符号化に用いられた符号化方法を用いて前記位置情報の符号化データを復号し、判定した前記属性情報の符号化に用いられた符号化方法を用いて前記属性情報の符号化データを復号する。

【0155】

これによれば、位置情報と属性情報とに異なる符号化方法を用いることができるので、符号化効率を向上できる。

【0156】

例えば、前記符号化ストリームは１以上のユニット（例えば、ＮＡＬユニット）に格納されており、三次元データ復号装置は、さらに、前記１以上のユニットから前記符号化ストリームを取得する。

【0157】

例えば、前記ユニットは、前記第１符号化方法と前記第２符号化方法とで共通したフォーマットを有し、前記ユニットに含まれるデータの種別を示す情報であって、前記第１符号化方法と前記第２符号化方法とで独立した定義を有する情報（例えば、ｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ）を含む。

【0158】

例えば、前記ユニットは、前記第１符号化方法と前記第２符号化方法とで独立したフォーマットを有し、前記ユニットに含まれるデータの種別を示す情報であって、前記第１符号化方法と前記第２符号化方法とで独立した定義を有する情報（例えば、ｃｏｄｅｃ１＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ又はｃｏｄｅｃ２＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ）を含む。

【0159】

例えば、前記ユニットは、前記第１符号化方法と前記第２符号化方法とで共通したフォーマットを有し、前記ユニットに含まれるデータの種別を示す情報であって、前記第１符号化方法と前記第２符号化方法とで共通した定義を有する情報（例えば、ｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ）を含む。

【0160】

例えば、三次元データ復号装置は、プロセッサと、メモリとを備え、プロセッサは、メモリを用いて、上記の処理を行う。

【0161】

（実施の形態２）
本実施の形態では、ＮＡＬユニットをＩＳＯＢＭＦＦのファイルに格納する方法について説明する。

【0162】

ＩＳＯＢＭＦＦ（ＩＳＯ ｂａｓｅｄ ｍｅｄｉａ ｆｉｌｅ ｆｏｒｍａｔ）は、ＩＳＯ／ＩＥＣ１４４９６－１２に規定されるファイルフォーマット規格である。ＩＳＯＢＭＦＦは、ビデオ、オーディオ、及びテキストなど様々なメディアを多重して格納できるフォーマットを規定しており、メディアに依存しない規格である。

【0163】

ＩＳＯＢＭＦＦの基本構造（ファイル）について説明する。ＩＳＯＢＭＦＦにおける基本単位はボックスである。ボックスはｔｙｐｅ、ｌｅｎｇｔｈ、ｄａｔａで構成され、様々なｔｙｐｅのボックスを組み合わせた集合がファイルである。

【0164】

図１８は、ＩＳＯＢＭＦＦの基本構造（ファイル）を示す図である。ＩＳＯＢＭＦＦのファイルは、主に、ファイルのブランドを４ＣＣ（４文字コード）で示すｆｔｙｐ、制御情報などのメタデータを格納するｍｏｏｖ、及び、データを格納するｍｄａｔなどのボックスを含む。

【0165】

ＩＳＯＢＭＦＦのファイルへのメディア毎の格納方法は別途規定されており、例えば、ＡＶＣビデオ及びＨＥＶＣビデオの格納方法は、ＩＳＯ／ＩＥＣ１４４９６－１５に規定される。ここで、ＰＣＣ符号化データを蓄積又は伝送するために、ＩＳＯＢＭＦＦの機能を拡張して使用することが考えられるが、ＰＣＣ符号化データをＩＳＯＢＭＦＦのファイルに格納する規定はまだない。そこで、本実施の形態では、ＰＣＣ符号化データをＩＳＯＢＭＦＦのファイルに格納する方法について説明する。

【0166】

図１９は、ＰＣＣコーデック共通のＮＡＬユニットをＩＳＯＢＭＦＦのファイルに格納する場合のプロトコルスタックを示す図である。ここでは、ＰＣＣコーデック共通のＮＡＬユニットがＩＳＯＢＭＦＦのファイルに格納される。ＮＡＬユニットはＰＣＣコーデック共通であるが、ＮＡＬユニットには複数のＰＣＣコーデックが格納されるため、それぞれのコーデックに応じた格納方法（Ｃａｒｒｉａｇｅ ｏｆ Ｃｏｄｅｃ１、Ｃａｒｒｉａｇｅ ｏｆ Ｃｏｄｅｃ２）を規定することが望ましい。

【0167】

次に、複数のＰＣＣコーデックをサポートする共通のＰＣＣ ＮＡＬユニットをＩＳＯＢＭＦＦのファイルへ格納する方法について説明する。図２０は、共通のＰＣＣ ＮＡＬユニットをコーデック１の格納方法（Ｃａｒｒｉａｇｅ ｏｆ Ｃｏｄｅｃ１）のＩＳＯＢＭＦＦのファイルに格納する例を示す図である。図２１は、共通のＰＣＣ ＮＡＬユニットをコーデック２の格納方法（Ｃａｒｒｉａｇｅ ｏｆ Ｃｏｄｅｃ２）のＩＳＯＢＭＦＦのファイルに格納する例を示す図である。

【0168】

ここで、ｆｔｙｐは、ファイルフォーマットを識別するための重要な情報であり、ｆｔｙｐ用に、コーデック毎に異なる識別子が定義される。第１の符号化方法（符号化方式）で符号化されたＰＣＣ符号化データがファイルに格納される場合は、ｆｔｙｐ＝ｐｃｃ１に設定される。第２の符号化方法で符号化されたＰＣＣ符号化データがファイルに格納される場合は、ｆｔｙｐ＝ｐｃｃ２に設定される。

【0169】

ここで、ｐｃｃ１は、ＰＣＣのコーデック１（第１の符号化方法）が用いられることを示す。ｐｃｃ２は、ＰＣＣのコーデック２（第２の符号化方法）が用いられることを示す。つまり、ｐｃｃ１及びｐｃｃ２は、データがＰＣＣ（三次元データ（点群データ）の符号データ）であることを示し、かつ、ＰＣＣコーデック（第１の符号化方法及び第２の符号化方法）を示す。

【0170】

以下、ＮＡＬユニットをＩＳＯＢＭＦＦのファイルへ格納する方法について説明する。多重化部は、ＮＡＬユニットヘッダを解析し、ｐｃｃ＿ｃｏｄｅｃ＿ｔｙｐｅ＝Ｃｏｄｅｃ１である場合にはＩＳＯＢＭＦＦのｆｔｙｐにｐｃｃ１を記載する。

【0171】

また、多重化部は、ＮＡＬユニットヘッダを解析し、ｐｃｃ＿ｃｏｄｅｃ＿ｔｙｐｅ＝Ｃｏｄｅｃ２である場合にはＩＳＯＢＭＦＦのｆｔｙｐにｐｃｃ２を記載する。

【0172】

また、多重化部は、ｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅがメタデータである場合は、ＮＡＬユニットを所定の方法で、例えばｍｏｏｖ又はｍｄａｔに格納する。多重化部は、ｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅがデータである場合は、ＮＡＬユニットを所定の方法で、例えばｍｏｏｖ又はｍｄａｔに格納する。

【0173】

例えば、多重化部は、ＨＥＶＣと同様にＮＡＬユニットにＮＡＬユニットサイズを格納してもよい。

【0174】

本格納方法により、逆多重化部（システムレイヤ）においてファイルに含まれるｆｔｙｐを解析することで、ＰＣＣ符号化データが第１の符号化方法で符号化されたか、第２の符号化方法で符号化されたかを判定することが可能となる。さらに、上記の通り、ＰＣＣ符号化データが第１の符号化方法で符号化されたか、第２の符号化方法で符号化されたかを判定することで、両方の符号化方法で符号化された符号化データが混在するデータからいずれか一方の符号化方法で符号化された符号化データを抽出することができる。これにより、符号化データを伝送する際に、伝送されるデータ量を抑制することができる。また、本格納方法により、第１の符号化方法と第２の符号化方法とで、異なるデータ（ファイル）フォーマットを設定することなく、共通のデータフォーマットを用いることができる。

【0175】

なお、ＩＳＯＢＭＦＦにおけるｆｔｙｐなど、システムレイヤのメタデータにコーデックの識別情報が示される場合は、多重化部は、ｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを削除したＮＡＬユニットをＩＳＯＢＭＦＦのファイルに格納してもよい。

【0176】

次に、本実施の形態に係る三次元データ符号化システム（三次元データ符号化装置）が備える多重化部、及び、本実施の形態に係る三次元データ復号システム（三次元データ復号装置）が備える逆多重化部の構成及び動作について説明する。

【0177】

図２２は、第１の多重化部４７１０の構成を示す図である。第１の多重化部４７１０は、第１の符号化部４６３０で生成された符号化データ及び制御情報（ＮＡＬユニット）をＩＳＯＢＭＦＦのファイルに格納することで多重化データ（ファイル）を生成するファイル変換部４７１１を備える。この第１の多重化部４７１０は、例えば、図１に示す多重化部４６１４に含まれる。

【0178】

図２３は、第１の逆多重化部４７２０の構成を示す図である。第１の逆多重化部４７２０は、多重化データ（ファイル）から符号化データ及び制御情報（ＮＡＬユニット）を取得し、取得した符号化データ及び制御情報を第１の復号部４６４０に出力するファイル逆変換部４７２１を備える。この第１の逆多重化部４７２０は、例えば、図１に示す逆多重化部４６２３に含まれる。

【0179】

図２４は、第２の多重化部４７３０の構成を示す図である。第２の多重化部４７３０は、第２の符号化部４６５０で生成された符号化データ及び制御情報（ＮＡＬユニット）をＩＳＯＢＭＦＦのファイルに格納することで多重化データ（ファイル）を生成するファイル変換部４７３１を備える。この第２の多重化部４７３０は、例えば、図１に示す多重化部４６１４に含まれる。

【0180】

図２５は、第２の逆多重化部４７４０の構成を示す図である。第２の逆多重化部４７４０は、多重化データ（ファイル）から符号化データ及び制御情報（ＮＡＬユニット）を取得し、取得した符号化データ及び制御情報を第２の復号部４６６０に出力するファイル逆変換部４７４１を備える。この第２の逆多重化部４７４０は、例えば、図１に示す逆多重化部４６２３に含まれる。

【0181】

図２６は、第１の多重化部４７１０による多重化処理のフローチャートである。まず、第１の多重化部４７１０は、ＮＡＬユニットヘッダに含まれるｐｃｃ＿ｃｏｄｅｃ＿ｔｙｐｅを解析することで、使用されているコーデックが第１の符号化方法であるか、第２の符号化方法であるかを判定する（Ｓ４７０１）。

【0182】

ｐｃｃ＿ｃｏｄｅｃ＿ｔｙｐｅが第２の符号化方法を示す場合（Ｓ４７０２で第２の符号化方法）、第１の多重化部４７１０は、当該ＮＡＬユニットを処理しない（Ｓ４７０３）。

【0183】

一方、ｐｃｃ＿ｃｏｄｅｃ＿ｔｙｐｅが第２の符号化方法を示す場合（Ｓ４７０２で第１の符号化方法）、第１の多重化部４７１０は、ｆｔｙｐにｐｃｃ１を記載する（Ｓ４７０４）。つまり、第１の多重化部４７１０は、第１の符号化方法で符号化されたデータがファイルに格納されていることを示す情報をｆｔｙｐに記載する。

【0184】

次に、第１の多重化部４７１０は、ＮＡＬユニットヘッダに含まれるｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを解析し、ｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅで示されるデータタイプに応じた所定の方法でデータをボックス（ｍｏｏｖ又はｍｄａｔ等）に格納する（Ｓ４７０５）。そして、第１の多重化部４７１０は、上記ｆｔｙｐ及び上記ボックスを含むＩＳＯＢＭＦＦのファイルを作成する（Ｓ４７０６）。

【0185】

図２７は、第２の多重化部４７３０による多重化処理のフローチャートである。まず、第２の多重化部４７３０は、ＮＡＬユニットヘッダに含まれるｐｃｃ＿ｃｏｄｅｃ＿ｔｙｐｅを解析することで、使用されているコーデックが第１の符号化方法であるか、第２の符号化方法であるかを判定する（Ｓ４７１１）。

【0186】

ｐｃｃ＿ｕｎｉｔ＿ｔｙｐｅが第２の符号化方法を示す場合（Ｓ４７１２で第２の符号化方法）、第２の多重化部４７３０は、ｆｔｙｐにｐｃｃ２を記載する（Ｓ４７１３）。つまり、第２の多重化部４７３０は、第２の符号化方法で符号化されたデータがファイルに格納されていることを示す情報をｆｔｙｐに記載する。

【0187】

次に、第２の多重化部４７３０は、ＮＡＬユニットヘッダに含まれるｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを解析し、ｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅで示されるデータタイプに応じた所定の方法でデータをボックス（ｍｏｏｖ又はｍｄａｔ等）に格納する（Ｓ４７１４）。そして、第２の多重化部４７３０は、上記ｆｔｙｐ及び上記ボックスを含むＩＳＯＢＭＦＦのファイルを作成する（Ｓ４７１５）。

【0188】

一方、ｐｃｃ＿ｕｎｉｔ＿ｔｙｐｅが第１の符号化方法を示す場合（Ｓ４７１２で第１の符号化方法）、第２の多重化部４７３０は、当該ＮＡＬユニットを処理しない（Ｓ４７１６）。

【0189】

なお、上記処理は、ＰＣＣデータを第１の符号化方法、及び第２の符号化方法のいずれか一方で符号化する例を示している。第１の多重化部４７１０及び第２の多重化部４７３０は、ＮＡＬユニットのコーデックタイプを識別することにより、所望のＮＡＬユニットをファイルに格納する。なお、ＮＡＬユニットヘッダ以外に、ＰＣＣコーデックの識別情報が含まれる場合には、第１の多重化部４７１０及び第２の多重化部４７３０は、ステップＳ４７０１及びＳ４７１１において、ＮＡＬユニットヘッダ以外に含まれるＰＣＣコーデックの識別情報を用いて、コーデックタイプ（第１の符号化方法又は第２の符号化方法）を識別してもよい。

【0190】

また、第１の多重化部４７１０及び第２の多重化部４７３０は、ステップＳ４７０６及びＳ４７１４において、データをファイルに格納する際に、ＮＡＬユニットヘッダからｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを削除したうえでファイルに格納してもよい。

【0191】

図２８は、第１の逆多重化部４７２０及び第１の復号部４６４０による処理を示すフローチャートである。まず、第１の逆多重化部４７２０は、ＩＳＯＢＭＦＦのファイルに含まれるｆｔｙｐを解析する（Ｓ４７２１）。ｆｔｙｐで示されるコーデックが第２の符号化方法（ｐｃｃ２）である場合（Ｓ４７２２で第２の符号化方法）、第１の逆多重化部４７２０は、ＮＡＬユニットのペイロードに含まれるデータが第２の符号化方法で符号化されたデータであると判断する（Ｓ４７２３）。また、第１の逆多重化部４７２０は、判断の結果を第１の復号部４６４０に伝達する。第１の復号部４６４０は、当該ＮＡＬユニットを処理しない（Ｓ４７２４）。

【0192】

一方、ｆｔｙｐで示されるコーデックが第１の符号化方法（ｐｃｃ１）である場合（Ｓ４７２２で第１の符号化方法）、第１の逆多重化部４７２０は、ＮＡＬユニットのペイロードに含まれるデータが第１の符号化方法で符号化されたデータであると判断する（Ｓ４７２５）。また、第１の逆多重化部４７２０は、判断の結果を第１の復号部４６４０に伝達する。

【0193】

第１の復号部４６４０は、ＮＡＬユニットヘッダに含まれるｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅが、第１の符号化方法用のＮＡＬユニットの識別子であるとしてデータを識別する（Ｓ４７２６）。そして、第１の復号部４６４０は、第１の符号化方法の復号処理を用いてＰＣＣデータを復号する（Ｓ４７２７）。

【0194】

図２９は、第２の逆多重化部４７４０及び第２の復号部４６６０による処理を示すフローチャートである。まず、第２の逆多重化部４７４０は、ＩＳＯＢＭＦＦのファイルに含まれるｆｔｙｐを解析する（Ｓ４７３１）。ｆｔｙｐで示されるコーデックが第２の符号化方法（ｐｃｃ２）である場合（Ｓ４７３２で第２の符号化方法）、第２の逆多重化部４７４０は、ＮＡＬユニットのペイロードに含まれるデータが第２の符号化方法で符号化されたデータであると判断する（Ｓ４７３３）。また、第２の逆多重化部４７４０は、判断の結果を第２の復号部４６６０に伝達する。

【0195】

第２の復号部４６６０は、ＮＡＬユニットヘッダに含まれるｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅが、第２の符号化方法用のＮＡＬユニットの識別子であるとしてデータを識別する（Ｓ４７３４）。そして、第２の復号部４６６０は、第２の符号化方法の復号処理を用いてＰＣＣデータを復号する（Ｓ４７３５）。

【0196】

一方、ｆｔｙｐで示されるコーデックが第１の符号化方法（ｐｃｃ１）である場合（Ｓ４７３２で第１の符号化方法）、第２の逆多重化部４７４０は、ＮＡＬユニットのペイロードに含まれるデータが第１の符号化方法で符号化されたデータであると判断する（Ｓ４７３６）。また、第２の逆多重化部４７４０は、判断の結果を第２の復号部４６６０に伝達する。第２の復号部４６６０は、当該ＮＡＬユニットを処理しない（Ｓ４７３７）。

【0197】

このように、例えば、第１の逆多重化部４７２０又は第２の逆多重化部４７４０において、ＮＡＬユニットのコーデックタイプを識別することにより、早い段階でコーデックタイプを識別できる。さらに、所望のＮＡＬユニットを第１の復号部４６４０又は第２の復号部４６６０に入力し、不要なＮＡＬユニットを取り除くことができる。この場合、第１の復号部４６４０又は第２の復号部４６６０において、コーデックの識別情報を解析する処理は不要になる可能性がある。なお、第１の復号部４６４０又は第２の復号部４６６０で再度ＮＡＬユニットタイプを参照してコーデックの識別情報を解析する処理を実施してもよい。

【0198】

また、第１の多重化部４７１０又は第２の多重化部４７３０においてＮＡＬユニットヘッダからｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを削除されている場合には、第１の逆多重化部４７２０又は第２の逆多重化部４７４０は、ＮＡＬユニットにｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを付与したうえで第１の復号部４６４０又は第２の復号部４６６０へ出力してもよい。

【0199】

（実施の形態３）
本実施の形態では、実施の形態１で説明した、複数のコーデックに対応した符号化部４６７０及び復号部４６８０に対応する、多重化部および逆多重化部について説明する。図３０は、本実施の形態に係る符号化部４６７０及び第３の多重化部４７５０の構成を示す図である。

【0200】

符号化部４６７０は、点群データを、第１の符号化方法、及び第２の符号化方法のいずれか一方又は両方の方式を用いて符号化する。符号化部４６７０は、点群データ単位、又はフレーム単位で符号化方法（第１の符号化方法及び第２の符号化方法）を切り替えてもよい。また、符号化部４６７０は、符号化可能な単位で符号化方法を切り替えてもよい。

【0201】

符号化部４６７０は、ＰＣＣコーデックの識別情報を含む符号化データ（符号化ストリーム）を生成する。

【0202】

第３の多重化部４７５０は、ファイル変換部４７５１を備える。ファイル変換部４７５１は、符号化部４６７０から出力されたＮＡＬユニットをＰＣＣデータのファイルに変換する。ファイル変換部４７５１は、ＮＡＬユニットヘッダに含まれるコーデック識別情報を解析し、ＰＣＣ符号化データが、第１の符号化方法で符号化されたデータであるか、第２の符号化方法で符号化されたデータであるか、両方の方式で符号化されたデータであるかを判定する。ファイル変換部４７５１は、ｆｔｙｐにコーデックを識別可能なブランド名を記載する。例えば、両方の方式で符号化されたことを示す場合、ｆｔｙｐにｐｃｃ３が記載される。

【0203】

なお、符号化部４６７０が、ＮＡＬユニット以外にＰＣＣコーデックの識別情報を記載している場合、ファイル変換部４７５１は、当該識別情報を用いて、ＰＣＣコーデック（符号化方法）を判定してもよい。

【0204】

図３１は、本実施の形態に係る第３の逆多重化部４７６０及び復号部４６８０の構成を示す図である。

【0205】

第３の逆多重化部４７６０は、ファイル逆変換部４７６１を備える。ファイル逆変換部４７６１は、ファイルに含まれるｆｔｙｐを解析し、ＰＣＣ符号化データが、第１の符号化方法で符号化されたデータであるか、第２の符号化方法で符号化されたデータであるか、両方の方式で符号化されたデータであるかを判定する。

【0206】

ＰＣＣ符号化データがいずれか一方の符号化方法で符号化されている場合、第１の復号部４６４０及び第２の復号部４６６０のうち、対応する復号部にデータが入力され、もう一方の復号部にはデータが入力されない。ＰＣＣ符号化データが両方の符号化方法で符号化されている場合、両方式に対応する復号部４６８０にデータが入力される。

【0207】

復号部４６８０は、ＰＣＣ符号化データを、第１の符号化方法及び第２の符号化方法のいずれか一方又は両方の方式を用いて復号する。

【0208】

図３２は、本実施の形態に係る第３の多重化部４７５０による処理を示すフローチャートである。

【0209】

まず、第３の多重化部４７５０は、ＮＡＬユニットヘッダに含まれるｐｃｃ＿ｃｏｄｅｃ＿ｔｙｐｅを解析することで、使用されているコーデックが第１の符号化方法であるか、第２の符号化方法であるか、第１の符号化方法及び第２の符号化方法の両方であるかを判定する（Ｓ４７４１）。

【0210】

第２の符号化方法が使用されている場合（Ｓ４７４２でＹｅｓ、かつ、Ｓ４７４３で第２の符号化方法）、第３の多重化部４７５０は、ｆｔｙｐにｐｃｃ２を記載する（Ｓ４７４４）。つまり、第３の多重化部４７５０は、第２の符号化方法で符号化されたデータがファイルに格納されていることを示す情報をｆｔｙｐに記載する。

【0211】

次に、第３の多重化部４７５０は、ＮＡＬユニットヘッダに含まれるｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを解析し、ｐｃｃ＿ｕｎｉｔ＿ｔｙｐｅで示されるデータタイプに応じた所定の方法でデータをボックス（ｍｏｏｖ又はｍｄａｔ等）に格納する（Ｓ４７４５）。そして、第３の多重化部４７５０は、上記ｆｔｙｐ及び上記ボックスを含むＩＳＯＢＭＦＦのファイルを作成する（Ｓ４７４６）。

【0212】

一方、第１の符号化方法が使用されている場合（Ｓ４７４２でＹｅｓ、かつ、Ｓ４７４３で第１の符号化方法）、第３の多重化部４７５０は、ｆｔｙｐにｐｃｃ１を記載する（Ｓ４７４７）。つまり、第３の多重化部４７５０は、第１の符号化方法で符号化されたデータがファイルに格納されていることを示す情報をｆｔｙｐに記載する。

【0213】

次に、第３の多重化部４７５０は、ＮＡＬユニットヘッダに含まれるｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを解析し、ｐｃｃ＿ｕｎｉｔ＿ｔｙｐｅで示されるデータタイプに応じた所定の方法でデータをボックス（ｍｏｏｖ又はｍｄａｔ等）に格納する（Ｓ４７４８）。そして、第３の多重化部４７５０は、上記ｆｔｙｐ及び上記ボックスを含むＩＳＯＢＭＦＦのファイルを作成する（Ｓ４７４６）。

【0214】

一方、第１の符号化方法と第２の符号化方法との両方の符号化方法が使用されている場合（Ｓ４７４２でＮｏ）、第３の多重化部４７５０は、ｆｔｙｐにｐｃｃ３を記載する（Ｓ４７４９）。つまり、第３の多重化部４７５０は、両方の符号化方法で符号化されたデータがファイルに格納されていることを示す情報をｆｔｙｐに記載する。

【0215】

次に、第３の多重化部４７５０は、ＮＡＬユニットヘッダに含まれるｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを解析し、ｐｃｃ＿ｕｎｉｔ＿ｔｙｐｅで示されるデータタイプに応じた所定の方法でデータをボックス（ｍｏｏｖ又はｍｄａｔ等）に格納する（Ｓ４７５０）。そして、第３の多重化部４７５０は、上記ｆｔｙｐ及び上記ボックスを含むＩＳＯＢＭＦＦのファイルを作成する（Ｓ４７４６）。

【0216】

図３３は、第３の逆多重化部４７６０及び復号部４６８０による処理を示すフローチャートである。まず、第３の逆多重化部４７６０は、ＩＳＯＢＭＦＦのファイルに含まれるｆｔｙｐを解析する（Ｓ４７６１）。ｆｔｙｐで示されるコーデックが第２の符号化方法（ｐｃｃ２）である場合（Ｓ４７６２でＹｅｓ、かつＳ４７６３で第２の符号化方法）、第３の逆多重化部４７６０は、ＮＡＬユニットのペイロードに含まれるデータが第２の符号化方法で符号化されたデータであると判断する（Ｓ４７６４）。また、第３の逆多重化部４７６０は、判断の結果を復号部４６８０に伝達する。

【0217】

復号部４６８０は、ＮＡＬユニットヘッダに含まれるｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅが、第２の符号化方法用のＮＡＬユニットの識別子であるとしてデータを識別する（Ｓ４７６５）。そして、復号部４６８０は、第２の符号化方法の復号処理を用いてＰＣＣデータを復号する（Ｓ４７６６）。

【0218】

一方、ｆｔｙｐで示されるコーデックが第１の符号化方法（ｐｃｃ１）である場合（Ｓ４７６２でＹｅｓ、かつＳ４７６３で第１の符号化方法）、第３の逆多重化部４７６０は、ＮＡＬユニットのペイロードに含まれるデータが第１の符号化方法で符号化されたデータであると判断する（Ｓ４７６７）。また、第３の逆多重化部４７６０は、判断の結果を復号部４６８０に伝達する。

【0219】

復号部４６８０は、ＮＡＬユニットヘッダに含まれるｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅが、第１の符号化方法用のＮＡＬユニットの識別子であるとしてデータを識別する（Ｓ４７６８）。そして、復号部４６８０は、第１の符号化方法の復号処理を用いてＰＣＣデータを復号する（Ｓ４７６９）。

【0220】

一方、ｆｔｙｐで両方の符号化方法が用いられていること（ｐｃｃ３）が示される場合（Ｓ４７６２でＮｏ）、第３の逆多重化部４７６０は、ＮＡＬユニットのペイロードに含まれるデータが、第１の符号化方法と第２符号化方法との両方の符号化方法で符号化されたデータであると判断する（Ｓ４７７０）。また、第３の逆多重化部４７６０は、判断の結果を復号部４６８０に伝達する。

【0221】

復号部４６８０は、ＮＡＬユニットヘッダに含まれるｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅが、ｐｃｃ＿ｃｏｄｅｃ＿ｔｙｐｅに記載されるコーデック用のＮＡＬユニットの識別子であるとしてデータを識別する（Ｓ４７７１）。そして、復号部４６８０は、両方の符号化方法の復号処理を用いてＰＣＣデータを復号する（Ｓ４７７２）。つまり、復号部４６８０は、第１の符号化方法で符号化されたデータを、第１の符号化方法の復号処理を用いて復号し、第２の符号化方法で符号化されたデータを、第２の符号化方法の復号処理を用いて復号する。

【0222】

以下、本実施の形態の変形例を説明する。ｆｔｙｐに示されるブランドの種類として、以下の種類が識別情報で示されてもよい。また、以下に示す複数の種類の組み合わせが識別情報で示されてもよい。

【0223】

識別情報は、ＰＣＣ符号化前の元データのオブジェクトが、領域が制限されている点群であるか、地図情報のように領域が制限されていない大規模点群であるかを示してもよい。

【0224】

識別情報は、ＰＣＣ符号化前の元データが、静的オブジェクトであるか、動的オブジェクトであるかを示してもよい。

【0225】

上述のように、識別情報は、ＰＣＣ符号化データが、第１の符号化方法で符号化されたデータであるか、第２の符号化方法で符号化されたデータであるかを示してもよい。

【0226】

識別情報は、ＰＣＣ符号化において用いたアルゴリズムを示してもよい。ここで、アルゴリズムとは、例えば、第１の符号化方法又は第２の符号化方法において使用可能な符号化方法である。

【0227】

識別情報は、ＰＣＣ符号化データのＩＳＯＢＭＦＦのファイルへの格納方法の違いを示してもよい。例えば、識別情報は、使用された格納方法が、蓄積用の格納方法であるか、ダイナミックストリーミングのようなリアルタイム送出用の格納方法であるかを示してもよい。

【0228】

また、実施の形態２及び実施の形態３では、ファイルフォーマットとしてＩＳＯＢＭＦＦが用いられる例に説明したが、その他の方式が用いられてもよい。例えば、ＭＰＥＧ－２ ＴＳ Ｓｙｓｔｅｍｓ、ＭＰＥＧ－ＤＡＳＨ、ＭＭＴ、又はＲＭＰにＰＣＣ符号化データを格納する際にも本実施の形態と同様の方法を用いてもよい。

【0229】

また、上記では、ｆｔｙｐに識別情報等のメタデータを格納する例を示したが、ｆｔｙｐ以外にこれらのメタデータが格納されてもよい。例えば、これらのメタデータがｍｏｏｖに格納されてもよい。

【0230】

以上のように、三次元データ格納装置（又は三次元データ多重化装置、又は三次元データ符号化装置）は、図３４に示す処理を行う。

【0231】

まず、三次元データ格納装置（例えば、第１の多重化部４７１０、第２の多重化部４７３０又は第３の多重化部４７５０を含む）は、点群データが符号化された符号化ストリームが格納された１以上のユニット（例えばＮＡＬユニット）を取得する（Ｓ４７８１）。次に、三次元データ格納装置は、１以上のユニットをファイル（例えばＩＳＯＢＭＦＦのファイル）に格納する（Ｓ４７８２）。また、三次元データ格納装置は、前記格納（Ｓ４７８２）では、ファイルに格納されているデータが、点群データが符号化されたデータであることを示す情報（例えばｐｃｃ１、ｐｃｃ２又はｐｃｃ３）を、前記ファイルの制御情報（例えばｆｔｙｐ）に格納する。

【0232】

これによれば、当該三次元データ格納装置で生成されたファイルを処理する装置では、ファイルの制御情報を参照して、当該ファイルに格納されているデータが点群データの符号化データであるか否かを早期に判定できる。よって、当該装置の処理量の低減又は処理の高速化を実現できる。

【0233】

例えば、前記情報は、さらに、第１符号化方法と第２符号化方法のうち、前記点群データの符号化に用いられた符号化方法を示す。なお、ファイルに格納されているデータが、点群データが符号化されたデータであることと、第１符号化方法と第２符号化方法のうち、点群データの符号化に用いられた符号化方法とは、単一の情報で示されてもよいし、異なる情報で示されてもよい。

【0234】

これによれば、当該三次元データ格納装置で生成されたファイルを処理する装置では、ファイルの制御情報を参照して、当該ファイルに格納されているデータに使用されたコーデックを早期に判定できる。よって、当該装置の処理量の低減又は処理の高速化を実現できる。

【0235】

例えば、前記第１符号化方法は、点群データの位置をＮ（Ｎは２以上の整数）分木で表した位置情報を符号化し、前記位置情報を用いて属性情報を符号化する方式（ＧＰＣＣ）であり、前記第２符号化方法は、点群データから二次元画像を生成し、前記二次元画像を映像符号化方法を用いて符号化する方式（ＶＰＣＣ）である。

【0236】

例えば、前記ファイルは、ＩＳＯＢＭＦＦ（ＩＳＯ ｂａｓｅｄ ｍｅｄｉａ ｆｉｌｅ ｆｏｒｍａｔ）に準拠する。

【0237】

例えば、三次元データ格納装置は、プロセッサと、メモリとを備え、プロセッサは、メモリを用いて、上記の処理を行う。

【0238】

また、以上のように、三次元データ取得装置（又は三次元データ逆多重化装置、又は三次元データ復号装置）は、図３５に示す処理を行う。

【0239】

三次元データ取得装置（例えば、第１の逆多重化部４７２０、第２の逆多重化部４７４０又は第３の逆多重化部４７６０を含む）は、点群データが符号化された符号化ストリームが格納された１以上のユニット（例えばＮＡＬユニット）が格納されたファイル（例えばＩＳＯＢＭＦＦのファイル）を取得する（Ｓ４７９１）。次に、三次元データ取得装置は、ファイルから、１以上のユニットを取得する（Ｓ４７９２）。また、ファイルの制御情報（例えばｆｔｙｐ）は、ファイルに格納されているデータが、点群データが符号化されたデータであることを示す情報（例えばｐｃｃ１、ｐｃｃ２又はｐｃｃ３）を含む。

【0240】

例えば、三次元データ取得装置は、前記情報を参照して、ファイルに格納されているデータが、点群データが符号化されたデータであるか否かを判定する。また、三次元データ取得装置は、ファイルに格納されているデータが、点群データが符号化されたデータであると判定した場合、１以上のユニットに含まれる点群データが符号化されたデータを復号することで点群データを生成する。または、三次元データ取得装置は、ファイルに格納されているデータが、点群データが符号化されたデータであると判定した場合、１以上のユニットに含まれるデータが、点群データが符号化されたデータであることを示す情報を、後段の処理部（例えば、第１の復号部４６４０、第２の復号部４６６０又は復号部４６８０）に出力（通知）する。

【0241】

これによれば、当該三次元データ取得装置は、ファイルの制御情報を参照して、当該ファイルに格納されているデータが点群データの符号化データであるか否かを早期に判定できる。よって、当該三次元データ取得装置又は後段の装置の処理量の低減又は処理の高速化を実現できる。

【0242】

例えば、前記情報は、さらに、第１符号化方法と第２符号化方法のうち、前記符号化に用いた符号化方法を示す。なお、ファイルに格納されているデータが、点群データが符号化されたデータであることと、第１符号化方法と第２符号化方法のうち、点群データの符号化に用いられた符号化方法とは、単一の情報で示されてもよいし、異なる情報で示されてもよい。

【0243】

これによれば、当該三次元データ取得装置は、ファイルの制御情報を参照して、当該ファイルに格納されているデータに使用されたコーデックを早期に判定できる。よって、当該三次元データ取得装置又は後段の装置の処理量の低減又は処理の高速化を実現できる。

【0244】

例えば、三次元データ取得装置は、前記情報に基づき、第１符号化方法で符号化されたデータと第２符号化方法で符号化されたデータとを含む符号化された点群データから、いずれか一方の符号化方法で符号化されたデータを取得する。

【0245】

例えば、前記第１符号化方法は、点群データの位置をＮ（Ｎは２以上の整数）分木で表した位置情報を符号化し、前記位置情報を用いて属性情報を符号化する方式（ＧＰＣＣ）であり、前記第２符号化方法は、点群データから二次元画像を生成し、前記二次元画像を映像符号化方法を用いて符号化する方式（ＶＰＣＣ）である。

【0246】

例えば、前記ファイルは、ＩＳＯＢＭＦＦ（ＩＳＯ ｂａｓｅｄ ｍｅｄｉａ ｆｉｌｅ ｆｏｒｍａｔ）に準拠する。

【0247】

例えば、三次元データ取得装置は、プロセッサと、メモリとを備え、プロセッサは、メモリを用いて、上記の処理を行う。

【0248】

（実施の形態４）
本実施の形態では、上述した第１の符号化部４６３０、又は第２の符号化部４６５０で生成される符号化データ（位置情報（Ｇｅｏｍｅｔｒｙ）、属性情報（Ａｔｔｒｉｂｕｔｅ）、付加情報（Ｍｅｔａｄａｔａ））の種別、及び付加情報（メタデータ）の生成方法、及び多重化部における多重処理について説明する。なお、付加情報（メタデータ）は、パラメータセット、又は制御情報と表記することもある。

【0249】

本実施の形態では、図４で説明した動的オブジェクト（時間的に変化する三次元点群データ）を例に説明するが、静的オブジェクト（任意の時刻の三次元点群データ）の場合でも同様の方法を用いてもよい。

【0250】

図３６は、本実施の形態に係る三次元データ符号化装置に含まれる符号化部４８０１及び多重化部４８０２の構成を示す図である。符号化部４８０１は、例えば、上述した第１の符号化部４６３０又は第２の符号化部４６５０に対応する。多重化部４８０２は、上述した多重化部４６３４又は４６４５６に対応する。

【0251】

符号化部４８０１は、複数のＰＣＣ（Ｐｏｉｎｔ Ｃｌｏｕｄ Ｃｏｍｐｒｅｓｓｉｏｎ）フレームの点群データを符号化し、複数の位置情報、属性情報及び付加情報の符号化データ（Ｍｕｌｔｉｐｌｅ Ｃｏｍｐｒｅｓｓｅｄ Ｄａｔａ）を生成する。

【0252】

多重化部４８０２は、複数のデータ種別（位置情報、属性情報及び付加情報）のデータをＮＡＬユニット化することで、データを復号装置におけるデータアクセスを考慮したデータ構成に変換する。

【0253】

図３７は、符号化部４８０１で生成される符号化データの構成例を示す図である。図中の矢印は符号化データの復号に係る依存関係を示しており、矢印の元は矢印の先のデータに依存している。つまり、復号装置は、矢印の先のデータを復号し、その復号したデータを用いて矢印の元のデータを復号する。言い換えると、依存するとは、依存元のデータの処理（符号化又は復号等）において依存先のデータが参照（使用）されることを意味する。

【0254】

まず、位置情報の符号化データの生成処理について説明する。符号化部４８０１は、各フレームの位置情報を符号化することで、フレーム毎の符号化位置データ（Ｃｏｍｐｒｅｓｓｅｄ Ｇｅｏｍｅｔｒｙ Ｄａｔａ）を生成する。また、符号化位置データをＧ（ｉ）で表す。ｉはフレーム番号、又はフレームの時刻等を示す。

【0255】

また、符号化部４８０１は、各フレームに対応する位置パラメータセット（ＧＰＳ（ｉ））を生成する。位置パラメータセットは、符号化位置データの復号に使用することが可能なパラメータを含む。また、フレーム毎の符号化位置データは、対応する位置パラメータセットに依存する。

【0256】

また、複数フレームから成る符号化位置データを位置シーケンス（Ｇｅｏｍｅｔｒｙ Ｓｅｑｕｅｎｃｅ）と定義する。符号化部４８０１は、位置シーケンス内の複数のフレームに対する復号処理に共通に使用するパラメータを格納する位置シーケンスパラメータセット（Ｇｅｏｍｅｔｒｙ Ｓｅｑｕｅｎｃｅ ＰＳ：位置ＳＰＳとも記す）を生成する。位置シーケンスは、位置ＳＰＳに依存する。

【0257】

次に、属性情報の符号化データの生成処理について説明する。符号化部４８０１は、各フレームの属性情報を符号化することで、フレーム毎の符号化属性データ（Ｃｏｍｐｒｅｓｓｅｄ Ａｔｔｒｉｂｕｔｅ Ｄａｔａ）を生成する。また、符号化属性データをＡ（ｉ）で表す。また、図３７では、属性Ｘと属性Ｙとが存在する例を示しており、属性Ｘの符号化属性データをＡＸ（ｉ）で表し、属性Ｙの符号化属性データをＡＹ（ｉ）で表す。

【0258】

また、符号化部４８０１は、各フレームに対応する属性パラメータセット（ＡＰＳ（ｉ））を生成する。また、属性Ｘの属性パラメータセットをＡＸＰＳ（ｉ）で表し、属性Ｙの属性パラメータセットをＡＹＰＳ（ｉ）で表す。属性パラメータセットは、符号化属性情報の復号に使用することが可能なパラメータを含む。符号化属性データは、対応する属性パラメータセットに依存する。

【0259】

また、複数フレームから成る符号化属性データを属性シーケンス（Ａｔｔｒｉｂｕｔｅ Ｓｅｑｕｅｎｃｅ）と定義する。符号化部４８０１は、属性シーケンス内の複数のフレームに対する復号処理に共通に使用するパラメータを格納する属性シーケンスパラメータセット（Ａｔｔｒｉｂｕｔｅ Ｓｅｑｕｅｎｃｅ ＰＳ：属性ＳＰＳとも記す）を生成する。属性シーケンスは、属性ＳＰＳに依存する。

【0260】

また、第１の符号化方法では、符号化属性データは符号化位置データに依存する。

【0261】

また、図３７では２種類の属性情報（属性Ｘと属性Ｙ）が存在する場合の例を示している。２種類の属性情報がある場合は、例えば、２つの符号化部により、それぞれのデータ及びメタデータが生成される。また、例えば、属性情報の種類毎に属性シーケンスが定義され、属性情報の種類毎に属性ＳＰＳが生成される。

【0262】

なお、図３７では、位置情報が１種類、属性情報が２種類である例を示しているが、これに限らず、属性情報は１種類であってもよいし、３種類以上であってもよい。この場合も、同様の方法で符号化データを生成できる。また、属性情報を持たない点群データの場合は、属性情報はなくてもよい。その場合は、符号化部４８０１は、属性情報に関連するパラメータセットを生成しなくてもよい。

【0263】

次に、付加情報（メタデータ）の生成処理について説明する。符号化部４８０１は、ＰＣＣストリーム全体のパラメータセットであるＰＣＣストリームＰＳ（ＰＣＣ Ｓｔｒｅａｍ ＰＳ：ストリームＰＳとも記す）を生成する。符号化部４８０１は、ストリームＰＳに、１又は複数の位置シーケンス及び１又は複数の属性シーケンスに対する復号処理に共通に使用することができるパラメータを格納する。例えば、ストリームＰＳには、点群データのコーデックを示す識別情報、及び符号化に使用されたアルゴリズムを示す情報等が含まれる。位置シーケンス及び属性シーケンスはストリームＰＳに依存する。

【0264】

次に、アクセスユニット及びＧＯＦについて説明する。本実施の形態では、新たにアクセスユニット（Ａｃｃｅｓｓ Ｕｎｉｔ：ＡＵ）、及びＧＯＦ（Ｇｒｏｕｐ ｏｆ Ｆｒａｍｅ）の考え方を導入する。

【0265】

アクセスユニットは、復号時にデータにアクセスするため基本単位であり、１つ以上のデータ及び１つ以上のメタデータで構成される。例えば、アクセスユニットは、同一時刻の位置情報と１又は複数の属性情報とで構成される。ＧＯＦは、ランダムアクセス単位であり、１つ以上のアクセスユニットで構成される。

【0266】

符号化部４８０１は、アクセスユニットの先頭を示す識別情報として、アクセスユニットヘッダ（ＡＵ Ｈｅａｄｅｒ）を生成する。符号化部４８０１は、アクセスユニットヘッダに、アクセスユニットに係るパラメータを格納する。例えば、アクセスユニットヘッダは、アクセスユニットに含まれる符号化データの構成又は情報を含む。また、アクセスユニットヘッダは、アクセスユニットに含まれるデータに共通に用いられるパラメータ、例えば、符号化データの復号に係るパラメータなどを含む。

【0267】

なお、符号化部４８０１は、アクセスユニットヘッダの代わりに、アクセスユニットに係るパラメータを含まないアクセスユニットデリミタを生成してもよい。このアクセスユニットデリミタは、アクセスユニットの先頭を示す識別情報として用いられる。復号装置は、アクセスユニットヘッダ又はアクセスユニットデリミタを検出することにより、アクセスユニットの先頭を識別する。

【0268】

次に、ＧＯＦ先頭の識別情報の生成について説明する。符号化部４８０１は、ＧＯＦの先頭を示す識別情報として、ＧＯＦヘッダ（ＧＯＦ Ｈｅａｄｅｒ）を生成する。符号化部４８０１は、ＧＯＦヘッダに、ＧＯＦに係るパラメータを格納する。例えば、ＧＯＦヘッダは、ＧＯＦに含まれる符号化データの構成又は情報を含む。また、ＧＯＦヘッダは、ＧＯＦに含まれるデータに共通に用いられるパラメータ、例えば、符号化データの復号に係るパラメータなどを含む。

【0269】

なお、符号化部４８０１は、ＧＯＦヘッダの代わりに、ＧＯＦに係るパラメータを含まないＧＯＦデリミタを生成してもよい。このＧＯＦデリミタは、ＧＯＦの先頭を示す識別情報として用いられる。復号装置は、ＧＯＦヘッダ又はＧＯＦデリミタを検出することにより、ＧＯＦの先頭を識別する。

【0270】

ＰＣＣ符号化データにおいて、例えば、アクセスユニットはＰＣＣフレーム単位であると定義される。復号装置は、アクセスユニット先頭の識別情報に基づき、ＰＣＣフレームにアクセスする。

【0271】

また、例えば、ＧＯＦは１つのランダムアクセス単位であると定義される。復号装置は、ＧＯＦ先頭の識別情報に基づき、ランダムアクセス単位にアクセスする。例えば、ＰＣＣフレームが互いに依存関係がなく、単独で復号可能であれば、ＰＣＣフレームをランダムアクセス単位と定義してもよい。

【0272】

なお、１つのアクセスユニットに２つ以上のＰＣＣフレームが割り当てられてもよいし、１つのＧＯＦに複数のランダムアクセス単位が割り当てられてもよい。

【0273】

また、符号化部４８０１は、上記以外のパラメータセット又はメタデータを定義し、生成してもよい。例えば、符号化部４８０１は、復号時に必ずしも用いない可能性のあるパラメータ（オプションのパラメータ）を格納するＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ）を生成してもよい。

【0274】

次に、符号化データの構成、及び符号化データのＮＡＬユニットへの格納方法を説明する。

【0275】

例えば、符号化データの種類毎にデータフォーマットが規定される。図３８は、符号化データ及びＮＡＬユニットの例を示す図である。

【0276】

例えば、図３８に示すように符号化データは、ヘッダとペイロードとを含む。なお、符号化データは、符号化データ、ヘッダ又はペイロードの長さ（データ量）を示す長さ情報を含んでもよい。また、符号化データは、ヘッダを含まなくてもよい。

【0277】

ヘッダは、例えば、データを特定するための識別情報を含む。この識別情報は、例えば、データ種別又はフレーム番号を示す。

【0278】

ヘッダは、例えば、参照関係を示す識別情報を含む。この識別情報は、例えば、データ間に依存関係がある場合にヘッダに格納され、参照元から参照先を参照するための情報である。例えば、参照先のヘッダには、当該データを特定するための識別情報が含まれる。参照元のヘッダには、参照先を示す識別情報が含まれる。

【0279】

なお、他の情報から参照先又は参照元を識別可能又は導出可能である場合は、データを特定するための識別情報、又は参照関係を示す識別情報を省略してもよい。

【0280】

多重化部４８０２は、符号化データを、ＮＡＬユニットのペイロードに格納する。ＮＡＬユニットヘッダには、符号化データの識別情報であるｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅが含まれる。図３９は、ｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅのセマンティクスの例を示す図である。

【0281】

図３９に示すように、ｐｃｃ＿ｃｏｄｅｃ＿ｔｙｐｅがコーデック１（Ｃｏｄｅｃ１：第１の符号化方法）である場合、ｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅの値０～１０は、コーデック１における、符号化位置データ（Ｇｅｏｍｅｔｒｙ）、符号化属性Ｘデータ（ＡｔｔｒｉｂｕｔｅＸ）、符号化属性Ｙデータ（ＡｔｔｒｉｂｕｔｅＹ）、位置ＰＳ（Ｇｅｏｍ．ＰＳ）、属性ＸＰＳ（ＡｔｔｒＸ．ＰＳ）、属性ＹＰＳ（ＡｔｔｒＸ．ＰＳ）、位置ＳＰＳ（Ｇｅｏｍｅｔｒｙ Ｓｅｑｕｅｎｃｅ ＰＳ）、属性ＸＳＰＳ（ＡｔｔｒｉｂｕｔｅＸ Ｓｅｑｕｅｎｃｅ ＰＳ）、属性ＹＳＰＳ（ＡｔｔｒｉｂｕｔｅＹ Ｓｅｑｕｅｎｃｅ ＰＳ）、ＡＵヘッダ（ＡＵ Ｈｅａｄｅｒ）、ＧＯＦヘッダ（ＧＯＦ Ｈｅａｄｅｒ）に割り当てられる。また、値１１以降は、コーデック１の予備に割り当てられる。

【0282】

ｐｃｃ＿ｃｏｄｅｃ＿ｔｙｐｅがコーデック２（Ｃｏｄｅｃ２：第２の符号化方法）である場合、ｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅの値０～２は、コーデックのデータＡ（ＤａｔａＡ）、メタデータＡ（ＭｅｔａＤａｔａＡ）、メタデータＢ（ＭｅｔａＤａｔａＢ）に割り当てられる。また、値３以降は、コーデック２の予備に割り当てられる。

【0283】

次に、データの送出順序について説明する。以下、ＮＡＬユニットの送出順序の制約について説明する。

【0284】

多重化部４８０２は、ＮＡＬユニットをＧＯＦ又はＡＵ単位でまとめて送出する。多重化部４８０２は、ＧＯＦの先頭にＧＯＦヘッダを配置し、ＡＵの先頭にＡＵヘッダを配置する。

【0285】

パケットロスなどでデータが失われた場合でも、復号装置が次のＡＵから復号できるように、多重化部４８０２は、シーケンスパラメータセット（ＳＰＳ）を、ＡＵ毎に配置してもよい。

【0286】

符号化データに復号に係る依存関係がある場合には、復号装置は、参照先のデータを復号した後に、参照元のデータを復号する。復号装置において、データを並び替ることなく、受信した順番に復号できるようにするために、多重化部４８０２は、参照先のデータを先に送出する。

【0287】

図４０は、ＮＡＬユニットの送出順の例を示す図である。図４０は、位置情報優先と、パラメータ優先と、データ統合との３つの例を示す。

【0288】

位置情報優先の送出順序は、位置情報に関する情報と、属性情報に関する情報との各々をまとめて送出する例である。この送出順序の場合、位置情報に関する情報の送出が属性情報に関する情報の送出よりも早く完了する。

【0289】

例えば、この送出順序を用いることで、属性情報を復号しない復号装置は、属性情報の復号を無視することで、処理しない時間を設けることができる可能性がある。また、例えば、位置情報を早く復号したい復号装置の場合、位置情報の符号化データを早く得ることにより、より早く位置情報を復号することができる可能性がある。

【0290】

なお、図４０では、属性ＸＳＰＳと属性ＹＳＰＳを統合し、属性ＳＰＳと記載しているが、属性ＸＳＰＳと属性ＹＳＰＳとを個別に配置してもよい。

【0291】

パラメータセット優先の送出順序では、パラメータセットが先に送出され、データが後で送出される。

【0292】

以上のようにＮＡＬユニット送出順序の制約に従えば、多重化部４８０２は、ＮＡＬユニットをどのような順序で送出してもよい。例えば、順序識別情報が定義され、多重化部４８０２は、複数パターンの順序でＮＡＬユニットを送出する機能を有してもよい。例えばストリームＰＳにＮＡＬユニットの順序識別情報が格納される。

【0293】

三次元データ復号装置は、順序識別情報に基づき復号を行ってもよい。三次元データ復号装置から三次元データ符号化装置に所望の送出順序が指示され、三次元データ符号化装置（多重化部４８０２）は、指示された送出順序に従って送出順序を制御してもよい。

【0294】

なお、多重化部４８０２は、データ統合の送出順序のように、送出順序の制約に従う範囲であれば、複数の機能をマージした符号化データを生成してもよい。例えば、図４０に示すように、ＧＯＦヘッダとＡＵヘッダとを統合してもよいし、ＡＸＰＳとＡＹＰＳとを統合してもよい。この場合、ｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅには、複数の機能を有するデータであることを示す識別子が定義される。

【0295】

以下、本実施の形態の変形例について説明する。フレームレベルのＰＳ、シーケンスレベルのＰＳ、ＰＣＣシーケンスレベルのＰＳのように、ＰＳにはレベルがあり、ＰＣＣシーケンスレベルを上位のレベルとし、フレームレベルを下位のレベルとすると、パラメータの格納方法には下記の方法を用いてもよい。

【0296】

デフォルトのＰＳの値をより上位のＰＳで示す。また、下位のＰＳの値が上位のＰＳの値と異なる場合には、下位のＰＳでＰＳの値が示される。または、上位ではＰＳの値を記載せず、下位のＰＳにＰＳの値を記載する。または、ＰＳの値を、下位のＰＳで示すか、上位のＰＳで示すか、両方で示すかの情報を、下位のＰＳと上位のＰＳのいずれか一方又は両方に示す。または、下位のＰＳを上位のＰＳにマージしてもよい。または、下位のＰＳと上位のＰＳとが重複する場合には、多重化部４８０２は、いずれか一方の送出を省略してもよい。

【0297】

なお、符号化部４８０１又は多重化部４８０２は、データをスライス又はタイルなどに分割し、分割したデータを送出してもよい。分割したデータには、分割したデータを識別するための情報が含まれ、分割データの復号に使用するパラメータがパラメータセットに含まれる。この場合、ｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅには、タイル又はスライスに係るデータ又はパラメータを格納するデータであることを示す識別子が定義される。

【0298】

以下、順序識別情報に係る処理について説明する。図４１は、ＮＡＬユニットの送出順序に係る三次元データ符号化装置（符号化部４８０１及び多重化部４８０２）による処理のフローチャートである。

【0299】

まず、三次元データ符号化装置は、ＮＡＬユニットの送出順序（位置情報優先又はパラメータセット優先）を決定する（Ｓ４８０１）。例えば、三次元データ符号化装置は、ユーザ又は外部装置（例えば三次元データ復号装置）からの指定に基づき送出順序を決定する。

【0300】

決定された送出順序が位置情報優先である場合（Ｓ４８０２で位置情報優先）、三次元データ符号化装置は、ストリームＰＳに含まれる順序識別情報を、位置情報優先に設定する（Ｓ４８０３）。つまり、この場合、順序識別情報は、位置情報優先の順序でＮＡＬユニットが送出されることを示す。そして、三次元データ符号化装置は、位置情報優先の順序でＮＡＬユニットを送出する（Ｓ４８０４）。

【0301】

一方、決定された送出順序がパラメータセット優先である場合（Ｓ４８０２でパラメータセット優先）、三次元データ符号化装置は、ストリームＰＳに含まれる順序識別情報をパラメータセット優先に設定する（Ｓ４８０５）。つまり、この場合、順序識別情報は、パラメータセット優先の順序でＮＡＬユニットが送出されることを示す。そして、三次元データ符号化装置は、パラメータセットパラメータセット優先の順序でＮＡＬユニットを送出する（Ｓ４８０６）。

【0302】

図４２は、ＮＡＬユニットの送出順序に係る三次元データ復号装置による処理のフローチャートである。まず、三次元データ復号装置は、ストリームＰＳに含まれる順序識別情報を解析する（Ｓ４８１１）。

【0303】

順序識別情報で示される送出順序が位置情報優先である場合（Ｓ４８１２で位置情報優先）、三次元データ復号装置は、ＮＡＬユニットの送出順序が位置情報優先であるものとして、ＮＡＬユニットを復号する（Ｓ４８１３）。

【0304】

一方、順序識別情報で示される送出順序がパラメータセット優先である場合（Ｓ４８１２でパラメータセット優先）、三次元データ復号装置は、ＮＡＬユニットの送出順序がパラメータセット優先であるものとして、ＮＡＬユニットを復号する（Ｓ４８１４）。

【0305】

例えば、三次元データ復号装置は、属性情報を復号しない場合、ステップＳ４８１３において、全てのＮＡＬユニットを取得せずに、位置情報に関するＮＡＬユニットを取得し、取得したＮＡＬユニットから位置情報を復号してもよい。

【0306】

次に、ＡＵ及びＧＯＦの生成に係る処理について説明する。図４３は、ＮＡＬユニットの多重化におけるＡＵ及びＧＯＦ生成に係る三次元データ符号化装置（多重化部４８０２）による処理のフローチャートである。

【0307】

まず、三次元データ符号化装置は、符号化データの種類を判定する（Ｓ４８２１）。具体的には、三次元データ符号化装置は、処理対象の符号化データがＡＵ先頭のデータであるか、ＧＯＦ先頭のデータであるか、それ以外のデータであるかを判定する。

【0308】

符号化データがＧＯＦ先頭のデータである場合（Ｓ４８２２でＧＯＦ先頭）、三次元データ符号化装置は、ＧＯＦヘッダ及びＡＵヘッダをＧＯＦに属する符号化データの先頭に配置してＮＡＬユニットを生成する（Ｓ４８２３）。

【0309】

符号化データがＡＵ先頭のデータである場合（Ｓ４８２２でＡＵ先頭）、三次元データ符号化装置は、ＡＵヘッダをＡＵに属する符号化データの先頭に配置してＮＡＬユニットを生成する（Ｓ４８２４）。

【0310】

符号化データがＧＯＦ先頭及びＡＵ先頭のいずれでもない場合（Ｓ４８２２でＧＯＦ先頭、ＡＵ先頭以外）、三次元データ符号化装置は、符号化データが属するＡＵのＡＵヘッダの後に符号化データを配置してＮＡＬユニットを生成する（Ｓ４８２５）。

【0311】

次に、ＡＵ及びＧＯＦへのアクセスに係る処理について説明する。図４４は、ＮＡＬユニットの逆多重化におけるＡＵ及びＧＯＦのアクセスに係る三次元データ復号装置の処理のフローチャートである。

【0312】

まず、三次元データ復号装置は、ＮＡＬユニットに含まれるｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを解析することでＮＡＬユニットに含まれる符号化データの種類を判定する（Ｓ４８３１）。具体的には、三次元データ復号装置は、ＮＡＬユニットに含まれる符号化データが、ＡＵ先頭のデータであるか、ＧＯＦ先頭のデータであるか、それ以外のデータであるかを判定する。

【0313】

ＮＡＬユニットに含まれる符号化データがＧＯＦ先頭のデータである場合（Ｓ４８３２のＧＯＦ先頭）、三次元データ復号装置は、ＮＡＬユニットがランダムアクセスの開始位置であると判断して、当該ＮＡＬユニットにアクセスし、復号処理を開始する（Ｓ４８３３）。

【0314】

一方、ＮＡＬユニットに含まれる符号化データがＡＵ先頭のデータである場合（Ｓ４８３２でＡＵ先頭）、三次元データ復号装置は、ＮＡＬユニットがＡＵ先頭であると判断して、ＮＡＬユニットに含まれるデータにアクセスし、当該ＡＵを復号する（Ｓ４８３４）。

【0315】

一方、ＮＡＬユニットに含まれる符号化データが、ＧＯＦ先頭及びＡＵ先頭のいずれでもない場合（Ｓ４８３２でＧＯＦ先頭、ＡＵ先頭以外）、三次元データ復号装置は、当該ＮＡＬユニットを処理しない。

【0316】

以上のように、三次元データ符号化装置は、図４５に示す処理を行う。三次元データ符号化装置は、時系列の三次元データ（例えば動的オブジェクトの点群データ）を符号化する。三次元データは、時刻毎の位置情報と属性情報とを含む。

【0317】

まず、三次元データ符号化装置は、位置情報を符号化する（Ｓ４８４１）。次に、三次元データ符号化装置は、処理対象の属性情報を、当該処理対象の属性情報と同一時刻の位置情報を参照して符号化する（Ｓ４８４２）。ここで、図３７に示すように、同一時刻の位置情報と属性情報とはアクセスユニット（ＡＵ）を構成する。つまり、三次元データ符号化装置は、処理対象の属性情報を、当該処理対象の属性情報と同じアクセスユニットに含まれる位置情報を参照して符号化する。

【0318】

これによれば、三次元データ符号化装置は、アクセスユニットを用いて符号化における参照の制御を容易化できる。よって、三次元データ符号化装置は符号化処理の処理量を低減できる。

【0319】

例えば、三次元データ符号化装置は、符号化された位置情報（符号化位置データ）と、符号化された属性情報（符号化属性データ）と、処理対象の属性情報の参照先の位置情報を示す情報とを含むビットストリームを生成する。

【0320】

例えば、ビットストリームは、各時刻の位置情報の制御情報を含む位置パラメータセット（位置ＰＳ）と、各時刻の属性情報の制御情報を含む属性パラメータセット（属性ＰＳ）とを含む。

【0321】

例えば、ビットストリームは、複数の時刻の位置情報に共通の制御情報を含む位置シーケンスパラメータセット（位置ＳＰＳ）と、複数の時刻の属性情報に共通の制御情報を含む属性シーケンスパラメータセット（属性ＳＰＳ）とを含む。

【0322】

例えば、ビットストリームは、複数の時刻の位置情報及び複数の時刻の属性情報に共通の制御情報を含むストリームパラメータセット（ストリームＰＳ）を含む。

【0323】

例えば、ビットストリームは、アクセスユニット内で共通の制御情報を含むアクセスユニットヘッダ（ＡＵヘッダ）を含む。

【0324】

例えば、三次元データ符号化装置は、１以上のアクセスユニットで構成されるＧＯＦ（グループオブフレーム）を独立して復号可能なように符号化する。つまり、ＧＯＦはランダムアクセス単位である。

【0325】

例えば、ビットストリームは、ＧＯＦ内で共通の制御情報を含むＧＯＦヘッダを含む。

【0326】

例えば、三次元データ符号化装置は、プロセッサと、メモリとを備え、プロセッサは、メモリを用いて、上記の処理を行う。

【0327】

また、以上のように、三次元データ復号装置は、図４６に示す処理を行う。三次元データ復号装置は、時系列の三次元データ（例えば動的オブジェクトの点群データ）を復号する。三次元データは、時刻毎の位置情報と属性情報とを含む。同一時刻の位置情報と属性情報とはアクセスユニット（ＡＵ）を構成する。

【0328】

まず、三次元データ復号装置は、ビットストリームから位置情報を復号する（Ｓ４８５１）。つまり、三次元データ復号装置は、ビットストリームに含まれる符号化された位置情報（符号化位置データ）を復号することで位置情報を生成する。

【0329】

次に、三次元データ復号装置は、ビットストリームから、処理対象の属性情報を、当該処理対象の属性情報と同一時刻の位置情報を参照して復号する（Ｓ４８５２）。つまり、三次元データ復号装置は、ビットストリームに含まれる符号化された属性情報（符号化属性データ）を復号することで属性情報を生成する。このとき、三次元データ復号装置は、属性情報と同じアクセスユニットに含まれる復号済みの位置情報を参照する。

【0330】

これによれば、三次元データ復号装置は、アクセスユニットを用いて復号における参照の制御を容易化できる。よって、当該三次元データ復号方法は復号処理の処理量を低減できる。

【0331】

例えば、三次元データ復号装置は、ビットストリームから、処理対象の属性情報の参照先の位置情報を示す情報を取得し、取得した情報で示される参照先の位置情報を参照して処理対象の属性情報を復号する。

【0332】

例えば、ビットストリームは、各時刻の位置情報の制御情報を含む位置パラメータセット（位置ＰＳ）と、各時刻の属性情報の制御情報を含む属性パラメータセット（属性ＰＳ）とを含む。つまり、三次元データ復号装置は、処理対象時刻の位置パラメータセットに含まれる制御情報を用いて、処理対象時刻の位置情報を復号し、処理対象時刻の属性パラメータセットに含まれる制御情報を用いて、処理対象時刻の属性情報を復号する。

【0333】

例えば、ビットストリームは、複数の時刻の位置情報に共通の制御情報を含む位置シーケンスパラメータセット（位置ＳＰＳ）と、複数の時刻の属性情報に共通の制御情報を含む属性シーケンスパラメータセット（属性ＳＰＳ）とを含む。つまり、三次元データ復号装置は、位置シーケンスパラメータセットに含まれる制御情報を用いて、複数の時刻の位置情報を復号し、属性シーケンスパラメータセットに含まれる制御情報を用いて、複数の時刻の属性情報を復号する。

【0334】

例えば、ビットストリームは、複数の時刻の位置情報及び複数の時刻の属性情報に共通の制御情報を含むストリームパラメータセット（ストリームＰＳ）を含む。つまり、三次元データ復号装置は、ストリームパラメータセットに含まれる制御情報を用いて、複数の時刻の位置情報及び複数時刻の属性情報を復号する。

【0335】

例えば、ビットストリームは、アクセスユニット内で共通の制御情報を含むアクセスユニットヘッダ（ＡＵヘッダ）を含む。つまり、三次元データ復号装置は、アクセスユニットヘッダに含まれる制御情報を用いて、アクセスユニットに含まれる位置情報及び属性情報を復号する。

【0336】

例えば、三次元データ復号装置は、１以上のアクセスユニットで構成されるＧＯＦ（グループオブフレーム）を独立して復号する。つまり、ＧＯＦはランダムアクセス単位である。

【0337】

例えば、ビットストリームは、ＧＯＦ内で共通の制御情報を含むＧＯＦヘッダを含む。つまり、三次元データ復号装置は、ＧＯＦヘッダに含まれる制御情報を用いて、ＧＯＦに含まれる位置情報及び属性情報を復号する。

【0338】

例えば、三次元データ復号装置は、プロセッサと、メモリとを備え、プロセッサは、メモリを用いて、上記の処理を行う。

【0339】

（実施の形態５）
次に、分割部４９１１の構成を説明する。図４７は、分割部４９１１のブロック図である。分割部４９１１は、スライス分割部４９３１（Ｓｌｉｃｅ Ｄｉｖｉｄｅｒ）と、位置情報タイル分割部４９３２（Ｇｅｏｍｅｔｒｙ Ｔｉｌｅ Ｄｉｖｉｄｅｒ）と、属性情報タイル分割部４９３３（Ａｔｔｒｉｂｕｔｅ Ｔｉｌｅ Ｄｉｖｉｄｅｒ）とを含む。

【0340】

スライス分割部４９３１は、位置情報（Ｐｏｓｉｔｉｏｎ（Ｇｅｏｍｅｔｒｙ））をスライスに分割することで複数のスライス位置情報を生成する。また、スライス分割部４９３１は、属性情報（Ａｔｔｒｉｂｕｔｅ）をスライスに分割することで複数のスライス属性情報を生成する。また、スライス分割部４９３１は、スライス分割に係る情報、及びスライス分割において生成された情報を含むスライス付加情報（ＳｌｉｃｅＭｅｔａＤａｔａ）を出力する。

【0341】

位置情報タイル分割部４９３２は、複数のスライス位置情報をタイルに分割することで複数の分割位置情報（複数のタイル位置情報）を生成する。また、位置情報タイル分割部４９３２は、位置情報のタイル分割に係る情報、及び位置情報のタイル分割において生成された情報を含む位置タイル付加情報（Ｇｅｏｍｅｔｒｙ Ｔｉｌｅ ＭｅｔａＤａｔａ）を出力する。

【0342】

属性情報タイル分割部４９３３は、複数のスライス属性情報をタイルに分割することで複数の分割属性情報（複数のタイル属性情報）を生成する。また、属性情報タイル分割部４９３３は、属性情報のタイル分割に係る情報、及び属性情報のタイル分割において生成された情報を含む属性タイル付加情報（Ａｔｔｒｉｂｕｔｅ Ｔｉｌｅ ＭｅｔａＤａｔａ）を出力する。

【0343】

なお、分割されるスライス又はタイルの数は１以上である。つまり、スライス又はタイルの分割を行わなくてもよい。

【0344】

また、ここでは、スライス分割後にタイル分割が行われる例を示したが、タイル分割後にスライス分割が行われてもよい。また、スライス及びタイルに加え新たな分割種別を定義し、３つ以上の分割種別で分割が行われてもよい。

【0345】

以下、点群データの分割方法について説明する。図４８は、スライス及びタイル分割の例を示す図である。

【0346】

まず、スライス分割の方法について説明する。分割部４９１１は、三次元点群データを、スライス単位で、任意の点群に分割する。分割部４９１１は、スライス分割において、点を構成する位置情報と属性情報とを分割せず、位置情報と属性情報とを一括で分割する。すなわち、分割部４９１１は、任意の点における位置情報と属性情報とが同じスライスに属するようにスライス分割を行う。なお、これらに従えば、分割数、及び分割方法はどのような方法でもよい。また、分割の最小単位は点である。例えば、位置情報と属性情報との分割数は同一である。例えば、スライス分割後の位置情報に対応する三次元点と、属性情報に対応する三次元点とは同一のスライスに含まれる。

【0347】

また、分割部４９１１は、スライス分割時に分割数及び分割方法に係る付加情報であるスライス付加情報を生成する。スライス付加情報は、位置情報と属性情報とで同一である。例えば、スライス付加情報は、分割後のバウンディングボックスの基準座標位置、大きさ、又は辺の長さを示す情報を含む。また、スライス付加情報は、分割数、及び分割タイプなどを示す情報を含む。

【0348】

次に、タイル分割の方法について説明する。分割部４９１１は、スライス分割されたデータを、スライス位置情報（Ｇスライス）とスライス属性情報（Ａスライス）とに分割し、スライス位置情報とスライス属性情報をそれぞれタイル単位に分割する。

【0349】

なお、図４８では８分木構造で分割する例を示しているが、分割数及び分割方法はどのような方法でもよい。

【0350】

また、分割部４９１１は、位置情報と属性情報とを異なる分割方法で分割してもよいし、同一の分割方法で分割してもよい。また、分割部４９１１は、複数のスライスを異なる分割方法でタイルに分割してもよいし、同一の分割方法でタイルに分割してもよい。

【0351】

また、分割部４９１１は、タイル分割時に分割数及び分割方法に係るタイル付加情報を生成する。タイル付加情報（位置タイル付加情報及び属性タイル付加情報）は、位置情報と属性情報とで独立している。例えば、タイル付加情報は、分割後のバウンディングボックスの基準座標位置、大きさ、又は辺の長さを示す情報を含む。また、タイル付加情報は、分割数、及び分割タイプなど示す情報を含む。

【0352】

次に、点群データをスライス又はタイルに分割する方法の例を説明する。分割部４９１１は、スライス又はタイル分割の方法として、予め定められた方法を用いてもよいし、点群データに応じて使用する方法を適応的に切り替えてもよい。

【0353】

スライス分割時には、分割部４９１１は、位置情報と属性情報とに対して一括で三次元空間を分割する。例えば、分割部４９１１は、オブジェクトの形状を判定し、オブジェクトの形状に応じて三次元空間をスライスに分割する。例えば、分割部４９１１は、木又は建物などのオブジェクトを抽出し、オブジェクト単位で分割を行う。例えば、分割部４９１１は、１又は複数のオブジェクトの全体が１つのスライスに含まれるようにスライス分割を行う。または、分割部４９１１は、一つのオブジェクトを複数のスライスに分割する。

【0354】

この場合、符号化装置は、例えば、スライス毎に符号化方法を変えてもよい。例えば、符号化装置は、特定のオブジェクト、又はオブジェクトの特定の一部に対して、高品質な圧縮方法を用いてもよい。この場合、符号化装置は、スライス毎の符号化方法を示す情報を付加情報（メタデータ）に格納してもよい。

【0355】

また、分割部４９１１は、地図情報又は位置情報に基づき、各スライスが予め定められた座標空間に対応するようにスライス分割を行ってもよい。

【0356】

タイル分割時には、分割部４９１１は、位置情報と属性情報とを独立に分割する。例えば、分割部４９１１は、データ量又は処理量に応じてスライスをタイルに分割する。例えば、分割部４９１１は、スライスのデータ量（例えばスライスに含まれる三次元点の数）が予め定められた閾値より多いかを判定する。分割部４９１１は、スライスのデータ量が閾値より多い場合にはスライスをタイルに分割する。分割部４９１１は、スライスのデータ量が閾値より少ないときにはスライスをタイルに分割しない。

【0357】

例えば、分割部４９１１は、復号装置での処理量又は処理時間が一定の範囲（予め定められた値以下）となるよう、スライスをタイルに分割する。これにより、復号装置におけるタイル当たりの処理量が一定となり、復号装置における分散処理が容易となる。

【0358】

また、分割部４９１１は、位置情報と属性情報とで処理量が異なる場合、例えば、位置情報の処理量が属性情報の処理量より多い場合、位置情報の分割数を、属性情報の分割数より多くする。

【0359】

また、例えば、コンテンツによって、復号装置で、位置情報を早く復号して表示し、属性情報を後でゆっくり復号して表示してもよい場合に、分割部４９１１は、位置情報の分割数を、属性情報の分割数より多くしてもよい。これにより、復号装置は、位置情報の並列数を多くできるので、位置情報の処理を属性情報の処理より高速化できる。

【0360】

なお、復号装置は、スライス化又はタイル化されているデータを必ずしも並列処理する必要はなく、復号処理部の数又は能力に応じて、これらを並列処理するかどうかを判定してもよい。

【0361】

以上のような方法で分割することにより、コンテンツ又はオブジェクトに応じた、適応的な符号化を実現できる。また、復号処理における並列処理を実現できる。これにより、点群符号化システム又は点群復号システムの柔軟性が向上する。

【0362】

図４９は、スライス及びタイルの分割のパターンの例を示す図である。図中のＤＵはデータ単位（ＤａｔａＵｎｉｔ）であり、タイル又はスライスのデータを示す。また、各ＤＵは、スライスインデックス（ＳｌｉｃｅＩｎｄｅｘ）とタイルインデックス（ＴｉｌｅＩｎｄｅｘ）を含む。図中のＤＵの右上の数値がスライスインデックスを示し、ＤＵの左下の数値がタイルインデックスを示す。

【0363】

パターン１では、スライス分割において、ＧスライスとＡスライスとで分割数及び分割方法は同じである。タイル分割において、Ｇスライスに対する分割数及び分割方法とＡスライスに対する分割数及び分割方法とは異なる。また、複数のＧスライス間では同一の分割数及び分割方法が用いられる。複数のＡスライス間では同一の分割数及び分割方法が用いられる。

【0364】

パターン２では、スライス分割において、ＧスライスとＡスライスとで分割数及び分割方法は同じである。タイル分割において、Ｇスライスに対する分割数及び分割方法とＡスライスに対する分割数及び分割方法とは異なる。また、複数のＧスライス間で分割数及び分割方法が異なる。複数のＡスライス間で分割数及び分割方法が異なる。

【0365】

（実施の形態６）
点群データをタイルおよびスライスに分割し、分割データを効率的に符号化または復号するには、符号化側および復号側で適切に制御する必要がある。分割データの符号化および復号を分割データ間で依存関係がなく独立にすることで、マルチスレッドまたはマルチコアプロセッサを用いて、それぞれのスレッド／コアにおいて分割データを並行に処理でき、パフォーマンスが向上する。

【0366】

点群データをタイルおよびスライスに分割する方法は様々な方法があり、例えば、路面などの点群データの対象物の属性や、点群データの緑などの色情報などの特性に基づき分割する方法がある。

【0367】

ＣＡＢＡＣは、Ｃｏｎｔｅｘｔ－Ｂａｓｅｄ Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇの略で、コンテキスト（入力される２値シンボルの生起確率を推定するモデル）を符号化済みの情報に基づき順次更新することで確率の精度を高め、高い圧縮率の算術符号化（エントロピ符号化）を実現する符号化方法である。

【0368】

タイルまたはスライスのような分割データを並行処理するためには、それぞれの分割データを独立に符号化または復号できる必要がある。しかし、分割データ間でＣＡＢＡＣを独立にするためには、符号化および復号において、分割データの先頭でＣＡＢＡＣを初期化する必要があるが、その仕組みがない。

【0369】

ＣＡＢＡＣＡＢＡＣ初期化フラグは、ＣＡＢＡＣ符号化および復号においてＣＡＢＡＣを初期化するために用いられる。

【0370】

図５０は、符号化または復号において、ＣＡＢＡＣ初期化フラグに応じて、ＣＡＢＡＣＣＡＢＡＣの初期化の処理を示すフローチャートである。

【0371】

三次元データ符号化装置または三次元データ復号装置は、符号化または復号において、ＣＡＢＡＣ初期化フラグが１であるか否かを判定する（Ｓ５２０１）。

【0372】

三次元データ符号化装置または三次元データ復号装置は、ＣＡＢＡＣ初期化フラグが１である場合（Ｓ５２０１でＹｅｓ）、デフォルト状態にＣＡＢＡＣ符号化部／復号部を初期化し（Ｓ５２０２）、符号化または復号を継続する。

【0373】

三次元データ符号化装置または三次元データ復号装置は、ＣＡＢＡＣ初期化フラグが１でない場合（Ｓ５２０１でＮｏ）、初期化せずに符号化または復号を継続する。

【0374】

つまり、ＣＡＢＡＣを初期化する場合、ＣＡＢＡＣ＿ｉｎｉｔ＿ｆｌａｇ＝１とし、ＣＡＢＡＣの符号化部、あるいはＣＡＢＡＣの復号部を初期化あるいは再初期化する。なお、初期化する場合、ＣＡＢＡＣ処理に用いるコンテキストの初期値（デフォルト状態）を設定する。

【0375】

符号化処理について説明する。図５１は、本実施の形態に係る三次元データ符号化装置に含まれる第１の符号化部５２００の構成を示すブロック図である。図５２は、本実施の形態に係る分割部５２０１の構成を示すブロック図である。図５３は、本実施の形態に係る位置情報符号化部５２０２および属性情報符号化部５２０３の構成を示すブロック図である。

【0376】

第１の符号化部５２００は、点群データを第１の符号化方法（ＧＰＣＣ（（Ｇｅｏｍｅｔｒｙ ｂａｓｅｄ ＰＣＣ））で符号化することで符号化データ（符号化ストリーム）を生成する。この第１の符号化部５２００は、分割部５２０１と、複数の位置情報符号化部５２０２と、複数の属性情報符号化部５２０３と、付加情報符号化部５２０４と、多重化部５２０５とを含む。

【0377】

分割部５２０１は、点群データを分割することで複数の分割データを生成する。具体的には、分割部５２０１は、点群データの空間を複数のサブ空間に分割することで複数の分割データを生成する。ここでサブ空間とは、タイル及びスライスの一方、又はタイル及びスライスの組み合わせである。より具体的には、点群データは、位置情報、属性情報、及び付加情報を含む。分割部５２０１は、位置情報を複数の分割位置情報に分割し、属性情報を複数の分割属性情報に分割する。また、分割部５２０１は、分割に関する付加情報を生成する。

【0378】

分割部５２０１は、図５２に示すように、タイル分割部５２１１と、スライス分割部５２１２とを含む。例えば、タイル分割部５２１１は、点群をタイルに分割する。タイル分割部５２１１は、分割した各タイルに用いる量子化値をタイル付加情報として決定してもよい。

【0379】

スライス分割部５２１２は、タイル分割部５２１１により得られたタイルを、さらにスライスに分割する。スライス分割部５２１２は、分割した各スライスに用いる量子化値をスライス付加情報として決定してもよい。

【0380】

複数の位置情報符号化部５２０２は、複数の分割位置情報を符号化することで複数の符号化位置情報を生成する。例えば、複数の位置情報符号化部５２０２は、複数の分割位置情報を並列処理する。

【0381】

位置情報符号化部５２０２は、図５３に示すように、ＣＡＢＡＣ初期化部５２２１と、エントロピ符号化部５２２２とを含む。ＣＡＢＡＣ初期化部５２２１は、ＣＡＢＡＣ初期化フラグに応じてＣＡＢＡＣを初期化または再初期化する。エントロピ符号化部５２２２は、分割位置情報をＣＡＢＡＣにより符号化する。

【0382】

複数の属性情報符号化部５２０３は、複数の分割属性情報を符号化することで複数の符号化属性情報を生成する。例えば、複数の属性情報符号化部５２０３は、複数の分割属性情報を並列処理する。

【0383】

属性情報符号化部５２０３は、図５３に示すように、ＣＡＢＡＣ初期化部５２３１と、エントロピ符号化部５２３２とを含む。ＣＡＢＡＣ初期化部５２２１は、ＣＡＢＡＣ初期化フラグに応じてＣＡＢＡＣを初期化または再初期化する。エントロピ符号化部５２３２は、分割属性情報をＣＡＢＡＣにより符号化する。

【0384】

付加情報符号化部５２０４は、点群データに含まれる付加情報と、分割部５２０１で分割時に生成された、データ分割に関する付加情報とを符号化することで符号化付加情報を生成する。

【0385】

多重化部５２０５は、複数の符号化位置情報、複数の符号化属性情報及び符号化付加情報を多重化することで符号化データ（符号化ストリーム）を生成し、生成した符号化データを送出する。また、符号化付加情報は復号時に使用される。

【0386】

なお、図５１では、位置情報符号化部５２０２及び属性情報符号化部５２０３の数がそれぞれ２つの例を示しているが、位置情報符号化部５２０２及び属性情報符号化部５２０３の数は、それぞれ１つであってもよいし、３つ以上であってもよい。また、複数の分割データは、ＣＰＵ内の複数コアのように同一チップ内で並列処理されてもよいし、複数のチップのコアで並列処理されてもよいし、複数チップの複数コアで並列処理されてもよい。

【0387】

次に、復号処理について説明する。図５４は、第１の復号部５２４０の構成を示すブロック図である。図５５は、位置情報復号部５２４２および属性情報復号部５２４３の構成を示すブロック図である。

【0388】

第１の復号部５２４０は、点群データが第１の符号化方法（ＧＰＣＣ）で符号化されることで生成された符号化データ（符号化ストリーム）を復号することで点群データを復元する。この第１の復号部５２４０は、逆多重化部５２４１と、複数の位置情報復号部５２４２と、複数の属性情報復号部５２４３と、付加情報復号部５２４４と、結合部５２４５とを含む。

【0389】

逆多重化部５２４１は、符号化データ（符号化ストリーム）を逆多重化することで複数の符号化位置情報、複数の符号化属性情報及び符号化付加情報を生成する。

【0390】

複数の位置情報復号部５２４２は、複数の符号化位置情報を復号することで複数の量子化位置情報を生成する。例えば、複数の位置情報復号部５２４２は、複数の符号化位置情報を並列処理する。

【0391】

位置情報復号部５２４２は、図５５に示すように、ＣＡＢＡＣ初期化部５２５１と、エントロピ復号部５２５２を含む。ＣＡＢＡＣ初期化部５２５１は、ＣＡＢＡＣ初期化フラグに応じてＣＡＢＡＣを初期化または再初期化する。エントロピ復号部５２５２は、位置情報をＣＡＢＡＣにより復号する。

【0392】

複数の属性情報復号部５２４３は、複数の符号化属性情報を復号することで複数の分割属性情報を生成する。例えば、複数の属性情報復号部５２４３は、複数の符号化属性情報を並列処理する。

【0393】

属性情報復号部５２４３は、図５５に示すように、ＣＡＢＡＣ初期化部５２６１と、エントロピ復号部５２６２とを含む。ＣＡＢＡＣ初期化部５２６１は、ＣＡＢＡＣ初期化フラグに応じてＣＡＢＡＣを初期化または再初期化する。エントロピ復号部５２６２は、属性情報をＣＡＢＡＣにより復号する。

【0394】

複数の付加情報復号部５２４４は、符号化付加情報を復号することで付加情報を生成する。

【0395】

結合部５２４５は、付加情報を用いて複数の分割位置情報を結合することで位置情報を生成する。結合部５２４５は、付加情報を用いて複数の分割属性情報を結合することで属性情報を生成する。例えば、結合部５２４５は、まず、スライス付加情報を用いて、スライスに対する復号された点群データを結合することでタイルに対応する点群データを生成する。次に、結合部５２４５は、タイル付加情報を用いて、タイルに対応する点群データを結合することで元の点群データを復元する。

【0396】

なお、図５４では、位置情報復号部５２４２及び属性情報復号部５２４３の数がそれぞれ２つの例を示しているが、位置情報復号部５２４２及び属性情報復号部５２４３の数は、それぞれ１つであってもよし、３つ以上であってもよい。また、複数の分割データは、ＣＰＵ内の複数コアのように同一チップ内で並列処理されてもよいし、複数のチップのコアで並列処理されてもよい、複数チップの複数コアで並列処理されてもよい。

【0397】

図５６は、位置情報の符号化あるいは属性情報の符号化におけるＣＡＢＡＣの初期化に関する処理の一例を示すフローチャートである。

【0398】

まず、三次元データ符号化装置は、スライス毎に、所定の条件に基づき、当該スライスの位置情報の符号化でＣＡＢＡＣ初期化をするか否かを判定する（Ｓ５２０１）。

【0399】

三次元データ符号化装置は、ＣＡＢＡＣ初期化すると判断した場合（Ｓ５２０２でＹｅｓ）、位置情報の符号化に用いるコンテキスト初期値を決定する（Ｓ５２０３）。コンテキスト初期値は、符号化特性を考慮した初期値に設定される。初期値は、あらかじめ定められた値としても良いし、スライス内のデータの特性に応じて適応的に決定されてもよい。

【0400】

次に、三次元データ符号化装置は、位置情報のＣＡＢＡＣ初期化フラグを１に設定し、コンテキスト初期値を設定する（Ｓ５２０４）。ＣＡＢＡＣ初期化する場合、位置情報の符号化において、コンテキスト初期値を用いて初期化処理が実行される。

【0401】

一方で、三次元データ符号化装置は、ＣＡＢＡＣ初期化しないと判断した場合（Ｓ５２０２でＮｏ）、位置情報のＣＡＢＡＣ初期化フラグを０に設定する（Ｓ５２０５）。

【0402】

次に、三次元データ符号化装置は、スライス毎に、所定の条件に基づき、当該スライスの属性情報の符号化でＣＡＢＡＣ初期化をするか否かを判定する（Ｓ５２０６）。

【0403】

三次元データ符号化装置は、ＣＡＢＡＣ初期化すると判断した場合（Ｓ５２０７でＹｅｓ）、属性情報の符号化に用いるコンテキスト初期値を決定する（Ｓ５２０８）。コンテキスト初期値は、符号化特性を考慮した初期値に設定される。初期値は、あらかじめ定められた値としても良いし、スライス内のデータの特性に応じて適応的に決定されてもよい。

【0404】

次に、三次元データ符号化装置は、属性情報のＣＡＢＡＣ初期化フラグを１に設定し、コンテキスト初期値を設定する（Ｓ５２０９）。ＣＡＢＡＣ初期化する場合、属性情報の符号化において、コンテキスト初期値を用いて初期化処理が実行される。

【0405】

一方で、三次元データ符号化装置は、ＣＡＢＡＣ初期化しないと判断した場合（Ｓ５２０７でＮｏ）、属性情報のＣＡＢＡＣ初期化フラグを０に設定する（Ｓ５２１０）。

【0406】

なお、図５６におけるフローチャートにおいて、位置情報に係る処理と属性情報に係る処理との処理順は反対でも良いし、並列でもよい。

【0407】

なお、図５６におけるフローチャートでは、スライス単位の処理を例にしているが、タイル単位や、その他のデータ単位での処理の場合もスライス単位と同様に処理することができる。つまり、図５６のフローチャートのスライスは、タイルまたは他のデータ単位と読み替えることができる。

【0408】

また、所定の条件は、位置情報と属性情報とで同一条件であってもよいし、異なる条件であってもよい。

【0409】

図５７は、ビットストリームとした点群データにおいてＣＡＢＡＣ初期化のタイミングの一例を示す図である。

【0410】

点群データは、位置情報と０以上の属性情報とを含む。すなわち、点群データは、属性情報を持たない場合もあれば、複数の属性情報を持つ場合もある。

【0411】

例えば、１つの三次元点に対して、属性情報として、色情報を持つ場合、色情報と反射情報とを持つ場合、１以上の視点情報にそれぞれ紐づく１以上の色情報を持つ場合などがある。

【0412】

いずれの構成の場合にも、本実施形態で説明する方法を適用可能である。

【0413】

次に、ＣＡＢＡＣの初期化の判定条件について説明する。

【0414】

以下の条件を満たす場合、位置情報あるいは属性情報の符号化におけるＣＡＢＡＣを初期化するとしてもよい。

【0415】

例えば、位置情報あるいは属性情報（複数あればそれぞれの属性情報）の先頭データでＣＡＢＡＣを初期化してもよい。例えば、単独で復号可能なＰＣＣフレームを構成するデータの先頭でＣＡＢＡＣを初期化してもよい。つまり、図５７の（ａ）に示すように、ＰＣＣフレームがフレーム単位で復号可能であれば、ＰＣＣフレームの先頭データでＣＡＢＡＣを初期化してもよい。

【0416】

また、例えば、図５７の（ｂ）に示すように、ＰＣＣフレーム間でインター予想を用いている場合などフレームで単独で復号できない場合は、ランダムアクセス単位（例えばＧＯＦ）の先頭データでＣＡＢＡＣを初期化してもよい。

【0417】

また、例えば、図５７の（ｃ）に示すように、１以上に分割されたスライスデータの先頭や、１以上に分割されたタイルデータの先頭、その他の分割データの先頭でＣＡＢＡＣを初期化してもよい。

【0418】

図５７の（ｃ）は、タイルを例に示すが、スライスの場合も同様である。タイルまたはスライスの先頭では、必ず初期化するとしてもよいし、必ずしも初期化しなくてもよい。

【0419】

図５８は、符号化データの構成及び符号化データのＮＡＬユニットへの格納方法を示す図である。

【0420】

初期化情報は、符号化データのヘッダに格納されてもよいし、メタデータに格納されても良い。また、初期化情報は、ヘッダとメタデータとの両方に格納されてもよい。初期化情報は、例えば、ｃａｂａ＿ｉｎｉｔ＿ｆｌａｇ、ＣＡＢＡＣ初期値、または、初期値を特定できるテーブルのインデックスである。

【0421】

本実施の形態でメタデータに格納すると説明している部分は符号化データのヘッダに格納すると読み替えても良いし、逆も同様である。

【0422】

初期化情報は、符号化データのヘッダに格納される場合、例えば、符号化データにおける最初のＮＡＬユニットに格納されてもよい。位置情報には、位置情報の符号化の初期化情報を格納し、属性情報には、属性情報の符号化の初期化情報を格納する。

【0423】

属性情報の符号化のｃａｂａｃ＿ｉｎｉｔ＿ｆｌａｇと、位置情報の符号化のｃａｂａｃ＿ｉｎｉｔ＿ｆｌａｇとは、同じ値にしてもよいし、異なる値にしてもよい。同じ値にする場合には、位置情報と属性情報とのｃａｂａｃ＿ｉｎｉｔ＿ｆｌａｇを共通にしてもよい。また、異なる値にする場合は、位置情報と属性情報とのｃａｂａｃ＿ｉｎｉｔ＿ｆｌａｇは、それぞれ異なる値を示す。

【0424】

初期化情報は、位置情報と属性情報とで共通のメタデータに格納されてもよいし、位置情報の個別のメタデータ、および、属性情報の個別のメタデータの少なくとも一方に格納されてもよいし、共通のメタデータと個別のメタデータとの両方に格納されてもよい。また、位置情報の個別のメタデータ、属性情報の個別のメタデータ、および、共通のメタデータのいずれかに記載されているか否かを示すフラグを用いても良い。

【0425】

図５９は、位置情報の復号あるいは属性情報の復号におけるＣＡＢＡＣの初期化に関する処理の一例を示すフローチャートである。

【0426】

三次元データ復号装置は、符号化データを解析し、位置情報のＣＡＢＡＣ初期化フラグと、属性情報のＣＡＢＡＣ初期化フラグと、コンテキスト初期値とを取得する（Ｓ５２１１）。

【0427】

次に、三次元データ復号装置は、位置情報のＣＡＢＡＣ初期化フラグが１であるか否かを判定する（Ｓ５２１２）。

【0428】

三次元データ復号装置は、位置情報のＣＡＢＡＣ初期化フラグが１である場合（Ｓ５２１２でＹｅｓ）、位置情報符号化のコンテキスト初期値を用いて、位置情報符号化のＣＡＢＡＣ復号を初期化する（Ｓ５２１３）。

【0429】

一方で、三次元データ復号装置は、位置情報のＣＡＢＡＣ初期化フラグが０である場合（Ｓ５２１２でＮｏ）、位置情報符号化においてＣＡＢＡＣ復号を初期化しない（Ｓ５２１４）。

【0430】

次に、三次元データ復号装置は、属性情報のＣＡＢＡＣ初期化フラグが１であるか否かを判定する（Ｓ５２１５）。

【0431】

三次元データ復号装置は、属性情報のＣＡＢＡＣ初期化フラグが１である場合（Ｓ５２１５でＹｅｓ）、属性情報符号化のコンテキスト初期値を用いて、属性情報符号化のＣＡＢＡＣ復号を初期化する（Ｓ５２１６）。

【0432】

一方で、三次元データ復号装置は、属性情報のＣＡＢＡＣ初期化フラグが０である場合（Ｓ５２１５でＮｏ）、属性情報符号化においてＣＡＢＡＣ復号を初期化しない（Ｓ５２１７）。

【0433】

なお、図５９におけるフローチャートにおいて、位置情報係る処理と属性情報に係る処理との処理順は反対でも良いし、並列でもよい。

【0434】

なお、図５９におけるフローチャートは、スライス分割の場合、タイル分割の場合、いずれにも適用可能である。

【0435】

次に、本実施の形態に係る点群データの符号化処理及び復号処理の流れについて説明する。図６０は、本実施の形態に係る点群データの符号化処理のフローチャートである。

【0436】

まず、三次元データ符号化装置は、使用する分割方法を決定する（Ｓ５２２１）。この分割方法は、タイル分割を行うか否か、スライス分割を行うか否かを含む。また、分割方法は、タイル分割又はスライス分割を行う場合の分割数、及び、分割の種別等を含んでもよい。分割の種別とは、上述したようなオブジェクト形状に基づく手法、地図情報或いは位置情報に基づく手法、又は、データ量或いは処理量に基づく手法等である。なお、分割方法は、予め定められていてもよい。

【0437】

タイル分割が行われる場合（Ｓ５２２２でＹｅｓ）、三次元データ符号化装置は、位置情報と属性情報とをタイル単位で分割することで複数のタイル位置情報及び複数のタイル属性情報を生成する（Ｓ５２２３）。また、三次元データ符号化装置は、タイル分割に係るタイル付加情報を生成する。

【0438】

スライス分割が行われる場合（Ｓ５２２４でＹｅｓ）、三次元データ符号化装置は、複数のタイル位置情報及び複数のタイル属性情報（又は位置情報及び属性情報）を分割することで複数の分割位置情報及び複数の分割属性情報を生成する（Ｓ５２２５）。また、三次元データ符号化装置は、スライス分割に係る位置スライス付加情報及び属性スライス付加情報を生成する。

【0439】

次に、三次元データ符号化装置は、複数の分割位置情報及び複数の分割属性情報の各々を符号化することで、複数の符号化位置情報及び複数の符号化属性情報を生成する（Ｓ５２２６）。また、三次元データ符号化装置は、依存関係情報を生成する。

【0440】

次に、三次元データ符号化装置は、複数の符号化位置情報、複数の符号化属性情報及び付加情報をＮＡＬユニット化（多重化）することで符号化データ（符号化ストリーム）を生成する（Ｓ５２２７）。また、三次元データ符号化装置は、生成した符号化データを送出する。

【0441】

図６１は、タイルの分割（Ｓ５２２２）またはスライスの分割（Ｓ５２２５）において、ＣＡＢＡＣ初期化フラグの値を決定し、付加情報を更新する処理の一例を示すフローチャートである。

【0442】

ステップＳ５２２２、Ｓ５２２５では、タイルおよび／またはスライスの位置情報および属性情報は、それぞれの方法で独立して個別に分割してもよいし、共通して一括で分割してもよい。これにより、タイル毎および／またはスライス毎に分割された付加情報が生成される。

【0443】

このとき、三次元データ符号化装置は、ＣＡＢＡＣ初期化フラグを１に設定するか０にするかを決定する（Ｓ５２３１）。

【0444】

そして、三次元データ符号化装置は、決定したＣＡＢＡＣ初期化フラグが含まれるように付加情報を更新する（Ｓ５２３２）。

【0445】

図６２は、符号化（Ｓ５２２６）の処理において、ＣＡＢＡＣ初期化する処理の一例を示すフローチャートである。

【0446】

三次元データ符号化装置は、ＣＡＢＡＣ初期化フラグが１であるか否かを判定する（Ｓ５２４１）。

【0447】

三次元データ符号化装置は、ＣＡＢＡＣ初期化フラグが１である場合（Ｓ５２４１でＹｅｓ）、デフォルト状態にＣＡＢＡＣ符号化部を再初期化する（Ｓ５２４２）。

【0448】

そして、三次元データ符号化装置は、符号化処理の停止条件が満たされるまで、例えば、符号化対象のデータがなくなるまで、符号化処理を継続する（Ｓ５２４３）。

【0449】

図６３は、本実施の形態に係る点群データの復号処理のフローチャートである。まず、三次元データ復号装置は、符号化データ（符号化ストリーム）に含まれる、分割方法に係る付加情報（タイル付加情報、位置スライス付加情報及び属性スライス付加情報）を解析することで、分割方法を判定する（Ｓ５２５１）。この分割方法は、タイル分割を行うか否か、スライス分割を行うか否かを含む。また、分割方法は、タイル分割又はスライス分割を行う場合の分割数、及び、分割の種別等を含んでもよい。

【0450】

次に、三次元データ復号装置は、符号化データに含まれる複数の符号化位置情報及び複数の符号化属性情報を、符号化データに含まれる依存関係情報を用いて復号することで分割位置情報及び分割属性情報を生成する（Ｓ５２５２）。

【0451】

付加情報によりスライス分割が行われていることが示される場合（Ｓ５２５３でＹｅｓ）、三次元データ復号装置は、位置スライス付加情報及び属性スライス付加情報に基づき、複数の分割位置情報と、複数の分割属性情報とを結合することで、複数のタイル位置情報及び複数のタイル属性情報を生成する（Ｓ５２５４）。

【0452】

付加情報によりタイル分割が行われていることが示される場合（Ｓ５２５５でＹｅｓ）、三次元データ復号装置は、タイル付加情報に基づき、複数のタイル位置情報及び複数のタイル属性情報（複数の分割位置情報及び複数の分割属性情報）を結合することで位置情報及び属性情報を生成する（Ｓ５２５６）。

【0453】

図６４は、スライス毎に分割された情報の結合（Ｓ５２５４）またはタイル毎に分割された情報の結合（Ｓ５２５６）において、ＣＡＢＡＣ復号部を初期化する処理の一例を示すフローチャートである。

【0454】

スライスまたはタイルの位置情報および属性情報は、それぞれの方法を用いて結合してもよいし、同一の方法で結合してもよい。

【0455】

三次元データ復号装置は、符号化ストリームの付加情報から、ＣＡＢＡＣ初期化フラグを復号する（Ｓ５２６１）。

【0456】

次に、三次元データ復号装置は、ＣＡＢＡＣ初期化フラグが１であるか否かを判定する（Ｓ５２６２）。

【0457】

三次元データ復号装置は、ＣＡＢＡＣ初期化フラグが１である場合（Ｓ５２６２でＹｅｓ）、デフォルト状態にＣＡＢＡＣ復号部を再初期化する（Ｓ５２６３）。

【0458】

一方で、三次元データ復号装置は、ＣＡＢＡＣ初期化フラグが１でない場合（Ｓ５２６２でＮｏ）、ＣＡＢＡＣ復号部を再初期化せずにステップＳ５２６４に進む。

【0459】

そして、三次元データ復号装置は、復号処理の停止条件が満たされるまで、例えば、復号対象のデータがなくなるまで、復号処理を継続する（Ｓ５２６４）。

【0460】

次に、ＣＡＢＡＣ初期化のその他の判定条件について説明する。

【0461】

位置情報の符号化あるいは属性情報の符号化を初期化するか否かは、タイルあるいはスライスなどのデータ単位の符号化効率を考慮して判定してもよい。この場合、所定の条件を満たすタイルあるいはスライスの先頭データにおいてＣＡＢＡＣを初期化してもよい。

【0462】

次に、位置情報の符号化におけるＣＡＢＡＣ初期化の判定条件について説明する。

【0463】

三次元データ符号化装置は、例えば、スライス毎に、点群データの密度、つまり、スライスに属する単位領域あたりの点の数を判定し、他のスライスのデータ密度と当該スライスのデータ密度とを比較し、データ密度の変化が所定の条件を超えない場合には、ＣＡＢＡＣ初期化しないほうが符号化効率が良いと判断し、ＣＡＢＡＣ初期化しないと判断してもよい。一方、三次元データ符号化装置は、データ密度の変化が所定の条件を満たさない場合、初期化したほうが符号化効率が良いと判断し、ＣＡＢＡＣ初期化すると判断してもよい。

【0464】

ここで、他のスライスとは、例えば、復号処理順で１つ前のスライスであってもよいし、空間的に隣接するスライスであってもよい。また、三次元データ符号化装置は、他のスライスのデータ密度と比較しなくても、当該スライスのデータ密度が所定のデータ密度であるか否かに応じて、ＣＡＢＡＣ初期化するか否かを判定してもよい。

【0465】

三次元データ符号化装置は、ＣＡＢＡＣ初期化すると判定した場合には、位置情報の符号化に用いるコンテキスト初期値を決定する。コンテキスト初期値は、データ密度に応じた符号化特性のよい初期値に設定される。三次元データ符号化装置は、あらかじめデータ密度に対する初期値テーブルを保持し、テーブルの中から最適な初期値を選択してもよい。

【0466】

なお、三次元データ符号化装置は、スライスの密度の例に限らず、点の数や、点の分布、点の偏り等に基づいて、ＣＡＢＡＣ初期化するか否かを判定してもよい。あるいは、三次元データ符号化装置は、点の情報から得られる特徴量や特徴点の数、あるいは認識されるオブジェクトに基づき、ＣＡＢＡＣ初期化するか否かを判定してもよい。その場合、判定基準は、予め、点の情報から得られる特徴量もしくは特徴点の数、または、点の情報に基づいて認識されるオブジェクトと対応付けられているテーブルとしてメモリに保持されていてもよい。

【0467】

三次元データ符号化装置は、例えば、地図情報の位置情報におけるオブジェクトを判定し、位置情報に基づくオブジェクトに基づき、ＣＡＢＡＣ初期化するか否かを判定してもよいし、三次元データを二次元に投影した情報あるいは特徴量に基づきＣＡＢＡＣ初期化するか否かを判定してもよい。

【0468】

次に、属性情報の符号化におけるＣＡＢＡＣ初期化の判定条件について説明する。

【0469】

三次元データ符号化装置は、例えば、１つ前のスライスの色の特性と当該スライスの色の特性とを比較し、色の特性の変化が所定の条件を満たす場合は、ＣＡＢＡＣ初期化しないほうが符号化効率が良いと判断し、ＣＡＢＡＣ初期化しないと判断してもよい。一方、三次元データ符号化装置は、色の特性の変化が所定の条件を満たさない場合は、ＣＡＢＡＣ初期化したほうが符号化効率が良いと判断し初期化すると判断してもよい。色の特性とは、例えば、輝度、色度、彩度、これらのヒストグラム、色の連続性などである。

【0470】

ここで、他のスライスとは、例えば、復号処理順で１つ前のスライスであってもよいし、空間的に隣接するスライスであってもよい。また、三次元データ符号化装置は、他のスライスのデータ密度と比較しなくても、当該スライスのデータ密度が所定のデータ密度であるか否かに応じて、ＣＡＢＡＣ初期化するか否かを判定してもよい。

【0471】

三次元データ符号化装置は、ＣＡＢＡＣ初期化すると判定した場合には、属性情報の符号化に用いるコンテキスト初期値を決定する。コンテキスト初期値は、データ密度に応じた符号化特性のよい初期値に設定される。三次元データ符号化装置は、あらかじめデータ密度に対する初期値テーブルを保持し、テーブルの中から最適な初期値を選択してもよい。

【0472】

三次元データ符号化装置は、属性情報が反射率の場合は、反射率に基づく情報に応じてＣＡＢＡＣ初期化するか否かを判定してもよい。

【0473】

三次元データ符号化装置は、三次元点に複数の属性情報がある場合、属性情報毎に独立に、それぞれの属性情報に基づく初期化情報を決定してもよいし、あるいは、いずれか一方の属性情報に基づき、複数の属性情報の初期化情報を決定してもよいし、複数の属性情報を用いて当該複数の属性情報の初期化情報を決定してもよい。

【0474】

位置情報の初期化情報は位置情報に基づき決定し、属性情報の初期化情報は属性情報に基づき決定する例を説明したが、位置情報に基づき、位置情報および属性情報の初期化情報を決定してもよいし、属性情報に基づき、位置情報および属性情報の初期化情報を決定してもよいし、両方の情報に基づき、位置情報および属性情報の初期化情報を決定してもよい。

【0475】

三次元データ符号化装置は、例えば、ｃａｂａｃ＿ｉｎｉｔ＿ｆｌａｇをｏｎまたはｏｆｆに設定したり、初期値テーブルの中から１以上の初期値を用いたりすることにより、あらかじめ符号化効率をシミュレートした結果に基づき、初期化情報を決定してもよい。

【0476】

三次元データ符号化装置は、スライスまたはタイルなどへのデータ分割方法を位置情報または属性情報に基づき決定した場合、分割方法の決定に基づく情報と同じ情報に基づいて初期化情報を決定してもよい。

【0477】

図６５は、タイルおよびスライスの例を示す図である。

【0478】

例えば、ＰＣＣデータの一部を有する１つのタイルにおけるスライスは、凡例に示されているように識別される。ＣＡＢＡＣ初期化フラグは、連続するスライスにおいてコンテキストの再初期化が必要か否かの判定に用いることができる。例えば、図６５において、一つのタイルの中に、オブジェクト（移動体、歩道、建物、木、その他のオブジェクト）毎に分割されたスライスデータが含まれる場合、移動体、歩道、木のスライスのＣＡＢＡＣ初期化フラグは１に設定され、建物やその他のスライスのＣＡＢＡＣ初期化フラグは０に設定される。これは、例えば、歩道と建物とが、両方とも密な永久構造であり同様の符号化効率を有する可能性がある場合、歩道と建物のスライス間でＣＡＢＡＣを再初期化しないことで符号化効率を向上できる可能性がある。一方、建物と木とで、密度および符号化効率大きく異なる可能性がある場合、建物と木のスライス間でＣＡＢＡＣを初期化することで符号化効率を向上できる可能性がある。

【0479】

図６６は、ＣＡＢＡＣの初期化およびコンテキスト初期値の決定方法の一例を示すフローチャートである。

【0480】

まず、三次元データ符号化装置は、位置情報から判定したオブジェクトに基づいて、点群データをスライスに分割する（Ｓ５２７１）。

【0481】

次に、三次元データ符号化装置は、スライス毎に、当該スライスのオブジェクトのデータ密度に基づき、位置情報の符号化と属性情報の符号化のＣＡＢＡＣ初期化するか否かを判定する（Ｓ５２７２）。つまり、三次元データ符号化装置は、位置情報に基づき、位置情報の符号化と属性情報の符号化のＣＡＢＡＣ初期化情報（ＣＡＢＡＣ初期化フラグ）を決定する。三次元データ符号化装置は、例えば、点群データ密度で、符号化効率のよい初期化を判定する。なお、ＣＡＢＡＣ初期化情報は、位置情報と属性情報とで共通のｃａｂａｃ＿ｉｎｉｔ＿ｆｌａｇに示されても良い。

【0482】

次に、三次元データ符号化装置は、ＣＡＢＡＣ初期化すると判定した場合（Ｓ５２７３でＹｅｓ）、位置情報の符号化のコンテキスト初期値を決定する（Ｓ５２７４）。

【0483】

次に、三次元データ符号化装置は、属性情報の符号化のコンテキスト初期値を決定する（Ｓ５２７５）。

【0484】

次に、三次元データ符号化装置は、位置情報のＣＡＢＡＣ初期化フラグを１に設定し、位置情報のコンテキスト初期値を設定するとともに、属性情報のＣＡＢＡＣ初期化フラグを１に設定し、属性情報のコンテキスト初期値を設定する（Ｓ５２７６）。なお、ＣＡＢＡＣ初期化する場合、三次元データ符号化装置は、位置情報の符号化および属性情報の符号化のそれぞれにおいて、コンテキスト初期値を用いて初期化処理を実施する。

【0485】

一方で、三次元データ符号化装置は、ＣＡＢＡＣ初期化しないと判定した場合（Ｓ５２７３でＮｏ）、位置情報のＣＡＢＡＣ初期化フラグを０に設定し、属性情報のＣＡＢＡＣ初期化フラグを０に設定する（Ｓ５２７７）。

【0486】

図６７は、ＬｉＤＡＲで得られた点群データを上面視した地図をタイルに分割した場合の例を示す図である。図６８は、ＣＡＢＡＣ初期化およびコンテキスト初期値の決定方法の他の一例を示すフローチャートである。

【0487】

三次元データ符号化装置は、大規模地図データにおいて、位置情報に基づき、上面視における二次元の分割方法で、点群データを１以上のタイルに分割する（Ｓ５２８１）。三次元データ符号化装置は、例えば、図６７に示すような正方形の領域で分割してもよい。また、三次元データ符号化装置は、点群データを、様々な形状、大きさのタイルに分割してもよい。タイルの分割は、あらかじめ定められた１以上の方法で行われてもよいし、適応的に行われてもよい。

【0488】

次に、三次元データ符号化装置は、タイル毎に、タイル内のオブジェクトを判定し、当該タイルの位置情報の符号化または属性情報の符号化で、ＣＡＢＡＣ初期化するか否かを判定する（Ｓ５２８２）。なお、三次元データ符号化装置は、スライス分割の場合は、オブジェクト（木、人、移動体、建物）を認識し、オブジェクトに応じてスライス分割および初期値の判定をする。

【0489】

三次元データ符号化装置は、ＣＡＢＡＣ初期化すると判定した場合（Ｓ５２８３でＹｅｓ）、位置情報の符号化のコンテキスト初期値を決定する（Ｓ５２８４）。

【0490】

次に、三次元データ符号化装置は、属性情報の符号化のコンテキスト初期値を決定する（Ｓ５２８５）。

【0491】

ステップＳ５２８４およびＳ５２８５では、初期値として、特定の符号化特性を持つタイルの初期値を記憶しておき、同一の符号化特性を持つタイルの初期値として用いても良い。

【0492】

次に、三次元データ符号化装置は、位置情報のＣＡＢＡＣ初期化フラグを１に設定し、位置情報のコンテキスト初期値を設定するとともに、属性情報のＣＡＢＡＣ初期化フラグを１に設定し、属性情報のコンテキスト初期値を設定する（Ｓ５２８６）。なお、ＣＡＢＡＣ初期化する場合、三次元データ符号化装置は、位置情報の符号化および属性情報の符号化のそれぞれにおいて、コンテキスト初期値を用いて初期化処理を実施する。

【0493】

一方で、三次元データ符号化装置は、ＣＡＢＡＣ初期化しないと判定した場合（Ｓ５２８３でＮｏ）、位置情報のＣＡＢＡＣ初期化フラグを０に設定し、属性情報のＣＡＢＡＣ初期化フラグを０に設定する（Ｓ５２８７）。

【0494】

（実施の形態７）
以下、量子化パラメータについて説明する。

【0495】

点群データの特性および位置に基づき点群データを分割するために、スライスおよびタイルが用いられる。ここで、ハードウェアの制限、および、リアルタイム処理の要件により、それぞれの分割された点群データに求められる品質が異なる場合がある。例えば、オブジェクト毎にスライスに分割して符号化する場合、植物を含むスライスデータは、それほど重要でないため、量子化することにより解像度（品質）を落とすことができる。一方、重要なスライスデータは量子化の値を低い値に設定することで高い解像度（品質）とすることができる。このような量子化値のコントロールを可能とするために量子化パラメータが用いられる。

【0496】

ここで、量子化の対象となるデータと、量子化に用いられるスケールと、量子化によって算出される結果である量子化データとは、以下の（式Ｇ１）と（式Ｇ２）で表される。

【0497】

量子化データ＝データ／スケール （式Ｇ１）

【0498】

データ＝量子化データ＊スケール （式Ｇ２）

【0499】

図６９は、データを量子化する量子化部５３２３、および、量子化データを逆量子化する逆量子化部５３３３の処理について説明するための図である。

【0500】

量子化部５３２３は、スケールを用いてデータを量子化する、つまり、式Ｇ１を用いる処理を行うことで、データが量子化された量子化データを算出する。

【0501】

逆量子化部５３３３は、スケールを用いて量子化データを逆量子化する、つまり、式Ｇ２を用いる処理を行うことで、量子化データが逆量子化されたデータを算出する。

【0502】

また、スケールと、量子化値（ＱＰ（Quantization Parameter）値）とは、以下の（式Ｇ３）で表される。

【0503】

量子化値（ＱＰ値）＝ｌｏｇ（スケール） （式Ｇ３）

【0504】

量子化値（ＱＰ値）＝デフォルト値（基準値）＋量子化デルタ（差分情報） （式Ｇ４）

【0505】

また、これらのパラメータを総称して量子化パラメータ（Quantization Parameter）と呼ぶ。

【0506】

例えば、図７０に示されるように、量子化値は、デフォルト値を基準とした値であり、デフォルト値に量子化デルタを加算することで算出される。量子化値がデフォルト値よりも小さい値である場合には、量子化デルタは負の値となる。量子化値がデフォルト値よりも大きい値である場合には、量子化デルタは正の値となる。量子化値がデフォルト値と等しい場合には、量子化デルタは０となる。量子化デルタが０である場合、量子化デルタは、なくてもよい。

【0507】

符号化処理について説明する。図７１は、本実施の形態に係る三次元データ符号化装置に含まれる第１の符号化部５３００の構成を示すブロック図である。図７２は、本実施の形態に係る分割部５３０１の構成を示すブロック図である。図７３は、本実施の形態に係る位置情報符号化部５３０２および属性情報符号化部５３０３の構成を示すブロック図である。

【0508】

第１の符号化部５３００は、点群データを第１の符号化方法（ＧＰＣＣ（Ｇｅｏｍｅｔｒｙ ｂａｓｅｄ ＰＣＣ））で符号化することで符号化データ（符号化ストリーム）を生成する。この第１の符号化部５３００は、分割部５３０１と、複数の位置情報符号化部５３０２と、複数の属性情報符号化部５３０３と、付加情報符号化部５３０４と、多重化部５３０５とを含む。

【0509】

分割部５３０１は、点群データを分割することで複数の分割データを生成する。具体的には、分割部５３０１は、点群データの空間を複数のサブ空間に分割することで複数の分割データを生成する。ここでサブ空間とは、タイル及びスライスの一方、又はタイル及びスライスの組み合わせである。より具体的には、点群データは、位置情報、属性情報、及び付加情報を含む。分割部５３０１は、位置情報を複数の分割位置情報に分割し、属性情報を複数の分割属性情報に分割する。また、分割部５３０１は、分割に関する付加情報を生成する。

【0510】

分割部５３０１は、図７２に示すように、タイル分割部５３１１と、スライス分割部５３１２とを含む。例えば、タイル分割部５３１１は、点群をタイルに分割する。タイル分割部５３１１は、分割した各タイルに用いる量子化値をタイル付加情報として決定してもよい。

【0511】

スライス分割部５３１２は、タイル分割部５３１１により得られたタイルを、さらにスライスに分割する。スライス分割部５３１２は、分割した各スライスに用いる量子化値をスライス付加情報として決定してもよい。

【0512】

複数の位置情報符号化部５３０２は、複数の分割位置情報を符号化することで複数の符号化位置情報を生成する。例えば、複数の位置情報符号化部５３０２は、複数の分割位置情報を並列処理する。

【0513】

位置情報符号化部５３０２は、図７３に示すように、量子化値算出部５３２１と、エントロピ符号化部５３２２とを含む。量子化値算出部５３２１は、符号化される分割位置情報の量子化値（量子化パラメータ）を取得する。エントロピ符号化部５３２２は、量子化値算出部５３２１により取得された量子化値（量子化パラメータ）を用いて、分割位置情報を量子化することで、量子化位置情報を算出する。

【0514】

複数の属性情報符号化部５３０３は、複数の分割属性情報を符号化することで複数の符号化属性情報を生成する。例えば、複数の属性情報符号化部５３０３は、複数の分割属性情報を並列処理する。

【0515】

属性情報符号化部５３０３は、図７３に示すように、量子化値算出部５３３１と、エントロピ符号化部５３３２とを含む。量子化値算出部５３３１は、符号化される分割属性情報の量子化値（量子化パラメータ）を取得する。エントロピ符号化部５３３２は、量子化値算出部５３３１により取得された量子化値（量子化パラメータ）を用いて、分割属性情報を量子化することで、量子化属性情報を算出する。

【0516】

付加情報符号化部５３０４は、点群データに含まれる付加情報と、分割部５３０１で分割時に生成された、データ分割に関する付加情報とを符号化することで符号化付加情報を生成する。

【0517】

多重化部５３０５は、複数の符号化位置情報、複数の符号化属性情報及び符号化付加情報を多重化することで符号化データ（符号化ストリーム）を生成し、生成した符号化データを送出する。また、符号化付加情報は復号時に使用される。

【0518】

なお、図７１では、位置情報符号化部５３０２及び属性情報符号化部５３０３の数がそれぞれ２つの例を示しているが、位置情報符号化部５３０２及び属性情報符号化部５３０３の数は、それぞれ１つであってもよいし、３つ以上であってもよい。また、複数の分割データは、ＣＰＵ内の複数コアのように同一チップ内で並列処理されてもよいし、複数のチップのコアで並列処理されてもよいし、複数チップの複数コアで並列処理されてもよい。

【0519】

次に、復号処理について説明する。図７４は、第１の復号部５３４０の構成を示すブロック図である。図７５は、位置情報復号部５３４２および属性情報復号部５３４３の構成を示すブロック図である。

【0520】

第１の復号部５３４０は、点群データが第１の符号化方法（ＧＰＣＣ）で符号化されることで生成された符号化データ（符号化ストリーム）を復号することで点群データを復元する。この第１の復号部５３４０は、逆多重化部５３４１と、複数の位置情報復号部５３４２と、複数の属性情報復号部５３４３と、付加情報復号部５３４４と、結合部５３４５とを含む。

【0521】

逆多重化部５３４１は、符号化データ（符号化ストリーム）を逆多重化することで複数の符号化位置情報、複数の符号化属性情報及び符号化付加情報を生成する。

【0522】

複数の位置情報復号部５３４２は、複数の符号化位置情報を復号することで複数の量子化位置情報を生成する。例えば、複数の位置情報復号部５３４２は、複数の符号化位置情報を並列処理する。

【0523】

位置情報復号部５３４２は、図７５に示すように、量子化値算出部５３５１と、エントロピ復号部５３５２とを含む。量子化値算出部５３５１は、量子化位置情報の量子化値を取得する。エントロピ復号部５３５２は、量子化値算出部５３５１により取得された量子化値を用いて、量子化位置情報を逆量子化することで、位置情報を算出する。

【0524】

複数の属性情報復号部５３４３は、複数の符号化属性情報を復号することで複数の分割属性情報を生成する。例えば、複数の属性情報復号部５３４３は、複数の符号化属性情報を並列処理する。

【0525】

属性情報復号部５３４３は、図７５に示すように、量子化値算出部５３６１と、エントロピ復号部５３６２とを含む。量子化値算出部５３６１は、量子化属性情報の量子化値を取得する。エントロピ復号部５３６２は、量子化値算出部５３６１により取得された量子化値を用いて、量子化属性情報を逆量子化することで、属性情報を算出する。

【0526】

複数の付加情報復号部５３４４は、符号化付加情報を復号することで付加情報を生成する。

【0527】

結合部５３４５は、付加情報を用いて複数の分割位置情報を結合することで位置情報を生成する。結合部５３４５は、付加情報を用いて複数の分割属性情報を結合することで属性情報を生成する。例えば、結合部５３４５は、まず、スライス付加情報を用いて、スライスに対する復号された点群データを結合することでタイルに対応する点群データを生成する。次に、結合部５３４５は、タイル付加情報を用いて、タイルに対応する点群データを結合することで元の点群データを復元する。

【0528】

なお、図７４では、位置情報復号部５３４２及び属性情報復号部５３４３の数がそれぞれ２つの例を示しているが、位置情報復号部５３４２及び属性情報復号部５３４３の数は、それぞれ１つであってもよし、３つ以上であってもよい。また、複数の分割データは、ＣＰＵ内の複数コアのように同一チップ内で並列処理されてもよいし、複数のチップのコアで並列処理されてもよい、複数チップの複数コアで並列処理されてもよい。

【0529】

［量子化パラメータの決定方法］
図７６は、位置情報（Ｇｅｏｍｅｔｒｙ）の符号化あるいは属性情報（Ａｔｔｒｉｂｕｔｅ）の符号化における量子化値（Ｑｕａｎｔｉｚａｔｉｏｎ Ｐａｒａｍｅｔｅｒ値：ＱＰ値）の決定に関する処理の一例を示すフローチャートである。

【0530】

ＱＰ値は、例えばＰＣＣフレームを構成する位置情報のデータ単位毎、あるいは属性情報のデータ単位毎に符号化効率を考慮して決定される。データ単位が分割されたタイル単位、あるいは、分割されたスライス単位である場合には、ＱＰ値は、分割のデータ単位の符号化効率を考慮し、分割のデータ単位で決定される。また、ＱＰ値は、分割前のデータ単位で決定されてもよい。

【0531】

図７６に示すように、三次元データ符号化装置は、位置情報の符号化に使用するＱＰ値を決定する（Ｓ５３０１）。三次元データ符号化装置は、ＱＰ値の決定を、分割された複数のスライス毎に、所定の方法に基づいて行ってもよい。具体的には、三次元データ符号化装置は、位置情報のデータの特徴または品質に基づいて、ＱＰ値を決定する。三次元データ符号化装置は、例えば、データ単位毎に、点群データの密度、つまり、スライスに属する単位領域あたりの点の数を判定し、点群データの密度に対応する値をＱＰ値として決定してもよい。あるいは、三次元データ符号化装置は、点群データの点の数、点の分布、点の偏り、または、点の情報から得られる特徴量、特徴点の数、あるいは認識されるオブジェクトに基づき、対応する値をＱＰ値として決定してもよい。また、三次元データ符号化装置は、地図の位置情報におけるオブジェクトを判定し、位置情報に基づくオブジェクトに基づきＱＰ値を決定してもよいし、三次元点群を二次元に投影した情報あるいは特徴量に基づきＱＰ値を決定してもよい。対応するＱＰ値は、あらかじめ、点群データの密度、点の数、点の分布、または点の偏りと対応付けられているテーブルとしてメモリに保持されていてもよい。また、対応するＱＰ値は、予め、点の情報から得られる特徴量もしくは特徴点の数、または、点の情報に基づいて認識されるオブジェクトと対応付けられているテーブルとしてメモリに保持されていてもよい。また、対応するＱＰ値は、点群データの位置情報を符号化する際に、様々なＱＰ値で符号化率などをシミュレーションした結果に基づき決定されてもよい。

【0532】

次に、三次元データ符号化装置は、位置情報のＱＰ値の基準値（デフォルト値）および差分情報（量子化デルタ）を決定する（Ｓ５３０２）。三次元データ符号化装置は、具体的には、決定したＱＰ値および所定の方法を用いて、伝送する基準値および差分情報を決定し、決定した基準値および差分情報を、付加情報およびデータのヘッダの少なくとも一方に設定（追加）する。

【0533】

次に、三次元データ符号化装置は、属性情報の符号化に使用するＱＰ値を決定する（Ｓ５３０３）。三次元データ符号化装置は、ＱＰ値の決定を、分割された複数のスライス毎に、所定の方法に基づいて行ってもよい。具体的には、三次元データ符号化装置は、属性情報のデータの特徴または品質に基づいて、ＱＰ値を決定する。三次元データ符号化装置は、例えば、データ単位毎に、属性情報の特性に基づいて、ＱＰ値を決定してもよい。色の特性とは、例えば、輝度、色度、彩度、これらのヒストグラム、色の連続性などである。属性情報が反射率の場合は、反射率に基づく情報に応じて判定してもよい。三次元データ符号化装置は、例えば、点群データからオブジェクトとして顔を検出した場合、顔を検出したオブジェクトを構成する点群データに対して、品質のよいＱＰ値を決定してもよい。このように、三次元データ符号化装置は、オブジェクトの種類に応じて、オブジェクトを構成する点群データに対するＱＰ値を決定してもよい。

【0534】

また、三次元データ符号化装置は、三次元点に複数の属性情報がある場合、属性情報毎に独立に、それぞれの属性情報に基づくＱＰ値を決定してもよいし、あるいは、いずれか一方の属性情報に基づき、複数の属性情報のＱＰ値を決定してもよいし、複数の属性情報を用いて当該複数の属性情報のＱＰ値を決定してもよい。

【0535】

次に、三次元データ符号化装置は、属性情報のＱＰ値の基準値（デフォルト値）および差分情報（量子化デルタ）を決定する（Ｓ５３０４）。三次元データ符号化装置は、具体的には、決定したＱＰ値および所定の方法を用いて、伝送する基準値および差分情報を決定し、決定した基準値および差分情報を、付加情報およびデータのヘッダの少なくとも一方に設定（追加）する。

【0536】

そして、三次元データ符号化装置は、それぞれ、決定された位置情報および属性情報のＱＰ値に基づき、位置情報および属性情報を量子化し、符号化する（Ｓ５３０５）。

【0537】

なお、位置情報のＱＰ値は、位置情報に基づいて決定され、属性情報のＱＰ値は、属性情報に基づいて決定される例を説明したが、これに限らない。例えば、位置情報および属性情報のＱＰ値は、位置情報に基づいて決定されてもよいし、属性情報に基づいて決定されてもよいし、位置情報および属性情報に基づいて決定されてもよい。

【0538】

なお、位置情報および属性情報のＱＰ値は、点群データにおける、位置情報の品質と属性情報の品質とのバランスを考慮して調整されてもよい。例えば、位置情報および属性情報のＱＰ値は、位置情報の品質が高く設定され、かつ、属性情報の品質が位置情報の品質より低く設定されるように決定されてもよい。例えば、属性情報のＱＰ値は、位置情報のＱＰ値以上という制約された条件を満たすように決定されてもよい。

【0539】

また、ＱＰ値は、符号化データがあらかじめ定められた所定のレートの範囲内に収まるように符号化されるように調整されてもよい。ＱＰ値は、例えば、ひとつ前のデータ単位の符号化で符号量が所定のレートを超えそうな場合、つまり、所定のレートまでの差が第一の差分未満である場合、データ単位の符号量が第一の差分未満となるよう符号化品質が低下するように調整されてもよい。一方で、ＱＰ値は、所定のレートまでの差が、第一の差分よりも大きい第二の差分より大きく、十分に大きな差がある場合、データ単位の符号化品質が向上するように調整されてもよい。データ単位の間の調整は、例えばＰＣＣフレーム間であってもよいし、タイルの間やスライスの間であってもよい。属性情報のＱＰ値の調整は、位置情報の符号化のレートに基づいて調整されてもよい。

【0540】

なお、図７６におけるフローチャートにおいて、位置情報に係る処理と属性情報に係る処理の処理順は、反対でも良いし、並列でもよい。

【0541】

なお、図７６におけるフローチャートでは、スライス単位の処理を例にしているが、タイル単位や、その他のデータ単位での処理の場合もスライス単位と同様に処理することができる。つまり、図７６のフローチャートのスライスは、タイルまたは他のデータ単位と読み替えることができる。

【0542】

図７７は、位置情報および属性情報の復号処理の一例を示すフローチャートである。

【0543】

図７７に示すように、三次元データ復号装置は、位置情報のＱＰ値を示す基準値および差分情報と、属性情報のＱＰ値を示す基準値および差分情報とを取得する（Ｓ５３１１）。具体的には、三次元データ復号装置は、伝送されるメタデータ、符号化データのヘッダのいずれか一方または両方を解析し、ＱＰ値を導出するための基準値および差分情報を取得する。

【0544】

次に、三次元データ復号装置は、取得した基準値および差分情報を用いて、所定の方法に基づいて、ＱＰ値を導出する（Ｓ５３１２）。

【0545】

そして、三次元データ復号装置は、量子化位置情報を取得し、導出されたＱＰ値を用いて量子化位置情報を逆量子化することで、位置情報を復号する（Ｓ５３１３）。

【0546】

次に、三次元データ復号装置は、量子化属性情報を取得し、導出されたＱＰ値を用いて量子化属性情報を逆量子化することで、属性情報を復号する（Ｓ５３１４）。

【0547】

次に、量子化パラメータの伝送方法について説明する。

【0548】

図７８は、量子化パラメータの伝送方法の第１の例について説明するための図である。図７８の（ａ）は、ＱＰ値の関係の一例を示す図である。

【0549】

図７８において、Ｑ_ＧおよびＱ_Ａは、それぞれ、位置情報の符号化に用いるＱＰ値の絶対値、および、属性情報の符号化に用いるＱＰ値の絶対値を示す。Ｑ_Ｇは、複数の三次元点のそれぞれの位置情報を量子化するために用いられる第１量子化パラメータの一例である。また、Δ（Ｑ_Ａ，Ｑ_Ｇ）は、Ｑ_Ａの導出に用いるＱ_Ｇとの差分を示す差分情報を示す。つまり、Ｑ_Ａは、Ｑ_ＧとΔ（Ｑ_Ａ，Ｑ_Ｇ）とを用いて導出される。このように、ＱＰ値は、基準値（絶対値）と差分情報（相対値）とに分けて伝送される。また、復号では、伝送された基準値および差分情報から所望のＱＰ値を導出する。

【0550】

例えば、図７８の（ａ）では、絶対値Ｑ_Ｇと差分情報Δ（Ｑ_Ａ，Ｑ_Ｇ）とが伝送され、復号では、下記の（式Ｇ５）で示すように、Ｑ_Ａは、Ｑ_ＧにΔ（Ｑ_Ａ，Ｑ_Ｇ）を加算することで導出される。

【0551】

Ｑ_Ａ＝Ｑ_Ｇ＋Δ（Ｑ_Ａ，Ｑ_Ｇ） （式Ｇ５）

【0552】

図７８の（ｂ）および（ｃ）を用いて位置情報および属性情報からなる点群データをスライス分割する場合のＱＰ値の伝送方法を説明する。図７８の（ｂ）は、各ＱＰ値の基準値と差分情報との関係の第１の例を示す図である。図７８の（ｃ）は、ＱＰ値、位置情報、および、属性情報の伝送順の第１の例を示す図である。

【0553】

ＱＰ値は、位置情報毎、および、属性情報毎に、大きく、ＰＣＣのフレーム単位のＱＰ値（フレームＱＰ）と、データ単位のＱＰ値（データＱＰ）に分かれている。データ単位のＱＰ値は、図７６のステップＳ５３０１で決定した、符号化に用いるＱＰ値である。

【0554】

ここでは、ＰＣＣフレーム単位の位置情報の符号化に用いるＱＰ値であるＱ_Ｇを基準値とし、データ単位のＱＰ値をＱ_Ｇからの差分を示す差分情報として生成し、送出する。

【0555】

Ｑ_Ｇ：ＰＣＣフレームにおける位置情報の符号化のＱＰ値・・・ＧＰＳを用いて基準値「１．」として送出される
Ｑ_Ａ：ＰＣＣフレームにおける属性情報の符号化のＱＰ値・・・ＡＰＳを用いてＱ_Ｇからの差分を示す差分情報「２．」として送出される
Ｑ_Ｇｓ１，Ｑ_Ｇｓ２：スライスデータにおける位置情報の符号化のＱＰ値…位置情報の符号化データのヘッダを用いて、Ｑ_Ｇからの差分を示す差分情報「３．」および「５．」として送出される
Ｑ_Ａｓ１，Ｑ_Ａｓ２：スライスデータにおける属性情報の符号化のＱＰ値…属性情報の符号化データのヘッダを用いて、Ｑ_Ａからの差分を示す差分情報「４．」および「６．」として送出される

【0556】

なお、フレームＱＰの導出に用いる情報は、フレームに係るメタデータ（ＧＰＳ，ＡＰＳ）に記載され、データＱＰの導出に用いる情報は、データに係るメタデータ（符号化データのヘッダ）に記載される。

【0557】

このように、データＱＰは、フレームＱＰからの差分を示す差分情報として生成され、送出される。よって、データＱＰのデータ量を削減することができる。

【0558】

第１の復号部５３４０は、それぞれの符号化データにおいて、図７８の（ｃ）の矢印で示したメタデータを参照し、当該符号化データに対応する基準値および差分情報を取得する。そして、第１の復号部５３４０は、取得した基準値および差分情報に基づいて、復号対象の符号化データに対応するＱＰ値を導出する。

【0559】

第１の復号部５３４０は、例えば、図７８の（ｃ）において矢印で示した基準情報「１．」および差分情報「２．」、「６．」をメタデータあるいはヘッダから取得し、下記の（式Ｇ６）で示すように、基準情報「１．」に差分情報「２．」および「６．」を加算することで、Ａ_ｓ２のＱＰ値を導出する。

【0560】

Ｑ_ＡＳ２＝Ｑ_Ｇ＋Δ（Ｑ_Ａ，Ｑ_Ｇ）＋Δ（Ｑ_Ａｓ２，Ｑ_Ａ） （式Ｇ６）

【0561】

点群データは、位置情報と０以上の属性情報とを含む。すなわち、点群データは、属性情報を持たない場合もあれば、複数の属性情報を持つ場合もある。

【0562】

例えば、１つの三次元点に対して、属性情報として、色情報を持つ場合、色情報と反射情報とを持つ場合、１以上の視点情報にそれぞれ紐づく１以上の色情報を持つ場合などがある。

【0563】

ここで、２つの色情報、および反射情報を持つ場合の例について、図７９を用いて説明する。図７９は、量子化パラメータの伝送方法の第２の例について説明するための図である。図７９の（ａ）は、各ＱＰ値の基準値と差分情報との関係の第２の例を示す図である。図７９の（ｂ）は、ＱＰ値、位置情報、および、属性情報の伝送順の第２の例を示す図である。

【0564】

Ｑ_Ｇは、図７８と同様に、第１量子化パラメータの一例である。

【0565】

２つの色情報のそれぞれは、輝度（ルマ）Ｙと色差（クロマ）Ｃｂ、Ｃｒとで示される。第１の色の輝度Ｙ１の符号化に用いるＱＰ値であるＱ_Ｙ１は、基準値であるＱ_Ｇと、その差分を示すΔ（Ｑ_Ｙ１、Ｑ_Ｇ）とを用いて導出される。輝度Ｙ１は、第１輝度の一例であり、Ｑ_Ｙ１は、第１輝度としての輝度Ｙ１を量子化するために用いられる第２量子化パラメータの一例である。Δ（Ｑ_Ｙ１、Ｑ_Ｇ）は、差分情報「２．」である。

【0566】

また、第１の色の色差Ｃｂ１、Ｃｒ１の符号化に用いるＱＰ値であるＱ_Ｃｂ１、Ｑ_Ｃｒ１は、それぞれ、ＱＹ１と、その差分を示すΔ（Ｑ_Ｃｂ１，Ｑ_Ｙ１）、Δ（Ｑ_Ｃｒ１，Ｑ_Ｙ１）とを用いて導出される。色差Ｃｂ１、Ｃｒ１は、第１色差の一例であり、Ｑ_Ｃｂ１、Ｑ_Ｃｒ１は、第１色差としての色差Ｃｂ１、Ｃｒ１を量子化するために用いられる第３量子化パラメータの一例である。Δ（Ｑ_Ｃｂ１，Ｑ_Ｙ１）は、差分情報「３．」であり、Δ（Ｑ_Ｃｒ１，Ｑ_Ｙ１）は、差分情報「４．」である。Δ（Ｑ_Ｃｂ１，Ｑ_Ｙ１）およびΔ（Ｑ_Ｃｒ１，Ｑ_Ｙ１）は、それぞれ、第１差分の一例である。

【0567】

なお、Ｑ_Ｃｂ１およびＱ_Ｃｒ１は、互いに同じ値が用いられてもよく、共通する値が用いられてもよい。共通する値が用いられる場合、Ｑ_Ｃｂ１およびＱ_Ｃｒ１の一方が用いられればよいため、他方はなくてもよい。

【0568】

また、スライスデータにおける第１の色の輝度Ｙ１Ｄの符号化に用いるＱＰ値であるＱ_Ｙ１Ｄは、Ｑ_Ｙ１と、その差分を示すΔ（Ｑ_Ｙ１Ｄ，Ｑ_Ｙ１）とを用いて導出される。スライスデータにおける第１の色の輝度Ｙ１Ｄは、サブ空間に含まれる１以上の三次元点の第１輝度の一例であり、Ｑ_Ｙ１Ｄは、輝度Ｙ１Ｄを量子化するために用いられる第５量子化パラメータの一例である。Δ（Ｑ_Ｙ１Ｄ，Ｑ_Ｙ１）は、差分情報「１０．」であり、第２差分の一例である。

【0569】

同様に、スライスデータにおける第１の色の色差Ｃｂ１Ｄ、Ｃｒ１Ｄの符号化に用いるＱＰ値であるＱ_Ｃｂ１Ｄ、Ｑ_Ｃｒ１Ｄは、それぞれ、Ｑ_Ｃｂ１、Ｑ_Ｃｒ１と、その差分を示すΔ（Ｑ_Ｃｂ１Ｄ，Ｑ_Ｃｂ１）、Δ（Ｑ_Ｃｒ１Ｄ，Ｑ_Ｃｒ１）とを用いて導出される。スライスデータにおける第１の色の色差Ｃｂ１Ｄ、Ｃｒ１Ｄは、サブ空間に含まれる１以上の三次元点の第１色差の一例であり、Ｑ_Ｃｂ１Ｄ、Ｑ_Ｃｒ１Ｄは、色差Ｃｂ１Ｄ、Ｃｒ１Ｄを量子化するために用いられる第６量子化パラメータの一例である。Δ（Ｑ_Ｃｂ１Ｄ，Ｑ_Ｃｂ１）は、差分情報「１１．」であり、Δ（Ｑ_Ｃｒ１Ｄ，Ｑ_Ｃｒ１）は、差分情報「１２．」である。Δ（Ｑ_Ｃｂ１Ｄ，Ｑ_Ｃｂ１）およびΔ（Ｑ_Ｃｒ１Ｄ，Ｑ_Ｃｒ１）は、第３差分の一例である。

【0570】

第１の色におけるＱＰ値の関係は、第２の色にも同様のことが言えるため、説明を省略する。

【0571】

反射率Ｒの符号化に用いるＱＰ値であるＱ_Ｒは、基準値であるＱ_Ｇと、その差分を示すΔ（Ｑ_Ｒ，Ｑ_Ｇ）とを用いて導出される。Ｑ_Ｒは、反射率Ｒを量子化するために用いられる第４量子化パラメータの一例である。Δ（Ｑ_Ｒ，Ｑ_Ｇ）は、差分情報「８．」である。

【0572】

また、スライスデータにおける反射率ＲＤの符号化に用いるＱＰ値であるＱ_ＲＤは、Ｑ_Ｒと、その差分を示すΔ（Ｑ_ＲＤ，Ｑ_Ｒ）とを用いて導出される。Δ（Ｑ_ＲＤ，Ｑ_Ｒ）は、差分情報「１６．」である。

【0573】

このように、差分情報「９．」～「１６．」は、データＱＰとフレームＱＰとの差分情報を示す。

【0574】

なお、例えば、データＱＰとフレームＱＰとの値が同一の値であるような場合は、差分情報を０としてもよいし、差分情報を送出しないことにより０とみなすとしてもよい。

【0575】

第１の復号部５３４０は、例えば、第２の色の色差Ｃｒ２を復号する際、図７９の（ｂ）の矢印で示した基準情報「１．」および差分情報「５．」、「７．」および「１５．」をメタデータあるいはヘッダから取得し、下記の（式Ｇ７）で示すように、基準情報「１．」に差分情報「５．」、「７．」および「１５．」を加算することで、色差Ｃｒ２のＱＰ値を導出する。

【0576】

Ｑ_Ｃｒ２Ｄ＝Ｑ_Ｇ＋Δ（Ｑ_Ｙ２，Ｑ_Ｇ）＋Δ（Ｑ_Ｃｒ２，Ｑ_Ｙ２）＋Δ（Ｑ_Ｃｒ２Ｄ，Ｑ_Ｃｒ２） （式Ｇ７）

【0577】

次に、位置情報および属性情報をタイルに２分割した後に、スライスに２分割する場合の例について図８０を用いて説明する。図８０は、量子化パラメータの伝送方法の第３の例について説明するための図である。図８０の（ａ）は、各ＱＰ値の基準値と差分情報との関係の第３の例を示す図である。図８０の（ｂ）は、ＱＰ値、位置情報、および、属性情報の伝送順の第３の例を示す図である。図８０の（ｃ）は、第３の例における、差分情報の中間生成値について説明するための図である。

【0578】

複数のタイルに分割した後に、さらに複数のスライスに分割する場合、図８０の（ｃ）に示すように、タイルに分割した後にタイル毎のＱＰ値（Ｑ_Ａｔ１）および差分情報Δ（Ｑ_Ａｔ１，Ｑ_Ａ）が中間生成値として生成される。そして、スライスに分割した後にスライス毎のＱＰ値（Ｑ_{Ａｔ１ｓ１}，Ｑ_{Ａｔ１ｓ２}）および差分情報（Δ（Ｑ_{Ａｔ１ｓ１}，Ｑ_Ａｔ１），Δ（Ｑ_{Ａｔ１ｓ２}，Ｑ_Ａｔ１））が生成される。

【0579】

この場合、例えば、図８０の（ａ）における、差分情報「４．」は、以下の（式Ｇ８）で導出される。

【0580】

Δ（Ｑ_{Ａｔ１ｓ１}，Ｑ_Ａ）＝Δ（Ｑ_Ａｔ１，Ｑ_Ａ）＋Δ（Ｑ_{Ａｔ１ｓ１}，Ｑ_Ａｔ１） （式Ｇ８）

【0581】

第１の復号部５３４０は、例えば、タイル２におけるスライス１の属性情報Ａ_ｔ２ｓ１を復号する際、図８０の（ｂ）の矢印で示した基準情報「１．」および差分情報「２．」、「８．」をメタデータあるいはヘッダから取得し、下記の（式Ｇ９）で示すように、基準情報「１．」に差分情報「２．」、「８．」を加算することで、属性情報Ａ_ｔ２ｓ１のＱＰ値を導出する。

【0582】

Ｑ_{Ａｔ２ｓ１}＝Ｑ_Ｇ＋Δ（Ｑ_{Ａｔ２ｓ１}，Ｑ_Ａ）＋Δ（Ｑ_Ａ，Ｑ_Ｇ） （式Ｇ９）

【0583】

次に、本実施の形態に係る点群データの符号化処理及び復号処理の流れについて説明する。図８１は、本実施の形態に係る点群データの符号化処理のフローチャートである。

【0584】

まず、三次元データ符号化装置は、使用する分割方法を決定する（Ｓ５３２１）。この分割方法は、タイル分割を行うか否か、スライス分割を行うか否かを含む。また、分割方法は、タイル分割又はスライス分割を行う場合の分割数、及び、分割の種別等を含んでもよい。分割の種別とは、上述したようなオブジェクト形状に基づく手法、地図情報或いは位置情報に基づく手法、又は、データ量或いは処理量に基づく手法等である。なお、分割方法は、予め定められていてもよい。

【0585】

タイル分割が行われる場合（Ｓ５３２２でＹｅｓ）、三次元データ符号化装置は、位置情報と属性情報とをタイル単位で分割することで複数のタイル位置情報及び複数のタイル属性情報を生成する（Ｓ５３２３）。また、三次元データ符号化装置は、タイル分割に係るタイル付加情報を生成する。

【0586】

スライス分割が行われる場合（Ｓ５３２４でＹｅｓ）、三次元データ符号化装置は、複数のタイル位置情報及び複数のタイル属性情報（又は位置情報及び属性情報）を分割することで複数の分割位置情報及び複数の分割属性情報を生成する（Ｓ５３２５）。また、三次元データ符号化装置は、スライス分割に係る位置スライス付加情報及び属性スライス付加情報を生成する。

【0587】

次に、三次元データ符号化装置は、複数の分割位置情報及び複数の分割属性情報の各々を符号化することで、複数の符号化位置情報及び複数の符号化属性情報を生成する（Ｓ５３２６）。また、三次元データ符号化装置は、依存関係情報を生成する。

【0588】

次に、三次元データ符号化装置は、複数の符号化位置情報、複数の符号化属性情報及び付加情報をＮＡＬユニット化（多重化）することで符号化データ（符号化ストリーム）を生成する（Ｓ５３２７）。また、三次元データ符号化装置は、生成した符号化データを送出する。

【0589】

図８２は、タイルの分割（Ｓ５３２３）またはスライスの分割（Ｓ５３２５）において、ＱＰ値を決定し、付加情報を更新する処理の一例を示すフローチャートである。

【0590】

ステップＳ５３２３、Ｓ５３２５では、タイルおよび／またはスライスの位置情報および属性情報は、それぞれの方法で独立して個別に分割してもよいし、共通して一括で分割してもよい。これにより、タイル毎および／またはスライス毎に分割された付加情報が生成される。

【0591】

このとき、三次元データ符号化装置は、分割されたタイル毎および／またはスライス毎に、ＱＰ値の基準値および差分情報を決定する（Ｓ５３３１）。具体的には、三次元データ符号化装置は、図７８～図８０で例示したような、基準値および差分情報を決定する。

【0592】

そして、三次元データ符号化装置は、決定した基準値および差分情報が含まれるように付加情報を更新する（Ｓ５３３２）。

【0593】

図８３は、符号化（Ｓ５３２６）の処理において、決定されたＱＰ値を符号化する処理の一例を示すフローチャートである。

【0594】

三次元データ符号化装置は、ステップＳ５３３１で決定されたＱＰ値を符号化する（Ｓ５３４１）。具体的には、三次元データ符号化装置は、更新された付加情報に含まれるＱＰ値の基準値および差分情報を符号化する。

【0595】

そして、三次元データ符号化装置は、符号化処理の停止条件が満たされるまで、例えば、符号化対象のデータがなくなるまで、符号化処理を継続する（Ｓ５３４２）。

【0596】

図８４は、本実施の形態に係る点群データの復号処理のフローチャートである。まず、三次元データ復号装置は、符号化データ（符号化ストリーム）に含まれる、分割方法に係る付加情報（タイル付加情報、位置スライス付加情報及び属性スライス付加情報）を解析することで、分割方法を判定する（Ｓ５３５１）。この分割方法は、タイル分割を行うか否か、スライス分割を行うか否かを含む。また、分割方法は、タイル分割又はスライス分割を行う場合の分割数、及び、分割の種別等を含んでもよい。

【0597】

次に、三次元データ復号装置は、符号化データに含まれる複数の符号化位置情報及び複数の符号化属性情報を、符号化データに含まれる依存関係情報を用いて復号することで分割位置情報及び分割属性情報を生成する（Ｓ５３５２）。

【0598】

付加情報によりスライス分割が行われていることが示される場合（Ｓ５３５３でＹｅｓ）、三次元データ復号装置は、位置スライス付加情報及び属性スライス付加情報に基づき、複数の分割位置情報と、複数の分割属性情報とを結合することで、複数のタイル位置情報及び複数のタイル属性情報を生成する（Ｓ５３５４）。

【0599】

付加情報によりタイル分割が行われていることが示される場合（Ｓ５３５５でＹｅｓ）、三次元データ復号装置は、タイル付加情報に基づき、複数のタイル位置情報及び複数のタイル属性情報（複数の分割位置情報及び複数の分割属性情報）を結合することで位置情報及び属性情報を生成する（Ｓ５３５６）。

【0600】

図８５は、スライス毎に分割された情報の結合（Ｓ５３５４）またはタイル毎に分割された情報の結合（Ｓ５３５６）において、ＱＰ値を取得して、スライスまたはタイルのＱＰ値を復号する処理の一例を示すフローチャートである。

【0601】

スライスまたはタイルの位置情報および属性情報は、それぞれの方法を用いて結合してもよいし、同一の方法で結合してもよい。

【0602】

三次元データ復号装置は、符号化ストリームの付加情報から、基準値および差分情報を復号する（Ｓ５３６１）。

【0603】

次に、三次元データ復号装置は、復号された基準値および差分情報を用いて量子化値を算出し、逆量子化に用いるＱＰ値を、算出されたＱＰ値に更新する（Ｓ５３６２）。これにより、タイル毎またはスライス毎の量子化属性情報を逆量子化するためのＱＰ値を導出することができる。

【0604】

そして、三次元データ復号装置は、復号処理の停止条件が満たされるまで、例えば、復号対象のデータがなくなるまで、復号処理を継続する（Ｓ５３６３）。

【0605】

図８６は、ＧＰＳのシンタックス例を示す図である。図８７は、ＡＰＳのシンタックス例を示す図である。図８８は、位置情報のヘッダのシンタックス例を示す図である。図８９は、属性情報のヘッダのシンタックス例を示す図である。

【0606】

図８６に示すように、例えば、位置情報の付加情報であるＧＰＳは、ＱＰ値の導出の基準となる絶対値を示すＱＰ＿ｖａｌｕｅを含む。ＱＰ ｖａｌｕｅは、例えば、図７８～図８０で例示したＱ_Ｇに相当する。

【0607】

また、図８７に示すように、例えば、属性情報の付加情報であるＡＰＳは、三次元点に複数視点の複数の色情報がある場合、デフォルトの視点を定義し、０番目は必ずデフォルト視点の情報を記載するとしてもよい。例えば、三次元データ符号化装置は、単一の色情報を復号または表示する場合、０番目の属性情報を復号または表示すればよい。

【0608】

ＡＰＳは、ＱＰ＿ｄｅｌｔａ＿Ａｔｔｒｉｂｕｔｅ＿ｔｏ＿Ｇｅｏｍｅｔｒｙを含む。ＱＰ＿ｄｅｌｔａ＿Ａｔｔｒｉｂｕｔｅ＿ｔｏ＿Ｇｅｏｍｅｔｒｙは、ＧＰＳに記載の基準値（ＱＰ＿ｖａｌｕｅ）との差分情報を示す。この差分情報は、例えば、属性情報が色情報である場合、輝度との差分情報である。

【0609】

また、ＧＰＳは、Ｇｅｏｍｅｔｒｙ＿ｈｅａｄｅｒ（位置情報のヘッダ）にＱＰ値を算出するための差分情報があるか否かを示すフラグを含んでいてもよい。また、ＡＰＳは、Ａｔｔｒｉｂｕｔｅ＿ｈｅａｄｅｒ（属性情報のヘッダ）にＱＰ値を算出するための差分情報があるか否かを示すフラグを含んでいてもよい。フラグは、属性情報において、データＱＰを算出するための、データＱＰの、フレームＱＰからの差分情報があるか否かを示していてもよい。

【0610】

このように、符号化ストリームには、属性情報のうちの第１の色が第１輝度および第１色差で示される場合、第１輝度を量子化するための第２量子化パラメータを用いた量子化、および、第１色差を量子化するための第３量子化パラメータを用いた量子化において、第５量子化パラメータおよび第６量子化パラメータを用いて量子化した場合、第５量子化パラメータおよび第６量子化パラメータを用いて量子化したことを示す識別情報（フラグ）が含まれていてもよい。

【0611】

また、図８８に示すように、位置情報のヘッダは、ＧＰＳに記載の基準値（ＱＰ＿ｖａｌｕｅ）との差分情報を示す、ＱＰ＿ｄｅｌｔａ＿ｄａｔａ＿ｔｏ＿ｆｒａｍｅを含んでいてもよい。また、位置情報のヘッダは、タイル毎および／またはスライス毎の情報に分け、タイル毎および／またはスライス毎に、対応するＱＰ値がそれぞれ示されても良い。

【0612】

また、図８９に示すように、属性情報のヘッダは、ＡＰＳに記載のＱＰ値との差分情報を示す、ＱＰ＿ｄｅｌｔａ＿ｄａｔａ＿ｔｏ＿ｆｒａｍｅを含んでいてもよい。

【0613】

図７８～図８０では、ＱＰ値の基準値をＰＣＣフレームにおける位置情報のＱＰ値であるとして説明したが、これに限らずに、その他の値を基準値として用いても良い。

【0614】

図９０は、量子化パラメータの伝送方法の他の例について説明するための図である。

【0615】

図９０の（ａ）および（ｂ）は、ＰＣＣフレームにおける位置情報および属性情報のＱＰ値で共通の基準値Ｑを設定する第４の例を示す。第４の例では、基準値ＱをＧＰＳに格納し、基準値Ｑからの、位置情報のＱＰ値（Ｑ_Ｇ）の差分情報をＧＰＳに格納し、属性情報のＱＰ値（Ｑ_ＹおよびＱ_Ｒ）の差分情報をＡＰＳに格納する。なお、基準値Ｑは、ＳＰＳに格納されてもよい。

【0616】

図９０の（ｃ）および（ｄ）は、位置情報および属性情報毎に独立に基準値を設定する第５の例を示す。第５の例では、ＧＰＳおよびＡＰＳに、位置情報および属性情報の基準のＱＰ値（絶対値）をそれぞれ格納する。つまり、位置情報には、基準値Ｑ_Ｇが設定され、属性情報の色情報には、基準値Ｑ_Ｙが設定され、属性情報の反射率には、基準値Ｑ_Ｒがそれぞれ設定される。このように、位置情報および複数種類の属性情報のそれぞれについて、ＱＰ値の基準値が設定されてもよい。なお、第５の例は、他の例と組み合わせられてもよい。つまり、第１の例におけるＱ_Ａ、第２の例におけるＱ_Ｙ１、Ｑ_Ｙ２、Ｑ_Ｒは、ＱＰ値の基準値であってもよい。

【0617】

図９０の（ｅ）および（ｆ）は、ＰＣＣフレームが複数ある場合、複数のＰＣＣフレームで共通の基準値Ｑを設定する第６の例を示す。第６の例では、基準値ＱをＳＰＳあるいはＧＳＰＳに格納し、それぞれのＰＣＣフレームの位置情報のＱＰ値と基準値との差分情報をＧＰＳに格納する。なお、例えば、ＧＯＦのように、ランダムアクセス単位の範囲内では、例えば、ランダムアクセス単位の先頭フレームを基準値として、ＰＣＣフレーム間の差分情報（例えば、Δ（Ｑ_Ｇ（１），Ｑ_Ｇ（０）））を送出してもよい。

【0618】

なお、タイルまたはスライスがさらに分割される場合であっても、同様の方法でデータヘッダに分割単位のＱＰ値との差分情報を格納して送出する。

【0619】

図９１は、量子化パラメータの伝送方法の他の例について説明するための図である。

【0620】

図９１（ａ）および（ｂ）は、ＰＣＣフレームにおける位置情報および属性情報で共通の基準値Ｑ_Ｇを設定する第７の例を示す。第７の例では、基準値Ｑ_ＧをＧＰＳに格納し、位置情報あるいは属性情報との差分情報をそれぞれのデータヘッダに格納する。基準値Ｑ_ＧはＳＰＳに格納されてもよい。

【0621】

また、図９１の（ｃ）および（ｄ）は、属性情報のＱＰ値を、同一のスライスおよびタイルに属する位置情報のＱＰ値との差分情報で示す第８の例を示す。第８の例では、基準値Ｑ_Ｇは、ＳＰＳに格納されてもよい。

【0622】

図９２は、量子化パラメータの伝送方法の第９の例について説明するための図である。

【0623】

図９２の（ａ）および（ｂ）は、属性情報で共通のＱＰ値を解して、位置情報のＱＰ値との差分情報、属性情報で共通のＱＰ値との差分情報をそれぞれ示す第９の例である。

【0624】

図９３は、ＱＰ値の制御例を説明するための図である。

【0625】

量子化パラメータの値が低いほど品質が向上するが、より多くのビットが必要になるため、符号化効率が低下する。

【0626】

例えば、三次元点群データをタイルに分割して符号化する際、タイルに含まれる点群データが主要道路である場合は、予め定義された属性情報のＱＰ値を用いて符号化される。一方、周囲のタイルは重要な情報でないため、ＱＰ値の差分情報を正の値に設定することによりデータの品質を低下させ、符号化効率を向上できる可能性がある。

【0627】

さらに、タイルに分割された三次元点群データをスライスに分割して符号化する際、歩道、木および建物は、自動運転において位置推定（ローカライズおよびマッピング）するにために重要であるためＱＰ値を負の値に設定し、移動体およびその他は、重要性が低いためＱＰ値を正の値に設定する。

【0628】

図９３（ｂ）は、タイルやスライスに含まれるオブジェクトに基づき、予め量子化デルタ値が設定されている場合の差分情報の導出する例を示している。例えば、分割データが「主要道路」であるタイルに含まれる「建物」のスライスデータである場合、「主要道路」であるタイルの量子化デルタ値０と「建物」であるスライスデータの量子化デルタ値－５を加算し、差分情報は－５と導出される。

【0629】

図９４は、オブジェクトの品質に基づくＱＰ値の決定方法の一例を示すフローチャートである。

【0630】

三次元データ符号化装置は、地図情報に基づいて、点群データを１以上のタイルに分割し、１以上のタイル毎に含まれるオブジェクトを判定する（Ｓ５３７１）。具体的には、三次元データ符号化装置は、例えば、機械学習で得られた学習モデルを用いて、オブジェクトが何であるかを認識する物体認識処理を行う。

【0631】

次に、三次元データ符号化装置は、処理対象のタイルを高い品質で符号化するか否かを判定する（Ｓ５３７２）。高い品質での符号化とは、例えば、所定のレートよりも大きいビットレートで符号化することである。

【0632】

次に、三次元データ符号化装置は、処理対象のタイルを高い品質で符号化する場合（Ｓ５３７２でＹｅｓ）、符号化品質が高くなるようにタイルのＱＰ値を設定する（Ｓ５３７３）。

【0633】

一方で、三次元データ符号化装置は、処理対象のタイルを高い品質で符号化しない場合（Ｓ５３７２でＮｏ）、符号化品質が低くなるようにタイルのＱＰ値を設定する（Ｓ５３７４）。

【0634】

ステップＳ５３７３またはステップＳ５３７４の後で、三次元データ符号化装置は、タイル内のオブジェクトを判定し、１以上のスライスに分割する（Ｓ５３７５）。

【0635】

次に、三次元データ符号化装置は、処理対象のスライスを高い品質で符号化するか否かを判定する（Ｓ５３７６）。

【0636】

次に、三次元データ符号化装置は、処理対象のスライスを高い品質で符号化する場合（Ｓ５３７６でＹｅｓ）、符号化品質が高くなるようにスライスのＱＰ値を設定する（Ｓ５３７７）。

【0637】

一方で、三次元データ符号化装置は、処理対象のスライスを高い品質で符号化しない場合（Ｓ５３７６でＮｏ）、符号化品質が低くなるようにスライスのＱＰ値を設定する（Ｓ５３７８）。

【0638】

次に、三次元データ符号化装置は、設定されたＱＰ値に基づいて、所定の方法で伝送する基準値および差分情報を決定し、決定した基準値および差分情報を付加情報およびデータのヘッダの少なくとも一方に格納する（Ｓ５３７９）。

【0639】

次に、三次元データ符号化装置は、決定したＱＰ値に基づき、位置情報および属性情報を量子化し、符号化する（Ｓ５３８０）。

【0640】

図９５は、レート制御に基づくＱＰ値の決定方法の一例を示すフローチャートである。

【0641】

三次元データ符号化装置は、点群データを順番に符号化する（Ｓ５３８１）。

【0642】

次に、三次元データ符号化装置は、符号化データの符号量および符号化バッファの占有量から、符号化処理に係るレート制御状況を判定し、次回の符号化の品質を決定する（Ｓ５３８２）。

【0643】

次に、三次元データ符号化装置は、符号化品質を上げるか否かを判定する（Ｓ５３８３）。

【0644】

次に、三次元データ符号化装置は、符号化品質を上げる場合（Ｓ５３８３でＹｅｓ）、符号化品質が高くなるようにタイルのＱＰ値を設定する（Ｓ５３８４）。

【0645】

一方で、三次元データ符号化装置は、符号化品質を上げない場合（Ｓ５３８３でＮｏ）、符号化品質が低くなるようにタイルのＱＰ値を設定する（Ｓ５３８５）。

【0646】

次に、三次元データ符号化装置は、設定されたＱＰ値に基づいて、所定の方法で伝送する基準値および差分情報を決定し、決定した基準値および差分情報を付加情報およびデータのヘッダの少なくとも一方に格納する（Ｓ５３８６）。

【0647】

次に、三次元データ符号化装置は、決定したＱＰ値に基づき、位置情報および属性情報を量子化し、符号化する（Ｓ５３８７）。

【0648】

以上のように、本実施の形態に係る三次元データ符号化装置は、図９６に示す処理を行う。まず、三次元データ符号化装置は、第１量子化パラメータを用いて複数の三次元点それぞれの位置情報を量子化する（Ｓ５３９１）。三次元データ符号化装置は、前記複数の三次元点それぞれの属性情報のうちの第１の色を示す第１輝度および第１色差について、第２量子化パラメータを用いて前記第１輝度を量子化し、かつ、第３量子化パラメータを用いて前記第１色差を量子化する（Ｓ５３９２）。三次元データ符号化装置は、量子化された前記位置情報、量子化された前記第１輝度、量子化された前記第１色差、前記第１量子化パラメータ、前記第２量子化パラメータ、および、前記第２量子化パラメータと前記第３量子化パラメータとの第１差分を含むビットストリームを生成する（Ｓ５３９３）。

【0649】

これによれば、ビットストリームにおいて、第３量子化パラメータを第２量子化パラメータからの第１差分で示すため、符号化効率を向上できる。

【0650】

例えば、三次元データ符号化装置は、さらに、第４量子化パラメータを用いて前記複数の三次元点それぞれの前記属性情報のうちの反射率を量子化する。また、前記生成では、量子化された前記反射率、および、前記第４量子化パラメータをさらに含むビットストリームを生成する。

【0651】

例えば、前記第２量子化パラメータを用いた量子化では、前記複数の三次元点が含まれる対象空間を分割した複数のサブ空間毎に当該サブ空間に含まれる１以上の三次元点の前記第１輝度を量子化する場合、第５量子化パラメータをさらに用いて前記サブ空間に含まれる１以上の三次元点の前記第１輝度を量子化する。前記第３量子化パラメータを用いた量子化では、前記１以上の三次元点の前記第１色差を量子化する場合、第６量子化パラメータをさらに用いて前記１以上の三次元点の前記第１色差を量子化する。前記生成では、前記第２量子化パラメータと前記第５量子化パラメータとの第２差分、および、前記第３量子化パラメータと前記第６量子化パラメータとの第３差分をさらに含むビットストリームを生成する。

【0652】

これによれば、ビットストリームにおいて、第５量子化パラメータを第２量子化パラメータからの第２差分で示し、かつ、第６量子化パラメータを第３量子化パラメータからの第３差分で示すため、符号化効率を向上できる。

【0653】

例えば、前記生成では、前記第２量子化パラメータを用いた量子化、および、前記第３量子化パラメータを用いた量子化において、前記第５量子化パラメータおよび前記第６量子化パラメータを用いて量子化した場合、前記第５量子化パラメータおよび前記第６量子化パラメータを用いて量子化したことを示す識別情報をさらに含むビットストリームを生成する。

【0654】

これによれば、ビットストリームを取得した三次元データ復号装置は、識別情報を用いて第５量子化パラメータおよび第６量子化パラメータを用いて量子化したこと判定できるため、復号処理の処理負荷を低減することができる。

【0655】

例えば、三次元データ符号化装置は、さらに、前記複数の三次元点それぞれの属性情報のうちの第２の色を示す第２輝度および第２色差について、第７量子化パラメータを用いて前記第２輝度を量子化し、かつ、第８量子化パラメータを用いて前記第２色差を量子化する。前記生成では、さらに、量子化された前記第２輝度、量子化された前記第２色差、前記第７量子化パラメータ、および、前記第７量子化パラメータと前記第８量子化パラメータとの第４差分をさらに含むビットストリームを生成する。

【0656】

これによれば、ビットストリームにおいて、第８量子化パラメータを第７量子化パラメータからの第４差分で示すため、符号化効率を向上できる。また、三次元点の属性情報に２種類の色情報を含めることができる。

【0657】

例えば、三次元データ符号化装置は、プロセッサと、メモリとを備え、プロセッサは、メモリを用いて、上記の処理を行う。

【0658】

また、本実施の形態に係る三次元データ復号装置は、図９７に示す処理を行う。まず三次元データ復号装置は、ビットストリームを取得することで量子化された位置情報、量子化された第１輝度、量子化された第１色差、第１量子化パラメータ、第２量子化パラメータ、および、前記第２量子化パラメータと第３量子化パラメータとの第１差分を取得する（Ｓ５３９４）。三次元データ復号装置は、前記第１量子化パラメータを用いて前記量子化された位置情報を逆量子化することで、複数の三次元点の位置情報を算出する（Ｓ５３９５）。三次元データ復号装置は、前記第２量子化パラメータを用いて前記量子化された第１輝度を逆量子化することで、前記複数の三次元点の第１色を示す第１輝度および第１色差のうちの前記第１輝度を算出する（Ｓ５３９６）。三次元データ復号装置は、前記第２量子化パラメータおよび前記第１差分から得られる前記第３量子化パラメータを用いて前記量子化された第１色差を逆量子化することで、前記第１色差を算出する（Ｓ５３９７）。

【0659】

このため、三次元データ復号装置は、三次元点の位置情報および属性情報を正しく復号できる。

【0660】

例えば、前記取得では、前記ビットストリームを取得することでさらに量子化された反射率、および、第４量子化パラメータを取得する。三次元データ復号装置は、さらに、前記第４量子化パラメータを用いて前記量子化された反射率を逆量子化することで、前記複数の三次元点の反射率を算出する。

【0661】

このため、三次元データ復号装置は、三次元点の反射率を正しく復号できる。

【0662】

例えば、前記取得では、前記ビットストリームを取得することでさらに、前記第２量子化パラメータと第５量子化パラメータとの第２差分、および、前記第３量子化パラメータと第６量子化パラメータとの第３差分を取得する。前記第１輝度の算出では、前記量子化された第１輝度が、前記複数の三次元点が含まれる対象空間を分割した複数のサブ空間毎に当該サブ空間に含まれる１以上の三次元点の第１輝度が量子化された輝度である場合、前記第２量子化パラメータおよび前記第２差分から得られる前記第５量子化パラメータを用いて前記量子化された第１輝度を逆量子化することで、前記１以上の三次元点の前記第１輝度を算出する。前記第１色差の算出では、前記量子化された第１色差が、前記１以上の三次元点の第１色差が量子化された色差である場合、前記第３量子化パラメータおよび前記第３差分から得られる前記第６量子化パラメータを用いて前記量子化された第１色差を逆量子化することで、前記１以上の三次元点の前記第１色差を算出する。

【0663】

例えば、前記取得では、前記ビットストリームを取得することでさらに、前記第５量子化パラメータおよび前記第６量子化パラメータを用いて量子化したことを示す識別情報を取得する。前記第１輝度の算出では、前記識別情報が前記第５量子化パラメータおよび前記第６量子化パラメータを用いて量子化したことを示す場合、前記量子化された第１輝度が、前記１以上の三次元点の前記第１輝度が量子化された輝度であると判定する。前記第１色差の算出では、前記識別情報が前記第５量子化パラメータおよび前記第６量子化パラメータを用いて量子化したことを示す場合、前記量子化された第１色差が、前記１以上の三次元点の前記第１色差が量子化された色差であると判定する。

【0664】

これによれば、三次元データ復号装置は、識別情報を用いて第５量子化パラメータおよび第６量子化パラメータを用いて量子化したこと判定できるため、復号処理の処理負荷を低減することができる。

【0665】

例えば、前記取得では、前記ビットストリームを取得することでさらに、量子化された第２輝度、量子化された第２色差、第７量子化パラメータ、および、前記第７量子化パラメータと第８量子化パラメータとの第４差分を取得する。三次元データ復号装置は、さらに、前記第７量子化パラメータを用いて前記量子化された第２輝度を逆量子化することで、前記複数の三次元点の第２色を示す第２輝度および第２色差のうちの前記第２輝度を算出する。また、三次元データ復号装置は、さらに、前記第７量子化パラメータおよび前記第４差分から得られる前記第８量子化パラメータを用いて前記量子化された第２色差を逆量子化することで、前記第２色差を算出する。

【0666】

このため、三次元データ復号装置は、三次元点の第２の色を正しく復号できる。

【0667】

例えば、三次元データ復号装置は、プロセッサと、メモリとを備え、プロセッサは、メモリを用いて、上記の処理を行う。

【0668】

以上、本開示の実施の形態に係る三次元データ符号化装置及び三次元データ復号装置等について説明したが、本開示は、この実施の形態に限定されるものではない。

【0669】

また、上記実施の形態に係る三次元データ符号化装置及び三次元データ復号装置等に含まれる各処理部は典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。

【0670】

また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

【0671】

また、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。

【0672】

また、本開示は、三次元データ符号化装置及び三次元データ復号装置等により実行される三次元データ符号化方法又は三次元データ復号方法等として実現されてもよい。

【0673】

また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを一つの機能ブロックとして実現したり、一つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。

【0674】

また、フローチャートにおける各ステップが実行される順序は、本開示を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時（並列）に実行されてもよい。

【0675】

以上、一つまたは複数の態様に係る三次元データ符号化装置及び三次元データ復号装置等について、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つまたは複数の態様の範囲内に含まれてもよい。

【産業上の利用可能性】

【0676】

本開示は、三次元データ符号化装置及び三次元データ復号装置に適用できる。

【符号の説明】

【0677】

４６０１ 三次元データ符号化システム
４６０２ 三次元データ復号システム
４６０３ センサ端末
４６０４ 外部接続部
４６１１ 点群データ生成システム
４６１２ 提示部
４６１３ 符号化部
４６１４ 多重化部
４６１５ 入出力部
４６１６ 制御部
４６１７ センサ情報取得部
４６１８ 点群データ生成部
４６２１ センサ情報取得部
４６２２ 入出力部
４６２３ 逆多重化部
４６２４ 復号部
４６２５ 提示部
４６２６ ユーザインタフェース
４６２７ 制御部
４６３０ 第１の符号化部
４６３１ 位置情報符号化部
４６３２ 属性情報符号化部
４６３３ 付加情報符号化部
４６３４ 多重化部
４６４０ 第１の復号部
４６４１ 逆多重化部
４６４２ 位置情報復号部
４６４３ 属性情報復号部
４６４４ 付加情報復号部
４６５０ 第２の符号化部
４６５１ 付加情報生成部
４６５２ 位置画像生成部
４６５３ 属性画像生成部
４６５４ 映像符号化部
４６５５ 付加情報符号化部
４６５６ 多重化部
４６６０ 第２の復号部
４６６１ 逆多重化部
４６６２ 映像復号部
４６６３ 付加情報復号部
４６６４ 位置情報生成部
４６６５ 属性情報生成部
４６７０ 符号化部
４６７１ 多重化部
４６８０ 復号部
４６８１ 逆多重化部
４７１０ 第１の多重化部
４７１１ ファイル変換部
４７２０ 第１の逆多重化部
４７２１ ファイル逆変換部
４７３０ 第２の多重化部
４７３１ ファイル変換部
４７４０ 第２の逆多重化部
４７４１ ファイル逆変換部
４７５０ 第３の多重化部
４７５１ ファイル変換部
４７６０ 第３の逆多重化部
４７６１ ファイル逆変換部
４８０１ 符号化部
４８０２ 多重化部
４９１１ 分割部
４９３１ スライス分割部
４９３２ 位置情報タイル分割部
４９３３ 属性情報タイル分割部
５２００ 第１の符号化部
５２０１ 分割部
５２０２ 位置情報符号化部
５２０３ 属性情報符号化部
５２０４ 付加情報符号化部
５２０５ 多重化部
５２１１ タイル分割部
５２１２ スライス分割部
５２２１、５２３１、５２５１、５２６１ ＣＡＢＡＣ初期化部
５２２２、５２３２ エントロピ符号化部
５２４０ 第１の復号部
５２４１ 逆多重化部
５２４２ 位置情報復号部
５２４３ 属性情報復号部
５２４４ 付加情報復号部
５２４５ 結合部
５２５２、５２６２ エントロピ復号部
５３００ 第１の符号化部
５３０１ 分割部
５３０２ 位置情報符号化部
５３０３ 属性情報符号化部
５３０４ 付加情報符号化部
５３０５ 多重化部
５３１１ タイル分割部
５３１２ スライス分割部
５３２１、５３３１、５３５１、５３６１ 量子化値算出部
５３２２、５３３２ エントロピ符号化部
５３２３ 量子化部
５３３３ 逆量子化部
５３４０ 第１の復号部
５３４１ 逆多重化部
５３４２ 位置情報復号部
５３４３ 属性情報復号部
５３４４ 付加情報復号部
５３４５ 結合部
５３５２、５３６２ エントロピ復号部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29】

【図30】

【図31】

【図32】

【図33】

【図34】

【図35】

【図36】

【図37】

【図38】

【図39】

【図40】

【図41】

【図42】

【図43】

【図44】

【図45】

【図46】

【図47】

【図48】

【図49】

【図50】

【図51】

【図52】

【図53】

【図54】

【図55】

【図56】

【図57】

【図58】

【図59】

【図60】

【図61】

【図62】

【図63】

【図64】

【図65】

【図66】

【図67】

【図68】

【図69】

【図70】

【図71】

【図72】

【図73】

【図74】

【図75】

【図76】

【図77】

【図78】

【図79】

【図80】

【図81】

【図82】

【図83】

【図84】

【図85】

【図86】

【図87】

【図88】

【図89】

【図90】

【図91】

【図92】

【図93】

【図94】

【図95】

【図96】

【図97】