▶ パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカの特許一覧
特許7560451三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-24
(45)【発行日】2024-10-02
(54)【発明の名称】三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
(51)【国際特許分類】
G06T 9/00 20060101AFI20240925BHJP
【ＦＩ】
G06T9/00
【請求項の数】
14
(21)【出願番号】P 2021519407
(86)(22)【出願日】2020-05-08
(86)【国際出願番号】 JP2020018633
(87)【国際公開番号】W WO2020230710
(87)【国際公開日】2020-11-19
【審査請求日】2023-04-25
(31)【優先権主張番号】62/846,047
(32)【優先日】2019-05-10
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】514136668
【氏名又は名称】パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ
【氏名又は名称原語表記】Ｐａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ
(74)【代理人】
【識別番号】100109210
【弁理士】
【氏名又は名称】新居 広守
(74)【代理人】
【識別番号】100137235
【弁理士】
【氏名又は名称】寺谷 英作
(74)【代理人】
【識別番号】100131417
【弁理士】
【氏名又は名称】道坂 伸一
(72)【発明者】
【氏名】井口 賀敬
(72)【発明者】
【氏名】杉尾 敏康
【審査官】佐田 宏史
(56)【参考文献】
【文献】国際公開第２０１９／０７８２９２（ＷＯ，Ａ１）
【文献】国際公開第２０１７／１０４１１５（ＷＯ，Ａ１）
【文献】特開２０１６－１８９１８４（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ９／００－９／４０，１９／００
Ｈ０４Ｎ １３／１６１，１３／１９４，１９／９６，２１／８５４
Ｈ０３Ｍ ７／３０
(57)【特許請求の範囲】
【請求項1】
符号化装置により実行される符号化方法であって、
複数の第１三次元点で構成される第１点群データを符号化することで符号化データを生成し、
前記符号化データを含むビットストリームを生成し、
前記符号化データは、前記複数の第１三次元点の点データそれぞれに付与されたセンサ識別情報を含み、
前記センサ識別情報は、前記第１点群データに含まれる前記複数の第１三次元点の点データが１以上の第２点群データにどのように分割されるかを示す
三次元データ符号化方法。
【請求項2】
前記第１点群データは複数のセンサで取得され、
前記センサ識別情報は、前記複数のセンサのうち、前記１以上の第２点群データのそれぞれに対応するセンサを示す情報である
請求項１記載の三次元データ符号化方法。
【請求項3】
前記１以上の第２点群データのそれぞれは、同じセンサ識別情報が付与された複数の第２三次元点で構成され、前記複数の第２三次元点は、前記複数の第１三次元点に含まれる
請求項１記載の三次元データ符号化方法。
【請求項4】
前記符号化データは、前記複数の第１三次元点の各々の位置情報と１以上の属性情報とを含み、前記センサ識別情報は、前記１以上の属性情報の１つとして前記符号化データに含まれる
請求項２記載の三次元データ符号化方法。
【請求項5】
前記ビットストリームは、制御情報をさらに含み、前記制御情報は、前記１以上の属性情報のそれぞれの種別を識別する属性識別情報を含み、
前記種別は、前記センサ識別情報を含む
請求項４記載の三次元データ符号化方法。
【請求項6】
前記符号化データは、前記複数の第１三次元点の各々の位置情報と１以上の属性情報とを含み、前記１以上の属性情報のうち１つは、前記センサ識別情報を含む
請求項１記載の三次元データ符号化方法。
【請求項7】
復号装置により実行される復号方法であって、
ビットストリームから、センサ識別情報を含む符号化データを取得し、
前記符号化データを復号することで、前記センサ識別情報及び複数の第１三次元点で構成される第１点群データを取得し、
前記センサ識別情報は、前記第１点群データに含まれる前記複数の第１三次元点の点データが１以上の第２点群データにどのように分割されるかを示す
三次元データ復号方法。
【請求項8】
前記第１点群データは複数のセンサで取得され、
前記センサ識別情報は、前記複数のセンサのうち、前記１以上の第２点群データのそれぞれに対応するセンサを示す情報である
請求項７記載の三次元データ復号方法。
【請求項9】
前記１以上の第２点群データのそれぞれは、同じセンサ識別情報が付与された複数の第２三次元点で構成され、前記複数の第２三次元点は、前記複数の第１三次元点に含まれる
請求項７記載の三次元データ復号方法。
【請求項10】
前記符号化データは、前記複数の第１三次元点の各々の位置情報と１以上の属性情報とを含み、前記センサ識別情報は、前記１以上の属性情報の１つとして前記符号化データに含まれる
請求項７記載の三次元データ復号方法。
【請求項11】
前記ビットストリームは、制御情報をさらに含み、前記制御情報は、前記１以上の属性情報のそれぞれの種別を識別する属性識別情報を含み、
前記種別は、前記センサ識別情報を含む
請求項１０記載の三次元データ復号方法。
【請求項12】
前記符号化データは、前記複数の第１三次元点の各々の位置情報と１以上の属性情報とを含み、前記１以上の属性情報のうち１つは、前記センサ識別情報を含む
請求項７記載の三次元データ復号方法。
【請求項13】
プロセッサと、メモリとを備え、
前記プロセッサは、前記メモリを用いて、
複数の第１三次元点で構成される第１点群データを符号化することで符号化データを生成し、
前記符号化データを含むビットストリームを生成し、
前記符号化データは、前記複数の第１三次元点の点データそれぞれに付与されたセンサ識別情報を含み、
前記センサ識別情報は、前記第１点群データに含まれる前記複数の第１三次元点の点データが１以上の第２点群データにどのように分割されるかを示す
三次元データ符号化装置。
【請求項14】
プロセッサと、メモリとを備え、
前記プロセッサは、前記メモリを用いて、
ビットストリームから、センサ識別情報を含む符号化データを取得し、
前記符号化データを復号することで、前記センサ識別情報及び複数の第１三次元点で構成される第１点群データを取得し、
前記センサ識別情報は、前記第１点群データに含まれる前記複数の第１三次元点の点データが１以上の第２点群データにどのように分割されるかを示す
三次元データ復号装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置に関する。
【背景技術】
【0002】
自動車或いはロボットが自律的に動作するためのコンピュータビジョン、マップ情報、監視、インフラ点検、又は、映像配信など、幅広い分野において、今後、三次元データを活用した装置又はサービスの普及が見込まれる。三次元データは、レンジファインダなどの距離センサ、ステレオカメラ、又は複数の単眼カメラの組み合わせなど様々な方法で取得される。
【0003】
三次元データの表現方法の１つとして、三次元空間内の点群によって三次元構造の形状を表すポイントクラウドと呼ばれる表現方法がある。ポイントクラウドでは、点群の位置と色とが格納される。ポイントクラウドは三次元データの表現方法として主流になると予想されるが、点群はデータ量が非常に大きい。よって、三次元データの蓄積又は伝送においては二次元の動画像（一例として、ＭＰＥＧで規格化されたＭＰＥＧ－４ ＡＶＣ又はＨＥＶＣなどがある）と同様に、符号化によるデータ量の圧縮が必須となる。
【0004】
また、ポイントクラウドの圧縮については、ポイントクラウド関連の処理を行う公開のライブラリ（Ｐｏｉｎｔ Ｃｌｏｕｄ Ｌｉｂｒａｒｙ）などによって一部サポートされている。
【0005】
また、三次元の地図データを用いて、車両周辺に位置する施設を検索し、表示する技術が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【0006】
【文献】国際公開第２０１４／０２０６６３号
【発明の概要】
【発明が解決しようとする課題】
【0007】
このような点群（ポイントクラウド）データに対して、点群データを受信する三次元データ復号装置において、用途に応じて適切に点群データを抽出できることが望まれる。
【0008】
本開示は、適切に点群データを抽出できるビットストリームを生成できる三次元データ符号化方法或いは三次元データ符号化装置、又は、当該ビットストリームを復号する三次元データ復号方法或いは三次元データ復号装置を提供することを目的とする。
【課題を解決するための手段】
【0009】
本開示の一態様に係る三次元データ符号化方法は、複数の第１三次元点で構成される第１点群データを符号化することで符号化データを生成し、前記符号化データを含むビットストリームを生成し、前記符号化データは、前記複数の第１三次元点の点データそれぞれに付与されたセンサ識別情報を含み、前記センサ識別情報は、前記第１点群データに含まれる前記複数の第１三次元点の点データが１以上の第２点群データにどのように分割されるかを示す。
【0010】
本開示の一態様に係る三次元データ復号方法は、ビットストリームから、センサ識別情報を含む符号化データを取得し、前記符号化データを復号することで、前記センサ識別情報及び複数の第１三次元点で構成される第１点群データを取得し、前記センサ識別情報は、前記第１点群データに含まれる前記複数の第１三次元点の点データが１以上の第２点群データにどのように分割されるかを示す。
【発明の効果】
【0011】
本開示は、適切に点群データを抽出できるビットストリームを生成できる三次元データ符号化方法或いは三次元データ符号化装置、又は、当該ビットストリームを復号する三次元データ復号方法或いは三次元データ復号装置を提供できる。
【図面の簡単な説明】
【0012】
【発明を実施するための形態】
【0013】
本開示の一態様に係る三次元データ符号化方法は、点群データを符号化することで符号化データを生成し、前記符号化データを含むビットストリームを生成し、前記ビットストリームは、前記点群データに対応するセンサを示す第１情報を含む。
【0014】
これによれば、三次元データ復号装置は、第１情報に用いて所望のセンサで得られた点群データを抽出できる。よって、当該三次元データ符号化方法は、適切に点群データを抽出できるビットストリームを生成できる。
【0015】
例えば、前記第１情報は、点群データに含まれる複数の三次元点毎に生成され、対応する三次元点に対応するセンサを示す第２情報を含んでもよい。
【0016】
例えば、前記点群データは、前記複数の三次元点の各々の位置情報と１以上の属性情報とを含み、前記第２情報は、前記１以上の属性情報の１つとして前記符号化データに含まれてもよい。
【0017】
例えば、前記ビットストリームは、前記複数の三次元点に共通の第３情報を含み、前記第２情報は、センサの識別子であり、前記第３情報は、前記センサの識別と前記センサとの対応関係を示す第４情報を含んでもよい。
【0018】
例えば、前記ビットストリームは、前記複数の三次元点に共通の第３情報を含み、前記第３情報は、前記センサ毎の三次元点の数を示してもよい。
【0019】
例えば、前記点群データは、前記複数の三次元点の各々の位置情報と１以上の属性情報とを含み、前記第１情報は、前記１以上の属性情報の各々に対応するセンサを示してもよい。
【0020】
例えば、前記三次元データ符号化方法は、さらに、第１センサに基づく第１点群データと、第２センサに基づく第２点群データとを合成することで、前記点群データを生成し、前記合成では、前記第１点群データと前記第２点群データとに同一の位置情報を有する第１の点の属性情報が含まれる場合、前記第１点群データに含まれる前記第１の点の属性情報と前記第２点群データに含まれる前記第１の点の属性情報とに基づく属性情報を合成後の属性情報として生成し、前記第１の情報は、前記点群データに含まれる前記第１の点の情報が前記第１センサ及び前記第２センサに基づくことを示してもよい。
【0021】
例えば、前記点群データの符号化では、前記点群データを第１センサに基づく第１点群データと、前記第２センサに基づく第２点群データとに分割し、前記第１点群データ及び前記第２点群データを符号化することで前記符号化データを生成し、前記ビットストリームは、前記第１点群データ用の第１制御情報と、前記第２点群データ用の第２制御情報とを含み、前記第１情報は、（１）前記第１制御情報に含まれ、前記第１点群データに対応するセンサを示す情報と、（２）前記第２制御情報に含まれ、前記第２点群データに対応するセンサを示す情報と、を含んでもよい。
【0022】
例えば、前記点群データの符号化では、前記点群データを第１センサに基づく第１点群データと、前記第２センサに基づく第２点群データとに分割し、前記第１点群データ及び前記第２点群データを符号化することで前記符号化データを生成し、前記ビットストリームは、前記第１点群データと前記第２点群データとに共通の制御情報を含み、前記第１情報は、前記制御情報に含まれてもよい。
【0023】
本開示の一態様に係る三次元データ復号方法は、点群データが符号化されることで生成された符号化データを含み、かつ前記点群データに対応するセンサを示す第１情報を含むビットストリームを復号することで、前記第１情報及び前記点群データを取得する。
【0024】
これによれば、当該三次元データ復号方法は、適切に点群データを抽出できるビットストリームを復号することで点群データを取得できる。
【0025】
例えば、前記第１情報は、点群データに含まれる複数の三次元点毎に生成され、対応する三次元点に対応するセンサを示す第２情報を含んでもよい。
【0026】
例えば、前記点群データは、前記複数の三次元点の各々の位置情報と１以上の属性情報とを含み、前記第２情報は、前記１以上の属性情報の１つとして前記符号化データに含まれてもよい。
【0027】
例えば、前記ビットストリームは、前記複数の三次元点に共通の第３情報を含み、前記第２情報は、センサの識別子であり、前記第３情報は、前記センサの識別と前記センサとの対応関係を示す第４情報を含んでもよい。
【0028】
例えば、前記ビットストリームは、前記複数の三次元点に共通の第３情報を含み、前記第３情報は、前記センサ毎の三次元点の数を示してもよい。
【0029】
例えば、前記点群データは、前記複数の三次元点の各々の位置情報と１以上の属性情報とを含み、前記第１情報は、前記１以上の属性情報の各々に対応するセンサを示してもよい。
【0030】
例えば、前記点群データは、第１センサに基づく第１点群データと、第２センサに基づく第２点群データとを合成することで生成され、前記合成では、前記第１点群データと前記第２点群データとに同一の位置情報を有する第１の点の属性情報が含まれる場合、前記第１点群データに含まれる前記第１の点の属性情報と前記第２点群データに含まれる前記第１の点の属性情報とに基づく属性情報が合成後の属性情報として生成され、前記第１の情報は、前記点群データに含まれる前記第１の点の情報が前記第１センサ及び前記第２センサに基づくことを示してもよい。
【0031】
例えば、前記符号化データは、前記点群データが第１センサに基づく第１点群データと、前記第２センサに基づく第２点群データとに分割され、前記第１点群データ及び前記第２点群データが符号化されることで生成され、前記ビットストリームは、前記第１点群データ用の第１制御情報と、前記第２点群データ用の第２制御情報とを含み、前記第１情報は、（１）前記第１制御情報に含まれ、前記第１点群データに対応するセンサを示す情報と、（２）前記第２制御情報に含まれ、前記第２点群データに対応するセンサを示す情報と、を含んでもよい。
【0032】
例えば、前記符号化データは、前記点群データが第１センサに基づく第１点群データと、前記第２センサに基づく第２点群データとに分割され、前記第１点群データ及び前記第２点群データが符号化されることで生成され、前記ビットストリームは、前記第１点群データと前記第２点群データとに共通の制御情報を含み、前記第１情報は、前記制御情報に含まれてもよい。
【0033】
また、本開示の一態様に係る三次元データ符号化装置は、プロセッサと、メモリとを備え、前記プロセッサは、前記メモリを用いて、点群データを符号化することで符号化データを生成し、前記符号化データを含むビットストリームを生成し、前記ビットストリームは、前記点群データに対応するセンサを示す第１情報を含む。
【0034】
これによれば、三次元データ復号装置は、第１情報に用いて所望のセンサで得られた点群データを抽出できる。よって、当該三次元データ符号化装置は、適切に点群データを抽出できるビットストリームを生成できる。
【0035】
また、本開示の一態様に係る三次元データ復号装置は、プロセッサと、メモリとを備え、前記プロセッサは、前記メモリを用いて、点群データが符号化されることで生成された符号化データを含み、かつ前記点群データに対応するセンサを示す第１情報を含むビットストリームを復号することで、前記第１情報及び前記点群データを取得する。
【0036】
これによれば、当該三次元データ復号装置は、適切に点群データを抽出できるビットストリームを復号することで点群データを取得できる。
【0037】
なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
【0038】
以下、実施の形態について、図面を参照しながら具体的に説明する。なお、以下で説明する実施の形態は、いずれも本開示の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
【0039】
（実施の形態１）
まず、本実施の形態に係る三次元データ（点群データ）符号化復号システムの構成を説明する。図１は、本実施の形態に係る三次元データ符号化復号システムの構成例を示す図である。図１に示すように、三次元データ符号化復号システムは、三次元データ符号化システム４６０１と、三次元データ復号システム４６０２と、センサ端末４６０３と、外部接続部４６０４とを含む。
まず、本実施の形態に係る三次元データ（点群データ）符号化復号システムの構成を説明する。図１は、本実施の形態に係る三次元データ符号化復号システムの構成例を示す図である。図１に示すように、三次元データ符号化復号システムは、三次元データ符号化システム４６０１と、三次元データ復号システム４６０２と、センサ端末４６０３と、外部接続部４６０４とを含む。
【0040】
三次元データ符号化システム４６０１は、三次元データである点群データを符号化することで符号化データ又は多重化データを生成する。なお、三次元データ符号化システム４６０１は、単一の装置により実現される三次元データ符号化装置であってもよいし、複数の装置により実現されるシステムであってもよい。また、三次元データ符号化装置は、三次元データ符号化システム４６０１に含まれる複数の処理部のうち一部を含んでもよい。
【0041】
三次元データ符号化システム４６０１は、点群データ生成システム４６１１と、提示部４６１２と、符号化部４６１３と、多重化部４６１４と、入出力部４６１５と、制御部４６１６とを含む。点群データ生成システム４６１１は、センサ情報取得部４６１７と、点群データ生成部４６１８とを含む。
【0042】
センサ情報取得部４６１７は、センサ端末４６０３からセンサ情報を取得し、センサ情報を点群データ生成部４６１８に出力する。点群データ生成部４６１８は、センサ情報から点群データを生成し、点群データを符号化部４６１３へ出力する。
【0043】
提示部４６１２は、センサ情報又は点群データをユーザに提示する。例えば、提示部４６１２は、センサ情報又は点群データに基づく情報又は画像を表示する。
【0044】
符号化部４６１３は、点群データを符号化（圧縮）し、得られた符号化データと、符号化過程において得られた制御情報と、その他の付加情報とを多重化部４６１４へ出力する。付加情報は、例えば、センサ情報を含む。
【0045】
多重化部４６１４は、符号化部４６１３から入力された符号化データと、制御情報と、付加情報とを多重することで多重化データを生成する。多重化データのフォーマットは、例えば蓄積のためのファイルフォーマット、又は伝送のためのパケットフォーマットである。
【0046】
入出力部４６１５（例えば、通信部又はインタフェース）は、多重化データを外部へ出力する。または、多重化データは、内部メモリ等の蓄積部に蓄積される。制御部４６１６（またはアプリ実行部）は、各処理部を制御する。つまり、制御部４６１６は、符号化及び多重化等の制御を行う。
【0047】
なお、センサ情報が符号化部４６１３又は多重化部４６１４へ入力されてもよい。また、入出力部４６１５は、点群データ又は符号化データをそのまま外部へ出力してもよい。
【0048】
三次元データ符号化システム４６０１から出力された伝送信号（多重化データ）は、外部接続部４６０４を介して、三次元データ復号システム４６０２に入力される。
【0049】
三次元データ復号システム４６０２は、符号化データ又は多重化データを復号することで三次元データである点群データを生成する。なお、三次元データ復号システム４６０２は、単一の装置により実現される三次元データ復号装置であってもよいし、複数の装置により実現されるシステムであってもよい。また、三次元データ復号装置は、三次元データ復号システム４６０２に含まれる複数の処理部のうち一部を含んでもよい。
【0050】
三次元データ復号システム４６０２は、センサ情報取得部４６２１と、入出力部４６２２と、逆多重化部４６２３と、復号部４６２４と、提示部４６２５と、ユーザインタフェース４６２６と、制御部４６２７とを含む。
【0051】
センサ情報取得部４６２１は、センサ端末４６０３からセンサ情報を取得する。
【0052】
入出力部４６２２は、伝送信号を取得し、伝送信号から多重化データ（ファイルフォーマット又はパケット）を復号し、多重化データを逆多重化部４６２３へ出力する。
【0053】
逆多重化部４６２３は、多重化データから符号化データ、制御情報及び付加情報を取得し、符号化データ、制御情報及び付加情報を復号部４６２４へ出力する。
【0054】
復号部４６２４は、符号化データを復号することで点群データを再構成する。
【0055】
提示部４６２５は、点群データをユーザに提示する。例えば、提示部４６２５は、点群データに基づく情報又は画像を表示する。ユーザインタフェース４６２６は、ユーザの操作に基づく指示を取得する。制御部４６２７（またはアプリ実行部）は、各処理部を制御する。つまり、制御部４６２７は、逆多重化、復号及び提示等の制御を行う。
【0056】
なお、入出力部４６２２は、点群データ又は符号化データをそのまま外部から取得してもよい。また、提示部４６２５は、センサ情報などの付加情報を取得し、付加情報に基づいた情報を提示してもよい。また、提示部４６２５は、ユーザインタフェース４６２６で取得されたユーザの指示に基づき、提示を行ってもよい。
【0057】
センサ端末４６０３は、センサで得られた情報であるセンサ情報を生成する。センサ端末４６０３は、センサ又はカメラを搭載した端末であり、例えば、自動車などの移動体、飛行機などの飛行物体、携帯端末、又はカメラなどがある。
【0058】
センサ端末４６０３で取得可能なセンサ情報は、例えば、（１）ＬＩＤＡＲ、ミリ波レーダ、又は赤外線センサから得られる、センサ端末４６０３と対象物との距離（位置情報）、色、又は対象物の反射率、（２）複数の単眼カメラ画像又はステレオカメラ画像から得られるカメラと対象物との距離（位置情報）、色又は対象物の反射率等である。また、センサ情報は、センサの姿勢、向き、ジャイロ（角速度）、位置（ＧＰＳ情報又は高度）、速度、加速度、又はセンサ情報の取得時刻等を含んでもよい。また、センサ情報は、気温、気圧、湿度、又は磁気等を含んでもよい。
【0059】
外部接続部４６０４は、集積回路（ＬＳＩ又はＩＣ）、外部蓄積部、インターネットを介したクラウドサーバとの通信、又は、放送等により実現される。
【0060】
【0061】
点群データは、複数の点のデータを含む。各点のデータは、位置情報（三次元座標）、及びその位置情報に対する属性情報とを含む。この点が複数集まったものを点群と呼ぶ。例えば、点群は対象物（オブジェクト）の三次元形状を示す。
【0062】
三次元座標等の位置情報（Ｐｏｓｉｔｉｏｎ）をジオメトリ（ｇｅｏｍｅｔｒｙ）と呼ぶこともある。また、各点のデータは、複数の属性種別の属性情報（ａｔｔｒｉｂｕｔｅ）を含んでもよい。属性種別は、例えば色又は反射率などである。
【0063】
１つの位置情報に対して１つの属性情報が対応付けられてもよいし、１つの位置情報に対して複数の異なる属性種別を持つ属性情報が対応付けられてもよい。また、１つの位置情報に対して同じ属性種別の属性情報が複数対応付けられてもよい。
【0064】
図３に示すデータファイルの構成例は、位置情報と属性情報とが１対１に対応する場合の例であり、点群データを構成するＮ個の点の位置情報と属性情報とを示している。
【0065】
位置情報は、例えば、ｘ、ｙ、ｚの３軸の情報である。属性情報は、例えば、ＲＧＢの色情報である。代表的なデータファイルとしてｐｌｙファイルなどがある。
【0066】
【0067】
静的オブジェクトは、任意の時間（ある時刻）の三次元点群データである。動的オブジェクトは、時間的に変化する三次元点群データである。以降、ある時刻の三次元点群データをＰＣＣフレーム、又はフレームと呼ぶ。
【0068】
オブジェクトは、通常の映像データのように、ある程度領域が制限されている点群であってもよいし、地図情報のように領域が制限されていない大規模点群であってもよい。
【0069】
また、様々な密度の点群データがあり、疎な点群データと、密な点群データとが存在してもよい。
【0070】
以下、各処理部の詳細について説明する。センサ情報は、ＬＩＤＡＲ或いはレンジファインダなどの距離センサ、ステレオカメラ、又は、複数の単眼カメラの組合せなど様々な方法で取得される。点群データ生成部４６１８は、センサ情報取得部４６１７で得られたセンサ情報に基づき点群データを生成する。点群データ生成部４６１８は、点群データとして、位置情報を生成し、位置情報に、当該位置情報に対する属性情報を付加する。
【0071】
点群データ生成部４６１８は、位置情報の生成又は属性情報の付加の際に、点群データを加工してもよい。例えば、点群データ生成部４６１８は、位置が重複する点群を削除することでデータ量を減らしてもよい。また、点群データ生成部４６１８は、位置情報を変換（位置シフト、回転又は正規化など）してもよいし、属性情報をレンダリングしてもよい。
【0072】
なお、図１では、点群データ生成システム４６１１は、三次元データ符号化システム４６０１に含まれるが、三次元データ符号化システム４６０１の外部に独立して設けられてもよい。
【0073】
符号化部４６１３は、点群データを予め規定された符号化方法に基づき符号化することで符号化データを生成する。符号化方法には大きく以下の２種類がある。一つ目は、位置情報を用いた符号化方法であり、この符号化方法を、以降、第１の符号化方法と記載する。二つ目は、ビデオコーデックを用いた符号化方法であり、この符号化方法を、以降、第２の符号化方法と記載する。
【0074】
復号部４６２４は、符号化データを予め規定された符号化方法に基づき復号することで点群データを復号する。
【0075】
多重化部４６１４は、符号化データを、既存の多重化方式を用いて多重化することで多重化データを生成する。生成された多重化データは、伝送又は蓄積される。多重化部４６１４は、ＰＣＣ符号化データの他に、映像、音声、字幕、アプリケーション、ファイルなどの他のメディア、又は基準時刻情報を多重化する。また、多重化部４６１４は、さらに、センサ情報又は点群データに関連する属性情報を多重してもよい。
【0076】
多重化方式又はファイルフォーマットとしては、ＩＳＯＢＭＦＦ、ＩＳＯＢＭＦＦベースの伝送方式であるＭＰＥＧ－ＤＡＳＨ、ＭＭＴ、ＭＰＥＧ－２ ＴＳ Ｓｙｓｔｅｍｓ、ＲＭＰなどがある。
【0077】
逆多重化部４６２３は、多重化データからＰＣＣ符号化データ、その他のメディア、及び時刻情報などを抽出する。
【0078】
入出力部４６１５は、多重化データを、放送又は通信など、伝送する媒体又は蓄積する媒体にあわせた方法を用いて伝送する。入出力部４６１５は、インターネット経由で他のデバイスと通信してもよいし、クラウドサーバなどの蓄積部と通信してもよい。
【0079】
通信プロトコルとしては、ｈｔｔｐ、ｆｔｐ、ＴＣＰ、ＵＤＰ又はＩＰなどが用いられる。ＰＵＬＬ型の通信方式が用いられてもよいし、ＰＵＳＨ型の通信方式が用いられてもよい。
【0080】
有線伝送及び無線伝送のいずれが用いられてもよい。有線伝送としては、Ｅｔｈｅｒｎｅｔ（登録商標）、ＵＳＢ、ＲＳ－２３２Ｃ、ＨＤＭＩ（登録商標）、又は同軸ケーブルなどが用いられる。無線伝送としては、３ＧＰＰのＩＥＥＥで規定される３Ｇ／４Ｇ／５Ｇ、無線ＬＡＮ、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はミリ波などが用いられる。
【0081】
また、放送方式としては、例えばＤＶＢ－Ｔ２、ＤＶＢ－Ｓ２、ＤＶＢ－Ｃ２、ＡＴＳＣ３．０、又はＩＳＤＢ－Ｓ３などが用いられる。
【0082】
図５は、第１の符号化方法の符号化を行う符号化部４６１３の例である第１の符号化部４６３０の構成を示す図である。図６は、第１の符号化部４６３０のブロック図である。第１の符号化部４６３０は、点群データを第１の符号化方法で符号化することで符号化データ（符号化ストリーム）を生成する。この第１の符号化部４６３０は、位置情報符号化部４６３１と、属性情報符号化部４６３２と、付加情報符号化部４６３３と、多重化部４６３４とを含む。
【0083】
第１の符号化部４６３０は、三次元構造を意識して符号化を行うという特徴を有する。また、第１の符号化部４６３０は、属性情報符号化部４６３２が、位置情報符号化部４６３１から得られる情報を用いて符号を行うという特徴を有する。第１の符号化方法は、ＧＰＣＣ（Ｇｅｏｍｅｔｒｙ ｂａｓｅｄ ＰＣＣ）とも呼ばれる。
【0084】
点群データは、ＰＬＹファイルのようなＰＣＣ点群データ、又は、センサ情報から生成されたＰＣＣ点群データであり、位置情報（Ｐｏｓｉｔｉｏｎ）、属性情報（Ａｔｔｒｉｂｕｔｅ）、及びその他の付加情報（ＭｅｔａＤａｔａ）を含む。位置情報は位置情報符号化部４６３１に入力され、属性情報は属性情報符号化部４６３２に入力され、付加情報は付加情報符号化部４６３３に入力される。
【0085】
位置情報符号化部４６３１は、位置情報を符号化することで符号化データである符号化位置情報（Ｃｏｍｐｒｅｓｓｅｄ Ｇｅｏｍｅｔｒｙ）を生成する。例えば、位置情報符号化部４６３１は、８分木等のＮ分木構造を用いて位置情報を符号化する。具体的には、８分木では、対象空間が８個のノード（サブ空間）に分割され、各ノードに点群が含まれるか否かを示す８ビットの情報（オキュパンシー符号）が生成される。また、点群が含まれるノードは、さらに、８個のノードに分割され、当該８個のノードの各々に点群が含まれるか否かを示す８ビットの情報が生成される。この処理が、予め定められた階層又はノードに含まれる点群の数の閾値以下になるまで繰り返される。
【0086】
属性情報符号化部４６３２は、位置情報符号化部４６３１で生成された構成情報を用いて符号化することで符号化データである符号化属性情報（Ｃｏｍｐｒｅｓｓｅｄ Ａｔｔｒｉｂｕｔｅ）を生成する。例えば、属性情報符号化部４６３２は、位置情報符号化部４６３１で生成された８分木構造に基づき、処理対象の対象点（対象ノード）の符号化において参照する参照点（参照ノード）を決定する。例えば、属性情報符号化部４６３２は、周辺ノード又は隣接ノードのうち、８分木における親ノードが対象ノードと同一のノードを参照する。なお、参照関係の決定方法はこれに限らない。
【0087】
また、属性情報の符号化処理は、量子化処理、予測処理、及び算術符号化処理のうち少なくとも一つを含んでもよい。この場合、参照とは、属性情報の予測値の算出に参照ノードを用いること、又は、符号化のパラメータの決定に参照ノードの状態（例えば、参照ノードに点群が含まれる否かを示す占有情報）を用いること、である。例えば、符号化のパラメータとは、量子化処理における量子化パラメータ、又は算術符号化におけるコンテキスト等である。
【0088】
付加情報符号化部４６３３は、付加情報のうち、圧縮可能なデータを符号化することで符号化データである符号化付加情報（Ｃｏｍｐｒｅｓｓｅｄ ＭｅｔａＤａｔａ）を生成する。
【0089】
多重化部４６３４は、符号化位置情報、符号化属性情報、符号化付加情報及びその他の付加情報を多重化することで符号化データである符号化ストリーム（Ｃｏｍｐｒｅｓｓｅｄ Ｓｔｒｅａｍ）を生成する。生成された符号化ストリームは、図示しないシステムレイヤの処理部へ出力される。
【0090】
次に、第１の符号化方法の復号を行う復号部４６２４の例である第１の復号部４６４０について説明する。図７は、第１の復号部４６４０の構成を示す図である。図８は、第１の復号部４６４０のブロック図である。第１の復号部４６４０は、第１の符号化方法で符号化された符号化データ（符号化ストリーム）を、第１の符号化方法で復号することで点群データを生成する。この第１の復号部４６４０は、逆多重化部４６４１と、位置情報復号部４６４２と、属性情報復号部４６４３と、付加情報復号部４６４４とを含む。
【0091】
図示しないシステムレイヤの処理部から符号化データである符号化ストリーム（Ｃｏｍｐｒｅｓｓｅｄ Ｓｔｒｅａｍ）が第１の復号部４６４０に入力される。
【0092】
逆多重化部４６４１は、符号化データから、符号化位置情報（Ｃｏｍｐｒｅｓｓｅｄ Ｇｅｏｍｅｔｒｙ）、符号化属性情報（Ｃｏｍｐｒｅｓｓｅｄ Ａｔｔｒｉｂｕｔｅ）、符号化付加情報（Ｃｏｍｐｒｅｓｓｅｄ ＭｅｔａＤａｔａ）、及び、その他の付加情報を分離する。
【0093】
位置情報復号部４６４２は、符号化位置情報を復号することで位置情報を生成する。例えば、位置情報復号部４６４２は、８分木等のＮ分木構造で表される符号化位置情報から三次元座標で表される点群の位置情報を復元する。
【0094】
属性情報復号部４６４３は、位置情報復号部４６４２で生成された構成情報に基づき、符号化属性情報を復号する。例えば、属性情報復号部４６４３は、位置情報復号部４６４２で得られた８分木構造に基づき、処理対象の対象点（対象ノード）の復号において参照する参照点（参照ノード）を決定する。例えば、属性情報復号部４６４３は、周辺ノード又は隣接ノードのうち、８分木における親ノードが対象ノードと同一のノードを参照する。なお、参照関係の決定方法はこれに限らない。
【0095】
また、属性情報の復号処理は、逆量子化処理、予測処理、及び算術復号処理のうち少なくとも一つを含んでもよい。この場合、参照とは、属性情報の予測値の算出に参照ノードを用いること、又は、復号のパラメータの決定に参照ノードの状態（例えば、参照ノードに点群が含まれる否かを示す占有情報）を用いること、である。例えば、復号のパラメータとは、逆量子化処理における量子化パラメータ、又は算術復号におけるコンテキスト等である。
【0096】
付加情報復号部４６４４は、符号化付加情報を復号することで付加情報を生成する。また、第１の復号部４６４０は、位置情報及び属性情報の復号処理に必要な付加情報を復号時に使用し、アプリケーションに必要な付加情報を外部に出力する。
【0097】
次に、第２の符号化方法の符号化を行う符号化部４６１３の例である第２の符号化部４６５０について説明する。図９は、第２の符号化部４６５０の構成を示す図である。図１０は、第２の符号化部４６５０のブロック図である。
【0098】
第２の符号化部４６５０は、点群データを第２の符号化方法で符号化することで符号化データ（符号化ストリーム）を生成する。この第２の符号化部４６５０は、付加情報生成部４６５１と、位置画像生成部４６５２と、属性画像生成部４６５３と、映像符号化部４６５４と、付加情報符号化部４６５５と、多重化部４６５６とを含む。
【0099】
第２の符号化部４６５０は、三次元構造を二次元画像に投影することで位置画像及び属性画像を生成し、生成した位置画像及び属性画像を既存の映像符号化方式を用いて符号化するという特徴を有する。第２の符号化方法は、ＶＰＣＣ（Ｖｉｄｅｏ ｂａｓｅｄ ＰＣＣ）とも呼ばれる。
【0100】
点群データは、ＰＬＹファイルのようなＰＣＣ点群データ、又は、センサ情報から生成されたＰＣＣ点群データであり、位置情報（Ｐｏｓｉｔｉｏｎ）、属性情報（Ａｔｔｒｉｂｕｔｅ）、及びその他の付加情報ＭｅｔａＤａｔａ）を含む。
【0101】
付加情報生成部４６５１は、三次元構造を二次元画像に投影することで、複数の二次元画像のマップ情報を生成する。
【0102】
位置画像生成部４６５２は、位置情報と、付加情報生成部４６５１で生成されたマップ情報とに基づき、位置画像（Ｇｅｏｍｅｔｒｙ Ｉｍａｇｅ）を生成する。この位置画像は、例えば、画素値として距離（Ｄｅｐｔｈ）が示される距離画像である。なお、この距離画像は、一つの視点から複数の点群を見た画像（一つの二次元平面に複数の点群を投影した画像）であってもよいし、複数の視点から複数の点群を見た複数の画像であってもよいし、これらの複数の画像を統合した一つの画像であってもよい。
【0103】
属性画像生成部４６５３は、属性情報と、付加情報生成部４６５１で生成されたマップ情報とに基づき、属性画像を生成する。この属性画像は、例えば、画素値として属性情報（例えば色（ＲＧＢ））が示される画像である。なお、この画像は、一つの視点から複数の点群を見た画像（一つの二次元平面に複数の点群を投影した画像）であってもよいし、複数の視点から複数の点群を見た複数の画像であってもよいし、これらの複数の画像を統合した一つの画像であってもよい。
【0104】
映像符号化部４６５４は、位置画像及び属性画像を、映像符号化方式を用いて符号化することで、符号化データである符号化位置画像（Ｃｏｍｐｒｅｓｓｅｄ Ｇｅｏｍｅｔｒｙ Ｉｍａｇｅ）及び符号化属性画像（Ｃｏｍｐｒｅｓｓｅｄ Ａｔｔｒｉｂｕｔｅ Ｉｍａｇｅ）を生成する。なお、映像符号化方式として、公知の任意の符号化方法が用いられてよい。例えば、映像符号化方式は、ＡＶＣ又はＨＥＶＣ等である。
【0105】
付加情報符号化部４６５５は、点群データに含まれる付加情報、及びマップ情報等を符号化することで符号化付加情報（Ｃｏｍｐｒｅｓｓｅｄ ＭｅｔａＤａｔａ）を生成する。
【0106】
多重化部４６５６は、符号化位置画像、符号化属性画像、符号化付加情報、及び、その他の付加情報を多重化することで符号化データである符号化ストリーム（Ｃｏｍｐｒｅｓｓｅｄ Ｓｔｒｅａｍ）を生成する。生成された符号化ストリームは、図示しないシステムレイヤの処理部へ出力される。
【0107】
次に、第２の符号化方法の復号を行う復号部４６２４の例である第２の復号部４６６０について説明する。図１１は、第２の復号部４６６０の構成を示す図である。図１２は、第２の復号部４６６０のブロック図である。第２の復号部４６６０は、第２の符号化方法で符号化された符号化データ（符号化ストリーム）を、第２の符号化方法で復号することで点群データを生成する。この第２の復号部４６６０は、逆多重化部４６６１と、映像復号部４６６２と、付加情報復号部４６６３と、位置情報生成部４６６４と、属性情報生成部４６６５とを含む。
【0108】
図示しないシステムレイヤの処理部から符号化データである符号化ストリーム（Ｃｏｍｐｒｅｓｓｅｄ Ｓｔｒｅａｍ）が第２の復号部４６６０に入力される。
【0109】
逆多重化部４６６１は、符号化データから、符号化位置画像（Ｃｏｍｐｒｅｓｓｅｄ Ｇｅｏｍｅｔｒｙ Ｉｍａｇｅ）、符号化属性画像（Ｃｏｍｐｒｅｓｓｅｄ Ａｔｔｒｉｂｕｔｅ Ｉｍａｇｅ）、符号化付加情報（Ｃｏｍｐｒｅｓｓｅｄ ＭｅｔａＤａｔａ）、及び、その他の付加情報を分離する。
【0110】
映像復号部４６６２は、符号化位置画像及び符号化属性画像を、映像符号化方式を用いて復号することで、位置画像及び属性画像を生成する。なお、映像符号化方式として、公知の任意の符号化方式が用いられてよい。例えば、映像符号化方式は、ＡＶＣ又はＨＥＶＣ等である。
【0111】
付加情報復号部４６６３は、符号化付加情報を復号することで、マップ情報等を含む付加情報を生成する。
【0112】
位置情報生成部４６６４は、位置画像とマップ情報とを用いて位置情報を生成する。属性情報生成部４６６５は、属性画像とマップ情報とを用いて属性情報を生成する。
【0113】
第２の復号部４６６０は、復号に必要な付加情報を復号時に使用し、アプリケーションに必要な付加情報を外部に出力する。
【0114】
以下、ＰＣＣ符号化方式について説明する。図１３は、ＰＣＣ符号化データに関わるプロトコルスタックを示す図である。図１３には、ＰＣＣ符号化データに、映像（例えばＨＥＶＣ）或いは音声などの他のメディアのデータ、又はセンサ情報を多重し、伝送又は蓄積する例を示す。
【0115】
多重化方式及びファイルフォーマットは、様々な符号化データを多重し、伝送又は蓄積するための機能を有している。符号化データを伝送又は蓄積するために、符号化データを多重化方式のフォーマットに変換する。例えば、ＨＥＶＣでは、ＮＡＬユニットと呼ばれるデータ構造に符号化データを格納し、ＮＡＬユニットをＩＳＯＢＭＦＦに格納する技術が規定されている。
【0116】
ＰＣＣにおいても同様の構成が想定される。センサ情報は、点群データとともに、ＰＣＣ符号化される場合もあれば、別の符号化方法をもちいて符号化される場合、符号化されずに直接多重レイヤに格納される場合があり、それらを組み合わせることもできる。別の符号化方法とは、具体的には、別の三次元符号化方法、又は、点群データを二次元或いは一次元データに変換したデータを符号化する符号化方法である。
【0117】
【0118】
図１４に示す点群データ生成装置は、１つのセンシングデバイス７３０１から得られるセンサ信号から点群データを生成する。図１４に示す点群データ生成装置は、センシングデバイス７３０１と、センサ情報入力部７３０２と、点群データ生成部７３０３とを備える。センサ情報入力部７３０２は、センシングデバイス７３０１で得られたセンサ信号を取得する。点群データ生成部７３０３は、センサ情報入力部７３０２が取得したセンサ信号から点群データを生成する。生成された点群データは、例えば、後段の点群データを符号化部（図示せず）に出力される。
【0119】
図１５に示すように、２以上のセンシングデバイスから得られるセンサ信号に基づき点群データが生成されてもよい。図１５に示す点群データ生成装置は、センシングデバイス７３０１Ａ及び７３０１Ｂと、センサ情報入力部７３０２Ａ及び７３０２Ｂと、点群データ生成部７３０３Ａとを備える。センサ情報入力部７３０２Ａは、センシングデバイス７３０１Ａで得られた第１のセンサ信号を取得する。センサ情報入力部７３０２Ｂは、センシングデバイス７３０１Ｂで得られた第２のセンサ信号を取得する。点群データ生成部７３０３Ａは、センサ情報入力部７３０２Ａ及び７３０２Ｂが取得した２つのセンサ信号から点群データを生成する。生成された点群データは、例えば、後段の点群データを符号化部（図示せず）に出力される。
【0120】
図１６に示す点群データ生成装置は、センシングデバイス７３０１Ｃと、センサ情報入力部７３０２Ｃと、点群データ生成部７３０３Ｃとを備える。センシングデバイス７３０１Ｃは、２以上のセンシング方法を用いてセンシングされた２つの情報を所定の方法でマージしたセンサ信号を生成する。センシングデバイス７３０１Ｃは、センシング部７３０４Ａ及び７３０４Ｂと、マージ部７３０５とを備える。
【0121】
センシング部７３０４Ａは、第１のセンシング方法により第１のセンサ信号を生成する。センシング部７３０４Ｂは、第２のセンシング方法により第２のセンサ信号を生成する。マージ部７３０５は、第１のセンサ信号と第２のセンサ信号とをマージし、生成したセンサ信号をセンサ情報入力部７３０２Ｃに出力する。
【0122】
なお、マージ部７３０５は、所定の条件に基づき第１のセンサ信号と第２のセンサ信号との一方を選択し、選択したセンサ信号を出力してもよい。また、マージ部７３０５は、２つのセンサ信号をマージする場合は、マージに使用する重み係数を変化させてもよい。
【0123】
例えば、マージ部７３０５は、いずれのセンサ信号を選択するかの判定を、取得したセンサ信号に基づき行ってもよいし、別のセンサ信号に基づき行ってもよい。
【0124】
例えば、第１のセンシング方法と第２のセンシング方法とは、センサのパラメータが異なってもよいし、センシングの周波数又は機構が異なってもよい。また、センタ信号は、センシング方法又はセンシングの際のパラメータなどを示す情報を含んでもよい。
【0125】
マージ部７３０５は、複数のセンシング方法を切り替える場合には、どのセンシング方法を用いたかを示す情報、又は切り替えの判定基準のデータをセンサ信号に含めてもよい。マージ部７３０５は、センサ信号をマージする場合には、マージしたセンシング方法を識別するための情報、マージの判定基準のデータ、又はマージ係数をセンサ信号に含めてもよい。
【0126】
また、センシングデバイス７３０１Ｃは、複数のセンサ信号を出力してもよい。また、センシングデバイス７３０１Ｃは、複数のセンサ信号として、第１のセンサ信号の絶対値と、第１のセンサ信号と第２のセンサ信号との差分値とを出力してもよい。
【0127】
また、センサ信号は、第１のセンシング方法と第２のセンシング方法との関係を示す情報を含んでもよい。例えば、センサ信号は、第１のセンシング方法と第２のセンシング方法との基準位置情報の絶対値、又は相対値を含んでもよいし、センサ信号の取得時間、基準時刻情報、又はセンサの角度を示す情報を含んでもよい。これらの情報がセンサ信号に含まれることで、後段の処理においてこれらの情報に基づき２つのセンサ信号の関係の補正又は合成が可能となる。
【0128】
センサ情報入力部７３０２Ｃは、センシングデバイス７３０１Ｃで得られたセンサ信号を取得する。点群データ生成部７３０３Ｃは、センサ情報入力部７３０２Ｃが取得したセンサ信号から点群データを生成する。生成された点群データは、例えば、後段の点群データを符号化部（図示せず）に出力される。
【0129】
このように、点群データ生成装置は、上記の様々なセンサ信号のうち、いずれか一つ又は２以上のセンサ信号に基づき点群データを生成する。なお、点群データ生成装置は、点群データの生成過程において点の位置情報又は属性情報を補正してもよい。
【0130】
なお、点群データ生成装置は、図１４～図１６のいずれかに示す構成でもよいし、これらのうちの複数を組み合わせた構成であってもよい。また、点群データ生成装置は、固定的な方法を用いてもよいし、例えば、センシングの目的又はユースケースに応じて、用いる方法を適応的に変化させてもよい。
【0131】
次に、本実施の形態に係る点群データ符号化システムの構成例を説明する。図１７は、本実施の形態に係る点群データ符号化システムの構成例を示す図である。図１７に示す点群データ符号化システムは、第１のデバイス７３１０と、第２のデバイス７３２０とを含む。
【0132】
第１のデバイス７３１０は、センシング部７３１１と出力Ｉ／Ｆ（インタフェース）７３１２とを含む。第２のデバイス７３２０は、センシング部７３２１と、出力Ｉ／Ｆ７３２２と、入力Ｉ／Ｆ７３２３と、処理部７３２４とを含む。処理部７３２４は、点群データ生成部７３２５と、符号化部７３２６とを含む。
【0133】
センシング部７３１１又は７３２１は、ＣＰＵなどで構成される処理部７３２４と同一のハードウェア又はデバイスに含まれてもよいし、異なるハードウェア又はデバイスに含まれてもよい。
【0134】
センシング部７３２１は、処理部７３２４と同一のデバイス（第２のデバイス７３２０）に含まれる。この場合、センシング部７３２１の出力信号（ＲＡＷデータと呼ぶ）はそのまま点群データ生成部７３２５に入力される。
【0135】
センシング部７３１１は、処理部７３２４と異なるデバイス（第１のデバイス７３１０）に含まれる。この場合、センシング部７３１１から出力されるＲＡＷデータは、出力Ｉ／Ｆ７３１２において入出力フォーマット（外部出力フォーマット）に変換され、フォーマット化された信号が第２のデバイス７３２０へ入力される。第２のデバイス７３２０に含まれる入力Ｉ／Ｆ７３２３は、フォーマット化された信号をＲＡＷデータに変換し、得られたＲＡＷデータを点群データ生成部７３２５へ出力する。出力Ｉ／Ｆ７３１２及び入力Ｉ／Ｆ７３２３は、例えば、図１に示す多重化部４６１４及び入出力部４６１５の機能を有する。
【0136】
また、処理部７３２４と同一デバイスに含まれるセンシング部７３２１からの出力信号（ＲＡＷデータ）を出力Ｉ／Ｆ７３２２で入出力フォーマットに変換し、入力Ｉ／Ｆ７３２３においてフォーマット化された信号をＲＡＷデータに変換し、得られたＲＡＷデータが点群データ生成部７３２５へ入力されてもよい。
【0137】
また、複数のセンサ信号が入力される場合において、例えば、他のデバイスから入力されるセンサ信号と同一デバイスから入力されるセンサ信号とが混在する場合は、これらのセンサ信号が同一のフォーマットに変換されてもよい。また、変換の際、それぞれの信号には信号を特定できる識別子が付与されてもよい。例えば、ＵＤＰ（Ｕｓｅｒ Ｄａｔａｇｒａｍ Ｐｒｏｔｏｃｏｌ）を用いて送信が行われる場合、各信号は、ＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）又はＵＤＰの送信元アドレス又は送信元ポート番号で識別されてもよい。これにより、点群データ生成部７３２５へ入力されるフォーマットを統一できるので、信号の制御が容易となる。
【0138】
点群データ生成部７３２５は、入力されたＲＡＷデータを用いて点群データを生成する。符号化部７３２６は、生成された点群データを符号化する。
【0139】
次に、本実施の形態に係る三次元データ多重化装置（三次元データ多重化システム）の構成例を説明する。図１８は、本実施の形態に係る三次元データ多重化装置の構成例を示す図である。三次元データ多重化装置は、様々なセンサ信号を符号化及び多重化することで出力信号を生成し、生成された出力信号を蓄積又は伝送する。
【0140】
図１８に示すように三次元データ多重化装置は、センシング部７３３１Ａ、７３３１Ｂ及び７３３１Ｃと、センサ情報入力部７３３２Ａ、７３３２Ｂ及び７３３２Ｃと、点群データ生成部７３３３Ａ及び７３３３Ｂと、符号化部７３３４Ａ及び７３３４Ｂと、同期部７３３５と、多重化部７３３６とを備える。ここでは３つのセンシング部が用いられる例を示すが、センシング部の数はこれに限定されない。また、各センシング部からセンサ信号の処理方法についても下記の処理方法の任意の組み合わせを用いることができる。
【0141】
センサ情報入力部７３３２Ａは、センシング部７３３１Ａでセンシングにより生成された第１のセンサ信号を取得する。センサ情報入力部７３３２Ｂは、センシング部７３３１Ｂでセンシングにより生成された第２のセンサ信号を取得する。センサ情報入力部７３３２Ｃは、センシング部７３３１Ｃでセンシングにより生成された第３のセンサ信号を取得する。
【0142】
点群データ生成部７３３３Ａは、第１のセンサ信号から第１の点群データを生成する。点群データ生成部７３３３Ｂは、第２のセンサ信号から第２の点群データを生成する。このとき、センシング部７３３１Ａとセンシング部７３３１Ｂとで用いられるセンシング方法の違い（例えば、方向、範囲、取得可能な属性、周波数、分解能等、方法、又は手段）により、生成される点群データにおける点の数、点の範囲、属性情報が異なる場合がある。
【0143】
符号化部７３３４Ａは、第１の点群データを符号化することで第１の符号化データを生成する。符号化部７３３４Ｂは、第２の点群データを符号化することで第２の符号化データを生成する。例えば、符号化部７３３４Ａと符号化部７３３４Ｂとは、互いに異なる符号化方法を適用する。例えば、符号化部７３３４Ａは第１の符号化方式を用い、符号化部７３３４Ｂは第１の符号化方式と異なる第２の符号化方式を用いてもよい。なお、符号化部７３３４Ａと符号化部７３３４Ｂとは、同一の符号化方式を用いてもよい。
【0144】
符号化部７３３４Ａ及び７３３４Ｂは、点群データにおける点の位置情報又は属性情報をエントロピー符号化などを用いて圧縮してもよい。また、符号化部７３３４Ａ及び７３３４Ｂは、センサ信号、センサの位置情報或いは角度情報、又は時刻情報などをメタデータとして格納してもよい。
【0145】
符号化部７３３４Ａ及び７３３４Ｂは、点群データに適した符号化方式を用いる。例えば、第１の符号化方式は、地図情報又は静止コンテンツで高い符号化率を期待できる符号化方式であり、第２の符号化方式は、ＡＲ又はＶＲのようなコンテンツで高い符号化率を期待できる符号化方式である。この場合、符号化部７３３４Ａ及び７３３４Ｂは、コンテンツに適した符号化方式を用いてもよい。
【0146】
あるいは、例えば、第１の符号化方式は、ビームＬｉＤＡＲのようなセンシング部でセンシングされた情報に基づく点群に対して高い符号化率を期待できる符号化方式であり、第２の符号化方式は、ＦＬＡＳＨ ＬｉＤＡＲのようなセンシング部でセンシングされた情報に基づく点群に対して高い符号化率を期待できる符号化方式である。この場合、符号化部７３３４Ａ及び７３３４Ｂは、センシング部に適した符号化方式を用いてもよい。
【0147】
また、符号化部７３３４Ａ及び７３３４Ｂは、符号化方式を変更するのではなく、同一の符号化方式においてコンテンツ又はセンシング部に適した符号化ツール又は符号化に関わるパラメータを用いてもよい。
【0148】
生成された第１の符号化データ及び第２の符号化データは、多重化部７３３６に入力される。例えば、センシング部７３３１Ｃでセンシングされた第３のセンサ信号は、符号化の必要がないデータである。この場合、点群データの生成及び符号化は行われず、第３のセンサ信号がそのまま多重化部７３３６に入力される。なお、低遅延な伝送を目的として符号化が行われなくてもよい。
【0149】
同期部７３３５は、複数のセンシング部を同期させるための機能を持つ。例えば、同期部７３３５は、同期に関わる情報として、センシングの時刻情報、タイムスタンプ情報、及び角度情報などを用いる。これらの同期に関わる情報は、共通の情報である同期信号として出力信号に多重化されてもよい。または、これらの同期に関わる情報は、各センサ信号に含まれてもよい。
【0150】
多重化部７３３６は、１以上の符号化データ、メタデータ、センサ信号のＲＡＷデータ、及び同期信号を多重化することで出力信号を生成する。また、多重化部７３３６は、それぞれのデータを識別するための情報、及び各データの対応関係を示す情報を出力信号に格納する。
【0151】
図１９は、三次元データ多重化装置の具体例を示す図である。図１９に示すように、センシング部７３３１ＡとしてビームＬｉＤＡＲが用いられ、センシング部７３３１ＢとしてＦＬＡＳＨ ＬｉＤＡＲが用いられる。ＬｉＤＡＲの特性に応じて、点群の範囲及び距離、並びに解像度などが異なる。図２０は、ビームＬｉＤＡＲ及びＦＬＡＳＨ ＬｉＤＡＲのセンサ範囲の例を示す図である。例えば、ビームＬｉＤＡＲは、車両（センサ）の周囲の全方向を検知し、ＦＬＡＳＨ ＬｉＤＡＲは、車両の一方向（例えば前方）の範囲を検知する。
【0152】
点群データ生成部７３３３Ａは、ビームＬｉＤＡＲから取得されるビーム照射角に対する距離情報及び反射率情報に基づき第１の点群データを生成する。点群データ生成部７３３３Ｂは、ＦＬＡＳＨ ＬｉＤＡＲから得られる二次元の距離情報及び反射率に基づき第２の点群データを生成する。なお、点群データ生成部７３３３Ａ及び７３３３Ｂは、さらにカメラで取得される二次元の色情報などを併用し、色情報と反射率との両方を持つ点群データを生成してもよい。
【0153】
また、センシング部７３３１Ｃとして、３軸ジャイロセンサ、３軸加速度センサ又はＧＰＳなどの位置情報センサである車載センサが用いられる。これらのセンサ情報は、車全体の状態を表すセンサ情報であり、第１のセンサ信号及び第２のセンサ信号に関連する共通の情報ということもできる。これらの共通のセンサ情報は、符号化されて多重化されてもよいし、符号されずに多重化されてもよい。また、これらの情報は、点群データに共通の付加情報として第１のセンサ信号や第２のセンサ信号に格納され符号化されてもよい。または、共通のセンサ情報は、第１のセンサ信号と第２のセンサ信号との一方のセンサ信号に格納されてもよい。この場合、共通のセンサ情報がいずれのセンサ信号に格納されているかを示す情報が、例えばその他のセンサ信号又は同期信号に示されてもよい。
【0154】
また、センサを取得する時刻に関する情報として、例えばＮＴＰ（Ｎｅｔｗｏｒｋ Ｔｉｍｅ Ｐｒｏｔｏｃｏｌ）又はＰＴＰ（Ｐｒｅｃｉｓｉｏｎ Ｔｉｍｅ Ｐｒｏｔｏｃｏｌ）などの基準時刻情報に基づいたタイムスタンプが、ビームＬｉＤＡＲに基づく第１の点群データと、ＦＬＡＳＨ ＬｉＤＡＲに基づく第２の点群データとに付与される。それぞれセンサのタイムスタンプは、共通の基準時刻に同期するものであり、符号化部７３３４Ａ及び７３３４Ｂで符号化される。
【0155】
また、共通の基準時刻を示す基準時刻情報は、同期信号として多重化されてもよい。基準時刻情報は多重されなくてもよい。三次元データ逆多重化装置（三次元データ復号装置）は、複数のセンサ信号の符号化データからそれぞれのタイムスタンプを取得する。タイムスタンプは共通の基準時刻に同期しているため、三次元データ逆多重化装置は、複数のセンサ信号の復号データを、それぞれのタイムスタンプに基づき動作させることで、複数のセンサ間の同期をとることができる。
【0156】
なお、ビームＬｉＤＡＲ及びＦＬＡＳＨ ＬｉＤＡＲ毎にそれぞれ対応する時刻情報が設定されてもよい。また、ビームＬｉＤＡＲ及びＦＬＡＳＨ ＬｉＤＡＲ毎にそれぞれ３軸センサが設けられてもよい。その場合、それぞれのＮＴＰとしてインターネット時刻などの共通の時刻が用いられる。また、それぞれの３軸センサが、予めキャリブレーションされ、予め同期された複数の３軸センサが用いられる。
【0157】
図２１は、三次元データ多重化装置の別の構成例を示す図である。図２１に示すように三次元データ多重化装置は、センシング部７３４１Ａ、７３４１Ｂ及び７３４１Ｃと、入出力部７３４２Ａ、７３４２Ｂ及び７３４２Ｃと、点群データ生成部７３４３と、符号化部７３４４Ａ及び７３４４Ｂと、同期部７３４５と、多重化部７３４６とを備える。
【0158】
入出力部７３４２Ａは、センシング部７３４１Ａでセンシングにより生成された第１のセンサ信号を取得する。入出力部７３４２Ｂは、センシング部７３４１Ｂでセンシングにより生成された第２のセンサ信号を取得する。入出力部７３４２Ｃは、センシング部７３４１Ｃでセンシングにより生成された第３のセンサ信号を取得する。なお、入出力部７３４２Ａ、７３４２Ｂ及び７３４２Ｃは、取得したセンサ信号を蓄積するメモリを有してもよい。
【0159】
点群データ生成部７３４３は、第１のセンサ信号から第１の点群データを生成する。符号化部７３４４Ａは、第１の点群データを符号化することで第１の符号化データを生成する。符号化部７３４４Ｂは、第２のセンサ情報を符号化することで第２の符号化データを生成する。
【0160】
同期部７３４５は、複数のセンシング部を同期させるための機能を持つ。多重化部７３４６は、１以上の符号化データ、メタデータ、センサ信号のＲＡＷデータ、及び同期信号を多重化することで出力信号を生成する。
【0161】
このように、図２１に示す構成では、センシング部７３４１Ｂで得られるセンサ信号（ＲＡＷデータ）から点群データは生成されず、センサ信号はＲＡＷデータのまま符号化される。例えば、第２のセンサ信号が、ＦＬＡＳＨ ＬｉＤＡＲ、又はカメラなどＣＭＯＳセンサで得られる二次元の情報である場合、符号化部７３４４Ｂは、ＡＶＣ又はＨＥＶＣなどの動画像コーデックを用いて第２のセンサ信号を符号化する。これにより、符号化効率の高い符号化を実現できる。また、既存コーデックを活用することでコストの安いシステム構築が可能となる。
【0162】
このように、三次元データ多重化装置は、センシング部に応じて、点群データを変換後に符号化する手段と、点群データに変換せずにＲＡＷデータのまま符号化する手段とを併用し、それぞれの符号化データを多重化する。
【0163】
次に、多重化により所定のファイルフォーマットの出力信号を生成する手法の例を説明する。以下では、所定のファイルフォーマットがＩＳＯＢＭＦＦ（ＩＳＯ ｂａｓｅｄ ｍｅｄｉａ ｆｉｌｅ ｆｏｒｍａｔ）である場合の例を説明する。なお、ファイルフォーマットはＩＳＯＢＭＦＦに限定されず、他のファイルフォーマットが用いられてもよい。
【0164】
ＩＳＯＢＭＦＦは、ＩＳＯ／ＩＥＣ１４４９６－１２に規定されるファイルフォーマット規格である。ＩＳＯＢＭＦＦは、ビデオ、オーディオ、及びテキストなど様々なメディアのデータを多重して格納できるフォーマットを規定しており、メディアに依存しない規格である。
【0165】
ＩＳＯＢＭＦＦへのメディア毎の格納方法は別途規定されている。例えば、ＡＶＣビデオ及びＨＥＶＣビデオの格納方法は、ＩＳＯ／ＩＥＣ１４４９６－１５に規定される。
【0166】
一方で、複数のセンサ情報（センサ信号）から取得されたデータの符号化データをＩＳＯＢＭＦＦに格納する方法が必要である。図２２は、複数のセンサ情報を、様々な符号化方法でそれぞれ符号化し、ＩＳＯＢＭＦＦへ格納するプロトコルを示す図である。
【0167】
Ｄａｔａ１～Ｄａｔａ５は、それぞれ様々な種類のセンサから取得されたセンサデータ（センサ信号）であり、例えばＲＡＷデータ等である。Ｄａｔａ１とＤａｔａ２は３Ｄ点群フォーマットに変換され、３Ｄ点群フォーマット用の符号化方法Ｃｏｄｅｃ１又はＣｏｄｅｃ２を用いて符号化される。また、Ｄａｔａ３とＤａｔａ４は画像などの２Ｄデータのフォーマットに変換され、２Ｄデータフォーマット用の符号化方法Ｃｏｄｅｃ３又はＣｏｄｅｃ４を用いて符号化される。
【0168】
それぞれの符号化データは、所定の方法でＮＡＬユニットに変換されてＩＳＯＢＭＦＦに格納される。なお、ＮＡＬユニットは、３ＤＦｏｒｍａｔ及び２ＤＦｏｒｍａｔで共通の形式であってもよいし、異なる形式であってもよい。また、異なる符号化方法のＮＡＬユニットは共通の形式であってもよいし、異なる形式であってもよい。なお、センサデータのフォーマットは、ここにあげる３Ｄ及び２Ｄフォーマット以外にも、１Ｄのフォーマット、又はその他のフォーマットであってもよい。
【0169】
Ｄａｔａ５は、センサから取得されたセンサデータを符号化せずに直接ＩＳＯＢＭＦＦに格納する場合である。
【0170】
これらのデータの任意の組み合わせのデータを統合的に格納するフォーマットを提供することにより、複数のセンサを扱うシステムのデータの管理が容易となり、様々な機能を実現することが可能となる。
【0171】
次に、ＩＳＯＢＭＦＦの構成を説明する。三次元データ多重化装置は、複数のセンサデータをＩＳＯＢＭＦＦへ格納する。図２３は、多重化対象の入力データの構成例を示す図である。図２４は、ＮＡＬユニットの構成例を示す図である。図２５は、ＩＳＯＢＭＦＦの構成例を示す図である。図２６は、ｍｏｏｖ及びｍｄａｔの構成例を示す図である。
【0172】
入力データに含まれる符号化データは、主に符号化データ（Ｄａｔａ）とメタデータ（Ｍｅｔａ）に大別される。メタデータとしては、符号化データ毎のヘッダで示されるメタデータと、パラメータセットとして独立のＮＡＬユニットに格納されるメタデータとがある。また、メタデータが符号化データに含まれる場合もある。三次元データ多重化装置は、これらの複数の異なるコーデック毎のＮＡＬユニット及びＲＡＷデータを一つのＩＳＯＢＭＦＦへ格納する。
【0173】
ＩＳＯＢＭＦＦはボックス構造で構成される。ＩＳＯＢＭＦＦのボックスとして、主にメタデータを格納する「ｍｏｏｖ」及び「ｍｅｔａ」と、データを格納する「ｍｄａｔ」とがある。
【0174】
符号化データ及びＲＡＷデータはＩＳＯＢＭＦＦにおける「ｍｄａｔ」にサンプル単位で格納される。また、入力データにおけるメタデータは、符号化データ毎に、ＩＳＯＭＢＦＦにおける「ｍｏｏｖ」の「ｔｒａｋ」に所定のフォーマットで格納される。符号化データ内に含まれるメタデータ及び同期情報も「ｍｏｏｖ」内に格納される。
【0175】
「ｍｄａｔ」からデータを取得するための情報（ファイル先頭からのデータのアドレス情報（オフセット情報）及びデータのサイズなど）は、符号化データ毎のメタデータに格納される。また、「ｆｔｙｐ」には後続のデータのファイルタイプ等が示される。
【0176】
なお、フォーマットおよびボックス名は、ここに挙げたもの以外でもよく、同じ機能を有するものであればよい。
【0177】
また、リアルタイム通信などのユースケースにおいては、「ｍｏｏｖ」及び「ｍｄａｔ」のようなボックスを分割した単位が時間的に分けて送信されてもよい。また、分割した単位のデータがインターリーブされてもよい。
【0178】
三次元データ多重化装置は、構成情報を示すボックス（以下単に構成情報と記す）を定義し、ファイルに含まれる複数のデータの識別情報を構成情報に格納する。また、三次元データ多重化装置は、それぞれのデータのメタデータにアクセス可能な識別情報を構成情報に格納する。
【0179】
【0180】
構成情報は、ＩＳＯＢＭＦＦファイルを構成するコンテンツ及びコンポーネントの情報、コンポーネントの元データを取得した際のセンサ情報、フォーマット情報、並びに、符号化方法などを示す。
【0181】
図２７に示すように、構成情報は、全体構成情報と、符号化データ毎の構成情報とを含む。複数の構成情報は、同一のデータ構造又はボックスであってもよいし、異なるデータ構造又はボックスであってもよい。
【0182】
ｍｐ４ボックスにおけるｔｙｐｅには、構成情報ボックスであることが、例えば「ｍｓｕｃ」などの４ＣＣで示される。全体構成情報（ｄａｔａ（））には、符号化方式の異なる複数のデータの構成が示される。ｄａｔａ（）は、ｎｕｍ＿ｏｆ＿ｄａｔａ、ｄａｔａ＿ｔｙｐｅ及びｄａｔａ＿ｃｏｎｆｉｇｕｒａｔｉｏｎを含む。
【0183】
ｎｕｍ＿ｏｆ＿ｄａｔａは、ファイルを構成する符号化データ及びＲＡＷデータの数を示す。ｄａｔａ＿ｔｙｐｅは、データ毎の識別情報を示す。つまり、ｄａｔａ＿ｔｙｐｅは、複数のデータの種別を示す。
【0184】
具体的には、ｄａｔａ＿ｔｙｐｅは、データが点群データであるか、センサ信号（例えばＲＡＷデータ）であるかを示す。また、ｄａｔａ＿ｔｙｐｅは、データが符号化されているか否かを示してもよい。また、ｄａｔａ＿ｔｙｐｅは、符号化データの符号化に用いられた符号化方法（符号化方式）を示してもよい。符号化方法とは、例えば、ＧＰＰＣ又はＶＰＰＣ等である。また、符号化方法は、図２２に示すＣｏｄｅｃ１～４等であってもよい。また、ｄａｔａ＿ｔｙｐｅは、構成情報を識別するための情報を示してもよい。
【0185】
また、ｄａｔａ＿ｔｙｐｅは、点群データの元データの種別を示してもよい。元データの種別とは、元データがセンサ信号である場合の、センサ信号を生成したセンサの種類（例えば２Ｄセンサか３Ｄセンサかなど）等である。また、ｄａｔａ＿ｔｙｐｅは、センサ信号のデータフォーマット（例えば１Ｄ情報か２Ｄ情報か３Ｄ情報かなど）を示す情報を含んでもよい。
【0186】
例えば、ｄａｔａ＿ｔｙｐｅ＝０はＰＣＣ Ｃｏｄｅｃ１を示し、ｄａｔａ＿ｔｙｐｅ＝１はＰＣＣ Ｃｏｄｅｃ２を示し、ｄａｔａ＿ｔｙｐｅ＝２はＶｉｄｅｏ Ｃｏｄｅｃ３を示し、ｄａｔａ＿ｔｙｐｅ＝４は、３Ｄ軸センサ ＲＡＷデータを示す。ｄａｔａ＿ｃｏｎｆｉｇｕｒａｔｉｏｎは、データ毎の構成情報を示す。
【0187】
ｄａｔａ＿ｃｏｎｆｉｇｕｒａｔｉｏｎ（）は、符号化データ毎の構成情報であり、ｎｕｍ＿ｏｆ＿ｃｏｍｐｏｎｅｎｔと、ｃｏｍｐｏｎｅｎｔ＿ｔｙｐｅと、ｃｏｍｐｏｎｅｎｔ＿ｉｄとを含む。
【0188】
ｎｕｍ＿ｏｆ＿ｃｏｍｐｏｎｅｎｔは、符号化データ内のコンポーネントの数を示す。ｃｏｍｐｏｎｅｎｔ＿ｔｙｐｅは、コンポーネントのタイプを示す。例えばＰＣＣ符号化の場合は、ｃｏｍｐｏｎｅｎｔ＿ｔｙｐｅは、コンポーネントが、ジオメトリであるか属性であるかメタデータであるかを示す。
【0189】
ｃｏｍｐｏｎｅｎｔ＿ｉｄは、コンポーネントを他のメタデータ及びデータと紐付けるための一意の識別子を示す。
【0190】
なお、符号化の方法は、ビデオコーデック及びＰＣＣコーデック以外にも、オーディオ、テキスト、アプリケーション、又は３６０度画像などに用いられる符号化方法であってもよい。また、データは、メッシュ又はＣＡＤなどの加工されたデータであってもよい。また、符号化の方法は、同一のコーデックであってもよいし、プロファイル、レベル又はツールの異なる符号化方法であってもよく、いかなる符号化方法であっても統合的に扱うことが可能である。
【0191】
このように、三次元データ逆多重化装置において復号した点群データをアプリケーションで活用するために必要なデータを一つのファイルに多重することで、アプリケーションで取り扱うファイル管理及び同期管理を容易化できる。
【0192】
図２９は、データボックス「ｍｄａｔ」の構成例を示す図である。データボックスの最小単位であるサンプルに、それぞれの符号化データ又はＲＡＷデータが個別に格納される。
【0193】
また、ファイルに含まれる符号化データ毎のタイムスタンプなどの同期情報は、共通の基準時刻などの全体同期情報に基づき設定される。また、同期情報は、それぞれ同期がとれている情報とする。
【0194】
また、例えば、複数の符号化データのタイムスタンプにおける基準時刻、時間分解能及び時間間隔を揃え、同期情報を複数の符号化データで共通化してもよい。その場合、同期情報は、符号化データ毎の同期情報と共通の同期情報のいずれか１以上に格納すればよい。その場合、メタデータは、共通の時刻情報が格納されている場所を示す情報、及び同期情報が共通であることを示す情報の少なくとも一方を含む。
【0195】
また、符号化データ間で同期がとれている場合には、三次元データ多重化装置は、同期がとれている複数の符号化データを一つのサンプルとして格納してもよい。一方、複数の符号化データで、基準時刻、時間分解能及び時間間隔の少なくとも一つが揃っていない場合は、三次元データ多重化装置は、別途符号化データ間のタイムスタンプの差分を示す差分情報を導出し、導出した差分情報を出力信号に格納してもよい。また、三次元データ多重化装置は、同期がとれているか否かを示すフラグを出力信号に格納してもよい。
【0196】
三次元データ逆多重化装置は、それぞれの符号化データの同期情報と全体同期情報とを用いて、それぞれのサンプルを、メタデータに示されるタイムスタンプに示される時刻に処理することにより、符号化データ間の同期をとる。
【0197】
以下、アプリケーション処理の例を説明する。図３０は、アプリケーション処理の例を示すフローチャートである。アプリ操作が開始されると、三次元データ逆多重化装置は、点群データ及び複数の符号化データを含むＩＳＯＢＭＦＦファイルを取得する（Ｓ７３０１）。例えば、三次元データ逆多重化装置は、ＩＳＯＢＭＦＦファイルを、通信により取得してもよいし、蓄積しているデータから読み込んでもよい。
【0198】
次に、三次元データ逆多重化装置は、ＩＳＯＢＭＦＦファイルにおける全体構成情報を解析し、アプリケーションに使用するデータを特定する（Ｓ７３０２）。例えば、三次元データ逆多重化装置は、処理に用いるデータを取得し、処理に用いないデータは取得しない。
【0199】
次に、三次元データ逆多重化装置は、アプリケーションに使用する１以上のデータを抽出し、当該データの構成情報を解析する（Ｓ７３０３）。
【0200】
データの種別が符号化データである場合（Ｓ７３０４で符号化データ）、三次元データ逆多重化装置は、ＩＳＯＢＭＦＦを符号化ストリームに変換し、タイムスタンプを抽出する（Ｓ７３０５）。また、三次元データ逆多重化装置は、データ間の同期がそろっているか否かを、例えば、データ間の同期がそろっているか否かを示すフラグを参照して判定し、揃っていなければ同期処理を行ってもよい。
【0201】
次に、三次元データ逆多重化装置は、タイムスタンプ及びその他の指示に従い、所定の方法でデータを復号し、復号したデータを処理する（Ｓ７３０６）。
【0202】
一方、データの種別が符号化データである場合（Ｓ７３０４でＲＡＷデータ）、三次元データ逆多重化装置は、データ及びタイムスタンプを抽出する（Ｓ７３０７）。また、三次元データ逆多重化装置は、データ間の同期がそろっているか否かを、例えば、データ間の同期がそろっているか否かを示すフラグを参照して判定し、揃っていなければ同期処理を行ってもよい。次に、三次元データ逆多重化装置は、タイムスタンプ及びその他の指示に従い、データを処理する（Ｓ７３０８）。
【0203】
例えば、ビームＬｉＤＡＲ、ＦＬＡＳＨ ＬｉＤＡＲ、及びカメラで取得されたセンサ信号が、それぞれ異なる符号化方式で符号化及び多重化されている場合の例を説明する。図３１は、ビームＬｉＤＡＲ、ＦＬＡＳＨ ＬｉＤＡＲ及びカメラのセンサ範囲の例を示す図である。例えば、ビームＬｉＤＡＲは、車両（センサ）の周囲の全方向を検知し、ＦＬＡＳＨ ＬｉＤＡＲ及びカメラは、車両の一方向（例えば前方）の範囲を検知する。
【0204】
ＬｉＤＡＲ点群を統合的に扱うアプリケーションの場合、三次元データ逆多重化装置は、全体構成情報を参照して、ビームＬｉＤＡＲとＦＬＡＳＨ ＬｉＤＡＲの符号化データを抽出して復号する。また、三次元データ逆多重化装置は、カメラ映像は抽出しない。
【0205】
三次元データ逆多重化装置は、ＬｉＤＡＲとＦＬＡＳＨ ＬｉＤＡＲのタイムスタンプに従い、同一のタイムスタンプの時刻のそれぞれの符号化データを同時に処理する。
【0206】
例えば、三次元データ逆多重化装置は、処理したデータを提示装置で提示したり、ビームＬｉＤＡＲとＦＬＡＳＨ ＬｉＤＡＲの点群データを合成したり、レンダリングなどの処理を行ってもよい。
【0207】
また、データ間でキャリブレーションをするアプリケーションの場合には、三次元データ逆多重化装置は、センサ位置情報を抽出してアプリケーションで用いてもよい。
【0208】
例えば、三次元データ逆多重化装置は、アプリケーションにおいて、ビームＬｉＤＡＲ情報を使用するか、ＦＬＡＳＨ ＬｉＤＡＲを使用するかを選択し、選択結果に応じて処理を切り替えてもよい。
【0209】
このように、アプリケーションの処理に応じて適応的にデータの取得及び符号処理を変えることができるので、処理量及び消費電力を削減できる。
【0210】
以下、自動運転におけるユースケースについて説明する。図３２は、自動運転システムの構成例を示す図である。この自動運転システムは、クラウドサーバ７３５０と、車載装置又はモバイル装置等のエッジ７３６０とを含む。クラウドサーバ７３５０は、逆多重化部７３５１と、復号部７３５２Ａ、７３５２Ｂ及び７３５５と、点群データ合成部７３５３と、大規模データ蓄積部７３５４と、比較部７３５６と、符号化部７３５７とを備える。エッジ７３６０は、センサ７３６１Ａ及び７３６１Ｂと、点群データ生成部７３６２Ａ及び７３６２Ｂと、同期部７３６３と、符号化部７３６４Ａ及び７３６４Ｂと、多重化部７３６５と、更新データ蓄積部７３６６と、逆多重化部７３６７と、復号部７３６８と、フィルタ７３６９と、自己位置推定部７３７０と、運転制御部７３７１とを備える。
【0211】
このシステムでは、エッジ７３６０は、クラウドサーバ７３５０に蓄積されている大規模点群地図データである大規模データをダウンロードする。エッジ７３６０は、大規模データとエッジ７３６０で得られたセンサ情報とをマッチングすることで、エッジ７３６０（車両又は端末）の自己位置推定処理を行う。また、エッジ７３６０は、取得したセンサ情報をクラウドサーバ７３５０へアップロードし、大規模データを最新の地図データに更新する。
【0212】
また、システム内における点群データを扱う様々なアプリケーションにおいて、符号化方法の異なる点群データが扱われる。
【0213】
クラウドサーバ７３５０は、大規模データを符号化及び多重化する。具体的には、符号化部７３５７は、大規模点群を符号化するために適した第３の符号化方法を用いて符号化を行う。また、符号化部７３５７は、符号化データを多重化する。大規模データ蓄積部７３５４は、符号化部７３５７で符号化及び多重化されたデータを蓄積する。
【0214】
エッジ７３６０は、センシングを行う。具体的には、点群データ生成部７３６２Ａは、センサ７３６１Ａで取得されるセンシング情報を用いて、第１の点群データ（位置情報（ジオメトリ）及び属性情報）を生成する。点群データ生成部７３６２Ｂは、センサ７３６１Ｂで取得されるセンシング情報を用いて、第２の点群データ（位置情報及び属性情報）を生成する。生成された第１の点群データ及び第２の点群データは、自動運転の自己位置推定或いは車両制御、又は地図更新に用いられる。それぞれの処理において、第１の点群データ及び第２の点群データのうちの一部の情報が用いられてもよい。
【0215】
エッジ７３６０は、自己位置推定を行う。具体的には、エッジ７３６０は、大規模データをクラウドサーバ７３５０からダウンロードする。逆多重化部７３６７は、ファイルフォーマットの大規模データを逆多重化することで符号化データを取得する。復号部７３６８は、取得された符号化データを復号することで大規模点群地図データである大規模データを取得する。
【0216】
自己位置推定部７３７０は、取得された大規模データと、点群データ生成部７３６２Ａ及び７３６２Ｂで生成された第１の点群データ及び第２の点群データとをマッチングすることで、車両の地図における自己位置を推定する。また、運転制御部７３７１は、当該マッチング結果又は自己位置推定結果を運転制御に用いる。
【0217】
なお、自己位置推定部７３７０及び運転制御部７３７１は、大規模データのうち、位置情報などの特定の情報を抽出し、抽出した情報を用いて処理を行ってもよい。また、フィルタ７３６９は、第１の点群データ及び第２の点群データに補正又は間引き等の処理を行う。自己位置推定部７３７０及び運転制御部７３７１は、当該処理が行われた後の第１の点群データ及び第２の点群データを用いてもよい。また、自己位置推定部７３７０及び運転制御部７３７１は、センサ７３６１Ａ及び７３６１Ｂで得られたセンサ信号を用いてもよい。
【0218】
同期部７３６３は、複数のセンサ信号又は複数の点群データのデータ間の時間同期及び位置補正を行う。また、同期部７３６３は、自己位置推定処理によって生成された、大規模データとセンサデータとの位置補正情報に基づき、センサ信号又は点群データの位置情報を大規模データに合わせるように補正してもよい。
【0219】
なお、同期及び位置補正はエッジ７３６０でなく、クラウドサーバ７３５０で行われてもよい。この場合、エッジ７３６０は、同期情報及び位置情報を多重化してクラウドサーバ７３５０へ送信してもよい。
【0220】
エッジ７３６０は．センサ信号又は点群データを符号化及び多重化する。具体的には、センサ信号又は点群データは、それぞれの信号を符号化するために適した第１の符号化方法又は第２の符号化方法を用いて符号化される。例えば、符号化部７３６４Ａは、第１の符号化方法を用いて第１の点群データを符号化することで第１の符号化データを生成する。符号化部７３６４Ｂは、第２の符号化方法を用いて第２の点群データを符号化することで第２の符号化データを生成する。
【0221】
多重化部７３６５は、第１の符号化データ、第２の符号化データ、及び同期情報などを多重化することで多重化信号を生成する。更新データ蓄積部７３６６は、生成された多重化信号を蓄積する。また、更新データ蓄積部７３６６は、多重化信号をクラウドサーバ７３５０へアップロードする。
【0222】
クラウドサーバ７３５０は、点群データを合成する。具体的には、逆多重化部７３５１は、クラウドサーバ７３５０にアップロードされた多重化信号を逆多重化することで第１の符号化データ及び第２の符号化データを取得する。復号部７３５２Ａは、第１の符号化データを復号することで第１の点群データ（又はセンサ信号）を取得する。復号部７３５２Ｂは、第２の符号化データを復号することで第２の点群データ（又はセンサ信号）を取得する。
【0223】
点群データ合成部７３５３は、第１の点群データと第２の点群データとを所定の方法で合成する。多重化信号に同期情報及び位置補正情報が多重化されている場合には、点群データ合成部７３５３は、それらの情報を用いて合成を行ってもよい。
【0224】
復号部７３５５は、大規模データ蓄積部７３５４に蓄積されている大規模データを逆多重化及び復号する。比較部７３５６は、エッジ７３６０で得られたセンサ信号に基づき生成された点群データとクラウドサーバ７３５０が有する大規模データとを比較し、更新が必要な点群データを判断する。比較部７３５６は、大規模データのうち、更新が必要と判断された点群データを、エッジ７３６０から得られた点群データに更新する。
【0225】
符号化部７３５７は、更新された大規模データを符号化及び多重化し、得られたデータを大規模データ蓄積部７３５４に蓄積する。
【0226】
以上のように、使用する用途又はアプリケーションに応じて、取り扱う信号が異なり、多重化する信号又は符号化方法が異なる場合がある。このような場合であっても、本実施の形態を用いて様々な符号化方式のデータを多重化することで、柔軟な復号及びアプリケーション処理が可能となる。また、信号の符号化方式が異なる場合であっても、逆多重化、復号、データ変換、符号化、多重の処理により適した符号化方式を変換することで、様々なアプリケーションやシステムを構築し、柔軟なサービスの提供が可能となる。
【0227】
以上のように、本実施の形態に係る三次元データ多重化装置は、図３３に示す処理を行う。三次元データ多重化装置は、点群データを含む複数種類のデータを多重化することで所定のファイル構成（例えばＩＳＯＢＭＦＦ）の出力信号を生成する（Ｓ７３１１）。次に、三次元データ多重化装置は、ファイル構成におけるメタデータ（制御情報）に出力信号に含まれる複数のデータの各々の種別を示す情報（例えばｄａｔａ＿ｔｙｐｅ）を格納する（Ｓ７３１２）。
【0228】
これによれば、三次元データ多重化装置は、ファイル構成におけるメタデータに出力信号に含まれる複数のデータの各々の種別を示す情報を格納する。これにより、当該出力信号を受信する三次元データ逆多重化装置において、容易に各データの種別を判定できる。このように、当該三次元データ多重化方法は、適切に点群データを多重化して送信できる。
【0229】
例えば、複数のデータの各々の種別を示す情報は、（１）データに適用された符号化方式、（２）データの構成、（３）データを生成したセンサの種類、又は（４）データフォーマットを示す。
【0230】
例えば、ファイル構成におけるメタデータは、出力信号に含まれる複数のデータの時刻を同期させるための同期情報を含む。これによれば、当該出力信号を受信する三次元データ逆多重化装置において、複数のデータを同期させることができる。
【0231】
例えば、同期情報は、複数のデータ間におけるタイムスタンプの差分を示す。これによれば、出力信号のデータ量を削減できる。
【0232】
例えば、三次元データ多重化装置は、プロセッサと、メモリとを備え、プロセッサは、メモリを用いて、上記の処理を行う。
【0233】
また、本実施の形態に係る三次元データ逆多重化装置は、図３４に示す処理を行う。三次元データ逆多重化装置は、点群データを含む複数種類のデータが多重化された所定のファイル構成（例えばＩＳＯＢＭＦＦ）の出力信号から、ファイル構成におけるメタデータに格納されている、出力信号に含まれる複数のデータの各々の種別を示す情報（例えばｄａｔａ＿ｔｙｐｅ）を取得する（Ｓ７３２１）。三次元データ逆多重化装置は、複数のデータの各々の種別を示す情報を用いて、出力信号から複数のデータを取得する（Ｓ７３２２）。例えば、三次元データ逆多重化装置は、複数のデータの各々の種別を示す情報を用いて、出力信号から必要なデータを選択的に取得する。これによれば、三次元データ逆多重化装置は、容易に各データの種別を判定できる。
【0234】
例えば、複数のデータの各々の種別を示す情報は、（１）データに適用された符号化方式、（２）データの構成、（３）データを生成したセンサの種類、又は（４）データフォーマットを示す。
【0235】
例えば、ファイル構成におけるメタデータは、出力信号に含まれる複数のデータの時刻を同期させるための同期情報を含む。例えば、三次元データ逆多重化装置は、同期情報を用いて複数のデータを同期させる。
【0236】
例えば、同期情報は、複数のデータ間におけるタイムスタンプの差分を示す。例えば、同期情報は、複数のデータのいずれかのタイムスタンプを示す情報を含み、三次元データ逆多重化装置は、複数のデータのいずれかのタイムスタンプに、同期情報で示される差分を加えることで、複数のデータのうちの他のデータのタイムスタンプを復元する。これにより、出力信号のデータ量を削減できる。
【0237】
例えば、三次元データ逆多重化装置は、プロセッサと、メモリとを備え、プロセッサは、メモリを用いて、上記の処理を行う。
【0238】
（実施の形態２）
まず、点群データの生成及び合成について説明する。図３５は、複数のセンサ信号を処理するシステムの一例である三次元データ符号化装置（三次元データ多重化装置）の構成例を示す図である。三次元データ符号化装置は、センシング部８６０１Ａ、８６０１Ｂ及び８６０１Ｃと、入出力部８６０２Ａ、８６０２Ｂ及び８６０２Ｃと、点群データ生成部８６０３と、符号化部８６０４と、同期部８６０５と、多重化部８６０６とを備える。
まず、点群データの生成及び合成について説明する。図３５は、複数のセンサ信号を処理するシステムの一例である三次元データ符号化装置（三次元データ多重化装置）の構成例を示す図である。三次元データ符号化装置は、センシング部８６０１Ａ、８６０１Ｂ及び８６０１Ｃと、入出力部８６０２Ａ、８６０２Ｂ及び８６０２Ｃと、点群データ生成部８６０３と、符号化部８６０４と、同期部８６０５と、多重化部８６０６とを備える。
【0239】
入出力部８６０２Ａは、センシング部８６０１Ａでセンシングにより生成された第１のセンサ信号を取得する。入出力部８６０２Ｂは、センシング部８６０１Ｂでセンシングにより生成された第２のセンサ信号を取得する。入出力部８６０２Ｃは、センシング部８６０１Ｃでセンシングにより生成された第３のセンサ信号を取得する。なお、入出力部８６０２Ａ、８６０２Ｂ及び８６０２Ｃは、取得したセンサ信号を蓄積するメモリを有してもよい。
【0240】
点群データ生成部８６０３は、第１のセンサ信号と第２のセンサ信号とを合成（マージ、又はフュージョンともいう）することで合成点群データを生成する。合成点群データは、第１のセンシング部８６０１Ａ及び第２のセンシング部８６０１Ｂで得られる三次元点の位置情報及び属性情報と、その他のセンサ情報とを含む。なお、点群データ生成部８６０３は、第３のセンサ信号、共通のセンサ信号、共通の時刻情報などの複数センシング間を同期させるための同期信号を、同期信号に基づき、合成してもよい。
【0241】
符号化部８６０４は、合成点群データを符号化することで符号化データを生成する。同期部８６０５は、複数のセンシング部を同期させるための機能を持つ。多重化部８６０６は、符号化データ、メタデータ、センサ信号のＲＡＷデータ、及び同期信号を多重化することで出力信号（ビットストリーム）を生成する。
【0242】
図３６は、点群データ生成部８６０３の構成を示すブロック図である。点群データ生成部８６０３は、変換部８６１１及び８６１２と、合成部８６１３とを備える。
【0243】
変換部８６１１は、第１のセンサ信号から第１の点群データを生成する。変換部８６１２は、第２のセンサ信号から第２の点群データを生成する。センサ信号は、例えばレーザー角度と距離情報からなる一次元の情報、又は、ＦＬＡＳＨ ＬｉＤＡＲ或いはカメラなどで得られる二次元の距離情報などである。変換部８６１１及び８６１２は、その一次元又は二次元の位置情報（ジオメトリ情報）を三次元の位置情報（例えば（ｘ、ｙ、ｚ）座標）に変換する。
【0244】
点群データの構成要素である点（三次元点）は、三次元座標等の位置情報と、その位置情報に対する属性情報とを含む。図３７～図３９は、三次元点の情報の例を示す図である。図３７に示す例では、１つの位置情報に対して１つの属性情報が存在する。図３８及び図３９に示す例では、１つの位置情報に対して２以上の属性情報が存在する。１つの位置情報に対して複数の属性情報が存在する場合には、複数の異なる属性種別が存在する場合と、同じ属性種別の属性情報が複数存在する場合とがある。図３７に示す例は、例えば、１つの色情報が属性情報として存在する場合である。また、図３８に示す例は、例えば、色情報と反射率の情報とが存在する場合である。また、図３９に示す例は、例えば、３以上の色情報が存在する場合である。なお、位置情報は（ｘ、ｙ、ｚ）の３値を持つ。色情報は、（Ｒ、Ｇ、Ｂ）又は（Ｙ、Ｃｂ、Ｃｒ）の３値を持つ。反射率は１値である。このように、位置情報及び属性情報は、次元毎の情報を持ってもよい。
【0245】
なお、第１のセンサ信号に基づく属性情報と、第２のセンサ信号に基づく属性情報とは、異なる対象物の同じ種別の属性情報（例えば色）であってもよいし、異なる種別の属性情報（例えば色と反射率）であってもよい。
【0246】
以下、点群データファイルの合成について説明する。図４０は、複数のセンサ信号を合成し、合成した点群データを生成する例を示す図である。同図は、点毎の情報を有するセンサ情報Ｘ及びセンサ情報Ｙと、共通の情報を有するセンサ情報Ｚとを合成する例を示している。合成後の点群情報である合成点群情報は、共通の情報と、点毎の情報と、構成情報とを含む。
【0247】
以下、センサ情報Ｘとセンサ情報Ｙとが同一の属性情報（例えば、色情報又は反射率）を有する例を説明する。例えば、構成情報は、センサＩＤと、合成元のセンサ情報とを含む。図４０に示す例では、構成情報は、センサ情報Ｘを生成したセンサＸ（ＳｅｎｓｏｒＸ）の情報として、センサＩＤ（ＩＤ＝Ｓ１）と、センサ情報（Ｓｅｎｓｏｒ）と、センサのバージョン（Ｖｅｒｓｉｏｎ）と、センサのメーカー名（Ｍａｋｅｒ）と、センサの設置情報（Ｍｏｕｎｔ Ｉｎｆｏ．）と、センサの位置座標（Ｗｏｒｌｄ Ｃｏｏｒｄｉｎａｔｅ）とを含む。また、構成情報は、センサ情報Ｙを生成したセンサＹ（ＳｅｎｓｏｒＹ）の情報として、センサＩＤ（ＩＤ＝Ｓ２）を含む。なお、これらは一例であり、センサ情報として上記の一部の情報が含まれてもよい。
【0248】
また、各点の情報には、センサＩＤ（Ｓ１又はＳ２）を示す属性情報Ｓが含まれる。このように、点毎のデータが、どのセンサから取得されたデータであるかを示す識別情報（センサＩＤ）が点毎に示される。
【0249】
【0250】
また、ここでは、センサ等のセンシング手段により得られた点について、説明をしているが、この限りではない。例えば、人工的に付与された点については、センシング手段により得られた点ではないとして、「センサＩＤ：Ｓ４・・・センシング手段以外により得られた点」と定義し、属性情報ＳにＳ４が付与されてもよいし、属性情報Ｓに無効化を意味する固定値が示されてもよい。これにより、三次元データ復号装置は、合成点群において、センシング手段でない手段により得られた点を識別できる。
【0251】
また、構成情報は、センシング手段でない手段により得られた点を識別する情報を含んでもよいし、合成点群がセンシング手段でない手段により得られた点を含むことを示すフラグを含んでもよい。これにより、三次元データ復号装置は、合成点群が、センシング手段でない手段により得られた点を含むか否かを判別できる。
【0252】
また、図４１等に示す例は、センサ情報Ｘとセンサ情報Ｙとで位置情報が重複する場合（１番目と４番目の位置情報がＧ１で同一）において、重複する点をそのまま記載する例である。なお、三次元データ符号化装置は、重複する点を所定の方法でマージしてもよいし、いずれか一方を選択してもよい。三次元データ符号化装置は、重複する点をマージする場合は、当該点が複数のセンサから取得された情報がマージされたデータであることを合成点群情報に示す。例えば、センサＩＤ（Ｓｅｎｓｏｒ ＩＤ）＝Ｓ１はセンサＸで得られたデータを示し、センサＩＤ＝Ｓ２はセンサＹで得られたデータを示し、センサＩＤ＝Ｓ３はセンサＸとセンサＹとのデータがマージされたデータであることを示す。
【0253】
以下、センサ情報Ｘとセンサ情報Ｙとが異なる属性情報を有する例を説明する。図４２は、この場合の合成処理を説明するための図である。図４２に示すように、三次元データ符号化装置は、異なるセンサ情報から、それぞれ異なる属性情報Ａ１（例えば色情報）及び属性情報Ａ２（例えば反射率）を取得し、これらを合成する。構成情報は、属性情報Ａ１とＡ２の情報、及び識別情報を含む。
【0254】
センサＸとセンサＹで得られる点には、位置情報が重複する点と重複しない点がある。位置情報が重複する場合は、合成位置情報において、一つの位置情報に対して、属性情報Ａ１と属性情報Ａ２とが存在する。位置情報が重複しない場合は、合成位置情報において、一つの位置情報に対して、属性情報Ａ１と属性情報Ａ２のいずれかが存在する。
【0255】
このとき、属性情報が存在しない場合は、当該属性情報が有効でないことを示す情報（Ｎ／Ａ）が示される。なお、図４２ではＮ／Ａと記載しているが、０又は－１などの固定値により有効でないことが示されてもよい。なお、有効でない属性情報を含む点の情報を示さなくてもよい。または、有効でない属性情報が所定の方法で補間、又は推測されてもよい。また、有効でない属性情報を含むか否かを示すフラグが構成情報に含まれてもよい。
【0256】
次に、点群情報Ｘが属性情報Ａと属性情報Ｂとを有し、点群情報Ｙが属性情報Ｂを有する例を説明する。図４３は、この場合の合成処理を説明するための図である。
【0257】
点群情報Ｘは、１つのセンサ情報から得られた２以上の属性情報を含む点群情報である。なお、点群情報Ｘは、２以上のセンサ情報から予め変換された点群情報であってもよい。また、点群情報Ｙは、１つの属性情報を持つ点群情報である。
【0258】
点群情報Ｘにおいて、位置情報Ｇ２は有効な属性情報Ａ２を持たない。また、点群情報Ｘと点群情報Ｙとで、位置情報Ｇ２及び位置情報Ｇ３は重複する。
【0259】
合成点群情報（重複点あり）は、重複する点の情報を個別に記載する例である。合成点群情報に含まれる点の数は、合成前の点群情報の点の数を合わせたものに等しい。また、構成情報は、属性情報Ｓが、点情報（位置情報及び属性情報）がどのセンサで取得されたかを示す識別情報であることを示す。また、点毎の情報として属性情報Ｓが付加されている。
【0260】
合成点群情報（重複点なし）は、合成点群情報（重複点あり）において重複する点の情報をマージした例である。属性情報Ａ１は全てセンサＸで取得されたデータであり、属性情報Ａ２はセンサＸで取得されたデータ、センサＹで取得されたデータ、両方のデータに基づくデータ、及びＮ／Ａのいずれかである。
【0261】
構成情報は、属性情報Ａ１がセンサＸで取得されたことを示す。また、属性情報は、属性情報Ｓが、属性情報Ａ２がどのセンサで取得されたかを示す情報であることを示す。なお、属性情報Ａ１がどのセンサで取得されたかを示す情報が別の属性情報として設けられてもよい。
【0262】
なお、点群情報の合成において、重複点をマージしたか否かを示すフラグが構成情報に含まれてもよい。また、重複点のマージにおいて、属性情報をマージしたか否かを示すフラグが構成情報に含まれてもよい、また、マージの方法を示す識別子が構成情報に含まれてもよい。あるいは、マージでなく、一方の属性情報を選択した場合は、その選択基準を示す識別子が構成情報に含まれてもよい。
【0263】
属性情報Ｓは、属性情報Ａ２の各点のデータがどのセンサで取得されたかを示す。例えば、センサＩＤ（Ｓｅｎｓｏｒ ＩＤ）＝Ｓ１はセンサＸで得られたデータを示し、センサＩＤ＝Ｓ２はセンサＹで得られたデータを示し、センサＩＤ＝Ｓ３はセンサＸとセンサＹとのデータがマージされたデータであることを示す。
【0264】
また、図４３におけるｆ（Ａ２Ｘ３、Ａ２Ｙ２）は、Ａ２Ｘ３とＡ２Ｙ２を用いた所定の方法で導出された値を示す。所定の方法とは、平均値、重み付けされた平均値、又は所定の基準値（例えば、センサの信頼度）に基づいて複数の値から１つの値を選択する方法などである。
【0265】
以上のように、点群データ、又は点群データの属性情報が、どのセンサ情報又はどの点群情報から得られる情報であるかを構成情報又は属性情報で示すことにより、後段の符号化部或いは復号部、多重化部或いは逆多重化部、又は、アプリ処理において、効率の良い符号化、又は様々な柔軟な機能を実現できる。
【0266】
なお、ここでは、属性情報が２つである例を示したが、属性情報は３以上であってもよいし、属性情報を含まない点群であってもよい。
【0267】
また、属性情報Ｓは、点群情報又は属性情報が、どのセンサで取得されたかを示す情報だけでなく、位置情報がどのセンサで取得されたかを示す情報であってもよいし、位置情報と属性情報の任意の組み合わせ（クラス）が定義され、点の組み合わせがどのクラスのデータであるかを示してもよい。
【0268】
また、図４３に示す構成情報は、図４０と同様に、センサＩＤに加え、センサ情報（Ｓｅｎｓｏｒ）と、センサのバージョン（Ｖｅｒｓｉｏｎ）と、センサのメーカー名（Ｍａｋｅｒ）と、センサの設置情報（Ｍｏｕｎｔ Ｉｎｆｏ．）と、センサの位置座標（Ｗｏｒｌｄ Ｃｏｏｒｄｉｎａｔｅ）とのうち少なく一つを含んでもよい。これにより、三次元データ復号装置は、構成情報から各種センサの情報を取得できる。
【0269】
次に、合成点群データの符号化方法について説明する。図４４は、三次元データ符号化復号システムのブロック図である。同図に示すシステムは、三次元データ符号化装置８６２０と、三次元データ復号装置８６３０とを含む。三次元データ符号化装置８６２０は、符号化部８６２１と、多重化部８６２２とを含む。符号化部８６２１は、合成された点群データ（又はセンサ信号）を符号化することで符号化データを生成する。多重化部８６２２は、符号化データを多重することで多重化信号（ビットストリーム）を生成する。
【0270】
三次元データ復号装置８６３０は、逆多重化部８６３１と、復号部８６３２と、再構成部８６３３とを含む。逆多重化部８６３１は、多重化信号を逆多重化することで符号化データを生成する。復号部８６３２は、符号化データを復号することで復号データを生成する。再構成部８６３３は、復号データを再構成することで点群データ（又はセンサ信号）を復元する。
【0271】
図４５は、メタデータ及び符号化データを含むビットストリームの構造を示す図である。全体のメタデータであるＳＰＳは、点群データに含まれる属性情報のリストを含む。リストには、属性情報の識別情報（ａｔｔｒｉｂｕｔｅ＿ｔｙｐｅ）が格納される。
【0272】
点群情報又は属性情報が、どのセンサで取得されたかを示す属性情報（例えば、「センサ属性」）が定義される。全体点群情報に、ａｔｔｒｉｂｕｔｅ＿ｔｙｐｅ＝「センサ属性」の属性情報が含まれる場合には、全体メタデータにおける属性情報のリストに、ａｔｔｒｉｂｕｔｅ＿ｔｙｐｅ＝「センサ属性」が示される。センサ属性情報が一次元であるか、二次元であるかが定義され、次元数が示されてもよい。
【0273】
また、全体のセンサ情報（Ｚ）は、符号化に必須でない場合は、オプションであるＳＥＩに格納され、符号化に必須である場合には、ＳＰＳ又はＡＰＳなどに格納される。また、構成情報から得られるセンサ属性に関するメタデータは、センサ属性に関するメタデータＡＰＳ３に格納される。位置情報Ｇ、属性情報Ａ１、属性情報Ａ２、センサ属性を示す属性情報Ｓは、それぞれエントロピー符号化により圧縮され、符号化データとして出力される。
【0274】
また、図４５に示す、ＳＰＳは符号化データ全体のメタデータであり、ＧＰＳは位置情報のメタデータであり、ＡＰＳは属性情報毎のメタデータであり、ＳＥＩはオプションのメタデータであり、Ｇは位置情報の符号化データであり、Ａ１、Ａ２及びＡ３は属性情報符号化データである。
【0275】
次に、合成点群データの復号方法及び活用例を説明する。図４６は、三次元データ復号装置における復号処理のフローチャートである。まず、三次元データ復号装置は、ビットストリームに含まれるメタデータを解析し、符号化データを構成する位置情報及び属性情報の情報を取得し、それぞれの符号化データを復号する（Ｓ８６０１）。
【0276】
また、三次元データ復号装置は、符号化データが、ａｔｔｒｉｂｕｔｅ＿ｔｙｐｅが「センサ属性」である属性情報を含むか否かを判定する（Ｓ８６０２）。符号化データにセンサ属性の属性情報が含まれる場合（Ｓ８６０２でＹｅｓ）、三次元データ復号装置は、センサ属性を含む点群データを再構成する（Ｓ８６０３）。符号化データにセンサ属性の属性情報が含まれない場合（Ｓ８６０２でＮｏ）、三次元データ復号装置は、センサ属性を含まない点群データを再構成する（Ｓ８６０４）。
【0277】
図４７は、センサ属性を含む点群データから特定の点を抽出する処理を示すフローチャートである。また、図４８は、データ抽出の例を示す図である。まず、三次元データ復号装置は、センサ属性を含む点群データからセンサＸ（ＳｅｎｓｏｒＸ）に関わる点を抽出することを決定する（Ｓ８６１１）。次に、三次元データ復号装置は、構成情報を解析し、属性情報Ａ１はセンサＸで取得されたこと、属性情報Ａ２がどのセンサで取得されたかが属性情報Ｓに示されることを認識する（Ｓ８６１２）。
【0278】
次に、三次元データ復号装置は、属性情報のタイプを判定する（Ｓ８６１３）。属性情報のタイプがＡ１である場合（Ｓ８６１３でＡ１）、三次元データ復号装置は、当該データがセンサＸに基づくデータであると判断し、Ａ１データを抽出する（Ｓ８６１４）。なお、三次元データ復号装置は、データがＮ／Ａの場合は当該データを抽出しない。
【0279】
属性情報のタイプがＡ２又はＳである場合（Ｓ８６１３でＡ２ ｏｒ Ｓ）、三次元データ復号装置は、属性情報Ｓに基づきＡ２のセンサ属性を解析する（Ｓ８６１５）。センサ属性がＳ１又はＳ３である場合（Ｓ８６１５でＳ１ ｏｒ Ｓ３）、三次元データ復号装置は、当該データがセンサＸに基づくデータと判断し、Ａ２データを抽出する（Ｓ８６１６）。一方、センサ属性がＳ２である場合（Ｓ８６１５でＳ２）、三次元データ復号装置は、当該データがセンサＹに基づくデータと判断し、Ａ２データを抽出しない（Ｓ８６１７）。
【0280】
なお、三次元データ復号装置は、センサ属性の解析（Ｓ８６１５）においてセンサ属性がＳ３である場合、マージされたｆ（Ａ２Ｘ３、Ａ２Ｙ２）を所定の方法で変換あるいは補正してもよい。また、三次元データ復号装置は、センサＸで取得された元データを抽出する場合、センサ属性の解析においてＳ３のデータを抽出しなくてもよい。
【0281】
また、図４８に示す構成情報は、図４０と同様に、センサＩＤに加え、センサ情報（Ｓｅｎｓｏｒ）と、センサのバージョン（Ｖｅｒｓｉｏｎ）と、センサのメーカー名（Ｍａｋｅｒ）と、センサの設置情報（Ｍｏｕｎｔ Ｉｎｆｏ．）と、センサの位置座標（Ｗｏｒｌｄ Ｃｏｏｒｄｉｎａｔｅ）とのうち少なく一つを含んでもよい。これにより、三次元データ復号装置は、構成情報から各種センサの情報を取得できる。
【0282】
次に、データ分割を行う場合の合成点群データの符号化方法を説明する。データ分割は、並列処理による高速化、及び同一属性を持つ属性情報のグルーピングによる符号化効率向上に有効であり、所定の方法で点群データが分割される。
【0283】
図４９は、三次元データ符号化復号システムのブロック図である。同図に示すシステムは、三次元データ符号化装置８６４０と、三次元データ復号装置８６５０とを含む。三次元データ符号化装置８６４０は、分割部８６４１と、複数の符号化部８６４２と、多重化部８６４３とを含む。
【0284】
分割部８６４１は、点群データをタイル又はスライスなどの複数のデータ単位に分割することで複数の分割データを生成する。または、分割部８６４１は、点群データに含まれる属性情報をセンサ情報毎に分割することで複数の分割データを生成する。
【0285】
複数の符号化部８６４２は、複数の分割データを分割単位ごとに符号化する複数の符号化データを生成する。多重化部８６４３は、複数の符号化データを多重することで多重化信号（ビットストリーム）を生成する。
【0286】
三次元データ復号装置８６５０は、逆多重化部８６５１と、複数の復号部８６５２と、再構成部８６５３とを含む。逆多重化部８６５１は、多重化信号を逆多重化することで複数の符号化データを生成する。復号部８６５２は、複数の符号化データを復号することで複数の復号データを生成する。再構成部８６５３は、複数の復号データを再構成することで、点群データを再構成する。
【0287】
図５０は、センサ情報毎にデータ分割を行う場合の符号化処理のフローチャートである。まず、三次元データ符号化装置は、入力点群データの構成情報を解析する（Ｓ８６２１）。次に、三次元データ符号化装置は、点群データ（位置情報及び属性情報）を、センサ情報毎に分割して符号化することに決定する（Ｓ８６２２）。例えば、三次元データ符号化装置は、構成情報に基づき、分割を行ったほうが符号化効率が良いと判定とした場合に分割すると決定してもよい。または、三次元データ符号化装置は、実際に符号化効率を見積もり、その結果に基づき分割するか否かを決定してもよい。または、三次元データ符号化装置は、アプリ等の外部からの指示に基づき分割するか否かを決定してもよい。
【0288】
次に、三次元データ符号化装置は、点データが、どのセンサに基づくデータであるかを判定する（Ｓ８６２３）。センサ属性がＳ１であり、点データがセンサＸに基づく場合（Ｓ８６２４でＳ１）、三次元データ符号化装置は、センサＸに基づく分割データとして当該データを符号化する（Ｓ８６２５）。一方、センサ属性がＳ２であり、点データがセンサＹに基づく場合（Ｓ８６２４でＳ２）、三次元データ符号化装置は、センサＹに基づく分割データとして当該データを符号化する（Ｓ８６２６）。
【0289】
次に、三次元データ符号化装置は、入力データの構成情報を、全体構成情報と、分割データ毎の構成情報とに分割し、全体構成情報と、分割データ毎の構成情報とをメタデータに格納する。また、三次元データ符号化装置は、メタデータ及び符号化データを多重化することで多重化信号（ビットストリーム）を生成する（Ｓ８６２７）。
【0290】
【0291】
また、図５１に示す全体構成情報及び分割データ毎の構成情報の少なくとも一方は、図４０と同様に、センサＩＤに加え、センサ情報（Ｓｅｎｓｏｒ）と、センサのバージョン（Ｖｅｒｓｉｏｎ）と、センサのメーカー名（Ｍａｋｅｒ）と、センサの設置情報（Ｍｏｕｎｔ Ｉｎｆｏ．）と、センサの位置座標（Ｗｏｒｌｄ Ｃｏｏｒｄｉｎａｔｅ）とのうち少なく一つを含んでもよい。これにより、三次元データ復号装置は、構成情報から各種センサの情報を取得できる。
【0292】
以下、分割データの復号及びアプリケーションの例を説明する。まず、分割データの情報について説明する。図５２は、ビットストリームの構成例を示す図である。分割データの全体情報は、分割データ毎に、当該分割データのセンサＩＤ（ｓｅｎｓｏｒ＿ｉｄ）とデータＩＤ（ｄａｔａ＿ｉｄ）とを示す。なお、データＩＤは各符号化データのヘッダにも示される。
【0293】
なお、図５２に示す分割データの全体情報は、図４０と同様に、センサＩＤに加え、センサ情報（Ｓｅｎｓｏｒ）と、センサのバージョン（Ｖｅｒｓｉｏｎ）と、センサのメーカー名（Ｍａｋｅｒ）と、センサの設置情報（Ｍｏｕｎｔ Ｉｎｆｏ．）と、センサの位置座標（Ｗｏｒｌｄ Ｃｏｏｒｄｉｎａｔｅ）とのうち少なく一つを含んでもよい。これにより、三次元データ復号装置は、構成情報から各種センサの情報を取得できる。
【0294】
分割データの全体情報は、メタデータであるＳＰＳ、ＧＰＳ又はＡＰＳに格納されてもよいし、符号化に必須でないメタデータであるＳＥＩに格納されてもよい。また、三次元データ符号化装置は、多重化の際に、当該ＳＥＩをＩＳＯＢＭＦＦのファイルに格納する。三次元データ復号装置は、当該メタデータに基づき、所望の分割データを取得できる。
【0295】
図５２において、ＳＰＳは符号化データ全体のメタデータであり、ＧＰＳは位置情報のメタデータであり、ＡＰＳは属性情報毎のメタデータであり、Ｇは分割データ毎の位置情報の符号化データであり、Ａ１等は分割データ毎の属性情報の符号化データである。
【0296】
次に、分割データのアプリケーション例を説明する。点群データから、任意の点群を選択し、選択した点群を提示するアプリケーションの例を説明する。図５３は、このアプリケーションにより実行される点群選択処理のフローチャートである。図５４～図５６は、点群選択処理の画面例を示す図である。
【0297】
図５４に示すように、アプリケーションを実行する三次元データ復号装置は、例えば、任意の点群を選択するための入力ＵＩ（ユーザインタフェース）８６６１を表示するＵＩ部を有する。入力ＵＩ８６６１は、選択された点群を提示する提示部８６６２と、ユーザの操作を受け付ける操作部（ボタン８６６３及び８６６４）を有する。三次元データ復号装置は、ＵＩ８６６１で点群が選択された後、蓄積部８６６５から所望のデータを取得する。
【0298】
まず、ユーザの入力ＵＩ８６６１に対する操作に基づき、ユーザが表示したい点群情報が選択される（Ｓ８６３１）。具体的には、ボタン８６６３が選択されることで、センサ１に基づく点群が選択される。ボタン８６６４が選択されることで、センサ２に基づく点群が選択される。または、ボタン８６６３及びボタン８６６４の両方が選択されることで、センサ１に基づく点群とセンサ２に基づく点群の両方が選択される。なお、点群の選択方法は一例であり、これに限らない。
【0299】
次に、三次元データ復号装置は、多重化信号（ビットストリーム）又は符号化データに含まれる分割データの全体情報を解析し、選択されたセンサのセンサＩＤ（ｓｅｎｓｏｒ＿ｉｄ）から、選択された点群を構成する分割データのデータＩＤ（ｄａｔａ＿ｉｄ）を特定する（Ｓ８６３２）。次に、三次元データ復号装置は、多重化信号から、特定された所望のデータＩＤを含む符号化データを抽出し、抽出した符号化データを復号することで、選択されたセンサに基づく点群を復号する（Ｓ８６３３）。なお、三次元データ復号装置は、その他の符号化データは復号しない。
【0300】
最後に、三次元データ復号装置は、復号された点群を提示（例えば表示）する（Ｓ８６３４）。図５５は、センサ１のボタン８６６３が押下された場合の例を示し、センサ１の点群が提示される。図５６は、センサ１のボタン８６６３とセンサ２のボタン８６６４の両方が押下された場合の例を示し、センサ１及びセンサ２の点群が提示される。
【0301】
以上のように、本実施の形態に係る三次元データ符号化装置は、図５７に示す処理を行う。三次元データ符号化装置は、点群データを符号化することで符号化データを生成し（Ｓ８６４１）、符号化データを含むビットストリームを生成する（Ｓ８６４２）。ビットストリームは、点群データに対応するセンサを示す第１情報（例えば構成情報又は属性情報Ｓ等）を含む。
【0302】
これによれば、三次元データ復号装置は、第１情報に用いて所望のセンサで得られた点群データを抽出できる。よって、当該三次元データ符号化装置は、適切に点群データを抽出できるビットストリームを生成できる。
【0303】
例えば、図４０等に示すように、第１情報は、点群データに含まれる複数の三次元点毎に生成され、対応する三次元点に対応するセンサを示す第２情報（例えば属性情報Ｓ）を含む。
【0304】
例えば、図４０等に示すように、点群データは、複数の三次元点の各々の位置情報（例えばＧ）と１以上の属性情報（例えばＡ１）とを含み、第２情報は、１以上の属性情報の１つ（例えば属性情報Ｓ）として符号化データに含まれる。
【0305】
例えば、図４０等に示すように、ビットストリームは、複数の三次元点に共通の第３情報（例えば構成情報）を含み、第２情報は、センサの識別子（例えばＳ１等）であり、第３情報は、センサの識別とセンサとの対応関係を示す第４情報（例えばＩＤ等）を含む。
【0306】
例えば、図４１に示すように、ビットストリームは、複数の三次元点に共通の第３情報を含み第３情報は、センサ毎の三次元点の数（例えばｎｕｍＰｏｉｎｔｓ）を示す。
【0307】
例えば、図４２に示すように、点群データは、複数の三次元点の各々の位置情報と１以上の属性情報とを含み、第１情報は、１以上の属性情報の各々に対応するセンサを示す。
【0308】
例えば、図４３に示すように、三次元データ符号化装置は、さらに、第１センサに基づく第１点群データと、第２センサに基づく第２点群データとを合成することで、点群データ（例えば合成点群情報（重複点無し））を生成し、合成では、第１点群データと第２点群データとに同一の位置情報を有する第１の点の属性情報が含まれる場合、第１点群データに含まれる第１の点の属性情報と第２点群データに含まれる第１の点の属性情報とに基づく属性情報（例えばｆ（Ａ２Ｘ３、Ａ２Ｙ２）を合成後の属性情報として生成し、第１の情報は、点群データに含まれる第１の点の情報が第１センサ及び第２センサに基づくこと（例えばＳ３）を示す。
【0309】
例えば、図５１に示すように、三次元データ符号化装置は、点群データの符号化では、点群データを第１センサに基づく第１点群データと、第２センサに基づく第２点群データとに分割し、第１点群データ及び第２点群データを符号化することで符号化データを生成する。ビットストリームは、第１点群データ用の第１制御情報（例えば分割データ１の構成情報）と、第２点群データ用の第２制御情報（例えば分割データ２の構成情報）とを含む。第１情報は、（１）第１制御情報に含まれ、第１点群データに対応するセンサを示す情報と、（２）第２制御情報に含まれ、第２点群データに対応するセンサを示す情報と、を含む。
【0310】
例えば、図５１に示すように、三次元データ符号化装置は、点群データの符号化では、点群データを第１センサに基づく第１点群データと、第２センサに基づく第２点群データとに分割し、第１点群データ及び第２点群データを符号化することで符号化データを生成する。ビットストリームは、第１点群データと第２点群データとに共通の制御情報（例えば全体構成情報）を含み、第１情報は、制御情報に含まれる。
【0311】
例えば、三次元データ符号化装置は、プロセッサと、メモリとを備え、プロセッサは、メモリを用いて、上記の処理を行う。
【0312】
また、本実施の形態に係る三次元データ復号装置は、図５８に示す処理を行う。三次元データ復号装置は、点群データが符号化されることで生成された符号化データを含み、かつ点群データに対応するセンサを示す第１情報を含むビットストリームを復号することで、第１情報及び点群データを取得する（Ｓ８６５１）。例えば、三次元データ復号装置は、取得した第１情報を用いてビットストリームから所望のセンサに対応する点群データを取得する。
【0313】
これによれば、当該三次元データ復号装置は、適切に点群データを抽出できるビットストリームを復号することで点群データを取得できる。
【0314】
例えば、図４０等に示すように、第１情報は、点群データに含まれる複数の三次元点毎に生成され、対応する三次元点に対応するセンサを示す第２情報（例えば属性情報Ｓ）を含む。
【0315】
例えば、図４０等に示すように、点群データは、複数の三次元点の各々の位置情報（例えばＧ）と１以上の属性情報（例えばＡ１）とを含み、第２情報は、１以上の属性情報の１つ（例えば属性情報Ｓ）として符号化データに含まれる。
【0316】
例えば、図４０等に示すように、ビットストリームは、複数の三次元点に共通の第３情報（例えば構成情報）を含み、第２情報は、センサの識別子（例えばＳ１等）であり、第３情報は、センサの識別とセンサとの対応関係を示す第４情報（例えばＩＤ等）を含む。
【0317】
例えば、図４１に示すように、ビットストリームは、複数の三次元点に共通の第３情報を含み第３情報は、センサ毎の三次元点の数（例えばｎｕｍＰｏｉｎｔｓ）を示す。
【0318】
例えば、図４２に示すように、点群データは、複数の三次元点の各々の位置情報と１以上の属性情報とを含み、第１情報は、１以上の属性情報の各々に対応するセンサを示す。
【0319】
例えば、図４３に示すように、点群データ（例えば合成点群情報（重複点無し））は、第１センサに基づく第１点群データと、第２センサに基づく第２点群データとを合成することで生成される。合成では、第１点群データと第２点群データとに同一の位置情報を有する第１の点の属性情報が含まれる場合、第１点群データに含まれる第１の点の属性情報と第２点群データに含まれる第１の点の属性情報とに基づく属性情報（例えばｆ（Ａ２Ｘ３、Ａ２Ｙ２）が合成後の属性情報として生成され、第１の情報は、点群データに含まれる第１の点の情報が第１センサ及び第２センサに基づくこと（例えばＳ３）を示す。
【0320】
例えば、図５１に示すように、符号化データは、点群データが第１センサに基づく第１点群データと、第２センサに基づく第２点群データとに分割され、第１点群データ及び第２点群データが符号化されることで生成される。ビットストリームは、第１点群データ用の第１制御情報（例えば分割データ１の構成情報）と、第２点群データ用の第２制御情報（例えば分割データ２の構成情報）とを含む。第１情報は、（１）第１制御情報に含まれ、第１点群データに対応するセンサを示す情報と、（２）第２制御情報に含まれ、第２点群データに対応するセンサを示す情報と、を含む。
【0321】
例えば、図５１に示すように、符号化データは、点群データが第１センサに基づく第１点群データと、第２センサに基づく第２点群データとに分割され、第１点群データ及び第２点群データが符号化されることで生成される。ビットストリームは、第１点群データと第２点群データとに共通の制御情報（例えば全体構成情報）を含み、第１情報は、制御情報に含まれる。
【0322】
例えば、三次元データ復号装置は、プロセッサと、メモリとを備え、プロセッサは、メモリを用いて、上記の処理を行う。
【0323】
以上、本開示の実施の形態に係る三次元データ符号化装置及び三次元データ復号装置等について説明したが、本開示は、この実施の形態に限定されるものではない。
【0324】
また、上記実施の形態に係る三次元データ符号化装置及び三次元データ復号装置等に含まれる各処理部は典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。
【0325】
また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
【0326】
また、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
【0327】
また、本開示は、三次元データ符号化装置及び三次元データ復号装置等により実行される三次元データ符号化方法又は三次元データ復号方法等として実現されてもよい。
【0328】
また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを一つの機能ブロックとして実現したり、一つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。
【0329】
また、フローチャートにおける各ステップが実行される順序は、本開示を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時（並列）に実行されてもよい。
【0330】
以上、一つまたは複数の態様に係る三次元データ符号化装置及び三次元データ復号装置等について、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つまたは複数の態様の範囲内に含まれてもよい。
【産業上の利用可能性】
【0331】
本開示は、三次元データ符号化装置及び三次元データ復号装置に適用できる。
【符号の説明】
【0332】
４６０１ 三次元データ符号化システム
４６０２ 三次元データ復号システム
４６０３ センサ端末
４６０４ 外部接続部
４６１１ 点群データ生成システム
４６１２ 提示部
４６１３ 符号化部
４６１４ 多重化部
４６１５ 入出力部
４６１６ 制御部
４６１７ センサ情報取得部
４６１８ 点群データ生成部
４６２１ センサ情報取得部
４６２２ 入出力部
４６２３ 逆多重化部
４６２４ 復号部
４６２５ 提示部
４６２６ ユーザインタフェース
４６２７ 制御部
４６３０ 第１の符号化部
４６３１ 位置情報符号化部
４６３２ 属性情報符号化部
４６３３ 付加情報符号化部
４６３４ 多重化部
４６４０ 第１の復号部
４６４１ 逆多重化部
４６４２ 位置情報復号部
４６４３ 属性情報復号部
４６４４ 付加情報復号部
４６５０ 第２の符号化部
４６５１ 付加情報生成部
４６５２ 位置画像生成部
４６５３ 属性画像生成部
４６５４ 映像符号化部
４６５５ 付加情報符号化部
４６５６ 多重化部
４６６０ 第２の復号部
４６６１ 逆多重化部
４６６２ 映像復号部
４６６３ 付加情報復号部
４６６４ 位置情報生成部
４６６５ 属性情報生成部
７３０１、７３０１Ａ、７３０１Ｂ、７３０１Ｃ センシングデバイス
７３０２、７３０２Ａ、７３０２Ｂ、７３０２Ｃ センサ情報入力部
７３０３、７３０３Ａ、７３０３Ｃ 点群データ生成部
７３０４Ａ、７３０４Ｂ センシング部
７３０５ マージ部
７３１０ 第１のデバイス
７３１１、７３２１ センシング部
７３１２、７３２２ 出力Ｉ／Ｆ
７３２０ 第２のデバイス
７３２３ 入力Ｉ／Ｆ
７３２４ 処理部
７３２５ 点群データ生成部
７３２６ 符号化部
７３３１Ａ、７３３１Ｂ、７３３１Ｃ センシング部
７３３２Ａ、７３３２Ｂ、７３３２Ｃ センサ情報入力部
７３３３Ａ、７３３３Ｂ 点群データ生成部
７３３４Ａ、７３３４Ｂ 符号化部
７３３５ 同期部
７３３６ 多重化部
７３４１Ａ、７３４１Ｂ、７３４１Ｃ センシング部
７３４２Ａ、７３４２Ｂ、７３４２Ｃ 入出力部
７３４３ 点群データ生成部
７３４４Ａ、７３４４Ｂ 符号化部
７３４５ 同期部
７３４６ 多重化部
７３５０ クラウドサーバ
７３５１ 逆多重化部
７３５２Ａ、７３５２Ｂ 復号部
７３５３ 点群データ合成部
７３５４ 大規模データ蓄積部
７３５５ 復号部
７３５６ 比較部
７３５７ 符号化部
７３６０ エッジ
７３６１Ａ、７３６１Ｂ センサ
７３６２Ａ、７３６２Ｂ 点群データ生成部
７３６３ 同期部
７３６４Ａ、７３６４Ｂ 符号化部
７３６５ 多重化部
７３６６ 更新データ蓄積部
７３６７ 逆多重化部
７３６８ 復号部
７３６９ フィルタ
７３７０ 自己位置推定部
７３７１ 運転制御部
８６０１Ａ、８６０１Ｂ、８６０１Ｃ センシング部
８６０２Ａ、８６０２Ｂ、８６０２Ｃ 入出力部
８６０３ 点群データ生成部
８６０４ 符号化部
８６０５ 同期部
８６０６ 多重化部
８６１１、８６１２ 変換部
８６１３ 合成部
８６２０、８６４０ 三次元データ符号化装置
８６２１、８６４２ 符号化部
８６２２、８６４３ 多重化部
８６３０、８６５０ 三次元データ復号装置
８６３１、８６５１ 逆多重化部
８６３２、８６５２ 復号部
８６３３、８６５３ 再構成部
８６４１ 分割部
８６６１ 入力ＵＩ
８６６２ 提示部
８６６３、８６６４ ボタン
８６６５ 蓄積部
４６０２ 三次元データ復号システム
４６０３ センサ端末
４６０４ 外部接続部
４６１１ 点群データ生成システム
４６１２ 提示部
４６１３ 符号化部
４６１４ 多重化部
４６１５ 入出力部
４６１６ 制御部
４６１７ センサ情報取得部
４６１８ 点群データ生成部
４６２１ センサ情報取得部
４６２２ 入出力部
４６２３ 逆多重化部
４６２４ 復号部
４６２５ 提示部
４６２６ ユーザインタフェース
４６２７ 制御部
４６３０ 第１の符号化部
４６３１ 位置情報符号化部
４６３２ 属性情報符号化部
４６３３ 付加情報符号化部
４６３４ 多重化部
４６４０ 第１の復号部
４６４１ 逆多重化部
４６４２ 位置情報復号部
４６４３ 属性情報復号部
４６４４ 付加情報復号部
４６５０ 第２の符号化部
４６５１ 付加情報生成部
４６５２ 位置画像生成部
４６５３ 属性画像生成部
４６５４ 映像符号化部
４６５５ 付加情報符号化部
４６５６ 多重化部
４６６０ 第２の復号部
４６６１ 逆多重化部
４６６２ 映像復号部
４６６３ 付加情報復号部
４６６４ 位置情報生成部
４６６５ 属性情報生成部
７３０１、７３０１Ａ、７３０１Ｂ、７３０１Ｃ センシングデバイス
７３０２、７３０２Ａ、７３０２Ｂ、７３０２Ｃ センサ情報入力部
７３０３、７３０３Ａ、７３０３Ｃ 点群データ生成部
７３０４Ａ、７３０４Ｂ センシング部
７３０５ マージ部
７３１０ 第１のデバイス
７３１１、７３２１ センシング部
７３１２、７３２２ 出力Ｉ／Ｆ
７３２０ 第２のデバイス
７３２３ 入力Ｉ／Ｆ
７３２４ 処理部
７３２５ 点群データ生成部
７３２６ 符号化部
７３３１Ａ、７３３１Ｂ、７３３１Ｃ センシング部
７３３２Ａ、７３３２Ｂ、７３３２Ｃ センサ情報入力部
７３３３Ａ、７３３３Ｂ 点群データ生成部
７３３４Ａ、７３３４Ｂ 符号化部
７３３５ 同期部
７３３６ 多重化部
７３４１Ａ、７３４１Ｂ、７３４１Ｃ センシング部
７３４２Ａ、７３４２Ｂ、７３４２Ｃ 入出力部
７３４３ 点群データ生成部
７３４４Ａ、７３４４Ｂ 符号化部
７３４５ 同期部
７３４６ 多重化部
７３５０ クラウドサーバ
７３５１ 逆多重化部
７３５２Ａ、７３５２Ｂ 復号部
７３５３ 点群データ合成部
７３５４ 大規模データ蓄積部
７３５５ 復号部
７３５６ 比較部
７３５７ 符号化部
７３６０ エッジ
７３６１Ａ、７３６１Ｂ センサ
７３６２Ａ、７３６２Ｂ 点群データ生成部
７３６３ 同期部
７３６４Ａ、７３６４Ｂ 符号化部
７３６５ 多重化部
７３６６ 更新データ蓄積部
７３６７ 逆多重化部
７３６８ 復号部
７３６９ フィルタ
７３７０ 自己位置推定部
７３７１ 運転制御部
８６０１Ａ、８６０１Ｂ、８６０１Ｃ センシング部
８６０２Ａ、８６０２Ｂ、８６０２Ｃ 入出力部
８６０３ 点群データ生成部
８６０４ 符号化部
８６０５ 同期部
８６０６ 多重化部
８６１１、８６１２ 変換部
８６１３ 合成部
８６２０、８６４０ 三次元データ符号化装置
８６２１、８６４２ 符号化部
８６２２、８６４３ 多重化部
８６３０、８６５０ 三次元データ復号装置
８６３１、８６５１ 逆多重化部
８６３２、８６５２ 復号部
８６３３、８６５３ 再構成部
８６４１ 分割部
８６６１ 入力ＵＩ
８６６２ 提示部
８６６３、８６６４ ボタン
８６６５ 蓄積部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】
【図35】
【図36】
【図37】
【図38】
【図39】
【図40】
【図41】
【図42】
【図43】
【図44】
【図45】
【図46】
【図47】
【図48】
【図49】
【図50】
【図51】
【図52】
【図53】
【図54】
【図55】
【図56】
【図57】
【図58】