再表 2020-166612 三次元データ多重化方法、三次元データ逆多重化方法、三次元データ多重化装置、及び三次元データ逆多重化装置

(19)【発行国】日本国特許庁(JP)

【公報種別】再公表特許(A1)

(11)【国際公開番号】WO/0

(43)【国際公開日】2020年8月20日

【発行日】2021年12月16日

(54)【発明の名称】三次元データ多重化方法、三次元データ逆多重化方法、三次元データ多重化装置、及び三次元データ逆多重化装置

(51)【国際特許分類】

   G06T 9/00 20060101AFI20211119BHJP

【ＦＩ】

   G06T9/00

【審査請求】未請求

【予備審査請求】未請求

【全頁数】42

【出願番号】特願2020-572277(P2020-572277)

(21)【国際出願番号】PCT/0/0

(22)【国際出願日】2020年2月12日

(31)【優先権主張番号】62/804,453

(32)【優先日】2019年2月12日

(33)【優先権主張国】US

(81)【指定国】 AP(BW,GH,GM,KE,LR,LS,MW,MZ,NA,RW,SD,SL,ST,SZ,TZ,UG,ZM,ZW),EA(AM,AZ,BY,KG,KZ,RU,TJ,TM),EP(AL,AT,BE,BG,CH,CY,CZ,DE,DK,EE,ES,FI,FR,GB,GR,HR,HU,IE,IS,IT,LT,LU,LV,MC,MK,MT,NL,NO,PL,PT,RO,RS,SE,SI,SK,SM,TR),OA(BF,BJ,CF,CG,CI,CM,GA,GN,GQ,GW,KM,ML,MR,NE,SN,TD,TG),AE,AG,AL,AM,AO,AT,AU,AZ,BA,BB,BG,BH,BN,BR,BW,BY,BZ,CA,CH,CL,CN,CO,CR,CU,CZ,DE,DJ,DK,DM,DO,DZ,EC,EE,EG,ES,FI,GB,GD,GE,GH,GM,GT,HN,HR,HU,ID,IL,IN,IR,IS,JO,JP,KE,KG,KH,KN,KP,KR,KW,KZ,LA,LC,LK,LR,LS,LU,LY,MA,MD,ME,MG,MK,MN,MW,MX,MY,MZ,NA,NG,NI,NO,NZ,OM,PA,PE,PG,PH,PL,PT,QA,RO,RS,RU,RW,SA,SC,SD,SE,SG,SK,SL,ST,SV,SY,TH,TJ,TM,TN,TR,TT,TZ

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．３ＧＰＰ

(71)【出願人】

【識別番号】514136668

【氏名又は名称】パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ

【氏名又は名称原語表記】Ｐａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ

(74)【代理人】

【識別番号】100109210

【弁理士】

【氏名又は名称】新居 広守

(74)【代理人】

【識別番号】100137235

【弁理士】

【氏名又は名称】寺谷 英作

(74)【代理人】

【識別番号】100131417

【弁理士】

【氏名又は名称】道坂 伸一

(72)【発明者】

【氏名】井口 賀敬

(72)【発明者】

【氏名】杉尾 敏康

【テーマコード（参考）】

5B057

【Ｆターム（参考）】

5B057CA08

5B057CA13

5B057CB08

5B057CB13

5B057CC01

5B057CG09

5B057DB03

5B057DB09

(57)【要約】

三次元データ符号化方法は、点群データを含む複数種類のデータを多重化することで所定のファイル構成の出力信号を生成し（Ｓ７３１１）、前記ファイル構成におけるメタデータに出力信号に含まれる複数のデータの各々の種別を示す情報を格納する（Ｓ７３１２）。例えば、前記情報は、（１）データに適用された符号化方式、（２）データの構成、（３）データを生成したセンサの種類、又は（４）データフォーマットを示してもよい。

【特許請求の範囲】

【請求項1】

点群データを含む複数種類のデータを多重化することで所定のファイル構成の出力信号を生成し、
前記ファイル構成におけるメタデータに前記出力信号に含まれる複数のデータの各々の種別を示す情報を格納する
三次元データ多重化方法。

【請求項2】

前記情報は、（１）データに適用された符号化方式、（２）データの構成、（３）データを生成したセンサの種類、又は（４）データフォーマットを示す
請求項１記載の三次元データ多重化方法。

【請求項3】

前記メタデータは、前記出力信号に含まれる前記複数のデータの時刻を同期させるための同期情報を含む
請求項１又は２記載の三次元データ多重化方法。

【請求項4】

前記同期情報は、前記複数のデータ間におけるタイムスタンプの差分を示す
請求項３記載の三次元データ多重化方法。

【請求項5】

点群データを含む複数種類のデータが多重化された所定のファイル構成の出力信号から、前記ファイル構成におけるメタデータに格納されている、前記出力信号に含まれる複数のデータの各々の種別を示す情報を取得し、
前記情報を用いて、前記出力信号から前記複数のデータを取得する
三次元データ逆多重化方法。

【請求項6】

前記情報は、（１）データに適用された符号化方式、（２）データの構成、（３）データを生成したセンサの種類、又は（４）データフォーマットを示す
請求項５記載の三次元データ逆多重化方法。

【請求項7】

前記メタデータは、前記出力信号に含まれる前記複数のデータの時刻を同期させるための同期情報を含む
請求項５又は６記載の三次元データ逆多重化方法。

【請求項8】

前記同期情報は、前記複数のデータ間におけるタイムスタンプの差分を示す
請求項７記載の三次元データ逆多重化方法。

【請求項9】

プロセッサと、
メモリとを備え、
前記プロセッサは、前記メモリを用いて、
点群データを含む複数種類のデータを多重化することで所定のファイル構成の出力信号を生成し、
前記ファイル構成におけるメタデータに前記出力信号に含まれる複数のデータの各々の種別を示す情報を格納する
三次元データ多重化装置。

【請求項10】

プロセッサと、
メモリとを備え、
前記プロセッサは、前記メモリを用いて、
点群データを含む複数種類のデータが多重化された所定のファイル構成の出力信号から、前記ファイル構成におけるメタデータに格納されている、前記出力信号に含まれる複数のデータの各々の種別を示す情報を取得し、
前記情報を用いて、前記出力信号から前記複数のデータを取得する
三次元データ逆多重化装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、三次元データ多重化方法、三次元データ逆多重化方法、三次元データ多重化装置、及び三次元データ逆多重化装置に関する。

【背景技術】

【0002】

自動車或いはロボットが自律的に動作するためのコンピュータビジョン、マップ情報、監視、インフラ点検、又は、映像配信など、幅広い分野において、今後、三次元データを活用した装置又はサービスの普及が見込まれる。三次元データは、レンジファインダなどの距離センサ、ステレオカメラ、又は複数の単眼カメラの組み合わせなど様々な方法で取得される。

【0003】

三次元データの表現方法の１つとして、三次元空間内の点群によって三次元構造の形状を表すポイントクラウドと呼ばれる表現方法がある。ポイントクラウドでは、点群の位置と色とが格納される。ポイントクラウドは三次元データの表現方法として主流になると予想されるが、点群はデータ量が非常に大きい。よって、三次元データの蓄積又は伝送においては二次元の動画像（一例として、ＭＰＥＧで規格化されたＭＰＥＧ−４ ＡＶＣ又はＨＥＶＣなどがある）と同様に、符号化によるデータ量の圧縮が必須となる。

【0004】

また、ポイントクラウドの圧縮については、ポイントクラウド関連の処理を行う公開のライブラリ（Ｐｏｉｎｔ Ｃｌｏｕｄ Ｌｉｂｒａｒｙ）などによって一部サポートされている。

【0005】

また、三次元の地図データを用いて、車両周辺に位置する施設を検索し、表示する技術が知られている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】国際公開第２０１４／０２０６６３号

【発明の概要】

【発明が解決しようとする課題】

【0007】

また、点群（ポイントクラウド）データを多重化して送信する手法が求められている。

【0008】

本開示は、適切に点群データを多重化して送信できる三次元データ多重化方法、三次元データ逆多重化方法、三次元データ多重化装置、又は三次元データ逆多重化装置を提供することを目的とする。

【課題を解決するための手段】

【0009】

本開示の一態様に係る三次元データ多重化方法は、点群データを含む複数種類のデータを多重化することで所定のファイル構成の出力信号を生成し、前記ファイル構成におけるメタデータに前記出力信号に含まれる複数のデータの各々の種別を示す情報を格納する。

【0010】

本開示の一態様に係る三次元データ逆多重化方法は、点群データを含む複数種類のデータが多重化された所定のファイル構成の出力信号から、前記ファイル構成におけるメタデータに格納されている、前記出力信号に含まれる複数のデータの各々の種別を示す情報を取得し、前記情報を用いて、前記出力信号から前記複数のデータを取得する。

【発明の効果】

【0011】

本開示は、適切に点群データを多重化して送信できる三次元データ多重化方法、三次元データ逆多重化方法、三次元データ多重化装置、又は三次元データ逆多重化装置を提供できる。

【図面の簡単な説明】

【0012】

【図1】図１は、実施の形態に係る三次元データ符号化復号システムの構成を示す図である。

【図2】図２は、実施の形態に係る点群データの構成例を示す図である。

【図3】図３は、実施の形態に係る点群データ情報が記述されたデータファイルの構成例を示す図である。

【図4】図４は、実施の形態に係る点群データの種類を示す図である。

【図5】図５は、実施の形態に係る第１の符号化部の構成を示す図である。

【図6】図６は、実施の形態に係る第１の符号化部のブロック図である。

【図7】図７は、実施の形態に係る第１の復号部の構成を示す図である。

【図8】図８は、実施の形態に係る第１の復号部のブロック図である。

【図9】図９は、実施の形態に係る第２の符号化部の構成を示す図である。

【図10】図１０は、実施の形態に係る第２の符号化部のブロック図である。

【図11】図１１は、実施の形態に係る第２の復号部の構成を示す図である。

【図12】図１２は、実施の形態に係る第２の復号部のブロック図である。

【図13】図１３は、実施の形態に係るＰＣＣ符号化データに関わるプロトコルスタックを示す図である。

【図14】図１４は、実施の形態に係る点群データ生成装置の構成例を示す図である。

【図15】図１５は、実施の形態に係る点群データ生成装置の構成例を示す図である。

【図16】図１６は、実施の形態に係る点群データ生成装置の構成例を示す図である。

【図17】図１７は、実施の形態に係る点群データ符号化システムの構成例を示す図である。

【図18】図１８は、実施の形態に係る三次元データ多重化装置の構成例を示す図である。

【図19】図１９は、実施の形態に係る三次元データ多重化装置の具体例を示す図である。

【図20】図２０は、実施の形態に係る各種センサのセンサ範囲を示す図である。

【図21】図２１は、実施の形態に係る三次元データ多重化装置の別の構成例を示す図である。

【図22】図２２は、実施の形態に係る複数の情報をファイルフォーマットに格納するためのプロトコルを示す図である。

【図23】図２３は、実施の形態に係る入力データの構成例を示す図である。

【図24】図２４は、実施の形態に係るＮＡＬユニットの構成例を示す図である。

【図25】図２５は、実施の形態に係るＩＳＯＢＭＦＦの構成例を示す図である。

【図26】図２６は、実施の形態に係るｍｏｏｖ及びｍｄａｔの構成例を示す図である。

【図27】図２７は、実施の形態に係る構成情報の構成例を示す図である。

【図28】図２８は、実施の形態に係る構成情報のシンタックス例を示す図である。

【図29】図２９は、実施の形態に係るｍｄａｔの構成例を示す図である。

【図30】図３０は、実施の形態に係るアプリケーション処理の例を示すフローチャートである。

【図31】図３１は、実施の形態に係る各種センサのセンサ範囲を示す図である。

【図32】図３２は、実施の形態に係る自動運転システムの構成例を示す図である。

【図33】図３３は、実施の形態に係る三次元データ多重化処理のフローチャートである。

【図34】図３４は、実施の形態に係る三次元データ逆多重化処理のフローチャートである。

【発明を実施するための形態】

【0013】

本開示の一態様に係る三次元データ多重化方法は、点群データを含む複数種類のデータを多重化することで所定のファイル構成の出力信号を生成し、前記ファイル構成におけるメタデータに前記出力信号に含まれる複数のデータの各々の種別を示す情報を格納する。

【0014】

これによれば、当該三次元データ多重化方法は、ファイル構成におけるメタデータに出力信号に含まれる複数のデータの各々の種別を示す情報を格納する。これにより、当該出力信号を受信する三次元データ逆多重化装置において、容易に各データの種別を判定できる。このように、当該三次元データ多重化方法は、適切に点群データを多重化して送信できる。

【0015】

例えば、前記情報は、（１）データに適用された符号化方式、（２）データの構成、（３）データを生成したセンサの種類、又は（４）データフォーマットを示してもよい。

【0016】

例えば、前記メタデータは、前記出力信号に含まれる前記複数のデータの時刻を同期させるための同期情報を含んでもよい。

【0017】

これによれば、当該出力信号を受信する三次元データ逆多重化装置において、複数のデータを同期させることができる。

【0018】

例えば、前記同期情報は、前記複数のデータ間におけるタイムスタンプの差分を示してもよい。

【0019】

これによれば、出力信号のデータ量を削減できる。

【0020】

本開示の一態様に係る三次元データ逆多重化方法は、点群データを含む複数種類のデータが多重化された所定のファイル構成の出力信号から、前記ファイル構成におけるメタデータに格納されている、前記出力信号に含まれる複数のデータの各々の種別を示す情報を取得し、前記情報を用いて、前記出力信号から前記複数のデータを取得する。

【0021】

これによれば、当該三次元データ逆多重化方法は、容易に各データの種別を判定できる。

【0022】

例えば、前記情報は、（１）データに適用された符号化方式、（２）データの構成、（３）データを生成したセンサの種類、又は（４）データフォーマットを示してもよい。

【0023】

例えば、前記メタデータは、前記出力信号に含まれる前記複数のデータの時刻を同期させるための同期情報を含んでもよい。

【0024】

これによれば、当該三次元データ逆多重化方法は、複数のデータを同期させることができる。

【0025】

例えば、前記同期情報は、前記複数のデータ間におけるタイムスタンプの差分を示してもよい。

【0026】

これによれば、出力信号のデータ量を削減できる。

【0027】

また、本開示の一態様に係る三次元データ多重化装置は、プロセッサと、メモリとを備え、前記プロセッサは、前記メモリを用いて、点群データを含む複数種類のデータを多重化することで所定のファイル構成の出力信号を生成し、前記ファイル構成におけるメタデータに前記出力信号に含まれる複数のデータの各々の種別を示す情報を格納する。

【0028】

これによれば、当該三次元データ多重化装置は、ファイル構成におけるメタデータに出力信号に含まれる複数のデータの各々の種別を示す情報を格納する。これにより、当該出力信号を受信する三次元データ逆多重化装置において、容易に各データの種別を判定できる。このように、当該三次元データ多重化装置は、適切に点群データを多重化して送信できる。

【0029】

また、本開示の一態様に係る三次元データ逆多重化装置は、プロセッサと、メモリとを備え、前記プロセッサは、前記メモリを用いて、点群データを含む複数種類のデータが多重化された所定のファイル構成の出力信号から、前記ファイル構成におけるメタデータに格納されている、前記出力信号に含まれる複数のデータの各々の種別を示す情報を取得し、前記情報を用いて、前記出力信号から前記複数のデータを取得する。

【0030】

これによれば、当該三次元データ逆多重化装置は、容易に各データの種別を判定できる。

【0031】

なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。

【0032】

以下、実施の形態について、図面を参照しながら具体的に説明する。なお、以下で説明する実施の形態は、いずれも本開示の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

【0033】

（実施の形態）
まず、本実施の形態に係る三次元データ（点群データ）符号化復号システムの構成を説明する。図１は、本実施の形態に係る三次元データ符号化復号システムの構成例を示す図である。図１に示すように、三次元データ符号化復号システムは、三次元データ符号化システム４６０１と、三次元データ復号システム４６０２と、センサ端末４６０３と、外部接続部４６０４とを含む。

【0034】

三次元データ符号化システム４６０１は、三次元データである点群データを符号化することで符号化データ又は多重化データを生成する。なお、三次元データ符号化システム４６０１は、単一の装置により実現される三次元データ符号化装置であってもよいし、複数の装置により実現されるシステムであってもよい。また、三次元データ符号化装置は、三次元データ符号化システム４６０１に含まれる複数の処理部のうち一部を含んでもよい。

【0035】

三次元データ符号化システム４６０１は、点群データ生成システム４６１１と、提示部４６１２と、符号化部４６１３と、多重化部４６１４と、入出力部４６１５と、制御部４６１６とを含む。点群データ生成システム４６１１は、センサ情報取得部４６１７と、点群データ生成部４６１８とを含む。

【0036】

センサ情報取得部４６１７は、センサ端末４６０３からセンサ情報を取得し、センサ情報を点群データ生成部４６１８に出力する。点群データ生成部４６１８は、センサ情報から点群データを生成し、点群データを符号化部４６１３へ出力する。

【0037】

提示部４６１２は、センサ情報又は点群データをユーザに提示する。例えば、提示部４６１２は、センサ情報又は点群データに基づく情報又は画像を表示する。

【0038】

符号化部４６１３は、点群データを符号化（圧縮）し、得られた符号化データと、符号化過程において得られた制御情報と、その他の付加情報とを多重化部４６１４へ出力する。付加情報は、例えば、センサ情報を含む。

【0039】

多重化部４６１４は、符号化部４６１３から入力された符号化データと、制御情報と、付加情報とを多重することで多重化データを生成する。多重化データのフォーマットは、例えば蓄積のためのファイルフォーマット、又は伝送のためのパケットフォーマットである。

【0040】

入出力部４６１５（例えば、通信部又はインタフェース）は、多重化データを外部へ出力する。または、多重化データは、内部メモリ等の蓄積部に蓄積される。制御部４６１６（またはアプリ実行部）は、各処理部を制御する。つまり、制御部４６１６は、符号化及び多重化等の制御を行う。

【0041】

なお、センサ情報が符号化部４６１３又は多重化部４６１４へ入力されてもよい。また、入出力部４６１５は、点群データ又は符号化データをそのまま外部へ出力してもよい。

【0042】

三次元データ符号化システム４６０１から出力された伝送信号（多重化データ）は、外部接続部４６０４を介して、三次元データ復号システム４６０２に入力される。

【0043】

三次元データ復号システム４６０２は、符号化データ又は多重化データを復号することで三次元データである点群データを生成する。なお、三次元データ復号システム４６０２は、単一の装置により実現される三次元データ復号装置であってもよいし、複数の装置により実現されるシステムであってもよい。また、三次元データ復号装置は、三次元データ復号システム４６０２に含まれる複数の処理部のうち一部を含んでもよい。

【0044】

三次元データ復号システム４６０２は、センサ情報取得部４６２１と、入出力部４６２２と、逆多重化部４６２３と、復号部４６２４と、提示部４６２５と、ユーザインタフェース４６２６と、制御部４６２７とを含む。

【0045】

センサ情報取得部４６２１は、センサ端末４６０３からセンサ情報を取得する。

【0046】

入出力部４６２２は、伝送信号を取得し、伝送信号から多重化データ（ファイルフォーマット又はパケット）を復号し、多重化データを逆多重化部４６２３へ出力する。

【0047】

逆多重化部４６２３は、多重化データから符号化データ、制御情報及び付加情報を取得し、符号化データ、制御情報及び付加情報を復号部４６２４へ出力する。

【0048】

復号部４６２４は、符号化データを復号することで点群データを再構成する。

【0049】

提示部４６２５は、点群データをユーザに提示する。例えば、提示部４６２５は、点群データに基づく情報又は画像を表示する。ユーザインタフェース４６２６は、ユーザの操作に基づく指示を取得する。制御部４６２７（またはアプリ実行部）は、各処理部を制御する。つまり、制御部４６２７は、逆多重化、復号及び提示等の制御を行う。

【0050】

なお、入出力部４６２２は、点群データ又は符号化データをそのまま外部から取得してもよい。また、提示部４６２５は、センサ情報などの付加情報を取得し、付加情報に基づいた情報を提示してもよい。また、提示部４６２５は、ユーザインタフェース４６２６で取得されたユーザの指示に基づき、提示を行ってもよい。

【0051】

センサ端末４６０３は、センサで得られた情報であるセンサ情報を生成する。センサ端末４６０３は、センサ又はカメラを搭載した端末であり、例えば、自動車などの移動体、飛行機などの飛行物体、携帯端末、又はカメラなどがある。

【0052】

センサ端末４６０３で取得可能なセンサ情報は、例えば、（１）ＬＩＤＡＲ、ミリ波レーダ、又は赤外線センサから得られる、センサ端末４６０３と対象物との距離（位置情報）、色、又は対象物の反射率、（２）複数の単眼カメラ画像又はステレオカメラ画像から得られるカメラと対象物との距離（位置情報）、色又は対象物の反射率等である。また、センサ情報は、センサの姿勢、向き、ジャイロ（角速度）、位置（ＧＰＳ情報又は高度）、速度、加速度、又はセンサ情報の取得時刻等を含んでもよい。また、センサ情報は、気温、気圧、湿度、又は磁気等を含んでもよい。

【0053】

外部接続部４６０４は、集積回路（ＬＳＩ又はＩＣ）、外部蓄積部、インターネットを介したクラウドサーバとの通信、又は、放送等により実現される。

【0054】

次に、点群データについて説明する。図２は、点群データの構成を示す図である。図３は、点群データの情報が記述されたデータファイルの構成例を示す図である。

【0055】

点群データは、複数の点のデータを含む。各点のデータは、位置情報（三次元座標）、及びその位置情報に対する属性情報とを含む。この点が複数集まったものを点群と呼ぶ。例えば、点群は対象物（オブジェクト）の三次元形状を示す。

【0056】

三次元座標等の位置情報（Ｐｏｓｉｔｉｏｎ）をジオメトリ（ｇｅｏｍｅｔｒｙ）と呼ぶこともある。また、各点のデータは、複数の属性種別の属性情報（ａｔｔｒｉｂｕｔｅ）を含んでもよい。属性種別は、例えば色又は反射率などである。

【0057】

１つの位置情報に対して１つの属性情報が対応付けられてもよいし、１つの位置情報に対して複数の異なる属性種別を持つ属性情報が対応付けられてもよい。また、１つの位置情報に対して同じ属性種別の属性情報が複数対応付けられてもよい。

【0058】

図３に示すデータファイルの構成例は、位置情報と属性情報とが１対１に対応する場合の例であり、点群データを構成するＮ個の点の位置情報と属性情報とを示している。

【0059】

位置情報は、例えば、ｘ、ｙ、ｚの３軸の情報である。属性情報は、例えば、ＲＧＢの色情報である。代表的なデータファイルとしてｐｌｙファイルなどがある。

【0060】

次に、点群データの種類について説明する。図４は、点群データの種類を示す図である。図４に示すように、点群データには、静的オブジェクトと、動的オブジェクトとがある。

【0061】

静的オブジェクトは、任意の時間（ある時刻）の三次元点群データである。動的オブジェクトは、時間的に変化する三次元点群データである。以降、ある時刻の三次元点群データをＰＣＣフレーム、又はフレームと呼ぶ。

【0062】

オブジェクトは、通常の映像データのように、ある程度領域が制限されている点群であってもよいし、地図情報のように領域が制限されていない大規模点群であってもよい。

【0063】

また、様々な密度の点群データがあり、疎な点群データと、密な点群データとが存在してもよい。

【0064】

以下、各処理部の詳細について説明する。センサ情報は、ＬＩＤＡＲ或いはレンジファインダなどの距離センサ、ステレオカメラ、又は、複数の単眼カメラの組合せなど様々な方法で取得される。点群データ生成部４６１８は、センサ情報取得部４６１７で得られたセンサ情報に基づき点群データを生成する。点群データ生成部４６１８は、点群データとして、位置情報を生成し、位置情報に、当該位置情報に対する属性情報を付加する。

【0065】

点群データ生成部４６１８は、位置情報の生成又は属性情報の付加の際に、点群データを加工してもよい。例えば、点群データ生成部４６１８は、位置が重複する点群を削除することでデータ量を減らしてもよい。また、点群データ生成部４６１８は、位置情報を変換（位置シフト、回転又は正規化など）してもよいし、属性情報をレンダリングしてもよい。

【0066】

なお、図１では、点群データ生成システム４６１１は、三次元データ符号化システム４６０１に含まれるが、三次元データ符号化システム４６０１の外部に独立して設けられてもよい。

【0067】

符号化部４６１３は、点群データを予め規定された符号化方法に基づき符号化することで符号化データを生成する。符号化方法には大きく以下の２種類がある。一つ目は、位置情報を用いた符号化方法であり、この符号化方法を、以降、第１の符号化方法と記載する。二つ目は、ビデオコーデックを用いた符号化方法であり、この符号化方法を、以降、第２の符号化方法と記載する。

【0068】

復号部４６２４は、符号化データを予め規定された符号化方法に基づき復号することで点群データを復号する。

【0069】

多重化部４６１４は、符号化データを、既存の多重化方式を用いて多重化することで多重化データを生成する。生成された多重化データは、伝送又は蓄積される。多重化部４６１４は、ＰＣＣ符号化データの他に、映像、音声、字幕、アプリケーション、ファイルなどの他のメディア、又は基準時刻情報を多重化する。また、多重化部４６１４は、さらに、センサ情報又は点群データに関連する属性情報を多重してもよい。

【0070】

多重化方式又はファイルフォーマットとしては、ＩＳＯＢＭＦＦ、ＩＳＯＢＭＦＦベースの伝送方式であるＭＰＥＧ−ＤＡＳＨ、ＭＭＴ、ＭＰＥＧ−２ ＴＳ Ｓｙｓｔｅｍｓ、ＲＭＰなどがある。

【0071】

逆多重化部４６２３は、多重化データからＰＣＣ符号化データ、その他のメディア、及び時刻情報などを抽出する。

【0072】

入出力部４６１５は、多重化データを、放送又は通信など、伝送する媒体又は蓄積する媒体にあわせた方法を用いて伝送する。入出力部４６１５は、インターネット経由で他のデバイスと通信してもよいし、クラウドサーバなどの蓄積部と通信してもよい。

【0073】

通信プロトコルとしては、ｈｔｔｐ、ｆｔｐ、ＴＣＰ、ＵＤＰ又はＩＰなどが用いられる。ＰＵＬＬ型の通信方式が用いられてもよいし、ＰＵＳＨ型の通信方式が用いられてもよい。

【0074】

有線伝送及び無線伝送のいずれが用いられてもよい。有線伝送としては、Ｅｔｈｅｒｎｅｔ（登録商標）、ＵＳＢ、ＲＳ−２３２Ｃ、ＨＤＭＩ（登録商標）、又は同軸ケーブルなどが用いられる。無線伝送としては、３ＧＰＰのＩＥＥＥで規定される３Ｇ／４Ｇ／５Ｇ、無線ＬＡＮ、Ｗｉ−Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はミリ波などが用いられる。

【0075】

また、放送方式としては、例えばＤＶＢ−Ｔ２、ＤＶＢ−Ｓ２、ＤＶＢ−Ｃ２、ＡＴＳＣ３．０、又はＩＳＤＢ−Ｓ３などが用いられる。

【0076】

図５は、第１の符号化方法の符号化を行う符号化部４６１３の例である第１の符号化部４６３０の構成を示す図である。図６は、第１の符号化部４６３０のブロック図である。第１の符号化部４６３０は、点群データを第１の符号化方法で符号化することで符号化データ（符号化ストリーム）を生成する。この第１の符号化部４６３０は、位置情報符号化部４６３１と、属性情報符号化部４６３２と、付加情報符号化部４６３３と、多重化部４６３４とを含む。

【0077】

第１の符号化部４６３０は、三次元構造を意識して符号化を行うという特徴を有する。また、第１の符号化部４６３０は、属性情報符号化部４６３２が、位置情報符号化部４６３１から得られる情報を用いて符号を行うという特徴を有する。第１の符号化方法は、ＧＰＣＣ（Ｇｅｏｍｅｔｒｙ ｂａｓｅｄ ＰＣＣ）とも呼ばれる。

【0078】

点群データは、ＰＬＹファイルのようなＰＣＣ点群データ、又は、センサ情報から生成されたＰＣＣ点群データであり、位置情報（Ｐｏｓｉｔｉｏｎ）、属性情報（Ａｔｔｒｉｂｕｔｅ）、及びその他の付加情報（ＭｅｔａＤａｔａ）を含む。位置情報は位置情報符号化部４６３１に入力され、属性情報は属性情報符号化部４６３２に入力され、付加情報は付加情報符号化部４６３３に入力される。

【0079】

位置情報符号化部４６３１は、位置情報を符号化することで符号化データである符号化位置情報（Ｃｏｍｐｒｅｓｓｅｄ Ｇｅｏｍｅｔｒｙ）を生成する。例えば、位置情報符号化部４６３１は、８分木等のＮ分木構造を用いて位置情報を符号化する。具体的には、８分木では、対象空間が８個のノード（サブ空間）に分割され、各ノードに点群が含まれるか否かを示す８ビットの情報（オキュパンシー符号）が生成される。また、点群が含まれるノードは、さらに、８個のノードに分割され、当該８個のノードの各々に点群が含まれるか否かを示す８ビットの情報が生成される。この処理が、予め定められた階層又はノードに含まれる点群の数の閾値以下になるまで繰り返される。

【0080】

属性情報符号化部４６３２は、位置情報符号化部４６３１で生成された構成情報を用いて符号化することで符号化データである符号化属性情報（Ｃｏｍｐｒｅｓｓｅｄ Ａｔｔｒｉｂｕｔｅ）を生成する。例えば、属性情報符号化部４６３２は、位置情報符号化部４６３１で生成された８分木構造に基づき、処理対象の対象点（対象ノード）の符号化において参照する参照点（参照ノード）を決定する。例えば、属性情報符号化部４６３２は、周辺ノード又は隣接ノードのうち、８分木における親ノードが対象ノードと同一のノードを参照する。なお、参照関係の決定方法はこれに限らない。

【0081】

また、属性情報の符号化処理は、量子化処理、予測処理、及び算術符号化処理のうち少なくとも一つを含んでもよい。この場合、参照とは、属性情報の予測値の算出に参照ノードを用いること、又は、符号化のパラメータの決定に参照ノードの状態（例えば、参照ノードに点群が含まれる否かを示す占有情報）を用いること、である。例えば、符号化のパラメータとは、量子化処理における量子化パラメータ、又は算術符号化におけるコンテキスト等である。

【0082】

付加情報符号化部４６３３は、付加情報のうち、圧縮可能なデータを符号化することで符号化データである符号化付加情報（Ｃｏｍｐｒｅｓｓｅｄ ＭｅｔａＤａｔａ）を生成する。

【0083】

多重化部４６３４は、符号化位置情報、符号化属性情報、符号化付加情報及びその他の付加情報を多重化することで符号化データである符号化ストリーム（Ｃｏｍｐｒｅｓｓｅｄ Ｓｔｒｅａｍ）を生成する。生成された符号化ストリームは、図示しないシステムレイヤの処理部へ出力される。

【0084】

次に、第１の符号化方法の復号を行う復号部４６２４の例である第１の復号部４６４０について説明する。図７は、第１の復号部４６４０の構成を示す図である。図８は、第１の復号部４６４０のブロック図である。第１の復号部４６４０は、第１の符号化方法で符号化された符号化データ（符号化ストリーム）を、第１の符号化方法で復号することで点群データを生成する。この第１の復号部４６４０は、逆多重化部４６４１と、位置情報復号部４６４２と、属性情報復号部４６４３と、付加情報復号部４６４４とを含む。

【0085】

図示しないシステムレイヤの処理部から符号化データである符号化ストリーム（Ｃｏｍｐｒｅｓｓｅｄ Ｓｔｒｅａｍ）が第１の復号部４６４０に入力される。

【0086】

逆多重化部４６４１は、符号化データから、符号化位置情報（Ｃｏｍｐｒｅｓｓｅｄ Ｇｅｏｍｅｔｒｙ）、符号化属性情報（Ｃｏｍｐｒｅｓｓｅｄ Ａｔｔｒｉｂｕｔｅ）、符号化付加情報（Ｃｏｍｐｒｅｓｓｅｄ ＭｅｔａＤａｔａ）、及び、その他の付加情報を分離する。

【0087】

位置情報復号部４６４２は、符号化位置情報を復号することで位置情報を生成する。例えば、位置情報復号部４６４２は、８分木等のＮ分木構造で表される符号化位置情報から三次元座標で表される点群の位置情報を復元する。

【0088】

属性情報復号部４６４３は、位置情報復号部４６４２で生成された構成情報に基づき、符号化属性情報を復号する。例えば、属性情報復号部４６４３は、位置情報復号部４６４２で得られた８分木構造に基づき、処理対象の対象点（対象ノード）の復号において参照する参照点（参照ノード）を決定する。例えば、属性情報復号部４６４３は、周辺ノード又は隣接ノードのうち、８分木における親ノードが対象ノードと同一のノードを参照する。なお、参照関係の決定方法はこれに限らない。

【0089】

また、属性情報の復号処理は、逆量子化処理、予測処理、及び算術復号処理のうち少なくとも一つを含んでもよい。この場合、参照とは、属性情報の予測値の算出に参照ノードを用いること、又は、復号のパラメータの決定に参照ノードの状態（例えば、参照ノードに点群が含まれる否かを示す占有情報）を用いること、である。例えば、復号のパラメータとは、逆量子化処理における量子化パラメータ、又は算術復号におけるコンテキスト等である。

【0090】

付加情報復号部４６４４は、符号化付加情報を復号することで付加情報を生成する。また、第１の復号部４６４０は、位置情報及び属性情報の復号処理に必要な付加情報を復号時に使用し、アプリケーションに必要な付加情報を外部に出力する。

【0091】

次に、第２の符号化方法の符号化を行う符号化部４６１３の例である第２の符号化部４６５０について説明する。図９は、第２の符号化部４６５０の構成を示す図である。図１０は、第２の符号化部４６５０のブロック図である。

【0092】

第２の符号化部４６５０は、点群データを第２の符号化方法で符号化することで符号化データ（符号化ストリーム）を生成する。この第２の符号化部４６５０は、付加情報生成部４６５１と、位置画像生成部４６５２と、属性画像生成部４６５３と、映像符号化部４６５４と、付加情報符号化部４６５５と、多重化部４６５６とを含む。

【0093】

第２の符号化部４６５０は、三次元構造を二次元画像に投影することで位置画像及び属性画像を生成し、生成した位置画像及び属性画像を既存の映像符号化方式を用いて符号化するという特徴を有する。第２の符号化方法は、ＶＰＣＣ（Ｖｉｄｅｏ ｂａｓｅｄ ＰＣＣ）とも呼ばれる。

【0094】

点群データは、ＰＬＹファイルのようなＰＣＣ点群データ、又は、センサ情報から生成されたＰＣＣ点群データであり、位置情報（Ｐｏｓｉｔｉｏｎ）、属性情報（Ａｔｔｒｉｂｕｔｅ）、及びその他の付加情報ＭｅｔａＤａｔａ）を含む。

【0095】

付加情報生成部４６５１は、三次元構造を二次元画像に投影することで、複数の二次元画像のマップ情報を生成する。

【0096】

位置画像生成部４６５２は、位置情報と、付加情報生成部４６５１で生成されたマップ情報とに基づき、位置画像（Ｇｅｏｍｅｔｒｙ Ｉｍａｇｅ）を生成する。この位置画像は、例えば、画素値として距離（Ｄｅｐｔｈ）が示される距離画像である。なお、この距離画像は、一つの視点から複数の点群を見た画像（一つの二次元平面に複数の点群を投影した画像）であってもよいし、複数の視点から複数の点群を見た複数の画像であってもよいし、これらの複数の画像を統合した一つの画像であってもよい。

【0097】

属性画像生成部４６５３は、属性情報と、付加情報生成部４６５１で生成されたマップ情報とに基づき、属性画像を生成する。この属性画像は、例えば、画素値として属性情報（例えば色（ＲＧＢ））が示される画像である。なお、この画像は、一つの視点から複数の点群を見た画像（一つの二次元平面に複数の点群を投影した画像）であってもよいし、複数の視点から複数の点群を見た複数の画像であってもよいし、これらの複数の画像を統合した一つの画像であってもよい。

【0098】

映像符号化部４６５４は、位置画像及び属性画像を、映像符号化方式を用いて符号化することで、符号化データである符号化位置画像（Ｃｏｍｐｒｅｓｓｅｄ Ｇｅｏｍｅｔｒｙ Ｉｍａｇｅ）及び符号化属性画像（Ｃｏｍｐｒｅｓｓｅｄ Ａｔｔｒｉｂｕｔｅ Ｉｍａｇｅ）を生成する。なお、映像符号化方式として、公知の任意の符号化方法が用いられてよい。例えば、映像符号化方式は、ＡＶＣ又はＨＥＶＣ等である。

【0099】

付加情報符号化部４６５５は、点群データに含まれる付加情報、及びマップ情報等を符号化することで符号化付加情報（Ｃｏｍｐｒｅｓｓｅｄ ＭｅｔａＤａｔａ）を生成する。

【0100】

多重化部４６５６は、符号化位置画像、符号化属性画像、符号化付加情報、及び、その他の付加情報を多重化することで符号化データである符号化ストリーム（Ｃｏｍｐｒｅｓｓｅｄ Ｓｔｒｅａｍ）を生成する。生成された符号化ストリームは、図示しないシステムレイヤの処理部へ出力される。

【0101】

次に、第２の符号化方法の復号を行う復号部４６２４の例である第２の復号部４６６０について説明する。図１１は、第２の復号部４６６０の構成を示す図である。図１２は、第２の復号部４６６０のブロック図である。第２の復号部４６６０は、第２の符号化方法で符号化された符号化データ（符号化ストリーム）を、第２の符号化方法で復号することで点群データを生成する。この第２の復号部４６６０は、逆多重化部４６６１と、映像復号部４６６２と、付加情報復号部４６６３と、位置情報生成部４６６４と、属性情報生成部４６６５とを含む。

【0102】

図示しないシステムレイヤの処理部から符号化データである符号化ストリーム（Ｃｏｍｐｒｅｓｓｅｄ Ｓｔｒｅａｍ）が第２の復号部４６６０に入力される。

【0103】

逆多重化部４６６１は、符号化データから、符号化位置画像（Ｃｏｍｐｒｅｓｓｅｄ Ｇｅｏｍｅｔｒｙ Ｉｍａｇｅ）、符号化属性画像（Ｃｏｍｐｒｅｓｓｅｄ Ａｔｔｒｉｂｕｔｅ Ｉｍａｇｅ）、符号化付加情報（Ｃｏｍｐｒｅｓｓｅｄ ＭｅｔａＤａｔａ）、及び、その他の付加情報を分離する。

【0104】

映像復号部４６６２は、符号化位置画像及び符号化属性画像を、映像符号化方式を用いて復号することで、位置画像及び属性画像を生成する。なお、映像符号化方式として、公知の任意の符号化方式が用いられてよい。例えば、映像符号化方式は、ＡＶＣ又はＨＥＶＣ等である。

【0105】

付加情報復号部４６６３は、符号化付加情報を復号することで、マップ情報等を含む付加情報を生成する。

【0106】

位置情報生成部４６６４は、位置画像とマップ情報とを用いて位置情報を生成する。属性情報生成部４６６５は、属性画像とマップ情報とを用いて属性情報を生成する。

【0107】

第２の復号部４６６０は、復号に必要な付加情報を復号時に使用し、アプリケーションに必要な付加情報を外部に出力する。

【0108】

以下、ＰＣＣ符号化方式について説明する。図１３は、ＰＣＣ符号化データに関わるプロトコルスタックを示す図である。図１３には、ＰＣＣ符号化データに、映像（例えばＨＥＶＣ）或いは音声などの他のメディアのデータ、又はセンサ情報を多重し、伝送又は蓄積する例を示す。

【0109】

多重化方式及びファイルフォーマットは、様々な符号化データを多重し、伝送又は蓄積するための機能を有している。符号化データを伝送又は蓄積するために、符号化データを多重化方式のフォーマットに変換する。例えば、ＨＥＶＣでは、ＮＡＬユニットと呼ばれるデータ構造に符号化データを格納し、ＮＡＬユニットをＩＳＯＢＭＦＦに格納する技術が規定されている。

【0110】

ＰＣＣにおいても同様の構成が想定される。センサ情報は、点群データとともに、ＰＣＣ符号化される場合もあれば、別の符号化方法をもちいて符号化される場合、符号化されずに直接多重レイヤに格納される場合があり、それらを組み合わせることもできる。別の符号化方法とは、具体的には、別の三次元符号化方法、又は、点群データを二次元或いは一次元データに変換したデータを符号化する符号化方法である。

【0111】

以下、センサ信号（センサ情報とも呼ぶ）から点群データを生成する構成の例を説明する。図１４〜図１６は、それぞれセンサ信号から点群データを生成する点群データ生成装置の構成例を示す図である。

【0112】

図１４に示す点群データ生成装置は、１つのセンシングデバイス７３０１から得られるセンサ信号から点群データを生成する。図１４に示す点群データ生成装置は、センシングデバイス７３０１と、センサ情報入力部７３０２と、点群データ生成部７３０３とを備える。センサ情報入力部７３０２は、センシングデバイス７３０１で得られたセンサ信号を取得する。点群データ生成部７３０３は、センサ情報入力部７３０２が取得したセンサ信号から点群データを生成する。生成された点群データは、例えば、後段の点群データを符号化部（図示せず）に出力される。

【0113】

図１５に示すように、２以上のセンシングデバイスから得られるセンサ信号に基づき点群データが生成されてもよい。図１５に示す点群データ生成装置は、センシングデバイス７３０１Ａ及び７３０１Ｂと、センサ情報入力部７３０２Ａ及び７３０２Ｂと、点群データ生成部７３０３Ａとを備える。センサ情報入力部７３０２Ａは、センシングデバイス７３０１Ａで得られた第１のセンサ信号を取得する。センサ情報入力部７３０２Ｂは、センシングデバイス７３０１Ｂで得られた第２のセンサ信号を取得する。点群データ生成部７３０３Ａは、センサ情報入力部７３０２Ａ及び７３０２Ｂが取得した２つのセンサ信号から点群データを生成する。生成された点群データは、例えば、後段の点群データを符号化部（図示せず）に出力される。

【0114】

図１６に示す点群データ生成装置は、センシングデバイス７３０１Ｃと、センサ情報入力部７３０２Ｃと、点群データ生成部７３０３Ｃとを備える。センシングデバイス７３０１Ｃは、２以上のセンシング方法を用いてセンシングされた２つの情報を所定の方法でマージしたセンサ信号を生成する。センシングデバイス７３０１Ｃは、センシング部７３０４Ａ及び７３０４Ｂと、マージ部７３０５とを備える。

【0115】

センシング部７３０４Ａは、第１のセンシング方法により第１のセンサ信号を生成する。センシング部７３０４Ｂは、第２のセンシング方法により第２のセンサ信号を生成する。マージ部７３０５は、第１のセンサ信号と第２のセンサ信号とをマージし、生成したセンサ信号をセンサ情報入力部７３０２Ｃに出力する。

【0116】

なお、マージ部７３０５は、所定の条件に基づき第１のセンサ信号と第２のセンサ信号との一方を選択し、選択したセンサ信号を出力してもよい。また、マージ部７３０５は、２つのセンサ信号をマージする場合は、マージに使用する重み係数を変化させてもよい。

【0117】

例えば、マージ部７３０５は、いずれのセンサ信号を選択するかの判定を、取得したセンサ信号に基づき行ってもよいし、別のセンサ信号に基づき行ってもよい。

【0118】

例えば、第１のセンシング方法と第２のセンシング方法とは、センサのパラメータが異なってもよいし、センシングの周波数又は機構が異なってもよい。また、センタ信号は、センシング方法又はセンシングの際のパラメータなどを示す情報を含んでもよい。

【0119】

マージ部７３０５は、複数のセンシング方法を切り替える場合には、どのセンシング方法を用いたかを示す情報、又は切り替えの判定基準のデータをセンサ信号に含めてもよい。マージ部７３０５は、センサ信号をマージする場合には、マージしたセンシング方法を識別するための情報、マージの判定基準のデータ、又はマージ係数をセンサ信号に含めてもよい。

【0120】

また、センシングデバイス７３０１Ｃは、複数のセンサ信号を出力してもよい。また、センシングデバイス７３０１Ｃは、複数のセンサ信号として、第１のセンサ信号の絶対値と、第１のセンサ信号と第２のセンサ信号との差分値とを出力してもよい。

【0121】

また、センサ信号は、第１のセンシング方法と第２のセンシング方法との関係を示す情報を含んでもよい。例えば、センサ信号は、第１のセンシング方法と第２のセンシング方法との基準位置情報の絶対値、又は相対値を含んでもよいし、センサ信号の取得時間、基準時刻情報、又はセンサの角度を示す情報を含んでもよい。これらの情報がセンサ信号に含まれることで、後段の処理においてこれらの情報に基づき２つのセンサ信号の関係の補正又は合成が可能となる。

【0122】

センサ情報入力部７３０２Ｃは、センシングデバイス７３０１Ｃで得られたセンサ信号を取得する。点群データ生成部７３０３Ｃは、センサ情報入力部７３０２Ｃが取得したセンサ信号から点群データを生成する。生成された点群データは、例えば、後段の点群データを符号化部（図示せず）に出力される。

【0123】

このように、点群データ生成装置は、上記の様々なセンサ信号のうち、いずれか一つ又は２以上のセンサ信号に基づき点群データを生成する。なお、点群データ生成装置は、点群データの生成過程において点の位置情報又は属性情報を補正してもよい。

【0124】

なお、点群データ生成装置は、図１４〜図１６のいずれかに示す構成でもよいし、これらのうちの複数を組み合わせた構成であってもよい。また、点群データ生成装置は、固定的な方法を用いてもよいし、例えば、センシングの目的又はユースケースに応じて、用いる方法を適応的に変化させてもよい。

【0125】

次に、本実施の形態に係る点群データ符号化システムの構成例を説明する。図１７は、本実施の形態に係る点群データ符号化システムの構成例を示す図である。図１７に示す点群データ符号化システムは、第１のデバイス７３１０と、第２のデバイス７３２０とを含む。

【0126】

第１のデバイス７３１０は、センシング部７３１１と出力Ｉ／Ｆ（インタフェース）７３１２とを含む。第２のデバイス７３２０は、センシング部７３２１と、出力Ｉ／Ｆ７３２２と、入力Ｉ／Ｆ７３２３と、処理部７３２４とを含む。処理部７３２４は、点群データ生成部７３２５と、符号化部７３２６とを含む。

【0127】

センシング部７３１１又は７３２１は、ＣＰＵなどで構成される処理部７３２４と同一のハードウェア又はデバイスに含まれてもよいし、異なるハードウェア又はデバイスに含まれてもよい。

【0128】

センシング部７３２１は、処理部７３２４と同一のデバイス（第２のデバイス７３２０）に含まれる。この場合、センシング部７３２１の出力信号（ＲＡＷデータと呼ぶ）はそのまま点群データ生成部７３２５に入力される。

【0129】

センシング部７３１１は、処理部７３２４と異なるデバイス（第１のデバイス７３１０）に含まれる。この場合、センシング部７３１１から出力されるＲＡＷデータは、出力Ｉ／Ｆ７３１２において入出力フォーマット（外部出力フォーマット）に変換され、フォーマット化された信号が第２のデバイス７３２０へ入力される。第２のデバイス７３２０に含まれる入力Ｉ／Ｆ７３２３は、フォーマット化された信号をＲＡＷデータに変換し、得られたＲＡＷデータを点群データ生成部７３２５へ出力する。出力Ｉ／Ｆ７３１２及び入力Ｉ／Ｆ７３２３は、例えば、図１に示す多重化部４６１４及び入出力部４６１５の機能を有する。

【0130】

また、処理部７３２４と同一デバイスに含まれるセンシング部７３２１からの出力信号（ＲＡＷデータ）を出力Ｉ／Ｆ７３２２で入出力フォーマットに変換し、入力Ｉ／Ｆ７３２３においてフォーマット化された信号をＲＡＷデータに変換し、得られたＲＡＷデータが点群データ生成部７３２５へ入力されてもよい。

【0131】

また、複数のセンサ信号が入力される場合において、例えば、他のデバイスから入力されるセンサ信号と同一デバイスから入力されるセンサ信号とが混在する場合は、これらのセンサ信号が同一のフォーマットに変換されてもよい。また、変換の際、それぞれの信号には信号を特定できる識別子が付与されてもよい。例えば、ＵＤＰ（Ｕｓｅｒ Ｄａｔａｇｒａｍ Ｐｒｏｔｏｃｏｌ）を用いて送信が行われる場合、各信号は、ＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）又はＵＤＰの送信元アドレス又は送信元ポート番号で識別されてもよい。これにより、点群データ生成部７３２５へ入力されるフォーマットを統一できるので、信号の制御が容易となる。

【0132】

点群データ生成部７３２５は、入力されたＲＡＷデータを用いて点群データを生成する。符号化部７３２６は、生成された点群データを符号化する。

【0133】

次に、本実施の形態に係る三次元データ多重化装置（三次元データ多重化システム）の構成例を説明する。図１８は、本実施の形態に係る三次元データ多重化装置の構成例を示す図である。三次元データ多重化装置は、様々なセンサ信号を符号化及び多重化することで出力信号を生成し、生成された出力信号を蓄積又は伝送する。

【0134】

図１８に示すように三次元データ多重化装置は、センシング部７３３１Ａ、７３３１Ｂ及び７３３１Ｃと、センサ情報入力部７３３２Ａ、７３３２Ｂ及び７３３２Ｃと、点群データ生成部７３３３Ａ及び７３３３Ｂと、符号化部７３３４Ａ及び７３３４Ｂと、同期部７３３５と、多重化部７３３６とを備える。ここでは３つのセンシング部が用いられる例を示すが、センシング部の数はこれに限定されない。また、各センシング部からセンサ信号の処理方法についても下記の処理方法の任意の組み合わせを用いることができる。

【0135】

センサ情報入力部７３３２Ａは、センシング部７３３１Ａでセンシングにより生成された第１のセンサ信号を取得する。センサ情報入力部７３３２Ｂは、センシング部７３３１Ｂでセンシングにより生成された第２のセンサ信号を取得する。センサ情報入力部７３３２Ｃは、センシング部７３３１Ｃでセンシングにより生成された第３のセンサ信号を取得する。

【0136】

点群データ生成部７３３３Ａは、第１のセンサ信号から第１の点群データを生成する。点群データ生成部７３３３Ｂは、第２のセンサ信号から第２の点群データを生成する。このとき、センシング部７３３１Ａとセンシング部７３３１Ｂとで用いられるセンシング方法の違い（例えば、方向、範囲、取得可能な属性、周波数、分解能等、方法、又は手段）により、生成される点群データにおける点の数、点の範囲、属性情報が異なる場合がある。

【0137】

符号化部７３３４Ａは、第１の点群データを符号化することで第１の符号化データを生成する。符号化部７３３４Ｂは、第２の点群データを符号化することで第２の符号化データを生成する。例えば、符号化部７３３４Ａと符号化部７３３４Ｂとは、互いに異なる符号化方法を適用する。例えば、符号化部７３３４Ａは第１の符号化方式を用い、符号化部７３３４Ｂは第１の符号化方式と異なる第２の符号化方式を用いてもよい。なお、符号化部７３３４Ａと符号化部７３３４Ｂとは、同一の符号化方式を用いてもよい。

【0138】

符号化部７３３４Ａ及び７３３４Ｂは、点群データにおける点の位置情報又は属性情報をエントロピー符号化などを用いて圧縮してもよい。また、符号化部７３３４Ａ及び７３３４Ｂは、センサ信号、センサの位置情報或いは角度情報、又は時刻情報などをメタデータとして格納してもよい。

【0139】

符号化部７３３４Ａ及び７３３４Ｂは、点群データに適した符号化方式を用いる。例えば、第１の符号化方式は、地図情報又は静止コンテンツで高い符号化率を期待できる符号化方式であり、第２の符号化方式は、ＡＲ又はＶＲのようなコンテンツで高い符号化率を期待できる符号化方式である。この場合、符号化部７３３４Ａ及び７３３４Ｂは、コンテンツに適した符号化方式を用いてもよい。

【0140】

あるいは、例えば、第１の符号化方式は、ビームＬｉＤＡＲのようなセンシング部でセンシングされた情報に基づく点群に対して高い符号化率を期待できる符号化方式であり、第２の符号化方式は、ＦＬＡＳＨ ＬｉＤＡＲのようなセンシング部でセンシングされた情報に基づく点群に対して高い符号化率を期待できる符号化方式である。この場合、符号化部７３３４Ａ及び７３３４Ｂは、センシング部に適した符号化方式を用いてもよい。

【0141】

また、符号化部７３３４Ａ及び７３３４Ｂは、符号化方式を変更するのではなく、同一の符号化方式においてコンテンツ又はセンシング部に適した符号化ツール又は符号化に関わるパラメータを用いてもよい。

【0142】

生成された第１の符号化データ及び第２の符号化データは、多重化部７３３６に入力される。例えば、センシング部７３３１Ｃでセンシングされた第３のセンサ信号は、符号化の必要がないデータである。この場合、点群データの生成及び符号化は行われず、第３のセンサ信号がそのまま多重化部７３３６に入力される。なお、低遅延な伝送を目的として符号化が行われなくてもよい。

【0143】

同期部７３３５は、複数のセンシング部を同期させるための機能を持つ。例えば、同期部７３３５は、同期に関わる情報として、センシングの時刻情報、タイムスタンプ情報、及び角度情報などを用いる。これらの同期に関わる情報は、共通の情報である同期信号として出力信号に多重化されてもよい。または、これらの同期に関わる情報は、各センサ信号に含まれてもよい。

【0144】

多重化部７３３６は、１以上の符号化データ、メタデータ、センサ信号のＲＡＷデータ、及び同期信号を多重化することで出力信号を生成する。また、多重化部７３３６は、それぞれのデータを識別するための情報、及び各データの対応関係を示す情報を出力信号に格納する。

【0145】

図１９は、三次元データ多重化装置の具体例を示す図である。図１９に示すように、センシング部７３３１ＡとしてビームＬｉＤＡＲが用いられ、センシング部７３３１ＢとしてＦＬＡＳＨ ＬｉＤＡＲが用いられる。ＬｉＤＡＲの特性に応じて、点群の範囲及び距離、並びに解像度などが異なる。図２０は、ビームＬｉＤＡＲ及びＦＬＡＳＨ ＬｉＤＡＲのセンサ範囲の例を示す図である。例えば、ビームＬｉＤＡＲは、車両（センサ）の周囲の全方向を検知し、ＦＬＡＳＨ ＬｉＤＡＲは、車両の一方向（例えば前方）の範囲を検知する。

【0146】

点群データ生成部７３３３Ａは、ビームＬｉＤＡＲから取得されるビーム照射角に対する距離情報及び反射率情報に基づき第１の点群データを生成する。点群データ生成部７３３３Ｂは、ＦＬＡＳＨ ＬｉＤＡＲから得られる二次元の距離情報及び反射率に基づき第２の点群データを生成する。なお、点群データ生成部７３３３Ａ及び７３３３Ｂは、さらにカメラで取得される二次元の色情報などを併用し、色情報と反射率との両方を持つ点群データを生成してもよい。

【0147】

また、センシング部７３３１Ｃとして、３軸ジャイロセンサ、３軸加速度センサ又はＧＰＳなどの位置情報センサである車載センサが用いられる。これらのセンサ情報は、車全体の状態を表すセンサ情報であり、第１のセンサ信号及び第２のセンサ信号に関連する共通の情報ということもできる。これらの共通のセンサ情報は、符号化されて多重化されてもよいし、符号されずに多重化されてもよい。また、これらの情報は、点群データに共通の付加情報として第１のセンサ信号や第２のセンサ信号に格納され符号化されてもよい。または、共通のセンサ情報は、第１のセンサ信号と第２のセンサ信号との一方のセンサ信号に格納されてもよい。この場合、共通のセンサ情報がいずれのセンサ信号に格納されているかを示す情報が、例えばその他のセンサ信号又は同期信号に示されてもよい。

【0148】

また、センサを取得する時刻に関する情報として、例えばＮＴＰ（Ｎｅｔｗｏｒｋ Ｔｉｍｅ Ｐｒｏｔｏｃｏｌ）又はＰＴＰ（Ｐｒｅｃｉｓｉｏｎ Ｔｉｍｅ Ｐｒｏｔｏｃｏｌ）などの基準時刻情報に基づいたタイムスタンプが、ビームＬｉＤＡＲに基づく第１の点群データと、ＦＬＡＳＨ ＬｉＤＡＲに基づく第２の点群データとに付与される。それぞれセンサのタイムスタンプは、共通の基準時刻に同期するものであり、符号化部７３３４Ａ及び７３３４Ｂで符号化される。

【0149】

また、共通の基準時刻を示す基準時刻情報は、同期信号として多重化されてもよい。基準時刻情報は多重されなくてもよい。三次元データ逆多重化装置（三次元データ復号装置）は、複数のセンサ信号の符号化データからそれぞれのタイムスタンプを取得する。タイムスタンプは共通の基準時刻に同期しているため、三次元データ逆多重化装置は、複数のセンサ信号の復号データを、それぞれのタイムスタンプに基づき動作させることで、複数のセンサ間の同期をとることができる。

【0150】

なお、ビームＬｉＤＡＲ及びＦＬＡＳＨ ＬｉＤＡＲ毎にそれぞれ対応する時刻情報が設定されてもよい。また、ビームＬｉＤＡＲ及びＦＬＡＳＨ ＬｉＤＡＲ毎にそれぞれ３軸センサが設けられてもよい。その場合、それぞれのＮＴＰとしてインターネット時刻などの共通の時刻が用いられる。また、それぞれの３軸センサが、予めキャリブレーションされ、予め同期された複数の３軸センサが用いられる。

【0151】

図２１は、三次元データ多重化装置の別の構成例を示す図である。図２１に示すように三次元データ多重化装置は、センシング部７３４１Ａ、７３４１Ｂ及び７３４１Ｃと、入出力部７３４２Ａ、７３４２Ｂ及び７３４２Ｃと、点群データ生成部７３４３と、符号化部７３４４Ａ及び７３４４Ｂと、同期部７３４５と、多重化部７３４６とを備える。

【0152】

入出力部７３４２Ａは、センシング部７３４１Ａでセンシングにより生成された第１のセンサ信号を取得する。入出力部７３４２Ｂは、センシング部７３４１Ｂでセンシングにより生成された第２のセンサ信号を取得する。入出力部７３４２Ｃは、センシング部７３４１Ｃでセンシングにより生成された第３のセンサ信号を取得する。なお、入出力部７３４２Ａ、７３４２Ｂ及び７３４２Ｃは、取得したセンサ信号を蓄積するメモリを有してもよい。

【0153】

点群データ生成部７３４３は、第１のセンサ信号から第１の点群データを生成する。符号化部７３４４Ａは、第１の点群データを符号化することで第１の符号化データを生成する。符号化部７３４４Ｂは、第２のセンサ情報を符号化することで第２の符号化データを生成する。

【0154】

同期部７３４５は、複数のセンシング部を同期させるための機能を持つ。多重化部７３４６は、１以上の符号化データ、メタデータ、センサ信号のＲＡＷデータ、及び同期信号を多重化することで出力信号を生成する。

【0155】

このように、図２１に示す構成では、センシング部７３４１Ｂで得られるセンサ信号（ＲＡＷデータ）から点群データは生成されず、センサ信号はＲＡＷデータのまま符号化される。例えば、第２のセンサ信号が、ＦＬＡＳＨ ＬｉＤＡＲ、又はカメラなどＣＭＯＳセンサで得られる二次元の情報である場合、符号化部７３４４Ｂは、ＡＶＣ又はＨＥＶＣなどの動画像コーデックを用いて第２のセンサ信号を符号化する。これにより、符号化効率の高い符号化を実現できる。また、既存コーデックを活用することでコストの安いシステム構築が可能となる。

【0156】

このように、三次元データ多重化装置は、センシング部に応じて、点群データを変換後に符号化する手段と、点群データに変換せずにＲＡＷデータのまま符号化する手段とを併用し、それぞれの符号化データを多重化する。

【0157】

次に、多重化により所定のファイルフォーマットの出力信号を生成する手法の例を説明する。以下では、所定のファイルフォーマットがＩＳＯＢＭＦＦ（ＩＳＯ ｂａｓｅｄ ｍｅｄｉａ ｆｉｌｅ ｆｏｒｍａｔ）である場合の例を説明する。なお、ファイルフォーマットはＩＳＯＢＭＦＦに限定されず、他のファイルフォーマットが用いられてもよい。

【0158】

ＩＳＯＢＭＦＦは、ＩＳＯ／ＩＥＣ１４４９６−１２に規定されるファイルフォーマット規格である。ＩＳＯＢＭＦＦは、ビデオ、オーディオ、及びテキストなど様々なメディアのデータを多重して格納できるフォーマットを規定しており、メディアに依存しない規格である。

【0159】

ＩＳＯＢＭＦＦへのメディア毎の格納方法は別途規定されている。例えば、ＡＶＣビデオ及びＨＥＶＣビデオの格納方法は、ＩＳＯ／ＩＥＣ１４４９６−１５に規定される。

【0160】

一方で、複数のセンサ情報（センサ信号）から取得されたデータの符号化データをＩＳＯＢＭＦＦに格納する方法が必要である。図２２は、複数のセンサ情報を、様々な符号化方法でそれぞれ符号化し、ＩＳＯＢＭＦＦへ格納するプロトコルを示す図である。

【0161】

Ｄａｔａ１〜Ｄａｔａ５は、それぞれ様々な種類のセンサから取得されたセンサデータ（センサ信号）であり、例えばＲＡＷデータ等である。Ｄａｔａ１とＤａｔａ２は３Ｄ点群フォーマットに変換され、３Ｄ点群フォーマット用の符号化方法Ｃｏｄｅｃ１又はＣｏｄｅｃ２を用いて符号化される。また、Ｄａｔａ３とＤａｔａ４は画像などの２Ｄデータのフォーマットに変換され、２Ｄデータフォーマット用の符号化方法Ｃｏｄｅｃ３又はＣｏｄｅｃ４を用いて符号化される。

【0162】

それぞれの符号化データは、所定の方法でＮＡＬユニットに変換されてＩＳＯＢＭＦＦに格納される。なお、ＮＡＬユニットは、３ＤＦｏｒｍａｔ及び２ＤＦｏｒｍａｔで共通の形式であってもよいし、異なる形式であってもよい。また、異なる符号化方法のＮＡＬユニットは共通の形式であってもよいし、異なる形式であってもよい。なお、センサデータのフォーマットは、ここにあげる３Ｄ及び２Ｄフォーマット以外にも、１Ｄのフォーマット、又はその他のフォーマットであってもよい。

【0163】

Ｄａｔａ５は、センサから取得されたセンサデータを符号化せずに直接ＩＳＯＢＭＦＦに格納する場合である。

【0164】

これらのデータの任意の組み合わせのデータを統合的に格納するフォーマットを提供することにより、複数のセンサを扱うシステムのデータの管理が容易となり、様々な機能を実現することが可能となる。

【0165】

次に、ＩＳＯＢＭＦＦの構成を説明する。三次元データ多重化装置は、複数のセンサデータをＩＳＯＢＭＦＦへ格納する。図２３は、多重化対象の入力データの構成例を示す図である。図２４は、ＮＡＬユニットの構成例を示す図である。図２５は、ＩＳＯＢＭＦＦの構成例を示す図である。図２６は、ｍｏｏｖ及びｍｄａｔの構成例を示す図である。

【0166】

入力データに含まれる符号化データは、主に符号化データ（Ｄａｔａ）とメタデータ（Ｍｅｔａ）に大別される。メタデータとしては、符号化データ毎のヘッダで示されるメタデータと、パラメータセットとして独立のＮＡＬユニットに格納されるメタデータとがある。また、メタデータが符号化データに含まれる場合もある。三次元データ多重化装置は、これらの複数の異なるコーデック毎のＮＡＬユニット及びＲＡＷデータを一つのＩＳＯＢＭＦＦへ格納する。

【0167】

ＩＳＯＢＭＦＦはボックス構造で構成される。ＩＳＯＢＭＦＦのボックスとして、主にメタデータを格納する「ｍｏｏｖ」及び「ｍｅｔａ」と、データを格納する「ｍｄａｔ」とがある。

【0168】

符号化データ及びＲＡＷデータはＩＳＯＢＭＦＦにおける「ｍｄａｔ」にサンプル単位で格納される。また、入力データにおけるメタデータは、符号化データ毎に、ＩＳＯＭＢＦＦにおける「ｍｏｏｖ」の「ｔｒａｋ」に所定のフォーマットで格納される。符号化データ内に含まれるメタデータ及び同期情報も「ｍｏｏｖ」内に格納される。

【0169】

「ｍｄａｔ」からデータを取得するための情報（ファイル先頭からのデータのアドレス情報（オフセット情報）及びデータのサイズなど）は、符号化データ毎のメタデータに格納される。また、「ｆｔｙｐ」には後続のデータのファイルタイプ等が示される。

【0170】

なお、フォーマットおよびボックス名は、ここに挙げたもの以外でもよく、同じ機能を有するものであればよい。

【0171】

また、リアルタイム通信などのユースケースにおいては、「ｍｏｏｖ」及び「ｍｄａｔ」のようなボックスを分割した単位が時間的に分けて送信されてもよい。また、分割した単位のデータがインターリーブされてもよい。

【0172】

三次元データ多重化装置は、構成情報を示すボックス（以下単に構成情報と記す）を定義し、ファイルに含まれる複数のデータの識別情報を構成情報に格納する。また、三次元データ多重化装置は、それぞれのデータのメタデータにアクセス可能な識別情報を構成情報に格納する。

【0173】

図２７は、構成情報の構成例を示す図である。図２８は、構成情報のシンタックス例を示す図である。

【0174】

構成情報は、ＩＳＯＢＭＦＦファイルを構成するコンテンツ及びコンポーネントの情報、コンポーネントの元データを取得した際のセンサ情報、フォーマット情報、並びに、符号化方法などを示す。

【0175】

図２７に示すように、構成情報は、全体構成情報と、符号化データ毎の構成情報とを含む。複数の構成情報は、同一のデータ構造又はボックスであってもよいし、異なるデータ構造又はボックスであってもよい。

【0176】

ｍｐ４ボックスにおけるｔｙｐｅには、構成情報ボックスであることが、例えば「ｍｓｕｃ」などの４ＣＣで示される。全体構成情報（ｄａｔａ（））には、符号化方式の異なる複数のデータの構成が示される。ｄａｔａ（）は、ｎｕｍ＿ｏｆ＿ｄａｔａ、ｄａｔａ＿ｔｙｐｅ及びｄａｔａ＿ｃｏｎｆｉｇｕｒａｔｉｏｎを含む。

【0177】

ｎｕｍ＿ｏｆ＿ｄａｔａは、ファイルを構成する符号化データ及びＲＡＷデータの数を示す。ｄａｔａ＿ｔｙｐｅは、データ毎の識別情報を示す。つまり、ｄａｔａ＿ｔｙｐｅは、複数のデータの種別を示す。

【0178】

具体的には、ｄａｔａ＿ｔｙｐｅは、データが点群データであるか、センサ信号（例えばＲＡＷデータ）であるかを示す。また、ｄａｔａ＿ｔｙｐｅは、データが符号化されているか否かを示してもよい。また、ｄａｔａ＿ｔｙｐｅは、符号化データの符号化に用いられた符号化方法（符号化方式）を示してもよい。符号化方法とは、例えば、ＧＰＰＣ又はＶＰＰＣ等である。また、符号化方法は、図２２に示すＣｏｄｅｃ１〜４等であってもよい。また、ｄａｔａ＿ｔｙｐｅは、構成情報を識別するための情報を示してもよい。

【0179】

また、ｄａｔａ＿ｔｙｐｅは、点群データの元データの種別を示してもよい。元データの種別とは、元データがセンサ信号である場合の、センサ信号を生成したセンサの種類（例えば２Ｄセンサか３Ｄセンサかなど）等である。また、ｄａｔａ＿ｔｙｐｅは、センサ信号のデータフォーマット（例えば１Ｄ情報か２Ｄ情報か３Ｄ情報かなど）を示す情報を含んでもよい。

【0180】

例えば、ｄａｔａ＿ｔｙｐｅ＝０はＰＣＣ Ｃｏｄｅｃ１を示し、ｄａｔａ＿ｔｙｐｅ＝１はＰＣＣ Ｃｏｄｅｃ２を示し、ｄａｔａ＿ｔｙｐｅ＝２はＶｉｄｅｏ Ｃｏｄｅｃ３を示し、ｄａｔａ＿ｔｙｐｅ＝４は、３Ｄ軸センサ ＲＡＷデータを示す。ｄａｔａ＿ｃｏｎｆｉｇｕｒａｔｉｏｎは、データ毎の構成情報を示す。

【0181】

ｄａｔａ＿ｃｏｎｆｉｇｕｒａｔｉｏｎ（）は、符号化データ毎の構成情報であり、ｎｕｍ＿ｏｆ＿ｃｏｍｐｏｎｅｎｔと、ｃｏｍｐｏｎｅｎｔ＿ｔｙｐｅと、ｃｏｍｐｏｎｅｎｔ＿ｉｄとを含む。

【0182】

ｎｕｍ＿ｏｆ＿ｃｏｍｐｏｎｅｎｔは、符号化データ内のコンポーネントの数を示す。ｃｏｍｐｏｎｅｎｔ＿ｔｙｐｅは、コンポーネントのタイプを示す。例えばＰＣＣ符号化の場合は、ｃｏｍｐｏｎｅｎｔ＿ｔｙｐｅは、コンポーネントが、ジオメトリであるか属性であるかメタデータであるかを示す。

【0183】

ｃｏｍｐｏｎｅｎｔ＿ｉｄは、コンポーネントを他のメタデータ及びデータと紐付けるための一意の識別子を示す。

【0184】

なお、符号化の方法は、ビデオコーデック及びＰＣＣコーデック以外にも、オーディオ、テキスト、アプリケーション、又は３６０度画像などに用いられる符号化方法であってもよい。また、データは、メッシュ又はＣＡＤなどの加工されたデータであってもよい。また、符号化の方法は、同一のコーデックであってもよいし、プロファイル、レベル又はツールの異なる符号化方法であってもよく、いかなる符号化方法であっても統合的に扱うことが可能である。

【0185】

このように、三次元データ逆多重化装置において復号した点群データをアプリケーションで活用するために必要なデータを一つのファイルに多重することで、アプリケーションで取り扱うファイル管理及び同期管理を容易化できる。

【0186】

図２９は、データボックス「ｍｄａｔ」の構成例を示す図である。データボックスの最小単位であるサンプルに、それぞれの符号化データ又はＲＡＷデータが個別に格納される。

【0187】

また、ファイルに含まれる符号化データ毎のタイムスタンプなどの同期情報は、共通の基準時刻などの全体同期情報に基づき設定される。また、同期情報は、それぞれ同期がとれている情報とする。

【0188】

また、例えば、複数の符号化データのタイムスタンプにおける基準時刻、時間分解能及び時間間隔を揃え、同期情報を複数の符号化データで共通化してもよい。その場合、同期情報は、符号化データ毎の同期情報と共通の同期情報のいずれか１以上に格納すればよい。その場合、メタデータは、共通の時刻情報が格納されている場所を示す情報、及び同期情報が共通であることを示す情報の少なくとも一方を含む。

【0189】

また、符号化データ間で同期がとれている場合には、三次元データ多重化装置は、同期がとれている複数の符号化データを一つのサンプルとして格納してもよい。一方、複数の符号化データで、基準時刻、時間分解能及び時間間隔の少なくとも一つが揃っていない場合は、三次元データ多重化装置は、別途符号化データ間のタイムスタンプの差分を示す差分情報を導出し、導出した差分情報を出力信号に格納してもよい。また、三次元データ多重化装置は、同期がとれているか否かを示すフラグを出力信号に格納してもよい。

【0190】

三次元データ逆多重化装置は、それぞれの符号化データの同期情報と全体同期情報とを用いて、それぞれのサンプルを、メタデータに示されるタイムスタンプに示される時刻に処理することにより、符号化データ間の同期をとる。

【0191】

以下、アプリケーション処理の例を説明する。図３０は、アプリケーション処理の例を示すフローチャートである。アプリ操作が開始されると、三次元データ逆多重化装置は、点群データ及び複数の符号化データを含むＩＳＯＢＭＦＦファイルを取得する（Ｓ７３０１）。例えば、三次元データ逆多重化装置は、ＩＳＯＢＭＦＦファイルを、通信により取得してもよいし、蓄積しているデータから読み込んでもよい。

【0192】

次に、三次元データ逆多重化装置は、ＩＳＯＢＭＦＦファイルにおける全体構成情報を解析し、アプリケーションに使用するデータを特定する（Ｓ７３０２）。例えば、三次元データ逆多重化装置は、処理に用いるデータを取得し、処理に用いないデータは取得しない。

【0193】

次に、三次元データ逆多重化装置は、アプリケーションに使用する１以上のデータを抽出し、当該データの構成情報を解析する（Ｓ７３０３）。

【0194】

データの種別が符号化データである場合（Ｓ７３０４で符号化データ）、三次元データ逆多重化装置は、ＩＳＯＢＭＦＦを符号化ストリームに変換し、タイムスタンプを抽出する（Ｓ７３０５）。また、三次元データ逆多重化装置は、データ間の同期がそろっているか否かを、例えば、データ間の同期がそろっているか否かを示すフラグを参照して判定し、揃っていなければ同期処理を行ってもよい。

【0195】

次に、三次元データ逆多重化装置は、タイムスタンプ及びその他の指示に従い、所定の方法でデータを復号し、復号したデータを処理する（Ｓ７３０６）。

【0196】

一方、データの種別が符号化データである場合（Ｓ７３０４でＲＡＷデータ）、三次元データ逆多重化装置は、データ及びタイムスタンプを抽出する（Ｓ７３０７）。また、三次元データ逆多重化装置は、データ間の同期がそろっているか否かを、例えば、データ間の同期がそろっているか否かを示すフラグを参照して判定し、揃っていなければ同期処理を行ってもよい。次に、三次元データ逆多重化装置は、タイムスタンプ及びその他の指示に従い、データを処理する（Ｓ７３０８）。

【0197】

例えば、ビームＬｉＤＡＲ、ＦＬＡＳＨ ＬｉＤＡＲ、及びカメラで取得されたセンサ信号が、それぞれ異なる符号化方式で符号化及び多重化されている場合の例を説明する。図３１は、ビームＬｉＤＡＲ、ＦＬＡＳＨ ＬｉＤＡＲ及びカメラのセンサ範囲の例を示す図である。例えば、ビームＬｉＤＡＲは、車両（センサ）の周囲の全方向を検知し、ＦＬＡＳＨ ＬｉＤＡＲ及びカメラは、車両の一方向（例えば前方）の範囲を検知する。

【0198】

ＬｉＤＡＲ点群を統合的に扱うアプリケーションの場合、三次元データ逆多重化装置は、全体構成情報を参照して、ビームＬｉＤＡＲとＦＬＡＳＨ ＬｉＤＡＲの符号化データを抽出して復号する。また、三次元データ逆多重化装置は、カメラ映像は抽出しない。

【0199】

三次元データ逆多重化装置は、ＬｉＤＡＲとＦＬＡＳＨ ＬｉＤＡＲのタイムスタンプに従い、同一のタイムスタンプの時刻のそれぞれの符号化データを同時に処理する。

【0200】

例えば、三次元データ逆多重化装置は、処理したデータを提示装置で提示したり、ビームＬｉＤＡＲとＦＬＡＳＨ ＬｉＤＡＲの点群データを合成したり、レンダリングなどの処理を行ってもよい。

【0201】

また、データ間でキャリブレーションをするアプリケーションの場合には、三次元データ逆多重化装置は、センサ位置情報を抽出してアプリケーションで用いてもよい。

【0202】

例えば、三次元データ逆多重化装置は、アプリケーションにおいて、ビームＬｉＤＡＲ情報を使用するか、ＦＬＡＳＨ ＬｉＤＡＲを使用するかを選択し、選択結果に応じて処理を切り替えてもよい。

【0203】

このように、アプリケーションの処理に応じて適応的にデータの取得及び符号処理を変えることができるので、処理量及び消費電力を削減できる。

【0204】

以下、自動運転におけるユースケースについて説明する。図３２は、自動運転システムの構成例を示す図である。この自動運転システムは、クラウドサーバ７３５０と、車載装置又はモバイル装置等のエッジ７３６０とを含む。クラウドサーバ７３５０は、逆多重化部７３５１と、復号部７３５２Ａ、７３５２Ｂ及び７３５５と、点群データ合成部７３５３と、大規模データ蓄積部７３５４と、比較部７３５６と、符号化部７３５７とを備える。エッジ７３６０は、センサ７３６１Ａ及び７３６１Ｂと、点群データ生成部７３６２Ａ及び７３６２Ｂと、同期部７３６３と、符号化部７３６４Ａ及び７３６４Ｂと、多重化部７３６５と、更新データ蓄積部７３６６と、逆多重化部７３６７と、復号部７３６８と、フィルタ７３６９と、自己位置推定部７３７０と、運転制御部７３７１とを備える。

【0205】

このシステムでは、エッジ７３６０は、クラウドサーバ７３５０に蓄積されている大規模点群地図データである大規模データをダウンロードする。エッジ７３６０は、大規模データとエッジ７３６０で得られたセンサ情報とをマッチングすることで、エッジ７３６０（車両又は端末）の自己位置推定処理を行う。また、エッジ７３６０は、取得したセンサ情報をクラウドサーバ７３５０へアップロードし、大規模データを最新の地図データに更新する。

【0206】

また、システム内における点群データを扱う様々なアプリケーションにおいて、符号化方法の異なる点群データが扱われる。

【0207】

クラウドサーバ７３５０は、大規模データを符号化及び多重化する。具体的には、符号化部７３５７は、大規模点群を符号化するために適した第３の符号化方法を用いて符号化を行う。また、符号化部７３５７は、符号化データを多重化する。大規模データ蓄積部７３５４は、符号化部７３５７で符号化及び多重化されたデータを蓄積する。

【0208】

エッジ７３６０は、センシングを行う。具体的には、点群データ生成部７３６２Ａは、センサ７３６１Ａで取得されるセンシング情報を用いて、第１の点群データ（位置情報（ジオメトリ）及び属性情報）を生成する。点群データ生成部７３６２Ｂは、センサ７３６１Ｂで取得されるセンシング情報を用いて、第２の点群データ（位置情報及び属性情報）を生成する。生成された第１の点群データ及び第２の点群データは、自動運転の自己位置推定或いは車両制御、又は地図更新に用いられる。それぞれの処理において、第１の点群データ及び第２の点群データのうちの一部の情報が用いられてもよい。

【0209】

エッジ７３６０は、自己位置推定を行う。具体的には、エッジ７３６０は、大規模データをクラウドサーバ７３５０からダウンロードする。逆多重化部７３６７は、ファイルフォーマットの大規模データを逆多重化することで符号化データを取得する。復号部７３６８は、取得された符号化データを復号することで大規模点群地図データである大規模データを取得する。

【0210】

自己位置推定部７３７０は、取得された大規模データと、点群データ生成部７３６２Ａ及び７３６２Ｂで生成された第１の点群データ及び第２の点群データとをマッチングすることで、車両の地図における自己位置を推定する。また、運転制御部７３７１は、当該マッチング結果又は自己位置推定結果を運転制御に用いる。

【0211】

なお、自己位置推定部７３７０及び運転制御部７３７１は、大規模データのうち、位置情報などの特定の情報を抽出し、抽出した情報を用いて処理を行ってもよい。また、フィルタ７３６９は、第１の点群データ及び第２の点群データに補正又は間引き等の処理を行う。自己位置推定部７３７０及び運転制御部７３７１は、当該処理が行われた後の第１の点群データ及び第２の点群データを用いてもよい。また、自己位置推定部７３７０及び運転制御部７３７１は、センサ７３６１Ａ及び７３６１Ｂで得られたセンサ信号を用いてもよい。

【0212】

同期部７３６３は、複数のセンサ信号又は複数の点群データのデータ間の時間同期及び位置補正を行う。また、同期部７３６３は、自己位置推定処理によって生成された、大規模データとセンサデータとの位置補正情報に基づき、センサ信号又は点群データの位置情報を大規模データに合わせるように補正してもよい。

【0213】

なお、同期及び位置補正はエッジ７３６０でなく、クラウドサーバ７３５０で行われてもよい。この場合、エッジ７３６０は、同期情報及び位置情報を多重化してクラウドサーバ７３５０へ送信してもよい。

【0214】

エッジ７３６０は．センサ信号又は点群データを符号化及び多重化する。具体的には、センサ信号又は点群データは、それぞれの信号を符号化するために適した第１の符号化方法又は第２の符号化方法を用いて符号化される。例えば、符号化部７３６４Ａは、第１の符号化方法を用いて第１の点群データを符号化することで第１の符号化データを生成する。符号化部７３６４Ｂは、第２の符号化方法を用いて第２の点群データを符号化することで第２の符号化データを生成する。

【0215】

多重化部７３６５は、第１の符号化データ、第２の符号化データ、及び同期情報などを多重化することで多重化信号を生成する。更新データ蓄積部７３６６は、生成された多重化信号を蓄積する。また、更新データ蓄積部７３６６は、多重化信号をクラウドサーバ７３５０へアップロードする。

【0216】

クラウドサーバ７３５０は、点群データを合成する。具体的には、逆多重化部７３５１は、クラウドサーバ７３５０にアップロードされた多重化信号を逆多重化することで第１の符号化データ及び第２の符号化データを取得する。復号部７３５２Ａは、第１の符号化データを復号することで第１の点群データ（又はセンサ信号）を取得する。復号部７３５２Ｂは、第２の符号化データを復号することで第２の点群データ（又はセンサ信号）を取得する。

【0217】

点群データ合成部７３５３は、第１の点群データと第２の点群データとを所定の方法で合成する。多重化信号に同期情報及び位置補正情報が多重化されている場合には、点群データ合成部７３５３は、それらの情報を用いて合成を行ってもよい。

【0218】

復号部７３５５は、大規模データ蓄積部７３５４に蓄積されている大規模データを逆多重化及び復号する。比較部７３５６は、エッジ７３６０で得られたセンサ信号に基づき生成された点群データとクラウドサーバ７３５０が有する大規模データとを比較し、更新が必要な点群データを判断する。比較部７３５６は、大規模データのうち、更新が必要と判断された点群データを、エッジ７３６０から得られた点群データに更新する。

【0219】

符号化部７３５７は、更新された大規模データを符号化及び多重化し、得られたデータを大規模データ蓄積部７３５４に蓄積する。

【0220】

以上のように、使用する用途又はアプリケーションに応じて、取り扱う信号が異なり、多重化する信号又は符号化方法が異なる場合がある。このような場合であっても、本実施の形態を用いて様々な符号化方式のデータを多重化することで、柔軟な復号及びアプリケーション処理が可能となる。また、信号の符号化方式が異なる場合であっても、逆多重化、復号、データ変換、符号化、多重の処理により適した符号化方式を変換することで、様々なアプリケーションやシステムを構築し、柔軟なサービスの提供が可能となる。

【0221】

以上のように、本実施の形態に係る三次元データ多重化装置は、図３３に示す処理を行う。三次元データ多重化装置は、点群データを含む複数種類のデータを多重化することで所定のファイル構成（例えばＩＳＯＢＭＦＦ）の出力信号を生成する（Ｓ７３１１）。次に、三次元データ多重化装置は、ファイル構成におけるメタデータ（制御情報）に出力信号に含まれる複数のデータの各々の種別を示す情報（例えばｄａｔａ＿ｔｙｐｅ）を格納する（Ｓ７３１２）。

【0222】

これによれば、三次元データ多重化装置は、ファイル構成におけるメタデータに出力信号に含まれる複数のデータの各々の種別を示す情報を格納する。これにより、当該出力信号を受信する三次元データ逆多重化装置において、容易に各データの種別を判定できる。このように、当該三次元データ多重化方法は、適切に点群データを多重化して送信できる。

【0223】

例えば、複数のデータの各々の種別を示す情報は、（１）データに適用された符号化方式、（２）データの構成、（３）データを生成したセンサの種類、又は（４）データフォーマットを示す。

【0224】

例えば、ファイル構成におけるメタデータは、出力信号に含まれる複数のデータの時刻を同期させるための同期情報を含む。これによれば、当該出力信号を受信する三次元データ逆多重化装置において、複数のデータを同期させることができる。

【0225】

例えば、同期情報は、複数のデータ間におけるタイムスタンプの差分を示す。これによれば、出力信号のデータ量を削減できる。

【0226】

例えば、三次元データ多重化装置は、プロセッサと、メモリとを備え、プロセッサは、メモリを用いて、上記の処理を行う。

【0227】

また、本実施の形態に係る三次元データ逆多重化装置は、図３４に示す処理を行う。三次元データ逆多重化装置は、点群データを含む複数種類のデータが多重化された所定のファイル構成（例えばＩＳＯＢＭＦＦ）の出力信号から、ファイル構成におけるメタデータに格納されている、出力信号に含まれる複数のデータの各々の種別を示す情報（例えばｄａｔａ＿ｔｙｐｅ）を取得する（Ｓ７３２１）。三次元データ逆多重化装置は、複数のデータの各々の種別を示す情報を用いて、出力信号から複数のデータを取得する（Ｓ７３２２）。例えば、三次元データ逆多重化装置は、複数のデータの各々の種別を示す情報を用いて、出力信号から必要なデータを選択的に取得する。これによれば、三次元データ逆多重化装置は、容易に各データの種別を判定できる。

【0228】

例えば、複数のデータの各々の種別を示す情報は、（１）データに適用された符号化方式、（２）データの構成、（３）データを生成したセンサの種類、又は（４）データフォーマットを示す。

【0229】

例えば、ファイル構成におけるメタデータは、出力信号に含まれる複数のデータの時刻を同期させるための同期情報を含む。例えば、三次元データ逆多重化装置は、同期情報を用いて複数のデータを同期させる。

【0230】

例えば、同期情報は、複数のデータ間におけるタイムスタンプの差分を示す。例えば、同期情報は、複数のデータのいずれかのタイムスタンプを示す情報を含み、三次元データ逆多重化装置は、複数のデータのいずれかのタイムスタンプに、同期情報で示される差分を加えることで、複数のデータのうちの他のデータのタイムスタンプを復元する。これにより、出力信号のデータ量を削減できる。

【0231】

例えば、三次元データ逆多重化装置は、プロセッサと、メモリとを備え、プロセッサは、メモリを用いて、上記の処理を行う。

【0232】

以上、本開示の実施の形態に係る三次元データ多重化装置、三次元データ逆多重化装置、三次元データ符号化装置及び三次元データ復号装置等について説明したが、本開示は、この実施の形態に限定されるものではない。

【0233】

また、上記実施の形態に係る三次元データ多重化装置、三次元データ逆多重化装置、三次元データ符号化装置及び三次元データ復号装置等に含まれる各処理部は典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。

【0234】

また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

【0235】

また、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。

【0236】

また、本開示は、三次元データ多重化装置、三次元データ逆多重化装置、三次元データ符号化装置及び三次元データ復号装置等により実行される三次元データ多重化方法、三次元データ逆多重化方法、三次元データ符号化方法又は三次元データ復号方法等として実現されてもよい。

【0237】

また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを一つの機能ブロックとして実現したり、一つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。

【0238】

また、フローチャートにおける各ステップが実行される順序は、本開示を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時（並列）に実行されてもよい。

【0239】

以上、一つまたは複数の態様に係る三次元データ多重化装置、三次元データ逆多重化装置、三次元データ符号化装置及び三次元データ復号装置等について、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つまたは複数の態様の範囲内に含まれてもよい。

【産業上の利用可能性】

【0240】

本開示は、三次元データ多重化装置、三次元データ逆多重化装置、三次元データ符号化装置及び三次元データ復号装置に適用できる。

【符号の説明】

【0241】

４６０１ 三次元データ符号化システム
４６０２ 三次元データ復号システム
４６０３ センサ端末
４６０４ 外部接続部
４６１１ 点群データ生成システム
４６１２ 提示部
４６１３ 符号化部
４６１４ 多重化部
４６１５ 入出力部
４６１６ 制御部
４６１７ センサ情報取得部
４６１８ 点群データ生成部
４６２１ センサ情報取得部
４６２２ 入出力部
４６２３ 逆多重化部
４６２４ 復号部
４６２５ 提示部
４６２６ ユーザインタフェース
４６２７ 制御部
４６３０ 第１の符号化部
４６３１ 位置情報符号化部
４６３２ 属性情報符号化部
４６３３ 付加情報符号化部
４６３４ 多重化部
４６４０ 第１の復号部
４６４１ 逆多重化部
４６４２ 位置情報復号部
４６４３ 属性情報復号部
４６４４ 付加情報復号部
４６５０ 第２の符号化部
４６５１ 付加情報生成部
４６５２ 位置画像生成部
４６５３ 属性画像生成部
４６５４ 映像符号化部
４６５５ 付加情報符号化部
４６５６ 多重化部
４６６０ 第２の復号部
４６６１ 逆多重化部
４６６２ 映像復号部
４６６３ 付加情報復号部
４６６４ 位置情報生成部
４６６５ 属性情報生成部
７３０１、７３０１Ａ、７３０１Ｂ、７３０１Ｃ センシングデバイス
７３０２、７３０２Ａ、７３０２Ｂ、７３０２Ｃ センサ情報入力部
７３０３、７３０３Ａ、７３０３Ｃ 点群データ生成部
７３０４Ａ、７３０４Ｂ センシング部
７３０５ マージ部
７３１０ 第１のデバイス
７３１１、７３２１ センシング部
７３１２、７３２２ 出力Ｉ／Ｆ
７３２０ 第２のデバイス
７３２３ 入力Ｉ／Ｆ
７３２４ 処理部
７３２５ 点群データ生成部
７３２６ 符号化部
７３３１Ａ、７３３１Ｂ、７３３１Ｃ センシング部
７３３２Ａ、７３３２Ｂ、７３３２Ｃ センサ情報入力部
７３３３Ａ、７３３３Ｂ 点群データ生成部
７３３４Ａ、７３３４Ｂ 符号化部
７３３５ 同期部
７３３６ 多重化部
７３４１Ａ、７３４１Ｂ、７３４１Ｃ センシング部
７３４２Ａ、７３４２Ｂ、７３４２Ｃ 入出力部
７３４３ 点群データ生成部
７３４４Ａ、７３４４Ｂ 符号化部
７３４５ 同期部
７３４６ 多重化部
７３５０ クラウドサーバ
７３５１ 逆多重化部
７３５２Ａ、７３５２Ｂ 復号部
７３５３ 点群データ合成部
７３５４ 大規模データ蓄積部
７３５５ 復号部
７３５６ 比較部
７３５７ 符号化部
７３６０ エッジ
７３６１Ａ、７３６１Ｂ センサ
７３６２Ａ、７３６２Ｂ 点群データ生成部
７３６３ 同期部
７３６４Ａ、７３６４Ｂ 符号化部
７３６５ 多重化部
７３６６ 更新データ蓄積部
７３６７ 逆多重化部
７３６８ 復号部
７３６９ フィルタ
７３７０ 自己位置推定部
７３７１ 運転制御部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29】

【図30】

【図31】

【図32】

【図33】

【図34】

【国際調査報告】