ホーム > 特許ランキング > ソニーグループ株式会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022051967
(43)【公開日】2022-04-04
(54)【発明の名称】情報処理装置および情報処理方法
(51)【国際特許分類】
G06T 1/00 20060101AFI20220328BHJP
G06T 19/00 20110101ALI20220328BHJP
【ＦＩ】
G06T1/00 200D
G06T19/00 A
【審査請求】未請求
【請求項の数】20
【出願形態】ＯＬ
(21)【出願番号】P 2019001376
(22)【出願日】2019-01-08
(71)【出願人】
【識別番号】000002185
【氏名又は名称】ソニーグループ株式会社
(74)【代理人】
【識別番号】100121131
【弁理士】
【氏名又は名称】西川 孝
(74)【代理人】
【識別番号】100082131
【弁理士】
【氏名又は名称】稲本 義雄
(72)【発明者】
【氏名】勝股 充
(72)【発明者】
【氏名】高橋 遼平
(72)【発明者】
【氏名】平林 光浩
【テーマコード（参考）】
5B050
【Ｆターム（参考）】
5B050BA02
5B050BA08
5B050BA09
5B050BA10
5B050BA17
5B050DA01
5B050DA04
5B050EA10
5B050EA24
5B050EA26
5B050FA02
5B050GA08
(57)【要約】
【課題】３Ｄオブジェクト静止画コンテンツにおいてサムネイルを利用する。
【解決手段】３Ｄオブジェクトを元データとして、その元データから生成されたサムネイルデータが元データに基づくサムネイルであることを示す情報である役割情報を生成する。そして、役割情報、および、３Ｄオブジェクトの１フレーム分が所定の符号化方法で符号化された符号化データを、所定のファイル構造のファイルに格納する。本技術は、例えば、時間情報を持たないPoint Cloudの符号化データと、そのサムネイルを格納するファイルを生成するデータ生成装置に適用できる。
【選択図】図２５
【解決手段】３Ｄオブジェクトを元データとして、その元データから生成されたサムネイルデータが元データに基づくサムネイルであることを示す情報である役割情報を生成する。そして、役割情報、および、３Ｄオブジェクトの１フレーム分が所定の符号化方法で符号化された符号化データを、所定のファイル構造のファイルに格納する。本技術は、例えば、時間情報を持たないPoint Cloudの符号化データと、そのサムネイルを格納するファイルを生成するデータ生成装置に適用できる。
【選択図】図２５
【特許請求の範囲】
【請求項1】
３Ｄオブジェクトを元データとして、その元データから生成されたサムネイルデータが前記元データに基づくサムネイルであることを示す情報である役割情報を生成する前処理部と、
前記役割情報、および、前記３Ｄオブジェクトの１フレーム分が所定の符号化方法で符号化された符号化データを、所定のファイル構造のファイルに格納するファイル生成部と
を備える情報処理装置。
前記役割情報、および、前記３Ｄオブジェクトの１フレーム分が所定の符号化方法で符号化された符号化データを、所定のファイル構造のファイルに格納するファイル生成部と
を備える情報処理装置。
【請求項2】
前記役割情報は、前記符号化データにおける再生の起点となる情報を含む
請求項１に記載の情報処理装置。
請求項１に記載の情報処理装置。
【請求項3】
前記再生の起点となる情報は、前記符号化データにおける再生すべきストリームを識別するグループ識別情報でもある
請求項２に記載の情報処理装置。
請求項２に記載の情報処理装置。
【請求項4】
前記前処理部は、前記サムネイルとして、特定の視点位置、視点方向、および画角で、前記３Ｄオブジェクトを表示した２次元の静止画データを示す前記役割情報を生成する
請求項３に記載の情報処理装置。
請求項３に記載の情報処理装置。
【請求項5】
前記前処理部は、前記サムネイルとして、複数の視点位置、視点方向、および画角で、前記３Ｄオブジェクトを表示した画像から構成される動画像データであるビデオサムネイルを示す前記役割情報を生成する
請求項３に記載の情報処理装置。
請求項３に記載の情報処理装置。
【請求項6】
前記ファイル生成部は、前記ビデオサムネイルを示す前記役割情報を、ItemReferenceBoxに格納する
請求項５に記載の情報処理装置。
請求項５に記載の情報処理装置。
【請求項7】
前記ファイル生成部は、前記ビデオサムネイルを示す前記役割情報を、EntityToGroupBoxに格納する
請求項５に記載の情報処理装置。
請求項５に記載の情報処理装置。
【請求項8】
前記前処理部は、前記サムネイルとして、低解像度でエンコードされた前記３Ｄオブジェクトである３Ｄオブジェクトサムネイルを示す前記役割情報を生成する
請求項２に記載の情報処理装置。
請求項２に記載の情報処理装置。
【請求項9】
前記ファイル生成部は、前記３Ｄオブジェクトサムネイルを示す前記役割情報を、ItemReferenceBoxに格納する
請求項８に記載の情報処理装置。
請求項８に記載の情報処理装置。
【請求項10】
前記ファイル生成部は、前記３Ｄオブジェクトサムネイルを示す前記役割情報を、EntityToGroupBoxに格納する
請求項８に記載の情報処理装置。
請求項８に記載の情報処理装置。
【請求項11】
前記前処理部は、前記３Ｄオブジェクトサムネイルの表示ルールを生成する
請求項８に記載の情報処理装置。
請求項８に記載の情報処理装置。
【請求項12】
前記３Ｄオブジェクトサムネイルの表示ルールは、前記３Ｄオブジェクトサムネイルを表示する際の回転で示される
請求項１１に記載の情報処理装置。
請求項１１に記載の情報処理装置。
【請求項13】
前記３Ｄオブジェクトサムネイルの表示ルールは、前記３Ｄオブジェクトサムネイルを表示する際の視点位置、視線方向、および画角で示される
請求項１１に記載の情報処理装置。
請求項１１に記載の情報処理装置。
【請求項14】
前記ファイル生成部は、前記３Ｄオブジェクトサムネイルの表示の初期位置を前記ファイルに格納する
請求項１１に記載の情報処理装置。
請求項１１に記載の情報処理装置。
【請求項15】
前記ファイル生成部は、前記３Ｄオブジェクトサムネイルの表示ルールを、ItemPropertyに格納する
請求項１１に記載の情報処理装置。
請求項１１に記載の情報処理装置。
【請求項16】
前記ファイル生成部は、前記３Ｄオブジェクトサムネイルの表示ルールを、Itemに格納する
請求項１１に記載の情報処理装置。
請求項１１に記載の情報処理装置。
【請求項17】
前記ファイル生成部は、前記３Ｄオブジェクトサムネイルの表示ルールを、meta trackに格納する
請求項１１に記載の情報処理装置。
請求項１１に記載の情報処理装置。
【請求項18】
前記前処理部は、前記３ＤオブジェクトサムネイルでG-PCC（Geometry based Point Cloud Coding）を用いている場合に、Geometryのデコードを限定したデータを前記サムネイルとするための前記役割情報を生成する
請求項８に記載の情報処理装置。
請求項８に記載の情報処理装置。
【請求項19】
前記前処理部は、ItemPropertyでGeometryのデコードを限定することを示す前記役割情報を生成する
請求項１８に記載の情報処理装置。
請求項１８に記載の情報処理装置。
【請求項20】
情報処理装置が、
３Ｄオブジェクトを元データとして、その元データから生成されたサムネイルデータが前記元データに基づくサムネイルであることを示す情報である役割情報を生成することと、
前記役割情報、および、前記３Ｄオブジェクトの１フレーム分が所定の符号化方法で符号化された符号化データを、所定のファイル構造のファイルに格納することと
を含む情報処理方法。
３Ｄオブジェクトを元データとして、その元データから生成されたサムネイルデータが前記元データに基づくサムネイルであることを示す情報である役割情報を生成することと、
前記役割情報、および、前記３Ｄオブジェクトの１フレーム分が所定の符号化方法で符号化された符号化データを、所定のファイル構造のファイルに格納することと
を含む情報処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、情報処理装置および情報処理方法に関し、特に、時間情報を持たない３Ｄオブジェクトにおいてサムネイルを利用することができるようにした情報処理装置および情報処理方法に関する。
【背景技術】
【0002】
従来、３Ｄオブジェクトの表現方法として、３次元空間上に位置情報および属性情報（特に色情報）を同時に持った点の集合で表すPoint Cloudがある。そして、非特許文献１および２に開示されているように、Point Cloudの圧縮方法が規定されている。
【0003】
例えば、Point Cloudの圧縮方法の一つとして、Point Cloudを複数の領域に分割（以下、セグメンテーションと称する）し、領域毎に平面投影してtexture画像およびgeometry画像を生成した後、それらを動画コーデックにより符号化する方法がある。ここで、geometry画像は、Point Cloudを構成する点群のdepth情報から構成される画像である。この方法はV-PCC（Video-based Point Cloud Coding）と称されており、その詳細は非特許文献１に記載されている。
【0004】
また、もう一つの圧縮方法として、Point Cloudを、３次元形状を示すgeometryと、属性情報として色や反射情報などを示すattributeとに分離して、それらを符号化する方法がある。この方法は、G-PCC（Geometry based Point Cloud Coding）と称されている。
【0005】
そして、これらの符号化によって生成されたV-PCCおよびG-PCCのストリームを、ダウンロード再生したり、over IP（Internet Protocol）networkで配信したりするユースケースが期待されている。
【0006】
そこで、非特許文献３で開示されているように、既存の配信プラットフォームへのインパクトを抑制し、早期のサービス実現を目指すべく、MPEG（Moving Picture Experts Group）において、既存の枠組みであるISOBMFF/DASH（ISO Base Media File Format / Dynamic Adaptive St reaming over HTTP）による配信技術についての検討が開始された。
【先行技術文献】
【非特許文献】
【0007】
【非特許文献1】m45183 second working draft for Video-based Point Cloud Coding (V-PCC).
【非特許文献2】m45183 working draft for Geometry-based Point Cloud Coding (G-PCC).
【非特許文献3】w17675, First idea on Systems technologies for Point Cloud Coding, April 2018, San Diego, US
【発明の概要】
【発明が解決しようとする課題】
【0008】
ところで、従来、動画像のように、所定の時間間隔の複数のフレームからなるPoint CloudをV-PCCまたはG-PCCで符号化することによって生成されたV-PCC streamまたはG-PCC streamを、ISOBMFFの技術を利用したファイル構造のファイルに格納するようなユースケースで用いられていた。これに対し、例えば、地図データのように、時間情報を持たないPoint Cloud（即ち、１フレーム分のPoint Cloud）をV-PCCまたはG-PCCで符号化したものを、ISOBMFFの技術を利用したファイル構造のファイルに格納するようなユースケースも想定される。
【0009】
また、一般的に、２次元の静止画コンテンツにはサムネイルが付属しており、元画像（この場合は２次元の静止画像）を識別するための見本やインデックスとしてサムネイルが利用されている。例えば、ユーザが、複数の２次元の静止画コンテンツから、所望の２次元の静止画コンテンツを選択する用途として、それらのサムネイルの一覧が表示される。このため、サムネイルにはデコード処理や表示処理などにおける負荷を少なくすることが要求され、２次元の静止画コンテンツの場合には、解像度の低い２次元の静止画像データが用いられている。
【0010】
そこで、上述した地図データのように、時間情報を有しない３次元の３Ｄオブジェクト（以下、３Ｄオブジェクト静止画コンテンツと称する）においてサムネイルの利用を可能とすることが求められている。
【0011】
本開示は、このような状況に鑑みてなされたものであり、時間情報を持たない３Ｄオブジェクトにおいてサムネイルを利用することができるようにするものである。
【課題を解決するための手段】
【0012】
本開示の一側面の情報処理装置は、３Ｄオブジェクトを元データとして、その元データから生成されたサムネイルデータが前記元データに基づくサムネイルであることを示す情報である役割情報を生成する前処理部と、前記役割情報、および、前記３Ｄオブジェクトの１フレーム分が所定の符号化方法で符号化された符号化データを、所定のファイル構造のファイルに格納するファイル生成部とを備える。
【0013】
本開示の一側面の情報処理方法は、情報処理装置が、３Ｄオブジェクトを元データとして、その元データから生成されたサムネイルデータが前記元データに基づくサムネイルであることを示す情報である役割情報を生成することと、前記役割情報、および、前記３Ｄオブジェクトの１フレーム分が所定の符号化方法で符号化された符号化データを、所定のファイル構造のファイルに格納することとを含む。
【0014】
本開示の一側面においては、３Ｄオブジェクトを元データとして、その元データから生成されたサムネイルデータが元データに基づくサムネイルであることを示す情報である役割情報が生成され、役割情報、および、３Ｄオブジェクトの１フレーム分が所定の符号化方法で符号化された符号化データが、所定のファイル構造のファイルに格納される。
【図面の簡単な説明】
【0015】
【図1】HEIFにおけるサムネイルのシグナリングの一例を示す図である。
【図2】octree符号化について説明する図である。
【図3】ピクチャーサムネイルを示す役割情報が格納されるItemReferenceBoxの拡張の一例を示す図である。
【図4】ピクチャーサムネイルを示す役割情報が格納されるItemReferenceBoxを拡張する変形例を示す図である。
【図5】ビデオサムネイルを示す役割情報が格納されるItemReferenceBoxの拡張の一例を示す図である。
【図6】ビデオサムネイルを示す役割情報が格納されるItemReferenceBoxの拡張の変形例を示す図である。
【図7】ビデオサムネイルをシグナリングするためのEntityToGroupBox（thmb）の定義の一例を示す図である。
【図8】３Ｄオブジェクトサムネイルを特定の軸で回転させるシグナリングの一例を示す図である。
【図9】座標軸を示す図である。
【図10】様々な回転を複数組み合わせるシグナリングの一例を示す図である。
【図11】初期位置のシグナリングの一例を示す図である。
【図12】３Ｄオブジェクトサムネイルの視点位置、視線方向、および画角のシグナリングの一例を示す図である。
【図13】ItemPropertyでシグナリングする一例を示す図である。
【図14】ItemPropertyで初期位置をシグナリングする一例を示す図である。
【図15】３Ｄオブジェクトサムネイルを派生画像としてシグナリングする一例を示す図である。
【図16】表示ルールのmetadata trackの第１の例を示す図である。
【図17】表示ルールのmetadata trackの第１の例を示す図である。
【図18】表示ルールのmetadata trackの第２の例を示す図である。
【図19】表示ルールとサムネイルとの紐づけの一例を示す図である。
【図20】GPCCConfigurationBoxを拡張して３Ｄオブジェクトサムネイルをシグナリングする一例を示す図である。
【図21】拡張したGPCCConfigurationBoxを利用したファイル構造の一例を示す図である。
【図22】GPCCLimitedInfoPropertyで３Ｄオブジェクトサムネイルシグナリングする一例を示す図である。
【図23】GPCCLimitedInfoPropertyを利用したファイル構造の一例を示す図である。
【図24】Sequence Parameter Setでgeometryデータを特定の深さまでデコードすることを示す一例を示す図である。
【図25】データ生成装置の一例を示すブロック図である。
【図26】データ再生装置の一例を示すブロック図である。
【図27】サムネイルが格納されたファイルを生成するファイル生成処理を説明するフローチャートである。
【図28】サムネイルが格納されたファイルを生成するファイル生成処理を説明するフローチャートである。
【図29】サムネイルを再生するサムネイル再生処理を説明するフローチャートである。
【図30】本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【発明を実施するための形態】
【0016】
以下、本技術を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
【0017】
＜HEIFでのサムネイルのシグナリング＞
まず、図１を参照して、HEIFにおけるサムネイルのシグナリングについて説明する。
まず、図１を参照して、HEIFにおけるサムネイルのシグナリングについて説明する。
【0018】
例えば、３Ｄオブジェクト静止画コンテンツを構成するPoint Cloudは、上述したようなV-PCCまたはG-PCCを用いて符号化されることが想定される。以下、３Ｄオブジェクト静止画コンテンツを構成するPoint Cloudを、V-PCCで符号化した符号化データをV-PCC静止画データと称し、V-PCCで符号化した符号化データをV-PCC静止画データと称する。
【0019】
また、３Ｄオブジェクト静止画コンテンツをISOBMFFの技術を利用したファイル構造のファイルに格納する規格として、HEIF（ISO/IEC 23008-12 MPEG-H Image File Format）を用いることができる。一方、２次元画像を、例えば、AVC（Advanced Video Coding）やHEVC（High Efficiency Video Coding）などの動画像コーデックで符号化し、時間情報を持たない２次元画像データとしてISOBMFFを利用したファイル構造のファイルに格納することも可能である。
【0020】
従って、V-PCC静止画データおよびG-PCC静止画データを、動画像コーデックを用いて圧縮した時間情報を持たない２次元画像データと同様に見なしてISOBMFFの技術を利用したファイル構造のファイルに格納することは、例えば、HEIFを拡張することにより実現する可能性が高い。
【0021】
ここで、HEIFにおいてサムネイルは、「元画像の低解像度表現」と定義されている。そして、図１に示すように、ItemReferenceBox(‘iref’)にサムネイルを示す役割情報が格納される。例えば、referenceTypeが’thmb’であるBoxで、サムネイルitemを示すitem_idをfrom_item_idで示し、サムネイルの元画像のitem_idをto_item_idで示す。このように、役割情報は、サムネイルであることと、どの元画像に基づいたサムネイルであるかを示す情報である。
【0022】
即ち、図１では、item_id=2がサムネイルであることが、ItemReferenceBoxのreferenceTypeが’thmb’であるBoxにより示されている。
【0023】
また、３Ｄオブジェクト静止画コンテンツを、ISOBMFFの技術を利用したファイル構造のファイルに格納する場合、３Ｄオブジェクトサムネイルデータを1streamとして1itemに格納するか、複数のstreamに分割してmulti itemで格納される。例えば、1itemの場合は、そのitemを再生の起点とする。一方、multi itemの場合は、再生の起点は、itemで示されるか、EntityToGroupBoxのgroupで示される。
【0024】
ところが、既存のItemReferenceBoxは、item間の参照関係しかシグナリングすることができないため、groupが再生の起点となる場合には、元画像としてシグナリングすることができないことが懸念される。また、既存の規格では、サムネイルデータは２次元の静止画を想定しており、高機能なサムネイルである、動画データや解像度を落とした３Ｄオブジェクトは想定していないため、シグナリングすることができないことが懸念される。
【0025】
さらに、３Ｄオブジェクトをサムネイルとする場合に、サムネイルとして表示する際に表示方法（例えば、３Ｄオブジェクトを見る視点位置や、視線方向、画角、表示時間など）がクライアントに依存している。そのため、コンテンツオーサの意図とは異なるような表示となったり、クライアント毎に表示が異なったりしてしまう。
【0026】
＜G-PCC静止画データの元画像およびサムネイルとしての利用＞
【0027】
ここで、G-PCC静止画データのgeometryデータの圧縮方法として、図２に示すようなoctree符号化が用いられる。
【0028】
例えば、octree符号化は、Point cloudデータの各Pointを、一定のブロックに区切った空間の中に配置するVoxel表現されたデータにおいて、各ブロック内のPointの有無を、八分木によって表現する手法である。この手法では、図２に示すように、ポイントが存在するブロックは１、存在しないブロックは０で表現される。また、このブロックの細かさを、LoD（Level of Detail）といい、LoDが大きいほどブロックが細かくなる。
【0029】
そして、octree符号化で圧縮されたGeometryデータは、八分木の途中の深さまでをデコードすることにより、低解像度のGeometryとしてPoint Cloudを再構成することができる。ただし、この場合、テクスチャなどのattributeデータは別途、デコードした深さでのデータが必要になる。つまり、Geometryデータを元画像とサムネイルとで共用することができる。
【0030】
そこで、以下では、このように元画像と共通のGeometryデータで構成される低解像度のデータを、サムネイルとしてシグナリングすることを提案する。
【0031】
＜サムネイルデータ形式について＞
次に、３Ｄオブジェクト静止画コンテンツを構成するPoint Cloudのサムネイルのサムネイルデータ形式について説明する。
次に、３Ｄオブジェクト静止画コンテンツを構成するPoint Cloudのサムネイルのサムネイルデータ形式について説明する。
【0032】
本実施の形態では、サムネイルデータ形式として、ピクチャーサムネイル、ビデオサムネイル、および３Ｄオブジェクトサムネイルを用いる３つの手法を提案する。
【0033】
ピクチャーサムネイルは、特定の視点位置、視点方向、および画角で、３Ｄオブジェクトを表示した２次元の静止画データである。
【0034】
ビデオサムネイルは、複数の視点位置、視点方向、および画角で、３Ｄオブジェクトを表示した画像から構成される動画像データである。
【0035】
３Ｄオブジェクトサムネイルは、低解像度でエンコードされたPoint Cloudデータである。
【0036】
例えば、元画像がV-PCCでエンコードされたデータである場合に、低解像度でエンコードされたV-PCCデータを、３Ｄオブジェクトサムネイルとして用いることができる。なお、元画像と３Ｄオブジェクトサムネイルとで同一の方式でエンコードされたデータに限定されることはない。即ち、元画像がV-PCCでエンコードされたデータである場合に、G-PCCでエンコードされたデータや、Meshデータおよびテクスチャデータから構成されるデータなどを、３Ｄオブジェクトサムネイルとして用いてもよい。
【0037】
同様に、元画像がG-PCCでエンコードされたデータである場合に、低解像度でエンコードされたG-PCCデータの他、V-PCCでエンコードされたデータやMeshデータおよびテクスチャデータから構成されるデータなどを、３Ｄオブジェクトサムネイルに用いることができる。
【0038】
ところで、既存のサムネイルの定義を、３Ｄオブジェクト静止画コンテンツを構成するPoint Cloudに対応させると、上述したようなサムネイルデータ形式のうち、３Ｄオブジェクトサムネイルに該当すると考えられる。また、３Ｄオブジェクトサムネイルを２ＤディスプレイやHMD（Head Mounted Display）で表示する場合には、２Ｄ画像としてレンダリングされた低解像度なピクチャーサムネイルやビデオサムネイルなどを、サムネイルとして用いても同等の効果が得られる。
【0039】
なお、上記のサムネイルと、元画像であるPoint Cloudの３Ｄオブジェクト静止画コンテンツとの関係を示すには、以下の条件を満たす場合に、上述の図１に示したようなHEIFのサムネイルを利用することができる。即ち、元画像は、Point Cloudの３Ｄオブジェクト静止画コンテンツであり1itemで格納されていることと、サムネイルは、ピクチャーサムネイルであるか、または、３Ｄオブジェクトサムネイルが1itemで格納されているかのいずれかであることとの両方を満たすことが条件となる。そこで、以下では、この条件を満たさない場合であっても、３Ｄオブジェクト静止画コンテンツにおけるサムネイルをシグナリングすることができるようにする第１乃至第３の手法について説明する。
【0040】
＜３Ｄオブジェクト静止画コンテンツにおいてサムネイルをシグナリングする第１の手法＞
図３および図４を参照して、３Ｄオブジェクト静止画コンテンツにおいてサムネイルをシグナリングする第１の手法として、ピクチャーサムネイルを用いる手法について説明する。
図３および図４を参照して、３Ｄオブジェクト静止画コンテンツにおいてサムネイルをシグナリングする第１の手法として、ピクチャーサムネイルを用いる手法について説明する。
【0041】
例えば、３Ｄオブジェクト静止画コンテンツにおいてサムネイルとしてピクチャーサムネイルを用いるためには、３Ｄオブジェクト静止画コンテンツを構成するPoint Cloudを元画像とするような拡張が必要となる。
【0042】
ここで、３Ｄオブジェクト静止画コンテンツが、ISOBMFFの技術を利用したファイル構造のファイルにmulti itemで格納される際に、元画像の再生の起点が、EntityToGroupBoxのgroupで示される場合がある。この場合、EntityToGroupBoxのgroup_idが再生の起点を示すidとなるが、ItemReferenceBoxではitemしか示せないため、ItemReferenceBoxでは、元画像をシグナリングすることができないことも想定される。このように、元画像をシグナリングすることができないことは、ピクチャーサムネイルだけでなく、ビデオサムネイルや３Ｄオブジェクトサムネイルにおいても同様のことが想定される。そこで、groupも示せるようにItemReferenceBoxを拡張する。
【0043】
図３には、ピクチャーサムネイルを示す役割情報が格納されるItemReferenceBoxの拡張の一例が示されている。図３において、太字で記載されている個所において、multi itemに分割して格納された３Ｄオブジェクト静止画コンテンツを元画像としてシグナルされている。
【0044】
即ち、図３に示すように、ItemReferenceBoxでシグナリングされる、SingleItemTypeReferenceBoxおよびSingleItemTypeReferenceBoxLargeにおけるto_item_IDフィールドをto_entity_IDとし、このto_entity_IDによりitem_idおよびgroup_idのどちらもシグナリングできるようにする。そして、ItemReferenceBoxのflags&1が１である場合には、to_entity_IDによりitem_idおよびgroup_idがシグナルされていることを示す。一方、ItemReferenceBoxのflags&1が０である場合には、to_entity_IDによりitem_idのみがシグナルされていることを示す。
【0045】
図４には、ピクチャーサムネイルを示す役割情報が格納されるItemReferenceBoxを拡張する変形例が示されている。図４において、太字で記載されている個所において、multi itemに分割して格納された３Ｄオブジェクト静止画コンテンツを元画像としてシグナルされている。
【0046】
例えば、図４に示すように、ItemReferenceBoxにversion=2を追加し、その場合に、元画像を示すシグナリングで、item_idおよびgroup_idをシグナリングできるようにしてもよい。そして、SingleReferenceBoxのto_ID_typeが０である場合には、item_idがシグナリングされていることを示し、SingleReferenceBoxのto_ID_typeが１である場合には、group_idがシグナリングされていることを示す。
【0047】
なお、第１の手法では、サムネイル以外の用途で、ItemReferenceBoxにおいて、groupやtrackなどの紐づけにも利用することができる。
【0048】
＜３Ｄオブジェクト静止画コンテンツにおいてサムネイルをシグナリングする第２の手法＞
図５乃至図７を参照して、３Ｄオブジェクト静止画コンテンツにおいてサムネイルをシグナリングする第２の手法として、ビデオサムネイルを実現する手法について説明する。
図５乃至図７を参照して、３Ｄオブジェクト静止画コンテンツにおいてサムネイルをシグナリングする第２の手法として、ビデオサムネイルを実現する手法について説明する。
【0049】
まず、第２の手法における第１例として、元画像とビデオサムネイルとの紐づけるシグナリングについて説明する。
【0050】
ビデオサムネイルデータは、HEVCやAVCなどで符号化されたVideoデータ、または、HEIF規格に規定されている複数のImageデータに時間情報を持たせたImage sequenceである。そして、VideoデータまたはImage sequenceをISOBMFFのtrackに格納する手法は、既にISO/IEC規格で規定されている。
【0051】
そこで、trackに格納しているビデオサムネイルデータが、Point Cloudの３Ｄオブジェクト静止画コンテンツのサムネイルデータであることを示すシグナリングとして、以下のような第２の手法における第１例および第２の例を説明する。
【0052】
第２の手法における第１例では、既存のItemReferenceBoxを拡張し、ビデオサムネイルをシグナリングできるようにする。
【0053】
例えば、既存のItemReferenceBoxは、ビデオサムネイルをシグナリングすることができない。それは、ItemReferenceBoxはビデオサムネイルを示すtrackをシグナリングできないからである。従って、ビデオサムネイルを紐づけるためには、ビデオサムネイルのtrackのtrack_idを示せばよい。そこで、ItemReferenceBoxで、track_idを示すことができるように拡張する。
【0054】
【0055】
即ち、上述の図３に示したItemReferenceBoxを拡張してシグナリングされる、SingleItemTypeReferenceBoxおよび、SingleItemTypeReferenceBoxLargeのfrom_item_IDフィールドをfrom_entity_IDとし、このfrom_entity_IDによりitem_idおよびtrack_idのどちらもシグナリングできるようにする。そして、ItemReferenceBoxのflags&1が１である場合には、from_entity_IDまたはto_entity_IDにより、item_id、track_id、およびgroup_idのいずれかがシグナルされていることを示す。一方、ItemReferenceBoxのflags&1が０である場合には、item_idのみがシグナルされていることを示す。このような拡張によって、ItemReferenceBoxでビデオサムネイルをシグナリングすることができる。
【0056】
【0057】
例えば、上述の図４で示したように拡張されたSingleReferenceBoxを拡張してもよい。即ち、図６に示すように、from_ID_typeで、シグナリングするIDを指定する。例えば、from_ID_typeが０である場合にはitem_idがシグナリングされていることを示し、from_ID_typeが１である場合にはgroup_idがシグナリングされていることを示し、from_ID_typeが２である場合にはtrack_idがシグナリングされていることを示す。そして、ビデオサムネイルの場合、from_ID_typeは２として、from_IDで、ビデオサムネイルの格納されるtrack_idを指定する。
【0058】
なお、from_ID_typeでgroup_idが指定できるようになっているのは、後述する第３の手法における第１例の１での利用を想定している。
【0059】
なお、第２の手法における第１例では、既存のreferenceTypeである’thmb’を利用することを想定しているが、ビデオサムネイルであることを明示的に示すために、referenceTypeで’vthm’を指定してもよい。
【0060】
また、第２の手法における第１例は、サムネイル以外の用途で、ItemReferenceBoxで、groupやtrackなどの紐づけにも利用することができる。
【0061】
次に、第２の手法における第２例では、EntityToGroupBox(‘thmb’)を定義し、元画像とビデオサムネイルをグルーピングできるようにする。
【0062】
即ち、第２の手法における第２例は、EntityToGroupBoxでビデオサムネイルをシグナリングできるようにする手法である。例えば、EntityToGroupBoxは、entity_idフィールドでitem_idまたはtrack_idをシグナリングすることができる。しかしながら、元画像とサムネイルとをグルーピングするシグナリングは定義されていないとともに、group_idをシグナルすることはできなかった。そこで、元画像とサムネイルとの一覧を示すことができるグループを定義し、group_idをシグナルできるようにする。
【0063】
図７には、ビデオサムネイルをシグナリングするためのEntityToGroupBox（thmb）の定義の一例が示されている。
【0064】
図７に示すように、EntityToGroupBoxのgrouping_typeを’thmb’として、サムネイルが示すグルーピングであることを示す。そして、EntityToGroupBoxに含まれるentity_idは、１つ目がビデオサムネイルのtrack_id、２つ目以降が元画像となるitem_idを示す。
【0065】
さらに、元画像の再生の起点がgroup_idである場合を考慮して、entity_idフィールドでgroup_idをシグナリングできるようにする。この場合に、EntityToGroupBoxのflags&1が１である場合には、entity_idが、item_idおよびtrack_idがシグナルされていることに加えて、group_idがシグナルされていることを明示的に示すようにしてもよい。一方、EntityToGroupBoxのflags&1が０である場合には、item_idおよびtrack_idのいずれかがシグナルされていることを示す。
【0066】
なお、ビデオサムネイルを明示的に示すために、ビデオサムネイル専用のgrouping_typeを’vthm’としてもよい。
【0067】
また、第２の手法における第２例は、サムネイル以外の用途で、EntityToGroupBoxで、groupの紐づけにも利用可能である。
【0068】
＜３Ｄオブジェクト静止画コンテンツにおいてサムネイルをシグナリングする第３の手法＞
図８乃至図２４を参照して、３Ｄオブジェクト静止画コンテンツにおいてサムネイルをシグナリングする第３の手法として、３Ｄオブジェクトサムネイルを用いる手法について説明する。
図８乃至図２４を参照して、３Ｄオブジェクト静止画コンテンツにおいてサムネイルをシグナリングする第３の手法として、３Ｄオブジェクトサムネイルを用いる手法について説明する。
【0069】
まず、第３の手法の第１例では、元画像から３Ｄオブジェクトサムネイルを紐づけるようにする。
【0070】
例えば、３Ｄオブジェクトサムネイルデータは、V-PCCまたはG-PCCで符号化されたPoint Cloudデータである。これらは、ISOBMFFの技術を利用したファイル構造のファイルに格納される場合、３Ｄオブジェクトサムネイルデータを1streamとして1itemに格納するか、複数のstreamに分割してmulti itemで格納される。上述したように、multi itemの場合は、再生の起点は、itemで示されるか、EntityToGroupBoxのgroupで示される。
【0071】
そこで、第３の手法の第１例の１として、既存のItemReferenceBoxを拡張し、３Ｄオブジェクトサムネイルをシグナリングできるようにする手法について説明する。
【0072】
例えば、既存のItemReferenceBoxは、３Ｄオブジェクトサムネイルをシグナリングできない場合がある。それは、３Ｄオブジェクトサムネイルの再生の起点がgroup_idで示される場合にシグナリングができないからである。
【0073】
第３の手法の第１例の１では、ItemReferenceBoxを拡張し、３Ｄオブジェクトサムネイルの再生の起点がgroupで示される場合にも対応できるように拡張する。
【0074】
即ち、図５を参照して上述したItemReferenceBox（第２の手法における第１例）と同様に、３Ｄオブジェクトサムネイルを示す役割情報を格納する手法を用いる。そして、第３の手法の第１例の１では、from_entity_IDとし、item_idまたはgroup_idをシグナリングすればよい。
【0075】
さらに、第３の手法の第１例の１の変形例として、図６を参照して上述したようにSingleReferenceBoxの拡張と同様に、from_ID_typeは１として、from_IDで３Ｄオブジェクトサムネイルの再生の起点を示すgroup_idを指定することができる。
【0076】
なお、第３の手法の第１例の１では、３Ｄオブジェクトサムネイルであることを明示的に示すために、referenceTypeで’3dst’を指定してもよい。
【0077】
第３の手法の第１例の２では、上述した第２の手法における第２例と同様に、EntityToGroupBox(‘thmb’)を定義し、元画像と３Ｄオブジェクトサムネイルとをグルーピングできるようにする。
【0078】
例えば、EntityToGroupBoxは、entity_idフィールドでitem_idまたはtrack_idをシグナリングすることができる。しかしながら、元画像とサムネイルとをグルーピングするシグナリングは定義されていないとともに、group_idをシグナルすることはできなかった。そこで、元画像とサムネイルとの一覧が示すことができるグループを定義し、group_idをシグナルできるようにする。
【0079】
具体的な拡張の一例としては、上述の図７を参照して説明した第２の手法における第２例と同様に、EntityToGroupBoxに含まれるentity_idは、１つ目が３Ｄオブジェクトサムネイルのtrack_idまたはgroup_id、２つ目以降が元画像となるitem_idまたはgroup_idを示す。
【0080】
なお、３Ｄオブジェクトサムネイルを明示的に示すために、３Ｄオブジェクトサムネイル専用のgrouping_typeを’3dst’としてもよい。
【0081】
次に、第３の手法の第２例では、３Ｄオブジェクトサムネイルの表示ルールのシグナリングできるようにする。
【0082】
例えば、３Ｄオブジェクトサムネイルを表示する場合、どのような表示をするかは、クライアントの実装に依存する。具体的には、ある１視点位置のみを２Ｄ画像として表示することもできるし、複数の視点位置を連続で表示することもできる。このため、３Ｄオブジェクトサムネイルを適切に表示させたいコンテンツオーサの意図が実現されないことがある。
【0083】
そこで、第３の手法の第２例では、コンテンツオーサが、３Ｄオブジェクトサムネイルの表示の仕方をシグナリングできるようにする。まず、表示ルールのシグナリング手法について説明し、さらに表示ルールをISOBMFFへ格納方法する方法について説明する。
【0084】
なお、第３の手法の第２例は、３Ｄオブジェクトサムネイルの表示ルールを示すための手法であるが、元画像を自動で表示する際に利用することもできる。さらに、ピクチャーサムネイルまたはビデオサムネイルにおいて、元画像のどこを表示したのかを示すためにも利用することができる。
【0085】
第３の手法の第２例の１として、表示ルールのシグナリングについて説明する。
【0086】
第３の手法の第２例の１－１では、３Ｄオブジェクトサムネイルを回転させる表示ルールをシグナリングする。即ち、第３の手法の第２例の１－１は、視点位置、視線方向、および画角は固定し、３Ｄオブジェクトサムネイルの座標系の回転を示すことで、３Ｄオブジェクトサムネイルの表示を切り替える手法である。
【0087】
【0088】
例えば、loopは、３Ｄオブジェクトサムネイルの回転をループするか否かを示す。即ち、loopが１である場合には、３Ｄオブジェクトサムネイルが表示されている間は回転し続けることを示す。また、loopが０である場合には、３Ｄオブジェクトサムネイルが１回転のみしかしないことを示し、３Ｄオブジェクトサムネイルが１回転した後は初期位置を表示し続けることとする。
【0089】
また、rotation_typeは、３Ｄオブジェクトサムネイルが回転する座標軸を示す。即ち、rotation_typeが０である場合には、yaw軸を中心に回転することを示し、rotation_typeが１である場合には、pitch軸を中心に回転することを示し、rotation_typeが２である場合には、roll軸を中心に回転することを示す。
【0090】
また、negative_rotationは、３Ｄオブジェクトサムネイルが反回転か否かを示す。即ち、negative_rotationが０である場合には、３Ｄオブジェクトサムネイルが反回転しない（即ち、正回転する）ことを示し、negative_rotationが１である場合には、３Ｄオブジェクトサムネイルが反回転することを示す。
【0091】
さらに、timescaleおよびdurationは、３Ｄオブジェクトサムネイルが１回転する時間を示す。
【0092】
【0093】
【0094】
また、図１０に示すシグナリングでは、新しく、angleパラメータで１回転以内の回転も可能とする。即ち、angle_durationは、angleで示されている角度を動かす時間を示している。
【0095】
ここで、第３の手法の第２例の１－１においては、最初の視点位置、視線方向、および画角（以下、初期位置と称する）に関する情報がない。そのため、クライアント毎に初期位置が変わる可能性があり、コンテンツオーサの意図が正しく実現することができない。そのため、初期位置をシグナリングしてもよい。
【0096】
そこで、図１１に示すようなViewingPointStructにより初期位置をシグナリングしてもよい。
【0097】
図１１では、viewing_point_x，viewing_point_y，viewing_point_zによって、初期位置の視点位置が座標で示される。また、azimuth，elevation、およびtiltによって、初期位置の視線方向が角度で示される。そして、表示する画角情報が、azimuth_rangeおよびelevation_rangeで示される。
【0098】
このような初期位置のシグナリングは、３Ｄオブジェクトサムネイルを表示する際に利用するだけでなく、例えば、元画像の３Ｄオブジェクトを表示する際にも利用することができる。
【0099】
第３の手法の第２例の１－２では、３Ｄオブジェクトサムネイルの視点位置、視線方向、および画角をシグナリングする。即ち、第３の手法の第２例の１－２は、３Ｄオブジェクトサムネイルの視点位置、視線方向、および画角をシグナリングすることで、３Ｄオブジェクトサムネイルの表示を切り替える手法である。
【0100】
【0101】
例えば、loopは、３Ｄオブジェクトサムネイルの表示をループするか否かを示す。即ち、loopが０である場合には、ViewingPointStructを全て表示したら終了することを示す。一方、loopが１である場合には、ViewingPointStructを全て表示したらすると、最初に戻りループして表示し続けることを示す。
【0102】
また、timescaleおよびdurationは、ViewingPointStructの表示時間を指定する。
【0103】
さらに、interpolateは、３Ｄオブジェクトサムネイルの表示を補完するか否かを示す。即ち、interpolateが１である場合には、前のViewingPointStructで示される視点位置、視線方向、および画角との間を、durationの時間内に補完して表示することを示す。一方、interpolateが０である場合には、そのような補完処理を行わないことを示す。
【0104】
なお、第３の手法の第２例の１－２の変形例として、視線方向に関しては、azimuth，elevation、およびtiltを用いているが、特定の座標軸上の点（x1,y1,z1）を指定し、常にその点が中心になるように表示するようにしてもよい。
【0105】
第３の手法の第２例の２として、表示ルールのISOBMFFへの格納方法について説明する。
【0106】
第３の手法の第２例の２－１では、３ＤオブジェクトサムネイルをItemPropertyとしてシグナリングする。即ち、第３の手法の第２例の２－１は、上述した第３の手法の第２例の１の表示ルールを、ItemPropertyに格納して３ＤオブジェクトサムネイルのItemに紐づけてシグナリングする手法である。
【0107】
図１３には、ItemPropertyでシグナリングする一例が示されている。
【0108】
図１３に示すようなシグナリングを、３ＤオブジェクトサムネイルのItemPropertyとして追加し、クライアントは、このItemPropertyがある場合は、表示ルールに従って表示を行う。
【0109】
また、初期位置に関しても同様に、ItemPropertyに格納して３ＤオブジェクトサムネイルのItemに紐づけてシグナリングする。
【0110】
図１４には、ItemPropertyで初期位置をシグナリングする一例が示されている。
【0111】
第３の手法の第２例の２－２では、３Ｄオブジェクトサムネイルを派生画像としてシグナリングする。即ち、第３の手法の第２例の２－２は、上述した第３の手法の第２例の１の表示ルールを、HEIFの派生画像として新しく表示ルールのあるItemとして定義しシグナリングする手法である。
【0112】
図１５には、３Ｄオブジェクトサムネイルを派生画像としてシグナリングする一例が示されている。
【0113】
例えば、図１５に示すように、表示ルールが規定されている３Ｄオブジェクト静止画コンテンツであることを示すitem_typeとして‘3dvw’を定義する。そのItem Dataとして、3DobjectDisplayStructを格納する。
【0114】
また、第３の手法の第２例の２－２において、初期位置は、ItemDataに一緒に格納してもよいし、第３の手法の第２例の１－２と同様にItemPropertyでシグナリングしてもよい。
【0115】
なお、ItemReferenceではなく、EntityToGroupBoxで３Ｄオブジェクト静止画コンテンツとともにシグナリングしてもよい。
【0116】
第３の手法の第２例の２－３では、３Ｄオブジェクトサムネイルをmetadata trackとしてシグナリングする。即ち、第３の手法の第２例の２－３は、表示ルールをmetadata trackとして格納し、サムネイルと紐づける手法である。
【0117】
まず、表示ルールをmetadata trackに格納する手法について説明する。
【0118】
【0119】
例えば、3DObjectDisplayMetaDataSampleEntry(‘3ddm’)には、時間ごとで変わらない情報を格納する。また、初期位置をシグナリングInitialDisplayBox(‘intD’)を格納する。また、時間ごとに変わる情報は、sampleとしてMediaDataBox(‘mdat’)に格納する。そして、sampleの構造は、3DObjectDisplayMetaDataSampleに示す。
【0120】
また、3DObjectDisplayMetaDataSampleでシグナリングされていない時間に関する情報（上述の図１０参照）は、既存のISOBMFFの機能にマッピングする。また、上述の図１０に示したtimescaleは、media header box(‘mdhd’)のtimescaleを用いる。同様に、図１０に示したangle_durationは、time to sample box(‘stts’)を用い、図１０に示したloopは、edit list box(‘edts’)のloop機能を用いる。
【0121】
さらに、上述した第３の手法の第２例の１－２の表示ルール（図１２参照）を用いる場合は、図１８に示すように、3DObjectDisplayMetaDataSampleEntry(‘3ddm’)と3DObjectDisplayMetaDataSampleを定義すればよい。
【0122】
例えば、3DObjectDisplayMetaDataSampleにシグナリングされていない時間関連の情報（上述の図１２参照）は、既存のISOBMFFの機能にマッピングする。また、図１２に示したtimescaleは、media header box(‘mdhd’)のtimescaleを用いる。同様に、図１２に示したdurationは、time to sample box(‘stts’)を用い、図１２に示したloopは、edit list box(‘edts’)のloop機能を用いる。
【0123】
図１９には、metadata trackでシグナリングされた表示ルールと、サムネイルとを紐づける方法が示されている。
【0124】
図１９に示すように、ItemReference(‘cdsc’)によって、表示ルールのtrackからサムネイルへの紐づけを行うことができる。ここで、ItemReference(‘cdsc’)は、既に規定済みのreferenceTypeでcontent descriptionを示すものである。ただし、ItemReferenceでは、track_idはシグナリングできないため、上述した第２の手法の第１例で拡張したItemReferenceを用いることで紐づけを可能にする。
【0125】
なお、第３の手法の第２例の変形例として、３Ｄオブジェクトサムネイルのitemおよびmetadata trackを、EntityToGroupBoxでシグナリングしてもよい。
【0126】
次に、第３の手法の第３例では、G-PCC静止画のGeometryデータの深さを限定して３Ｄオブジェクトサムネイルとする。
【0127】
例えば、G-PCC静止画データの、geometryデータを特定の深さまでデコードしてPoint Cloudを再構成すると、geometryデータを全てデコードしたPoint Cloudより低解像度なPoint Cloudを構成することができ、処理量を削減することできる。ただし、Attributeデータ（例えばテクスチャ）は、Geometryの特定の深さまでデコードした情報にあわせたものが必要となる。
【0128】
この特性を利用して、Geometryデータは元画像のデータとどこまでデコードするかの情報をシグナルし、専用のAttributeデータを、３Ｄオブジェクトサムネイルとする。しかし、そのように元データのGeometryデータを共用することはできない。そこで、共用を可能にするためのメタデータをシグナリングする。
【0129】
なお、第３の手法の第３例は、３Ｄオブジェクトサムネイルとして利用することを想定しているが、代替画像として利用してもよい。
【0130】
第３の手法の第３例の１では、geometryの深さ情報をGPCCConfigurationBoxでシグナリングする。即ち、第３の手法の第３例の１は、ItemPropertyのGPCCConfigurationBoxを拡張し、geometryデータを特定の深さまでデコードすることを示す手法である。
【0131】
図２０には、GPCCConfigurationBoxを拡張して３Ｄオブジェクトサムネイルをシグナリングする一例が示されている。図２０において、太字で記載されている個所において、３Ｄオブジェクトサムネイルがシグナルされている。
【0132】
図２０に示すように、geometry_decode_limited_flagは、geometryデータを特定の深さまでしかデコードするか否かを示す。例えば、geometry_decode_limited_flagが１である場合、geometryデータを特定の深さまでしかデコードしないことを示す。一方、geometry_decode_limited_flagが０である場合は、geometryデータは全てデコードすることを示す。また、geometry_decode_depthはデコードする深さ情報を示す。
【0133】
図２１には、第３の手法の第３例の１におけるシグナリングを用いて、元画像とサムネイルとがそれぞれ１つずつ存在するファイル構成の一例が示されている。図２１に示す例では、元画像のgeometryは最大10の深さがあるとする。また、元画像がitem_id=1となっており、サムネイルがitem_id=2となっている。
【0134】
元画像のItemPropertyのGPCCConfigurationBox（ItemProperty(‘gpcC’)）は、geometry_decode_limited_flag=0がシグナリングされる。これにより、geometryは全てを（深さ10まで）デコードすることを示している。また、格納されているParameterSetは、SPS、GPS、APS(1)となっている。ItemLocationBox(‘iloc’)から参照されるデータは、GeomとAttr(1)をまとめたoffsetとlengthを示す。
【0135】
また、サムネイルのItemProperty(‘gpcC’)は、geometry_decode_limited_flag=1およびgeometry_decode_depth=8がシグナリングされている。これにより、geometryは深さ8までデコードすることを示している。また、格納されているParameterSetは、SPS、GPS、APS(2)となっており、APSは元画像と異なるものとなる。そして、ItemLocationBox(‘iloc’)から参照されるデータは、GeomおよびAttr(2)のデータを、それぞれ指し示している。
【0136】
また、図２１に示すファイル構造では、ItemReferenceBox(‘iref’)において、item_id=2がitem_id=1のサムネイルであることを示している。
【0137】
第３の手法の第３例の２では、新しくItemPropertyを定義して、geometryの深さ情報をシグナリングする。即ち、第３の手法の第３例の２は、GPCCLimitedInfoPropertyを定義し、geometryデータを特定の深さまでデコードすることを示す手法である。
【0138】
図２２には、GPCCLimitedInfoPropertyで３Ｄオブジェクトサムネイルシグナリングする一例が示されている。
【0139】
【0140】
図２２に示すファイル構成は、基本的には図２１に示したファイルの構成と同様となっていが、サムネイルのGPCCLimitedInfoProperty(ItemProperty(’gpcL’))によって、geometryデータの深さを制限する。
【0141】
第３の手法の第３例の３では、G-PCCのbitstreamでシグナリングする。即ち、第３の手法の第３例の３は、G-PCCのbitstreamに、geometryデータを特定の深さまでデコードすることを示すパラメータを入れる手法である。
【0142】
図２４には、Sequence Parameter Setでgeometryデータを特定の深さまでデコードすることを示す一例が示されている。なお、フィールドの詳細は、図２０を参照して説明した第３の手法の第３例の１と同様である。
【0143】
なお、第３の手法の第３例の３では、Sequence Parameter Setで格納する例を挙げたが、Geometry Parameter SetやGeometry bitstreamなど別の場所で、図２４と同様にシグナリングしてもよい。
【0144】
【0145】
図２５には、データ生成装置の構成例を示すブロック図が示されている。
【0146】
図２５に示すように、データ生成装置１１は、制御部２１、メモリ２２、およびファイル生成部２３を備えて構成される。例えば、メモリ２２には、制御部２１がファイル生成部２３を制御するのに必要な各種のデータが記憶されており、制御部２１は、そのデータを参照して、ファイル生成部２３におけるファイルの生成を制御する。
【0147】
ファイル生成部２３は、データ入力部３１、データ符号化・生成部３２、記録部３３、および出力部３４を備えて構成される。例えば、データ入力部３１に入力されたデータは、データ符号化・生成部３２に供給される。そして、データ符号化・生成部３２で生成されたファイルが、記録部３３を介して出力部３４から出力され、例えば、記録メディアなどに記録される。
【0148】
データ符号化・生成部３２は、前処理部３５、符号化部３６、およびファイル生成部３７を有している。
【0149】
前処理部３５は、データ入力部３１から入力されるPoint Cloudから、geometry画像やtexture画像、各種のメタデータなどを生成する処理を実行する。さらに、前処理部３５は、そのPoint Cloudを元画像として、サムネイルとして用いる画像データ（２次元の静止画データまたは動画像データ）または低解像度のPoint Cloudデータを生成する。そして、前処理部３５は、生成した画像データまたは低解像度のPoint Cloudデータが、元画像に基づくサムネイルであることと、その元画像であるPoint Cloudとを示す役割情報を生成する。
【0150】
符号化部３６は、V-PCCまたはG-PCCを用いてPoint Cloudを符号化する処理を実行する。さらに、符号化部３６は、サムネイルとして用いる画像データまたは低解像度のPoint Cloudデータを符号化する。
【0151】
ファイル生成部３７は、V-PCC静止画データまたはG-PCC静止画データとともに、前処理部３５において生成されたメタデータを、ISOBMFFの技術を利用したファイル構造のファイルに格納し、そのファイルを生成する処理を実行する。さらに、ファイル生成部３７は、符号化部３６が符号化したサムネイルとして用いるデータと、前処理部３５が生成した役割情報とをファイルに格納する。
【0152】
図２６には、データ再生装置の構成例を示すブロック図が示されている。
【0153】
図２６に示すように、データ再生装置１２は、制御部４１、メモリ４２、および再生処理部４３を備えて構成される。例えば、メモリ４２には、制御部４１が再生処理部４３を制御するのに必要な各種のデータが記憶されており、制御部４１は、そのデータを参照して、再生処理部４３におけるPoint Cloudの再生を制御する。
【0154】
再生処理部４３は、取得部５１、表示制御部５２、データ解析・復号部５３、および表示部５４を備えて構成される。例えば、取得部５１により取得された、例えば、記録メディアなどから読み出されたファイルは、データ解析・復号部５３に供給される。そして、表示制御部５２による表示制御に従ってデータ解析・復号部５３において生成された表示画面が、表示部５４において表示される。
【0155】
データ解析・復号部５３は、ファイル解析部５５、復号部５６、および表示情報生成部５７を有している。
【0156】
ファイル解析部５５は、ISOBMFFの技術を利用したファイル構造のファイルからV-PCC静止画データまたはG-PCC静止画データを抽出するとともに、メタデータを解析する処理を実行する。さらに、ファイル解析部５５は、ファイルからサムネイルデータ（例えば、符号化部３６において符号化されたサムネイルとして用いる画像データまたは低解像度のPoint Cloudデータ）を抽出するとともに、役割情報を取得する。
【0157】
また、復号部５６は、ファイル解析部５５において取得されたメタデータに従い、V-PCC静止画データまたはG-PCC静止画データを、V-PCCまたはG-PCCを用いて復号する処理を実行する。さらに、復号部５６は、サムネイルとして用いる画像データまたは低解像度のPoint Cloudデータを復号する。
【0158】
また、表示情報生成部５７は、Point Cloudを構築しPoint Cloudをレンダリングして表示画面を生成する。さらに、表示情報生成部５７は、サムネイルとして用いる画像データまたは低解像度のPoint Cloudデータから、役割情報に従って元画像に対応するようにサムネイル（ピクチャーサムネイル、ビデオサムネイル、または３Ｄオブジェクトサムネイル）が表示される表示画面をレンダリングする。
【0159】
＜ファイル生成処理＞
【0160】
図２７は、データ生成装置１１のデータ符号化・生成部３２が、サムネイルが格納されたファイルを生成するファイル生成処理を説明するフローチャートである。ここで、図２７で説明するファイル生成処理は、上述した第３の手法の第３例の３以外の各手法に適用される。
【0161】
ステップＳ１１において、データ符号化・生成部３２は、サムネイルデータ形式として、ピクチャーサムネイル、ビデオサムネイル、および３Ｄオブジェクトサムネイルのうちの、いずれを生成するのかを判定する。
【0162】
ステップＳ１１において、データ符号化・生成部３２が、ピクチャーサムネイルまたはビデオサムネイルを生成すると判定した場合、処理はステップＳ１２に進む。
【0163】
ステップＳ１２において、前処理部３５は、サムネイルとして用いる画像データを生成して、符号化部３６に供給する。例えば、ピクチャーサムネイルを生成する場合には、前処理部３５は、Point Cloudデータから１つの視点位置、視点方向、および画角で２次元の静止画データを生成する。また、ビデオサムネイルを生成する場合には、前処理部３５は、Point Cloudデータから複数の視点位置、視点方向、および画角で動画像データ（即ち、複数の静止画データ）を生成する。さらに、前処理部３５は、静止画データまたは動画像データがサムネイルであることと、そのサムネイルを生成する元となった元画像であるPoint Cloudとを示す役割情報を生成する。
【0164】
ステップＳ１３において、符号化部３６は、ステップＳ１２で生成した画像データを符号化して、ファイル生成部３７に供給する。即ち、符号化部３６は、ステップＳ１２で前処理部３５が生成した２次元の静止画データまたは動画像データを符号化する。
【0165】
一方、Ｓ１１において、データ符号化・生成部３２が、３Ｄオブジェクトサムネイルを生成すると判定した場合、処理はステップＳ１４に進む。
【0166】
ステップＳ１４において、前処理部３５は、Point Cloudデータの解像度を落とすことにより、低解像度のPoint Cloudデータを生成して、符号化部３６に供給する。さらに、前処理部３５は、低解像度のPoint Cloudデータがサムネイルであることと、そのサムネイルを生成する元となった元画像であるPoint Cloudとを示す役割情報を生成する。
【0167】
ステップＳ１５において、符号化部３６は、ステップＳ１４で前処理部３５が生成した低解像度のPoint Cloudデータを、例えば、V-PCCまたはG-PCCを用いて符号化して、ファイル生成部３７に供給する。
【0168】
ステップＳ１６において、ファイル生成部３７は、ステップＳ１３またはＳ１５で符号化部３６が符号化したデータと、メタデータである役割情報とを含むように、ISOBMFFの技術を利用したファイルに格納し、処理は終了される。
【0169】
図２８は、データ生成装置１１のデータ符号化・生成部３２が、サムネイルが格納されたファイルを生成するファイル生成処理を説明するフローチャートである。ここで、図２８で説明するファイル生成処理は、上述した第３の手法の第３例の３に適用される。
【0170】
ステップＳ２１において、前処理部３５は、Point CloudデータをG-PCCでエンコードする際のGeometryを特定の深さまでにエンコードすることを想定したAttributeデータを生成して、符号化部３６に供給する。さらに、前処理部３５は、生成したAttributeデータがサムネイルに対応するものであることと、そのAttributeデータに従った深さまでエンコードする対象となる元画像であるPoint Cloudとを示す役割情報を生成する。
【0171】
ステップＳ２２において、符号化部３６は、ステップＳ２１で前処理部３５が生成したAttributeデータを符号化して、ファイル生成部３７に供給する。
【0172】
ステップＳ２３において、ファイル生成部３７は、ステップＳ２３で符号化部３６が符号化したデータ（Attributeデータ）と、メタデータである役割情報とを含むように、ISOBMFFの技術を利用したファイルに格納し、処理は終了される。
【0173】
なお、図２７および図２８のフローチャートでは、元画像をファイルに格納する処理についての説明は省略されているが、符号化部３６において通常の解像度のPoint Cloudデータ（即ち、元画像）がV-PCCまたはG-PCCを用いて符号化されたデータが、ファイル生成部３７によってISOBMFFの技術を利用したファイルに格納される。
【0174】
図２９は、データ再生装置１２のデータ解析・復号部５３が、サムネイルを再生するサムネイル再生処理を説明するフローチャートである。
【0175】
ステップＳ３１において、ファイル解析部５５は、取得部５１から供給されるファイルからサムネイルデータ（例えば、図２７のステップＳ１３またはＳ１５で符号化されたデータ）を抽出して、復号部５６に供給する。また、ファイル解析部５５は、サムネイルデータとともに格納されている役割情報も抽出して、表示情報生成部５７に供給する。
【0176】
ステップＳ３２において、復号部５６は、ステップＳ３１でファイル解析部５５から供給されたサムネイルデータを復号し、復号により取得したデータを表示情報生成部５７に供給する。
【0177】
ステップＳ３３において、表示情報生成部５７は、ステップＳ３２で復号部５６が復号したデータ、および、ステップＳ３１でファイル解析部５５から供給されたメタデータである役割情報から、元画像に対応するようにサムネイル（ピクチャーサムネイル、ビデオサムネイル、または３Ｄオブジェクトサムネイル）が表示される表示画面をレンダリングする。
【0178】
そして、ステップＳ３３の処理後、表示情報生成部５７によりレンダリングされた表示画面が、図２６の表示部５４に表示される。
【0179】
以上のように、本技術は、３Ｄオブジェクト静止画コンテンツを元画像とする場合に、２次元の静止画データ、動画像データ、および低解像度でエンコードされたPoint Cloudデータのいずれかを、サムネイルデータとしてアクセスすることができる。このように、動画像データや、低解像度でエンコードされたPoint Cloudデータをサムネイルとして利用することにより、コンテンツオーサは、より高機能なサムネイルをユーザに提供することができる。従って、ユーザは、コンテンツの内容をサムネイルから多く得ることが可能になる。また、元画像のエンコード形式によらず、サムネイルデータのエンコード形式は自由に設定が可能である。
【0180】
また、３Ｄオブジェクト静止画コンテンツをサムネイルデータとする場合は、コンテンツオーサの意図をクライアントに伝えることができ、クライアントはコンテンツオーサの意図に合わせた表示をすることができる。このように表示することで、複数のクライアント間の表示を揃えることも可能である。
【0181】
例えば、表示ルールおよび初期位置情報は、サムネイルだけでなく、元画像にも利用ができる。このように元画像で利用する際は、ユーザが操作することなく様々な位置からコンテンツを見ることが可能になる。また、クライアントによっては、表示時には初期位置のみを表示し、フォーカスが当たったときに表示ルールに従って表示することで、処理量を減らしたサムネイル表示も可能である。
【0182】
また、ユーザは、サムネイルデータ自身を変更することなく、メタデータの編集のみでサムネイルの表示を変更することが可能になる。
【0183】
さらに、G-PCCを元画像およびサムネイルとして用いる場合に、geometry bitstreamのデコードする深さを限定することで、同じbitstreamデータを３Ｄオブジェクト静止画コンテンツとサムネイルデータで共用することが可能になる。そのため、サムネイルデータ用のgeometry bitstreamを含む必要がなくなる分だけデータ量の削減を図ることができる。この手法は、サムネイルだけでなく、低解像度の代替画像とする場合にも利用できる手法である。
【0184】
＜コンピュータの構成例＞
次に、上述した一連の処理（情報処理方法）は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
次に、上述した一連の処理（情報処理方法）は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【0185】
図３０は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示すブロック図である。
【0186】
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク１０５やROM１０３に予め記録しておくことができる。
【0187】
あるいはまた、プログラムは、ドライブ１０９によって駆動されるリムーバブル記録媒体１１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体１１１は、いわゆるパッケージソフトウェアとして提供することができる。ここで、リムーバブル記録媒体１１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
【0188】
なお、プログラムは、上述したようなリムーバブル記録媒体１１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク１０５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
【0189】
コンピュータは、CPU(Central Processing Unit)１０２を内蔵しており、CPU１０２には、バス１０１を介して、入出力インタフェース１１０が接続されている。
【0190】
CPU１０２は、入出力インタフェース１１０を介して、ユーザによって、入力部１０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)１０３に格納されているプログラムを実行する。あるいは、CPU１０２は、ハードディスク１０５に格納されたプログラムを、RAM(Random Access Memory)１０４にロードして実行する。
【0191】
これにより、CPU１０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU１０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース１１０を介して、出力部１０６から出力、あるいは、通信部１０８から送信、さらには、ハードディスク１０５に記録等させる。
【0192】
なお、入力部１０７は、キーボードや、マウス、マイク等で構成される。また、出力部１０６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
【0193】
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
【0194】
また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【0195】
さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【0196】
また、例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
【0197】
また、例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【0198】
また、例えば、上述したプログラムは、任意の装置において実行することができる。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。
【0199】
また、例えば、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。換言するに、１つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を１つのステップとしてまとめて実行することもできる。
【0200】
なお、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。
【0201】
なお、本明細書において複数説明した本技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。
【0202】
＜構成の組み合わせ例＞
なお、本技術は以下のような構成も取ることができる。
（１）
３Ｄオブジェクトを元データとして、その元データから生成されたサムネイルデータが前記元データに基づくサムネイルであることを示す情報である役割情報を生成する前処理部と、
前記役割情報、および、前記３Ｄオブジェクトの１フレーム分が所定の符号化方法で符号化された符号化データを、所定のファイル構造のファイルに格納するファイル生成部と
を備える情報処理装置。
（２）
前記役割情報は、前記符号化データにおける再生の起点となる情報を含む
上記（１）に記載の情報処理装置。
（３）
前記再生の起点となる情報は、前記符号化データにおける再生すべきストリームを識別するグループ識別情報でもある
上記（２）に記載の情報処理装置。
（４）
前記前処理部は、前記サムネイルとして、特定の視点位置、視点方向、および画角で、前記３Ｄオブジェクトを表示した２次元の静止画データを示す前記役割情報を生成する
上記（１）から（３）までのいずれかに記載の情報処理装置。
（５）
前記前処理部は、前記サムネイルとして、複数の視点位置、視点方向、および画角で、前記３Ｄオブジェクトを表示した画像から構成される動画像データであるビデオサムネイルを示す前記役割情報を生成する
上記（１）から（３）までのいずれかに記載の情報処理装置。
（６）
前記ファイル生成部は、前記ビデオサムネイルを示す前記役割情報を、ItemReferenceBoxに格納する
上記（５）に記載の情報処理装置。
（７）
前記ファイル生成部は、前記ビデオサムネイルを示す前記役割情報を、EntityToGroupBoxに格納する
上記（５）に記載の情報処理装置。
（８）
前記前処理部は、前記サムネイルとして、低解像度でエンコードされた前記３Ｄオブジェクトである３Ｄオブジェクトサムネイルを示す前記役割情報を生成する
上記（１）から（３）までのいずれかに記載の情報処理装置。
（９）
前記ファイル生成部は、前記３Ｄオブジェクトサムネイルを示す前記役割情報を、ItemReferenceBoxに格納する
上記（８）に記載の情報処理装置。
（１０）
前記ファイル生成部は、前記３Ｄオブジェクトサムネイルを示す前記役割情報を、EntityToGroupBoxに格納する
上記（８）に記載の情報処理装置。
（１１）
前記前処理部は、前記３Ｄオブジェクトサムネイルの表示ルールを生成する
上記（８）に記載の情報処理装置。
（１２）
前記３Ｄオブジェクトサムネイルの表示ルールは、前記３Ｄオブジェクトサムネイルを表示する際の回転で示されるメタデータである
上記（１１）に記載の情報処理装置。
（１３）
前記３Ｄオブジェクトサムネイルの表示ルールは、前記３Ｄオブジェクトサムネイルを表示する際の視点位置、視線方向、および画角で示されるメタデータである
上記（１１）に記載の情報処理装置。
（１４）
前記ファイル生成部は、前記３Ｄオブジェクトサムネイルの表示の初期位置を前記ファイルに格納する
上記（１１）に記載の情報処理装置。
（１５）
前記ファイル生成部は、前記３Ｄオブジェクトサムネイルの表示ルールを、ItemPropertyに格納する
上記（１１）から（１４）までのいずれかに記載の情報処理装置。
（１６）
前記ファイル生成部は、前記３Ｄオブジェクトサムネイルの表示ルールを、Itemに格納する
上記（１１）から（１４）までのいずれかに記載の情報処理装置。
（１７）
前記ファイル生成部は、前記３Ｄオブジェクトサムネイルの表示ルールを、meta trackに格納する
上記（１１）から（１４）までのいずれかに記載の情報処理装置。
（１８）
前記前処理部は、前記３ＤオブジェクトサムネイルでG-PCC（Geometry based Point Cloud Coding）を用いている場合に、Geometryのデコードを限定したデータを前記サムネイルとするための前記役割情報を生成する
上記（８）に記載の情報処理装置。
（１９）
前記前処理部は、ItemPropertyでGeometryのデコードを限定することを示す前記役割情報を生成する
上記（１８）に記載の情報処理装置。
（２０）
情報処理装置が、
３Ｄオブジェクトを元データとして、その元データから生成されたサムネイルデータが前記元データに基づくサムネイルであることを示す情報である役割情報を生成することと、
前記役割情報、および、前記３Ｄオブジェクトの１フレーム分が所定の符号化方法で符号化された符号化データを、所定のファイル構造のファイルに格納することと
を含む情報処理方法。
なお、本技術は以下のような構成も取ることができる。
（１）
３Ｄオブジェクトを元データとして、その元データから生成されたサムネイルデータが前記元データに基づくサムネイルであることを示す情報である役割情報を生成する前処理部と、
前記役割情報、および、前記３Ｄオブジェクトの１フレーム分が所定の符号化方法で符号化された符号化データを、所定のファイル構造のファイルに格納するファイル生成部と
を備える情報処理装置。
（２）
前記役割情報は、前記符号化データにおける再生の起点となる情報を含む
上記（１）に記載の情報処理装置。
（３）
前記再生の起点となる情報は、前記符号化データにおける再生すべきストリームを識別するグループ識別情報でもある
上記（２）に記載の情報処理装置。
（４）
前記前処理部は、前記サムネイルとして、特定の視点位置、視点方向、および画角で、前記３Ｄオブジェクトを表示した２次元の静止画データを示す前記役割情報を生成する
上記（１）から（３）までのいずれかに記載の情報処理装置。
（５）
前記前処理部は、前記サムネイルとして、複数の視点位置、視点方向、および画角で、前記３Ｄオブジェクトを表示した画像から構成される動画像データであるビデオサムネイルを示す前記役割情報を生成する
上記（１）から（３）までのいずれかに記載の情報処理装置。
（６）
前記ファイル生成部は、前記ビデオサムネイルを示す前記役割情報を、ItemReferenceBoxに格納する
上記（５）に記載の情報処理装置。
（７）
前記ファイル生成部は、前記ビデオサムネイルを示す前記役割情報を、EntityToGroupBoxに格納する
上記（５）に記載の情報処理装置。
（８）
前記前処理部は、前記サムネイルとして、低解像度でエンコードされた前記３Ｄオブジェクトである３Ｄオブジェクトサムネイルを示す前記役割情報を生成する
上記（１）から（３）までのいずれかに記載の情報処理装置。
（９）
前記ファイル生成部は、前記３Ｄオブジェクトサムネイルを示す前記役割情報を、ItemReferenceBoxに格納する
上記（８）に記載の情報処理装置。
（１０）
前記ファイル生成部は、前記３Ｄオブジェクトサムネイルを示す前記役割情報を、EntityToGroupBoxに格納する
上記（８）に記載の情報処理装置。
（１１）
前記前処理部は、前記３Ｄオブジェクトサムネイルの表示ルールを生成する
上記（８）に記載の情報処理装置。
（１２）
前記３Ｄオブジェクトサムネイルの表示ルールは、前記３Ｄオブジェクトサムネイルを表示する際の回転で示されるメタデータである
上記（１１）に記載の情報処理装置。
（１３）
前記３Ｄオブジェクトサムネイルの表示ルールは、前記３Ｄオブジェクトサムネイルを表示する際の視点位置、視線方向、および画角で示されるメタデータである
上記（１１）に記載の情報処理装置。
（１４）
前記ファイル生成部は、前記３Ｄオブジェクトサムネイルの表示の初期位置を前記ファイルに格納する
上記（１１）に記載の情報処理装置。
（１５）
前記ファイル生成部は、前記３Ｄオブジェクトサムネイルの表示ルールを、ItemPropertyに格納する
上記（１１）から（１４）までのいずれかに記載の情報処理装置。
（１６）
前記ファイル生成部は、前記３Ｄオブジェクトサムネイルの表示ルールを、Itemに格納する
上記（１１）から（１４）までのいずれかに記載の情報処理装置。
（１７）
前記ファイル生成部は、前記３Ｄオブジェクトサムネイルの表示ルールを、meta trackに格納する
上記（１１）から（１４）までのいずれかに記載の情報処理装置。
（１８）
前記前処理部は、前記３ＤオブジェクトサムネイルでG-PCC（Geometry based Point Cloud Coding）を用いている場合に、Geometryのデコードを限定したデータを前記サムネイルとするための前記役割情報を生成する
上記（８）に記載の情報処理装置。
（１９）
前記前処理部は、ItemPropertyでGeometryのデコードを限定することを示す前記役割情報を生成する
上記（１８）に記載の情報処理装置。
（２０）
情報処理装置が、
３Ｄオブジェクトを元データとして、その元データから生成されたサムネイルデータが前記元データに基づくサムネイルであることを示す情報である役割情報を生成することと、
前記役割情報、および、前記３Ｄオブジェクトの１フレーム分が所定の符号化方法で符号化された符号化データを、所定のファイル構造のファイルに格納することと
を含む情報処理方法。
【0203】
なお、本実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
【符号の説明】
【0204】
１１ データ生成装置， １２ データ再生装置， ２１ 制御部， ２２ メモリ， ２３ ファイル生成部， ３１ データ入力部， ３２ データ符号化・生成部， ３３ 記録部， ３４ 出力部， ３５ 前処理部， ３６ 符号化部， ３７ ファイル生成部， ４１ 制御部， ４２ メモリ， ４３ 再生処理部， ５１ 取得部， ５２ 表示制御部， ５３ データ解析・復号部， ５４ 表示部， ５５ ファイル解析部， ５６ 復号部， ５７ 表示情報生成部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】