ホーム > 特許ランキング > ソニーグループ株式会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-08-26
(45)【発行日】2024-09-03
(54)【発明の名称】情報処理装置および方法
(51)【国際特許分類】
G06T 9/40 20060101AFI20240827BHJP
【ＦＩ】
G06T9/40
【請求項の数】
18
(21)【出願番号】P 2021532756
(86)(22)【出願日】2020-06-26
(86)【国際出願番号】 JP2020025168
(87)【国際公開番号】W WO2021010134
(87)【国際公開日】2021-01-21
【審査請求日】2023-05-11
(31)【優先権主張番号】P 2019129875
(32)【優先日】2019-07-12
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000002185
【氏名又は名称】ソニーグループ株式会社
(74)【代理人】
【識別番号】100121131
【弁理士】
【氏名又は名称】西川 孝
(74)【代理人】
【氏名又は名称】稲本 義雄
(74)【代理人】
【識別番号】100168686
【弁理士】
【氏名又は名称】三浦 勇介
(72)【発明者】
【氏名】隈 智
(72)【発明者】
【氏名】中神 央二
(72)【発明者】
【氏名】矢野 幸司
(72)【発明者】
【氏名】安田 弘幸
(72)【発明者】
【氏名】加藤 毅
【審査官】佐田 宏史
(56)【参考文献】
【文献】国際公開第２０１７／１０４１１５（ＷＯ，Ａ１）
【文献】国際公開第２０１９／１０３００９（ＷＯ，Ａ１）
【文献】西尾 孝治, 外４名，“点群データを対象とする情報変換の一手法”，第６９回（平成１９年）全国大会講演論文集（４） インタフェース コンピュータと人間社会，日本，社団法人情報処理学会，2007年03月06日，pp.41-42
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ９／００－９／４０，１９／００
Ｈ０４Ｎ １３／１６１，１３／１９４，１９／９６，２１／８５４
Ｈ０３Ｍ ７／３０
(57)【特許請求の範囲】
【請求項1】
３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドの属性情報を階層化し、階層間の前記属性情報の参照関係を生成する階層化部と、前記階層化部により生成された前記属性情報の階層において、前記階層の前記属性情報をサブ階層化し、サブ階層間の前記属性情報の参照関係を生成するサブ階層化部と、
前記属性情報のサブ階層化における前記属性情報のサンプリングの間隔を示す制御情報を生成する生成部と
を備える情報処理装置。
【請求項2】
前記サブ階層化部は、処理対象階層の前記属性情報をモートン順序に整列し、前記制御情報に基づいて等間隔にサンプリングすることにより、前記属性情報をサブ階層化する請求項１に記載の情報処理装置。
【請求項3】
前記サブ階層化部は、処理対象階層の前記属性情報をモートン順序に整列し、前記制御情報に基づいて非等間隔にサンプリングすることにより、前記属性情報をサブ階層化する請求項１に記載の情報処理装置。
【請求項4】
前記属性情報を符号化し、前記属性情報の符号化データを生成する符号化部
をさらに備える請求項１に記載の情報処理装置。
【請求項5】
前記符号化部は、前記生成部により生成された前記制御情報を含む前記符号化データを生成する
請求項４に記載の情報処理装置。
【請求項6】
前記生成部は、前記属性情報のサブ階層化が許可されているか否かを示す制御情報をさらに生成する
請求項１に記載の情報処理装置。
【請求項7】
情報処理装置が、
３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドの属性情報を階層化し、階層間の前記属性情報の参照関係を生成し、
生成された前記属性情報の階層において、前記階層の前記属性情報をサブ階層化し、サブ階層間の前記属性情報の参照関係を生成し、
前記属性情報のサブ階層化における前記属性情報のサンプリングの間隔を示す制御情報を生成する
情報処理方法。
【請求項8】
３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドの属性情報を階層化し、階層間の前記属性情報の参照関係を生成する階層化部と、
前記階層化部により生成された前記属性情報の階層において、前記階層の前記属性情報をサブ階層化し、サブ階層間の前記属性情報の参照関係を生成するサブ階層化部と、
前記属性情報のサブ階層化における前記属性情報のサンプリングの方法を示す制御情報を生成する生成部と
を備える情報処理装置。
【請求項9】
情報処理装置が、
３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドの属性情報を階層化し、階層間の前記属性情報の参照関係を生成し、
生成された前記属性情報の階層において、前記階層の前記属性情報をサブ階層化し、サブ階層間の前記属性情報の参照関係を生成し、
前記属性情報のサブ階層化における前記属性情報のサンプリングの方法を示す制御情報を生成する
情報処理方法。
【請求項10】
３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドの属性情報を階層化し、階層間の前記属性情報の参照関係を生成する階層化部と、
前記階層化部により生成された前記属性情報の階層において、前記階層の前記属性情報をサブ階層化し、サブ階層間の前記属性情報の参照関係を生成するサブ階層化部と、
前記サブ階層化部により生成された前記サブ階層間の前記属性情報の第１の参照関係に応じて、前記階層毎の重み値を更新することにより、前記属性情報毎の重み値を導出する重み付け部と
を備える情報処理装置。
【請求項11】
前記重み付け部は、前記階層化部により生成された前記階層間の前記属性情報の第２の参照関係、および、前記第１の参照関係に応じて、前記属性情報毎の重み値を導出する
請求項１０に記載の情報処理装置。
【請求項12】
情報処理装置が、
３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドの属性情報を階層化し、階層間の前記属性情報の参照関係を生成し、
生成された前記属性情報の階層において、前記階層の前記属性情報をサブ階層化し、サブ階層間の前記属性情報の参照関係を生成し、
生成された前記サブ階層間の前記属性情報の第１の参照関係に応じて、前記階層毎の重み値を更新することにより、前記属性情報毎の重み値を導出する
情報処理方法。
【請求項13】
３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドの符号化データを復号して、属性情報と、前記属性情報のサンプリングの間隔を示す制御情報を復元する復号部と、
前記属性情報を階層化し、階層間の前記属性情報の参照関係を生成する階層化部と、
前記階層化部により生成された前記属性情報の階層において、前記サンプリングの間隔を示す制御情報に基づいて前記階層の前記属性情報をサブ階層化し、サブ階層間の前記属性情報の参照関係を生成するサブ階層化部と、
前記階層化部により生成された前記階層間の前記属性情報の参照関係、および、前記サブ階層化部により生成された前記サブ階層間の前記属性情報の参照関係に基づいて、前記属性情報を逆階層化する逆階層化部と
を備える情報処理装置。
【請求項14】
前記サブ階層化部は、処理対象階層の前記属性情報をモートン順序に整列し、前記制御情報に基づいて等間隔にサンプリングすることにより、前記属性情報をサブ階層化する請求項１３に記載の情報処理装置。
【請求項15】
前記サブ階層化部は、処理対象階層の前記属性情報をモートン順序に整列し、前記制御情報に基づいて非等間隔にサンプリングすることにより、前記属性情報をサブ階層化する
請求項１３に記載の情報処理装置。
【請求項16】
情報処理装置が、
３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドの符号化データを復号して、属性情報と、前記属性情報のサンプリングの間隔を示す制御情報を復元し、
前記属性情報を階層化し、階層間の前記属性情報の参照関係を生成し、
生成された前記属性情報の階層において、前記サンプリングの間隔を示す制御情報に基づいて前記階層の前記属性情報をサブ階層化し、サブ階層間の前記属性情報の参照関係を生成し、
生成された前記階層間の前記属性情報の参照関係、および、生成された前記サブ階層間の前記属性情報の参照関係に基づいて、前記属性情報を逆階層化する
情報処理方法。
【請求項17】
３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドの符号化データを復号して、属性情報と、前記属性情報のサンプリングの方法を示す制御情報を復元する復号部と、
前記属性情報を階層化し、階層間の前記属性情報の参照関係を生成する階層化部と、
前記階層化部により生成された前記属性情報の階層において、前記サンプリングの方法を示す制御情報に基づいて前記階層の前記属性情報をサブ階層化し、サブ階層間の前記属性情報の参照関係を生成するサブ階層化部と、
前記階層化部により生成された前記階層間の前記属性情報の参照関係、および、前記サブ階層化部により生成された前記サブ階層間の前記属性情報の参照関係に基づいて、前記属性情報を逆階層化する逆階層化部と
を備える情報処理装置。
【請求項18】
情報処理装置が、
３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドの符号化データを復号し、属性情報と、前記属性情報のサンプリングの方法を示す制御情報を復元し、
前記属性情報を階層化し、階層間の前記属性情報の参照関係を生成し、
生成された前記属性情報の階層において、前記サンプリングの方法を示す制御情報に基づいて前記階層の前記属性情報をサブ階層化し、サブ階層間の前記属性情報の参照関係を生成し、
生成された前記階層間の前記属性情報の参照関係、および、生成された前記サブ階層間の前記属性情報の参照関係に基づいて、前記属性情報を逆階層化する
情報処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、情報処理装置および方法に関し、特に、符号化効率の低減を抑制することができるようにした情報処理装置および方法に関する。
【背景技術】
【0002】
従来、例えばポイントクラウド（Point cloud）のような３次元構造を表す３Ｄデータの符号化方法が考えられた（例えば非特許文献１参照）。ポイントクラウドのデータは、各ポイントのジオメトリデータ（位置情報とも称する）およびアトリビュートデータ（属性情報とも称する）により構成される。したがってポイントクラウドの符号化は、そのジオメトリデータとアトリビュートデータとのそれぞれについて行われる。アトリビュートデータの符号化方法として様々な方法が提案されている。例えば、Liftingという技術を用いて行うことが提案された（例えば非特許文献２参照）。また、アトリビュートデータをスケーラブルに復号することができるようにする方法も提案された（例えば、非特許文献３参照）。また、Liftingではないが、LoD内において復号済みのアトリビュートデータを参照することができる方法も考えられた（例えば、非特許文献４参照）。
【先行技術文献】
【非特許文献】
【0003】
【文献】R. Mekuria, Student Member IEEE, K. Blom, P. Cesar., Member, IEEE, "Design, Implementation and Evaluation of a Point Cloud Codec for Tele-Immersive Video",tcsvt_paper_submitted_february.pdf
【文献】Khaled Mammou, Alexis Tourapis, Jungsun Kim, Fabrice Robinet, Valery Valentin, Yeping Su, "Lifting Scheme for Lossy Attribute Encoding in TMC1", ISO/IEC JTC1/SC29/WG11 MPEG2018/m42640, April 2018, San Diego, US
【文献】Ohji Nakagami, Satoru Kuma, "[G-PCC] Spatial scalability support for G-PCC", ISO/IEC JTC1/SC29/WG11 MPEG2019/m47352, March 2019, Geneva, CH
【文献】Toshiyasu Sugio, "[G-PCC] Reference structure modification on attribute predicting transform in TMC13", ISO/IEC JTC1/SC29/WG11 MPEG2018/ m46107, January 2019, Marrakech, MA
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、非特許文献４に記載の手法の場合、アトリビュートデータはLoD内においてモートン順序（Morton Order）で整列されて符号化されるので、参照可能な復号済みのアトリビュートデータは、そのモートン順序において復号対象のアトリビュートデータよりも前に位置するものに限定される。つまり、その復号済みのアトリビュートデータは、３次元空間において復号対象のアトリビュートデータのポイントからみて偏った方向に位置するポイントのアトリビュートデータに限定されるおそれがあった。そのため、その復号済みのアトリビュートデータを参照して行われる処理対象のアトリビュートデータの予測の予測精度が低減し、符号化効率が低減するおそれがあった。
【0005】
本開示は、このような状況に鑑みてなされたものであり、符号化効率の低減を抑制することができるようにするものである。
【課題を解決するための手段】
【0006】
本技術の一側面の情報処理装置は、３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドの属性情報を階層化し、階層間の前記属性情報の参照関係を生成する階層化部と、前記階層化部により生成された前記属性情報の階層において、前記階層の前記属性情報をサブ階層化し、サブ階層間の前記属性情報の参照関係を生成するサブ階層化部と、前記属性情報のサブ階層化における前記属性情報のサンプリングの間隔を示す制御情報を生成する生成部とを備える情報処理装置である。
【0007】
本技術の一側面の情報処理方法は、３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドの属性情報を階層化し、階層間の前記属性情報の参照関係を生成し、生成された前記属性情報の階層において、前記階層の前記属性情報をサブ階層化し、サブ階層間の前記属性情報の参照関係を生成し、前記属性情報のサブ階層化における前記属性情報のサンプリングの間隔を示す制御情報を生成する情報処理方法である。
本技術の他の側面の情報処理装置は、３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドの属性情報を階層化し、階層間の前記属性情報の参照関係を生成する階層化部と、前記階層化部により生成された前記属性情報の階層において、前記階層の前記属性情報をサブ階層化し、サブ階層間の前記属性情報の参照関係を生成するサブ階層化部と、前記属性情報のサブ階層化における前記属性情報のサンプリングの方法を示す制御情報を生成する生成部とを備える情報処理装置である。
本技術の他の側面の情報処理方法は、３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドの属性情報を階層化し、階層間の前記属性情報の参照関係を生成し、生成された前記属性情報の階層において、前記階層の前記属性情報をサブ階層化し、サブ階層間の前記属性情報の参照関係を生成し、前記属性情報のサブ階層化における前記属性情報のサンプリングの方法を示す制御情報を生成する情報処理方法である。
本技術のさらに他の側面の情報処理装置は、３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドの属性情報を階層化し、階層間の前記属性情報の参照関係を生成する階層化部と、前記階層化部により生成された前記属性情報の階層において、前記階層の前記属性情報をサブ階層化し、サブ階層間の前記属性情報の参照関係を生成するサブ階層化部と、前記サブ階層化部により生成された前記サブ階層間の前記属性情報の第１の参照関係に応じて、前記階層毎の重み値を更新することにより、前記属性情報毎の重み値を導出する重み付け部とを備える情報処理装置である。
本技術のさらに他の側面の情報処理方法は、３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドの属性情報を階層化し、階層間の前記属性情報の参照関係を生成し、生成された前記属性情報の階層において、前記階層の前記属性情報をサブ階層化し、サブ階層間の前記属性情報の参照関係を生成し、生成された前記サブ階層間の前記属性情報の第１の参照関係に応じて、前記階層毎の重み値を更新することにより、前記属性情報毎の重み値を導出する情報処理方法である。
本技術の他の側面の情報処理装置は、３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドの属性情報を階層化し、階層間の前記属性情報の参照関係を生成する階層化部と、前記階層化部により生成された前記属性情報の階層において、前記階層の前記属性情報をサブ階層化し、サブ階層間の前記属性情報の参照関係を生成するサブ階層化部と、前記属性情報のサブ階層化における前記属性情報のサンプリングの方法を示す制御情報を生成する生成部とを備える情報処理装置である。
本技術の他の側面の情報処理方法は、３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドの属性情報を階層化し、階層間の前記属性情報の参照関係を生成し、生成された前記属性情報の階層において、前記階層の前記属性情報をサブ階層化し、サブ階層間の前記属性情報の参照関係を生成し、前記属性情報のサブ階層化における前記属性情報のサンプリングの方法を示す制御情報を生成する情報処理方法である。
本技術のさらに他の側面の情報処理装置は、３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドの属性情報を階層化し、階層間の前記属性情報の参照関係を生成する階層化部と、前記階層化部により生成された前記属性情報の階層において、前記階層の前記属性情報をサブ階層化し、サブ階層間の前記属性情報の参照関係を生成するサブ階層化部と、前記サブ階層化部により生成された前記サブ階層間の前記属性情報の第１の参照関係に応じて、前記階層毎の重み値を更新することにより、前記属性情報毎の重み値を導出する重み付け部とを備える情報処理装置である。
本技術のさらに他の側面の情報処理方法は、３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドの属性情報を階層化し、階層間の前記属性情報の参照関係を生成し、生成された前記属性情報の階層において、前記階層の前記属性情報をサブ階層化し、サブ階層間の前記属性情報の参照関係を生成し、生成された前記サブ階層間の前記属性情報の第１の参照関係に応じて、前記階層毎の重み値を更新することにより、前記属性情報毎の重み値を導出する情報処理方法である。
【0008】
本技術のさらに他の側面の情報処理装置は、３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドの符号化データを復号して、属性情報と、前記属性情報のサンプリングの間隔を示す制御情報を復元する復号部と、前記属性情報を階層化し、階層間の前記属性情報の参照関係を生成する階層化部と、前記階層化部により生成された前記属性情報の階層において、前記サンプリングの間隔を示す制御情報に基づいて前記階層の前記属性情報をサブ階層化し、サブ階層間の前記属性情報の参照関係を生成するサブ階層化部と、前記階層化部により生成された前記階層間の前記属性情報の参照関係、および、前記サブ階層化部により生成された前記サブ階層間の前記属性情報の参照関係に基づいて、前記属性情報を逆階層化する逆階層化部とを備える情報処理装置である。
【0009】
本技術のさらに他の側面の情報処理方法は、３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドの符号化データを復号して、属性情報と、前記属性情報のサンプリングの間隔を示す制御情報を復元し、前記属性情報を階層化し、階層間の前記属性情報の参照関係を生成し、生成された前記属性情報の階層において、前記サンプリングの間隔を示す制御情報に基づいて前記階層の前記属性情報をサブ階層化し、サブ階層間の前記属性情報の参照関係を生成し、生成された前記階層間の前記属性情報の参照関係、および、生成された前記サブ階層間の前記属性情報の参照関係に基づいて、前記属性情報を逆階層化する情報処理方法である。
本技術のさらに他の側面の情報処理装置は、３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドの符号化データを復号して、属性情報と、前記属性情報のサンプリングの方法を示す制御情報を復元する復号部と、前記属性情報を階層化し、階層間の前記属性情報の参照関係を生成する階層化部と、前記階層化部により生成された前記属性情報の階層において、前記サンプリングの方法を示す制御情報に基づいて前記階層の前記属性情報をサブ階層化し、サブ階層間の前記属性情報の参照関係を生成するサブ階層化部と、前記階層化部により生成された前記階層間の前記属性情報の参照関係、および、前記サブ階層化部により生成された前記サブ階層間の前記属性情報の参照関係に基づいて、前記属性情報を逆階層化する逆階層化部とを備える情報処理装置である。
本技術のさらに他の側面の情報処理方法は、３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドの符号化データを復号し、属性情報と、前記属性情報のサンプリングの方法を示す制御情報を復元し、前記属性情報を階層化し、階層間の前記属性情報の参照関係を生成し、生成された前記属性情報の階層において、前記サンプリングの方法を示す制御情報に基づいて前記階層の前記属性情報をサブ階層化し、サブ階層間の前記属性情報の参照関係を生成し、生成された前記階層間の前記属性情報の参照関係、および、生成された前記サブ階層間の前記属性情報の参照関係に基づいて、前記属性情報を逆階層化する情報処理方法である。
本技術のさらに他の側面の情報処理装置は、３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドの符号化データを復号して、属性情報と、前記属性情報のサンプリングの方法を示す制御情報を復元する復号部と、前記属性情報を階層化し、階層間の前記属性情報の参照関係を生成する階層化部と、前記階層化部により生成された前記属性情報の階層において、前記サンプリングの方法を示す制御情報に基づいて前記階層の前記属性情報をサブ階層化し、サブ階層間の前記属性情報の参照関係を生成するサブ階層化部と、前記階層化部により生成された前記階層間の前記属性情報の参照関係、および、前記サブ階層化部により生成された前記サブ階層間の前記属性情報の参照関係に基づいて、前記属性情報を逆階層化する逆階層化部とを備える情報処理装置である。
本技術のさらに他の側面の情報処理方法は、３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドの符号化データを復号し、属性情報と、前記属性情報のサンプリングの方法を示す制御情報を復元し、前記属性情報を階層化し、階層間の前記属性情報の参照関係を生成し、生成された前記属性情報の階層において、前記サンプリングの方法を示す制御情報に基づいて前記階層の前記属性情報をサブ階層化し、サブ階層間の前記属性情報の参照関係を生成し、生成された前記階層間の前記属性情報の参照関係、および、生成された前記サブ階層間の前記属性情報の参照関係に基づいて、前記属性情報を逆階層化する情報処理方法である。
【0010】
本技術の一側面の情報処理装置および方法においては、３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドの属性情報が階層化され、その階層間の属性情報の参照関係が生成され、その生成された属性情報の階層において、その階層の属性情報がサブ階層化され、そのサブ階層間の属性情報の参照関係が生成され、その属性情報のサブ階層化におけるその属性情報のサンプリングの間隔を示す制御情報が生成される。
本技術の他の側面の情報処理装置および方法においては、３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドの属性情報が階層化され、その階層間の属性情報の参照関係が生成され、その生成された属性情報の階層において、その階層の属性情報がサブ階層化され、そのサブ階層間の属性情報の参照関係が生成され、その属性情報のサブ階層化におけるその属性情報のサンプリングの方法を示す制御情報が生成される。
本技術のさらに他の側面の情報処理装置および方法においては、３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドの属性情報が階層化され、その階層間の属性情報の参照関係が生成され、その生成された属性情報の階層において、その階層の属性情報がサブ階層化され、そのサブ階層間の属性情報の参照関係が生成され、その生成されたサブ階層間の属性情報の第１の参照関係に応じて、その階層毎の重み値が更新されることにより、その属性情報毎の重み値が導出される。
本技術の他の側面の情報処理装置および方法においては、３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドの属性情報が階層化され、その階層間の属性情報の参照関係が生成され、その生成された属性情報の階層において、その階層の属性情報がサブ階層化され、そのサブ階層間の属性情報の参照関係が生成され、その属性情報のサブ階層化におけるその属性情報のサンプリングの方法を示す制御情報が生成される。
本技術のさらに他の側面の情報処理装置および方法においては、３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドの属性情報が階層化され、その階層間の属性情報の参照関係が生成され、その生成された属性情報の階層において、その階層の属性情報がサブ階層化され、そのサブ階層間の属性情報の参照関係が生成され、その生成されたサブ階層間の属性情報の第１の参照関係に応じて、その階層毎の重み値が更新されることにより、その属性情報毎の重み値が導出される。
【0011】
本技術のさらに他の側面の情報処理装置および方法においては、３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドの符号化データが復号され、属性情報と、その属性情報のサンプリングの間隔を示す制御情報が復元され、その属性情報が階層化され、その階層間の属性情報の参照関係が生成され、その生成された属性情報の階層において、そのサンプリングの間隔を示す制御情報に基づいてその階層の属性情報がサブ階層化され、そのサブ階層間の属性情報の参照関係が生成され、その生成された階層間の属性情報の参照関係、および、その生成されたサブ階層間の属性情報の参照関係に基づいて、その属性情報が逆階層化される。
本技術のさらに他の側面の情報処理装置および方法においては、３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドの符号化データが復号され、属性情報と、その属性情報のサンプリングの方法を示す制御情報が復元され、その属性情報が階層化され、その階層間の属性情報の参照関係が生成され、その生成された属性情報の階層において、そのサンプリングの方法を示す制御情報に基づいてその階層の属性情報がサブ階層化され、そのサブ階層間の属性情報の参照関係が生成され、その生成された階層間の属性情報の参照関係、および、その生成されたサブ階層間の属性情報の参照関係に基づいて、その属性情報が逆階層化される。
本技術のさらに他の側面の情報処理装置および方法においては、３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドの符号化データが復号され、属性情報と、その属性情報のサンプリングの方法を示す制御情報が復元され、その属性情報が階層化され、その階層間の属性情報の参照関係が生成され、その生成された属性情報の階層において、そのサンプリングの方法を示す制御情報に基づいてその階層の属性情報がサブ階層化され、そのサブ階層間の属性情報の参照関係が生成され、その生成された階層間の属性情報の参照関係、および、その生成されたサブ階層間の属性情報の参照関係に基づいて、その属性情報が逆階層化される。
【図面の簡単な説明】
【0012】
【図1】従来の属性情報の参照関係の例を説明する図である。
【図2】階層内のモートン順序に従った参照関係の例を説明する図である。
【図3】アトリビュートデータの階層化手法・逆階層化手法について説明する図である。
【図4】Sub LoDの生成の様子の例を説明する図である。
【図5】Sub LoDの生成の様子の例を説明する図である。
【図6】参照関係の様子の例を説明する図である。
【図7】参照関係の様子の例を説明する図である。
【図8】符号化装置の主な構成例を示すブロック図である。
【図9】属性情報符号化部の主な構成例を示すブロック図である。
【図10】階層化処理部の主な構成例を示すブロック図である。
【図11】符号化処理の流れの例を説明するフローチャートである。
【図12】属性情報符号化処理の流れの例を説明するフローチャートである。
【図13】階層化処理の流れの例を説明するフローチャートである。
【図14】復号装置の主な構成例を示すブロック図である。
【図15】属性情報復号部の主な構成例を示すブロック図である。
【図16】逆階層化処理部の主な構成例を示すブロック図である。
【図17】復号処理の流れの例を説明するフローチャートである。
【図18】属性情報復号処理の流れの例を説明するフローチャートである。
【図19】逆階層化処理の流れの例を説明するフローチャートである。
【図20】コンピュータの主な構成例を示すブロック図である。
【発明を実施するための形態】
【0013】
以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．Sub LoDの生成
２．第１の実施の形態（符号化装置）
３．第２の実施の形態（復号装置）
４．付記
１．Sub LoDの生成
２．第１の実施の形態（符号化装置）
３．第２の実施の形態（復号装置）
４．付記
【0014】
＜１．Sub LoDの生成＞
＜技術内容・技術用語をサポートする文献等＞
本技術で開示される範囲は、実施の形態に記載されている内容だけではなく、出願当時において公知となっている以下の非特許文献に記載されている内容も含まれる。
＜技術内容・技術用語をサポートする文献等＞
本技術で開示される範囲は、実施の形態に記載されている内容だけではなく、出願当時において公知となっている以下の非特許文献に記載されている内容も含まれる。
【0015】
非特許文献１：（上述）
非特許文献２：（上述）
非特許文献３：（上述）
非特許文献４：（上述）
非特許文献２：（上述）
非特許文献３：（上述）
非特許文献４：（上述）
【0016】
つまり、上述の非特許文献に記載されている内容もサポート要件を判断する際の根拠となる。
【0017】
＜ポイントクラウド＞
従来、点群の位置情報や属性情報等により３次元構造を表すポイントクラウド（Point cloud）や、頂点、エッジ、面で構成され、多角形表現を使用して３次元形状を定義するメッシュ（Mesh）等の３Ｄデータが存在した。
従来、点群の位置情報や属性情報等により３次元構造を表すポイントクラウド（Point cloud）や、頂点、エッジ、面で構成され、多角形表現を使用して３次元形状を定義するメッシュ（Mesh）等の３Ｄデータが存在した。
【0018】
例えばポイントクラウドの場合、立体構造物（３次元形状のオブジェクト）を多数の点の集合（点群）として表現する。つまり、ポイントクラウドのデータ（ポイントクラウドデータとも称する）は、この点群の各点のジオメトリデータ（位置情報とも称する）やアトリビュートデータ（属性情報とも称する）により構成される。アトリビュートデータは任意の情報を含むことができる。例えば、色情報、反射率情報、法線情報等がアトリビュートデータに含まれるようにしてもよい。したがってデータ構造が比較的単純であるとともに、十分に多くの点を用いることにより任意の立体構造物を十分な精度で表現することができる。
【0019】
＜ボクセルを用いた位置情報の量子化＞
このようなポイントクラウドデータはそのデータ量が比較的大きいので、符号化等によるデータ量を圧縮するために、ボクセル（Voxel）を用いた符号化方法が考えられた。ボクセルは、ジオメトリデータ（位置情報）を量子化するための３次元領域である。
このようなポイントクラウドデータはそのデータ量が比較的大きいので、符号化等によるデータ量を圧縮するために、ボクセル（Voxel）を用いた符号化方法が考えられた。ボクセルは、ジオメトリデータ（位置情報）を量子化するための３次元領域である。
【0020】
つまり、ポイントクラウドを内包する３次元領域をボクセルと称する小さな３次元領域に分割し、そのボクセル毎に、ポイントを内包するか否かを示すようにする。このようにすることにより、各ポイントの位置はボクセル単位に量子化される。したがって、ポイントクラウド（Point cloud）データをこのようなボクセルのデータ（ボクセル（Voxel）データとも称する）に変換することにより、情報量の増大を抑制する（典型的には情報量を削減する）ことができる。
【0021】
＜Octree＞
さらに、ジオメトリデータについて、このようなボクセル（Voxel）データを用いてOctreeを構築することが考えられた。Octreeは、ボクセルデータを木構造化したものである。このOctreeの最下位のノードの各ビットの値が、各ボクセルのポイントの有無を示す。例えば、値「１」がポイントを内包するボクセルを示し、値「０」がポイントを内包しないボクセルを示す。Octreeでは、１ノードが８つのボクセルに対応する。つまり、Octreeの各ノードは、８ビットのデータにより構成され、その８ビットが８つのボクセルのポイントの有無を示す。
さらに、ジオメトリデータについて、このようなボクセル（Voxel）データを用いてOctreeを構築することが考えられた。Octreeは、ボクセルデータを木構造化したものである。このOctreeの最下位のノードの各ビットの値が、各ボクセルのポイントの有無を示す。例えば、値「１」がポイントを内包するボクセルを示し、値「０」がポイントを内包しないボクセルを示す。Octreeでは、１ノードが８つのボクセルに対応する。つまり、Octreeの各ノードは、８ビットのデータにより構成され、その８ビットが８つのボクセルのポイントの有無を示す。
【0022】
そして、Octreeの上位のノードは、そのノードに属する下位ノードに対応する８つのボクセルを１つにまとめた領域のポイントの有無を示す。つまり、下位ノードのボクセルの情報をまとめることにより上位ノードが生成される。なお、値が「０」のノード、すなわち、対応する８つのボクセルが全てポイントを内包しない場合、そのノードは削除される。
【0023】
このようにすることにより、値が「０」でないノードからなる木構造（Octree）が構築される。つまり、Octreeは、各解像度のボクセルのポイントの有無を示すことができる。Octree化して符号化することにより、位置情報は、最高解像度（最上位層）から所望の階層（解像度）まで復号することにより、その解像度のポイントクラウドデータを復元することができる。つまり、不要な階層（解像度）の情報を復号せずに、容易に任意の解像度で復号することができる。換言するに、ボクセル（解像度）のスケーラビリティを実現することができる。
【0024】
また、上述のように値が「０」のノードを省略することにより、ポイントが存在しない領域のボクセルを低解像度化することができるので、さらなる情報量の増大の抑制（典型的には情報量の削減）を行うことができる。
【0025】
＜Lifting＞
これに対してアトリビュートデータ（属性情報）を符号化する際は、符号化による劣化を含めジオメトリデータ（位置情報）を既知であるものとして、ポイント間の位置関係を利用して符号化が行われる。このようなアトリビュートデータの符号化方法として、RAHT（Region Adaptive Hierarchical Transform）や、非特許文献２に記載のようなLiftingと称する変換を用いる方法が考えられた。これらの技術を適用することにより、ジオメトリデータのOctreeのように、アトリビュートデータを階層化することもできる。
これに対してアトリビュートデータ（属性情報）を符号化する際は、符号化による劣化を含めジオメトリデータ（位置情報）を既知であるものとして、ポイント間の位置関係を利用して符号化が行われる。このようなアトリビュートデータの符号化方法として、RAHT（Region Adaptive Hierarchical Transform）や、非特許文献２に記載のようなLiftingと称する変換を用いる方法が考えられた。これらの技術を適用することにより、ジオメトリデータのOctreeのように、アトリビュートデータを階層化することもできる。
【0026】
例えば非特許文献２に記載のLiftingの場合、各ポイントのアトリビュートデータは、他のポイントのアトリビュートデータを用いて導出される予測値との差分値として符号化される。その際、各ポイントが階層化され、差分値はその階層構造に従って導出される。
【0027】
つまり、ポイント毎のアトリビュートデータについて、各ポイントが予測ポイントと参照ポイントとに分類され、その参照ポイントのアトリビュートデータを用いて予測ポイントのアトリビュートデータの予測値が導出され、その予測ポイントのアトリビュートデータと予測値との差分値が導出される。このような処理を、参照ポイントに対して再帰的に繰り返すことにより、各ポイントのアトリビュートデータが階層化される。
【0028】
ただし、この階層構造は、ジオメトリデータの階層構造（例えばOctree）とは独立に生成されたものであり、基本的に、ジオメトリデータの階層構造とは対応しない。ポイントクラウドデータを復元するためには、ジオメトリデータとアトリビュートデータとを対応させる必要があり、そのためには、ジオメトリデータおよびアトリビュートデータを最高解像度（すなわち最下位層）まで復号する必要があった。つまり、非特許文献２に記載のLiftingを適用した手法は、解像度のスケーラブルな復号に対応していない。
【0029】
＜スケーラブルな復号に対応した階層化＞
これに対して非特許文献３に記載の階層化は、解像度のスケーラブルな復号に対応している。非特許文献３に記載の手法の場合、ジオメトリデータのOctreeの階層構造に一致するようにアトリビュートデータの階層化を行う。つまり、ジオメトリデータのボクセルに相当する領域内にポイントが存在する場合（そのポイントに対応するアトリビュートデータが存在する場合）、そのボクセルの１階層上位のボクセルにおいてもポイントが存在する（そのポイントに対応するアトリビュートデータが存在する）ように、参照ポイントと予測ポイントの選択を行う。つまり、ジオメトリデータのOctreeの階層構造に従って属性情報が階層化される。
これに対して非特許文献３に記載の階層化は、解像度のスケーラブルな復号に対応している。非特許文献３に記載の手法の場合、ジオメトリデータのOctreeの階層構造に一致するようにアトリビュートデータの階層化を行う。つまり、ジオメトリデータのボクセルに相当する領域内にポイントが存在する場合（そのポイントに対応するアトリビュートデータが存在する場合）、そのボクセルの１階層上位のボクセルにおいてもポイントが存在する（そのポイントに対応するアトリビュートデータが存在する）ように、参照ポイントと予測ポイントの選択を行う。つまり、ジオメトリデータのOctreeの階層構造に従って属性情報が階層化される。
【0030】
アトリビュートデータの階層構造をジオメトリデータの階層構造と対応付けることにより、最下層まで復号しなくても、容易に所望の解像度のポイントクラウドデータを復元することができる。このように、非特許文献３に記載の技術を適用した手法は、解像度のスケーラブルな復号に対応する。
【0031】
＜階層内の参照関係＞
上述の手法では、階層間において属性情報の参照関係が生成される。つまり、他の階層の属性情報を参照して、処理対象の階層の属性情報の予測を行うことができる。
上述の手法では、階層間において属性情報の参照関係が生成される。つまり、他の階層の属性情報を参照して、処理対象の階層の属性情報の予測を行うことができる。
【0032】
これに対して非特許文献４に記載の手法の場合、処理対象の階層内の属性情報も復号済みであれば参照することができる。例えば、図１のＡに示される階層化されたアトリビュートデータ（Attribute Lod）１は、図１のＢに示されるように、ポイント毎のアトリビュートデータ２が分類されて階層化されたものである。図１のＢにおいて、縦方向が階層（LoD（Level Of Detail））を示しており、各丸がポイント毎のアトリビュートデータ２を示している。図１のＢにおいては、１つの丸にのみ符号を付しているが、図１のＢに示される丸は全てポイント毎のアトリビュートデータ２である。
【0033】
復号は上位の階層から１階層ずつ順次行われる。したがって、あるポイントのアトリビュートデータ２Ａを復号する場合、白丸で示される上位の階層のポイント毎のアトリビュートデータ２は復号済みであるので、それらを参照することができる。
【0034】
また、階層内においては、ポイント毎のアトリビュートデータ２は、モートン順序（Morton Order）に整列され、その順に復号される。図１のＢにおいて、各階層のポイント毎のアトリビュートデータ２は、モートン順序に整列されている。図中、横方向の左から右に向かう向きがモートン順序に対応する。
【0035】
つまり、あるポイントのアトリビュートデータ２Ａを復号する場合、それより左側に位置するポイント毎のアトリビュートデータ２Ｂが復号済みであり、参照可能である。
【0036】
モートン順序で整列することにより、ポイント毎のアトリビュートデータ２は、３次元空間を分割した３次元の部分領域毎に走査される。そのため、処理順に、３次元空間位置の方向性（偏り）が生じる。
【0037】
例えば、ポイントクラウドデータの各ポイントが図２の３次元領域３内に存在するとする。上述のように、図１のＢにおいて、復号済みのポイント毎のアトリビュートデータ２Ｂは、モートン順序において、あるポイントのアトリビュートデータ２Ａよりも前に位置する。したがって、図２の３次元領域３において、図１のＢに示される復号済みのポイント毎のアトリビュートデータ２Ｂは、あるポイントのアトリビュートデータ２Ａからみて、所定の方向に位置する部分領域３Ｂ内に存在する。つまり、あるポイントのアトリビュートデータ２Ａの位置を基準とした場合の、復号済みのポイント毎のアトリビュートデータ２Ｂの相対位置（方向）に偏りが生じる。
【0038】
モートン順序に従って処理を行うことにより、予測の際の参照方向にこのような偏りが生じ、その偏りにより予測精度が低減し、符号化効率が低減するおそれがあった。
【0039】
＜サブ階層化＞
そこで、例えば図３に示される表の一番上の段の「方法１」に記載のように、アトリビュートデータ（属性情報）の階層化において、階層（LoD）内にさらにサブ階層（Sub LoD）を生成し、そのサブ階層間のアトリビュートデータの参照関係を生成する（つまり階層（LoD）内におけるアトリビュートデータの参照関係を生成する）ようにする。
そこで、例えば図３に示される表の一番上の段の「方法１」に記載のように、アトリビュートデータ（属性情報）の階層化において、階層（LoD）内にさらにサブ階層（Sub LoD）を生成し、そのサブ階層間のアトリビュートデータの参照関係を生成する（つまり階層（LoD）内におけるアトリビュートデータの参照関係を生成する）ようにする。
【0040】
例えば、３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドのアトリビュートデータ（属性情報）を、その階層間のアトリビュートデータの参照関係を生成し、さらに、その生成されたアトリビュートデータの階層において、その階層のアトリビュートデータをサブ階層化して、そのサブ階層間のアトリビュートデータの参照関係を生成する。
【0041】
例えば、情報処理装置において、３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドのアトリビュートデータ（属性情報）を階層化し、その階層間のアトリビュートデータの参照関係を生成する階層化部と、その階層化部により生成されたアトリビュートデータの階層において、その階層のアトリビュートデータをサブ階層化し、そのサブ階層間のアトリビュートデータの参照関係を生成するサブ階層化部とを備えるようにする。
【0042】
このようにすることにより、予測の方向の偏りを抑制するように階層内のアトリビュートデータの参照関係を生成することができ、符号化効率の低減を抑制することができる。
【0043】
なお、この場合のアトリビュートデータの階層化の手法は任意である。例えば、非特許文献２に記載のスケーラブルの復号に非対応なLiftingを用いてもよい。また、例えば、非特許文献３に記載のスケーラブルの復号に対応した階層化技術を適用してもよい。もちろん、これら以外の手法であってもよい。
【0044】
また、サブ階層化の手法も任意である。例えば、図３に示される表の上から２番目の段の「方法１－１」に記載のように、階層内のポイント毎のアトリビュートデータの一部をサンプリング（選択）してサブ階層とする処理を、再帰的に繰り返すようにしてもよい。つまり、アトリビュートデータの階層構造における処理対象の階層（LoD）のノード群から一部をサンプリングすることによりサブ階層を生成するようにしてもよい。
【0045】
例えば、図３に示される表の上から３番目の段の「方法１－１－１」に記載のように、処理対象階層のアトリビュートデータをモートン順序に整列し、その内の一部を等間隔にサンプリングすることにより、サブ階層を生成するようにしてもよい。
【0046】
例えば、図１のＢの場合と同様に、階層化されたアトリビュートデータについて、サブ階層化を行う階層のポイント毎のアトリビュートデータをモートン順序に整列する。そして、その整列されたポイント毎のアトリビュートデータを、等間隔にサンプリングする。図４は、３つおき、すなわち、４つに１つをサンプリングする例を示す（LodUniformQuant = 4）。LodUniformQuantは、サンプリング間隔を示すシンタクス要素である。LodUniformQuant = 4は、モートン順序に整列されたポイント毎のアトリビュートデータの列の中から４つ毎に１つをサンプリングすることを示す。つまり、１つのアトリビュートデータがサンプリングされると、次に、そこからモートン順序において４つ目のアトリビュートデータがサンプリングされる。
【0047】
図４のＡにおいて、丸形で示されるポイント毎のアトリビュートデータ１２は、モートン順序に整列されており、そこから４つに１つ（グレーの丸で示されるポイント毎のアトリビュートデータ１２）がサンプリングされる。つまり、図４のＢに示されるように、サンプリングされなかった白丸で示されるポイント毎のアトリビュートデータ１２からなる最下位のサブ階層（Sub LoD）が生成される。
【0048】
そのサンプリングされたポイント毎のアトリビュートデータ１２の列の中から、同様に、４つに１つ（黒丸で示されるポイント毎のアトリビュートデータ１２）がサンプリングされる。つまり、図４のＣに示されるように、サンプリングされなかったグレーの丸で示されるポイント毎のアトリビュートデータ１２からなる最下位から２番目のサブ階層（Sub LoD）が生成される。
【0049】
そのサンプリングされたポイント毎のアトリビュートデータ１２の列の中から、同様に、４つに１つ（斜線模様の丸で示されるポイント毎のアトリビュートデータ１２）がサンプリングされる。つまり、図４のＤに示されるように、サンプリングされなかった黒丸で示されるポイント毎のアトリビュートデータ１２からなる最下位から３番目のサブ階層が生成される。
【0050】
なお、この場合、１つのポイント毎のアトリビュートデータ１２がサンプリングされるので、そのサンプリングされたポイント毎のアトリビュートデータ１２からなる最上位のサブ階層も生成される（図４のＤ）。
【0051】
そして、このようなサブ階層間においても参照関係を生成する。つまり、より上位のサブ階層のアトリビュートデータから先に復号されるようにし、上位のサブ階層のアトリビュートデータを参照可能とする。
【0052】
この場合、ポイント毎のアトリビュートデータ１２の列の全体からサンプリングが行われて、サブ階層が生成されているので、それらのポイントの３次元空間における位置の偏りが少ない。つまり、非特許文献４に記載の方法に比べて、アトリビュートデータの参照方向の偏りを抑制することができる。したがって、予測精度の低減を抑制し、符号化効率の低減を抑制することができる。
【0053】
また、この場合もポイント毎のアトリビュートデータ１２はモートン順序に整列されているので、３次元空間において比較的近傍のアトリビュートデータを参照することができる。したがって、アトリビュートデータをランダムに選択する場合よりも、予測精度の低減を抑制し、符号化効率の低減を抑制することができる。
【0054】
なお、上位のサブ階層のアトリビュートデータだけでなく、処理対象のアトリビュートデータと同一のサブ階層内の復号済みのアトリビュートデータも参照可能としてもよい。
【0055】
図５は、ある階層のポイント毎のアトリビュートデータ１２を復号される順に整列した様子を示している。この場合、あるポイントのアトリビュートデータ１２Ａが復号対象であるとすると、両矢印１２Ｂに示される範囲にあるポイント毎のアトリビュートデータ１２（すなわち、あるポイントのアトリビュートデータ１２Ａよりも左側に位置するポイント毎のアトリビュートデータ１２）が、復号済みであり、参照可能である。このようにすることにより、参照ポイントの候補数が増大するので、予測精度の低減を抑制し、符号化効率の低減を抑制することができる。
【0056】
以上においては、サブ階層を生成する際に、アトリビュートデータが等間隔にサンプリングされるように説明したが、これに限らず、非等間隔にサンプリングされるようにしてもよい。つまり、図３に示される表の上から４番目の段の「方法１－１－２」に記載のように、処理対象階層のアトリビュートデータをモートン順序に整列し、その内の一部を非等間隔にサンプリングすることにより、サブ階層を生成するようにしてもよい。
【0057】
例えば、サブ階層内のアトリビュートデータをサンプリングする際の間隔を非等間隔に（つまり間隔を揃えないように）してもよい。例えば、３つおきと２つおきを交互に繰り返す（LodUniformQuant = 2or3）ようにしてもよい。
【0058】
また、例えば、サブ階層毎にサンプリング間隔を変えるようにしてもよい。例えば、最下位のサブ階層は、２つおきにサンプリングし（LodUniformQuant = 2）、それより上位のサブ階層は、４つおきにサンプリングする（LodUniformQuant = 4）ようにしてもよい。つまり、サブ階層の深さに応じてサンプリング間隔を変えるようにしてもよい。
【0059】
このようにすることにより、例えば解像度に応じてサンプリング間隔を設定することができ、例えば、画質の低減を抑制したり、符号化効率の低減を抑制したりすることができる。
【0060】
＜重み値＞
なお、このようなサブ階層化をアトリビュートデータの重み値に反映させるようにしてもよい。従来の方法の場合、ポイント毎のアトリビュートデータは、階層（LoD）間の参照関係（例えば、参照の距離、参照数等）に基づいて重み付けが行われる。上述のようにサブ階層化を行う場合、そのサブ階層間の参照関係（例えば、参照の距離、参照数等）も重み値に反映させるようにしてもよい。つまり、図３に示される表の上から５番目の段の「方法１－２」に記載のように、サブ階層（Sub LoD）間の参照関係を用いて重み値を導出するようにしてもよい。
なお、このようなサブ階層化をアトリビュートデータの重み値に反映させるようにしてもよい。従来の方法の場合、ポイント毎のアトリビュートデータは、階層（LoD）間の参照関係（例えば、参照の距離、参照数等）に基づいて重み付けが行われる。上述のようにサブ階層化を行う場合、そのサブ階層間の参照関係（例えば、参照の距離、参照数等）も重み値に反映させるようにしてもよい。つまり、図３に示される表の上から５番目の段の「方法１－２」に記載のように、サブ階層（Sub LoD）間の参照関係を用いて重み値を導出するようにしてもよい。
【0061】
例えば、非特許文献２に記載のLiftingを用いてアトリビュートデータの階層化（LoD化）が行われた場合、その参照関係に基づいて、アトリビュートデータ毎に重み値が設定される。このように重み値が設定される手法により階層化されたアトリビュートデータを上述のようにサブ階層化する場合も同様にして、各アトリビュートデータに設定された重み値に、サブ階層間の参照関係を反映させる。つまり、各アトリビュートデータの重み値が、図６において矢印で示されるように構築される階層間およびサブ階層間の参照関係を用いて導出されるようにする。このようにすることにより、スケーラブルの復号に非対応な手法により生成された階層間の重み値に、サブ階層間の参照関係を反映させることができる。
【0062】
なお、例えば、非特許文献３に記載のスケーラブルの復号に対応した手法を用いてアトリビュートデータの階層化（LoD化）が行われた場合、各アトリビュートデータには、階層（LoD）毎に固定の重み値（階層毎の重み値）が割り当てられる。このように重み値が設定される手法により階層化されたアトリビュートデータを上述のようにサブ階層化する場合は、図３に示される表の上から６番目の段の「方法１－２－１」に記載のように、その階層毎の重み値に、サブ階層間の参照関係を反映させる。つまり、図７のＡにおいて矢印で示されるようなサブ階層間の参照関係を用いて、階層毎の重み値を更新することにより、各アトリビュートデータの重み値が導出されるようにする。
【0063】
例えば、サブ階層間の参照数に応じて係数αを設定し、図７のＢに示されるように、その係数αを階層毎の重み値w1に乗算することにより、階層毎の重み値w1を更新するようにしてもよい。
【0064】
また、ある階層の重み値w1を更新する場合、その重み値w1の更新に対応させるように他の階層の重み値w2を更新するようにしてもよい。例えば、図７のＣに示されるように、重み値w1に係数αを乗算する場合、（１－α）を重み値w2に乗算するようにしてもよい。
【0065】
このようにすることにより、スケーラブルの復号に非対応な手法により生成された階層間の重み値に、サブ階層間の参照関係を反映させることができる。したがって、符号化効率の低減をより抑制することができる。
【0066】
＜制御情報のシグナリング＞
図３に示される表の上から７番目の段の「方法１－３」に記載のように、このようなアトリビュートデータのサブ階層化に関する制御情報をシグナリングするようにしてもよい。この制御内容はどのようなものであってもよい。
図３に示される表の上から７番目の段の「方法１－３」に記載のように、このようなアトリビュートデータのサブ階層化に関する制御情報をシグナリングするようにしてもよい。この制御内容はどのようなものであってもよい。
【0067】
＜sub_lod_enable_flag＞
例えば、アトリビュートデータのサブ階層化が許可されているか否かを示す制御情報をシグナリングする（符号化側から復号側に伝送する）ようにしてもよい。このサブ階層化が許可されているか否かを示す制御情報は、対象となるデータ単位においてサブ階層化を行うことができるか否かを示すフラグ情報（例えば、sub_lod_enable_flag）である。例えば、このsub_lod_enable_flagが真（例えば「１」）の場合、サブ階層化を行うことができることを示す。また、sub_lod_enable_flagが偽（例えば「０」）の場合、サブ階層化を行うことができないことを示す。
例えば、アトリビュートデータのサブ階層化が許可されているか否かを示す制御情報をシグナリングする（符号化側から復号側に伝送する）ようにしてもよい。このサブ階層化が許可されているか否かを示す制御情報は、対象となるデータ単位においてサブ階層化を行うことができるか否かを示すフラグ情報（例えば、sub_lod_enable_flag）である。例えば、このsub_lod_enable_flagが真（例えば「１」）の場合、サブ階層化を行うことができることを示す。また、sub_lod_enable_flagが偽（例えば「０」）の場合、サブ階層化を行うことができないことを示す。
【0068】
このsub_lod_enable_flagがシグナリングされない（伝送されない）場合、復号側においてsub_lod_enable_flagが偽であるものとみなされるようにしてもよい。逆に、このsub_lod_enable_flagがシグナリングされない（伝送されない）場合、復号側においてsub_lod_enable_flagが真であるものとみなされるようにしてもよい。
【0069】
sub_lod_enable_flagが偽の場合、サブ階層化が許可されていないので、そのデータ単位についてのサブ階層化に関するその他の制御情報のシグナリングは省略することができる。したがって符号化効率の低減を抑制することができる。換言するに、復号側において、そのデータ単位についてのサブ階層化に関するその他の制御情報のパースを省略することができる。つまり、復号側においては、sub_lod_enable_flagが真のデータ単位のみ、サブ階層化に関するその他の制御情報のパースを行えば良い。したがって、復号処理の負荷の増大を抑制することができる。
【0070】
以上のように、このサブ階層化が許可されているか否かを示す制御情報は、そのデータ単位についてのサブ階層化に関するその他の制御情報のシグナリングの有無を示す制御情報とも言える。また、このサブ階層化が許可されているか否かを示す制御情報は、サブ階層化が禁止されているか否かを示す制御情報とも言える。
【0071】
このサブ階層化が許可されているか否かを示す制御情報は、任意のデータ単位を対象とすることができ、任意のデータ単位毎にシグナリングするようにしてもよい。例えば、アトリビュートデータ１つを対象のデータ単位とし、アトリビュートデータ毎にsub_lod_enable_flagをシグナリングするようにしてもよい。また、例えば、複数のsub_lod_enable_flagをアトリビュートデータよりも上位のデータ単位毎（例えばシーケンス毎）にまとめて伝送するようにしてもよい。
【0072】
＜sub_lod_distance＞
例えば、サブ階層化の際のサンプリングの間隔（またはサンプリング周期）を制御する制御情報をシグナリングするようにしてもよい。このサンプリングの間隔を制御する制御情報は、対象となるデータ単位においてサブ階層化を行う場合に、どういう間隔でサンプリングするかを示す情報（例えば、sub_lod_distance）である。例えば、sub_lod_distance = 2の場合、サンプリング周期が２、すなわち、２つに１つのノードがサンプリングされる（１つおきにサンプリングされる）ことを示す。つまり、sub_lod_distance > 2の場合、そのsub_lod_distanceで示される間隔で等間隔にサンプリングが行われ、サブ階層が生成される。
例えば、サブ階層化の際のサンプリングの間隔（またはサンプリング周期）を制御する制御情報をシグナリングするようにしてもよい。このサンプリングの間隔を制御する制御情報は、対象となるデータ単位においてサブ階層化を行う場合に、どういう間隔でサンプリングするかを示す情報（例えば、sub_lod_distance）である。例えば、sub_lod_distance = 2の場合、サンプリング周期が２、すなわち、２つに１つのノードがサンプリングされる（１つおきにサンプリングされる）ことを示す。つまり、sub_lod_distance > 2の場合、そのsub_lod_distanceで示される間隔で等間隔にサンプリングが行われ、サブ階層が生成される。
【0073】
なお、sub_lod_distance = 0は、サブ階層化が行われない（サブ階層（Sub LoD））が形成されないことを示す。つまり、sub_lod_distanceは、サブ階層化を行うか否かを示す制御情報とも言える。
【0074】
また、このsub_lod_distanceがシグナリングされない（伝送されない）場合、復号側においてsub_lod_distance = 0であるものとみなされるようにしてもよい。
【0075】
さらに、サンプリングの間隔は非等間隔であってもよい。例えば、互いに同一のデータ単位に対して、sub_lod_distanceを複数シグナリングし、複数の間隔（周期）を割り当てることができるようにしてもよい。例えば、sub_lod_distanceの値が「２」と「３」に設定され、２→３→２→３のように、それらの間隔が順次採用されるようにして、非等間隔を実現するようにしてもよい。また、サンプリング間隔を関数やテーブルの識別番号等により表すようにしてもよい。
【0076】
このサブ階層化の際のサンプリングの間隔を制御する制御情報は、任意のデータ単位を対象とすることができ、任意のデータ単位毎にシグナリングするようにしてもよい。例えば、アトリビュートデータの階層（LoD）を対象のデータ単位とし、アトリビュートデータの１階層毎にsub_lod_distanceをシグナリングするようにしてもよい。
【0077】
＜sub_lod_mode＞
例えば、サブ階層化の際のサンプリングの方法を示す制御情報（例えば、sub_lod_mode）をシグナリングするようにしてもよい。
例えば、サブ階層化の際のサンプリングの方法を示す制御情報（例えば、sub_lod_mode）をシグナリングするようにしてもよい。
【0078】
例えば、sub_lod_mode = 0は、全サブ階層においてサンプリングが互いに同一の間隔で等間隔に行われることを示す。つまり、この場合、全サブ階層において１種類の間隔でサンプリングが行われる。
【0079】
また、sub_lod_mode = 1は、サンプリングの間隔がパターン１（非等間隔）であることを示す。同様に、sub_lod_mode = 2は、サンプリングの間隔がパターン１とは異なるパターン２（非等間隔）であることを示す。
【0080】
サンプリングを非等間隔とすることで、例えばサブ階層（SubLod）の深さに応じてサンプリング間隔を変えることができる。また、例えばサブ階層内においてサンプリング間隔を変えることもできる。つまり、上述のパターン１およびパターン２では、全サブ階層のサンプリング間隔のパターンが示される。パターンの距離の取り方は、ヘッダなどでオーバライドすることができる。
【0081】
＜その他＞
なお、サブ階層化に関する制御情報は、上述の例に限定されない。また、複数の制御情報を適用してもよい。例えば、sub_lod_distanceとsub_lod_modeの両方を適用してもよい。また、例えば、sub_lod_enable_flagを、sub_lod_distance若しくはsub_lod_mode、またはその両方とともに適用してもよい。
なお、サブ階層化に関する制御情報は、上述の例に限定されない。また、複数の制御情報を適用してもよい。例えば、sub_lod_distanceとsub_lod_modeの両方を適用してもよい。また、例えば、sub_lod_enable_flagを、sub_lod_distance若しくはsub_lod_mode、またはその両方とともに適用してもよい。
【0082】
＜逆階層化＞
以上のように階層化・サブ階層化されたアトリビュートデータは、図３に示される表の上から８番目の段の「方法２」に記載のように、サブ階層（Sub LoD）間の参照関係を利用して逆階層化するようにしてもよい。
以上のように階層化・サブ階層化されたアトリビュートデータは、図３に示される表の上から８番目の段の「方法２」に記載のように、サブ階層（Sub LoD）間の参照関係を利用して逆階層化するようにしてもよい。
【0083】
また、例えば、図３に示される表の上から９番目の段の「方法２－１」に記載のように、上述の「方法１」の場合と同様にして、サブ階層（Sub LoD）を生成し、その生成したサブ階層間の参照関係を用いて逆階層化するようにしてもよい。
【0084】
例えば、３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドのアトリビュートデータ（属性情報）を階層化し、その階層間のアトリビュートデータの参照関係を生成し、階層内においてアトリビュートデータをサブ階層化し、そのサブ階層間のアトリビュートデータの参照関係を生成し、生成された階層間のアトリビュートデータの参照関係、および、生成されたサブ階層間のアトリビュートデータの参照関係に基づいて、アトリビュートデータを逆階層化するようにしてもよい。
【0085】
例えば、情報処理装置において、３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドのアトリビュートデータ（属性情報）を階層化し、その階層間のアトリビュートデータの参照関係を生成する階層化部と、その階層化部により生成された階層内においてアトリビュートデータをサブ階層化し、そのサブ階層間のアトリビュートデータの参照関係を生成するサブ階層化部と、その階層化部により生成された階層間のアトリビュートデータの参照関係、および、そのサブ階層化部により生成されたサブ階層間のアトリビュートデータの参照関係に基づいて、アトリビュートデータを逆階層化する逆階層化部とを備えるようにしてもよい。
【0086】
このようにすることにより、上述の「方法１」等を適用して階層化・サブ階層化されたアトリビュートデータを正しく逆階層化することができる。したがって、符号化効率の低減を抑制することができる。
【0087】
そのサブ階層化において、例えば、図３に示される表の上から３番目の段の「方法１－１－１」を適用するようにしてもよい。つまり、処理対象階層のアトリビュートデータをモートン順序に整列し、その内の一部を等間隔にサンプリングすることにより、サブ階層を生成するようにしてもよい。
【0088】
また、そのサブ階層化において、例えば、図３に示される表の上から４番目の段の「方法１－１－２」を適用するようにしてもよい。つまり、処理対象階層のアトリビュートデータをモートン順序に整列し、その内の一部を非等間隔にサンプリングすることにより、サブ階層を生成するようにしてもよい。
【0089】
また、そのサブ階層化において、例えば、図３に示される表の上から１０番目の段の「方法２－２」に記載のように、上述の「方法１－３」のようにシグナリングされたアトリビュートデータのサブ階層化に関する制御情報に基づいてサブ階層（Sub LoD）を生成し、その生成したサブ階層間の参照関係を用いて逆階層化するようにしてもよい。
【0090】
例えば、上述したアトリビュートデータのサブ階層化が許可されているか否かを示す制御情報（例えば、sub_lod_enable_flag）に基づいて、アトリビュートデータをサブ階層化するようにしてもよい。
【0091】
また、例えば、上述したアトリビュートデータのサンプリングの間隔を示す制御情報（例えば、sub_lod_distance）に基づいて、アトリビュートデータをサブ階層化するようにしてもよい。
【0092】
さらに、例えば、上述したアトリビュートデータのサンプリングの方法を示す制御情報（例えば、sub_lod_mode）に基づいて、アトリビュートデータをサブ階層化するようにしてもよい。
【0093】
もちろん、これら以外の制御情報に基づいてアトリビュートデータをサブ階層化するようにしてもよい。また、複数の制御情報に基づいてアトリビュートデータをサブ階層化するようにしてもよい。
【0094】
以上のように逆階層化を行うことにより、サブ階層化されたアトリビュートデータをより正確に逆階層化することができる。したがって、予測の方向の偏りを抑制することができ、符号化効率の低減を抑制することができる。
【0095】
＜２．第１の実施の形態＞
＜符号化装置＞
次に、＜１．Sub LoDの生成＞において上述した本技術を適用する装置について説明する。図８は、本技術を適用した情報処理装置の一態様である符号化装置の構成の一例を示すブロック図である。図８に示される符号化装置１００は、ポイントクラウド（３Ｄデータ）を符号化する装置である。符号化装置１００は、＜１．Sub LoDの生成＞において上述した本技術を適用してポイントクラウドを符号化する。
＜符号化装置＞
次に、＜１．Sub LoDの生成＞において上述した本技術を適用する装置について説明する。図８は、本技術を適用した情報処理装置の一態様である符号化装置の構成の一例を示すブロック図である。図８に示される符号化装置１００は、ポイントクラウド（３Ｄデータ）を符号化する装置である。符号化装置１００は、＜１．Sub LoDの生成＞において上述した本技術を適用してポイントクラウドを符号化する。
【0096】
なお、図８においては、処理部やデータの流れ等の主なものを示しており、図８に示されるものが全てとは限らない。つまり、符号化装置１００において、図８においてブロックとして示されていない処理部が存在したり、図８において矢印等として示されていない処理やデータの流れが存在したりしてもよい。
【0097】
図８に示されるように符号化装置１００は、位置情報符号化部１０１、位置情報復号部１０２、ポイントクラウド生成部１０３、属性情報符号化部１０４、およびビットストリーム生成部１０５を有する。
【0098】
位置情報符号化部１０１は、符号化装置１００に入力されたポイントクラウド（３Ｄデータ）のジオメトリデータ（位置情報）を符号化する。この符号化方法は、スケーラブルな復号に対応した方法であれば任意である。例えば位置情報符号化部１０１は、ジオメトリデータを階層化してOctreeを生成し、そのOctreeを符号化する。また、例えば、ノイズ抑制（デノイズ）のためのフィルタリングや量子化等の処理が行われるようにしてもよい。位置情報符号化部１０１は、生成したジオメトリデータの符号化データを位置情報復号部１０２およびビットストリーム生成部１０５に供給する。
【0099】
位置情報復号部１０２は、位置情報符号化部１０１から供給されるジオメトリデータの符号化データを取得し、その符号化データを復号する。この復号方法は、位置情報符号化部１０１による符号化に対応する方法であれば任意である。例えば、デノイズのためのフィルタリングや逆量子化等の処理が行われるようにしてもよい。位置情報復号部１０２は、生成したジオメトリデータ（復号結果）をポイントクラウド生成部１０３に供給する。
【0100】
ポイントクラウド生成部１０３は、符号化装置１００に入力されるポイントクラウドのアトリビュートデータ（属性情報）と、位置情報復号部１０２から供給されるジオメトリデータ（復号結果）を取得する。ポイントクラウド生成部１０３は、アトリビュートデータをジオメトリデータ（復号結果）に合わせる処理（リカラー処理）を行う。ポイントクラウド生成部１０３は、ジオメトリデータ（復号結果）に対応させたアトリビュートデータを属性情報符号化部１０４に供給する。
【0101】
属性情報符号化部１０４は、ポイントクラウド生成部１０３から供給されるジオメトリデータ（復号結果）およびアトリビュートデータを取得する。属性情報符号化部１０４は、そのジオメトリデータ（復号結果）を用いて、アトリビュートデータを符号化し、アトリビュートデータの符号化データを生成する。
【0102】
その際、属性情報符号化部１０４は、＜１．Sub LoDの生成＞において上述した本技術を適用し、アトリビュートデータを符号化する。例えば、属性情報符号化部１０４は、アトリビュートデータ（属性情報）の階層化において、階層（LoD）内にさらにサブ階層（Sub LoD）を生成し、そのサブ階層間のアトリビュートデータの参照関係を生成する。属性情報符号化部１０４は、生成したアトリビュートデータの符号化データをビットストリーム生成部１０５に供給する。
【0103】
ビットストリーム生成部１０５は、位置情報符号化部１０１から供給されるジオメトリデータの符号化データを取得する。また、ビットストリーム生成部１０５は、属性情報符号化部１０４から供給されるアトリビュートデータの符号化データを取得する。ビットストリーム生成部１０５は、これらの符号化データを含むビットストリームを生成する。ビットストリーム生成部１０５は、生成したビットストリームを符号化装置１００の外部に出力する。
【0104】
このような構成とすることにより、符号化装置１００は、階層内においてサブ階層を生成し、そのサブ階層間のアトリビュートデータの参照関係を生成し、その参照関係を用いてアトリビュートデータの符号化を行うことができる。これにより、予測の方向の偏りを抑制するように階層内のアトリビュートデータの参照関係を生成することができ、符号化効率の低減を抑制することができる。
【0105】
なお、符号化装置１００のこれらの処理部（位置情報符号化部１０１乃至ビットストリーム生成部１０５）は、それぞれ、任意の構成を有する。例えば、各処理部が、上述の処理を実現する論理回路により構成されるようにしてもよい。また、各処理部が、例えばCPU（Central Processing Unit）、ROM（Read Only Memory）、RAM（Random Access Memory）等を有し、それらを用いてプログラムを実行することにより、上述の処理を実現するようにしてもよい。もちろん、各処理部が、その両方の構成を有し、上述の処理の一部を論理回路により実現し、他を、プログラムを実行することにより実現するようにしてもよい。各処理部の構成は互いに独立していてもよく、例えば、一部の処理部が上述の処理の一部を論理回路により実現し、他の一部の処理部がプログラムを実行することにより上述の処理を実現し、さらに他の処理部が論理回路とプログラムの実行の両方により上述の処理を実現するようにしてもよい。
【0106】
＜属性情報符号化部＞
図９は、属性情報符号化部１０４（図８）の主な構成例を示すブロック図である。なお、図９においては、処理部やデータの流れ等の主なものを示しており、図９に示されるものが全てとは限らない。つまり、属性情報符号化部１０４において、図９においてブロックとして示されていない処理部が存在したり、図９において矢印等として示されていない処理やデータの流れが存在したりしてもよい。
図９は、属性情報符号化部１０４（図８）の主な構成例を示すブロック図である。なお、図９においては、処理部やデータの流れ等の主なものを示しており、図９に示されるものが全てとは限らない。つまり、属性情報符号化部１０４において、図９においてブロックとして示されていない処理部が存在したり、図９において矢印等として示されていない処理やデータの流れが存在したりしてもよい。
【0107】
図８に示されるよう属性情報符号化部１０４は、階層化処理部１１１、量子化部１１２、および符号化部１１３を有する。
【0108】
階層化処理部１１１は、アトリビュートデータの階層化に関する処理を行う。例えば、階層化処理部１１１は、ポイントクラウド生成部１０３から供給されるアトリビュートデータやジオメトリデータ（復号結果）を取得する。階層化処理部１１１は、そのジオメトリデータを用いてアトリビュートデータを階層化する。その際、階層化処理部１１１は、＜１．Sub LoDの生成＞において上述した本技術を適用して階層化を行う。例えば、階層化処理部１１１は、アトリビュートデータ（属性情報）の階層化において、階層（LoD）内にさらにサブ階層（Sub LoD）を生成し、そのサブ階層間のアトリビュートデータの参照関係を生成する。階層化処理部１１１は、階層化したアトリビュートデータ（差分値）を量子化部１１２に供給する。
【0109】
その際、階層化処理部１１１は、サブ階層化に関する制御情報も生成することができる。その場合、階層化処理部１１１は、その生成した制御情報も、アトリビュートデータ（差分値）とともに量子化部１１２に供給する。
【0110】
量子化部１１２は、階層化処理部１１１から供給されるアトリビュートデータ（階層化処理部１１１において制御情報が生成される場合はその制御情報も）を取得する。量子化部１１２は、そのアトリビュートデータを量子化する。この量子化の方法は任意である。量子化部１１２は、その量子化されたアトリビュートデータ（および制御情報）を、符号化部１１３に供給する。
【0111】
符号化部１１３は、量子化部１１２から供給される、量子化されたアトリビュートデータ（および制御情報）を取得する。符号化部１１３は、そのアトリビュートデータを符号化し、アトリビュートデータの符号化データを生成する。この符号化方法は任意である。また、サブ階層化に関する制御情報が供給される場合、符号化部１１３は、生成した符号化データに、その制御情報を含める。換言するに、符号化部１１３は、サブ階層化に関する制御情報を含むアトリビュートデータの符号化データを生成する。符号化部１１３は、生成した符号化データをビットストリーム生成部１０５に供給する。
【0112】
以上のように階層化を行うことにより、属性情報符号化部１０４は、階層内においてサブ階層を生成し、そのサブ階層間のアトリビュートデータの参照関係を生成し、その参照関係を用いてアトリビュートデータの符号化を行うことができる。これにより、予測の方向の偏りを抑制するように階層内のアトリビュートデータの参照関係を生成することができ、符号化効率の低減を抑制することができる。
【0113】
なお、これらの処理部（階層化処理部１１１乃至符号化部１１３）は、任意の構成を有する。例えば、各処理部が、上述の処理を実現する論理回路により構成されるようにしてもよい。また、各処理部が、例えばCPU、ROM、RAM等を有し、それらを用いてプログラムを実行することにより、上述の処理を実現するようにしてもよい。もちろん、各処理部が、その両方の構成を有し、上述の処理の一部を論理回路により実現し、他を、プログラムを実行することにより実現するようにしてもよい。各処理部の構成は互いに独立していてもよく、例えば、一部の処理部が上述の処理の一部を論理回路により実現し、他の一部の処理部がプログラムを実行することにより上述の処理を実現し、さらに他の処理部が論理回路とプログラムの実行の両方により上述の処理を実現するようにしてもよい。
【0114】
＜階層化処理部＞
図１０は、階層化処理部１１１（図９）の主な構成例を示すブロック図である。なお、図１０においては、処理部やデータの流れ等の主なものを示しており、図１０に示されるものが全てとは限らない。つまり、階層化処理部１１１において、図１０においてブロックとして示されていない処理部が存在したり、図１０において矢印等として示されていない処理やデータの流れが存在したりしてもよい。
図１０は、階層化処理部１１１（図９）の主な構成例を示すブロック図である。なお、図１０においては、処理部やデータの流れ等の主なものを示しており、図１０に示されるものが全てとは限らない。つまり、階層化処理部１１１において、図１０においてブロックとして示されていない処理部が存在したり、図１０において矢印等として示されていない処理やデータの流れが存在したりしてもよい。
【0115】
図１０に示されるよう階層化処理部１１１は、制御部１２１、階層化処理部１２２、Sub LoD生成部１２３、反転部１２４、および重み付け部１２５を有する。
【0116】
制御部１２１は、階層化およびサブ階層化の制御に関する処理を行う。例えば、制御部１２１は、ポイントクラウド生成部１０３から供給されるアトリビュートデータやジオメトリデータ（復号結果）を取得する。制御部１２１は、取得したアトリビュートデータやジオメトリデータ（復号結果）を階層化処理部１２２に供給する。
【0117】
また、制御部１２１は、階層化処理部１２２やSub LoD生成部１２３を制御し、階層化やサブ階層化を実行させる。例えば、制御部１２１は、＜１．Sub LoD＞において上述した本技術を適用して階層化やサブ階層化を行わせる。例えば、制御部１２１は、所望の階層についてサブ階層化を行わせる。つまり、制御部１２１は、一部の階層についてサブ階層化を行わせたり、全ての階層についてサブ階層を行わせたりすることができる。
【0118】
また、制御部１２１は、そのアトリビュートデータのサブ階層化に関する制御情報を生成することもできる。例えば、制御部１２１は、＜１．Sub LoDの生成＞において上述した各種のシンタクス要素（例えば、sub_lod_enable_flag、sub_lod_distance、sub_lod_mode等）を制御情報として生成することができる。制御部１２１は、このように生成した制御情報を量子化部１１２に供給し、復号側に伝送させる。
【0119】
階層化処理部１２２は、アトリビュートデータの階層化に関する処理を行う。例えば、階層化処理部１２２は、制御部１２１から供給されるアトリビュートデータやジオメトリデータ（復号結果）を取得する。
【0120】
階層化処理部１２２は、制御部１２１の制御に従って、取得したアトリビュートデータを、取得したジオメトリデータを用いて階層化する。この階層化の手法は任意である。例えば、非特許文献２に記載のLiftingのようなスケーラブルな復号に非対応な手法であってもよいし、非特許文献３に記載のようなスケーラブルの復号に対応した手法であってもよい。階層化処理部１２２は、階層化されたアトリビュートデータやジオメトリデータをSub LoD生成部１２３に供給する。
【0121】
Sub LoD生成部１２３は、サブ階層化に関する処理を行う。例えば、Sub LoD生成部１２３は、階層化処理部１２２から供給される、階層化されたアトリビュートデータやジオメトリデータを取得する。
【0122】
Sub LoD生成部１２３は、制御部１２１の制御に従って、アトリビュートデータの階層内にサブ階層を生成する。Sub LoD生成部１２３は、ジオメトリデータを用いて、このようなサブ階層化を行う。つまり、Sub LoD生成部１２３は、＜１．Sub LoDの生成＞において上述した図３に示される表の一番上の段の「方法１」のように、階層（LoD）内におけるアトリビュートデータの参照関係を生成する。
【0123】
このようにすることにより、Sub LoD生成部１２３は、予測の方向の偏りを抑制するように階層内のアトリビュートデータの参照関係を生成することができ、符号化効率の低減を抑制することができる。
【0124】
なお、この生成方法は任意である。例えば、Sub LoD生成部１２３は、図３に示される表の上から２番目の段の「方法１－１」のように、階層内のポイント毎のアトリビュートデータの一部をサンプリング（選択）してサブ階層とする処理を、再帰的に繰り返してもよい。
【0125】
また、Sub LoD生成部１２３は、図３に示される表の上から３番目の段の「方法１－１－１」のように、処理対象階層のアトリビュートデータをモートン順序に整列し、その内の一部を等間隔にサンプリングすることにより、サブ階層を生成してもよい。
【0126】
また、Sub LoD生成部１２３は、図３に示される表の上から４番目の段の「方法１－１－２」のように、処理対象階層のアトリビュートデータをモートン順序に整列し、その内の一部を非等間隔にサンプリングすることにより、サブ階層を生成してもよい。
【0127】
もちろん、これら以外の方法であってもよい。なお、制御部１２１によりサブ階層化が許可されない場合、Sub LoD生成部１２３は、サブ階層化を省略することができる。つまり、Sub LoD生成部１２３は、制御部１２１により許可された階層に対してのみサブ階層化を行うことができる。
【0128】
Sub LoD生成部１２３は、このように制御部１２１の制御に従ってサブ階層化されたアトリビュートデータを反転部１２４に供給する。
【0129】
反転部１２４は、階層の反転に関する処理を行う。例えば、反転部１２４は、Sub LoD生成部１２３から供給されるアトリビュートデータを取得する。このアトリビュートデータは、各階層の情報が、その生成順に階層化されている。
【0130】
反転部１２４は、そのアトリビュートデータの階層を反転させる。例えば、反転部１２４は、アトリビュートデータの各階層に対して、その生成順と逆順に階層番号（最上位層が０、１階層下がる毎に値が１ずつインクリメントされ、最下位層が最大値となる階層を識別するための番号）を付す。つまり、各階層のデータにこの階層番号が付されることにより、各階層は、最下位層から最上位層に向かう順に生成されたことになる。
【0131】
反転部１２４は、階層を反転させたアトリビュートデータを重み付け部１２５に供給する。
【0132】
重み付け部１２５は、重み付けに関する処理を行う。例えば、重み付け部１２５は、反転部１２４から供給されるアトリビュートデータを取得する。重み付け部１２５は、取得したアトリビュートデータの重み値を導出する。なお、この重み値の導出方法は任意である。
【0133】
例えば、重み付け部１２５は、＜１．Sub LoDの生成＞において上述した図３に示される表の上から５番目の段の「方法１－２」のように、サブ階層（Sub LoD）間の参照関係を用いて重み値を導出してもよい。
【0134】
また、非特許文献２に記載のLiftingを用いてアトリビュートデータの階層化（LoD化）が行われた場合、重み付け部１２５は、階層化において各アトリビュートデータに設定された重み値に、サブ階層間のアトリビュートデータの参照関係を反映させてもよい。つまり、重み付け部１２５は、階層間のアトリビュートデータの参照関係とサブ階層間のアトリビュートデータの参照関係の両方に応じて重み値を導出してもよい。
【0135】
また、非特許文献３に記載のスケーラブルの復号に対応した手法を用いてアトリビュートデータの階層化（LoD化）が行われた場合、重み付け部１２５は、図３に示される表の上から６番目の段の「方法１－２－１」のように、階層化において生成された階層毎の重み値に、サブ階層間のアトリビュートデータの参照関係を反映させてもよい。
【0136】
もちろん、これら以外の方法であってもよい。なお、重み付け部１２５は、この重み付けを省略することもできる。
【0137】
重み付け部１２５は、以上のように導出した重み値とアトリビュートデータの参照関係を用いて各ポイントのアトリビュートデータの予測を行い、予測値を導出する。また、重み付け部１２５は、各ポイントのアトリビュートデータと、その予測値との差分値を導出する。
【0138】
重み付け部１２５は、導出したアトリビュートデータ（差分値）を量子化部１１２（図９）に供給する。また、重み付け部１２５は、導出した重み値を制御情報として量子化部１１２に供給し、復号側に伝送させるようにしてもよい。
【0139】
なお、これらの処理部（制御部１２１乃至重み付け部１２５）は、任意の構成を有する。例えば、各処理部が、上述の処理を実現する論理回路により構成されるようにしてもよい。また、各処理部が、例えばCPU、ROM、RAM等を有し、それらを用いてプログラムを実行することにより、上述の処理を実現するようにしてもよい。もちろん、各処理部が、その両方の構成を有し、上述の処理の一部を論理回路により実現し、他を、プログラムを実行することにより実現するようにしてもよい。各処理部の構成は互いに独立していてもよく、例えば、一部の処理部が上述の処理の一部を論理回路により実現し、他の一部の処理部がプログラムを実行することにより上述の処理を実現し、さらに他の処理部が論理回路とプログラムの実行の両方により上述の処理を実現するようにしてもよい。
【0140】
＜符号化処理の流れ＞
次に、この符号化装置１００により実行される処理について説明する。符号化装置１００は、符号化処理を実行することによりポイントクラウドのデータを符号化する。この符号化処理の流れの例を、図１１のフローチャートを参照して説明する。
次に、この符号化装置１００により実行される処理について説明する。符号化装置１００は、符号化処理を実行することによりポイントクラウドのデータを符号化する。この符号化処理の流れの例を、図１１のフローチャートを参照して説明する。
【0141】
符号化処理が開始されると、符号化装置１００の位置情報符号化部１０１は、ステップＳ１０１において、入力されたポイントクラウドのジオメトリデータ（位置情報）を符号化し、ジオメトリデータの符号化データを生成する。
【0142】
ステップＳ１０２において、位置情報復号部１０２は、ステップＳ１０１において生成されたジオメトリデータの符号化データを復号し、位置情報を生成する。
【0143】
ステップＳ１０３において、ポイントクラウド生成部１０３は、入力されたポイントクラウドのアトリビュートデータ（属性情報）と、ステップＳ１０２において生成されたジオメトリデータ（復号結果）とを用いて、リカラー処理を行い、アトリビュートデータをジオメトリデータに対応させる。
【0144】
ステップＳ１０４において、属性情報符号化部１０４は、属性情報符号化処理を実行することにより、ステップＳ１０３においてリカラー処理されたアトリビュートデータを符号化し、アトリビュートデータの符号化データを生成する。その際、属性情報符号化部１０４は、＜１．Sub LoDの生成＞において上述した本技術を適用して処理を行う。属性情報符号化処理の詳細については後述する。
【0145】
ステップＳ１０５において、ビットストリーム生成部１０５は、ステップＳ１０１において生成されたジオメトリデータの符号化データと、ステップＳ１０４において生成されたアトリビュートデータの符号化データとを含むビットストリームを生成し、出力する。
【0146】
ステップＳ１０５の処理が終了すると符号化処理が終了する。
【0147】
このように各ステップの処理を行うことにより、符号化装置１００は、予測の方向の偏りを抑制するように階層内のアトリビュートデータの参照関係を生成することができ、符号化効率の低減を抑制することができる。
【0148】
【0149】
属性情報符号化処理が開始されると、属性情報符号化部１０４の階層化処理部１１１は、ステップＳ１１１において、階層化処理を実行することによりアトリビュートデータを階層化し、各ポイントのアトリビュートデータの差分値を導出する。その際、階層化処理部１１１は、＜１．Sub LoDの生成＞において上述した本技術を適用して階層化を行う。階層化処理の詳細については後述する。
【0150】
ステップＳ１１２において、量子化部１１２は、ステップＳ１１１において導出された各差分値を量子化する。
【0151】
ステップＳ１１３において、符号化部１１３は、ステップＳ１１２において量子化された差分値を符号化し、アトリビュートデータの符号化データを生成する。ステップＳ１１１の階層化処理において制御情報が生成される場合、符号化部１１３は、その制御情報も含むアトリビュートデータの符号化データを生成する。
【0152】
ステップＳ１１３の処理が終了すると属性情報符号化処理が終了し、処理は図１１に戻る。
【0153】
このように各ステップの処理を行うことにより、属性情報符号化部１０４は、予測の方向の偏りを抑制するように階層内のアトリビュートデータの参照関係を生成することができ、符号化効率の低減を抑制することができる。
【0154】
【0155】
階層化処理が開始されると、階層化処理部１１１の制御部１２１は、ステップＳ１２１において、全てのポイントのアトリビュートデータを処理対象とし、最初の階層（LoD）を生成するためにステップＳ１２２乃至ステップＳ１２６の各処理が行われるようにする。
【0156】
なお、この最初の階層（１番目に生成される階層）は、後述するステップＳ１２７の処理により、階層化されたアトリビュートデータにおける最下位層となる。つまり、制御部１２１は、処理対象LoDを最下位層に設定するとも言える。
【0157】
ステップＳ１２２において、階層化処理部１２２は、処理対象のポイントの中から参照ポイントを設定する。参照ポイントは、予測ポイントのアトリビュートデータの予測の際にアトリビュートデータを参照されるポイントである。予測ポイントは、この階層においてアトリビュートデータの予測が行われるポイントである。つまり、階層化処理部１２２は、処理対象の各ポイントを予測ポイントと参照ポイントのいずれかに設定するとも言える。
【0158】
ステップＳ１２３において、制御部１２１は、この階層において、サブ階層（Sub LoD）を生成するか否かを判定する。制御部１２１は、例えば、ユーザやアプリケーションによる設定等、任意の情報に基づいて、この階層をサブ階層化するか否かを判定する。サブ階層化を行うと判定された場合、処理はステップＳ１２４に進む。
【0159】
ステップＳ１２４において、Sub LoD生成部１２３は、ジオメトリデータを用いて、処理対象の階層内にサブ階層を生成する。つまり、Sub LoD生成部１２３は、＜１．Sub LoDの生成＞において上述した図３に示される表の一番上の段の「方法１」のように、階層（LoD）内におけるアトリビュートデータの参照関係を生成する。
【0160】
なお、この生成方法は任意である。例えば、Sub LoD生成部１２３は、図３に示される表の上から２番目の段の「方法１－１」を適用してもよいし、同表の上から３番目の段の「方法１－１－１」を適用してもよいし、同表の上から４番目の段の「方法１－１－２」を適用してもよい。もちろん、Sub LoD生成部１２３は、その他の方法を適用してもよい。
【0161】
サブ階層が生成されると、処理はステップＳ１２５に進む。
【0162】
また、ステップＳ１２３において、処理対象の階層についてサブ階層化を行わないと判定された場合、ステップＳ１２４の処理はスキップされ、処理はステップＳ１２５に進む。
【0163】
ステップＳ１２５において、制御部１２１は、ステップＳ１２２において選択された参照ポイントのアトリビュートデータを処理対象とし、次の階層（LoD）を生成するためにステップＳ１２２乃至ステップＳ１２６の各処理が行われるようにする。
【0164】
なお、新たに処理対象にされた次の階層は、後述するステップＳ１２７の処理により、階層化されたアトリビュートデータにおいて、その直前の処理対象であった階層の１つ上位の階層となる。つまり、制御部１２１は、処理対象LoDを１つ上位の階層に更新するとも言える。
【0165】
ステップＳ１２６において、制御部１２１は、全てのポイントを処理したか否かを判定する。上述の処理が繰り返されることにより、全てのポイントが予測ポイントに設定される（最後の１ポイントは予測を行わない場合もあり得る）。つまり、制御部１２１は、全階層が生成されたか否かを判定する。まだ予測ポイントに選択されていないポイントが存在し、階層化が完了していないと判定された場合、処理はステップＳ１２２に戻る。
【0166】
つまり、ステップＳ１２５において新たな処理対象とされた次の階層について、ステップＳ１２２乃至ステップＳ１２６の各処理が実行される。つまり、前回参照ポイントに設定されたポイントが予測ポイントと参照ポイントのいずれかに設定される。このようにすることにより、ステップＳ１２２乃至ステップＳ１２６の各処理が、参照ポイントに設定されたポイントに対して再帰的に繰り返され、各階層および各サブ階層が生成され、階層間およびサブ階層間の参照関係が生成される。
【0167】
ステップＳ１２２乃至ステップＳ１２６の各処理が繰り返し実行されることにより、全階層（および全サブ階層）が生成され、ステップＳ１２６において、全てのポイントが処理されたと判定された場合、処理はステップＳ１２７に進む。
【0168】
ステップＳ１２７において、反転部１２４は、生成されたアトリビュートデータの階層を反転し、各階層に、生成順と逆向きに階層番号を付す。
【0169】
ステップＳ１２８において、重み付け部１２５は、各ポイントのアトリビュートデータについて重み値を導出する。その際、重み付け部１２５は、サブ階層間の参照関係を反映した重み値を導出する。
【0170】
また、重み付け部１２５は、導出した重み値とアトリビュートデータの参照関係を用いて、各ポイントについて、アトリビュートデータの予測を行い、そのアトリビュートデータと予測値との差分値を導出する。
【0171】
ステップＳ１２９において、制御部１２１は、アトリビュートデータのサブ階層化に関する制御情報を生成し、それを復号側に伝送させる。
【0172】
ステップＳ１２９の処理が終了すると階層化処理が終了し、処理は図１２に戻る。
【0173】
このように各ステップの処理を行うことにより、階層化処理部１１１は、予測の方向の偏りを抑制するように階層内のアトリビュートデータの参照関係を生成することができる。したがって、符号化装置１００は、符号化効率の低減を抑制することができる。
【0174】
＜３．第２の実施の形態＞
＜復号装置＞
次に、＜１．Sub LoDの生成＞において上述した本技術を適用する装置の他の例について説明する。図１４は、本技術を適用した情報処理装置の一態様である復号装置の構成の一例を示すブロック図である。図１４に示される復号装置２００は、ポイントクラウド（３Ｄデータ）の符号化データを復号する装置である。復号装置２００は、＜１．Sub LoDの生成＞において上述した本技術を適用してポイントクラウドの符号化データを復号する。
＜復号装置＞
次に、＜１．Sub LoDの生成＞において上述した本技術を適用する装置の他の例について説明する。図１４は、本技術を適用した情報処理装置の一態様である復号装置の構成の一例を示すブロック図である。図１４に示される復号装置２００は、ポイントクラウド（３Ｄデータ）の符号化データを復号する装置である。復号装置２００は、＜１．Sub LoDの生成＞において上述した本技術を適用してポイントクラウドの符号化データを復号する。
【0175】
なお、図１４においては、処理部やデータの流れ等の主なものを示しており、図１４に示されるものが全てとは限らない。つまり、復号装置２００において、図１４においてブロックとして示されていない処理部が存在したり、図１４において矢印等として示されていない処理やデータの流れが存在したりしてもよい。
【0176】
図１４に示されるように復号装置２００は、復号対象LoD深度設定部２０１、符号化データ抽出部２０２、位置情報復号部２０３、属性情報復号部２０４、およびポイントクラウド生成部２０５を有する。
【0177】
復号対象LoD深度設定部２０１は、復号対象とする階層（LoD）の深度の設定に関する処理を行う。例えば、復号対象LoD深度設定部２０１は、符号化データ抽出部２０２に保持されているポイントクラウドの符号化データについて、どの階層まで復号するかを設定する。この復号対象とする階層深度設定の方法は任意である。
【0178】
例えば、復号対象LoD深度設定部２０１が、ユーザやアプリケーション等の外部からの階層深度に関する指示に基づいて設定するようにしてもよい。また、復号対象LoD深度設定部２０１が、出力画像等、任意の情報に基づいて復号対象とする階層深度を求め、設定するようにしてもよい。
【0179】
例えば、復号対象LoD深度設定部２０１が、ポイントクラウドから生成する２次元画像の視点位置、方向、画角、視点の動き（移動、パン、チルト、ズーム）等に基づいて、復号対象とする階層深度を設定するようにしてもよい。
【0180】
なお、この復号対象とする階層深度設定のデータ単位は任意である。例えば、復号対象LoD深度設定部２０１は、ポイントクラウド全体について階層深度を設定することもできるし、オブジェクト毎に階層深度を設定することもできるし、オブジェクト内の部分領域毎に階層深度を設定することもできる。もちろん、これらの例以外のデータ単位で階層深度を設定することもできる。
【0181】
符号化データ抽出部２０２は、復号装置２００に入力されるビットストリームを取得し、保持する。符号化データ抽出部２０２は、最上位から復号対象LoD深度設定部２０１により指定された階層までのジオメトリデータ（位置情報）およびアトリビュートデータ（属性情報）の符号化データを、その保持しているビットストリームから抽出する。符号化データ抽出部２０２は、抽出したジオメトリデータの符号化データを位置情報復号部２０３に供給する。符号化データ抽出部２０２は、抽出したアトリビュートデータの符号化データを属性情報復号部２０４に供給する。
【0182】
位置情報復号部２０３は、符号化データ抽出部２０２から供給されるジオメトリデータの符号化データを取得する。位置情報復号部２０３は、そのジオメトリデータの符号化データを復号し、ジオメトリデータ（復号結果）を生成する。この復号方法は、符号化装置１００の位置情報復号部１０２の場合と同様の方法であれば任意である。位置情報復号部２０３は、生成したジオメトリデータ（復号結果）を、属性情報復号部２０４およびポイントクラウド生成部２０５に供給する。
【0183】
属性情報復号部２０４は、符号化データ抽出部２０２から供給されるアトリビュートデータの符号化データを取得する。属性情報復号部２０４は、位置情報復号部２０３から供給されるジオメトリデータ（復号結果）を取得する。属性情報復号部２０４は、その位置情報（復号結果）を用いて、＜１．Sub LoDの生成＞において上述した本技術を適用した方法によりアトリビュートデータの符号化データを復号し、アトリビュートデータ（復号結果）を生成する。属性情報復号部２０４は、生成したアトリビュートデータ（復号結果）をポイントクラウド生成部２０５に供給する。
【0184】
ポイントクラウド生成部２０５は、位置情報復号部２０３から供給されるジオメトリデータ（復号結果）を取得する。ポイントクラウド生成部２０５は、属性情報復号部２０４から供給されるアトリビュートデータ（復号結果）を取得する。ポイントクラウド生成部２０５は、そのジオメトリデータ（復号結果）およびアトリビュートデータ（復号結果）を用いて、ポイントクラウド（復号結果）を生成する。ポイントクラウド生成部２０５は、生成したポイントクラウド（復号結果）のデータを復号装置２００の外部に出力する。
【0185】
このような構成とすることにより、復号装置２００は、複数の階層化手法を適用して逆階層化を行うことができるので、複数の階層化手法を適用して階層化されたアトリビュートデータを正しく逆階層化することができる。つまり、そのような複数の階層化手法が適用されて符号化された符号化データを正しく復号することができる。これにより、符号化効率の低減を抑制することができる。
【0186】
なお、これらの処理部（復号対象LoD深度設定部２０１乃至ポイントクラウド生成部２０５）は、任意の構成を有する。例えば、各処理部が、上述の処理を実現する論理回路により構成されるようにしてもよい。また、各処理部が、例えばCPU、ROM、RAM等を有し、それらを用いてプログラムを実行することにより、上述の処理を実現するようにしてもよい。もちろん、各処理部が、その両方の構成を有し、上述の処理の一部を論理回路により実現し、他を、プログラムを実行することにより実現するようにしてもよい。各処理部の構成は互いに独立していてもよく、例えば、一部の処理部が上述の処理の一部を論理回路により実現し、他の一部の処理部がプログラムを実行することにより上述の処理を実現し、さらに他の処理部が論理回路とプログラムの実行の両方により上述の処理を実現するようにしてもよい。
【0187】
＜属性情報復号部＞
図１５は、属性情報復号部２０４（図１４）の主な構成例を示すブロック図である。なお、図１５においては、処理部やデータの流れ等の主なものを示しており、図１５に示されるものが全てとは限らない。つまり、属性情報復号部２０４において、図１５においてブロックとして示されていない処理部が存在したり、図１５において矢印等として示されていない処理やデータの流れが存在したりしてもよい。
図１５は、属性情報復号部２０４（図１４）の主な構成例を示すブロック図である。なお、図１５においては、処理部やデータの流れ等の主なものを示しており、図１５に示されるものが全てとは限らない。つまり、属性情報復号部２０４において、図１５においてブロックとして示されていない処理部が存在したり、図１５において矢印等として示されていない処理やデータの流れが存在したりしてもよい。
【0188】
図１５に示されるよう属性情報復号部２０４は、復号部２１１、逆量子化部２１２、および逆階層化処理部２１３を有する。
【0189】
復号部２１１は、アトリビュートデータの符号化データの復号に関する処理を行う。例えば、復号部２１１は、属性情報復号部２０４に供給されるアトリビュートデータの符号化データを取得する。
【0190】
復号部２１１は、そのアトリビュートデータの符号化データを復号し、アトリビュートデータ（復号結果）を生成する。この復号方法は、符号化装置１００の符号化部１１３（図９）による符号化方法に対応する方法であれば任意である。また、生成したアトリビュートデータ（復号結果）は、符号化前のアトリビュートデータに対応し、第１の実施の形態において説明したように、アトリビュートデータとその予測値との差分値であり、量子化されている。復号部２１１は、生成したアトリビュートデータ（復号結果）を逆量子化部２１２に供給する。
【0191】
なお、アトリビュートデータの符号化データに重み値に関する制御情報やアトリビュートデータの階層化に関する制御情報が含まれている場合、復号部２１１は、その制御情報も逆量子化部２１２に供給する。
【0192】
逆量子化部２１２は、アトリビュートデータの逆量子化に関する処理を行う。例えば、逆量子化部２１２は、復号部２１１から供給されるアトリビュートデータ（復号結果）を取得する。復号部２１１から制御情報が供給される場合、逆量子化部２１２は、その制御情報も取得する。
【0193】
逆量子化部２１２は、そのアトリビュートデータ（復号結果）を逆量子化する。逆量子化部２１２は、符号化装置１００の量子化部１１２（図９）による量子化に対応する方法でこの逆量子化を行う。逆量子化部２１２は、逆量子化したアトリビュートデータを逆階層化処理部２１３に供給する。また、復号部２１１から制御情報を取得した場合、逆量子化部２１２は、その制御情報も逆階層化処理部２１３に供給する。
【0194】
逆階層化処理部２１３は、逆量子化部２１２から供給される、逆量子化されたアトリビュートデータを取得する。上述のようにこのアトリビュートデータは差分値である。また、逆階層化処理部２１３は、位置情報復号部２０３から供給されるジオメトリデータ（復号結果）を取得する。逆階層化処理部２１３は、そのジオメトリデータを用いて、取得したアトリビュートデータ（差分値）に対して逆階層化を行う。この逆階層化は、符号化装置１００の階層化処理部１１１（図９）による階層化の逆処理である。
【0195】
その際、逆階層化処理部２１３は、＜１．Sub LoDの生成＞において上述した本技術を適用して逆階層化を行う。例えば、逆階層化処理部２１３は、アトリビュートデータの階層内においてサブ階層（Sub LoD）を生成し、そのサブ階層間のアトリビュートデータの参照関係を生成し、その参照関係を用いてアトリビュートデータの予測を行い、逆階層化を行う。逆階層化処理部２１３は、逆階層化したアトリビュートデータを復号結果としてポイントクラウド生成部２０５（図１４）に供給する。
【0196】
以上のように逆階層化を行うことにより、属性情報復号部２０４は、上述の「方法１」等を適用して階層化・サブ階層化されたアトリビュートデータを正しく逆階層化することができる。したがって、属性情報復号部２０４は、符号化効率の低減を抑制することができる。
【0197】
なお、これらの処理部（復号部２１１乃至逆階層化処理部２１３）は、任意の構成を有する。例えば、各処理部が、上述の処理を実現する論理回路により構成されるようにしてもよい。また、各処理部が、例えばCPU、ROM、RAM等を有し、それらを用いてプログラムを実行することにより、上述の処理を実現するようにしてもよい。もちろん、各処理部が、その両方の構成を有し、上述の処理の一部を論理回路により実現し、他を、プログラムを実行することにより実現するようにしてもよい。各処理部の構成は互いに独立していてもよく、例えば、一部の処理部が上述の処理の一部を論理回路により実現し、他の一部の処理部がプログラムを実行することにより上述の処理を実現し、さらに他の処理部が論理回路とプログラムの実行の両方により上述の処理を実現するようにしてもよい。
【0198】
＜逆階層化処理部＞
図１６は、逆階層化処理部２１３（図１５）の主な構成例を示すブロック図である。なお、図１６においては、処理部やデータの流れ等の主なものを示しており、図１６に示されるものが全てとは限らない。つまり、逆階層化処理部２１３において、図１６においてブロックとして示されていない処理部が存在したり、図１６において矢印等として示されていない処理やデータの流れが存在したりしてもよい。
図１６は、逆階層化処理部２１３（図１５）の主な構成例を示すブロック図である。なお、図１６においては、処理部やデータの流れ等の主なものを示しており、図１６に示されるものが全てとは限らない。つまり、逆階層化処理部２１３において、図１６においてブロックとして示されていない処理部が存在したり、図１６において矢印等として示されていない処理やデータの流れが存在したりしてもよい。
【0199】
図１６に示されるよう逆階層化処理部２１３は、制御部２２１、階層化処理部２２２、Sub LoD生成部２２３、反転部２２４、および逆階層化処理部２２５を有する。
【0200】
制御部２２１は、階層化の制御に関する処理を行う。例えば、制御部２２１は、逆量子化部２１２（図１５）から供給される、逆量子化されたアトリビュートデータを取得する。また、制御部２２１は、位置情報復号部２０３から供給されるジオメトリデータ（復号結果）も取得する。制御部２２１は、取得したアトリビュートデータやジオメトリデータを階層化処理部２２２に供給する。さらに、逆量子化部２１２から制御情報が供給される場合、制御部２２１は、その制御情報も取得し、階層化処理部２２２に供給する。
【0201】
また、制御部２２１は、階層化処理部２２２やSub LoD生成部２２３を制御し、アトリビュートデータについて、階層化やサブ階層化を実行させ、符号化の際に生成された階層やサブ階層と同様の構造の階層やサブ階層を生成させる。例えば、制御部２２１は、＜１．Sub LoDの生成＞において上述した本技術を適用して階層化やサブ階層化を行わせる。例えば、制御部２２１は、所望の階層についてサブ階層化を行わせる。つまり、制御部２２１は、一部の階層についてサブ階層化を行わせたり、全ての階層についてサブ階層を行わせたりすることができる。
【0202】
例えば、制御部２２１は、図３に示される表の上から１０番目の段の「方法２－２」のように、アトリビュートデータのサブ階層化に関する制御情報に基づいて、サブ階層化を行わせるようにしてもよい。
【0203】
例えば、制御部２２１が、アトリビュートデータのサブ階層化が許可されているか否かを示す制御情報（例えば、sub_lod_enable_flag）に基づいて、アトリビュートデータのサブ階層化を行わせるようにしてもよい。
【0204】
また、制御部２２１が、アトリビュートデータのサンプリングの間隔を示す制御情報（例えば、sub_lod_distance）に基づいて、アトリビュートデータのサブ階層化（サンプリング）を行わせるようにしてもよい。
【0205】
さらに、制御部２２１が、アトリビュートデータのサンプリングの方法を示す制御情報（例えば、sub_lod_mode）に基づいて、アトリビュートデータのサブ階層化（サンプリング）を行わせるようにしてもよい。
【0206】
このような符号化側から伝送された制御情報を用いることにより、制御部２２１は、より容易に符号化側と同様のサブ階層化を行わせることができる。
【0207】
階層化処理部２２２は、アトリビュートデータの階層化に関する処理を行う。例えば、階層化処理部２２２は、制御部２２１から供給されるアトリビュートデータやジオメトリデータ（復号結果）を取得する。
【0208】
階層化処理部２２２は、制御部２２１の制御に従って、取得したアトリビュートデータを、取得したジオメトリデータを用いて階層化する。この階層化の手法は、階層化処理部１２２による階層化と同様のものであればよい。つまり、階層化処理部２２２は、アトリビュートデータを、階層化処理部１２２が生成したのと同様の構造に階層化する。換言するに、階層化処理部１２２が生成したアトリビュートデータの階層構造が再現される。階層化処理部２２２は、階層化されたアトリビュートデータやジオメトリデータをSub LoD生成部２２３に供給する。
【0209】
Sub LoD生成部２２３は、サブ階層化に関する処理を行う。例えば、Sub LoD生成部２２３は、階層化処理部２２２から供給される、階層化されたアトリビュートデータやジオメトリデータを取得する。
【0210】
Sub LoD生成部２２３は、制御部２２１の制御に従って、アトリビュートデータの階層内にサブ階層（Sub LoD）を生成する。Sub LoD生成部２２３は、ジオメトリデータを用いて、このようなサブ階層化を行う。
【0211】
つまり、Sub LoD生成部２２３は、＜１．Sub LoDの生成＞において上述した図３に示される表の上から９番目の段の「方法２－１」のように、階層（LoD）内におけるアトリビュートデータのサブ階層（Sub LoD）を生成し、そのサブ階層間の参照関係を生成する。
【0212】
このようにすることにより、Sub LoD生成部２２３は、予測の方向の偏りを抑制するように階層内のアトリビュートデータの参照関係を生成することができ、符号化効率の低減を抑制することができる。
【0213】
Sub LoD生成部２２３は、Sub LoD生成部１２３によるサブ階層化と同様の手法により、このサブ階層化を行う。つまり、Sub LoD生成部２２３は、Sub LoD生成部１２３が生成したのと同様の構造のサブ階層を生成する。換言するに、Sub LoD生成部１２３が生成したアトリビュートデータのサブ階層の構造が再現される。
【0214】
例えば、Sub LoD生成部２２３は、図３に示される表の上から２番目の段の「方法１－１」のように、階層内のポイント毎のアトリビュートデータの一部をサンプリング（選択）してサブ階層とする処理を、再帰的に繰り返してもよい。
【0215】
また、Sub LoD生成部２２３は、図３に示される表の上から３番目の段の「方法１－１－１」のように、処理対象階層のアトリビュートデータをモートン順序に整列し、その内の一部を等間隔にサンプリングすることにより、サブ階層を生成してもよい。
【0216】
また、Sub LoD生成部２２３は、図３に示される表の上から４番目の段の「方法１－１－２」のように、処理対象階層のアトリビュートデータをモートン順序に整列し、その内の一部を非等間隔にサンプリングすることにより、サブ階層を生成してもよい。
【0217】
もちろん、これら以外の方法であってもよい。なお、制御部２２１によりサブ階層化が許可されない場合、Sub LoD生成部２２３は、サブ階層化を省略することができる。つまり、Sub LoD生成部２２３は、制御部２２１により許可された階層に対してのみサブ階層化を行うことができる。
【0218】
Sub LoD生成部２２３は、このように制御部２２１の制御に従ってサブ階層化されたアトリビュートデータを反転部２２４に供給する。
【0219】
反転部２２４は、階層の反転に関する処理を行う。例えば、反転部２２４は、Sub LoD生成部２２３から供給されるアトリビュートデータを取得する。
【0220】
反転部２２４は、反転部１２４の場合と同様に、そのアトリビュートデータの階層を反転させる。例えば、反転部２２４は、アトリビュートデータの各階層に対して、その生成順と逆順に階層番号（最上位層が０、１階層下がる毎に値が１ずつインクリメントされ、最下位層が最大値となる階層を識別するための番号）を付す。
【0221】
反転部２２４は、階層を反転させたアトリビュートデータを逆階層化処理部２２５に供給する。
【0222】
逆階層化処理部２２５は、逆階層化に関する処理を行う。例えば、逆階層化処理部２２５は、反転部２２４から供給されるアトリビュートデータを取得する。このアトリビュートデータは、アトリビュートデータとその予測値との差分値により構成され、階層化処理部２２２により生成（再現）された階層構造と、Sub LoD生成部２２３により生成（再現）されたサブ階層の構造とを有する。逆階層化処理部２２５は、この取得したアトリビュートデータを逆階層化し、各ポイントのアトリビュートデータを生成（復元）する。
【0223】
つまり、逆階層化処理部２２５は、各ポイントのアトリビュートデータの予測を行い、導出した予測値を用いて差分値から各ポイントのアトリビュートデータを導出する（復元する）。その際、逆階層化処理部２２５は、図３に示される表の上から８番目の段の「方法２」のように、上述のように再現された階層間やサブ階層間の参照関係を用いてアトリビュートデータの予測を行う（アトリビュートデータの予測値を導出する）。
【0224】
例えば、逆階層化処理部２２５は、最上位階層から最下位層に向かう順に階層毎に（階層内においては最上位のサブ階層から最下位のサブ階層に向かう順にサブ階層毎に）、各ポイントのアトリビュートデータの予測値を導出する。
【0225】
そして、逆階層化処理部２２５は、導出した予測値をそのポイントに対応する差分値に加算することにより、そのポイントのアトリビュートデータを導出する。このようにして逆階層化処理部２２５は、各ポイントのアトリビュートデータを生成（復元）する。
【0226】
逆階層化処理部２２５は、以上のような逆階層化により生成（復元）したアトリビュートデータ（復号結果）を、ポイントクラウド生成部２０５（図１４）に供給する。
【0227】
以上のように逆階層化を行うことにより、逆階層化処理部２２５は、上述の「方法１」等を適用して階層化・サブ階層化されたアトリビュートデータを正しく逆階層化することができる。したがって、復号装置２００は、符号化効率の低減を抑制することができる。
【0228】
なお、これらの処理部（制御部２２１乃至逆階層化処理部２２５）は、任意の構成を有する。例えば、各処理部が、上述の処理を実現する論理回路により構成されるようにしてもよい。また、各処理部が、例えばCPU、ROM、RAM等を有し、それらを用いてプログラムを実行することにより、上述の処理を実現するようにしてもよい。もちろん、各処理部が、その両方の構成を有し、上述の処理の一部を論理回路により実現し、他を、プログラムを実行することにより実現するようにしてもよい。各処理部の構成は互いに独立していてもよく、例えば、一部の処理部が上述の処理の一部を論理回路により実現し、他の一部の処理部がプログラムを実行することにより上述の処理を実現し、さらに他の処理部が論理回路とプログラムの実行の両方により上述の処理を実現するようにしてもよい。
【0229】
＜復号処理の流れ＞
次に、この復号装置２００により実行される処理について説明する。復号装置２００は、復号処理を実行することによりポイントクラウドの符号化データを復号する。この復号処理の流れの例を、図１７のフローチャートを参照して説明する。
次に、この復号装置２００により実行される処理について説明する。復号装置２００は、復号処理を実行することによりポイントクラウドの符号化データを復号する。この復号処理の流れの例を、図１７のフローチャートを参照して説明する。
【0230】
復号処理が開始されると、復号装置２００の復号対象LoD深度設定部２０１は、ステップＳ２０１において、復号するLoD深度（つまり復号対象とする階層の範囲）を設定する。
【0231】
ステップＳ２０２において、符号化データ抽出部２０２は、ビットストリームを取得して保持し、最上位層からステップＳ２０１において設定されLoD深度の階層までのジオメトリデータ（位置情報）およびアトリビュートデータ（属性情報）の符号化データを抽出する。抽出されるジオメトリデータの階層とアトリビュートデータの階層（階層数）は、互いに一致していてもよいし、一致していなくてもよい。
【0232】
ステップＳ２０３において、位置情報復号部２０３は、ステップＳ２０２において抽出されたジオメトリデータの符号化データを復号し、ジオメトリデータ（復号結果）を生成する。
【0233】
ステップＳ２０４において、属性情報復号部２０４は、ステップＳ２０２において抽出されたアトリビュートデータの符号化データを復号し、アトリビュートデータ（復号結果）を生成する。その際、属性情報復号部２０４は、＜１．Sub LoDの生成＞において上述した本技術を適用して処理を行う。属性情報復号処理の詳細については後述する。
【0234】
ステップＳ２０５において、ポイントクラウド生成部２０５は、ステップＳ２０３において生成されたジオメトリデータ（復号結果）と、ステップＳ２０４において生成されたアトリビュートデータ（復号結果）とを用いてポイントクラウドデータ（復号結果）を生成し、出力する。
【0235】
ステップＳ２０５の処理が終了すると、復号処理が終了する。
【0236】
このように各ステップの処理を行うことにより、復号装置２００は、上述の「方法１」等を適用して階層化・サブ階層化されたアトリビュートデータを正しく逆階層化することができる。したがって、復号装置２００は、符号化効率の低減を抑制することができる。
【0237】
【0238】
属性情報復号処理が開始されると、属性情報復号部２０４の復号部２１１は、ステップＳ２１１において、アトリビュートデータの符号化データを復号し、アトリビュートデータ（復号結果）を生成する。このアトリビュートデータ（復号結果）は上述のように量子化されている。
【0239】
ステップＳ２１２において、逆量子化部２１２は、逆量子化処理を実行することにより、ステップＳ２１１において生成されたアトリビュートデータ（復号結果）を逆量子化する。この逆量子化されたアトリビュートデータは差分値である。
【0240】
ステップＳ２１３において、逆階層化処理部２１３は、逆階層化処理を実行することにより、ステップＳ２１２において逆量子化されたアトリビュートデータを逆階層化し、各ポイントのアトリビュートデータを導出する。その際、逆階層化処理部２１３は、＜１．Sub LoDの生成＞において上述した本技術を適用して逆階層化を行う。逆階層化処理の詳細については後述する。
【0241】
ステップＳ２１３の処理が終了すると属性情報復号処理が終了し、処理は図１７に戻る。
【0242】
このように各ステップの処理を行うことにより、属性情報復号部２０４は、上述の「方法１」等を適用して階層化・サブ階層化されたアトリビュートデータを正しく逆階層化することができる。したがって、復号装置２００は、符号化効率の低減を抑制することができる。
【0243】
【0244】
逆階層化処理が開始されると、逆階層化処理部２１３の制御部２２１は、ステップＳ２２１において、ステップＳ１２１（図１３）の場合と同様に、全てのポイントのアトリビュートデータ（差分値）を処理対象とし、最初の階層（LoD）を生成するためにステップＳ２２２乃至ステップＳ２２６の各処理が行われるようにする。
【0245】
なお、この最初の階層（１番目に生成される階層）は、後述するステップＳ２２７の処理により、階層化されたアトリビュートデータにおける最下位層となる。つまり、制御部２２１は、処理対象LoDを最下位層に設定するとも言える。
【0246】
ステップＳ２２２において、階層化処理部２２２は、ステップＳ１２２（図１３）の場合と同様に、処理対象のポイントの中から参照ポイントを設定する。つまり、階層化処理部２２２は、処理対象の各ポイントを予測ポイントと参照ポイントのいずれかに設定するとも言える。
【0247】
ステップＳ２２３において、制御部２２１は、ステップＳ１２３（図１３）の場合と同様に、この階層においてサブ階層（Sub LoD）を生成するか否かを判定する。制御部２２１は、任意の情報等に基づいて、この判定を行うことができる。例えば、制御部２２１は、符号化側から伝送された制御情報等に基づいて、この階層をサブ階層化するか否かを判定する。サブ階層化を行うと判定された場合、処理はステップＳ２２４に進む。
【0248】
ステップＳ２２４において、Sub LoD生成部２２３は、ステップＳ１２４（図１３）の場合と同様に、ジオメトリデータを用いて、処理対象の階層内にサブ階層を生成する。つまり、Sub LoD生成部２２３は、＜１．Sub LoDの生成＞において上述した図３に示される表の上から９番目の段の「方法２－１」のように、階層（LoD）内におけるアトリビュートデータのサブ階層（Sub LoD）を生成し、そのサブ階層間の参照関係を生成する。
【0249】
つまり、Sub LoD生成部２２３は、このステップＳ２２４において、ステップＳ１２４において行われたサブ階層化と同様の手法により、このサブ階層化を行う。つまり、Sub LoD生成部２２３は、ステップＳ１２４において生成されたものと同様の構造のサブ階層を生成する。換言するに、ステップＳ１２４において生成されたアトリビュートデータのサブ階層の構造が再現される。
【0250】
例えば、Sub LoD生成部２２３は、図３に示される表の上から２番目の段の「方法１－１」を適用してもよいし、同表の上から３番目の段の「方法１－１－１」を適用してもよいし、同表の上から４番目の段の「方法１－１－２」を適用してもよい。もちろん、Sub LoD生成部２２３は、その他の方法を適用してもよい。
【0251】
サブ階層が生成されると、処理はステップＳ２２５に進む。
【0252】
また、ステップＳ２２３において、処理対象の階層についてサブ階層化を行わないと判定された場合、ステップＳ２２４の処理はスキップされ、処理はステップＳ２２５に進む。
【0253】
ステップＳ２２５において、制御部２２１は、ステップＳ１２５（図１３）の場合と同様に、ステップＳ２２２において選択された参照ポイントのアトリビュートデータを処理対象とし、次の階層（LoD）を生成するためにステップＳ２２２乃至ステップＳ２２６の各処理が行われるようにする。
【0254】
なお、新たに処理対象にされた次の階層は、後述するステップＳ２２７の処理により、階層化されたアトリビュートデータにおいて、その直前の処理対象であった階層の１つ上位の階層となる。つまり、制御部２２１は、処理対象LoDを１つ上位の階層に更新するとも言える。
【0255】
ステップＳ２２６において、制御部２２１は、ステップＳ１２６（図１３）の場合と同様に、全てのポイントを処理したか否かを判定する。上述の処理が繰り返されることにより、全てのポイントが予測ポイントに設定される（最後の１ポイントは予測を行わない場合もあり得る）。つまり、制御部２２１は、全階層が生成されたか否かを判定する。まだ予測ポイントに選択されていないポイントが存在し、階層化が完了していないと判定された場合、処理はステップＳ２２２に戻る。
【0256】
つまり、ステップＳ２２５において新たな処理対象とされた次の階層について、ステップＳ２２２乃至ステップＳ２２６の各処理が実行される。つまり、前回参照ポイントに設定されたポイントが予測ポイントと参照ポイントのいずれかに設定される。このようにすることにより、ステップＳ２２２乃至ステップＳ２２６の各処理が、参照ポイントに設定されたポイントに対して再帰的に繰り返され、各階層および各サブ階層が生成され、階層間およびサブ階層間の参照関係が生成（再現）される。
【0257】
ステップＳ２２２乃至ステップＳ２２６の各処理が繰り返し実行されることにより、全階層（および全サブ階層）が生成（再現）され、ステップＳ２２６において、全てのポイントが処理されたと判定された場合、処理はステップＳ２２７に進む。
【0258】
ステップＳ２２７において、反転部２２４は、ステップＳ１２７（図１３）の場合と同様に、生成されたアトリビュートデータの階層を反転し、各階層に、生成順と逆向きに階層番号を付す。これにより、アトリビュートデータとその予測値との差分値により構成され、ステップＳ２２２において生成（再現）された階層構造と、ステップＳ２２４において生成（再現）されたサブ階層の構造とを有するアトリビュートデータが生成（再現）される。
【0259】
ステップＳ２２８において、逆階層化処理部２２５は、この生成されたアトリビュートデータを逆階層化し、各ポイントのアトリビュートデータを生成（復元）する。
【0260】
つまり、逆階層化処理部２２５は、各ポイントのアトリビュートデータの予測を行い、導出した予測値を用いて差分値から各ポイントのアトリビュートデータを導出する（復元する）。その際、逆階層化処理部２２５は、図３に示される表の上から８番目の段の「方法２」のように、上述のように再現された階層間やサブ階層間の参照関係を用いてアトリビュートデータの予測を行う（アトリビュートデータの予測値を導出する）。
【0261】
例えば、逆階層化処理部２２５は、最上位階層から最下位層に向かう順に階層毎に（階層内においては最上位のサブ階層から最下位のサブ階層に向かう順にサブ階層毎に）、各ポイントのアトリビュートデータの予測値を導出する。
【0262】
そして、逆階層化処理部２２５は、導出した予測値をそのポイントに対応する差分値に加算することにより、そのポイントのアトリビュートデータを導出する。このようにして逆階層化処理部２２５は、各ポイントのアトリビュートデータを生成（復元）する。
【0263】
全てのポイントのアトリビュートデータを生成（復元）し、逆階層化が完了すると、逆階層化処理が終了し、処理は、図１８に戻る。
【0264】
このように各ステップの処理を行うことにより、逆階層化処理部２１３は、上述の「方法１」等を適用して階層化・サブ階層化されたアトリビュートデータを正しく逆階層化することができる。したがって、復号装置２００は、符号化効率の低減を抑制することができる。
【0265】
＜４．付記＞
＜階層化・逆階層化方法＞
以上においては、属性情報の階層化・逆階層化方法としてLiftingを例に説明したが、本技術は、属性情報を階層化する任意の技術に適用することができる。つまり、属性情報の階層化・逆階層化の方法は、Lifting以外であってもよい。
＜階層化・逆階層化方法＞
以上においては、属性情報の階層化・逆階層化方法としてLiftingを例に説明したが、本技術は、属性情報を階層化する任意の技術に適用することができる。つまり、属性情報の階層化・逆階層化の方法は、Lifting以外であってもよい。
【0266】
＜コンピュータ＞
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。
【0267】
図２０は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【0268】
図２０に示されるコンピュータ９００において、CPU（Central Processing Unit）９０１、ROM（Read Only Memory）９０２、RAM（Random Access Memory）９０３は、バス９０４を介して相互に接続されている。
【0269】
バス９０４にはまた、入出力インタフェース９１０も接続されている。入出力インタフェース９１０には、入力部９１１、出力部９１２、記憶部９１３、通信部９１４、およびドライブ９１５が接続されている。
【0270】
入力部９１１は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部９１２は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。記憶部９１３は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部９１４は、例えば、ネットワークインタフェースよりなる。ドライブ９１５は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア９２１を駆動する。
【0271】
以上のように構成されるコンピュータでは、CPU９０１が、例えば、記憶部９１３に記憶されているプログラムを、入出力インタフェース９１０およびバス９０４を介して、RAM９０３にロードして実行することにより、上述した一連の処理が行われる。RAM９０３にはまた、CPU９０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【0272】
コンピュータが実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア９２１に記録して適用することができる。その場合、プログラムは、リムーバブルメディア９２１をドライブ９１５に装着することにより、入出力インタフェース９１０を介して、記憶部９１３にインストールすることができる。
【0273】
また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、通信部９１４で受信し、記憶部９１３にインストールすることができる。
【0274】
その他、このプログラムは、ROM９０２や記憶部９１３に、あらかじめインストールしておくこともできる。
【0275】
＜本技術の適用対象＞
以上においては、ポイントクラウドデータの符号化・復号に本技術を適用する場合について説明したが、本技術は、これらの例に限らず、任意の規格の３Ｄデータの符号化・復号に対して適用することができる。つまり、上述した本技術と矛盾しない限り、符号化・復号方式等の各種処理、並びに、３Ｄデータやメタデータ等の各種データの仕様は任意である。また、本技術と矛盾しない限り、上述した一部の処理や仕様を省略してもよい。
以上においては、ポイントクラウドデータの符号化・復号に本技術を適用する場合について説明したが、本技術は、これらの例に限らず、任意の規格の３Ｄデータの符号化・復号に対して適用することができる。つまり、上述した本技術と矛盾しない限り、符号化・復号方式等の各種処理、並びに、３Ｄデータやメタデータ等の各種データの仕様は任意である。また、本技術と矛盾しない限り、上述した一部の処理や仕様を省略してもよい。
【0276】
また、以上においては、本技術の適用例として符号化装置１００および復号装置２００について説明したが、本技術は、任意の構成に適用することができる。
【0277】
例えば、本技術は、衛星放送、ケーブルＴＶなどの有線放送、インターネット上での配信、およびセルラー通信による端末への配信などにおける送信機や受信機（例えばテレビジョン受像機や携帯電話機）、または、光ディスク、磁気ディスクおよびフラッシュメモリなどの媒体に画像を記録したり、これら記憶媒体から画像を再生したりする装置（例えばハードディスクレコーダやカメラ）などの、様々な電子機器に適用され得る。
【0278】
また、例えば、本技術は、システムLSI（Large Scale Integration）等としてのプロセッサ（例えばビデオプロセッサ）、複数のプロセッサ等を用いるモジュール（例えばビデオモジュール）、複数のモジュール等を用いるユニット（例えばビデオユニット）、または、ユニットにさらにその他の機能を付加したセット（例えばビデオセット）等、装置の一部の構成として実施することもできる。
【0279】
また、例えば、本技術は、複数の装置により構成されるネットワークシステムにも適用することもできる。例えば、本技術を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングとして実施するようにしてもよい。例えば、コンピュータ、AV（Audio Visual）機器、携帯型情報処理端末、IoT（Internet of Things）デバイス等の任意の端末に対して、画像（動画像）に関するサービスを提供するクラウドサービスにおいて本技術を実施するようにしてもよい。
【0280】
なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、および、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【0281】
＜本技術を適用可能な分野・用途＞
本技術を適用したシステム、装置、処理部等は、例えば、交通、医療、防犯、農業、畜産業、鉱業、美容、工場、家電、気象、自然監視等、任意の分野に利用することができる。また、その用途も任意である。
本技術を適用したシステム、装置、処理部等は、例えば、交通、医療、防犯、農業、畜産業、鉱業、美容、工場、家電、気象、自然監視等、任意の分野に利用することができる。また、その用途も任意である。
【0282】
＜その他＞
なお、本明細書において「フラグ」とは、複数の状態を識別するための情報であり、真(1)または偽(0)の２状態を識別する際に用いる情報だけでなく、３以上の状態を識別することが可能な情報も含まれる。したがって、この「フラグ」が取り得る値は、例えば1/0の２値であってもよいし、３値以上であってもよい。すなわち、この「フラグ」を構成するbit数は任意であり、1bitでも複数bitでもよい。また、識別情報（フラグも含む）は、その識別情報をビットストリームに含める形だけでなく、ある基準となる情報に対する識別情報の差分情報をビットストリームに含める形も想定されるため、本明細書においては、「フラグ」や「識別情報」は、その情報だけではなく、基準となる情報に対する差分情報も包含する。
なお、本明細書において「フラグ」とは、複数の状態を識別するための情報であり、真(1)または偽(0)の２状態を識別する際に用いる情報だけでなく、３以上の状態を識別することが可能な情報も含まれる。したがって、この「フラグ」が取り得る値は、例えば1/0の２値であってもよいし、３値以上であってもよい。すなわち、この「フラグ」を構成するbit数は任意であり、1bitでも複数bitでもよい。また、識別情報（フラグも含む）は、その識別情報をビットストリームに含める形だけでなく、ある基準となる情報に対する識別情報の差分情報をビットストリームに含める形も想定されるため、本明細書においては、「フラグ」や「識別情報」は、その情報だけではなく、基準となる情報に対する差分情報も包含する。
【0283】
また、符号化データ（ビットストリーム）に関する各種情報（メタデータ等）は、符号化データに関連付けられていれば、どのような形態で伝送または記録されるようにしてもよい。ここで、「関連付ける」という用語は、例えば、一方のデータを処理する際に他方のデータを利用し得る（リンクさせ得る）ようにすることを意味する。つまり、互いに関連付けられたデータは、１つのデータとしてまとめられてもよいし、それぞれ個別のデータとしてもよい。例えば、符号化データ（画像）に関連付けられた情報は、その符号化データ（画像）とは別の伝送路上で伝送されるようにしてもよい。また、例えば、符号化データ（画像）に関連付けられた情報は、その符号化データ（画像）とは別の記録媒体（または同一の記録媒体の別の記録エリア）に記録されるようにしてもよい。なお、この「関連付け」は、データ全体でなく、データの一部であってもよい。例えば、画像とその画像に対応する情報とが、複数フレーム、１フレーム、またはフレーム内の一部分などの任意の単位で互いに関連付けられるようにしてもよい。
【0284】
なお、本明細書において、「合成する」、「多重化する」、「付加する」、「一体化する」、「含める」、「格納する」、「入れ込む」、「差し込む」、「挿入する」等の用語は、例えば符号化データとメタデータとを１つのデータにまとめるといった、複数の物を１つにまとめることを意味し、上述の「関連付ける」の１つの方法を意味する。
【0285】
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【0286】
例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
【0287】
また、例えば、上述したプログラムは、任意の装置において実行されるようにしてもよい。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。
【0288】
また、例えば、１つのフローチャートの各ステップを、１つの装置が実行するようにしてもよいし、複数の装置が分担して実行するようにしてもよい。さらに、１つのステップに複数の処理が含まれる場合、その複数の処理を、１つの装置が実行するようにしてもよいし、複数の装置が分担して実行するようにしてもよい。換言するに、１つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を１つのステップとしてまとめて実行することもできる。
【0289】
また、例えば、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。
【0290】
また、例えば、本技術に関する複数の技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。
【0291】
なお、本技術は以下のような構成も取ることができる。
（１） ３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドの属性情報を階層化し、階層間の前記属性情報の参照関係を生成する階層化部と、
前記階層化部により生成された前記属性情報の階層において、前記階層の前記属性情報をサブ階層化し、サブ階層間の前記属性情報の参照関係を生成するサブ階層化部と
を備える情報処理装置。
（２） 前記サブ階層化部は、処理対象階層の前記属性情報をモートン順序に整列し、等間隔にサンプリングすることにより、前記属性情報をサブ階層化する
（１）に記載の情報処理装置。
（３） 前記サブ階層化部は、処理対象階層の前記属性情報をモートン順序に整列し、非等間隔にサンプリングすることにより、前記属性情報をサブ階層化する
（１）に記載の情報処理装置。
（４） 前記サブ階層化部により生成された前記サブ階層間の前記属性情報の参照関係に応じて、前記階層毎の重み値を更新することにより、前記属性情報毎の重み値を導出する重み付け部
をさらに備える（１）乃至（３）のいずれかに記載の情報処理装置。
（５） 前記階層化部により生成された前記階層間の前記属性情報の参照関係、および、前記サブ階層化部により生成された前記サブ階層間の前記属性情報の参照関係に応じて、前記属性情報毎の重み値を導出する重み付け部
をさらに備える（１）乃至（３）のいずれかに記載の情報処理装置。
（６） 前記属性情報を符号化し、前記属性情報の符号化データを生成する符号化部
をさらに備える（１）乃至（５）のいずれかに記載の情報処理装置。
（７） 前記属性情報のサブ階層化に関する制御情報を生成する生成部をさらに備え、
前記符号化部は、前記生成部により生成された前記制御情報を含む前記符号化データを生成する
（６）に記載の情報処理装置。
（８） 前記生成部は、前記属性情報のサブ階層化が許可されているか否かを示す制御情報を生成する
（７）に記載の情報処理装置。
（９） 前記生成部は、前記サブ階層化部による前記属性情報のサンプリングの間隔を示す制御情報を生成する
（７）または（８）に記載の情報処理装置。
（１０） 前記生成部は、前記サブ階層化部による前記属性情報のサンプリングの方法を示す制御情報を生成する
（７）乃至（９）のいずれかに記載の情報処理装置。
（１１） ３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドの属性情報を階層化し、階層間の前記属性情報の参照関係を生成し、
生成された前記属性情報の階層において、前記階層の前記属性情報をサブ階層化し、サブ階層間の前記属性情報の参照関係を生成する
情報処理方法。
（１） ３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドの属性情報を階層化し、階層間の前記属性情報の参照関係を生成する階層化部と、
前記階層化部により生成された前記属性情報の階層において、前記階層の前記属性情報をサブ階層化し、サブ階層間の前記属性情報の参照関係を生成するサブ階層化部と
を備える情報処理装置。
（２） 前記サブ階層化部は、処理対象階層の前記属性情報をモートン順序に整列し、等間隔にサンプリングすることにより、前記属性情報をサブ階層化する
（１）に記載の情報処理装置。
（３） 前記サブ階層化部は、処理対象階層の前記属性情報をモートン順序に整列し、非等間隔にサンプリングすることにより、前記属性情報をサブ階層化する
（１）に記載の情報処理装置。
（４） 前記サブ階層化部により生成された前記サブ階層間の前記属性情報の参照関係に応じて、前記階層毎の重み値を更新することにより、前記属性情報毎の重み値を導出する重み付け部
をさらに備える（１）乃至（３）のいずれかに記載の情報処理装置。
（５） 前記階層化部により生成された前記階層間の前記属性情報の参照関係、および、前記サブ階層化部により生成された前記サブ階層間の前記属性情報の参照関係に応じて、前記属性情報毎の重み値を導出する重み付け部
をさらに備える（１）乃至（３）のいずれかに記載の情報処理装置。
（６） 前記属性情報を符号化し、前記属性情報の符号化データを生成する符号化部
をさらに備える（１）乃至（５）のいずれかに記載の情報処理装置。
（７） 前記属性情報のサブ階層化に関する制御情報を生成する生成部をさらに備え、
前記符号化部は、前記生成部により生成された前記制御情報を含む前記符号化データを生成する
（６）に記載の情報処理装置。
（８） 前記生成部は、前記属性情報のサブ階層化が許可されているか否かを示す制御情報を生成する
（７）に記載の情報処理装置。
（９） 前記生成部は、前記サブ階層化部による前記属性情報のサンプリングの間隔を示す制御情報を生成する
（７）または（８）に記載の情報処理装置。
（１０） 前記生成部は、前記サブ階層化部による前記属性情報のサンプリングの方法を示す制御情報を生成する
（７）乃至（９）のいずれかに記載の情報処理装置。
（１１） ３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドの属性情報を階層化し、階層間の前記属性情報の参照関係を生成し、
生成された前記属性情報の階層において、前記階層の前記属性情報をサブ階層化し、サブ階層間の前記属性情報の参照関係を生成する
情報処理方法。
【0292】
（１２） ３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドの属性情報を階層化し、階層間の前記属性情報の参照関係を生成する階層化部と、
前記階層化部により生成された前記属性情報の階層において、前記階層の前記属性情報をサブ階層化し、サブ階層間の前記属性情報の参照関係を生成するサブ階層化部と、
前記階層化部により生成された前記階層間の前記属性情報の参照関係、および、前記サブ階層化部により生成された前記サブ階層間の前記属性情報の参照関係に基づいて、前記属性情報を逆階層化する逆階層化部と
を備える情報処理装置。
（１３） 前記サブ階層化部は、処理対象階層の前記属性情報をモートン順序に整列し、等間隔にサンプリングすることにより、前記属性情報をサブ階層化する
（１２）に記載の情報処理装置。
（１４） 前記サブ階層化部は、処理対象階層の前記属性情報をモートン順序に整列し、非等間隔にサンプリングすることにより、前記属性情報をサブ階層化する
（１２）に記載の情報処理装置。
（１５） 前記属性情報の符号化データを復号し、前記属性情報を復元する復号部
をさらに備える（１２）乃至（１４）のいずれかに記載の情報処理装置。
（１６） 前記復号部は、前記符号化データを復号して、前記属性情報のサブ階層化に関する制御情報を復元し、
前記サブ階層化部は、前記復号部により復元された前記制御情報に基づいて、前記属性情報をサブ階層化する
（１５）に記載の情報処理装置。
（１７） 前記サブ階層化部は、前記復号部により復元された前記属性情報のサブ階層化が許可されているか否かを示す制御情報に基づいて、前記属性情報をサブ階層化する
（１６）に記載の情報処理装置。
（１８） 前記サブ階層化部は、前記復号部により復元された前記属性情報のサンプリングの間隔を示す制御情報に基づいて、前記属性情報をサブ階層化する
（１６）または（１７）に記載の情報処理装置。
（１９） 前記サブ階層化部は、前記復号部により復元された前記属性情報のサンプリングの方法を示す制御情報に基づいて、前記属性情報をサブ階層化する
（１６）乃至（１８）のいずれかに記載の情報処理装置。
（２０） ３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドの属性情報を階層化し、階層間の前記属性情報の参照関係を生成し、
生成された前記属性情報の階層において、前記階層の前記属性情報をサブ階層化し、サブ階層間の前記属性情報の参照関係を生成し、
生成された前記階層間の前記属性情報の参照関係、および、生成された前記サブ階層間の前記属性情報の参照関係に基づいて、前記属性情報を逆階層化する
情報処理方法。
前記階層化部により生成された前記属性情報の階層において、前記階層の前記属性情報をサブ階層化し、サブ階層間の前記属性情報の参照関係を生成するサブ階層化部と、
前記階層化部により生成された前記階層間の前記属性情報の参照関係、および、前記サブ階層化部により生成された前記サブ階層間の前記属性情報の参照関係に基づいて、前記属性情報を逆階層化する逆階層化部と
を備える情報処理装置。
（１３） 前記サブ階層化部は、処理対象階層の前記属性情報をモートン順序に整列し、等間隔にサンプリングすることにより、前記属性情報をサブ階層化する
（１２）に記載の情報処理装置。
（１４） 前記サブ階層化部は、処理対象階層の前記属性情報をモートン順序に整列し、非等間隔にサンプリングすることにより、前記属性情報をサブ階層化する
（１２）に記載の情報処理装置。
（１５） 前記属性情報の符号化データを復号し、前記属性情報を復元する復号部
をさらに備える（１２）乃至（１４）のいずれかに記載の情報処理装置。
（１６） 前記復号部は、前記符号化データを復号して、前記属性情報のサブ階層化に関する制御情報を復元し、
前記サブ階層化部は、前記復号部により復元された前記制御情報に基づいて、前記属性情報をサブ階層化する
（１５）に記載の情報処理装置。
（１７） 前記サブ階層化部は、前記復号部により復元された前記属性情報のサブ階層化が許可されているか否かを示す制御情報に基づいて、前記属性情報をサブ階層化する
（１６）に記載の情報処理装置。
（１８） 前記サブ階層化部は、前記復号部により復元された前記属性情報のサンプリングの間隔を示す制御情報に基づいて、前記属性情報をサブ階層化する
（１６）または（１７）に記載の情報処理装置。
（１９） 前記サブ階層化部は、前記復号部により復元された前記属性情報のサンプリングの方法を示す制御情報に基づいて、前記属性情報をサブ階層化する
（１６）乃至（１８）のいずれかに記載の情報処理装置。
（２０） ３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドの属性情報を階層化し、階層間の前記属性情報の参照関係を生成し、
生成された前記属性情報の階層において、前記階層の前記属性情報をサブ階層化し、サブ階層間の前記属性情報の参照関係を生成し、
生成された前記階層間の前記属性情報の参照関係、および、生成された前記サブ階層間の前記属性情報の参照関係に基づいて、前記属性情報を逆階層化する
情報処理方法。
【符号の説明】
【0293】
１００ 符号化装置， １０１ 位置情報符号化部， １０２ 位置情報復号部， １０３ ポイントクラウド生成部， １０４ 属性情報符号化部， １０５ ビットストリーム生成部， １１１ 階層化処理部， １１２ 量子化部， １１３ 符号化部， １２１ 制御部， １２２ 階層化処理部， １２３ Sub LoD生成部， １２４ 反転部， １２５ 重み付け部， ２００ 復号装置， ２０１ 復号対象LOD深度設定部， ２０２ 符号化データ抽出部， ２０３ 位置情報復号部， ２０４ 属性情報復号部， ２０５ ポイントクラウド生成部， ２１１ 復号部， ２１２ 逆量子化部， ２１３ 逆階層化処理部， ２２１ 制御部， ２２２ 階層化処理部， ２２３ Sub LoD生成部， ２２４ 反転部， ２２５ 逆階層化処理部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】