(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023142460
(43)【公開日】2023-10-05
(54)【発明の名称】３Ｄデータ符号化装置および３Ｄデータ復号装置
(51)【国際特許分類】
H04N 19/117 20140101AFI20230928BHJP
H04N 19/70 20140101ALI20230928BHJP
H04N 19/176 20140101ALI20230928BHJP
H04N 19/85 20140101ALI20230928BHJP
【ＦＩ】
H04N19/117
H04N19/70
H04N19/176
H04N19/85
【審査請求】未請求
【請求項の数】8
【出願形態】ＯＬ
(21)【出願番号】P 2022049385
(22)【出願日】2022-03-25
(71)【出願人】
【識別番号】000005049
【氏名又は名称】シャープ株式会社
(74)【代理人】
【識別番号】100157200
【弁理士】
【氏名又は名称】野口 茂孝
(74)【代理人】
【識別番号】100160783
【弁理士】
【氏名又は名称】堅田 裕之
(72)【発明者】
【氏名】徳毛 靖昭
(72)【発明者】
【氏名】高田 圭一郎
(72)【発明者】
【氏名】猪飼 知宏
(72)【発明者】
【氏名】中條 健
【テーマコード（参考）】
5C159
【Ｆターム（参考）】
5C159LA02
5C159LC01
5C159RC12
5C159TA68
5C159TB08
5C159UA02
5C159UA05
5C159UA11
(57)【要約】
【課題】既存の動画像符号化方式を用いた3Dデータの符号化・復号において、符号化による歪を低減し、3Dデータを高品質に符号化・復号することを目的とする。
【解決手段】3D符号化データを復号する3Dデータ復号装置において、上記3D符号化データからジオメトリ画像を復号するジオメトリ画像復号部と、上記3D符号化データからアトリビュート画像を復号するアトリビュート画像復号部と、上記ジオメトリ画像のフィルタ処理を行うジオメトリ画像フィルタ部と、上記アトリビュート画像のフィルタ処理を行うアトリビュート画像フィルタ部と、上記ジオメトリ画像フィルタ部及び／又は上記アトリビュート画像フィルタ部は、フィルタ対象が3Dデータ(V3C)コンポーネントであることを示す情報を含むフィルタパラメータを復号し、上記フィルタパラメータに基づき、上記ジオメトリ画像及び／又はアトリビュート画像のフィルタ処理を行うことを特徴とする。
【選択図】図6
【解決手段】3D符号化データを復号する3Dデータ復号装置において、上記3D符号化データからジオメトリ画像を復号するジオメトリ画像復号部と、上記3D符号化データからアトリビュート画像を復号するアトリビュート画像復号部と、上記ジオメトリ画像のフィルタ処理を行うジオメトリ画像フィルタ部と、上記アトリビュート画像のフィルタ処理を行うアトリビュート画像フィルタ部と、上記ジオメトリ画像フィルタ部及び／又は上記アトリビュート画像フィルタ部は、フィルタ対象が3Dデータ(V3C)コンポーネントであることを示す情報を含むフィルタパラメータを復号し、上記フィルタパラメータに基づき、上記ジオメトリ画像及び／又はアトリビュート画像のフィルタ処理を行うことを特徴とする。
【選択図】図6
【特許請求の範囲】
【請求項1】
3D符号化データを復号する3Dデータ復号装置において、
上記3D符号化データからジオメトリ画像を復号するジオメトリ画像復号部と、
上記3D符号化データからアトリビュート画像を復号するアトリビュート画像復号部と、
上記ジオメトリ画像のフィルタ処理を行うジオメトリ画像フィルタ部と、
上記アトリビュート画像のフィルタ処理を行うアトリビュート画像フィルタ部と、
上記ジオメトリ画像フィルタ部及び／又は上記アトリビュート画像フィルタ部は、フィルタ対象が3Dデータ(V3C)コンポーネントであることを示す情報を含むフィルタパラメー
タを復号し、上記フィルタパラメータに基づき、上記ジオメトリ画像及び／又はアトリビュート画像のフィルタ処理を行うことを特徴とする3Dデータ復号装置。
上記3D符号化データからジオメトリ画像を復号するジオメトリ画像復号部と、
上記3D符号化データからアトリビュート画像を復号するアトリビュート画像復号部と、
上記ジオメトリ画像のフィルタ処理を行うジオメトリ画像フィルタ部と、
上記アトリビュート画像のフィルタ処理を行うアトリビュート画像フィルタ部と、
上記ジオメトリ画像フィルタ部及び／又は上記アトリビュート画像フィルタ部は、フィルタ対象が3Dデータ(V3C)コンポーネントであることを示す情報を含むフィルタパラメー
タを復号し、上記フィルタパラメータに基づき、上記ジオメトリ画像及び／又はアトリビュート画像のフィルタ処理を行うことを特徴とする3Dデータ復号装置。
【請求項2】
上記ジオメトリ画像フィルタ部及び／又は上記アトリビュート画像フィルタ部は、さらにフィルタ対象となる3Dデータ(V3C)コンポーネントの種類を識別するための情報を含む
ことを特徴とする請求項１に記載の3Dデータ復号装置。
ことを特徴とする請求項１に記載の3Dデータ復号装置。
【請求項3】
上記ジオメトリ画像フィルタ部及び／又は上記アトリビュート画像フィルタ部は、さらにフィルタ対象となる3Dデータ(V3C)コンポーネントのレイヤを識別するための情報を含
むことを特徴とする請求項１または２に記載の3Dデータ復号装置。
むことを特徴とする請求項１または２に記載の3Dデータ復号装置。
【請求項4】
上記ジオメトリ画像フィルタ部及び／又は上記アトリビュート画像フィルタ部は、上記フィルタパラメータをSEI、ASPS、AFPS、ISOBMFF boxの少なくとも１つから導出することを特徴とする請求項１乃至３に記載の3Dデータ復号装置。
【請求項5】
3Dデータを符号化する3Dデータ符号化装置において、
上記3Dデータのジオメトリ画像のフィルタパラメータを導出するジオメトリ画像フィルタパラメータ導出部と、
上記3Dデータのアトリビュート画像のフィルタパラメータを導出するアトリビュート画像フィルタパラメータ導出部と、
上記ジオメトリ画像を符号化するジオメトリ画像符号化部と、
上記アトリビュート画像を符号化するアトリビュート画像符号化部と、を備え、
上記ジオメトリ画像フィルタパラメータ導出部及び／又は上記アトリビュート画像フィルタパラメータ導出部は、フィルタ対象が3Dデータ(V3C)コンポーネントであることを示
す情報を含むフィルタパラメータを符号化することを特徴とする3Dデータ符号化装置。
上記3Dデータのジオメトリ画像のフィルタパラメータを導出するジオメトリ画像フィルタパラメータ導出部と、
上記3Dデータのアトリビュート画像のフィルタパラメータを導出するアトリビュート画像フィルタパラメータ導出部と、
上記ジオメトリ画像を符号化するジオメトリ画像符号化部と、
上記アトリビュート画像を符号化するアトリビュート画像符号化部と、を備え、
上記ジオメトリ画像フィルタパラメータ導出部及び／又は上記アトリビュート画像フィルタパラメータ導出部は、フィルタ対象が3Dデータ(V3C)コンポーネントであることを示
す情報を含むフィルタパラメータを符号化することを特徴とする3Dデータ符号化装置。
【請求項6】
上記ジオメトリ画像フィルタパラメータ導出部及び／又は上記アトリビュート画像フィルタパラメータ導出部は、さらにフィルタ対象となる3Dデータ(V3C)コンポーネントの種
類を識別するための情報を含むことを特徴とする請求項５に記載の3Dデータ符号化装置。
類を識別するための情報を含むことを特徴とする請求項５に記載の3Dデータ符号化装置。
【請求項7】
上記ジオメトリ画像フィルタパラメータ導出部及び／又は上記アトリビュート画像フィルタパラメータ導出部は、さらにフィルタ対象となる3Dデータ(V3C)コンポーネントのレ
イヤを識別するための情報を含むことを特徴とする請求項５または６に記載の3Dデータ符号化装置。
イヤを識別するための情報を含むことを特徴とする請求項５または６に記載の3Dデータ符号化装置。
【請求項8】
上記ジオメトリ画像フィルタパラメータ導出部及び／又は上記アトリビュート画像フィルタパラメータ導出部は、上記フィルタパラメータをSEI、ASPS、AFPS、ISOBMFF boxの少なくとも１つを用いて符号化することを特徴とする請求項５乃至７に記載の3Dデータ符号化装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、3Dデータ符号化装置および3Dデータ復号装置に関する。
【背景技術】
【0002】
3Dデータを効率的に伝送または記録するために、3Dデータを既存の動画像符号化方式を用いて符号化することによって符号化データを生成する3Dデータ符号化装置、および、当該符号化データを復号することによって復号3Dデータを生成する3Dデータ復号装置が用いられている。
【0003】
具体的な3Dデータ符号化方式としては、例えば、MPEG-I V3C (Volumetric Video-based
Coding) and V-PCC (Video-based Point Cloud Compression)が挙げられる（非特許文献１）。また、既存の動画像符号化方式としては、例えば、H.266/VVC (Versatile Video Coding)やH.265/HEVC (High Efficiency Video Coding)などが挙げられる。深層学習ポス
トフィルタの付加情報としては、例えば、MPEG NNC(Neural network coding)規格を用い
てニューラルネットワークの情報を伝送する技術が挙げられる（非特許文献２）。
Coding) and V-PCC (Video-based Point Cloud Compression)が挙げられる（非特許文献１）。また、既存の動画像符号化方式としては、例えば、H.266/VVC (Versatile Video Coding)やH.265/HEVC (High Efficiency Video Coding)などが挙げられる。深層学習ポス
トフィルタの付加情報としては、例えば、MPEG NNC(Neural network coding)規格を用い
てニューラルネットワークの情報を伝送する技術が挙げられる（非特許文献２）。
【先行技術文献】
【非特許文献】
【0004】
【非特許文献1】ISO/IEC 23090-5
【非特許文献2】AHG9: On post-filter SEI, JVET-Y0115, Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29
【発明の概要】
【発明が解決しようとする課題】
【0005】
非特許文献１における3Dデータ符号化方式では、3Dデータを構成するジオメトリ（デプス画像）やアトリビュート（カラー画像）をHEVC、VVCのような既存の動画像符号化方式
を用いて符号化・復号するが、符号化によるデプス画像、およびカラー画像の歪によって、再構成する3Dデータの精度が低下するという課題がある。また、非特許文献２の深層学習ポストフィルタの付加情報では、歪みが低減できるものの、3Dデータのどの映像に適用するかの制御ができない。結果、従来の3D画像のフィルタを、すべてのデプス画像およびカラー画像に適用すると処理量が膨大になるという課題がある。
を用いて符号化・復号するが、符号化によるデプス画像、およびカラー画像の歪によって、再構成する3Dデータの精度が低下するという課題がある。また、非特許文献２の深層学習ポストフィルタの付加情報では、歪みが低減できるものの、3Dデータのどの映像に適用するかの制御ができない。結果、従来の3D画像のフィルタを、すべてのデプス画像およびカラー画像に適用すると処理量が膨大になるという課題がある。
【0006】
本発明は、既存の動画像符号化方式を用いた3Dデータの符号化・復号において、符号化による歪を低減し、3Dデータを高品質に符号化・復号することを目的とする。
【課題を解決するための手段】
【0007】
上記の課題を解決するために、本発明の一態様に係る3Dデータ復号装置は、3D符号化データを復号する3Dデータ復号装置において、上記3D符号化データからジオメトリ画像を復号するジオメトリ画像復号部と、上記3D符号化データからアトリビュート画像を復号するアトリビュート画像復号部と、上記ジオメトリ画像のフィルタ処理を行うジオメトリ画像フィルタ部と、上記アトリビュート画像のフィルタ処理を行うアトリビュート画像フィルタ部と、上記ジオメトリ画像フィルタ部及び／又は上記アトリビュート画像フィルタ部は、フィルタ対象が3Dデータ(V3C)コンポーネントであることを示す情報を含むフィルタパラメータを復号し、上記フィルタパラメータに基づき、上記ジオメトリ画像及び／又はアトリビュート画像のフィルタ処理を行うことを特徴とする。
【0008】
上記の課題を解決するために、本発明の一態様に係る3Dデータ符号化装置は、3Dデータ
を符号化する3Dデータ符号化装置において、上記3Dデータのジオメトリ画像のフィルタパラメータを導出するジオメトリ画像フィルタパラメータ導出部と、上記3Dデータのアトリビュート画像のフィルタパラメータを導出するアトリビュート画像フィルタパラメータ導出部と、上記ジオメトリ画像を符号化するジオメトリ画像符号化部と、上記アトリビュート画像を符号化するアトリビュート画像符号化部と、を備え、上記ジオメトリ画像フィルタパラメータ導出部及び／又は上記アトリビュート画像フィルタパラメータ導出部は、フィルタ対象が3Dデータ(V3C)コンポーネントであることを示す情報を含むフィルタパラメータを符号化することを特徴とする。
を符号化する3Dデータ符号化装置において、上記3Dデータのジオメトリ画像のフィルタパラメータを導出するジオメトリ画像フィルタパラメータ導出部と、上記3Dデータのアトリビュート画像のフィルタパラメータを導出するアトリビュート画像フィルタパラメータ導出部と、上記ジオメトリ画像を符号化するジオメトリ画像符号化部と、上記アトリビュート画像を符号化するアトリビュート画像符号化部と、を備え、上記ジオメトリ画像フィルタパラメータ導出部及び／又は上記アトリビュート画像フィルタパラメータ導出部は、フィルタ対象が3Dデータ(V3C)コンポーネントであることを示す情報を含むフィルタパラメータを符号化することを特徴とする。
【発明の効果】
【0009】
本発明の一態様によれば、デプス画像やカラー画像の符号化による歪を低減し、3Dデータを高品質に符号化・復号することができる。
【図面の簡単な説明】
【0010】
【図1】本実施形態に係る3Dデータ伝送システムの構成を示す概略図である。
【図2】本実施形態に係る3Dデータ符号化装置を搭載した送信装置、および、3Dデータ復号装置を搭載した受信装置の構成について示した図である。PROD_Aは3Dデータ符号化装置を搭載した送信装置を示しており、PROD_Bは3Dデータ復号装置を搭載した受信装置を示している。
【図3】本実施形態に係る3Dデータ符号化装置を搭載した記録装置、および、3Dデータ復号装置を搭載した再生装置の構成について示した図である。PROD_Cは3Dデータ符号化装置を搭載した記録装置を示しており、PROD_Dは3Dデータ復号装置を搭載した再生装置を示している。
【図4】符号化ストリームのデータの階層構造を示す図である。
【図5】第1の実施形態に係る3Dデータ符号化装置11の概略構成を示す機能ブロック図である。
【図6】第1の実施形態に係る3Dデータ復号装置31の概略構成を示す機能ブロック図である。
【図7】3Dデータ、オキュパンシマップ、ジオメトリ画像、アトリビュート画像を説明するための図である。
【図8】ジオメトリ画像及びアトリビュート画像のレイヤ構造を説明するための図である。
【図9】フィルタパラメータをSEIで伝送する構成のシンタックスの例である。
【図10】フィルタパラメータをSEIで伝送する構成のシンタックスの例である。
【図11】フィルタパラメータをSEIで伝送する構成のシンタックスの例である。
【図12】フィルタパラメータをASPSで伝送する構成のシンタックスの例である。
【図13】フィルタパラメータをASPSで伝送する構成のシンタックスの例である。
【図14】フィルタパラメータをASPS拡張で伝送する構成のシンタックスの例である。
【図15】フィルタパラメータをAFPSで伝送する構成のシンタックスの例である。
【図16】フィルタパラメータをAFPSで伝送する構成のシンタックスの例である。
【図17】フィルタパラメータをAFPS拡張で伝送する構成のシンタックスの例である。
【図18】フィルタパラメータをISOBMFF boxで伝送する構成のシンタックスの例である。
【図19】フィルタパラメータをISOBMFF boxで伝送する構成のシンタックスの例である。
【発明を実施するための形態】
【0011】
以下、図面を参照しながら本発明の実施形態について説明する。
【0012】
図1は、本実施形態に係る3Dデータ伝送システム１の構成を示す概略図である。
【0013】
3Dデータ伝送システム１は、符号化対象3Dデータを符号化した符号化ストリームを伝送し、伝送された符号化ストリームを復号し3Dデータを表示するシステムである。3Dデータ伝送システム１は、3Dデータ符号化装置11、ネットワーク21、3Dデータ復号装置31、及び3Dデータ表示装置41を含んで構成される。
【0014】
3Dデータ符号化装置11には3DデータTが入力される。
【0015】
ネットワーク21は、3Dデータ符号化装置11が生成した符号化ストリームTeを3Dデータ復号装置31に伝送する。ネットワーク21は、インターネット（Internet）、広域ネットワーク（WAN:Wide Area Network）、小規模ネットワーク（LAN:Local Area Network）または
これらの組み合わせである。ネットワーク21は、必ずしも双方向の通信網に限らず、地上デジタル放送、衛星放送等の放送波を伝送する一方向の通信網であっても良い。また、ネットワーク21は、DVD（Digital Versatile Disc:登録商標）、BD（Blu-ray Disc:登録商標）等の符号化ストリームTeを記録した記憶媒体で代替されても良い。
これらの組み合わせである。ネットワーク21は、必ずしも双方向の通信網に限らず、地上デジタル放送、衛星放送等の放送波を伝送する一方向の通信網であっても良い。また、ネットワーク21は、DVD（Digital Versatile Disc:登録商標）、BD（Blu-ray Disc:登録商標）等の符号化ストリームTeを記録した記憶媒体で代替されても良い。
【0016】
3Dデータ復号装置31は、ネットワーク21が伝送した符号化ストリームTeのそれぞれを復号し、復号した１または複数の復号3DデータTdを生成する。
【0017】
3Dデータ表示装置41は、3Dデータ復号装置31が生成した１または複数の復号3DデータTdの全部または一部を表示する。3Dデータ表示装置41は、例えば、液晶ディスプレイ、有機ＥＬ（Electro-luminescence）ディスプレイ等の表示デバイスを備える。ディスプレイの形態としては、据え置き、モバイル、HMD等が挙げられる。また、3Dデータ復号装置31が
高い処理能力を有する場合には、画質の高い画像を表示し、より低い処理能力しか有しない場合には、高い処理能力、表示能力を必要としない画像を表示する。
高い処理能力を有する場合には、画質の高い画像を表示し、より低い処理能力しか有しない場合には、高い処理能力、表示能力を必要としない画像を表示する。
【0018】
＜符号化ストリームTeの構造＞
本実施形態に係る3Dデータ符号化装置11および3Dデータ復号装置31の詳細な説明に先立って、3Dデータ符号化装置11によって生成され、3Dデータ復号装置31によって復号される符号化ストリームTeのデータ構造について説明する。
本実施形態に係る3Dデータ符号化装置11および3Dデータ復号装置31の詳細な説明に先立って、3Dデータ符号化装置11によって生成され、3Dデータ復号装置31によって復号される符号化ストリームTeのデータ構造について説明する。
【0019】
図4は、符号化ストリームTeにおけるデータの階層構造を示す図である。符号化ストリ
ームTeは、例示的に、シーケンス、およびシーケンスを構成する複数のピクチャを含む。図4には、それぞれ、シーケンスSEQを既定する符号化ビデオシーケンス、ピクチャPICTを規定する符号化ピクチャ、スライスSを規定する符号化スライス、スライスデータを規定
する符号化スライスデータ、符号化スライスデータに含まれる符号化ツリーユニット、符号化ツリーユニットに含まれる符号化ユニットを示す図が示されている。
ームTeは、例示的に、シーケンス、およびシーケンスを構成する複数のピクチャを含む。図4には、それぞれ、シーケンスSEQを既定する符号化ビデオシーケンス、ピクチャPICTを規定する符号化ピクチャ、スライスSを規定する符号化スライス、スライスデータを規定
する符号化スライスデータ、符号化スライスデータに含まれる符号化ツリーユニット、符号化ツリーユニットに含まれる符号化ユニットを示す図が示されている。
【0020】
（符号化ビデオシーケンス）
符号化ビデオシーケンスでは、処理対象のシーケンスSEQを復号するために3Dデータ復
号装置31が参照するデータの集合が規定されている。シーケンスSEQは、図4の符号化ビデオシーケンスに示すように、ビデオパラメータセット（Video Parameter Set）、シーケ
ンスパラメータセットSPS（Sequence Parameter Set）、ピクチャパラメータセットPPS（Picture Parameter Set）、ピクチャPICT、及び、付加拡張情報SEI（Supplemental Enhancement Information）を含んでいる。
符号化ビデオシーケンスでは、処理対象のシーケンスSEQを復号するために3Dデータ復
号装置31が参照するデータの集合が規定されている。シーケンスSEQは、図4の符号化ビデオシーケンスに示すように、ビデオパラメータセット（Video Parameter Set）、シーケ
ンスパラメータセットSPS（Sequence Parameter Set）、ピクチャパラメータセットPPS（Picture Parameter Set）、ピクチャPICT、及び、付加拡張情報SEI（Supplemental Enhancement Information）を含んでいる。
【0021】
ビデオパラメータセットVPSは、複数のレイヤから構成されている動画像において、複
数の動画像に共通する符号化パラメータの集合および動画像に含まれる複数のレイヤおよ
び個々のレイヤに関連する符号化パラメータの集合が規定されている。
数の動画像に共通する符号化パラメータの集合および動画像に含まれる複数のレイヤおよ
び個々のレイヤに関連する符号化パラメータの集合が規定されている。
【0022】
シーケンスパラメータセットSPSでは、対象シーケンスを復号するために3Dデータ復号
装置31が参照する符号化パラメータの集合が規定されている。例えば、ピクチャの幅や高さが規定される。なお、SPSは複数存在してもよい。その場合、PPSから複数のSPSの何れ
かを選択する。
装置31が参照する符号化パラメータの集合が規定されている。例えば、ピクチャの幅や高さが規定される。なお、SPSは複数存在してもよい。その場合、PPSから複数のSPSの何れ
かを選択する。
【0023】
ピクチャパラメータセットPPSでは、対象シーケンス内の各ピクチャを復号するために
動画像復号装置31が参照する符号化パラメータの集合が規定されている。例えば、ピクチャの復号に用いられる量子化幅の基準値（pic_init_qp_minus26）や重み付き予測の適用を示すフラグ（weighted_pred_flag）が含まれる。なお、PPSは複数存在してもよい。その場合、対象シーケンス内の各ピクチャから複数のPPSの何れかを選択する。
動画像復号装置31が参照する符号化パラメータの集合が規定されている。例えば、ピクチャの復号に用いられる量子化幅の基準値（pic_init_qp_minus26）や重み付き予測の適用を示すフラグ（weighted_pred_flag）が含まれる。なお、PPSは複数存在してもよい。その場合、対象シーケンス内の各ピクチャから複数のPPSの何れかを選択する。
【0024】
（符号化ピクチャ）
符号化ピクチャでは、処理対象のピクチャPICTを復号するために3Dデータ復号装置31が参照するデータの集合が規定されている。ピクチャPICTは、図4の符号化ピクチャに示す
ように、スライス0～スライスNS-1を含む（NSはピクチャPICTに含まれるスライスの総数
）。
符号化ピクチャでは、処理対象のピクチャPICTを復号するために3Dデータ復号装置31が参照するデータの集合が規定されている。ピクチャPICTは、図4の符号化ピクチャに示す
ように、スライス0～スライスNS-1を含む（NSはピクチャPICTに含まれるスライスの総数
）。
【0025】
なお、以下、スライス0～スライスNS-1のそれぞれを区別する必要が無い場合、符号の
添え字を省略して記述することがある。また、以下に説明する符号化ストリームTeに含まれるデータであって、添え字を付している他のデータについても同様である。
添え字を省略して記述することがある。また、以下に説明する符号化ストリームTeに含まれるデータであって、添え字を付している他のデータについても同様である。
【0026】
（符号化スライス）
符号化スライスでは、処理対象のスライスSを復号するために3Dデータ復号装置31が参
照するデータの集合が規定されている。スライスは、図4の符号化スライスに示すように
、スライスヘッダ、および、スライスデータを含んでいる。
符号化スライスでは、処理対象のスライスSを復号するために3Dデータ復号装置31が参
照するデータの集合が規定されている。スライスは、図4の符号化スライスに示すように
、スライスヘッダ、および、スライスデータを含んでいる。
【0027】
スライスヘッダには、対象スライスの復号方法を決定するために3Dデータ復号装置31が参照する符号化パラメータ群が含まれる。スライスタイプを指定するスライスタイプ指定情報（slice_type）は、スライスヘッダに含まれる符号化パラメータの一例である。
【0028】
スライスタイプ指定情報により指定可能なスライスタイプとしては、（１）符号化の際にイントラ予測のみを用いるＩスライス、（２）符号化の際に単方向予測、または、イントラ予測を用いるＰスライス、（３）符号化の際に単方向予測、双方向予測、または、イントラ予測を用いるＢスライスなどが挙げられる。なお、インター予測は、単予測、双予測に限定されず、より多くの参照ピクチャを用いて予測画像を生成してもよい。以下、P
、Bスライスと呼ぶ場合には、インター予測を用いることができるブロックを含むスライ
スを指す。
、Bスライスと呼ぶ場合には、インター予測を用いることができるブロックを含むスライ
スを指す。
【0029】
なお、スライスヘッダは、ピクチャパラメータセットPPSへの参照（pic_parameter_set_id）を含んでいても良い。
【0030】
（符号化スライスデータ）
符号化スライスデータでは、処理対象のスライスデータを復号するために3Dデータ復号装置31が参照するデータの集合が規定されている。スライスデータは、図4の符号化スラ
イスヘッダに示すように、CTUを含んでいる。CTUは、スライスを構成する固定サイズ（例えば64x64）のブロックであり、最大符号化単位（LCU:Largest Coding Unit）と呼ぶこともある。
符号化スライスデータでは、処理対象のスライスデータを復号するために3Dデータ復号装置31が参照するデータの集合が規定されている。スライスデータは、図4の符号化スラ
イスヘッダに示すように、CTUを含んでいる。CTUは、スライスを構成する固定サイズ（例えば64x64）のブロックであり、最大符号化単位（LCU:Largest Coding Unit）と呼ぶこともある。
【0031】
（サブピクチャ）
ピクチャは、さらに矩形のサブピクチャに分割されていてもよい。例えば、水平方向４つ、垂直方向４つのサブピクチャに分割されていてもよい。サブピクチャのサイズはCTU
の倍数であってもよい。サブピクチャは縦横に整数個に連続するタイルの集合で定義される。スライスヘッダにはサブピクチャのIDを示すsh_subpic_idを含んでもよい。
ピクチャは、さらに矩形のサブピクチャに分割されていてもよい。例えば、水平方向４つ、垂直方向４つのサブピクチャに分割されていてもよい。サブピクチャのサイズはCTU
の倍数であってもよい。サブピクチャは縦横に整数個に連続するタイルの集合で定義される。スライスヘッダにはサブピクチャのIDを示すsh_subpic_idを含んでもよい。
【0032】
（符号化ツリーユニット）
図4の符号化ツリーユニットには、処理対象のCTUを復号するために3Dデータ復号装置31が参照するデータの集合が規定されている。CTUは、再帰的な４分木分割（QT（Quad Tree）分割）、２分木分割（BT（Binary Tree）分割）あるいは３分木分割（TT（Ternary Tree）分割）により符号化処理の基本的な単位である符号化ユニットCUに分割される。BT分割とTT分割を合わせてマルチツリー分割（MT（Multi Tree）分割）と呼ぶ。再帰的な４分木分割により得られる木構造のノードのことを符号化ノード（Coding Node）と称する。４分木、２分木、及び３分木の中間ノードは、符号化ノードであり、CTU自身も最上位の符号化ノードとして規定される。
図4の符号化ツリーユニットには、処理対象のCTUを復号するために3Dデータ復号装置31が参照するデータの集合が規定されている。CTUは、再帰的な４分木分割（QT（Quad Tree）分割）、２分木分割（BT（Binary Tree）分割）あるいは３分木分割（TT（Ternary Tree）分割）により符号化処理の基本的な単位である符号化ユニットCUに分割される。BT分割とTT分割を合わせてマルチツリー分割（MT（Multi Tree）分割）と呼ぶ。再帰的な４分木分割により得られる木構造のノードのことを符号化ノード（Coding Node）と称する。４分木、２分木、及び３分木の中間ノードは、符号化ノードであり、CTU自身も最上位の符号化ノードとして規定される。
【0033】
（符号化ユニット）
図4の符号化ユニットに示すように、処理対象の符号化ユニットを復号するために3Dデ
ータ復号装置31が参照するデータの集合が規定されている。具体的には、CUは、CUヘッダCUH、予測パラメータ、変換パラメータ、量子化変換係数等から構成される。CUヘッダで
は予測モード等が規定される。
図4の符号化ユニットに示すように、処理対象の符号化ユニットを復号するために3Dデ
ータ復号装置31が参照するデータの集合が規定されている。具体的には、CUは、CUヘッダCUH、予測パラメータ、変換パラメータ、量子化変換係数等から構成される。CUヘッダで
は予測モード等が規定される。
【0034】
予測処理は、CU単位で行われる場合と、CUをさらに分割したサブCU単位で行われる場合がある。CUとサブCUのサイズが等しい場合には、CU中のサブCUは１つである。CUがサブCUのサイズよりも大きい場合、CUは、サブCUに分割される。たとえばCUが8x8、サブCUが4x4の場合、CUは水平２分割、垂直２分割からなる、４つのサブCUに分割される。
【0035】
予測の種類（予測モード）は、イントラ予測と、インター予測の２つがある。イントラ予測は、同一ピクチャ内の予測であり、インター予測は、互いに異なるピクチャ間（例えば、表示時刻間、レイヤ画像間）で行われる予測処理を指す。
【0036】
変換・量子化処理はCU単位で行われるが、量子化変換係数は4x4等のサブブロック単位
でエントロピー符号化してもよい。
でエントロピー符号化してもよい。
【0037】
（予測パラメータ）
予測画像は、ブロックに付随する予測パラメータによって導出される。予測パラメータには、イントラ予測とインター予測の予測パラメータがある。
予測画像は、ブロックに付随する予測パラメータによって導出される。予測パラメータには、イントラ予測とインター予測の予測パラメータがある。
【0038】
（第1の実施形態に係る3Dデータ符号化装置の構成）
図5は、第1の実施形態に係る3Dデータ符号化装置11の概略構成を示す機能ブロック図である。
図5は、第1の実施形態に係る3Dデータ符号化装置11の概略構成を示す機能ブロック図である。
【0039】
3Dデータ符号化装置11は、パッチ生成部101、アトラス情報符号化部102、オキュパンシマップ生成部103、オキュパンシマップ符号化部104、ジオメトリ画像生成部105、ジオメ
トリ画像符号化部106、ジオメトリ画像フィルタパラメータ導出部107、アトリビュート画像生成部108、アトリビュート画像符号化部109、アトリビュート画像フィルタパラメータ導出部110、多重化部111から構成される。3Dデータ符号化装置11は、3Dデータとしてポイントクラウドを入力して、符号化データを出力する。
トリ画像符号化部106、ジオメトリ画像フィルタパラメータ導出部107、アトリビュート画像生成部108、アトリビュート画像符号化部109、アトリビュート画像フィルタパラメータ導出部110、多重化部111から構成される。3Dデータ符号化装置11は、3Dデータとしてポイントクラウドを入力して、符号化データを出力する。
【0040】
パッチ生成部101は、3Dデータ（ポイントクラウド）を入力し、パッチ（ここでは矩形
の画像）の集合を生成する。具体的には、3Dデータを構成するポイントクラウドは、複数の領域に分割され、各領域は3D空間上に設定された3Dバウンディングボックス（図7(a)）のいずれかの平面に投影され、複数のパッチを生成する。パッチ生成部101は、3Dバウン
ディングボックスに関する情報（座標、サイズなど）、投影面へのマッピングに関する情報（各パッチの投影面、座標、サイズ、回転有無など）をアトラス情報として出力する。
の画像）の集合を生成する。具体的には、3Dデータを構成するポイントクラウドは、複数の領域に分割され、各領域は3D空間上に設定された3Dバウンディングボックス（図7(a)）のいずれかの平面に投影され、複数のパッチを生成する。パッチ生成部101は、3Dバウン
ディングボックスに関する情報（座標、サイズなど）、投影面へのマッピングに関する情報（各パッチの投影面、座標、サイズ、回転有無など）をアトラス情報として出力する。
【0041】
アトラス情報符号化部102は、パッチ生成部101よる出力されるアトラス情報を符号化しアトラス情報符号化ストリームを出力する。
【0042】
オキュパンシマップ生成部103は、パッチ生成部101よる出力されるパッチの集合を入力し、各パッチの有効領域（ポイントクラウドが存在する領域）を2Dバイナリ画像（例えば有効領域を1、無効領域を0）として示したオキュパンシマップを生成する（図7(b)）。なお有効領域、無効領域の値は255と0など別の値を用いてもよい。
【0043】
オキュパンシマップ符号化部104は、パッチパッキング部103から出力されるオキュパンシマップを入力し、オキュパンシマップ符号化ストリーム、及び復号オキュパンシマップを出力する。符号化方式としては、VVC/H.266やHEVC/H.265などを用いる。
【0044】
ジオメトリ画像生成部105は、3Dデータ（ポイントクラウド）、オキュパンシマップ生
成部102より出力されるオキュパンシマップ、オキュパンシマップ符号化部104から出力される復号オキュパンシマップ、及びアトラス情報に基づき、各パッチの投影面に対するデプス値を格納したジオメトリ画像を生成する（図7(c)）。
成部102より出力されるオキュパンシマップ、オキュパンシマップ符号化部104から出力される復号オキュパンシマップ、及びアトラス情報に基づき、各パッチの投影面に対するデプス値を格納したジオメトリ画像を生成する（図7(c)）。
【0045】
ジオメトリ画像符号化部106は、ジオメトリ画像生成部105から出力されるジオメトリ画像を入力し、ジオメトリ画像符号化ストリーム、及び復号ジオメトリ画像を出力する。符号化方式としては、VVC/H.266やHEVC/H.265などを用いる。
【0046】
ジオメトリ画像フィルタパラメータ導出部107は、ジオメトリ画像符号化部106から出力される復号ジオメトリ画像と圧縮前のジオメトリ画像を入力し、線形フィルタ、ニューラルネットワークベースのフィルタなどのフィルタ処理において最適なフィルタパラメータを選択もしくは導出し、フィルタパラメータを出力する。
【0047】
アトリビュート画像生成部108は、3Dデータ（ポイントクラウド）、オキュパンシマッ
プ符号化部104から出力される復号オキュパンシマップ、ジオメトリ画像フィルタパラメ
ータ導出部107から出力される復号ジオメトリ画像のフィルタ処理画像、及びアトラス情
報に基づき、各パッチの投影面に対するカラー情報（例えば、YUV値、RGB値など）を格納したアトリビュート画像を生成する（図7(d)）。
プ符号化部104から出力される復号オキュパンシマップ、ジオメトリ画像フィルタパラメ
ータ導出部107から出力される復号ジオメトリ画像のフィルタ処理画像、及びアトラス情
報に基づき、各パッチの投影面に対するカラー情報（例えば、YUV値、RGB値など）を格納したアトリビュート画像を生成する（図7(d)）。
【0048】
アトリビュート画像符号化部109は、アトリビュート画像生成部108から出力されるアトリビュート画像を入力し、アトリビュート画像符号化ストリーム、及び復号アトリビュート画像を出力する。符号化方式としては、VVC/H.266やHEVC/H.265などを用いる。
【0049】
ここで、アトラス情報は、各パッチの2D画像上の領域と3D空間上の領域を対応させるための情報である。オキュパンシマップ画像はポイントクラウドのポイントに対応する領域であるか否かを２値画像で示した画像である。領域外であるか領域内であるかを２値で示す。ジオメトリ画像は、投影面からのデプス値（距離）に対応する値を示す画像である。距離と画素値の関係は線形であってもよいし、ルックアップテーブルや数式、または、値による分岐の組み合わせによる関係式により、画素値から距離を導出してもよい。アトリビュート画像は、ポイントのアトリビュート（例えばRGBの色）を示す画像である。なお
、これらオキュパンシマップ画像、ジオメトリ画像、アトリビュート画像、アトラス情報
は、異なる投影面からの部分画像（パッチ）をある２次元画像上にマッピング（貼り合わせた）画像であってもよい。アトラス情報は、パッチの数やパッチに対応する投影面の情報を含む。
、これらオキュパンシマップ画像、ジオメトリ画像、アトリビュート画像、アトラス情報
は、異なる投影面からの部分画像（パッチ）をある２次元画像上にマッピング（貼り合わせた）画像であってもよい。アトラス情報は、パッチの数やパッチに対応する投影面の情報を含む。
【0050】
アトリビュート画像フィルタパラメータ導出部110は、アトリビュート画像符号化部109から出力される復号アトリビュート画像と圧縮前のジオメトリ画像を入力し、線形フィルタ、ニューラルネットワークベースのフィルタなどのフィルタ処理において最適なフィルタパラメータを選択もしくは導出し、フィルタパラメータを出力する。
【0051】
多重化部111は、ジオメトリ画像フィルタパラメータ導出部107から出力されるフィルタパラメータ、アトリビュート画像フィルタパラメータ導出部110から出力されるフィルタ
パラメータを入力し、映像データの付加情報であるSEI(Supplemental Enhancement Information)、V3C規格におけるデータ構造の指定情報であるASPS(Atlas Sequence Parameter Set)、AFPS(Atlas Frame Parameter Set)、メディアファイルフォーマット規格であるISOBMFF(ISO Base Media File Format)などのフォーマットで出力する。多重化部111は、また、アトラス情報符号化部102から出力されるアトラス情報符号化ストリーム、オキュパンシマップ符号化部104から出力されるオキュパンシマップ符号化ストリーム、ジオメトリ画像符号化部106から出力されるジオメトリ画像符号化ストリーム、アトリビュート画像符号化部109から出力されるアトリビュート画像符号化ストリーム、上記フィルタパラメータを多重化して符号化データとして出力する。多重化方式としては、バイトストリームフォーマット、ISOBMFFなどを用いる。
パラメータを入力し、映像データの付加情報であるSEI(Supplemental Enhancement Information)、V3C規格におけるデータ構造の指定情報であるASPS(Atlas Sequence Parameter Set)、AFPS(Atlas Frame Parameter Set)、メディアファイルフォーマット規格であるISOBMFF(ISO Base Media File Format)などのフォーマットで出力する。多重化部111は、また、アトラス情報符号化部102から出力されるアトラス情報符号化ストリーム、オキュパンシマップ符号化部104から出力されるオキュパンシマップ符号化ストリーム、ジオメトリ画像符号化部106から出力されるジオメトリ画像符号化ストリーム、アトリビュート画像符号化部109から出力されるアトリビュート画像符号化ストリーム、上記フィルタパラメータを多重化して符号化データとして出力する。多重化方式としては、バイトストリームフォーマット、ISOBMFFなどを用いる。
【0052】
図8は、ジオメトリ画像及びアトリビュート画像のレイヤ構造を説明するための図であ
る。
る。
【0053】
ジオメトリ画像生成部105においてパッチを導出（投影）する際、投影面のある画素g(x,y)に投影されるポイントp(x,y,z)は複数存在しえる。ここで、ジオメトリ画像生成部105は、画素g(x,y)に投影されるポイントのうち投影面に対するデプスが最小のポイントをp_min(x,y,z)として導出し、画素g(x,y)に投影されp_min(x,y,z)から所定の距離dにあるポイントのうちデプスが最大のポイントをp_max(x,y,z)と導出する。投影面のすべての画素に対してp_min(x,y,z)を投影したジオメトリ画像をNearレイヤのジオメトリ画像（図8の画像0,2,4,…,2N）、投影面のすべての画素に対してp_max(x,y,z)を投影したジオメトリ画像をFarレイヤのジオメトリ画像（図8の画像1,3,5,…,2N+1）と導出する。
【0054】
ここで、NearレイヤとFarレイヤは各々、ある投影面からみたデプスが互いに異なるジ
オメトリを構成する映像である。また、Nearレイヤとは投影面の各画素に対してデプスが最小となるポイントの集合であり、Farレイヤとは投影面の各画素に対して所定の範囲（Nearレイヤから距離dの範囲）内においてデプスが最大となるポイントの集合であってもよい。
オメトリを構成する映像である。また、Nearレイヤとは投影面の各画素に対してデプスが最小となるポイントの集合であり、Farレイヤとは投影面の各画素に対して所定の範囲（Nearレイヤから距離dの範囲）内においてデプスが最大となるポイントの集合であってもよい。
【0055】
ジオメトリ画像符号化部106は、Nearレイヤのジオメトリ画像を画面内ピクチャ（Iピクチャ）、Farレイヤのジオメトリ画像を画面間ピクチャ（PピクチャもしくはBピクチャ）
として符号化してもよい。また、NearレイヤをLayer ID=0、FarレイヤをLayer ID=1のよ
うに、NALユニットのLary ID(nuh_layer_idシンタックス)を用いて、ビットストリーム上に識別できるように符号化してもよい。また、NearレイヤをLayer ID=0、FarレイヤをTemporal ID=1のように、NALユニットのTemporal IDを用いて、ビットストリーム上に識別できるように符号化してもよい。
として符号化してもよい。また、NearレイヤをLayer ID=0、FarレイヤをLayer ID=1のよ
うに、NALユニットのLary ID(nuh_layer_idシンタックス)を用いて、ビットストリーム上に識別できるように符号化してもよい。また、NearレイヤをLayer ID=0、FarレイヤをTemporal ID=1のように、NALユニットのTemporal IDを用いて、ビットストリーム上に識別できるように符号化してもよい。
【0056】
同様に、アトリビュート画像生成部108においてパッチを投影する際、投影面のすべて
の画素に対してp_min(x,y,z)を投影したアトリビュート画像をNearレイヤのアトリビュー
ト画像（図8の画像0,2,4,…,2N）、投影面のすべての画素に対してp_max(x,y,z)を投影したアトリビュート画像をFarレイヤのアトリビュート画像（図8の画像1,3,5,…,2N+1）と
導出する。
の画素に対してp_min(x,y,z)を投影したアトリビュート画像をNearレイヤのアトリビュー
ト画像（図8の画像0,2,4,…,2N）、投影面のすべての画素に対してp_max(x,y,z)を投影したアトリビュート画像をFarレイヤのアトリビュート画像（図8の画像1,3,5,…,2N+1）と
導出する。
【0057】
アトリビュート画像符号化部109は、Nearレイヤのアトリビュート画像をIピクチャ、Farレイヤのアトリビュート画像をPピクチャもしくはBピクチャとして符号化してもよい。
【0058】
次に、ジオメトリ画像フィルタパラメータ導出部107、及びアトリビュート画像フィル
タパラメータ導出部110で出力されるフィルタパラメータについて図を参照しながら説明
する。
（フィルタパラメータをSEIで伝送）
図9は、フィルタパラメータをSEIで伝送する構成のシンタックスの例である。各フィールドのセマンティクスは以下の通りである。
pfp_id：ポストフィルタを識別するためのIDを示す。
pfp_purpose：pfp_idで示されるポストフィルタの用途を示す。値が０に等しい場合、映
像の品質改善に用いる。値が１に等しい場合、超解像処理に用いる。値が２に等しい場合、色差フォーマットの変換に用いる。値が３に等しい場合、V3Cコンポーネントの品質改善に用いる。
pfp_V3C_component_idc：ポストフィルタを適用するV3Cコンポーネント（ジオメトリ画像、アトリビュート画像などのV3C画像の種類）を示す。値が０に等しい場合、ポストフィルタを適用しない。値が１に等しい場合、ジオメトリ画像にのみポストフィルタを適用する。値が２に等しい場合、アトリビュート画像にのみポストフィルタを適用する。値が３に等しい場合、ジオメトリ画像及びアトリビュート画像にポストフィルタを適用する。
pfp_V3C_layer_idc：ポストフィルタを適用するレイヤを示す。値が１に等しい場合、Nearレイヤの画像にのみポストフィルタを適用する。値が２に等しい場合、Farレイヤの画像にのみポストフィルタを適用する。値が３に等しい場合、Nearレイヤ及びFarレイヤの画像にポストフィルタを適用する。
タパラメータ導出部110で出力されるフィルタパラメータについて図を参照しながら説明
する。
（フィルタパラメータをSEIで伝送）
図9は、フィルタパラメータをSEIで伝送する構成のシンタックスの例である。各フィールドのセマンティクスは以下の通りである。
pfp_id：ポストフィルタを識別するためのIDを示す。
pfp_purpose：pfp_idで示されるポストフィルタの用途を示す。値が０に等しい場合、映
像の品質改善に用いる。値が１に等しい場合、超解像処理に用いる。値が２に等しい場合、色差フォーマットの変換に用いる。値が３に等しい場合、V3Cコンポーネントの品質改善に用いる。
pfp_V3C_component_idc：ポストフィルタを適用するV3Cコンポーネント（ジオメトリ画像、アトリビュート画像などのV3C画像の種類）を示す。値が０に等しい場合、ポストフィルタを適用しない。値が１に等しい場合、ジオメトリ画像にのみポストフィルタを適用する。値が２に等しい場合、アトリビュート画像にのみポストフィルタを適用する。値が３に等しい場合、ジオメトリ画像及びアトリビュート画像にポストフィルタを適用する。
pfp_V3C_layer_idc：ポストフィルタを適用するレイヤを示す。値が１に等しい場合、Nearレイヤの画像にのみポストフィルタを適用する。値が２に等しい場合、Farレイヤの画像にのみポストフィルタを適用する。値が３に等しい場合、Nearレイヤ及びFarレイヤの画像にポストフィルタを適用する。
【0059】
ジオメトリ画像フィルタパラメータ導出部107及び／又はアトリビュート画像フィルタ
パラメータ導出部110は、pfp_idの値を設定するとともに、pfp_purposeの値を３に設定する。また、ジオメトリ画像フィルタパラメータ導出部107及び／又はアトリビュート画像
フィルタパラメータ導出部110は、上記セマンティクスに従って、pfp_V3C_component_idc, pfp_V3C_layer_idcの値を設定する。
パラメータ導出部110は、pfp_idの値を設定するとともに、pfp_purposeの値を３に設定する。また、ジオメトリ画像フィルタパラメータ導出部107及び／又はアトリビュート画像
フィルタパラメータ導出部110は、上記セマンティクスに従って、pfp_V3C_component_idc, pfp_V3C_layer_idcの値を設定する。
【0060】
上記の構成によれば、本フィルタパラメータの伝送によって、符号化装置および・又は復号装置の処理能力に応じた適応するレイヤ及び対象映像を選択することができ、柔軟なポストフィルタのオンオフ制御を実現することができる。また、pfp_purposeの値の一つ
にV3Cコンポーネントを明示的に有することで、ポストフィルタの対象がV3Cコンポーネントであることによって実際にポストフィルタ処理を行うか否かを判定することができる。V3Cコンポーネントであればポストフィルタ処理を優先して行う、V3Cコンポーネントでなければポストフィルタを実際には行わないような制御が可能となる。
にV3Cコンポーネントを明示的に有することで、ポストフィルタの対象がV3Cコンポーネントであることによって実際にポストフィルタ処理を行うか否かを判定することができる。V3Cコンポーネントであればポストフィルタ処理を優先して行う、V3Cコンポーネントでなければポストフィルタを実際には行わないような制御が可能となる。
【0061】
図10は、フィルタパラメータをSEIで伝送する構成のシンタックスの例である。各フィ
ールドのセマンティクスは以下の通りである。
pfp_id：すでに記載の通り
pfp_purpose：すでに記載の通り
ジオメトリ再構成部306は、アトラス情報復号部302から出力されるアトラス情報、オキュパンシマップ復号部303から出力されるオキュパンシマップ、ジオメトリ画像フィルタ部305から出力されるジオメトリ画像を入力し、3D空間におけるジオメトリ（デプス情報）を再構成する。
ールドのセマンティクスは以下の通りである。
pfp_id：すでに記載の通り
pfp_purpose：すでに記載の通り
ジオメトリ再構成部306は、アトラス情報復号部302から出力されるアトラス情報、オキュパンシマップ復号部303から出力されるオキュパンシマップ、ジオメトリ画像フィルタ部305から出力されるジオメトリ画像を入力し、3D空間におけるジオメトリ（デプス情報）を再構成する。
【0062】
アトリビュート画像復号部307は、VVC/H.266やHEVC/H.265などで符号化された符号化ストリームの復号機能を有し、逆多重化・復号部301から出力されるアトリビュート符号化
ストリームを入力し、アトリビュート画像を出力する。
pfp_V3C_geometry_enabled_flag：ジオメトリ画像に所定のポストフィルタを適用するか
否かを示すフラグである。本フラグが１に等しい場合、画像フィルタ部（ジオメトリ画像フィルタ部305）は、ジオメトリ画像にポストフィルタを適用する。本フラグが０に等し
い場合、ジオメトリ画像にポストフィルタを適用しない。
pfp_V3C_geometry_layer_idc：ポストフィルタを適用するレイヤを示す。画像フィルタ部は、pfp_V3C_geometry_layer_idcにより適用するレイヤを切り替えてもよい。値が１に等しい場合、画像フィルタ部は、Nearレイヤの画像にのみポストフィルタを適用する。値が２に等しい場合、Farレイヤの画像にのみポストフィルタを適用する。値が３に等しい場
合、Nearレイヤ及びFarレイヤの画像にポストフィルタを適用する。
pfp_V3C_attribute_enabled_flag：アトリビュート画像に所定のポストフィルタを適用するか否かを示すフラグである。本フラグが１に等しい場合、画像フィルタ部（アトリビュート画像フィルタ部308）は、アトリビュート画像にポストフィルタを適用する。本フラグが０に等しい場合、アトリビュート画像にポストフィルタを適用しない。
pfp_V3C_attribute_layer_idc：ポストフィルタを適用するレイヤを示す。アトリビュー
ト画像フィルタ部308は、pfp_V3C_attribute_layer_idcにより適用するレイヤを切り替えてもよい。
値が１に等しい場合、画像フィルタ部は、Nearレイヤの画像にのみポストフィルタを適用する。値が２に等しい場合、Farレイヤの画像にのみポストフィルタを適用する。値が３
に等しい場合、Nearレイヤ及びFarレイヤの画像にポストフィルタを適用する。
ストリームを入力し、アトリビュート画像を出力する。
pfp_V3C_geometry_enabled_flag：ジオメトリ画像に所定のポストフィルタを適用するか
否かを示すフラグである。本フラグが１に等しい場合、画像フィルタ部（ジオメトリ画像フィルタ部305）は、ジオメトリ画像にポストフィルタを適用する。本フラグが０に等し
い場合、ジオメトリ画像にポストフィルタを適用しない。
pfp_V3C_geometry_layer_idc：ポストフィルタを適用するレイヤを示す。画像フィルタ部は、pfp_V3C_geometry_layer_idcにより適用するレイヤを切り替えてもよい。値が１に等しい場合、画像フィルタ部は、Nearレイヤの画像にのみポストフィルタを適用する。値が２に等しい場合、Farレイヤの画像にのみポストフィルタを適用する。値が３に等しい場
合、Nearレイヤ及びFarレイヤの画像にポストフィルタを適用する。
pfp_V3C_attribute_enabled_flag：アトリビュート画像に所定のポストフィルタを適用するか否かを示すフラグである。本フラグが１に等しい場合、画像フィルタ部（アトリビュート画像フィルタ部308）は、アトリビュート画像にポストフィルタを適用する。本フラグが０に等しい場合、アトリビュート画像にポストフィルタを適用しない。
pfp_V3C_attribute_layer_idc：ポストフィルタを適用するレイヤを示す。アトリビュー
ト画像フィルタ部308は、pfp_V3C_attribute_layer_idcにより適用するレイヤを切り替えてもよい。
値が１に等しい場合、画像フィルタ部は、Nearレイヤの画像にのみポストフィルタを適用する。値が２に等しい場合、Farレイヤの画像にのみポストフィルタを適用する。値が３
に等しい場合、Nearレイヤ及びFarレイヤの画像にポストフィルタを適用する。
【0063】
ジオメトリ画像フィルタパラメータ導出部107及び／又はアトリビュート画像フィルタ
パラメータ導出部110は、pfp_idの値を設定するとともに、pfp_purposeの値を３に設定する。ジオメトリ画像フィルタパラメータ導出部107は、上記セマンティクスに従って、pfp_V3C_geometry_enabled_flag, pfp_V3C_geometry_layer_idcの値を設定する。アトリビュート画像フィルタパラメータ導出部110は、上記セマンティクスに従って、pfp_V3C_attribute_enabled_flag, pfp_V3C_attribute_layer_idcの値を設定する。
パラメータ導出部110は、pfp_idの値を設定するとともに、pfp_purposeの値を３に設定する。ジオメトリ画像フィルタパラメータ導出部107は、上記セマンティクスに従って、pfp_V3C_geometry_enabled_flag, pfp_V3C_geometry_layer_idcの値を設定する。アトリビュート画像フィルタパラメータ導出部110は、上記セマンティクスに従って、pfp_V3C_attribute_enabled_flag, pfp_V3C_attribute_layer_idcの値を設定する。
【0064】
なお、ジオメトリ画像フィルタ部305、アトリビュート画像フィルタ部308レイヤをlayer IDもしくはtemporal IDによりレイヤを識別してもよい（以下別の構成でも同様）。
【0065】
上記の構成によれば、ジオメトリ画像とアトリビュート画像に独立にポストフィルタのオンオフ制御ができるので、好適な画質を伝送する効果を奏する。
【0066】
さらに、pfp_V3C_geometry_layer_idc、pfp_V3C_attribute_layer_idcで適用レイヤを
選択する構成とすることで、NearレイヤとFarレイヤの画像に独立にポストフィルタのオ
ンオフ制御ができるので、好適な画質を伝送する効果を奏する。
選択する構成とすることで、NearレイヤとFarレイヤの画像に独立にポストフィルタのオ
ンオフ制御ができるので、好適な画質を伝送する効果を奏する。
【0067】
＜SEI構成の例＞
フィルタパラメータの伝送フォーマットの別の例を説明する。
フィルタパラメータの伝送フォーマットの別の例を説明する。
【0068】
図11は、フィルタパラメータをSEIで伝送する構成のシンタックスの例である。各フィ
ールドのセマンティクスは以下の通りである。
pfp_id：すでに記載の通り
pfp_purpose：pfp_idで示されるポストフィルタの用途を示す。値が０に等しい場合、映
像の品質改善に用いる。値が１に等しい場合、超解像処理に用いる。値が２に等しい場合、色差フォーマットの変換に用いる。値が３に等しい場合、V3Cコンポーネントのジオメトリ画像の品質改善に用いる。値が４に等しい場合、V3Cコンポーネントのアトリビュート画像の品質改善に用いる。
pfp_V3C_geometry_layer_idc：すでに記載の通り
pfp_V3C_attribute_layer_idc：すでに記載の通り
上記の、映像ストリームの付加情報として伝送する構成によれば、上述の好適な画質を伝送する効果に加え、映像ストリームと付加情報を組として伝送することが容易となり、映像ストリームを抽出する際にフィルタパラメータが喪失することを避ける効果を奏する。
（フィルタパラメータをASPSで伝送）
フィルタパラメータの伝送フォーマットの別の例を説明する。
ールドのセマンティクスは以下の通りである。
pfp_id：すでに記載の通り
pfp_purpose：pfp_idで示されるポストフィルタの用途を示す。値が０に等しい場合、映
像の品質改善に用いる。値が１に等しい場合、超解像処理に用いる。値が２に等しい場合、色差フォーマットの変換に用いる。値が３に等しい場合、V3Cコンポーネントのジオメトリ画像の品質改善に用いる。値が４に等しい場合、V3Cコンポーネントのアトリビュート画像の品質改善に用いる。
pfp_V3C_geometry_layer_idc：すでに記載の通り
pfp_V3C_attribute_layer_idc：すでに記載の通り
上記の、映像ストリームの付加情報として伝送する構成によれば、上述の好適な画質を伝送する効果に加え、映像ストリームと付加情報を組として伝送することが容易となり、映像ストリームを抽出する際にフィルタパラメータが喪失することを避ける効果を奏する。
（フィルタパラメータをASPSで伝送）
フィルタパラメータの伝送フォーマットの別の例を説明する。
【0069】
図12は、フィルタパラメータをASPS(Atlas Sequence Parameter Set)で伝送する構成のシンタックスの例である。各フィールドのセマンティクスは以下の通りである。
asps_post_filter_enabled_flag：ポストフィルタを適用するか否かを示すフラグである
。本フラグが１に等しい場合、後述のasps_post_filter_id, asps_post_filter_component_idc, asps_post_filter_component_idcの値に基づきポストフィルタを適用する。本フラグが０に等しい場合、ポストフィルタを適用しない。
asps_post_filter_id：ポストフィルタを識別するためのIDを示す。
asps_post_filter_component_idc：ポストフィルタを適用するコンポーネント（ジオメトリ画像、アトリビュート画像などのV3C画像の種類）を示す。値が１に等しい場合、ジオ
メトリ画像にのみポストフィルタを適用する。値が２に等しい場合、アトリビュート画像にのみポストフィルタを適用する。値が３に等しい場合、ジオメトリ画像及びアトリビュート画像にポストフィルタを適用する。
asps_post_filter_layer_idc：ポストフィルタを適用するレイヤを示す。値が１に等しい場合、Nearレイヤの画像にのみポストフィルタを適用する。値が２に等しい場合、Farレ
イヤの画像にのみポストフィルタを適用する。値が３に等しい場合、Nearレイヤ及びFar
レイヤの画像にポストフィルタを適用する。
asps_post_filter_enabled_flag：ポストフィルタを適用するか否かを示すフラグである
。本フラグが１に等しい場合、後述のasps_post_filter_id, asps_post_filter_component_idc, asps_post_filter_component_idcの値に基づきポストフィルタを適用する。本フラグが０に等しい場合、ポストフィルタを適用しない。
asps_post_filter_id：ポストフィルタを識別するためのIDを示す。
asps_post_filter_component_idc：ポストフィルタを適用するコンポーネント（ジオメトリ画像、アトリビュート画像などのV3C画像の種類）を示す。値が１に等しい場合、ジオ
メトリ画像にのみポストフィルタを適用する。値が２に等しい場合、アトリビュート画像にのみポストフィルタを適用する。値が３に等しい場合、ジオメトリ画像及びアトリビュート画像にポストフィルタを適用する。
asps_post_filter_layer_idc：ポストフィルタを適用するレイヤを示す。値が１に等しい場合、Nearレイヤの画像にのみポストフィルタを適用する。値が２に等しい場合、Farレ
イヤの画像にのみポストフィルタを適用する。値が３に等しい場合、Nearレイヤ及びFar
レイヤの画像にポストフィルタを適用する。
【0070】
なお、上記ポストフィルタは画像フィルタ部（ジオメトリ画像フィルタ部305、アトリ
ビュート画像フィルタ部308）が適用する（以下、同様）。
ビュート画像フィルタ部308）が適用する（以下、同様）。
【0071】
上記の構成によれば、本フィルタパラメータの伝送によって、復号装置の処理能力に応じた柔軟なポストフィルタのオンオフ制御を実現することができる。
【0072】
ジオメトリ画像フィルタパラメータ導出部107及び／又はアトリビュート画像フィルタ
パラメータ導出部110は、上記セマンティクスに従って、asps_post_filter_enabled_flag, asps_post_filter_id, asps_post_filter_component_idc, asps_post_filter_layer_idcの値を設定する。
パラメータ導出部110は、上記セマンティクスに従って、asps_post_filter_enabled_flag, asps_post_filter_id, asps_post_filter_component_idc, asps_post_filter_layer_idcの値を設定する。
【0073】
さらに、上記V3Cのデータ構造として伝送する構成によれば、上述の好適な画質を伝送
する効果に加え、アトラス画像、ジオメトリ画像、アトリビュート画像とフィルタパラメータを組として伝送することが容易となり、アプリケーション上で利用しやすいという効果を奏する。
する効果に加え、アトラス画像、ジオメトリ画像、アトリビュート画像とフィルタパラメータを組として伝送することが容易となり、アプリケーション上で利用しやすいという効果を奏する。
【0074】
＜ジオメトリ画像とアトリビュート画像の個別レイヤ選択＞
フィルタパラメータの伝送フォーマットの別のシンタックス例を説明する。
フィルタパラメータの伝送フォーマットの別のシンタックス例を説明する。
【0075】
図13は、フィルタパラメータをASPS(Atlas Sequence Parameter Set)で伝送する構成のシンタックスの例である。各フィールドのセマンティクスは以下の通りである。
asps_post_filter_enabled_flag：ポストフィルタを適用するか否かを示すフラグである
。本フラグが１に等しい場合、asps_geometry_post_filter_enabled_flag, asps_attribute_post_filter_enabled_flagに基づきポストフィルタを適用する。本フラグが０に等しい場合、ポストフィルタを適用しない。
asps_geometry_post_filter_enabled_flag：ジオメトリ画像にポストフィルタを適用するか否かを示すフラグである。本フラグが１に等しい場合、asps_geometry_post_filter_id, asps_geometry_post_filter_layer_idcの値に基づきポストフィルタを適用する。本フラグが０に等しい場合、ポストフィルタを適用しない。
asps_geometry_post_filter_id：ポストフィルタを識別するためのIDを示す。
asps_geometry_post_filter_layer_idc：ポストフィルタを適用するジオメトリ画像のレ
イヤを示す。値が１に等しい場合、Nearレイヤの画像にのみポストフィルタを適用する。値が２に等しい場合、Farレイヤの画像にのみポストフィルタを適用する。値が３に等し
い場合、Nearレイヤ及びFarレイヤの画像にポストフィルタを適用する。
asps_attribute_post_filter_enabled_flag：アトリビュート画像にポストフィルタを適
用するか否かを示すフラグである。本フラグが１に等しい場合、asps_attribute_post_filter_id, asps_attribute_post_filter_layer_idcの値に基づきポストフィルタを適用する。本フラグが０に等しい場合、ポストフィルタを適用しない。
asps_attribute_post_filter_id：ポストフィルタを識別するためのIDを示す。
asps_attribute_post_filter_layer_idc：ポストフィルタを適用するアトリビュート画像のレイヤを示す。値が１に等しい場合、Nearレイヤの画像にのみポストフィルタを適用する。値が２に等しい場合、Farレイヤの画像にのみポストフィルタを適用する。値が３に
等しい場合、Nearレイヤ及びFarレイヤの画像にポストフィルタを適用する。
asps_post_filter_enabled_flag：ポストフィルタを適用するか否かを示すフラグである
。本フラグが１に等しい場合、asps_geometry_post_filter_enabled_flag, asps_attribute_post_filter_enabled_flagに基づきポストフィルタを適用する。本フラグが０に等しい場合、ポストフィルタを適用しない。
asps_geometry_post_filter_enabled_flag：ジオメトリ画像にポストフィルタを適用するか否かを示すフラグである。本フラグが１に等しい場合、asps_geometry_post_filter_id, asps_geometry_post_filter_layer_idcの値に基づきポストフィルタを適用する。本フラグが０に等しい場合、ポストフィルタを適用しない。
asps_geometry_post_filter_id：ポストフィルタを識別するためのIDを示す。
asps_geometry_post_filter_layer_idc：ポストフィルタを適用するジオメトリ画像のレ
イヤを示す。値が１に等しい場合、Nearレイヤの画像にのみポストフィルタを適用する。値が２に等しい場合、Farレイヤの画像にのみポストフィルタを適用する。値が３に等し
い場合、Nearレイヤ及びFarレイヤの画像にポストフィルタを適用する。
asps_attribute_post_filter_enabled_flag：アトリビュート画像にポストフィルタを適
用するか否かを示すフラグである。本フラグが１に等しい場合、asps_attribute_post_filter_id, asps_attribute_post_filter_layer_idcの値に基づきポストフィルタを適用する。本フラグが０に等しい場合、ポストフィルタを適用しない。
asps_attribute_post_filter_id：ポストフィルタを識別するためのIDを示す。
asps_attribute_post_filter_layer_idc：ポストフィルタを適用するアトリビュート画像のレイヤを示す。値が１に等しい場合、Nearレイヤの画像にのみポストフィルタを適用する。値が２に等しい場合、Farレイヤの画像にのみポストフィルタを適用する。値が３に
等しい場合、Nearレイヤ及びFarレイヤの画像にポストフィルタを適用する。
【0076】
ジオメトリ画像フィルタパラメータ導出部107は、上記セマンティクスに従って、asps_post_filter_enabled_flag, asps_geometry_post_filter_enabled_flag, asps_geometry_post_filter_id, asps_geometry_post_filter_layer_idcの値を設定する。
【0077】
アトリビュート画像フィルタパラメータ導出部110は、上記セマンティクスに従って、asps_post_filter_enabled_flag, asps_attribute_post_filter_enabled_flag, asps_attribute_post_filter_id, asps_attribute_post_filter_layer_idcの値を設定する。
【0078】
上記の構成によれば、ジオメトリ画像とアトリビュート画像に独立にポストフィルタのオンオフ制御およびニューラルネットワークモデルの切替ができるので、好適な画質を伝送する効果を奏する。
【0079】
さらに、asps_geometry_post_filter_layer_idc、asps_attribute_post_filter_layer_idcで適用レイヤを選択する構成とすることで、NearレイヤとFarレイヤの画像に独立にポストフィルタのオンオフ制御ができるので、好適な画質を伝送する効果を奏する。
【0080】
上記の構成によれば、ジオメトリ画像とアトリビュート画像に独立にレイヤを選択できるので、好適な画質を伝送する効果を奏する。
【0081】
＜V3C拡張シンタックスのデータ構成＞
フィルタパラメータの伝送フォーマットの別の例を説明する。
フィルタパラメータの伝送フォーマットの別の例を説明する。
【0082】
図14は、フィルタパラメータをASPS(Atlas Sequence Parameter Set)拡張で伝送する構成のシンタックスの例である。各フィールドのセマンティクスは以下の通りである。
asps_extension_present_flag：本フラグが１に等しい場合、asps_miv_extension_present_flag, asps_vpcc_extension_present_flag, asps_extension_6bitsの各シンタックス要素が存在することを示す。本フラグが０に等しい場合、asps_miv_extension_present_flag, asps_vpcc_extension_present_flag, asps_extension_6bitsの各シンタックス要素が存在しないことを示す。
asps_vpcc_extension_present_flag：本フラグが１に等しい場合、asps_vpcc_extension(
)シンタックス構造が存在することを示す。本フラグが０に等しい場合、asps_vpcc_extension( )シンタックス構造が存在しないことを示す。
asps_post_filter_enabled_flag：本フラグが１に等しい場合、asps_post_filter_id, asps_post_filter_component_idc, asps_post_filter_layer_idcの各シンタックス要素が存在することを示す。本フラグが０に等しい場合、asps_post_filter_id, asps_post_filter_component_idc, asps_post_filter_layer_idcの各シンタックス要素が存在しないことを示す。
asps_post_filter_id：すでに記載の通り
asps_post_filter_component_idc：すでに記載の通り
asps_post_filter_layer_idc：すでに記載の通り
ジオメトリ画像フィルタパラメータ導出部107及び／又はアトリビュート画像フィルタ
パラメータ導出部110は、上記セマンティクスに従って、asps_vpcc_extension_present_flag, asps_post_filter_enabled_flag, asps_post_filter_id, asps_post_filter_component_idc, asps_post_filter_layer_idcの値を設定する。
asps_extension_present_flag：本フラグが１に等しい場合、asps_miv_extension_present_flag, asps_vpcc_extension_present_flag, asps_extension_6bitsの各シンタックス要素が存在することを示す。本フラグが０に等しい場合、asps_miv_extension_present_flag, asps_vpcc_extension_present_flag, asps_extension_6bitsの各シンタックス要素が存在しないことを示す。
asps_vpcc_extension_present_flag：本フラグが１に等しい場合、asps_vpcc_extension(
)シンタックス構造が存在することを示す。本フラグが０に等しい場合、asps_vpcc_extension( )シンタックス構造が存在しないことを示す。
asps_post_filter_enabled_flag：本フラグが１に等しい場合、asps_post_filter_id, asps_post_filter_component_idc, asps_post_filter_layer_idcの各シンタックス要素が存在することを示す。本フラグが０に等しい場合、asps_post_filter_id, asps_post_filter_component_idc, asps_post_filter_layer_idcの各シンタックス要素が存在しないことを示す。
asps_post_filter_id：すでに記載の通り
asps_post_filter_component_idc：すでに記載の通り
asps_post_filter_layer_idc：すでに記載の通り
ジオメトリ画像フィルタパラメータ導出部107及び／又はアトリビュート画像フィルタ
パラメータ導出部110は、上記セマンティクスに従って、asps_vpcc_extension_present_flag, asps_post_filter_enabled_flag, asps_post_filter_id, asps_post_filter_component_idc, asps_post_filter_layer_idcの値を設定する。
【0083】
さらに、上記V3Cの拡張データ構造として伝送する構成によれば、上述の好適な画質を
伝送する効果に加え、既存のV3C機器との後方互換性を保つことができる効果を奏する。
（フィルタパラメータをAFPSで伝送）
＜フィルタ選択情報を利用する構成＞
図15は、フィルタパラメータをAFPS(Atlas Frame Parameter Set)で伝送する構成のシ
ンタックスの例である。各フィールドのセマンティクスは以下の通りである。
afps_post_filter_enabled_flag：ポストフィルタを適用するか否かを示すフラグである
。本フラグが１に等しい場合、後述のafps_post_filter_id, afps_post_filter_component_idc, afps_post_filter_component_idcの値に基づきポストフィルタを適用する。本フラグが０に等しい場合、ポストフィルタを適用しない。
afps_post_filter_id：ポストフィルタを識別するためのIDを示す。
afps_post_filter_component_idc：ポストフィルタを適用するコンポーネント（ジオメトリ画像、アトリビュート画像などのV3C画像の種類）を示す。値が１に等しい場合、ジオ
メトリ画像にのみポストフィルタを適用する。値が２に等しい場合、アトリビュート画像にのみポストフィルタを適用する。値が３に等しい場合、ジオメトリ画像及びアトリビュート画像にポストフィルタを適用する。
afps_post_filter_layer_idc：ポストフィルタを適用するレイヤを示す。値が１に等しい場合、Nearレイヤの画像にのみポストフィルタを適用する。値が２に等しい場合、Farレ
イヤの画像にのみポストフィルタを適用する。値が３に等しい場合、Nearレイヤ及びFar
レイヤの画像にポストフィルタを適用する。
伝送する効果に加え、既存のV3C機器との後方互換性を保つことができる効果を奏する。
（フィルタパラメータをAFPSで伝送）
＜フィルタ選択情報を利用する構成＞
図15は、フィルタパラメータをAFPS(Atlas Frame Parameter Set)で伝送する構成のシ
ンタックスの例である。各フィールドのセマンティクスは以下の通りである。
afps_post_filter_enabled_flag：ポストフィルタを適用するか否かを示すフラグである
。本フラグが１に等しい場合、後述のafps_post_filter_id, afps_post_filter_component_idc, afps_post_filter_component_idcの値に基づきポストフィルタを適用する。本フラグが０に等しい場合、ポストフィルタを適用しない。
afps_post_filter_id：ポストフィルタを識別するためのIDを示す。
afps_post_filter_component_idc：ポストフィルタを適用するコンポーネント（ジオメトリ画像、アトリビュート画像などのV3C画像の種類）を示す。値が１に等しい場合、ジオ
メトリ画像にのみポストフィルタを適用する。値が２に等しい場合、アトリビュート画像にのみポストフィルタを適用する。値が３に等しい場合、ジオメトリ画像及びアトリビュート画像にポストフィルタを適用する。
afps_post_filter_layer_idc：ポストフィルタを適用するレイヤを示す。値が１に等しい場合、Nearレイヤの画像にのみポストフィルタを適用する。値が２に等しい場合、Farレ
イヤの画像にのみポストフィルタを適用する。値が３に等しい場合、Nearレイヤ及びFar
レイヤの画像にポストフィルタを適用する。
【0084】
ジオメトリ画像フィルタパラメータ導出部107及び／又はアトリビュート画像フィルタ
パラメータ導出部110は、上記セマンティクスに従って、afps_post_filter_enabled_flag, afps_post_filter_id, afps_post_filter_component_idc, afps_post_filter_layer_idcの値を設定する。
パラメータ導出部110は、上記セマンティクスに従って、afps_post_filter_enabled_flag, afps_post_filter_id, afps_post_filter_component_idc, afps_post_filter_layer_idcの値を設定する。
【0085】
上記の構成によれば、本フィルタパラメータの伝送によって、復号装置の処理能力に応じた柔軟なポストフィルタのオンオフ制御を実現することができる。
【0086】
＜ジオメトリとアトリビュートで異なるフィルタ選択情報を利用する構成＞
図16は、フィルタパラメータをAFPS(Atlas Frame Parameter Set)で伝送する構成のシ
ンタックスの例である。各フィールドのセマンティクスは以下の通りである。
afps_post_filter_enabled_flag：ポストフィルタを適用するか否かを示すフラグである
。本フラグが１に等しい場合、afps_geometry_post_filter_enabled_flag, afps_attribute_post_filter_enabled_flagに基づきポストフィルタを適用する。本フラグが０に等しい場合、ポストフィルタを適用しない。
afps_geometry_post_filter_enabled_flag：ジオメトリ画像にポストフィルタを適用するか否かを示すフラグである。本フラグが１に等しい場合、afps_geometry_post_filter_id, afps_geometry_post_filter_layer_idcの値に基づきポストフィルタを適用する。本フラグが０に等しい場合、ポストフィルタを適用しない。
afps_geometry_post_filter_id：ポストフィルタを識別するためのIDを示す。
afps_geometry_post_filter_layer_idc：ポストフィルタを適用するジオメトリ画像のレ
イヤを示す。値が１に等しい場合、Nearレイヤの画像にのみポストフィルタを適用する。値が２に等しい場合、Farレイヤの画像にのみポストフィルタを適用する。値が３に等し
い場合、Nearレイヤ及びFarレイヤの画像にポストフィルタを適用する。
afps_attribute_post_filter_enabled_flag：アトリビュート画像にポストフィルタを適
用するか否かを示すフラグである。本フラグが１に等しい場合、afps_attribute_post_filter_id, afps_attribute_post_filter_layer_idcの値に基づきポストフィルタを適用する。本フラグが０に等しい場合、ポストフィルタを適用しない。
afps_attribute_post_filter_id：ポストフィルタを識別するためのIDを示す。
afps_attribute_post_filter_layer_idc：ポストフィルタを適用するアトリビュート画像のレイヤを示す。値が１に等しい場合、Nearレイヤの画像にのみポストフィルタを適用する。値が２に等しい場合、Farレイヤの画像にのみポストフィルタを適用する。値が３に
等しい場合、Nearレイヤ及びFarレイヤの画像にポストフィルタを適用する。
図16は、フィルタパラメータをAFPS(Atlas Frame Parameter Set)で伝送する構成のシ
ンタックスの例である。各フィールドのセマンティクスは以下の通りである。
afps_post_filter_enabled_flag：ポストフィルタを適用するか否かを示すフラグである
。本フラグが１に等しい場合、afps_geometry_post_filter_enabled_flag, afps_attribute_post_filter_enabled_flagに基づきポストフィルタを適用する。本フラグが０に等しい場合、ポストフィルタを適用しない。
afps_geometry_post_filter_enabled_flag：ジオメトリ画像にポストフィルタを適用するか否かを示すフラグである。本フラグが１に等しい場合、afps_geometry_post_filter_id, afps_geometry_post_filter_layer_idcの値に基づきポストフィルタを適用する。本フラグが０に等しい場合、ポストフィルタを適用しない。
afps_geometry_post_filter_id：ポストフィルタを識別するためのIDを示す。
afps_geometry_post_filter_layer_idc：ポストフィルタを適用するジオメトリ画像のレ
イヤを示す。値が１に等しい場合、Nearレイヤの画像にのみポストフィルタを適用する。値が２に等しい場合、Farレイヤの画像にのみポストフィルタを適用する。値が３に等し
い場合、Nearレイヤ及びFarレイヤの画像にポストフィルタを適用する。
afps_attribute_post_filter_enabled_flag：アトリビュート画像にポストフィルタを適
用するか否かを示すフラグである。本フラグが１に等しい場合、afps_attribute_post_filter_id, afps_attribute_post_filter_layer_idcの値に基づきポストフィルタを適用する。本フラグが０に等しい場合、ポストフィルタを適用しない。
afps_attribute_post_filter_id：ポストフィルタを識別するためのIDを示す。
afps_attribute_post_filter_layer_idc：ポストフィルタを適用するアトリビュート画像のレイヤを示す。値が１に等しい場合、Nearレイヤの画像にのみポストフィルタを適用する。値が２に等しい場合、Farレイヤの画像にのみポストフィルタを適用する。値が３に
等しい場合、Nearレイヤ及びFarレイヤの画像にポストフィルタを適用する。
【0087】
ジオメトリ画像フィルタパラメータ導出部107は、上記セマンティクスに従って、afps_post_filter_enabled_flag, afps_geometry_post_filter_enabled_flag, afps_geometry_post_filter_id, afps_geometry_post_filter_layer_idcの値を設定する。
【0088】
アトリビュート画像フィルタパラメータ導出部110は、上記セマンティクスに従って、afps_post_filter_enabled_flag, afps_attribute_post_filter_enabled_flag, afps_attribute_post_filter_id, afps_attribute_post_filter_layer_idcの値を設定する。
【0089】
上記の構成によれば、本フィルタパラメータの伝送によって、ジオメトリ画像とアトリビュート画像に独立にポストフィルタのオンオフ制御およびニューラルネットワークモデルの切替ができるので、好適な画質を伝送する効果を奏する。
【0090】
さらに、afps_geometry_post_filter_layer_idc、afps_attribute_post_filter_layer_idcで適用レイヤを選択する構成とすることで、NearレイヤとFarレイヤの画像に独立にポストフィルタのオンオフ制御ができるので、好適な画質を伝送する効果を奏する。
【0091】
＜V3C拡張シンタックスのデータ構成＞
フィルタパラメータの伝送フォーマットの別の例を説明する。
フィルタパラメータの伝送フォーマットの別の例を説明する。
【0092】
図17は、フィルタパラメータをAFPS(Atlas Frame Parameter Set)拡張で伝送する構成
のシンタックスの例である。各フィールドのセマンティクスは以下の通りである。
afps_extension_present_flag：本フラグが１に等しい場合、afps_miv_extension_present_flag, afps_vpcc_extension_present_flag, afps_extension_6bitsの各シンタックス要素が存在することを示す。本フラグが０に等しい場合、afps_miv_extension_present_flag, afps_vpcc_extension_present_flag, afps_extension_6bitsの各シンタックス要素が存在しないことを示す。
afps_vpcc_extension_present_flag：本フラグが１に等しい場合、afps_vpcc_extension(
)シンタックス構造が存在することを示す。本フラグが０に等しい場合、afps_vpcc_exte
nsion( )シンタックス構造が存在しないことを示す。
afps_post_filter_enabled_flag：本フラグが１に等しい場合、afps_post_filter_id, afps_post_filter_component_idc, afps_post_filter_layer_idcの各シンタックス要素が存在することを示す。本フラグが０に等しい場合、afps_post_filter_id, afps_post_filter_component_idc, afps_post_filter_layer_idcの各シンタックス要素が存在しないことを示す。
afps_post_filter_id：すでに記載の通り
afps_post_filter_component_idc：すでに記載の通り
afps_post_filter_layer_idc：すでに記載の通り
さらに、上記V3Cの拡張データ構造として伝送する構成によれば、上述の好適な画質を
伝送する効果に加え、既存のV3C機器との後方互換性を保つことができる効果を奏する。
のシンタックスの例である。各フィールドのセマンティクスは以下の通りである。
afps_extension_present_flag：本フラグが１に等しい場合、afps_miv_extension_present_flag, afps_vpcc_extension_present_flag, afps_extension_6bitsの各シンタックス要素が存在することを示す。本フラグが０に等しい場合、afps_miv_extension_present_flag, afps_vpcc_extension_present_flag, afps_extension_6bitsの各シンタックス要素が存在しないことを示す。
afps_vpcc_extension_present_flag：本フラグが１に等しい場合、afps_vpcc_extension(
)シンタックス構造が存在することを示す。本フラグが０に等しい場合、afps_vpcc_exte
nsion( )シンタックス構造が存在しないことを示す。
afps_post_filter_enabled_flag：本フラグが１に等しい場合、afps_post_filter_id, afps_post_filter_component_idc, afps_post_filter_layer_idcの各シンタックス要素が存在することを示す。本フラグが０に等しい場合、afps_post_filter_id, afps_post_filter_component_idc, afps_post_filter_layer_idcの各シンタックス要素が存在しないことを示す。
afps_post_filter_id：すでに記載の通り
afps_post_filter_component_idc：すでに記載の通り
afps_post_filter_layer_idc：すでに記載の通り
さらに、上記V3Cの拡張データ構造として伝送する構成によれば、上述の好適な画質を
伝送する効果に加え、既存のV3C機器との後方互換性を保つことができる効果を奏する。
【0093】
ジオメトリ画像フィルタ部107及び／又はアトリビュート画像フィルタパラメータ導出
部110は、上記セマンティクスに従って、afps_vpcc_extension_present_flag, afps_post_filter_enabled_flag, afps_post_filter_id, afps_post_filter_component_idc, afps_post_filter_layer_idcの値を設定する。
（フィルタパラメータをISOBMFF boxで伝送）
フィルタパラメータの伝送フォーマットの別の例を説明する。
部110は、上記セマンティクスに従って、afps_vpcc_extension_present_flag, afps_post_filter_enabled_flag, afps_post_filter_id, afps_post_filter_component_idc, afps_post_filter_layer_idcの値を設定する。
（フィルタパラメータをISOBMFF boxで伝送）
フィルタパラメータの伝送フォーマットの別の例を説明する。
【0094】
図18は、フィルタパラメータをISOBMFF(ISO Base Media File Format)のv3cC boxで伝
送する構成のシンタックスの例である。各フィールドのセマンティクスは以下の通りである。
V3CPostFilterConfigurationRecord()：フィルタパラメータを格納するための構造体である。
geometry_post_filter_enabled_flag：ジオメトリ画像にポストフィルタを適用するか否
かを示すフラグである。本フラグが１に等しい場合、geometry_post_filter_id, geometry_post_filter_layer_idcの値に基づきポストフィルタを適用する。本フラグが０に等しい場合、ポストフィルタを適用しない。
geometry_post_filter_id：ポストフィルタを識別するためのIDを示す。
geometry_post_filter_layer_idc：ポストフィルタを適用するレイヤを示す。値が１に等しい場合、Nearレイヤの画像にのみポストフィルタを適用する。値が２に等しい場合、Farレイヤの画像にのみポストフィルタを適用する。値が３に等しい場合、Nearレイヤ及びFarレイヤの画像にポストフィルタを適用する。
attribute_post_filter_enabled_flag：アトリビュート画像にポストフィルタを適用するか否かを示すフラグである。本フラグが１に等しい場合、attribute_post_filter_id, attribute_post_filter_layer_idcの値に基づきポストフィルタを適用する。本フラグが０に等しい場合、ポストフィルタを適用しない。
attribute_post_filter_id：ポストフィルタを識別するためのIDを示す。
attribute_post_filter_layer_idc：ポストフィルタを適用するレイヤを示す。値が１に
等しい場合、Nearレイヤの画像にのみポストフィルタを適用する。値が２に等しい場合、Farレイヤの画像にのみポストフィルタを適用する。値が３に等しい場合、Nearレイヤ及
びFarレイヤの画像にポストフィルタを適用する。
送する構成のシンタックスの例である。各フィールドのセマンティクスは以下の通りである。
V3CPostFilterConfigurationRecord()：フィルタパラメータを格納するための構造体である。
geometry_post_filter_enabled_flag：ジオメトリ画像にポストフィルタを適用するか否
かを示すフラグである。本フラグが１に等しい場合、geometry_post_filter_id, geometry_post_filter_layer_idcの値に基づきポストフィルタを適用する。本フラグが０に等しい場合、ポストフィルタを適用しない。
geometry_post_filter_id：ポストフィルタを識別するためのIDを示す。
geometry_post_filter_layer_idc：ポストフィルタを適用するレイヤを示す。値が１に等しい場合、Nearレイヤの画像にのみポストフィルタを適用する。値が２に等しい場合、Farレイヤの画像にのみポストフィルタを適用する。値が３に等しい場合、Nearレイヤ及びFarレイヤの画像にポストフィルタを適用する。
attribute_post_filter_enabled_flag：アトリビュート画像にポストフィルタを適用するか否かを示すフラグである。本フラグが１に等しい場合、attribute_post_filter_id, attribute_post_filter_layer_idcの値に基づきポストフィルタを適用する。本フラグが０に等しい場合、ポストフィルタを適用しない。
attribute_post_filter_id：ポストフィルタを識別するためのIDを示す。
attribute_post_filter_layer_idc：ポストフィルタを適用するレイヤを示す。値が１に
等しい場合、Nearレイヤの画像にのみポストフィルタを適用する。値が２に等しい場合、Farレイヤの画像にのみポストフィルタを適用する。値が３に等しい場合、Nearレイヤ及
びFarレイヤの画像にポストフィルタを適用する。
【0095】
上記ファイルフォーマット構造としてフィルタパラメータを伝送する構成によれば、上述の好適な画質を伝送する効果に加え、ISOBMFFを扱い多くのソフトウェア・ハードウェ
アで小さな設計変更で、フィルタパラメータに適用させることができる効果を奏する。
アで小さな設計変更で、フィルタパラメータに適用させることができる効果を奏する。
【0096】
図19は、フィルタパラメータをISOBMFF(ISO Base Media File Format)のv3cP box（新
規）で伝送する構成のシンタックスの例である。各フィールドのセマンティクスは以下の通りである。
pf_config：V3Cコンポーネントのポストフィルタ設定を格納するためのv3cPボックスである。
規）で伝送する構成のシンタックスの例である。各フィールドのセマンティクスは以下の通りである。
pf_config：V3Cコンポーネントのポストフィルタ設定を格納するためのv3cPボックスである。
【0097】
ジオメトリ画像フィルタパラメータ導出部107は、上記セマンティクスに従って、geometry_post_filter_enabled_flag, geometry_post_filter_id, geometry_post_filter_layer_idcの値を設定する。
【0098】
アトリビュート画像フィルタパラメータ導出部110は、上記セマンティクスに従って、attribute_post_filter_enabled_flag, attribute_post_filter_id, attribute_post_filter_layer_idcの値を設定する。
【0099】
上述のように、フィルタ処理を行うことにより、ジオメトリ画像及び／又はアトリビュート画像の符号化による歪を低減し、3Dデータを高品質に符号化・復号することができる。
【0100】
（第1の実施形態に係る3Dデータ復号装置の構成）
図6は、第1の実施形態に係る3Dデータ復号装置31の概略構成を示す機能ブロック図である。
図6は、第1の実施形態に係る3Dデータ復号装置31の概略構成を示す機能ブロック図である。
【0101】
3Dデータ復号装置31は、逆多重化・復号部301、アトラス情報復号部302、オキュパンシマップ復号部303、ジオメトリ画像復号部304、ジオメトリ画像フィルタ部305、ジオメト
リ再構成部306、アトリビュート画像復号部307、アトリビュート画像フィルタ部308、ア
トリビュート再構成部309、3Dデータ再構成部310から構成される。
リ再構成部306、アトリビュート画像復号部307、アトリビュート画像フィルタ部308、ア
トリビュート再構成部309、3Dデータ再構成部310から構成される。
【0102】
逆多重化・復号部301は、バイトストリームフォーマット、ISOBMFFなどで多重化された符号化データを入力し、逆多重化して、アトラス情報符号化ストリーム、オキュパンシマップ符号化ストリーム、ジオメトリ画像符号化ストリーム、アトリビュート画像符号化ストリーム、フィルタパラメータを出力する。
【0103】
逆多重化・復号部301は、符号化データから、上記pfp_id、pfp_purpose：pfp_id、pfp_V3C_geometry_enabled_flag、pfp_V3C_geometry_layer_idc、pfp_V3C_attribute_enabled_flag、pfp_V3C_attribute_layer_idcを復号する。
【0104】
アトラス情報復号部302は、逆多重化・復号部301から出力されるアトラス情報符号化ストリームを入力し、アトラス情報を復号する。
【0105】
オキュパンシマップ復号部303は、VVC/H.266やHEVC/H.265などで符号化された符号化ストリームの復号機能を有し、逆多重化・復号部301から出力されるオキュパンシマップ符
号化ストリームを入力し、オキュパンシマップを出力する。
号化ストリームを入力し、オキュパンシマップを出力する。
【0106】
ジオメトリ画像復号部304は、VVC/H.266やHEVC/H.265などで符号化された符号化ストリームの復号機能を有し、逆多重化・復号部301から出力されるジオメトリ画像符号化ストリームを入力し、ジオメトリ画像を出力する。
【0107】
ジオメトリ画像フィルタ部305は、線形フィルタ、ニューラルネットワークベースのフ
ィルタ（NNフィルタ部）などのフィルタ機能を有し、ジオメトリ画像復号部304から出力
されるジオメトリ画像を入力し、逆多重化・復号部301から出力されるフィルタパラメー
タ（例えば、対象コンポーネントの種類や対象レイヤ）に基づきフィルタ処理を行い、ジオメトリ画像のフィルタ処理画像を出力する。
ィルタ（NNフィルタ部）などのフィルタ機能を有し、ジオメトリ画像復号部304から出力
されるジオメトリ画像を入力し、逆多重化・復号部301から出力されるフィルタパラメー
タ（例えば、対象コンポーネントの種類や対象レイヤ）に基づきフィルタ処理を行い、ジオメトリ画像のフィルタ処理画像を出力する。
【0108】
ジオメトリ再構成部306は、アトラス情報復号部302から出力されるアトラス情報、オキュパンシマップ復号部303から出力されるオキュパンシマップ、ジオメトリ画像フィルタ部305から出力されるジオメトリ画像を入力し、3D空間におけるジオメトリ（デプス情報）を再構成する。
【0109】
アトリビュート画像復号部307は、VVC/H.266やHEVC/H.265などで符号化された符号化ストリームの復号機能を有し、逆多重化・復号部301から出力されるアトリビュート符号化
ストリームを入力し、アトリビュート画像を出力する。
ストリームを入力し、アトリビュート画像を出力する。
【0110】
アトリビュート画像フィルタ部308は、線形フィルタ、ニューラルネットワークベース
のフィルタ（NNフィルタ部）などのフィルタ機能を有し、アトリビュート画像復号部307
から出力されるアトリビュート画像を入力し、逆多重化・復号部301から出力されるフィ
ルタパラメータ（例えば、対象コンポーネントの種類や対象レイヤ）に基づきフィルタ処理を行い、アトリビュート画像のフィルタ処理画像を出力する。
のフィルタ（NNフィルタ部）などのフィルタ機能を有し、アトリビュート画像復号部307
から出力されるアトリビュート画像を入力し、逆多重化・復号部301から出力されるフィ
ルタパラメータ（例えば、対象コンポーネントの種類や対象レイヤ）に基づきフィルタ処理を行い、アトリビュート画像のフィルタ処理画像を出力する。
【0111】
アトリビュート再構成部309は、アトラス情報復号部302から出力されるアトラス情報、オキュパンシマップ復号部303から出力されるオキュパンシマップ、アトリビュート画像
フィルタ部308から出力されるアトリビュート画像を入力し、3D空間におけるアトリビュ
ート（カラー情報）を再構成する。
フィルタ部308から出力されるアトリビュート画像を入力し、3D空間におけるアトリビュ
ート（カラー情報）を再構成する。
【0112】
3Dデータ再構成部310は、再構成されたジオメトリ情報及びアトリビュート情報に基づ
き、再構成し、3Dデータのポイントクラウドデータもしくはメッシュデータを導出する。
き、再構成し、3Dデータのポイントクラウドデータもしくはメッシュデータを導出する。
【0113】
（NNフィルタ部）
以下、ジオメトリ画像フィルタ部305、アトリビュート画像フィルタ部308が内部で備える（もしくは動作を呼び出す）NNフィルタ部について説明する。NNフィルタ部は、フィルタ対象画像がジオメトリ画像であるか、アトリビュート画像であるかに応じてニューラルネットワークのモデル（コンボリューションの数や層の数、カーネルサイズ、接続関係などのトポロジー）やモデルを構成する重み係数の値、バイアス係数の値を変更してもよい。
以下、ジオメトリ画像フィルタ部305、アトリビュート画像フィルタ部308が内部で備える（もしくは動作を呼び出す）NNフィルタ部について説明する。NNフィルタ部は、フィルタ対象画像がジオメトリ画像であるか、アトリビュート画像であるかに応じてニューラルネットワークのモデル（コンボリューションの数や層の数、カーネルサイズ、接続関係などのトポロジー）やモデルを構成する重み係数の値、バイアス係数の値を変更してもよい。
【0114】
ここで、ニューラルネットワークモデル（以下、NNモデル）とは、ニューラルネットワークの要素および結合関係（トポロジー）と、ニューラルネットワークのパラメータ（重み、バイアス）を意味する。なお、トポロジーを固定して、ニューラルネットワークモデルはパラメータのみを切り替えても良い。
【0115】
(NNフィルタ部の詳細)
NNフィルタ部は入力画像inSamplesと入力パラメータ(例えば、QP、bSなど)を用いて、
ニューラルネットワークモデルによるフィルタ処理を行う。入力画像は、コンポーネントごとの画像であってもよいし、複数コンポーネントをそれぞれチャネルとして持つ画像であってもよい。また、入力パラメータは画像と異なるチャネルに割り当ててもよい。
NNフィルタ部は入力画像inSamplesと入力パラメータ(例えば、QP、bSなど)を用いて、
ニューラルネットワークモデルによるフィルタ処理を行う。入力画像は、コンポーネントごとの画像であってもよいし、複数コンポーネントをそれぞれチャネルとして持つ画像であってもよい。また、入力パラメータは画像と異なるチャネルに割り当ててもよい。
【0116】
NNフィルタ部は、以下の処理を繰り返し適用してもよい。
【0117】
NNフィルタ部は、inSamplesにカーネルk[m][i][j]を畳み込み演算(conv,convolution)
し、biasを加算した出力画像outSamplesを導出する。ここで、nn=0..n-1、xx=0..width-1、yy=0..height-1である。
し、biasを加算した出力画像outSamplesを導出する。ここで、nn=0..n-1、xx=0..width-1、yy=0..height-1である。
【0118】
outSamples[nn][xx][yy]=ΣΣΣ(k[mm][i][j]*inSamples[mm][xx+i-of][yy+j-of]+bias[nn])
1x1 Convの場合、Σは、各々mm=0..m-1、i=0、j=0の総和を表す。このとき、of=0を設定
する。3x3 Convの場合、Σは各々mm=0..m-1、i=0..2、j=0..2の総和を表す。このとき、of=1を設定する。nはoutSamplesのチャネル数、mはinSamplesのチャネル数、widthはinSamplesとoutSamplesの幅、heightはinSamplesとoutSamplesの高さである。ofは、inSamplesとoutSamplesのサイズを同一にするために、inSamplesの周囲に設けるパディング領域のサイズである。以下、NNフィルタ部の出力が画像ではなく値（補正値）の場合には、outSamplesの代わりにcorrNNで出力を表わす。
1x1 Convの場合、Σは、各々mm=0..m-1、i=0、j=0の総和を表す。このとき、of=0を設定
する。3x3 Convの場合、Σは各々mm=0..m-1、i=0..2、j=0..2の総和を表す。このとき、of=1を設定する。nはoutSamplesのチャネル数、mはinSamplesのチャネル数、widthはinSamplesとoutSamplesの幅、heightはinSamplesとoutSamplesの高さである。ofは、inSamplesとoutSamplesのサイズを同一にするために、inSamplesの周囲に設けるパディング領域のサイズである。以下、NNフィルタ部の出力が画像ではなく値（補正値）の場合には、outSamplesの代わりにcorrNNで出力を表わす。
【0119】
なお、CWH形式のinSamples、outSamplesではなくCHW形式のinputTensor、outTensorで
記述すると以下の処理と等価である。
記述すると以下の処理と等価である。
【0120】
outTensor[nn][yy][xx]=ΣΣΣ(k[mm][i][j]*inputTensor[mm][yy+j-of][xx+i-of]+bias[nn])
また、Depth wise Convと呼ばれる以下の式で示す処理を行ってもよい。ここで、nn=0..n-1、xx=0..width-1、yy=0..height-1である。
また、Depth wise Convと呼ばれる以下の式で示す処理を行ってもよい。ここで、nn=0..n-1、xx=0..width-1、yy=0..height-1である。
【0121】
outSamples[nn][xx][yy]=ΣΣ(k[nn][i][j]*inSamples[nn][xx+i-of][yy+j-of]+bias[nn])
Σは各々i、jに対する総和を表す。nはoutSamplesとinSamplesのチャネル数、widthはinSamplesとoutSamplesの幅、heightはinSamplesとoutSamplesの高さである。
Σは各々i、jに対する総和を表す。nはoutSamplesとinSamplesのチャネル数、widthはinSamplesとoutSamplesの幅、heightはinSamplesとoutSamplesの高さである。
【0122】
またActivateと呼ばれる非線形処理、たとえばReLUを用いてもよい。
ReLU(x) = x >= 0 ? x : 0
また以下の式に示すleakyReLUを用いてもよい。
ReLU(x) = x >= 0 ? x : 0
また以下の式に示すleakyReLUを用いてもよい。
【0123】
leakyReLU(x) = x >= 0 ? x : a * x
ここでaは所定の値、例えば0.1や0.125である。また整数演算を行うために上記の全てのk、bias、aの値を整数として、convの後に右シフトを行ってもよい。
ここでaは所定の値、例えば0.1や0.125である。また整数演算を行うために上記の全てのk、bias、aの値を整数として、convの後に右シフトを行ってもよい。
【0124】
ReLUでは0未満の値に対しては常に0、それ以上の値に対しては入力値がそのまま出力される。一方、leakyReLUでは、0未満の値に対して、aで設定された勾配で線形処理が行わ
れる。ReLUでは0未満の値に対する勾配が消失するため、学習が進みにくくなる場合があ
る。leakyReLUでは0未満の値に対する勾配が残され、上記問題が起こりにくくなる。また、上記leakyReLU(x)のうち、aの値をパラメータ化して用いるPReLUを用いてもよい。
れる。ReLUでは0未満の値に対する勾配が消失するため、学習が進みにくくなる場合があ
る。leakyReLUでは0未満の値に対する勾配が残され、上記問題が起こりにくくなる。また、上記leakyReLU(x)のうち、aの値をパラメータ化して用いるPReLUを用いてもよい。
【0125】
NNフィルタ部は、NNフィルタに画像データを入力するにあたり、nnrpf_input_format_idcの値に基づき、復号されたジオメトリ画像もしくはアトリビュート画像を3次元配列で
あるNN入力データinputTensor[][][]に変換する。
以下、x,yは輝度画素の座標を表す。例えばComponentSampleにおいてxとyの範囲はそれぞれx=0..LumaWidth-1, y=LumaHeight-1である。cx,cyは色差画素の座標を表し、cxとcyの
範囲はそれぞれcx=0..ChromaWidth-1, cy=ChromaHeight-1である。以下のNNフィルタ部611は、この範囲を処理する。
nnrpf_input_format_idcが0（pfp_component_idc==0）の場合、NNフィルタ部はinputTensorを以下で導出する。
あるNN入力データinputTensor[][][]に変換する。
以下、x,yは輝度画素の座標を表す。例えばComponentSampleにおいてxとyの範囲はそれぞれx=0..LumaWidth-1, y=LumaHeight-1である。cx,cyは色差画素の座標を表し、cxとcyの
範囲はそれぞれcx=0..ChromaWidth-1, cy=ChromaHeight-1である。以下のNNフィルタ部611は、この範囲を処理する。
nnrpf_input_format_idcが0（pfp_component_idc==0）の場合、NNフィルタ部はinputTensorを以下で導出する。
【0126】
inputTensor[0][y][x] = ComponentSample[0][x][y]
nnrpf_input_format_idcが1（pfp_component_idc==1）の場合、inputTensorを以下で導出する：
inputTensor[0][cy][cx] = ComponentSample[1][cx][cy]
inputTensor[1][cy][cx] = ComponentSample[2][cx][cy]
また以下でもよい：
inputTensor[0][y/SH][x/SW] = ComponentSample[1][x/SW][y/SH]
inputTensor[1][y/SH][x/SW] = ComponentSample[2][x/SW][y/SH]
nnrpf_input_format_idcが2（pfp_component_idc==2）の場合、inputTensorを以下で導出する：
inputTensor[0][y][x] = ComponentSample[0][x][y]
ChromaOffset = 1<<(BitDepthC-1)
inputTensor[1][y][x]
= ChromaFormatIdc==0 ? ChromaOffset : ComponentSample[1][x/SW][y/SH]
inputTensor[2][y][x]
= ChromaFormatIdc==0 ? ChromaOffset : ComponentSample[2][x/SW][y/SH]
nnrpf_input_format_idcが3の場合は、inputTensorは以下で導出する：
inputTensor[0][cy][cx] = ComponentSample[0][cx*2 ][cy*2 ]
inputTensor[1][cy][cx] = ComponentSample[0][cx*2+1][cy*2 ]
inputTensor[2][cy][cx] = ComponentSample[0][cx*2 ][cy*2+1]
inputTensor[3][cy][cx] = ComponentSample[0][cx*2+1][cy*2+1]
ChromaOffset = 1<<(BitDepthC-1)
inputTensor[4][cy][cx]
= ChromaFormatIdc==0 ? ChromaOffset : ComponentSample[1][cx][cy]
inputTensor[5][cy][cx]
= ChromaFormatIdc==0 ? ChromaOffset : ComponentSample[2][cx][cy]
さらに、
NNフィルタ部は、nnrpf_output_format_idcの値に基づき、NNフィルタの出力データで
ある3次元配列のNN出力データoutputTensor[][][]から出力画像outSamplesを導出する。nnrpf_output_format_idcの値と出力画像の色差サブサンプリング値outSW、outSHに基づき、以下のように、画像を導出する。なお、outSW、outSHは、符号化データから復号したOutputChromaFormatIdcに基づいて導出される値を用いる。以下、x,yは出力画像の輝度画素の座標を表す。例えばoutputTensorにおいてxとyの範囲はそれぞれx = 0..outLumaWidth-1, y = outLumaHeight-1 である。cx,cyは出力画像の色差画素の座標を表し、cxとcyの範囲はそれぞれcx = 0..outChromaWidth-1, cy = 0..outChromaHeight-1である。以下のNNフィルタ部611は、この範囲を処理する。outSamplesL、outSamplesCb、outSamplesCrはそれぞれ出力画像の輝度チャネル、色差(Cb)チャネル、色差(Cr)チャネルを表す。
nnrpf_input_format_idcが1（pfp_component_idc==1）の場合、inputTensorを以下で導出する：
inputTensor[0][cy][cx] = ComponentSample[1][cx][cy]
inputTensor[1][cy][cx] = ComponentSample[2][cx][cy]
また以下でもよい：
inputTensor[0][y/SH][x/SW] = ComponentSample[1][x/SW][y/SH]
inputTensor[1][y/SH][x/SW] = ComponentSample[2][x/SW][y/SH]
nnrpf_input_format_idcが2（pfp_component_idc==2）の場合、inputTensorを以下で導出する：
inputTensor[0][y][x] = ComponentSample[0][x][y]
ChromaOffset = 1<<(BitDepthC-1)
inputTensor[1][y][x]
= ChromaFormatIdc==0 ? ChromaOffset : ComponentSample[1][x/SW][y/SH]
inputTensor[2][y][x]
= ChromaFormatIdc==0 ? ChromaOffset : ComponentSample[2][x/SW][y/SH]
nnrpf_input_format_idcが3の場合は、inputTensorは以下で導出する：
inputTensor[0][cy][cx] = ComponentSample[0][cx*2 ][cy*2 ]
inputTensor[1][cy][cx] = ComponentSample[0][cx*2+1][cy*2 ]
inputTensor[2][cy][cx] = ComponentSample[0][cx*2 ][cy*2+1]
inputTensor[3][cy][cx] = ComponentSample[0][cx*2+1][cy*2+1]
ChromaOffset = 1<<(BitDepthC-1)
inputTensor[4][cy][cx]
= ChromaFormatIdc==0 ? ChromaOffset : ComponentSample[1][cx][cy]
inputTensor[5][cy][cx]
= ChromaFormatIdc==0 ? ChromaOffset : ComponentSample[2][cx][cy]
さらに、
NNフィルタ部は、nnrpf_output_format_idcの値に基づき、NNフィルタの出力データで
ある3次元配列のNN出力データoutputTensor[][][]から出力画像outSamplesを導出する。nnrpf_output_format_idcの値と出力画像の色差サブサンプリング値outSW、outSHに基づき、以下のように、画像を導出する。なお、outSW、outSHは、符号化データから復号したOutputChromaFormatIdcに基づいて導出される値を用いる。以下、x,yは出力画像の輝度画素の座標を表す。例えばoutputTensorにおいてxとyの範囲はそれぞれx = 0..outLumaWidth-1, y = outLumaHeight-1 である。cx,cyは出力画像の色差画素の座標を表し、cxとcyの範囲はそれぞれcx = 0..outChromaWidth-1, cy = 0..outChromaHeight-1である。以下のNNフィルタ部611は、この範囲を処理する。outSamplesL、outSamplesCb、outSamplesCrはそれぞれ出力画像の輝度チャネル、色差(Cb)チャネル、色差(Cr)チャネルを表す。
【0127】
nnrpf_output_format_idcが0の場合、NNフィルタ部はoutSamplesLを以下で導出する。
【0128】
outSamplesL[x][y] = outputTensor[0][y][x]
nnrpf_output_format_idcが1の場合、outSamplesCb、outSamplesCrを以下で導出する。
nnrpf_output_format_idcが1の場合、outSamplesCb、outSamplesCrを以下で導出する。
【0129】
outSamplesCb[cx][cy] = outputTensor[0][cy][cx]
outSamplesCr[cx][cy] = outputTensor[1][cy][cx]
nnrpf_output_format_idcが2の場合、outSamplesL、outSamplesCb、outSamplesCを以下で導出する。
outSamplesCr[cx][cy] = outputTensor[1][cy][cx]
nnrpf_output_format_idcが2の場合、outSamplesL、outSamplesCb、outSamplesCを以下で導出する。
【0130】
outSamplesL[x][y] = outputTensor[0][y][x]
outSamplesCb[x/outSW][y/outSH] = outputTensor[1][y][x]
outSamplesCr[x/outSW][y/outSH] = outputTensor[2][y][x]
またはoutSamplesCb、outSamplesCrを以下で導出してもよい。
outSamplesCb[x/outSW][y/outSH] = outputTensor[1][y][x]
outSamplesCr[x/outSW][y/outSH] = outputTensor[2][y][x]
またはoutSamplesCb、outSamplesCrを以下で導出してもよい。
【0131】
outSamplesCb[cx][cy] = outputTensor[1][cy*outSH][cx*outSW]
outSamplesCr[cx][cy] = outputTensor[2][cy*outSH][cx*outSW]
nnrpf_output_format_idcが3の場合は、outSamplesLを以下で導出する：
outSamplesL[x/2*2 ][y/2*2 ] = outputTensor[0][y/2][x/2]
outSamplesL[x/2*2+1][y/2*2 ] = outputTensor[1][y/2][x/2]
outSamplesL[x/2*2 ][y/2*2+1] = outputTensor[2][y/2][x/2]
outSamplesL[x/2*2+1][y/2*2+1] = outputTensor[3][y/2][x/2]
またはoutSamplesLを以下で導出してもよい：
outSamplesL[cx*2 ][cy*2 ] = outputTensor[0][cy][cx]
outSamplesL[cx*2+1][cy*2 ] = outputTensor[1][cy][cx]
outSamplesL[cx*2 ][cy*2+1] = outputTensor[2][cy][cx]
outSamplesL[cx*2+1][cy*2+1] = outputTensor[3][cy][cx]
さらにnnrpf_output_format_idcが3の場合、出力画像が4:2:0形式（出力画像のChromaFormatIdcが1, SW=SH=2）であれば、outSamplesCb、outSamplesCrを以下で導出する：
outSamplesCb[cx][cy] = outputTensor[4][cy][cx]
outSamplesCr[cx][cy] = outputTensor[5][cy][cx]
あるいは、出力画像が4:2:2形式（出力画像のChromaFormatIdcが2, SW=2, SH=1）であれ
ば、outSamplesCb, outSamplesCrを以下で導出する：
outSamplesCb[cx][cy/2*2 ] = outputTensor[4][cy][cx]
outSamplesCb[cx][cy/2*2+1] = outputTensor[4][cy][cx]
outSamplesCr[cx][cy/2*2 ] = outputTensor[5][cy][cx]
outSamplesCr[cx][cy/2*2+1] = outputTensor[5][cy][cx]
あるいは、出力画像が4:4:4形式（出力画像のChromaFormatIdcが3, SW=SH=1）であれば、outSamplesCb, outSamplesCrを以下で導出する：
outSamplesCb[cx/2*2 ][cy/2*2 ] = outputTensor[4][cy][cx]
outSamplesCb[cx/2*2+1][cy/2*2+1] = outputTensor[4][cy][cx]
outSamplesCr[cx/2*2 ][cy/2*2 ] = outputTensor[5][cy][cx]
outSamplesCr[cx/2*2+1][cy/2*2+1] = outputTensor[5][cy][cx]
（フィルタパラメータをSEIから復号・導出）
逆多重化・復号部301は、符号化データから図9の形式のフィルタパラメータを復号し、ジオメトリ画像フィルタ部305及び／アトリビュート画像フィルタ部308は、pfp_V3C_component_idcの示すコンポーネントの、pfp_V3C_layer_idcの示すレイヤの画像に対してフィルタ処理を行う。
outSamplesCr[cx][cy] = outputTensor[2][cy*outSH][cx*outSW]
nnrpf_output_format_idcが3の場合は、outSamplesLを以下で導出する：
outSamplesL[x/2*2 ][y/2*2 ] = outputTensor[0][y/2][x/2]
outSamplesL[x/2*2+1][y/2*2 ] = outputTensor[1][y/2][x/2]
outSamplesL[x/2*2 ][y/2*2+1] = outputTensor[2][y/2][x/2]
outSamplesL[x/2*2+1][y/2*2+1] = outputTensor[3][y/2][x/2]
またはoutSamplesLを以下で導出してもよい：
outSamplesL[cx*2 ][cy*2 ] = outputTensor[0][cy][cx]
outSamplesL[cx*2+1][cy*2 ] = outputTensor[1][cy][cx]
outSamplesL[cx*2 ][cy*2+1] = outputTensor[2][cy][cx]
outSamplesL[cx*2+1][cy*2+1] = outputTensor[3][cy][cx]
さらにnnrpf_output_format_idcが3の場合、出力画像が4:2:0形式（出力画像のChromaFormatIdcが1, SW=SH=2）であれば、outSamplesCb、outSamplesCrを以下で導出する：
outSamplesCb[cx][cy] = outputTensor[4][cy][cx]
outSamplesCr[cx][cy] = outputTensor[5][cy][cx]
あるいは、出力画像が4:2:2形式（出力画像のChromaFormatIdcが2, SW=2, SH=1）であれ
ば、outSamplesCb, outSamplesCrを以下で導出する：
outSamplesCb[cx][cy/2*2 ] = outputTensor[4][cy][cx]
outSamplesCb[cx][cy/2*2+1] = outputTensor[4][cy][cx]
outSamplesCr[cx][cy/2*2 ] = outputTensor[5][cy][cx]
outSamplesCr[cx][cy/2*2+1] = outputTensor[5][cy][cx]
あるいは、出力画像が4:4:4形式（出力画像のChromaFormatIdcが3, SW=SH=1）であれば、outSamplesCb, outSamplesCrを以下で導出する：
outSamplesCb[cx/2*2 ][cy/2*2 ] = outputTensor[4][cy][cx]
outSamplesCb[cx/2*2+1][cy/2*2+1] = outputTensor[4][cy][cx]
outSamplesCr[cx/2*2 ][cy/2*2 ] = outputTensor[5][cy][cx]
outSamplesCr[cx/2*2+1][cy/2*2+1] = outputTensor[5][cy][cx]
（フィルタパラメータをSEIから復号・導出）
逆多重化・復号部301は、符号化データから図9の形式のフィルタパラメータを復号し、ジオメトリ画像フィルタ部305及び／アトリビュート画像フィルタ部308は、pfp_V3C_component_idcの示すコンポーネントの、pfp_V3C_layer_idcの示すレイヤの画像に対してフィルタ処理を行う。
【0132】
例えば、pfp_V3C_component_idcの値が２に等しく、pfp_V3C_layer_idcの値が１に等しい場合、アトリビュート画像フィルタ部308は、アトリビュート画像のNearレイヤの画像
に対してフィルタ処理を行う。あるいは、pfp_V3C_component_idcの値が２に等しく、pfp_V3C_layer_idcの値が３に等しい場合、アトリビュート画像フィルタ部308は、アトリビュート画像のNearレイヤ及びFarレイヤの画像に対してフィルタ処理を行う。
に対してフィルタ処理を行う。あるいは、pfp_V3C_component_idcの値が２に等しく、pfp_V3C_layer_idcの値が３に等しい場合、アトリビュート画像フィルタ部308は、アトリビュート画像のNearレイヤ及びFarレイヤの画像に対してフィルタ処理を行う。
【0133】
上記の構成によれば、本フィルタパラメータの伝送によって、復号装置の処理能力に応じた柔軟なポストフィルタのオンオフ制御を実現することができる。
【0134】
逆多重化・復号部301は、符号化データから図10の形式のフィルタパラメータを復号し
、ジオメトリ画像フィルタ部305は、pfp_V3C_geometry_enabled_flagの値が１に等しい場合、pfp_V3C_geometry_layer_idcの示すレイヤの画像に対してフィルタ処理を行う。アトリビュート画像フィルタ部308は、pfp_V3C_attribute_enabled_flagの値が１に等しい場
合、pfp_V3C_attribute_layer_idcの示すレイヤの画像に対してフィルタ処理を行う。
、ジオメトリ画像フィルタ部305は、pfp_V3C_geometry_enabled_flagの値が１に等しい場合、pfp_V3C_geometry_layer_idcの示すレイヤの画像に対してフィルタ処理を行う。アトリビュート画像フィルタ部308は、pfp_V3C_attribute_enabled_flagの値が１に等しい場
合、pfp_V3C_attribute_layer_idcの示すレイヤの画像に対してフィルタ処理を行う。
【0135】
例えば、pfp_V3C_geometry_enabled_flagの値が０に等しい場合、ジオメトリ画像フィ
ルタ部305は、フィルタ処理を行わない。pfp_V3C_attribute_enabled_flagの値が１に等
しく、pfp_V3C_attribute_layer_idcの値が１に等しい場合、アトリビュート画像フィル
タ部308は、アトリビュート画像のNearレイヤの画像に対してフィルタ処理を行う。
ルタ部305は、フィルタ処理を行わない。pfp_V3C_attribute_enabled_flagの値が１に等
しく、pfp_V3C_attribute_layer_idcの値が１に等しい場合、アトリビュート画像フィル
タ部308は、アトリビュート画像のNearレイヤの画像に対してフィルタ処理を行う。
【0136】
上記の構成によれば、本フィルタパラメータの伝送によって、ジオメトリ画像とアトリビュート画像に独立にポストフィルタのオンオフ制御ができるので、好適な画質を伝送する効果を奏する。
【0137】
さらに、pfp_V3C_geometry_layer_idc、pfp_V3C_attribute_layer_idcで適用レイヤを
選択する構成とすることで、NearレイヤとFarレイヤの画像に独立にポストフィルタのオ
ンオフ制御ができるので、好適な画質を伝送する効果を奏する。
選択する構成とすることで、NearレイヤとFarレイヤの画像に独立にポストフィルタのオ
ンオフ制御ができるので、好適な画質を伝送する効果を奏する。
【0138】
逆多重化・復号部301は、符号化データから図11の形式のフィルタパラメータを復号し
、ジオメトリ画像フィルタ部305は、pfp_V3C_geometry_layer_idcの示すレイヤの画像に
対してフィルタ処理を行う。アトリビュート画像フィルタ部308は、pfp_V3C_attribute_layer_idcの示すレイヤの画像に対してフィルタ処理を行う。
、ジオメトリ画像フィルタ部305は、pfp_V3C_geometry_layer_idcの示すレイヤの画像に
対してフィルタ処理を行う。アトリビュート画像フィルタ部308は、pfp_V3C_attribute_layer_idcの示すレイヤの画像に対してフィルタ処理を行う。
【0139】
上記の、映像ストリームの付加情報として伝送する構成によれば、上述の好適な画質を伝送する効果に加え、映像ストリームと付加情報を組として伝送することが容易となり、映像ストリームを抽出する際にフィルタパラメータが喪失することを避ける効果を奏する。
（フィルタパラメータをASPSから復号・導出）
逆多重化・復号部301は、符号化データから図12の形式のフィルタパラメータを復号し
、ジオメトリ画像フィルタ部305及び／アトリビュート画像フィルタ部308は、asps_post_filter_component_idcの示すコンポーネントの、asps_post_filter_layer_idcの示すレイヤの画像に対してフィルタ処理を行う。
（フィルタパラメータをASPSから復号・導出）
逆多重化・復号部301は、符号化データから図12の形式のフィルタパラメータを復号し
、ジオメトリ画像フィルタ部305及び／アトリビュート画像フィルタ部308は、asps_post_filter_component_idcの示すコンポーネントの、asps_post_filter_layer_idcの示すレイヤの画像に対してフィルタ処理を行う。
【0140】
上記の構成によれば、本フィルタパラメータの伝送によって、復号装置の処理能力に応じた柔軟なポストフィルタのオンオフ制御を実現することができる。
【0141】
逆多重化・復号部301は、符号化データから図13の形式のフィルタパラメータを復号し
、ジオメトリ画像フィルタ部305は、asps_geometry_post_filter_enabled_flagの値が１
に等しい場合、asps_geometry_post_filter_layer_idcの示すレイヤの画像に対してフィ
ルタ処理を行う。アトリビュート画像フィルタ部308は、asps_attribute_post_filter_enabled_flagの値が１に等しい場合、asps_attribute_post_filter_layer_idcの示すレイヤの画像に対してフィルタ処理を行う。
、ジオメトリ画像フィルタ部305は、asps_geometry_post_filter_enabled_flagの値が１
に等しい場合、asps_geometry_post_filter_layer_idcの示すレイヤの画像に対してフィ
ルタ処理を行う。アトリビュート画像フィルタ部308は、asps_attribute_post_filter_enabled_flagの値が１に等しい場合、asps_attribute_post_filter_layer_idcの示すレイヤの画像に対してフィルタ処理を行う。
【0142】
上記の構成によれば、本フィルタパラメータの伝送によって、ジオメトリ画像とアトリビュート画像に独立にポストフィルタのオンオフ制御およびニューラルネットワークモデルの切替ができるので、好適な画質を伝送する効果を奏する。
【0143】
さらに、asps_geometry_post_filter_layer_idc、asps_attribute_post_filter_layer_idcで適用レイヤを選択する構成とすることで、NearレイヤとFarレイヤの画像に独立にポストフィルタのオンオフ制御ができるので、好適な画質を伝送する効果を奏する。
【0144】
逆多重化・復号部301は、符号化データから図14の形式のフィルタパラメータを復号し
、ジオメトリ画像フィルタ部305及び／アトリビュート画像フィルタ部308は、asps_vpcc_extension_present_flagの値が１に等しく、かつasps_post_filter_enabled_flagの値が
１に等しい場合、asps_post_filter_component_idcの示すコンポーネントの、asps_post_filter_layer_idcの示すレイヤの画像に対してフィルタ処理を行う。
、ジオメトリ画像フィルタ部305及び／アトリビュート画像フィルタ部308は、asps_vpcc_extension_present_flagの値が１に等しく、かつasps_post_filter_enabled_flagの値が
１に等しい場合、asps_post_filter_component_idcの示すコンポーネントの、asps_post_filter_layer_idcの示すレイヤの画像に対してフィルタ処理を行う。
【0145】
さらに、上記V3Cの拡張データ構造として伝送する構成によれば、上述の好適な画質を
伝送する効果に加え、既存のV3C機器との後方互換性を保つことができる効果を奏する。
（フィルタパラメータをAFPSから復号・導出）
逆多重化・復号部301は、符号化データから図15の形式のフィルタパラメータを復号し
、ジオメトリ画像フィルタ部305及び／アトリビュート画像フィルタ部308は、afps_post_filter_component_idcの示すコンポーネントの、afps_post_filter_layer_idcの示すレイヤの画像に対してフィルタ処理を行う。
伝送する効果に加え、既存のV3C機器との後方互換性を保つことができる効果を奏する。
（フィルタパラメータをAFPSから復号・導出）
逆多重化・復号部301は、符号化データから図15の形式のフィルタパラメータを復号し
、ジオメトリ画像フィルタ部305及び／アトリビュート画像フィルタ部308は、afps_post_filter_component_idcの示すコンポーネントの、afps_post_filter_layer_idcの示すレイヤの画像に対してフィルタ処理を行う。
【0146】
上記の構成によれば、本フィルタパラメータの伝送によって、復号装置の処理能力に応じた柔軟なポストフィルタのオンオフ制御を実現することができる。
【0147】
逆多重化・復号部301は、符号化データから図16の形式のフィルタパラメータを復号し
、ジオメトリ画像フィルタ部305は、afps_geometry_post_filter_enabled_flagの値が１
に等しい場合、afps_geometry_post_filter_layer_idcの示すレイヤの画像に対してフィ
ルタ処理を行う。アトリビュート画像フィルタ部308は、afps_attribute_post_filter_enabled_flagの値が１に等しい場合、afps_attribute_post_filter_layer_idcの示すレイヤの画像に対してフィルタ処理を行う。
、ジオメトリ画像フィルタ部305は、afps_geometry_post_filter_enabled_flagの値が１
に等しい場合、afps_geometry_post_filter_layer_idcの示すレイヤの画像に対してフィ
ルタ処理を行う。アトリビュート画像フィルタ部308は、afps_attribute_post_filter_enabled_flagの値が１に等しい場合、afps_attribute_post_filter_layer_idcの示すレイヤの画像に対してフィルタ処理を行う。
【0148】
上記の構成によれば、本フィルタパラメータの伝送によって、ジオメトリ画像とアトリビュート画像に独立にポストフィルタのオンオフ制御およびニューラルネットワークモデルの切替ができるので、好適な画質を伝送する効果を奏する。
【0149】
さらに、afps_geometry_post_filter_layer_idc、afps_attribute_post_filter_layer_idcで適用レイヤを選択する構成とすることで、NearレイヤとFarレイヤの画像に独立にポストフィルタのオンオフ制御ができるので、好適な画質を伝送する効果を奏する。
【0150】
逆多重化・復号部301は、符号化データから図17の形式のフィルタパラメータを復号し
、ジオメトリ画像フィルタ部305及び／アトリビュート画像フィルタ部308は、afps_vpcc_extension_present_flagの値が１に等しく、かつafps_post_filter_enabled_flagの値が１に等しい場合、afps_post_filter_component_idcの示すコンポーネントの、afps_post_filter_layer_idcの示すレイヤの画像に対してフィルタ処理を行う。
、ジオメトリ画像フィルタ部305及び／アトリビュート画像フィルタ部308は、afps_vpcc_extension_present_flagの値が１に等しく、かつafps_post_filter_enabled_flagの値が１に等しい場合、afps_post_filter_component_idcの示すコンポーネントの、afps_post_filter_layer_idcの示すレイヤの画像に対してフィルタ処理を行う。
【0151】
さらに、上記V3Cの拡張データ構造として伝送する構成によれば、上述の好適な画質を
伝送する効果に加え、既存のV3C機器との後方互換性を保つことができる効果を奏する。
（フィルタパラメータをISOBMFF boxから復号・導出）
逆多重化・復号部301は、符号化データから図18または図19の形式のフィルタパラメー
タを復号し、ジオメトリ画像フィルタ部305は、geometry_post_filter_enabled_flagの値が１に等しい場合、geometry_post_filter_layer_idcの示すレイヤの画像に対してフィルタ処理を行う。アトリビュート画像フィルタ部308は、attribute_post_filter_enabled_flagの値が１に等しい場合、attribute_post_filter_layer_idcの示すレイヤの画像に対してフィルタ処理を行う。
伝送する効果に加え、既存のV3C機器との後方互換性を保つことができる効果を奏する。
（フィルタパラメータをISOBMFF boxから復号・導出）
逆多重化・復号部301は、符号化データから図18または図19の形式のフィルタパラメー
タを復号し、ジオメトリ画像フィルタ部305は、geometry_post_filter_enabled_flagの値が１に等しい場合、geometry_post_filter_layer_idcの示すレイヤの画像に対してフィルタ処理を行う。アトリビュート画像フィルタ部308は、attribute_post_filter_enabled_flagの値が１に等しい場合、attribute_post_filter_layer_idcの示すレイヤの画像に対してフィルタ処理を行う。
【0152】
上記ファイルフォーマット構造としてフィルタパラメータを伝送する構成によれば、上述の好適な画質を伝送する効果に加え、ISOBMFFを扱い多くのソフトウェア・ハードウェ
アで小さな設計変更で、フィルタパラメータに適用させることができる効果を奏する。
アで小さな設計変更で、フィルタパラメータに適用させることができる効果を奏する。
【0153】
上述のように、フィルタ処理を行うことにより、ジオメトリ画像及び／又はアトリビュート画像の符号化による歪を低減し、3Dデータを高品質に符号化・復号することができる。
【0154】
なお、上述した実施形態における3Dデータ符号化装置11、3Dデータ復号装置31の一部、
例えば、3Dパッチ生成部101、アトラス情報符号化部102、パッチパッキング部103、オキ
ュパンシマップ符号化部104、ジオメトリ画像生成部105、ジオメトリ画像符号化部106、
ジオメトリ画像フィルタパラメータ導出部107、アトリビュート画像生成部108、アトリビュート画像符号化部109、アトリビュート画像フィルタパラメータ導出部110、多重化部111、逆多重化・復号部301、アトラス情報復号部302、オキュパンシマップ復号部303、ジオメトリ画像復号部304、ジオメトリ画像フィルタ部305、ジオメトリ再構成部306、アトリビュート画像復号部307、アトリビュート画像フィルタ部308、アトリビュート再構成部309、3Dデータ再構成部310をコンピュータで実現するようにしても良い。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、3Dデータ符号化装置11、3Dデータ復号装置31のいずれかに内蔵されたコンピュータシステムであって、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
例えば、3Dパッチ生成部101、アトラス情報符号化部102、パッチパッキング部103、オキ
ュパンシマップ符号化部104、ジオメトリ画像生成部105、ジオメトリ画像符号化部106、
ジオメトリ画像フィルタパラメータ導出部107、アトリビュート画像生成部108、アトリビュート画像符号化部109、アトリビュート画像フィルタパラメータ導出部110、多重化部111、逆多重化・復号部301、アトラス情報復号部302、オキュパンシマップ復号部303、ジオメトリ画像復号部304、ジオメトリ画像フィルタ部305、ジオメトリ再構成部306、アトリビュート画像復号部307、アトリビュート画像フィルタ部308、アトリビュート再構成部309、3Dデータ再構成部310をコンピュータで実現するようにしても良い。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、3Dデータ符号化装置11、3Dデータ復号装置31のいずれかに内蔵されたコンピュータシステムであって、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【0155】
また、上述した実施形態における3Dデータ符号化装置11、3Dデータ復号装置31の一部、または全部を、LSI（Large Scale Integration）等の集積回路として実現しても良い。3Dデータ符号化装置11、3Dデータ復号装置31の各機能ブロックは個別にプロセッサ化しても良いし、一部、または全部を集積してプロセッサ化しても良い。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現しても良い。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いても良い。
【0156】
以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
【0157】
〔応用例〕
上述した3Dデータ符号化装置11及び3Dデータ復号装置31は、3Dデータの送信、受信、記録、再生を行う各種装置に搭載して利用することができる。なお、3Dデータは、カメラ等により撮像された自然3Dデータであってもよいし、コンピュータ等により生成された人工3Dデータ（CGおよびGUIを含む）であってもよい。
上述した3Dデータ符号化装置11及び3Dデータ復号装置31は、3Dデータの送信、受信、記録、再生を行う各種装置に搭載して利用することができる。なお、3Dデータは、カメラ等により撮像された自然3Dデータであってもよいし、コンピュータ等により生成された人工3Dデータ（CGおよびGUIを含む）であってもよい。
【0158】
まず、上述した3Dデータ符号化装置11及び3Dデータ復号装置31を、3Dデータの送信及び受信に利用できることを、図2を参照して説明する。
【0159】
図2には、3Dデータ符号化装置11を搭載した送信装置PROD_Aの構成を示したブロック図
が示されている。図に示すように、送信装置PROD_Aは、3Dデータを符号化することによって符号化データを得る符号化部PROD_A1と、符号化部PROD_A1が得た符号化データで搬送波を変調することによって変調信号を得る変調部PROD_A2と、変調部PROD_A2が得た変調信号を送信する送信部PROD_A3と、を備えている。上述した3Dデータ符号化装置11は、この符
号化部PROD_A1として利用される。
が示されている。図に示すように、送信装置PROD_Aは、3Dデータを符号化することによって符号化データを得る符号化部PROD_A1と、符号化部PROD_A1が得た符号化データで搬送波を変調することによって変調信号を得る変調部PROD_A2と、変調部PROD_A2が得た変調信号を送信する送信部PROD_A3と、を備えている。上述した3Dデータ符号化装置11は、この符
号化部PROD_A1として利用される。
【0160】
送信装置PROD_Aは、符号化部PROD_A1に入力する3Dデータの供給源として、3Dデータを
撮像するカメラPROD_A4、3Dデータを記録した記録媒体PROD_A5、3Dデータを外部から入力するための入力端子PROD_A6、及び、3Dデータを生成または加工するデータ処理部Ａ７を
更に備えていてもよい。図においては、これら全てを送信装置PROD_Aが備えた構成を例示しているが、一部を省略しても構わない。
撮像するカメラPROD_A4、3Dデータを記録した記録媒体PROD_A5、3Dデータを外部から入力するための入力端子PROD_A6、及び、3Dデータを生成または加工するデータ処理部Ａ７を
更に備えていてもよい。図においては、これら全てを送信装置PROD_Aが備えた構成を例示しているが、一部を省略しても構わない。
【0161】
なお、記録媒体PROD_A5は、符号化されていない3Dデータを記録したものであってもよ
いし、伝送用の符号化方式とは異なる記録用の符号化方式で符号化された3Dデータを記録したものであってもよい。後者の場合、記録媒体PROD_A5と符号化部PROD_A1との間に、記録媒体PROD_A5から読み出した符号化データを記録用の符号化方式に従って復号する復号
部（不図示）を介在させるとよい。
いし、伝送用の符号化方式とは異なる記録用の符号化方式で符号化された3Dデータを記録したものであってもよい。後者の場合、記録媒体PROD_A5と符号化部PROD_A1との間に、記録媒体PROD_A5から読み出した符号化データを記録用の符号化方式に従って復号する復号
部（不図示）を介在させるとよい。
【0162】
また、図2には、3Dデータ復号装置31を搭載した受信装置PROD_Bの構成を示したブロッ
ク図が示されている。図に示すように、受信装置PROD_Bは、変調信号を受信する受信部PROD_B1と、受信部PROD_B1が受信した変調信号を復調することによって符号化データを得る復調部PROD_B2と、復調部PROD_B2が得た符号化データを復号することによって3Dデータを得る復号部PROD_B3と、を備えている。上述した3Dデータ復号装置31は、この復号部PROD_B3として利用される。
ク図が示されている。図に示すように、受信装置PROD_Bは、変調信号を受信する受信部PROD_B1と、受信部PROD_B1が受信した変調信号を復調することによって符号化データを得る復調部PROD_B2と、復調部PROD_B2が得た符号化データを復号することによって3Dデータを得る復号部PROD_B3と、を備えている。上述した3Dデータ復号装置31は、この復号部PROD_B3として利用される。
【0163】
受信装置PROD_Bは、復号部PROD_B3が出力する3Dデータの供給先として、3Dデータを表
示するディスプレイPROD_B4、3Dデータを記録するための記録媒体PROD_B5、及び、3Dデータを外部に出力するための出力端子PROD_B6を更に備えていてもよい。図においては、こ
れら全てを受信装置PROD_Bが備えた構成を例示しているが、一部を省略しても構わない。
示するディスプレイPROD_B4、3Dデータを記録するための記録媒体PROD_B5、及び、3Dデータを外部に出力するための出力端子PROD_B6を更に備えていてもよい。図においては、こ
れら全てを受信装置PROD_Bが備えた構成を例示しているが、一部を省略しても構わない。
【0164】
なお、記録媒体PROD_B5は、符号化されていない3Dデータを記録するためのものであっ
てもよいし、伝送用の符号化方式とは異なる記録用の符号化方式で符号化されたものであってもよい。後者の場合、復号部PROD_B3と記録媒体PROD_B5との間に、復号部PROD_B3から取得した3Dデータを記録用の符号化方式に従って符号化する符号化部（不図示）を介在させるとよい。
てもよいし、伝送用の符号化方式とは異なる記録用の符号化方式で符号化されたものであってもよい。後者の場合、復号部PROD_B3と記録媒体PROD_B5との間に、復号部PROD_B3から取得した3Dデータを記録用の符号化方式に従って符号化する符号化部（不図示）を介在させるとよい。
【0165】
なお、変調信号を伝送する伝送媒体は、無線であってもよいし、有線であってもよい。また、変調信号を伝送する伝送態様は、放送（ここでは、送信先が予め特定されていない送信態様を指す）であってもよいし、通信（ここでは、送信先が予め特定されている送信態様を指す）であってもよい。すなわち、変調信号の伝送は、無線放送、有線放送、無線通信、及び有線通信の何れによって実現してもよい。
【0166】
例えば、地上デジタル放送の放送局（放送設備など）／受信局（テレビジョン受像機など）は、変調信号を無線放送で送受信する送信装置PROD_A／受信装置PROD_Bの一例である。また、ケーブルテレビ放送の放送局（放送設備など）／受信局（テレビジョン受像機など）は、変調信号を有線放送で送受信する送信装置PROD_A／受信装置PROD_Bの一例である。
【0167】
また、インターネットを用いたVOD（Video On Demand）サービスや動画共有サービスなどのサーバ（ワークステーションなど）／クライアント（テレビジョン受像機、パーソナルコンピュータ、スマートフォンなど）は、変調信号を通信で送受信する送信装置PROD_A／受信装置PROD_Bの一例である（通常、ＬＡＮにおいては伝送媒体として無線または有線の何れかが用いられ、ＷＡＮにおいては伝送媒体として有線が用いられる）。ここで、パーソナルコンピュータには、デスクトップ型PC、ラップトップ型PC、及びタブレット型PCが含まれる。また、スマートフォンには、多機能携帯電話端末も含まれる。
【0168】
なお、動画共有サービスのクライアントは、サーバからダウンロードした符号化データを復号してディスプレイに表示する機能に加え、カメラで撮像した動画像を符号化してサーバにアップロードする機能を有している。すなわち、動画共有サービスのクライアントは、送信装置PROD_A及び受信装置PROD_Bの双方として機能する。
【0169】
次に、上述した3Dデータ符号化装置11及び3Dデータ復号装置31を、3Dデータの記録及び再生に利用できることを、図3を参照して説明する。
【0170】
図3には、上述した3Dデータ符号化装置11を搭載した記録装置PROD_Cの構成を示したブ
ロック図が示されている。図に示すように、記録装置PROD_Cは、3Dデータを符号化することによって符号化データを得る符号化部PROD_C1と、符号化部PROD_C1が得た符号化データを記録媒体PROD_Mに書き込む書込部PROD_C2と、を備えている。上述した3Dデータ符号化
装置11は、この符号化部PROD_C1として利用される。
ロック図が示されている。図に示すように、記録装置PROD_Cは、3Dデータを符号化することによって符号化データを得る符号化部PROD_C1と、符号化部PROD_C1が得た符号化データを記録媒体PROD_Mに書き込む書込部PROD_C2と、を備えている。上述した3Dデータ符号化
装置11は、この符号化部PROD_C1として利用される。
【0171】
なお、記録媒体PROD_Mは、（１）HDD（Hard Disk Drive）やSSD(Solid State Drive)などのように、記録装置PROD_Cに内蔵されるタイプのものであってもよいし、（２）SDメモリカードやUSB（Universal Serial Bus）フラッシュメモリなどのように、記録装置PROD_Cに接続されるタイプのものであってもよいし、（３）DVD（Digital Versatile Disc:登
録商標）やBD（Blu-ray Disc:登録商標）などのように、記録装置PROD_Cに内蔵されたド
ライブ装置（不図示）に装填されるものであってもよい。
録商標）やBD（Blu-ray Disc:登録商標）などのように、記録装置PROD_Cに内蔵されたド
ライブ装置（不図示）に装填されるものであってもよい。
【0172】
また、記録装置PROD_Cは、符号化部PROD_C1に入力する動画像の供給源として、3Dデー
タを撮像するカメラPROD_C3、3Dデータを外部から入力するための入力端子PROD_C4、3Dデータを受信するための受信部PROD_C5、及び、3Dデータを生成または加工するデータ処理部PROD_C6を更に備えていてもよい。図においては、これら全てを記録装置PROD_Cが備えた構成を例示しているが、一部を省略しても構わない。
タを撮像するカメラPROD_C3、3Dデータを外部から入力するための入力端子PROD_C4、3Dデータを受信するための受信部PROD_C5、及び、3Dデータを生成または加工するデータ処理部PROD_C6を更に備えていてもよい。図においては、これら全てを記録装置PROD_Cが備えた構成を例示しているが、一部を省略しても構わない。
【0173】
なお、受信部PROD_C5は、符号化されていない3Dデータを受信するものであってもよい
し、記録用の符号化方式とは異なる伝送用の符号化方式で符号化された符号化データを受信するものであってもよい。後者の場合、受信部PROD_C5と符号化部PROD_C1との間に、伝送用の符号化方式で符号化された符号化データを復号する伝送用復号部（不図示）を介在させるとよい。
し、記録用の符号化方式とは異なる伝送用の符号化方式で符号化された符号化データを受信するものであってもよい。後者の場合、受信部PROD_C5と符号化部PROD_C1との間に、伝送用の符号化方式で符号化された符号化データを復号する伝送用復号部（不図示）を介在させるとよい。
【0174】
このような記録装置PROD_Cとしては、例えば、DVDレコーダ、BDレコーダ、HDD（Hard Disk Drive）レコーダなどが挙げられる（この場合、入力端子PROD_C4または受信部PROD_C5が3Dデータの主な供給源となる）。また、カムコーダ（この場合、カメラPROD_C3が3Dデータの主な供給源となる）、パーソナルコンピュータ（この場合、受信部PROD_C5またはデータ処理部Ｃ６が3Dデータの主な供給源となる）、スマートフォン（この場合、カメラPROD_C3または受信部PROD_C5が3Dデータの主な供給源となる）なども、このような記録装置PROD_Cの一例である。
【0175】
また、図3には、上述した3Dデータ復号装置31を搭載した再生装置PROD_Dの構成を示し
たブロック図が示されている。図に示すように、再生装置PROD_Dは、記録媒体PROD_Mに書き込まれた符号化データを読み出す読出部PROD_D1と、読出部PROD_D1が読み出した符号化データを復号することによって3Dデータを得る復号部PROD_D2と、を備えている。上述し
た3Dデータ復号装置31は、この復号部PROD_D2として利用される。
たブロック図が示されている。図に示すように、再生装置PROD_Dは、記録媒体PROD_Mに書き込まれた符号化データを読み出す読出部PROD_D1と、読出部PROD_D1が読み出した符号化データを復号することによって3Dデータを得る復号部PROD_D2と、を備えている。上述し
た3Dデータ復号装置31は、この復号部PROD_D2として利用される。
【0176】
なお、記録媒体PROD_Mは、（１）HDDやSSDなどのように、再生装置PROD_Dに内蔵されるタイプのものであってもよいし、（２）SDメモリカードやUSBフラッシュメモリなどのよ
うに、再生装置PROD_Dに接続されるタイプのものであってもよいし、（３）DVDやBDなど
のように、再生装置PROD_Dに内蔵されたドライブ装置（不図示）に装填されるものであってもよい。
うに、再生装置PROD_Dに接続されるタイプのものであってもよいし、（３）DVDやBDなど
のように、再生装置PROD_Dに内蔵されたドライブ装置（不図示）に装填されるものであってもよい。
【0177】
また、再生装置PROD_Dは、復号部PROD_D2が出力する3Dデータの供給先として、3Dデー
タを表示するディスプレイPROD_D3、3Dデータを外部に出力するための出力端子PROD_D4、及び、3Dデータを送信する送信部PROD_D5を更に備えていてもよい。図においては、これ
ら全てを再生装置PROD_Dが備えた構成を例示しているが、一部を省略しても構わない。
タを表示するディスプレイPROD_D3、3Dデータを外部に出力するための出力端子PROD_D4、及び、3Dデータを送信する送信部PROD_D5を更に備えていてもよい。図においては、これ
ら全てを再生装置PROD_Dが備えた構成を例示しているが、一部を省略しても構わない。
【0178】
なお、送信部PROD_D5は、符号化されていない3Dデータを送信するものであってもよい
し、記録用の符号化方式とは異なる伝送用の符号化方式で符号化された符号化データを送信するものであってもよい。後者の場合、復号部PROD_D2と送信部PROD_D5との間に、3Dデータを伝送用の符号化方式で符号化する符号化部（不図示）を介在させるとよい。
し、記録用の符号化方式とは異なる伝送用の符号化方式で符号化された符号化データを送信するものであってもよい。後者の場合、復号部PROD_D2と送信部PROD_D5との間に、3Dデータを伝送用の符号化方式で符号化する符号化部（不図示）を介在させるとよい。
【0179】
このような再生装置PROD_Dとしては、例えば、DVDプレイヤ、BDプレイヤ、HDDプレイヤなどが挙げられる（この場合、テレビジョン受像機等が接続される出力端子PROD_D4が3D
データの主な供給先となる）。また、テレビジョン受像機（この場合、ディスプレイPROD_D3が3Dデータの主な供給先となる）、デジタルサイネージ（電子看板や電子掲示板等とも称され、ディスプレイPROD_D3または送信部PROD_D5が3Dデータの主な供給先となる）、デスクトップ型PC（この場合、出力端子PROD_D4または送信部PROD_D5が3Dデータの主な供給先となる）、ラップトップ型またはタブレット型PC（この場合、ディスプレイPROD_D3または送信部PROD_D5が3Dデータの主な供給先となる）、スマートフォン（この場合、ディスプレイPROD_D3または送信部PROD_D5が3Dデータの主な供給先となる）なども、このような再生装置PROD_Dの一例である。
データの主な供給先となる）。また、テレビジョン受像機（この場合、ディスプレイPROD_D3が3Dデータの主な供給先となる）、デジタルサイネージ（電子看板や電子掲示板等とも称され、ディスプレイPROD_D3または送信部PROD_D5が3Dデータの主な供給先となる）、デスクトップ型PC（この場合、出力端子PROD_D4または送信部PROD_D5が3Dデータの主な供給先となる）、ラップトップ型またはタブレット型PC（この場合、ディスプレイPROD_D3または送信部PROD_D5が3Dデータの主な供給先となる）、スマートフォン（この場合、ディスプレイPROD_D3または送信部PROD_D5が3Dデータの主な供給先となる）なども、このような再生装置PROD_Dの一例である。
【0180】
（ハードウェア的実現およびソフトウェア的実現）
また、上述した3Dデータ復号装置31および3Dデータ符号化装置11の各ブロックは、集積回路（ICチップ）上に形成された論理回路によってハードウェア的に実現してもよいし、CPU（Central Processing Unit）を用いてソフトウェア的に実現してもよい。
また、上述した3Dデータ復号装置31および3Dデータ符号化装置11の各ブロックは、集積回路（ICチップ）上に形成された論理回路によってハードウェア的に実現してもよいし、CPU（Central Processing Unit）を用いてソフトウェア的に実現してもよい。
【0181】
後者の場合、上記各装置は、各機能を実現するプログラムの命令を実行するCPU、上記
プログラムを格納したROM（Read Only Memory）、上記プログラムを展開するRAM（Random
Access Memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の実施形態の目的は、上述した機能を実現するソフトウェアである上記各装置の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記各装置に供給し、そのコンピュータ（またはCPUやMPU）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
プログラムを格納したROM（Read Only Memory）、上記プログラムを展開するRAM（Random
Access Memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の実施形態の目的は、上述した機能を実現するソフトウェアである上記各装置の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記各装置に供給し、そのコンピュータ（またはCPUやMPU）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【0182】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ類、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやCD-ROM（Compact Disc Read-Only Memory）／MOディスク（Magneto-Optical disc）／MD（Mini Disc）／DVD（Digital Versatile Disc:登録商標）／CD-R（CD Recordable）／ブルーレイディスク（Blu-ray Disc：登録商標）等の光ディスクを含むディスク類、ICカード（メモリカードを含む）／光カード等のカード類、マスクROM／EPROM（Erasable Programmable Read-Only Memory）／EEPROM（Electrically Erasable and Programmable Read-Only Memory：登録商標）／フラッシュROM等の半導体メモリ類、あるいはPLD（Programmable logic device）やFPGA（Field Programmable Gate Array）等の論理回路類などを用いることができる。
【0183】
また、上記各装置を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークは、プログラムコードを伝送可能であればよく、特に限定されない。例えば、インターネット、イントラネット、エキストラネット、LAN（Local Area Network）、ISDN（Integrated Services Digital Network）、VAN（Value-Added Network）、CATV（Community Antenna television/Cable Television）通信網、仮想専用網（Virtual Private Network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、この通信ネットワークを構成する伝送媒体も、プログラムコードを伝送可能な媒体であればよく、特定の構成または種類のものに限定されない。例えば、IEEE（Institute of Electrical and Electronic Engineers）1394、USB、電力線搬送、ケーブルＴＶ回線、電話線、ADSL（Asymmetric Digital Subscriber Line）回線等の有線でも、IrDA（Infrared Data Association）やリモコンのような赤外線、Bluetooth（登録商標）、IEEE802.11無線、HDR（High Data Rate）、NFC（Near Field Communication）、DLNA（Digital Living Network Alliance：登録商標）、携帯電話網、衛星回線、地上デジタル放送網等の無線でも利用可能である。なお、本発明の実施形態は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【0184】
本発明の実施形態は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【産業上の利用可能性】
【0185】
本発明の実施形態は、3Dデータが符号化された符号化データを復号する3Dデータ復号装置、および、3Dデータが符号化された符号化データを生成する3Dデータ符号化装置に好適に適用することができる。また、3Dデータ符号化装置によって生成され、3Dデータ復号装置によって参照される符号化データのデータ構造に好適に適用することができる。
【符号の説明】
【0186】
11 3Dデータ符号化装置
101 パッチ生成部
102 アトラス情報符号化部
103 オキュパンシマップ生成部
104 オキュパンシマップ符号化部
105 ジオメトリ画像生成部
106 ジオメトリ画像符号化部
107 ジオメトリ画像フィルタパラメータ導出部
108 アトリビュート画像生成部
109 アトリビュート画像符号化部
110 アトリビュート画像フィルタパラメータ導出部
111 多重化部
21 ネットワーク
31 3Dデータ復号装置
301 逆多重化・復号部
302 アトラス情報復号部
303 オキュパンシマップ復号部
304 ジオメトリ画像復号部
305 ジオメトリ画像フィルタ部
306 ジオメトリ再構成部
307 アトリビュート画像復号部
308 アトリビュート画像フィルタ部
309 アトリビュート再構成部
310 3Dデータ再構成部
41 3Dデータ表示装置
101 パッチ生成部
102 アトラス情報符号化部
103 オキュパンシマップ生成部
104 オキュパンシマップ符号化部
105 ジオメトリ画像生成部
106 ジオメトリ画像符号化部
107 ジオメトリ画像フィルタパラメータ導出部
108 アトリビュート画像生成部
109 アトリビュート画像符号化部
110 アトリビュート画像フィルタパラメータ導出部
111 多重化部
21 ネットワーク
31 3Dデータ復号装置
301 逆多重化・復号部
302 アトラス情報復号部
303 オキュパンシマップ復号部
304 ジオメトリ画像復号部
305 ジオメトリ画像フィルタ部
306 ジオメトリ再構成部
307 アトリビュート画像復号部
308 アトリビュート画像フィルタ部
309 アトリビュート再構成部
310 3Dデータ再構成部
41 3Dデータ表示装置
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】