特開 2024-16955 符号化装置、ストリーム合成装置、復号装置、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024016955

(43)【公開日】2024-02-08

(54)【発明の名称】符号化装置、ストリーム合成装置、復号装置、およびプログラム

(51)【国際特許分類】

   H04N 19/597 20140101AFI20240201BHJP

【ＦＩ】

H04N19/597

【審査請求】未請求

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2022119269

(22)【出願日】2022-07-27

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＪＡＶＡＳＣＲＩＰＴ

(71)【出願人】

【識別番号】000004352

【氏名又は名称】日本放送協会

(74)【代理人】

【識別番号】100141139

【弁理士】

【氏名又は名称】及川 周

(74)【代理人】

【識別番号】100171446

【弁理士】

【氏名又は名称】高田 尚幸

(74)【代理人】

【識別番号】100114937

【弁理士】

【氏名又は名称】松本 裕幸

(74)【代理人】

【識別番号】100171930

【弁理士】

【氏名又は名称】木下 郁一郎

(72)【発明者】

【氏名】若原 裕麿

【テーマコード（参考）】

5C159

【Ｆターム（参考）】

5C159PP03

5C159RB10

5C159RC11

5C159TA06

5C159TA07

5C159TA46

5C159TA60

5C159TB06

5C159UA02

5C159UA05

(57)【要約】

【課題】符号処理を行う装置側に大きな負荷をかけずに、復号装置ごとに最適なビットストリームを生成することのできるシステムを提供する。
【解決手段】ストリーム合成装置は、分割部と、合成情報取得部と、ストリーム合成部とを備える。分割部は、複数のビットストリームをそれぞれ受信して、各々の前記ビットストリームから複数の映像を分割して取り出す。合成情報取得部は、取り出された複数の前記映像のうちのどの映像を組み合わせて合成するかを表す情報である合成情報を取得する。ストリーム合成部は、取得された前記合成情報に基づいて、前記分割部が取り出した前記映像を組み合わせて合成することによって単一のストリームを生成する。
【選択図】図３

【特許請求の範囲】

【請求項1】

３次元構造を表す３次元データを所定の射影面にそれぞれ射影することによって２次元の画像を生成する射影部と、
前記画像の系列である映像を符号化してビットストリームを生成する符号化部と、
前記符号化部が符号化する際の前記映像の品質と、どのビットストリームにどの映像を含めるかを表す情報と、を規定する分割情報を取得する分割情報取得部と、
を備え、
前記符号化部は、各々の前記ビットストリームが前記分割情報で規定された品質の前記映像を含むように、複数の前記ビットストリームを生成するものである、
符号化装置。

【請求項2】

前記ビットストリームに含まれる前記映像は、前記３次元構造を構成する点群の深度情報を表すオキュパンシ―ビデオデータ（ＯＶＤ）と、前記３次元構造を構成する点群の座標情報を表すジオメトリービデオデータ（ＧＶＤ）と、前記３次元構造を構成する点群の色またはテクスチャーを表すアトリビュートビデオデータ（ＡＶＤ）の少なくともいずれかである、
請求項１に記載の符号化装置。

【請求項3】

前記ビットストリームに含まれる前記映像は、複数の前記射影面に射影された画像にそれぞれ基づく複数の映像である、
請求項１に記載の符号化装置。

【請求項4】

前記ビットストリームに含まれる前記映像は、複数の前記射影面に射影された画像にそれぞれ基づく複数の映像を、統合された１つの領域に配置して成る映像であって、
前記符号化部は、前記統合された１つの領域の映像を、前記射影面の単位で分割可能な符号となるように符号化する、
請求項３に記載の符号化装置。

【請求項5】

複数のビットストリームをそれぞれ受信して、各々の前記ビットストリームから複数の映像を分割して取り出す分割部と、
取り出された複数の前記映像のうちのどの映像を組み合わせて合成するかを表す情報である合成情報を取得する合成情報取得部と、
取得された前記合成情報に基づいて、前記分割部が取り出した前記映像を組み合わせて合成することによって単一のストリームを生成するストリーム合成部と、
を備えるストリーム合成装置。

【請求項6】

前記分割部は、同一の３次元データを複数の射影面にそれぞれ射影することによって得られた前記複数の映像を、前記ビットストリームから分割して取り出すものであり、
前記ストリーム合成部は、前記合成情報に基づいて、異なる品質を含んだ前記複数の映像を組み合わせて合成することによって前記単一のストリームを生成する、
請求項５に記載のストリーム合成装置。

【請求項7】

前記品質は、前記映像のサイズを含むものであり、
前記ストリーム合成部は、前記合成情報に基づいて、異なるサイズの前記複数の映像を組み合わせて合成することによって前記単一のストリームを生成する、
請求項６に記載のストリーム合成装置。

【請求項8】

複数の映像のうちのどの映像を組み合わせて合成するかを表す情報である合成情報を生成して外部のストリーム合成装置に対して送信する合成情報送信部と、
前記合成情報に応じて前記外部のストリーム合成装置が生成したストリームを受信するとともに、受信した前記ストリームから取り出した複数の映像を復号して画面に提示する提示部と、
を備える復号装置。

【請求項9】

前記合成情報送信部は、異なる品質の映像を含んだ前記複数の映像のうちのどの映像を組み合わせて合成するかを表す情報である合成情報を生成して外部のストリーム合成装置に対して送信する、
請求項８に記載の復号装置。

【請求項10】

３次元構造を表す３次元データを所定の射影面にそれぞれ射影することによって２次元の画像を生成する射影部と、
前記画像の系列である映像を符号化してビットストリームを生成する符号化部と、
前記符号化部が符号化する際の前記映像の品質と、どのビットストリームにどの映像を含めるかを表す情報と、を規定する分割情報を取得する分割情報取得部と、
を備え、
前記符号化部は、各々の前記ビットストリームが前記分割情報で規定された品質の前記映像を含むように、複数の前記ビットストリームを生成するものである、
符号化装置、としてコンピューターを機能させるためのプログラム。

【請求項11】

複数のビットストリームをそれぞれ受信して、各々の前記ビットストリームから複数の映像を分割して取り出す分割部と、
取り出された複数の前記映像のうちのどの映像を組み合わせて合成するかを表す情報である合成情報を取得する合成情報取得部と、
取得された前記合成情報に基づいて、前記分割部が取り出した前記映像を組み合わせて合成することによって単一のストリームを生成するストリーム合成部と、
を備えるストリーム合成装置、としてコンピューターを機能させるためのプログラム。

【請求項12】

複数の映像のうちのどの映像を組み合わせて合成するかを表す情報である合成情報を生成して外部のストリーム合成装置に対して送信する合成情報送信部と、
前記合成情報に応じて前記外部のストリーム合成装置が生成したストリームを受信するとともに、受信した前記ストリームから取り出した複数の映像を復号して画面に提示する提示部と、
を備える復号装置、としてコンピューターを機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、符号化装置、ストリーム合成装置、復号装置、およびプログラムに関する。

【背景技術】

【0002】

従来技術として、３次元構造を表すデータを基に映像を生成し、符号化する技術が存在する。

【0003】

非特許文献１には、３次元の座標と色情報を持つ動的点群ストリームを、既存の映像符号化技術により圧縮する手法であるＶ－ＰＣＣという手法、および生成されるＶ３Ｃビットストリームの格納方法が記載されている。非特許文献１は、ＩＳＯ／ＩＥＣの規格文書である。

【0004】

特許文献１には、Ｖ３Ｃストリームに対して、３次元点群を投影する投影方向情報を付加し、且つ２次元矩形領域を投影方向ごとに分割・配置することで、任意の領域や順番でＶ３Ｃストリームの復号が可能になる手法が記載されている。

【0005】

特許文献２には、２次元映像の注目領域のみを高品質で表示することを目的として、映像を分割して、マニュフェストファイルを参照することにより領域に依って高品質または低品質な映像ストリームを生成するための手法が記載されている。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】国際公開第２０１９／１９８５２１号

【特許文献2】特許第６７８３８８９号公報

【非特許文献】

【0007】

【非特許文献1】ISO/IEC FDIS 23090-5:2021[E]，Information technology - Coded representation of immersive media -，Part 5: Visual volumetric video-based coding (V3C) and video-based point cloud compression (V-PCC)，２０２１年

【発明の概要】

【発明が解決しようとする課題】

【0008】

しかしながら、従来技術では、復号側からの要求に応じて任意の領域や順番で所定の品質で符号化したストリームを生成することが現実的ではないという問題があった。

【0009】

例えば、特許文献１に記載されている方法を用いると、３次元ポイントクラウドを射影して得られる２次元画像を、投影方向ごとに独立した画像の符号化単位とすることができる。これにより、単一のビットストリームでも領域によって品質の異なるビットストリームを生成することが可能であった。しかしながら、復号や提示を行う下流からの要求によって特定の領域の品質を変化させたストリームを用意するためには、下流からの要求に対応して符号化処理を行う符号化装置が大量に必要となり、非常に処理効率が悪いという問題があった。

【0010】

本発明は、上記の課題認識に基づいて行なわれたものであり、符号処理を行う装置側に大きな負荷をかけずに、復号装置ごとに最適なビットストリームを生成することのできるシステム（符号化装置、ストリーム合成装置、復号装置、およびプログラム）を提供しようとするものである。

【課題を解決するための手段】

【0011】

［１］上記の課題を解決するため、本発明の一態様による符号化装置は、３次元構造を表す３次元データを所定の射影面にそれぞれ射影することによって２次元の画像を生成する射影部と、前記画像の系列である映像を符号化してビットストリームを生成する符号化部と、前記符号化部が符号化する際の前記映像の品質と、どのビットストリームにどの映像を含めるかを表す情報と、を規定する分割情報を取得する分割情報取得部と、を備え、前記符号化部は、各々の前記ビットストリームが前記分割情報で規定された品質の前記映像を含むように、複数の前記ビットストリームを生成するものである。

【0012】

［２］また、本発明の一態様は、上記［１］の符号化装置において、前記ビットストリームに含まれる前記映像は、前記３次元構造を構成する点群の深度情報を表すオキュパンシ―ビデオデータ（ＯＶＤ）と、前記３次元構造を構成する点群の座標情報を表すジオメトリービデオデータ（ＧＶＤ）と、前記３次元構造を構成する点群の色またはテクスチャーを表すアトリビュートビデオデータ（ＡＶＤ）の少なくともいずれかである、というものである。

【0013】

［３］また、本発明の一態様は、上記［１］または［２］の符号化装置において、前記ビットストリームに含まれる前記映像は、複数の前記射影面に射影された画像にそれぞれ基づく複数の映像である、というものである。

【0014】

［４］また、本発明の一態様は、上記［３］の符号化装置において、前記ビットストリームに含まれる前記映像は、複数の前記射影面に射影された画像にそれぞれ基づく複数の映像を、統合された１つの領域に配置して成る映像であって、前記符号化部は、前記統合された１つの領域の映像を、前記射影面の単位で分割可能な符号となるように符号化する、というものである。

【0015】

［５］また、本発明の一態様によるストリーム合成装置は、複数のビットストリームをそれぞれ受信して、各々の前記ビットストリームから複数の映像を分割して取り出す分割部と、取り出された複数の前記映像のうちのどの映像を組み合わせて合成するかを表す情報である合成情報を取得する合成情報取得部と、取得された前記合成情報に基づいて、前記分割部が取り出した前記映像を組み合わせて合成することによって単一のストリームを生成するストリーム合成部と、を備える。

【0016】

［６］また、本発明の一態様は、上記［５］のストリーム合成装置において、前記分割部は、同一の３次元データを複数の射影面にそれぞれ射影することによって得られた前記複数の映像を、前記ビットストリームから分割して取り出すものであり、前記ストリーム合成部は、前記合成情報に基づいて、異なる品質を含んだ前記複数の映像を組み合わせて合成することによって前記単一のストリームを生成する、ものである。

【0017】

［７］また、本発明の一態様は、上記［６］のストリーム合成装置において、前記品質は、前記映像のサイズを含むものであり、前記ストリーム合成部は、前記合成情報に基づいて、異なるサイズの前記複数の映像を組み合わせて合成することによって前記単一のストリームを生成する、ものである。

【0018】

［８］また、本発明の一態様による復号装置は、複数の映像のうちのどの映像を組み合わせて合成するかを表す情報である合成情報を生成して外部のストリーム合成装置に対して送信する合成情報送信部と、前記合成情報に応じて前記外部のストリーム合成装置が生成したストリームを受信するとともに、受信した前記ストリームから取り出した複数の映像を復号して画面に提示する提示部と、を備える。

【0019】

［９］また、本発明の一態様は、上記［８］の復号装置において、前記合成情報送信部は、異なる品質の映像を含んだ前記複数の映像のうちのどの映像を組み合わせて合成するかを表す情報である合成情報を生成して外部のストリーム合成装置に対して送信する、ものである。

【0020】

［１０］また、本発明の一態様は、３次元構造を表す３次元データを所定の射影面にそれぞれ射影することによって２次元の画像を生成する射影部と、前記画像の系列である映像を符号化してビットストリームを生成する符号化部と、前記符号化部が符号化する際の前記映像の品質と、どのビットストリームにどの映像を含めるかを表す情報と、を規定する分割情報を取得する分割情報取得部と、を備え、前記符号化部は、各々の前記ビットストリームが前記分割情報で規定された品質の前記映像を含むように、複数の前記ビットストリームを生成するものである、符号化装置、としてコンピューターを機能させるためのプログラムである。

【0021】

［１１］また、本発明の一態様は、複数のビットストリームをそれぞれ受信して、各々の前記ビットストリームから複数の映像を分割して取り出す分割部と、取り出された複数の前記映像のうちのどの映像を組み合わせて合成するかを表す情報である合成情報を取得する合成情報取得部と、取得された前記合成情報に基づいて、前記分割部が取り出した前記映像を組み合わせて合成することによって単一のストリームを生成するストリーム合成部と、を備えるストリーム合成装置、としてコンピューターを機能させるためのプログラムである。

【0022】

［１２］また、本発明の一態様は、複数の映像のうちのどの映像を組み合わせて合成するかを表す情報である合成情報を生成して外部のストリーム合成装置に対して送信する合成情報送信部と、前記合成情報に応じて前記外部のストリーム合成装置が生成したストリームを受信するとともに、受信した前記ストリームから取り出した複数の映像を復号して画面に提示する提示部と、を備える復号装置、としてコンピューターを機能させるためのプログラムである。

【発明の効果】

【0023】

本発明によれば、符号化装置は、複数の品質に対応した映像の符号を一度に送出することができる。符号化装置は、復号側からの要求等に応じて個別に符号化の処理を繰り返して行う必要がない。

【0024】

また、ストリーム合成装置は、符号化装置によって符号化された映像を、合成情報にしたがって組み合わせて合成し、単一のストリームを生成することができる。

【0025】

また、復号装置は、例えば自装置の能力あるいは視点等に応じて、複数の映像のそれぞれに関して所望の品質を有する符号を組み合わせたストリームを受信し、復号することができる。

【図面の簡単な説明】

【0026】

【図1】本発明の実施形態によるシステムの概略機能構成を示すブロック図である。

【図2】同実施形態における符号化装置の概略機能構成を示すブロック図である。

【図3】同実施形態によるストリーム合成装置の概略機能構成を示すブロック図である。

【図4】同実施形態において符号化装置に入力されるポイントクラウドの一例を表す概略図である。

【図5】同実施形態の符号化装置におけるポイントクラウド圧縮処理の流れを示す概略図である。

【図6】同実施形態において使用するＶ３Ｃビットストリームの構成を示す概略図である。

【図7】同実施形態において使用する分割情報の具体的な記述例を示す概略図である。

【図8】同実施形態における、ポイントクラウドと、バウンディングボックスと、圧縮符号化処理の対象である矩形領域との関係を示す概略図である。

【図9】同実施形態において使用する合成情報の具体的な記述例を示す概略図である。

【図10】同実施形態の例１において符号化装置が生成する２本のＶ３Ｃビットストリーム（ＡおよびＢ）の構成を示す概略図である。

【図11】同実施形態の例１において、ストリーム合成装置が受信したＶ３ＣビットストリームＡおよびＢをそれぞれ分割したＶ３Ｃユニットの集合を示す概略図である。

【図12】同実施形態の例１において想定する合成情報の例を示す概略図である。

【図13】図１２に示す合成情報に基づいて、本実施形態のストリーム合成装置が合成して出力するＶ３Ｃビットストリームの構成を示す概略図である。

【図14】同実施形態の例２において、ストリーム合成装置が復号装置から受信する合成情報の例を示す概略図である。

【図15】図１４に示す合成情報にしたがって、ストリーム合成装置が合成したＶ３Ｃビットストリームの構成を示す概略図である。

【図16】同実施形態の例２における、ストリーム合成装置に入力されるテクスチャー画像と、ストリーム合成装置によって再合成されるテクスチャー画像との関係を示す概略図である。

【図17】同実施形態の例３における、ストリーム合成装置に入力されるテクスチャー画像と、ストリーム合成装置によって再合成されるテクスチャー画像との関係を示す概略図である。

【図18】同実施形態の例３において符号化装置が出力する２本のＶ３Ｃビットストリームの構成を示す概略図である。

【図19】同実施形態の例３においてストリーム合成装置に与えられる合成情報の例を示す概略図である。

【図20】同実施形態の例３においてストリーム合成装置が合成して出力するＶ３Ｃビットストリームの構成を示す概略図である。

【図21】同実施形態のシステムを構成する各装置をコンピューターで実現する場合の、内部構成の例を示すブロック図である。

【発明を実施するための形態】

【0027】

まず本実施形態で使用する主要な概念および手法について説明する。

【0028】

ポイントクラウドは、３次元空間内の立体構造を表現する方法の一つである。ポイントクラウドでは、立体構造物を、多数の点の集合（点群）として表現する。ポイントクラウドでは、この点群に含まれる各々の点の座標情報と属性情報とを用いる。ポイントクラウドの利点はデータ構造が単純であることであるが、十分に多くの点を用いることによって任意の立体構造を十分な精度で表現することができる。

【0029】

Ｖ－ＰＣＣ（Video-based Point Cloud Compression）圧縮方式は、ポイントクラウドの点群の情報を圧縮する手法である。Ｖ－ＰＣＣ圧縮方式においては、ポイントクラウドの点群を、それらの点を取り囲むバウンディングボックス（直方体）の各面に投影し、投影された画像を2次元画像用の符号化方法で符号化する手法であり、Ｖ３Ｃ（非特許文献１）として規格化されている。２次元平面に投影された画像の各セグメントは、矩形の２次元領域内に配置され、ＡＶＣ／Ｈ．２６４やＨＥＶＣ／Ｈ.２６５や、ＶＶＣ／Ｈ.２６６などの符号化方式を用いて圧縮符号化される。

【0030】

Ｖ３Ｃ規格に則った符号化のための処理手順は、次の通りである。圧縮対象の情報として入力されるポイントクラウド（点群）は、時間とともに変化する情報であり、それらの点群を取り囲むバウンディングボックス面に射影される。射影された画像は、パッチと呼ばれる小領域に分割された後に、2次元矩形領域内に配置される。矩形領域内に配置された後、位置情報と色などの情報を表わす連番画像が生成され、それらの連番画像は符号化され、ビデオストリームとして出力される。そして、符号化されたビデオストリームと、２次元矩形領域内に配置されたポイントクラウドの情報を示すデータと、その他のメタデータとにより、Ｖ３Ｃストリームが生成される。

【0031】

本実施形態の要点は、次の通りである。符号化装置２１は、入力されるポイントクラウドストリームを取得し、圧縮符号化する。符号化装置２１は、映像を領域ごとに分割し、領域ごとに別々に扱うことが可能な形で符号化し、品質の異なる複数のビットストリームを出力する。ストリーム合成装置２２は、取得する合成情報に基づいて、符号化装置２１が出力した複数のストリームおよびその分割情報を組み合わせて、単一のストリームを生成し得る。復号装置２３は、生成された単一のストリームを復号し、所望の品質でのポイントクラウドストリームを再構成する。

【0032】

図１は、本実施形態によるシステムの概略機能構成を示すブロック図である。図示するように、システム１は、符号化装置２１と、ストリーム合成装置２２と、復号装置２３と、分割情報供給装置３１とを含んで構成される。これらの符号化装置２１やストリーム合成装置２２や復号装置２３や分割情報供給装置３１のそれぞれは、例えば、コンピューターと、プログラムとで実現することが可能である。また、これらの装置のそれぞれは、必要に応じて、記憶手段を有する。記憶手段は、例えば、プログラム上の変数や、プログラムの実行によりアロケーションされるメモリーである。また、必要に応じて、磁気ハードディスク装置やソリッドステートドライブ（ＳＳＤ）といった不揮発性の記憶手段を用いるようにしてもよい。また、各装置が持つ機能の少なくとも一部の機能を、プログラムではなく専用の電子回路として実現してもよい。

【0033】

システム１は、例えば、比較的少数の符号化装置２１と、比較的少数のストリーム合成装置２２と、多数（場合によっては非常に多数）の復号装置２３を含むように構成することができる。

【0034】

符号化装置２１は、３次元情報に基づいて生成される映像を符号化してビットストリームとして出力する。符号化装置２１は、同一の３次元情報に基づいて、品質の異なる複数の映像として符号化処理を行うことができる。符号化装置２１のより詳細な機能構成についてはさらに後で説明する。

【0035】

ストリーム合成装置２２は、符号化装置２１から出力されるビットストリームを受信し、そのビットストリームの中から複数の映像を取り出す。また、ストリーム合成装置２２は、合成情報を取得する。合成情報は、例えば、下の復号装置２３から送信されるものである。合成情報は、映像のシーン情報に基づいて生成されるものであってもよい。ストリーム合成装置２２は、取り出した複数の映像のうち、合成情報の記述にしたがった映像を選択してそれらを組み合わせて合成し、単一のビットストリームを生成する。ストリーム合成装置２２は、合成して得られたビットストリームを、復号装置２３に対して送信する。

【0036】

ストリーム合成装置２２は、受信される複数のビットストリームをパーズし、Ｖ３Ｃユニットに含まれる映像ストリームデータをそのまま取り出す。あるいは、ストリーム合成装置２２は、Ｖ３Ｃユニットに含まれる映像ストリームデータを、タイルやスライスなどの境界によって分割して取り出してもよい。その後、ストリーム合成装置２２は、合成情報にしたがって、特定の映像を組み合わせてビットストリームを生成し、出力する。

【0037】

復号装置２３は、ストリーム合成装置２２から送信されるビットストリームを受信し、そのビットストリームの中に含まれる映像を復号し、画面等に表示する。復号装置は、下に記載するように、合成情報を生成してストリーム合成装置２２に対して送信することができる。これにより、復号装置２３は、自装置に合ったストリームを受信して映像の復号を行うことができる。

【0038】

復号装置２３は、例えば、提示部と合成情報送信部を含むようにして構成される。合成情報送信部は、合成情報を上記のストリーム合成装置２２に対して送信するものである。合成情報とは、複数の映像のうちのどの映像を組み合わせて合成するかを表す情報である。この合成情報送信部は、異なる品質の映像を含んだ複数の映像のうちのどの映像を組み合わせて合成するかを表す情報である合成情報を生成して、ストリーム合成装置２２に対して送信するものであってよい。提示部は、ストリーム合成装置２２が生成したストリームを受信するとともに、受信したストリームから取り出した複数の映像を復号して画面に提示するものである。ここで、提示部が受信するストリームは、上記の合成情報送信部が送信した合成情報に基づいてストリーム合成装置２２が生成したものである。つまり、復号装置２３は、自装置の能力（復号処理能力や表示能力等）に応じて適した合成情報をストリーム合成装置２２に対して送信することにより、その合成情報に合ったストリームを受信することができる。

【0039】

分割情報供給装置３１は、符号化装置２１と復号装置２３に対して分割情報を供給する。分割情報は、符号化装置２１が出力するストリームがどのような映像を含むかを記述した情報である。

【0040】

図２は、本実施形態による符号化装置の概略機能構成を示すブロック図である。図示するように、符号化装置２１は、分割情報取得部２１０と、３次元情報射影部２１１と、２次元画像配置部２１２と、補助配置情報圧縮部２１５と、ビデオ符号化部２１６Ａ，２１６Ｂ，および２１６Ｃと、マルチプレクサー２１７とを含んで構成される。

【0041】

分割情報取得部２１０は、分割情報供給装置３１から、分割情報を取得する。分割情報は、下のビデオ符号化部２１６Ａ，２１６Ｂ，および２１６Ｃが符号化処理をする際の映像の品質を規定する。ここで、映像の品質とは、全体の画素数や、単位長さ当たりの画素数や、量子化パラメーターや、映像の圧縮率や、フレームレートや、単位時間当たりのデータ量（あるいは情報量）など、様々な要素によって定めることのできるものである。また、分割情報は、どのビットストリームにどの映像を含めるかを表す情報を規定するようにする。この分割情報にしたがって、符号化装置２１は、映像の符号化を行うとともに、複数の映像を含んだビットストリームを生成し、出力する。

【0042】

３次元情報射影部２１１は、３次元構造を表す３次元データ（ポイントクラウドのデータ等）を所定の射影面にそれぞれ射影することによって２次元の画像を生成する。３次元情報射影部２１１は、単に「射影部」とも呼ばれる。

【0043】

２次元画像配置部２１２は、３次元情報射影部２１１が生成した２次元画像（あるいはその部分画像であるパッチ）を、所定の領域（例えば矩形領域）内に配置する。

【0044】

補助配置情報圧縮部２１５は、補助配置情報を圧縮符号化して出力する。

【0045】

ビデオ符号化部２１６Ａ，２１６Ｂ，および２１６Ｃは、それぞれ、２次元配置部から渡される映像を圧縮符号化してビットストリームを生成する。映像は、上記の画像の系列（時系列）である。具体的には、ビデオ符号化部２１６Ａは、テクスチャー画像の系列（映像）を圧縮符号化する。ビデオ符号化部２１６Ｂは、ジオメトリー画像の系列（映像）を圧縮符号化する。ビデオ符号化部２１６Ｃは、オキュパンシーマップ画像（映像）の系列を圧縮符号化する。

【0046】

符号化装置２１が出力するビットストリームに含まれる映像は、３次元構造を構成する点群の深度情報を表すオキュパンシ―ビデオデータ（ＯＶＤ）と、３次元構造を構成する点群の座標情報を表すジオメトリービデオデータ（ＧＶＤ）と、３次元構造を構成する点群の色またはテクスチャーを表すアトリビュートビデオデータ（ＡＶＤ）との少なくともいずれかとなるようにしてよい。

【0047】

ビデオ符号化部２１６Ａ，２１６Ｂ，および２１６Ｃが符号化してビットストリームに含まれることとなる映像は、ポイントクラウド等の３次元データを基に、複数の射影面に射影された画像にそれぞれ基づく映像である。

【0048】

ビデオ符号化部２１６Ａ，２１６Ｂ，および２１６Ｃが符号化してビットストリームに含まれることとなる映像は、複数の前記射影面に射影された画像にそれぞれ基づく複数の映像を、統合された１つの領域（例えば、後で図８を参照しながら説明する矩形領域４０２など）に配置して成る映像であってもよい。この場合、ビデオ符号化部２１６Ａ，２１６Ｂ，および２１６Ｃのそれぞれは、上記の統合された１つの領域の映像を、射影面の単位で分割可能な符号となるように符号化することもできる。

【0049】

ビデオ符号化部２１６Ａ，２１６Ｂ，および２１６Ｃは、各々のビットストリームが上記の分割情報で規定された品質の映像の符号を含むように、複数のビットストリームを生成するものである。

【0050】

ビデオ符号化部２１６Ａ，２１６Ｂ，および２１６Ｃのそれぞれは、渡される１つの映像に基づいて、品質等の異なる複数の符号を生成することも可能である。具体的には、ビデオ符号化部２１６Ａ，２１６Ｂ，および２１６Ｃのそれぞれは、例えば、異なる符号化パラメーターに基づいて複数回の符号化処理を行ってもよい。

【0051】

マルチプレクサー２１７は、補助配置情報圧縮部２１５と、ビデオ符号化部２１６Ａ，２１６Ｂ，および２１６Ｃとが出力する符号を、多重化し、１つのビットストリームとしてまとめる。マルチプレクサー２１７は、前記の分割情報にしたがって、複数の映像をそれぞれ含む複数のビットストリームを出力することができる。

【0052】

図３は、本実施形態によるストリーム合成装置の概略機能構成を示すブロック図である。図示するように、ストリーム合成装置２２は、合成情報取得部２２０と、分割部２２１と、ストリーム合成部２２２とを含んで構成される。

【0053】

合成情報取得部２２０は、外部から合成情報を取得する。合成情報は、例えば、復号装置２３側から渡されるものである。合成情報は、下の分割部２２１によって取り出される複数の映像のうちのどの映像を組み合わせて合成するかを表す情報である。

【0054】

分割部２２１は、符号化装置２１側から出力される複数のビットストリームをそれぞれ受信して、各々のビットストリームから複数の映像を分割して取り出す。分割部２２１は、同一の３次元データ（ポイントクラウド）を複数の射影面にそれぞれ射影することによって得られた複数の映像（各射影面の映像）を、ビットストリームから分割して取り出すものであってよい。

【0055】

ストリーム合成部２２２は、合成情報取得部２２０によって取得された合成情報に基づいて、分割部２２１が取り出した映像を組み合わせて合成することによって単一のストリームを生成する。なお、ストリーム合成部２２２は、上記の合成情報に基づいて、異なる品質を含んだ複数の映像を組み合わせて合成することによって単一のストリームを生成するようにしてよい。

【0056】

ここで、品質は、例えば、映像のサイズ（画素数）によって表されるものであってよい。ストリーム合成部２２２は、合成情報に基づいて、異なるサイズの複数の映像を組み合わせて合成することによって単一のストリームを生成するものであってよい。このような処理の例は、後で図１７を参照しながら説明する。

【0057】

図４は、本実施形態において符号化装置２１に入力されるポイントクラウドの一例を表す概略図である。図示するように、ポイントクラウドは、３次元空間における点の集合である。同図の例では、点の集合が１人の人の像を表している。個々の点は、座標の情報と、その点の属性の情報とで表わされる。図４では、空間内の平面の一部の領域である領域Ｒ１を拡大して示している。平面領域Ｒ１には、ポイントクラウドの要素である点のうちの人の頭部（顔等）の点が射影されている。

【0058】

図５は、本実施形態の符号化装置２１におけるポイントクラウド圧縮処理の流れを示す概略図である。ポイントクラウド圧縮処理には、ポイントクラウドデータ（Ｄ０１）が入力される。射影処理（Ｐ０１）は、ポイントクラウドに含まれる点をバウンディングボックスの各面に射影する。射影処理の結果として、バウンディングボックスの各面に射影された画像のデータ（Ｄ０２）が得られる。パッチ分割処理および配置処理（Ｐ０２）においては、画像のデータ（Ｄ０２）に基づき、バウンディングボックスの各面の画像をパッチに分割するとともに、それらのパッチを矩形の領域内に配置する。これにより、１枚の矩形画像のデータ（Ｄ０３）が生成される。なお、パッチの分割および配置のしかたに関する情報は、維持される。つまり、矩形画像のデータ（Ｄ０３）を基に、元のバウンディングボックスの各面の画像を復元することは可能である。

【0059】

矩形画像のデータ（Ｄ０３）は、テクスチャー画像とジオメトリー画像とオキュパンシ―マップ画像の情報を含む。つまり、矩形画像のデータ（Ｄ０３）を基に、テクスチャー画像のデータ（Ｄ０４）と、ジオメトリー画像のデータ（Ｄ０５）と、オキュパンシーマップ画像のデータ（Ｄ０６）とを得ることが可能である。テクスチャー画像（texture）とは、点群が表す色やテクスチャーの画像である。ジオメトリー画像（geometry）とは、点群の座標を表す画像である。オキュパンシーマップ画像（occupancy map）とは、点群の深度を表す画像である。これら３つの画像は、それぞれ、画像圧縮処理によって圧縮することが可能である。

【0060】

本実施形態では、２次元画像の圧縮処理（Ｐ０３、Ｐ０４、Ｐ０５）は、それぞれ、テクスチャー画像（Ｄ０４）、ジオメトリー画像（Ｄ０５）、オキュパンシーマップ画像（Ｄ０６）の圧縮符号化を行う。つまり、Ｐ０３の圧縮処理は、圧縮符号化されたテクスチャー画像を出力する。また、Ｐ０４の圧縮処理は、圧縮符号化されたジオメトリー画像を出力する。また、Ｐ０５の圧縮処理は、圧縮符号化されたオキュパンシーマップ画像を出力する。

【0061】

図６は、本実施形態において使用するＶ３Ｃビットストリームの構成を示す概略図である。Ｖ３Ｃストリームは、Ｖ３Ｃユニットによって構成される。図示する構成は、典型的なＶ３Ｃストリームの構成であり、２種類の補助データと３種類の映像ストリームとを含む。図に示すＶ３Ｃ＿ＶＰＳおよびＶ３Ｃ＿ＡＤが補助データである。また、Ｖ３Ｃ＿ＯＶＤ、Ｖ３Ｃ＿ＧＶＤ、およびＶ３Ｃ＿ＡＶＤが映像ストリームである。これら３つの映像ストリームは、いずれも、点群を射影したことによって得られる二次元画像の系列を符号化圧縮したものである。Ｖ３Ｃ＿ＶＰＳ（video parameter set、ビデオパラメーターセット）は、ストリーム全体のパラメーターを格納するユニットである。Ｖ３Ｃ＿ＡＤ（atlas data、アトラスデータ）は、パッチの配置を表すメタデータである。即ち、Ｖ３Ｃ＿ＡＤは、矩形画像内においてそれぞれのパッチが格納されている２次元領域の位置を指定する情報を持つものである。Ｖ３Ｃ＿ＯＶＤ（occupancy video data、オキュパンシービデオデータ）は、点群の深度情報を表す。Ｖ３Ｃ＿ＧＶＤ（geometry video data、ジオメトリービデオデータ）は、点群の座標情報を表す。Ｖ３Ｃ＿ＡＶＤ（attribute video data、アトリビュートビデオデータ）は、点群の色やテクスチャーの情報を表す。ここで説明したそれぞれのデータは、Ｖ３Ｃビットストリーム内において、ユニット単位で入れ替えることが可能である。上記の通り、ポイントクラウドストリームは、Ｖ３Ｃ規格で符号化したデータとして表現される。

【0062】

次に、分割情報供給装置３１が供給する分割情報について説明する。分割情報は、ポイントクラウドの情報を分割するための方法を指定するものである。分割情報は、ストリームの品質を指定するための補助情報を含む。符号化装置２１は、入力されるポイントクラウドストリームを基に、符号化処理を行うことによって複数のビットストリームを生成し、それらのビットストリームを分割可能な形で出力する。符号化装置２１は、品質の内容を指定する補助情報に基づいて、指定された品質に応じた符号化処理を行う。符号化装置２１は、補助情報に含まれるパラメーターに応じて、複数通りの品質による符号化処理を行うことができる。補助情報は、量子化パラメーター（ＱＰ、quantization parameter）や、ＬｏＤ（Level of Detail）機能の指定など、品質をビデオストリームの品質を制御するための情報を含む。なお、Ｌｏｄ機能は、標準化されている機能の一つである。Ｌｏｄ機能を用いることにより、水平軸と垂直軸とのそれぞれの軸においてパッチのスケーリング係数を指定することができる。

【0063】

図７は、分割情報の具体的な記述例を示す概略図である。図示するように、分割情報は、一例として、ＪＳＯＮ（JavaScript Object Notation、JavaScriptのオブジェクト記法）形式で記述され得る。同図において便宜的に行番号を付している。

【0064】

例示する分割情報の第２行目の「{ “SplitUnit”;: V3C_Unit }」という記述は、分割単位がＶ３Ｃユニットであることを表す。また、第３行目の「{ “SplitType”: “6ProjectionPlane” }」という記述は、分割のタイプが６個の投影面（バウンディングボックス）への投影による分割であることを表す。また、第４行目の「{ “AttrQP”: [40, 40, 40, 40, 40, 40], [16, 16, 16, 16, 16, 16] }」という記述は、属性情報（色情報）の量子化パラメーターを指定するものである。ここでは、２セットの量子化パラメーターが指定されている。第１のセットである「 [40, 40, 40, 40, 40, 40]」は、６個の面の量子化パラメーターとしてすべて「４０」が指定されていることを表す。第２のセットである「{ [16, 16, 16, 16, 16, 16]」は、６個の面の量子化パラメーターとしてすべて「１６」が指定されていることを表す。

【0065】

このような分割情報に基づいて、符号化装置２１は、指定された品質での符号化を行い、複数のビットストリームを出力する。上記の例では、分割タイプとして「6ProjectionPlane」という記述子が指定されている。６個の射影面は、それぞれ１から６までの指標値を用いてインデックスされる。各々の射影面に投射された点群画像は、１つの矩形領域内に配置される。各面の指標値は、システム１内のすべての装置において共通の情報として解釈される。

【0066】

図８は、ポイントクラウドと、バウンディングボックスと、圧縮符号化処理の対象である矩形領域との関係を示す概略図である。同図において、４０１はバウンディングボックスである。また、４０２は矩形領域である。

【0067】

バウンディングボックス４０１は、入力されるポイントクラウドに属するすべての点を内包する閉じた面である。本実施形態において、バウンディングボックス４０１は、直方体であり、６個の面を有する。バウンディングボックス４０１が持つ６つの面のそれぞれには、点群が射影される。射影の方法は、例えば、垂直射影であってよい。言い換えれば、射影された６個の画像は、図中に示すｘｙｚ直交座標系において、ｘ軸の正および負の両方向、ｙ軸の正および負の両方向、ｚ軸の正および負の両方向から点群を見たときの画像である。便宜的に、ｘ軸正方向に見た画像を方向１の画像とし、ｙ軸の正方向に見た画像を方向２の画像とし、ｚ軸の正方向に見た画像を方向３の画像とする。また、ｘ軸の負方向に見た画像を方向４の画像とし、ｙ軸の負方向に見た画像を方向５の画像とし、ｚ軸の負方向に見た画像を方向６の画像とする。方向１から方向６までのそれぞれは、前記の指標値１から６までに対応する。

【0068】

矩形領域４０２内には、パッチが配置される。図示する例は、パッチの配置のしかたの一例である。本例では、方向１から方向６までのそれぞれの射影画像が縦に並べて配置されている。ただし、配置のしかたは、ここに示す例に限るものではない。一つの射影画像（一例として、方向１の射影画像）が複数のパッチに分割されていてもよい。なお、前述の通り、どのパッチが矩形領域内のどこに配置されているかを表す情報は、Ｖ３Ｃ＿ＡＤ（atlas data）に記述されている。

【0069】

分割情報は、分割情報供給装置３１によって適切に生成される。分割情報は、入力となるポイントクラウドの態様に応じて生成されるものであってもよい。分割情報は、分割情報供給装置３１から、符号化装置２１にも復号装置２３にも渡される。復号装置２３は、渡される分割情報を参照したうえで、自装置の能力等に応じて合成情報を生成し、ストリーム合成装置２２に合成情報を送信する。ここでの復号装置２３の能力とは、復号装置２３がビットストリームを受信する際のビットレートの制約や、復号装置２３が処理あるいは表示する画像の解像度などである。また、復号装置２３側で特にどの方向の画像（方向１から方向６までのいずれかの画像）を高品質で復元したいかに応じて、復号装置２３が合成情報を生成するようにしてもよい。つまり、復号装置２３は、全体のビットレートを抑制しながら、特定の方向の射影画像のみを高品質な画像として取得し、再現することもできる。

【0070】

復号装置２３側において、ある時点においては所定の方向から見た点群を描画する場合がある。例えば、復号装置２３が、受信したビットストリームを復号して３次元仮想空間内にボリュメトリック映像を配置するような場合に、その３次元シーンに配置される仮想カメラとボリュメトリック映像との位置および回転（方向）情報が明らかである場合には、バウンディングボックスが持つ６面のうちの特にどの面が描画されるかを求めることができる。また、点群に対して、この仮想カメラからの視点が一定である場合、あるいは緩やかな速度で変化する場合には、復号装置２３側で同時に描画されるべき表示面は、少なくとも一定時間程度は不変となる。

【0071】

復号装置２３は、射影面ごとに異なる量子化パラメーターによる映像（ビットストリーム）を受信するようにしてもよい。図７に示したように、分割情報は、２次元の矩形領域内に配置された画像を圧縮符号化するための符号化パラメーターを含んでいる。具体的には、図７に示した分割情報の第４行目は、「AttrQP」（符号化のための量子化パラメーター）という項目のデータを持つものである。そのパラメーター値としては、「４０，４０，４０，４０，４０，４０」という値と、「１６，１６，１６，１６，１６，１６」という値とが、記述されている。各セットにおける６個の値は、分割されている６個の領域の画像にそれぞれ対応している。つまり、分割された６個の領域（６個の方向に対応）に関して、タイルやスライスなどの機能を使って符号化単位を独立させ、独立に指定された符号化量で圧縮符号化をすることを可能としている。図７に例示した分割情報を用いる場合には、符号化装置２１は、符号化品質の異なる２種類のテクスチャーの映像（ＱＰ＝１６および４０）のＶ３Ｃ圧縮ストリームを生成する。つまり、ビデオ符号化部２１６Ａは、１つのポイントクラウドストリームを基に、分割情報によって指定される複数の品質のビットストリームを生成する。ビデオ符号化部２１６Ａは、例えば、複数回のループ動作をすることによってこれら複数のビットストリームを生成するものであってよい。

【0072】

ストリーム合成装置２２は、符号化装置２１が生成する複数のビットストリームを分割復号して、合成情報に基づいて再合成する。ストリーム合成装置２２は、合成した単一のビットストリームを復号装置２３側に渡す。つまり、復号装置２３は、合成情報によって要求した内容のビットストリームを、ストリーム合成装置２２から受信することができる。

【0073】

前述の通り、Ｖ３Ｃビットストリームは、Ｖ３Ｃユニットの単位に分割可能である。Ｖ３Ｃビットストリームに含まれるＶ３Ｃ＿ＡＤ（アトラスデータ）は、画像内の有効画素領域の位置を示す情報を持つ。また、Ｖ３Ｃビットストリームは、ジオメトリーと、オキュパンシーマップと、アトリビュートの、３種類の映像信号を含む。ストリーム合成装置２２は、既存技術であるＡＶＣ（Advanced Video Coding）やＨＥＶＣ（High Efficiency Video Coding）のスライスやタイルの機能により、映像信号を分割することができる。つまり、ストリーム合成装置２２は、符号化装置２１から送られるビットストリームを基に、分割されたパッチ（方向１から方向６までのそれぞれの映像）を取得することができる。

【0074】

図９は、合成情報の具体的な記述例を示す概略図である。図示するように、合成情報は、一例としてＪＳＯＮ形式で記述されるものであってよい。同図において便宜的に行番号を付している。この合成情報は、例えば図７の分割情報を参照した復号装置２３によって生成され、ストリーム合成装置２２に渡されるものである。

【0075】

図示する合成情報の例では、第２行目の「{ “RecombinantFrom”: [6ProjectionPlane] }」という記述は、元の点群の６個の投影面（バウンディングボックス）への投影による投影画像からの組み換え（再合成）を行うことを表している。また、第３行目の「{ “outputStreamAttrQP”: [40,40,40,16,16,16] }」という記述は、上記の組み換え（再合成）後に出力するストリームにおける属性情報（色情報）の量子化パラメーターを指定するものである。この量子化パラメーターの指定における「[40,40,40,16,16,16]」という値は、６個の面それぞれ（面の指標値は、順に、１から６まで）の映像の量子化パラメーター値を、４０、４０、４０、１６、１６、１６とすることを意味している。このように、本例では、面によって異なる量子化パラメーターで符号化された映像を組み合わせて得られるビットストリームを、ストリーム合成装置２２が、復号装置２３に送信するようにする。

【0076】

つまり、ストリーム合成装置２２は、復号装置２３から通知される合成情報を基に、符号化装置２１から渡されるビットストリームを分割および組み換え（再合成）して、その合成情報に合ったビットストリームを復号装置２３に供給する。このように、ストリーム合成装置２２は、単一のストリームでありながら、映像の領域ごとに異なった品質を有するストリームを生成し、出力することができる。

【0077】

ストリーム合成装置２２は、Ｖ３ＣストリームがＶ３Ｃユニットの単位でデータを扱えることや、ＡＶＣやＨＥＶＣなどの映像符号化規格で規定されるＮＡＬユニット（ＮＡＬは「Network Abstraction Layer」（ネットワーク抽象化層）の略）等を利用できることによる応用が可能である。つまり、ストリーム合成装置２２は、様々な階層におけるデータの分割や組み換え（再合成）が可能である。以下では、例として、３種類の階層におけるデータの組み換えの方法の例について説明する。

【0078】

［★例１］Ｖ３Ｃストリームに含まれる映像ストリームのみの組み換え（再合成）の手法
本例では、ストリーム合成装置２２は、Ｖ３Ｃストリームに含まれる情報のうち、座標情報を示す映像ストリームおよび色情報を示す映像ストリームの差し替えを行う。本例において分割情報供給装置３１が供給する分割情報は、Ｖ３Ｃユニットの単位でのみ分割可能であることを示す情報を含む。これにより、符号化装置２１は、生成するそれぞれのストリームが共通のＶ３Ｃ＿ＶＰＳ（ビデオパラメーターセット）およびＶ３Ｃ＿ＡＤ（アトラスデータ）を含むようにする。

【0079】

図１０は、本例（例１）において符号化装置２１が生成する２本のＶ３Ｃビットストリーム（ＡおよびＢ）の構成を示す概略図である。図示するように、Ｖ３ＣビットストリームＡは、Ｖ３Ｃ＿ＶＰＳ（Ａ）、Ｖ３Ｃ＿ＡＤ（Ａ）、Ｖ３Ｃ＿ＯＶＤ（Ａ）、Ｖ３Ｃ＿ＧＶＤ（Ａ）、およびＶ３Ｃ＿ＡＶＤ（Ａ）を含んで構成されるものである。また、Ｖ３ＣビットストリームＢは、Ｖ３Ｃ＿ＶＰＳ（Ｂ）、Ｖ３Ｃ＿ＡＤ（Ｂ）、Ｖ３Ｃ＿ＯＶＤ（Ｂ）、Ｖ３Ｃ＿ＧＶＤ（Ｂ）、およびＶ３Ｃ＿ＡＶＤ（Ｂ）を含んで構成されるものである。

【0080】

図１０に示す構成のうち、Ｖ３Ｃ＿ＶＰＳ（Ａ）とＶ３Ｃ＿ＶＰＳ（Ｂ）とは共通のデータである。また、Ｖ３Ｃ＿ＡＤ（Ａ）とＶ３Ｃ＿ＡＤ（Ｂ）とは共通のデータである。一方で、Ｖ３Ｃ＿ＧＶＤ（Ａ）とＶ３Ｃ＿ＧＶＤ（Ｂ）とは、互いに異なるパラメーターに基づいてそれぞれ生成されたビデオデータである。また、Ｖ３Ｃ＿ＡＶＤ（Ａ）とＶ３Ｃ＿ＡＶＤ（Ｂ）とは、互いに異なるパラメーターに基づいてそれぞれ生成されたビデオデータである。

【0081】

図１１は、本例（例１）において、ストリーム合成装置２２が受信したＶ３ＣビットストリームＡおよびＢをそれぞれ分割したＶ３Ｃユニットの集合を示す概略図である。図示するように、図１０において示した各ストリームに含まれるＶ３Ｃが分割された結果が、図１１に示すデータである。

【0082】

図１２は、本例（例１）において想定する合成情報の例を示す概略図である。図示するように、この合成情報は、Ｖ３ＣビットストリームＡに含まれるＧＶＤ（ジオメトリービデオデータ）と、Ｖ３ＣビットストリームＢに含まれるＡＶＤ（アトリビュートビデオデータ）とを、それぞれ選択して合成することを表しているものである。このような合成情報を受信したストリーム合成装置２２は、図１１に示すＶ３Ｃユニットのうち、必要なものだけを選択して、単一のビットストリームを合成して復号装置２３に向けて送信することとなる。

【0083】

図１３は、図１２に示す合成情報に基づいてストリーム合成装置２２が合成して出力するＶ３Ｃビットストリームの構成を示す概略図である。図示するように、ストリーム合成装置２２が合成するＶ３Ｃビットストリームは、図１１に示したＶ３Ｃユニットから適宜選択されたＶ３Ｃユニットを含んで構成されているものである。即ち、図１３に示すＶ３Ｃストリームは、Ｖ３Ｃ＿ＶＰＳ（Ａ）、Ｖ３Ｃ＿ＡＤ（Ａ）、Ｖ３Ｃ＿ＯＶＤ（Ａ）、Ｖ３Ｃ＿ＧＶＤ（Ａ）、およびＶ３Ｃ＿ＡＶＤ（Ｂ）を含んで構成されるものである。つまり、ストリーム合成装置２２は、補助情報としては、Ｖ３Ｃ＿ＶＰＳ（Ａ）とＶ３Ｃ＿ＡＤ（Ａ）とを選択する。また、ストリーム合成装置２２は、オキュパンシ―ビデオデータとしては、Ｖ３Ｃ＿ＯＶＤ（Ａ）を選択する。そして、ストリーム合成装置２２は、図１２に示す合成情報が支持する通りに、Ｖ３Ｃ＿ＧＶＤ（Ａ）とＶ３Ｃ＿ＡＶＤ（Ｂ）とを選択する。

【0084】

このように、本例（例１）では、復号装置２３は、Ｖ３Ｃ＿ＧＶＤ（Ａ）とＶ３Ｃ＿ＡＶＤ（Ｂ）とを含むＶ３Ｃビットストリームを受信することができる。つまり、復号装置２３は、自装置の能力（復号処理能力や表示処理能力）等に合ったＶ３Ｃビットストリームを受信することができる。しかも、符号化装置２１側では、個々の復号装置２３に対応して個別に符号化処理を行う必要がなく、処理量を軽減することができる。

【0085】

［★例２］Ｖ３Ｃストリーム内の映像ストリーム内における組み換え（再合成）の手法
例２では、ストリーム合成装置２２は、符号化対象となった映像内の部分領域の単位での組み換えを行う。その前提として、Ｖ３Ｃユニットに格納されている映像ストリームが複数の部分領域に分割されている。それら複数の部分領域は、例えば同一の形状を有する部分領域である。具体的には、映像は、符号化規格におけるタイルの境界やスライスの境界によって分割される。本例において分割情報供給装置３１が供給する分割情報は、映像ストリームが上記の通り同一形状のタイルあるいはスライスで分割されることを指定する。また、この分割情報は、ＡＶＤ（アトリビュートビデオデータ）の符号化量の異なる２種類のストリームを出力することを指示するものである。このような分割情報にしたがって、符号化装置２１は、１つの矩形領域内に、方向ごとの画像（バウンディングボックスに射影される方向１から方向６までの射影画像）を分割可能な形で配置することができる。

【0086】

本例（例２）においても、符号化装置２１は、分割情報に基づいて、２本のＶ３Ｃビットストリーム（ＡおよびＢ）を生成し、出力する。符号化装置２１は、生成するそれぞれのＶ３Ｃビットストリームが共通のＶ３Ｃ＿ＶＰＳ（ビデオパラメーターセット）およびＶ３Ｃ＿ＡＤ（アトラスデータ）を含むようにする。また、本例（例２）においても、符号化装置２１が生成する２本のＶ３Ｃビットストリームにおいて、映像ストリーム（矩形領域）内のパッチの配置のしかた（アトラス）は互いに共通である。

【0087】

符号化装置２１からそれらのＶ３Ｃビットストリームを受信するストリーム合成装置２２において、分割部２２１は、Ｖ３Ｃユニットの単位で分割するとともに、映像ストリームをタイルやスライス等の境界において分割する。つまり、分割部２２１は、映像を、タイルやスライス等の単位まで分割する。その後、ストリーム合成装置２２のストリーム合成部２２２は、得られた合成情報に基づいて、必要な映像や補助データを組み合わせて、単一のビットストリームを再合成し、出力する。

【0088】

図１４は、本例（例２）においてストリーム合成装置２２が復号装置２３から受信する合成情報の例を示す概略図である。図示する合成情報は、Ｖ３Ｃ＿ＡＶＤ（アトリビュートビデオデータ）に関して、射影方向ごとに、Ｖ３ＣビットストリームＡあるいはＢのどちらを選択するかを表している。具体的には、ここに図示する合成情報は、方向１、２、および３のそれぞれに関してはＶ３ＣビットストリームＡに格納されている映像データを選択し、方向４、５、および６のそれぞれに関してはＶ３ＣビットストリームＢに格納されている映像データを選択することを指示するものである。

【0089】

図１５は、図１４に示した合成情報にしたがってストリーム合成装置２２が合成したＶ３Ｃビットストリームの構成を示す概略図である。図示するように、このＶ３Ｃビットストリームは、Ｖ３Ｃ＿ＶＰＳ（Ａ）と、Ｖ３Ｃ＿ＡＤ（Ａ）と、Ｖ３Ｃ＿ＯＶＤ（Ａ）と、Ｖ３Ｃ＿ＧＶＤ（Ａ）とのそれぞれのＶ３Ｃユニットを含むように構成されている。即ち、これらのＶ３Ｃユニットは、符号化装置２１が出力した２本のストリームのうちのＶ３ＣビットストリームＡから取り出されたデータである。また、図１５に示すＶ３Ｃビットストリームでは、ＡＶＤ（アトリビュートビデオデータ）としては、方向１の映像から方向６の映像までのそれぞれに関して、図１４の合成情報によって指示された選択が行われる。即ち、上記合成情報に対応して、方向１、２、および３のそれぞれに関してはＶ３ＣビットストリームＡから取り出されたＡＶＤの符号化データが選択される。また、方向４、５、および６のそれぞれに関してはＶ３ＣビットストリームＢから取り出されたＡＶＤの符号化データが選択される。つまり、ストリーム合成装置２２が出力するＶ３ＣビットストリームのＶ３Ｃ＿ＡＶＤには、Ａ，Ａ，Ａ，Ｂ，Ｂ，Ｂという並びの符号化データが格納される。これらは、それぞれ、元の射影の方向１から方向６までに対応する。つまり、ストリーム合成装置２２は、圧縮映像のスライスやタイルの単位でデータを組み換えて、単一のＶ３Ｃビットストリームを出力することができる。ストリーム合成装置２２は、このＶ３Ｃビットストリームを復号装置２３に送信する。つまり、復号装置２３は、自装置の能力等に応じてスライスやタイルの単位で組み換えた映像のデータを受信することが可能となる。

【0090】

図１６は、例２の場合における、ストリーム合成装置２２に入力されるテクスチャー画像とストリーム合成装置２２によって再合成されるテクスチャー画像との関係を示す概略図である。同図において、テクスチャー画像４１１は、Ｖ３ＣビットストリームＡに含まれるテクスチャー画像である。また、テクスチャー画像４１２は、Ｖ３ＣビットストリームＢに含まれるテクスチャー画像である。また、テクスチャー画像４１３は、合成後のＶ３Ｃビットストリームに含まれるテクスチャー画像である。

【0091】

Ｖ３ＣビットストリームＡおよびＢは、符号化装置２１によって生成され、ストリーム合成装置２２に渡される。Ｖ３ＣビットストリームＡにおけるテクスチャー画像は、量子化パラメーター（ＱＰ）の値を２０として符号化されたものである。一方で、Ｖ３ＣビットストリームＢにおけるテクスチャー画像は、量子化パラメーター（ＱＰ）の値を４０として符号化されたものである。Ｖ３ＣビットストリームＡのテクスチャー画像もＶ３ＣビットストリームＢのテクスチャー画像も、方向１から方向６までの画像を含むように構成されている。

【0092】

ここで、合成情報として、次のようなストリームの合成のしかたが指定される。即ち、合成後のテクスチャー画像の量子化パラメーター（ＱＰ）の値が、方向１に関しては２０、方向２に関しては２０、方向３に関しては２０、方向４に関しては４０、方向５に関しては４０、方向６に関しては４０と、指定される。このような合成情報に基づいて、ストリーム合成装置２２は、方向１、方向２、および方向３に関しては、Ｖ３ＣビットストリームＡから得られる画像を選択し、一方で方向４、方向５、および方向６に関しては、Ｖ３ＣビットストリームＢから得られる画像を選択する。つまり、ストリーム合成装置２２によって出力される合成後のストリームに含まれるテクスチャー画像４１３は、テクスチャー画像４１１から取得される方向１、方向２、および方向３の画像と、テクスチャー画像４１２から取得される方向４、方向５、および方向６の画像とを組み合わせて構成される。

【0093】

［★例３］Ｖ３Ｃストリーム内に含まれる、解像度が異なる映像ストリームの組み替え（再合成）の手法
例３では、Ｖ３Ｃストリーム内のＶ３Ｃユニットに含まれる、異なる形状（サイズ、画素数）の矩形領域として分割された映像ストリームを組み合わせる手法を用いる。符号化装置２１に与えられる符号化パラメーターの値がストリームごとに異なっていたり、符号化装置２１によって符号化される矩形領域（パッチが格納される領域）の形状やサイズ、あるいはその矩形領域を分割して得られる領域の形状やサイズが異なっていたりする場合にも、この例３の手法を用いることができる。つまり、例えば、入力される元のポイントクラウドが同一であっても、符号化装置２１が出力するストリームによっては、分割された領域の形状やサイズが異なる場合に、この例３の手法を適用できる。

【0094】

本例（例３）において、符号化装置２１は、分割情報に基づいて複数のストリームを生成する。例えば、符号化装置２１は、１つのポイントクラウドを基に、Ｖ３ＣビットストリームＡおよびＢという２本の異なるビットストリームを生成する。これらのＶ３ＣビットストリームＡとＢとの間では、パッチを配置するための矩形領域の形状（サイズ、画素数）が異なっていてよい。ただし、Ｖ３ＣビットストリームＡとＢの分割された矩形領域を組み合わせることを容易にするため、例えば、両者（ＡおよびＢ）における分割された矩形領域の横方向の画素数を同一としてよい。

【0095】

本例（例３）において、ストリーム合成装置２２は、符号化装置２１から受信するＶ３ＣビットストリームＡおよびＢがそれぞれ持つＶ３Ｃユニットを分割する。さらに、ストリーム合成装置２２は、映像ストリームをさらに分割可能な単位（タイルやスライス等）まで分割する。そのうえで、ストリーム合成装置２２は、合成情報にしたがって、指定された方法で分割された矩形領域を選択し、映像ストリームを再合成する。なお、本例（例３）においては、Ｖ３ＣビットストリームＡとＢとの間で分割された矩形領域の形状等が異なる。そのため、ストリーム合成装置２２は、Ｖ３ＣビットストリームＡとＢとの両方に含まれるＶ３Ｃ＿ＡＤ（アトラスデータ）をそれぞれ参照する。これにより、ストリーム合成装置２２は、Ｖ３ＣビットストリームＡとＢのそれぞれにおける矩形領域内でのパッチの配置を把握する。

【0096】

図１７は、例３の場合における、ストリーム合成装置２２に入力されるテクスチャー画像とストリーム合成装置２２によって再合成されるテクスチャー画像との関係を示す概略図である。同図において、テクスチャー画像４２１は、Ｖ３ＣビットストリームＡに含まれるテクスチャー画像である。また、テクスチャー画像４２２は、Ｖ３ＣビットストリームＢに含まれるテクスチャー画像である。また、テクスチャー画像４２３は、ストリーム合成装置２２による合成後のＶ３Ｃビットストリームに含まれるテクスチャー画像である。本例では、図示するように、テクスチャー画像４２１の横方向のサイズ（画素数）とテクスチャー画像４２２の横方向のサイズ（画素数）とは等しい。一方で、テクスチャー画像４２１の縦方向のサイズ（画素数）とテクスチャー画像４２２の縦方向のサイズ（画素数）とは異なっている。テクスチャー画像４２１には、方向１から方向６までのそれぞれの射影画像が並べて配置されている。また、テクスチャー画像４２２にも、方向１から方向６までのそれぞれの射影画像が並べて配置されている。つまり、Ｖ３ＣビットストリームＡに含まれる各方向の射影画像（分割された領域の画像）の縦方向のサイズと、Ｖ３ＣビットストリームＢに含まれる各方向の射影画像（分割された領域の画像）の縦方向のサイズとが、互いに異なる。各々の方向に対応する分割された領域には、パッチが配置されている。テクスチャー画像４２１とテクスチャー画像４２２とは、同一のポイントクラウドに基づく画像であるが、符号化装置２１に与えられた分割情報に基づいて両者のサイズ（画素数）が異なっている。

【0097】

図１７は、テクスチャー画像４２３は、ストリーム合成装置２２に与えられる合成情報に基づいて、ストリーム合成装置２２が生成した画像である。図示するように、方向１から方向３までのそれぞれの分割領域の画像は、テクスチャー画像４２１（Ｖ３ＣビットストリームＡ）における方向１から方向３までの分割領域の画像に基づくものである。また、方向４から方向６までのそれぞれの分割領域の画像は、テクスチャー画像４２２（Ｖ３ＣビットストリームＢ）における方向４から方向６までの分割領域の画像に基づくものである。

【0098】

図１８は、本例（例３）において符号化装置２１が出力する２本のＶ３Ｃビットストリームの構成を示す概略図である。Ｖ３ＣビットストリームＡとＢとでは前述の通り画像のサイズ（画素数）が異なるため、矩形画像内でのパッチの配置を表す情報であるアトラスデータも両者間（Ｖ３Ｃ＿ＡＤ（Ａ）とＶ３Ｃ＿ＡＤ（Ｂ）との間）で異なる。また、Ｖ３ＣビットストリームＡにおいて、Ｖ３Ｃ＿ＯＶＤ（オキュパンシービデオデータ）とＶ３Ｃ＿ＧＶＤ（ジオメトリービデオデータ）とＶ３Ｃ＿ＡＶＤ（アトリビュートビデオデータ）のそれぞれが、６個の分割領域の画像（６方向の射影画像）を含んでいる。また、Ｖ３ＣビットストリームＢにおいても、Ｖ３Ｃ＿ＯＶＤとＶ３Ｃ＿ＧＶＤとＶ３Ｃ＿ＡＶＤのそれぞれが、６個の分割領域の画像（６方向の射影画像）を含んでいる。

【0099】

図１９は、本例（例３）においてストリーム合成装置２２に与えられる合成情報の例を示す概略図である。図示するように、この合成情報は、次のような合成のしかたを指示する情報である。即ち、方向１、２、および３のそれぞれの射影面の画像としてはＶ３ＣビットストリームＡからの画像を選択し、方向４、５、および６のそれぞれの射影面の画像としてはＶ３ＣビットストリームＢからの画像を選択することを指示する情報である。このような合成情報を参照することにより、ストリーム合成装置２２は、Ｖ３ＣビットストリームＡおよびＢからのサイズの異なる射影面の画像を選択し、それらを組み合わせたストリームを合成し、出力する。

【0100】

図２０は、本例（例３）においてストリーム合成装置２２が合成して出力するＶ３Ｃビットストリームの構成を示す概略図である。ストリーム合成装置２２は、合成後のストリームのために、Ｖ３Ｃ＿ＶＰＳ（ビデオパラメーターセット）と、Ｖ３Ｃ＿ＡＤ（アトラスデータ）とを生成し、ストリーム内に格納する。また、ストリーム合成装置２２は、Ｖ３ＣビットストリームＡおよびＢからそれぞれ選択した分割映像を組み合わせることによって、Ｖ３Ｃ＿ＯＶＤとＶ３Ｃ＿ＧＶＤとＶ３Ｃ＿ＡＶＤの各映像を合成する。これらの各映像において、方向１から方向３までのそれぞれの射影面の分割映像は、Ｖ３ＣビットストリームＡに含まれていた分割映像である。また、方向４から方向６までのそれぞれの射影面の分割映像は、Ｖ３ＣビットストリームＢに含まれていた分割映像である。

【0101】

図２１は、上記の実施形態における符号化装置２１や、ストリーム合成装置２２や、復号装置２３や、分割情報供給装置３１といった各装置をコンピューターで実現する場合の、内部構成の例を示すブロック図である。図示するように、各装置を実現するためのコンピューターは、中央処理装置９０１と、ＲＡＭ９０２と、入出力ポート９０３と、入出力デバイス９０４や９０５等と、バス９０６と、を含んで構成される。コンピューター自体は、既存技術を用いて実現可能である。中央処理装置９０１は、ＲＡＭ９０２等から読み込んだプログラムに含まれる命令を実行する。中央処理装置９０１は、各命令にしたがって、ＲＡＭ９０２にデータを書き込んだり、ＲＡＭ９０２からデータを読み出したり、算術演算や論理演算を行ったりする。ＲＡＭ９０２は、データやプログラムを記憶する。ＲＡＭ９０２に含まれる各要素は、アドレスを持ち、アドレスを用いてアクセスされ得るものである。なお、ＲＡＭは、「ランダムアクセスメモリー」の略である。入出力ポート９０３は、中央処理装置９０１が外部の入出力デバイス等とデータのやり取りを行うためのポートである。入出力デバイス９０４や９０５は、入出力デバイスである。入出力デバイス９０４や９０５は、入出力ポート９０３を介して中央処理装置９０１との間でデータをやりとりする。バス９０６は、コンピューター内部で使用される共通の通信路である。例えば、中央処理装置９０１は、バス９０６を介してＲＡＭ９０２のデータを読んだり書いたりする。また、例えば、中央処理装置９０１は、バス９０６を介して入出力ポートにアクセスする。

【0102】

なお、上述した実施形態における符号化装置２１、ストリーム合成装置２２、復号装置２３、分割情報供給装置３１といった装置の少なくとも一部の機能をコンピューターおよびプログラムで実現することができる。その場合、この機能を実現するためのプログラムをコンピューター読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピューターシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピューターシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、ＵＳＢメモリー等の可搬媒体、コンピューターシステムに内蔵されるハードディスク等の記憶装置のことをいう。つまり、「コンピューター読み取り可能な記録媒体」とは、非一過性の（non-transitory）コンピューター読み取り可能な記録媒体であってよい。さらに「コンピューター読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、一時的に、動的にプログラムを保持するもの、その場合のサーバーやクライアントとなるコンピューターシステム内部の揮発性メモリーのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピューターシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。

【0103】

以上、複数の実施形態を説明したが、本発明はさらに次のような変形例でも実施することが可能である。

【0104】

［第１変形例］
システムにおける装置構成は、必ずしも図１に示した構成の通りでなくてもよい。例えば、符号化装置２１と分割情報供給装置３１とが同一の装置であってもよい。あるいは、符号化装置２１とストリーム合成装置２２とが同一の装置であってもよい。

【0105】

［第２変形例］
上記実施形態では、Ｖ３Ｃ（Visual Volumetric Video-based Coding）の符号化を用いたが、他の符号化の方法を用いるようにしてもよい。その場合も、１つのストリームの中に複数の映像（分割映像）を格納することができるようにする。ストリーム内の複数の映像は、ＡＶＤ、ＧＶＤ、ＯＶＤ等であってよい。ストリーム内の複数の映像は、異なる射影面に射影された映像であってよい。また、ＡＶＤ、ＧＶＤ、ＯＶＤ等のそれぞれが、異なる射影面（例えば、６面）に射影された映像を含んでいてもよい。

【0106】

なお、複数の変形例を、組み合わせることが可能な限りにおいて、組み合わせて実施してもよい。

【0107】

以上説明したように、本実施形態（変形例を含む）によれば、圧縮符号化したポイントクラウドストリームを、単一のビットストリーム内で領域ごとに品質を変化させたビットストリームを生成することができる。本手法により、復号側から要求される品質のストリームを生成するために、復号側と１対１に対応する符号化装置を設けることが不要となる。つまり、復号側の装置が増えても（例えば、大規模な配信等）、符号化装置側の処理の負荷が高まらない。

【0108】

本実施形態（変形例を含む）によれば、映像の、独立符号化領域ごとに異なる品質にすることができる。つまり、符号化装置２１は、組み換え可能な形態での符号を出力する。符号化装置２１は、品質の異なる複数の映像を出力することができる。ストリーム合成装置２２は、復号装置２３からの要求（合成情報）に応じた組合せで、符号を組み合わせて（再合成して）出力することができる。符号化自体は既に為されているため、ストリーム合成装置２２の処理の段階で不可の高い符号化処理を行わなくて済む。復号装置２３は、取得した分割情報を基に、独立符号化領域ごとに品質を選択することができる。例えば、３次元仮想空間内における視点の方向に応じて、複数の画像（射影面）それぞれの品質を適切に選択することができる。また、復号装置２３側におけるユーザー等の着目ポイントに応じて、複数の画像（射影面）それぞれの品質を適切に選択することができる。また、例えば、復号装置２３の復号処理能力あるいは表示処理能力に応じて、受信する映像の品質を選択することができる。

【0109】

例えば、復号装置２３側で３Ｄオブジェクトの画面等での提示を行う場合に、見る面に応じて品質を変えることができる。符号量や符号化の品質のパラメーターは、符号化単位ごとに変化させることができる。言い換えれば、状況に応じて、映像の品質と符号の通信量との間でのバランスを取るようなシステムを実現することができる。

【0110】

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

【産業上の利用可能性】

【0111】

本発明は、例えば、コンテンツの配信等に利用することができる。但し、本発明の利用範囲はここに例示したものには限られない。

【符号の説明】

【0112】

１ システム
２１ 符号化装置
２２ ストリーム合成装置
２３ 復号装置
３１ 分割情報供給装置
２１０ 分割情報取得部
２１１ ３次元情報射影部（射影部）
２１２ ２次元画像配置部
２１５ 補助配置情報圧縮部
２１６Ａ，２１６Ｂ，２１６Ｃ ビデオ符号化部
２１７ マルチプレクサー
２２０ 合成情報取得部
２２１ 分割部
２２２ ストリーム合成部
４０１ バウンディングボックス
４０２ 矩形領域
４１１ テクスチャー画像（Ｖ３ＣビットストリームＡ）
４１２ テクスチャー画像（Ｖ３ＣビットストリームＢ）
４１３ テクスチャー画像（合成後のＶ３Ｃビットストリーム）
４２１ テクスチャー画像（Ｖ３ＣビットストリームＡ）
４２２ テクスチャー画像（Ｖ３ＣビットストリームＢ）
４２３ テクスチャー画像（合成後のＶ３Ｃビットストリーム）
９０１ 中央処理装置
９０２ ＲＡＭ
９０３ 入出力ポート
９０４，９０５ 入出力デバイス
９０６ バス

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】