特表 2022-543365 点群再構成前の復号フレーム同期

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-10-12

(54)【発明の名称】点群再構成前の復号フレーム同期

(51)【国際特許分類】

   H04N 19/44 20140101AFI20221004BHJP

   H04N 19/597 20140101ALI20221004BHJP

   H04N 19/70 20140101ALI20221004BHJP

【ＦＩ】

H04N19/44

H04N19/597

H04N19/70

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2022506275

(86)(22)【出願日】2020-10-08

(85)【翻訳文提出日】2022-01-28

(86)【国際出願番号】 US2020054863

(87)【国際公開番号】W WO2021072131

(87)【国際公開日】2021-04-15

(31)【優先権主張番号】62/912,928

(32)【優先日】2019-10-09

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】000002185

【氏名又は名称】ソニーグループ株式会社

(74)【代理人】

【識別番号】100092093

【弁理士】

【氏名又は名称】辻居 幸一

(74)【代理人】

【識別番号】100109070

【弁理士】

【氏名又は名称】須田 洋之

(74)【代理人】

【識別番号】100067013

【弁理士】

【氏名又は名称】大塚 文昭

(74)【代理人】

【識別番号】100109335

【弁理士】

【氏名又は名称】上杉 浩

(74)【代理人】

【識別番号】100120525

【弁理士】

【氏名又は名称】近藤 直樹

(72)【発明者】

【氏名】グラジオッシ ダニーロ

(72)【発明者】

【氏名】ザゲットー アレクサンドル

(72)【発明者】

【氏名】タバタバイ アリ

(72)【発明者】

【氏名】ザハルチェンコ ヴラディスラフ

【テーマコード（参考）】

5C159

【Ｆターム（参考）】

5C159KK31

5C159PP13

5C159RC02

5C159RC04

5C159RC12

5C159TB04

5C159TC35

5C159UA02

5C159UA05

5C159UA34

(57)【要約】

点群再構成前の復号フレーム同期のための方法及びビデオベースの点群圧縮（Ｖ－ＰＣＣ）デコーダを提供する。点群シーケンスに関連する符号化フレームを含むＶ－ＰＣＣビットストリームを受け取る。受け取られたＶ－ＰＣＣビットストリームのサブストリームをＶ－ＰＣＣデコーダの一群のビデオデコーダによって復号して、属性成分、形状成分、占有マップ成分及びアトラス成分などのＶ－ＰＣＣ成分を生成する。再構成ユニットへの属性成分、形状成分、占有マップ成分及びアトラス成分の放出を、それぞれ第１の出力遅延、第２の出力遅延、第３の出力遅延及び第４の出力遅延に基づいて遅延させる。この遅延した放出は、再構成ユニットが属性成分、形状成分、占有マップ成分及びアトラス成分に基づいて点群を再構成する前に、Ｖ－ＰＣＣ成分を互いに同期させる。
【選択図】 なし

【特許請求の範囲】

【請求項1】

ビデオベースの点群圧縮（Ｖ－ＰＣＣ）デコーダにおいて、
点群シーケンスに関連する符号化フレームを含むＶ－ＰＣＣビットストリームを受け取るステップと、
前記Ｖ－ＰＣＣビットストリームのサブストリームを一群のビデオデコーダによって復号して、属性成分、形状成分、占有マップ成分及びアトラス成分を含むＶ－ＰＣＣ成分を生成するステップと、
前記Ｖ－ＰＣＣデコーダの再構成ユニットへの前記属性成分の放出を第１の出力遅延に基づいて遅延させるステップと、
前記再構成ユニットへの前記形状成分の放出を第２の出力遅延に基づいて遅延させるステップと、
前記再構成ユニットへの前記占有マップ成分の放出を第３の出力遅延に基づいて遅延させるステップと、
前記再構成ユニットへの前記アトラス成分の放出を第４の出力遅延に基づいて遅延させるステップと、
を含み、前記遅延した放出は、前記再構成ユニットが前記Ｖ－ＰＣＣ成分に基づいて点群を再構成する前に、前記属性成分、前記形状成分、前記占有マップ成分及び前記アトラス成分を互いに同期させる、
ことを特徴とする方法。

【請求項2】

前記Ｖ－ＰＣＣビットストリームの属性サブストリームに関連する第１のピクチャタイミング補足強化情報（ＳＥＩ）メッセージを受け取るステップをさらに含む、
請求項１に記載の方法。

【請求項3】

前記属性成分の前記放出を遅延させる前記ステップは、
前記受け取られた第１のピクチャタイミングＳＥＩメッセージから前記第１の出力遅延を抽出するステップと、
前記抽出された第１の出力遅延に基づいて、前記属性成分に関連する遅延オフセットを決定するステップと、
前記抽出された第１の出力遅延及び前記決定された遅延オフセットに基づいて、前記属性ビデオデコーダに関連する第１の復号ピクチャバッファから前記属性成分を除去すべき第１の合成時点を修正するステップと、
前記修正された第１の合成時点に前記第１の復号ピクチャバッファから前記属性成分を除去するステップと、
をさらに含む、請求項２に記載の方法。

【請求項4】

前記Ｖ－ＰＣＣビットストリームの形状サブストリームに関連する第２のピクチャタイミング補足強化情報（ＳＥＩ）メッセージを受け取るステップをさらに含む、
請求項１に記載の方法。

【請求項5】

前記形状成分の前記放出を遅延させる前記ステップは、
前記受け取られた第２のピクチャタイミングＳＥＩメッセージから前記第２の出力遅延を抽出するステップと、
前記抽出された第２の出力遅延に基づいて、前記形状成分に関連する遅延オフセットを決定するステップと、
前記抽出された第２の出力遅延及び前記決定された遅延オフセットに基づいて、前記形状ビデオデコーダに関連する第２の復号ピクチャバッファから前記形状成分を除去すべき第２の合成時点を修正するステップと、
前記修正された第２の合成時点に前記第２の復号ピクチャバッファから前記形状成分を除去するステップと、
をさらに含む、請求項４に記載の方法。

【請求項6】

前記Ｖ－ＰＣＣビットストリームの占有マップサブストリームに関連する第３のピクチャタイミング補足強化情報（ＳＥＩ）メッセージを受け取るステップをさらに含む、
請求項１に記載の方法。

【請求項7】

前記占有マップ成分の前記放出を遅延させる前記ステップは、
前記受け取られた第３のタイミングＳＥＩメッセージから前記第３の出力遅延を抽出するステップと、
前記抽出された第３の出力遅延に基づいて、前記占有マップ成分に関連する遅延オフセットを決定するステップと、
前記抽出された第３の出力遅延に基づいて、前記占有マップデコーダに関連する第３の復号ピクチャバッファから前記占有マップ成分を除去すべき第３の合成時点を修正するステップと、
前記修正された第３の合成時点に前記第３の復号ピクチャバッファから前記占有マップ成分を除去するステップと、
をさらに含む、請求項６に記載の方法。

【請求項8】

前記Ｖ－ＰＣＣビットストリームのアトラスサブストリームに関連するアトラスタイミング補足強化情報（ＳＥＩ）メッセージを受け取るステップをさらに含む、
請求項１に記載の方法。

【請求項9】

前記アトラス成分の前記放出を遅延させる前記ステップは、
前記受け取られたアトラスタイミングＳＥＩメッセージから前記第４の出力遅延を抽出するステップと、
前記抽出された第２の出力遅延に基づいて、前記アトラス成分に関連する遅延オフセットを決定するステップと、
前記抽出した第４の出力遅延及び前記決定されたオフセット遅延に基づいて、前記アトラスフレームデコーダに関連する復号アトラスバッファから前記アトラス成分を除去すべき第４の合成時点を修正するステップと、
前記修正された第４の合成時点に前記復号アトラスバッファから前記アトラス成分を除去するステップと、
をさらに含む、請求項８に記載の方法。

【請求項10】

前記復号後に、前記Ｖ－ＰＣＣデコーダのＶ－ＰＣＣ合成バッファに前記属性成分を記憶するステップと、
前記復号後に、前記Ｖ－ＰＣＣ合成バッファに前記形状成分を記憶するステップと、
前記復号後に、前記Ｖ－ＰＣＣ合成バッファに前記占有マップ成分を記憶するステップと、
前記復号後に、前記Ｖ－ＰＣＣ合成バッファに前記アトラス成分を記憶するステップと、
をさらに含む、請求項１に記載の方法。

【請求項11】

前記記憶された属性成分、前記記憶された形状成分、前記記憶された占有マップ成分及び前記記憶されたアトラス成分の各々について、前記第１の出力遅延、前記第２の出力遅延、前記第３の出力遅延及び前記第４の出力遅延のうちの１つに基づいて、前記Ｖ－ＰＣＣ合成バッファから除去する合成時点を修正するステップと、
前記Ｖ－ＰＣＣ成分のそれぞれの成分に関連する前記修正された合成時点に、前記記憶された属性成分、前記記憶された形状成分、前記記憶された占有マップ成分及び前記記憶されたアトラス成分の各々を前記Ｖ－ＰＣＣ合成バッファから除去するステップと、
をさらに含み、前記記憶された属性成分、前記記憶された形状成分、前記記憶された占有マップ成分及び前記記憶されたアトラス成分の各々の前記除去は、前記再構成ユニットへの前記遅延した放出に対応する、
請求項１０に記載の方法。

【請求項12】

ビデオベースの点群圧縮（Ｖ－ＰＣＣ）デコーダであって、
点群シーケンスに関連する符号化フレームを含むＶ－ＰＣＣビットストリームを受け取り、
前記Ｖ－ＰＣＣビットストリームのサブストリームを復号して、属性成分、形状成分、占有マップ成分及びアトラス成分を含むＶ－ＰＣＣ成分を生成し、
前記Ｖ－ＰＣＣデコーダの再構成ユニットへの前記属性成分の放出を第１の出力遅延に基づいて遅延させ、
前記再構成ユニットへの前記形状成分の放出を第２の出力遅延に基づいて遅延させ、
前記再構成ユニットへの前記占有マップ成分の放出を第３の出力遅延に基づいて遅延させ、
前記再構成ユニットへの前記アトラス成分の放出を第４の出力遅延に基づいて遅延させる、
ように構成された回路を備え、前記遅延した放出は、前記再構成ユニットが前記Ｖ－ＰＣＣ成分に基づいて点群を再構成する前に、前記属性成分、前記形状成分、前記占有マップ成分及び前記アトラス成分を互いに同期させる、
ことを特徴とするＶ－ＰＣＣデコーダ。

【請求項13】

前記回路は、
前記Ｖ－ＰＣＣビットストリームの属性サブストリームに関連する第１のピクチャタイミング補足強化情報（ＳＥＩ）メッセージを受け取り、
前記受け取られた第１のピクチャタイミングＳＥＩメッセージから前記第１の出力遅延を抽出し、
前記抽出された第１の出力遅延に基づいて、前記属性成分に関連する遅延オフセットを決定し、
前記抽出された第１の出力遅延及び前記決定されたオフセット遅延に基づいて、前記属性ビデオデコーダに関連する第１の復号ピクチャバッファから前記属性成分を除去すべき第１の合成時点を修正し、
前記修正された第１の合成時点に前記第１の復号ピクチャバッファから前記属性成分を除去する、
ようにさらに構成され、前記除去は、前記属性成分の前記遅延した放出に対応する、
請求項１２に記載のＶ－ＰＣＣデコーダ。

【請求項14】

前記回路は、
前記Ｖ－ＰＣＣビットストリームの形状サブストリームに関連する第２のピクチャタイミング補足強化情報（ＳＥＩ）メッセージを受け取り、
前記受け取られた第２のピクチャタイミングＳＥＩメッセージから前記第２の出力遅延を抽出し、
前記抽出された第２の出力遅延に基づいて、前記形状成分に関連する遅延オフセットを決定し、
前記抽出された第２の出力遅延及び前記決定された遅延オフセットに基づいて、前記形状ビデオデコーダに関連する第２の復号ピクチャバッファから前記形状成分を除去すべき第２の合成時点を修正し、
前記修正された第２の合成時点に前記第２の復号ピクチャバッファから前記形状成分を除去する、
ようにさらに構成され、前記除去は、前記形状成分の前記遅延した放出に対応する、
請求項１２に記載のＶ－ＰＣＣデコーダ。

【請求項15】

前記回路は、
前記Ｖ－ＰＣＣビットストリームの占有マップサブストリームに関連する第３のピクチャタイミング補足強化情報（ＳＥＩ）メッセージを受け取り、
前記受け取られた第３のタイミングＳＥＩメッセージから前記第３の出力遅延を抽出し、
前記抽出された第３の出力遅延に基づいて、前記占有マップ成分に関連する遅延オフセットを決定し、
前記抽出された第３の出力遅延に基づいて、前記占有マップデコーダに関連する第３の復号ピクチャバッファから前記占有マップ成分を除去すべき第３の合成時点を修正し、
前記修正された第３の合成時点に前記第３の復号ピクチャバッファから前記占有マップ成分を除去する、
ようにさらに構成され、前記除去は、前記占有マップ成分の前記遅延した放出に対応する、
請求項１２に記載のＶ－ＰＣＣデコーダ。

【請求項16】

前記回路は、前記Ｖ－ＰＣＣビットストリームのアトラスサブストリームに関連するアトラスタイミング補足強化情報（ＳＥＩ）メッセージを受け取るようにさらに構成される、
請求項１２に記載のＶ－ＰＣＣデコーダ。

【請求項17】

前記回路は、
前記受け取られたアトラスタイミングＳＥＩメッセージから前記第４の出力遅延を抽出し、
前記抽出された第２の出力遅延に基づいて、前記アトラス成分に関連する遅延オフセットを決定し、
前記抽出された第４の出力遅延及び前記決定されたオフセット遅延に基づいて、前記アトラスフレームデコーダに関連する復号アトラスバッファから前記アトラス成分を除去すべき第４の合成時点を修正し、
前記修正された第４の合成時点に前記復号アトラスバッファから前記アトラス成分を除去する、
ようにさらに構成され、前記除去は、前記アトラス成分の前記遅延した放出に対応する、
請求項１６に記載のＶ－ＰＣＣデコーダ。

【請求項18】

前記回路は、
前記復号後に、前記Ｖ－ＰＣＣデコーダのＶ－ＰＣＣ合成バッファに前記属性成分を記憶し、
前記復号後に、前記Ｖ－ＰＣＣ合成バッファに前記形状成分を記憶し、
前記復号後に、前記Ｖ－ＰＣＣ合成バッファに前記占有マップ成分を記憶し、
前記復号後に、前記Ｖ－ＰＣＣ合成バッファに前記アトラス成分を記憶する、
ようにさらに構成される、請求項１２に記載のＶ－ＰＣＣデコーダ。

【請求項19】

前記回路は、前記記憶された属性成分、前記記憶された形状成分、前記記憶された占有マップ成分及び前記記憶されたアトラス成分の各々について、前記Ｖ－ＰＣＣ合成バッファから除去する合成時点を修正するようにさらに構成され、
前記合成時点は、前記第１の出力遅延、前記第２の出力遅延、前記第３の出力遅延及び前記第４の出力遅延のうちの１つに基づいて修正される、
請求項１８に記載のＶ－ＰＣＣデコーダ。

【請求項20】

前記回路は、前記Ｖ－ＰＣＣ成分のそれぞれの成分に関連する前記修正された合成時点に、前記記憶された属性成分、前記記憶された形状成分、前記記憶された占有マップ成分、及び前記記憶されたアトラス成分の各々を前記Ｖ－ＰＣＣ合成バッファから除去するようにさらに構成され、
前記記憶された属性成分、前記記憶された形状成分、前記記憶された占有マップ成分及び前記記憶されたアトラス成分の各々の前記除去は、前記再構成ユニットへの前記遅延した放出に対応する、
請求項１９に記載のＶ－ＰＣＣデコーダ。

【発明の詳細な説明】

【技術分野】

【0001】

〔関連出願との相互参照／引用による組み入れ〕
本出願は、２０１９年１０月９日に出願された米国仮特許出願第６２／９１２，９２８号に対する優先権を主張するものであり、この文献はその内容全体が引用により本明細書に組み入れられる。

【0002】

本開示の様々な実施形態は、ビデオベースの点群圧縮（Ｖ－ＰＣＣ）に関する。具体的には、本開示の様々な実施形態は、点群再構成前の復号フレーム同期に関する。

【背景技術】

【0003】

３次元（３Ｄ）スキャン技術分野の進歩は、３Ｄオブジェクトの動的及び静的３Ｄ幾何学表現を作成する能力をもたらした。動的３Ｄ点群は３Ｄ幾何学表現の一例であり、これらは、スポーツ又はライブイベントの中継放送の自由視点映像（ＦＶＶ）、地理情報システム、文化遺産の再現、又は車両の自律航法などの異なる用途に採用されることが多くなっている。通常、動的３Ｄ点群は多くの点群フレームを含み、各点群フレームは、（例えば、各点がＸ、Ｙ及びＺ座標を有する）多くの非構造的３Ｄ点と、例えば色又は反射率を含むテクスチャなどの関連する属性とを含む。３Ｄ点群によって表されるオブジェクトの３Ｄ画像は非常に多くの未加工データを含むことができ、これによってあらゆる実用的応用のためのデータの記憶、処理及び伝送が困難な作業になっている。動的３Ｄ点群を符号化する技術の１つはビデオベースの点群圧縮（Ｖ－ＰＣＣ）と呼ばれ、従来のビデオコーデックを使用して動的３Ｄ点群の形状及びテクスチャを符号化するものである。動的３Ｄ点群の解凍効率を高めることが望ましいと考えられる。

【発明の概要】

【発明が解決しようとする課題】

【0004】

当業者には、説明したシステムと、本出願の残り部分において図面を参照しながら示す本開示のいくつかの態様とを比較することにより、従来の慣習的な手法のさらなる限界及び不利点が明らかになるであろう。

【課題を解決するための手段】

【0005】

実質的に少なくとも１つの図に関連して図示及び／又は説明し、特許請求の範囲にさらに完全に示すような、点群再構成前の復号フレーム同期のためのビデオベースの点群圧縮（Ｖ－ＰＣＣ）デコーダ及び方法を提供する。

【0006】

全体を通じて同じ要素を同じ参照符号によって示す添付図面を参照しながら本開示の以下の詳細な説明を検討することにより、本開示のこれらの及びその他の特徴及び利点を理解することができる。

【図面の簡単な説明】

【0007】

【図1】本開示の実施形態による、点群再構成前の復号フレーム同期のための例示的なビデオベースの点群圧縮（Ｖ－ＰＣＣ）デコーダの図である。

【図2】本開示の実施形態による、点群再構成前の復号フレーム同期のための例示的な手法の実装を示すＶ－ＰＣＣデコーダのアーキテクチャの図である。

【図3A】本開示の実施形態による、それぞれが単一のＶ－ＰＣＣ成分マップを含むサブビットストリームの例を示す図である。

【図3B】本開示の実施形態による、インターリーブマップを含む単一のサブビットストリームの例を示す図である。

【図4】本開示の少なくとも１つの実施形態による、アトラスフレームのための仮想参照デコーダ（ＨＲＤ）を示す図である。

【図5】本開示の実施形態による、図１のＶ－ＰＣＣデコーダのブロック図である。

【図6】本開示の実施形態による、点群再構成前の復号フレーム同期のための例示的な動作を示すフローチャートである。

【発明を実施するための形態】

【0008】

点群再構成前の復号フレーム同期のための開示する方法及びビデオベースの点群圧縮（Ｖ－ＰＣＣ）デコーダでは、後述する実装を見出すことができる。本開示は、通常は異なるピクチャ群（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅｓ：ＧＯＰ）構造に起因して時間的に整合していない異なるＶ－ＰＣＣ成分の復号フレームを同期させる２つの個別の手法を提供する。Ｖ－ＰＣＣデコーダの各ビデオデコーダの出力における適合点（ｃｏｎｆｏｒｍａｎｃｅ ｐｏｉｎｔ）は、Ｖ－ＰＣＣデコーダの再構成ユニットが点群シーケンスの単一フレームを再構成できるように、Ｖ－ＰＣＣ成分が再構成ユニットに転送される前に全てのこのような成分が時間的に整合することを必要とする。点群シーケンスの完全な点群フレームを再構成するには全てのＶ－ＰＣＣ成分が必要となり得る。このような成分が整合していなければ、再構成ユニットの出力における別の適合点の要件を満たすことが困難になる場合がある。

【0009】

本開示では、属性フレーム、形状フレーム、占有マップ及びアトラスフレームなどのＶ－ＰＣＣ成分を時間的に整合させる２つの個別の手法を提供する。第１の手法では、Ｖ－ＰＣＣ成分が点群再構成のために再構成ユニットに転送される前に全てのこのような成分が時間的に整合するように、各ビデオデコーダを、それぞれのデコーダの復号ピクチャ／アトラスバッファからのそれぞれのＶ－ＰＣＣ成分の放出を遅延させるように構成することができる。第２の手法では、一群のビデオデコーダがそのＧＯＰ構造に従ってＶ－ＰＣＣ成分を出力することができるが、外部バッファを使用してこのような成分を一定期間にわたって保持することができる。必要なＶ－ＰＣＣ成分が全て外部バッファ内に存在する場合には、このような成分を外部バッファから除去して点群再構成のために再構成ユニットに放出することができる。この手法では、ビデオデコーダを変更しないことができるが、さらなるバッファ管理が必要となり得る。開示する方法は、復号フレーム又はＶ－ＰＣＣ成分が点群フレーム再構成のための要件に従うとともに、点群フレーム再構成の幅広い柔軟性をもたらすことを確実にする。

【0010】

図１は、本開示の実施形態による、点群再構成前の復号フレーム同期のための例示的なビデオベースの点群圧縮（Ｖ－ＰＣＣ）デコーダの図である。図１には、ビデオベースの点群圧縮（Ｖ－ＰＣＣ）デコーダ１０２のブロック図１００を示す。Ｖ－ＰＣＣデコーダ１０２は、一群のビデオデコーダ１０４及び再構成ユニット１０６を含むことができる。Ｖ－ＰＣＣデコーダ１０２は、カラー再構成ユニットなどの他のコンポーネントを含むこともできるが、簡潔にするために本開示からは省略する。

【0011】

Ｖ－ＰＣＣデコーダ１０２は、メディア記憶装置などのデータソースからＶ－ＰＣＣビットストリーム１０８を受け取るように構成できる好適なロジック、回路、インターフェイス及び／又はコードを含むことができる。Ｖ－ＰＣＣビットストリーム１０８は、点群シーケンスに関連する符号化フレームを含むことができる。Ｖ－ＰＣＣデコーダ１０２は、受け取ったＶ－ＰＣＣビットストリーム１０８を復号して、点群シーケンスのフレーム毎の再構成を実行することができる。フレーム毎の再構成プロセスは、点群シーケンス全体が再構成されるまで繰り返すことができる。

【0012】

ある実施形態では、Ｖ－ＰＣＣデコーダ１０２を、グラフィカルプロセッシングユニット（ＧＰＵ）、中央処理装置（ＣＰＵ）、縮小命令セットコンピューティング（ＲＩＳＣ）プロセッサ、特定用途向け集積回路（ＡＳＩＣ）プロセッサ、複合命令セットコンピューティング（ＣＩＳＣ）プロセッサ、コプロセッサ、又はこれらの組み合わせに実装することができる。別の実施形態では、Ｖ－ＰＣＣデコーダ１０２を専用ハードウェアデコーダとして実装することができる。専用ハードウェアデコーダの例としては、以下に限定するわけではないが、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プログラマブルロジックデバイス（ＰＬＤ）、特定用途向け集積回路（ＡＳＩＣ）、プログラマブルＡＳＩＣ（ＰＬ－ＡＳＩＣ）、特定用途向け集積部品（ＡＳＳＰ）、及び標準的なマイクロプロセッサ（ＭＰＵ）又はデジタルシグナルプロセッサ（ＤＳＰ）に基づくシステムオンチップ（ＳＯＣ）を挙げることができる。別の実施形態では、Ｖ－ＰＣＣデコーダ１０２を、記憶されたプログラム可能命令と専用又は汎用デコーダ回路との組み合わせとして実装することができる。

【0013】

一群のビデオデコーダ１０４の各々は、Ｖ－ＰＣＣビットストリーム１０８のサブストリームを復号してＶ－ＰＣＣ成分を生成するように構成できる好適なロジック、回路、インターフェイス及び／又はコードを含むことができる。一群のビデオデコーダ１０４は、Ｖ－ＰＣＣビットストリーム１０８を復号することによって、属性成分（例えば、（単複の）属性フレーム）、形状成分（例えば、（単複の）形状フレーム）、占有マップ成分（例えば、（単複の）占有マップ）、及びアトラス成分（例えば、（単複の）アトラスフレーム）などのＶ－ＰＣＣ成分を生成することができる。ある実施形態では、一群のビデオデコーダ１０４の各々を、高効率ビデオコーディング（ＨＥＶＣ）コーデック又はアドバンストビデオコーディング（ＡＶＣ）コーデックなどの標準的なビデオコーデックに基づいて実装することができる。別の実施形態では、一群のビデオデコーダ１０４の各々を、非標準的な又は専用のビデオコーデックに基づいて実装することができる。

【0014】

再構成ユニット１０６は、点群シーケンスのフレーム毎の再構成を実行するように構成できる好適なロジック、回路、インターフェイス及び／又はコードを含むことができる。例えば、再構成ユニット１０６は、点群シーケンスの１つの完全なフレーム（すなわち、３Ｄ点群）を再構成するために必要となり得る少なくとも単位サイズの生成されたＶ－ＰＣＣ成分を受け取ることができる。再構成ユニット１０６は、Ｖ－ＰＣＣデコーダ１０２の汎用又は専用ハードウェアコンポーネント、記憶されたプログラム可能命令、又はこれらの組み合わせのうちの１つとして実装することができる。

【0015】

通常、Ｖ－ＰＣＣエンコーダは、点群シーケンスを符号化してＶ－ＰＣＣビットストリーム１０８を生成することができる。Ｖ－ＰＣＣエンコーダは、点群属性（例えば、テクスチャ）、形状、占有マップのビデオを作成してこのようなビデオをビデオエンコーダで符号化することによって点群シーケンスを符号化する。Ｖ－ＰＣＣは、点群シーケンスのパラメータを示すメタデータ情報、並びにパッチサイズ及び位置などのその他の関連情報のストリーム様構造を定める。

【0016】

符号化のためには、ボリュメトリックデータすなわち点群を３Ｄパッチと呼ばれる連結成分の領域にセグメント化することができる。各３Ｄパッチに対してｘ、ｙ又はｚ軸のいずれかに沿った平面上に正投影を適用すると、２Ｄパッチ点の組を得ることができる。アトラスフレームは、アトラス成分の一部として、対応する３Ｄパッチ境界ボックスの投影とすることができる２次元（２Ｄ）境界ボックスの集合を意味することができる。パッキングは、回転及び変換などの一連の変形の適用を通じた各アトラスフレーム内における２Ｄ境界ボックスの配置を意味することができる。一般に、アトラスフレームは、３Ｄから２Ｄへのパッチ生成及びパッキングプロセス中に適用される座標変換に関する情報を提供することができる。

【0017】

Ｖ－ＰＣＣエンコーダは、点群シーケンス内の各点群から複数の成分を抽出することができる。例えば、Ｖ－ＰＣＣエンコーダは、（単複の）占有マップと呼ばれる二値画像、（単複の）形状フレーム、（単複の）属性フレーム、及び（単複の）アトラスフレームなどの４つの成分を抽出することができる。（単複の）形状フレームは、第３の座標、すなわち点群の３Ｄ点と投影された２Ｄ点との間の距離に関する情報を伝えることができる。同様に、（単複の）属性フレームは、色又は反射率情報などの各点に関連する属性情報を伝えるために使用することができる。３Ｄパッチは、同じ２Ｄ点上に投影できる複数の点を有することができるので、重複する点の割合を維持するために複数の成分を抽出することができる（例えば、内側表面点対外側表面点を記憶する近くの画像対遠くの画像）。占有マップは二値画像とすることができ、１のピクセル強度は少なくとも１つの有効点群の存在を示すことができる。アトラスフレームは、パッチの位置及び向き、又はパッチパッキング動作において使用されるブロックサイズなどの情報を含むことができる。このような情報は、点群シーケンスの点群を再構成するために必要となり得る。

【0018】

動作中、Ｖ－ＰＣＣデコーダ１０２は、点群シーケンスに関連する符号化フレームを含むことができるＶ－ＰＣＣビットストリーム１０８を受け取ることができる。ある実施形態では、Ｖ－ＰＣＣデコーダ１０２が、逆多重化動作を適用してＶ－ＰＣＣビットストリーム１０８をサブストリームに分割することができる。Ｖ－ＰＣＣビットストリーム１０８は、属性サブストリーム、形状サブストリーム、占有マップサブストリーム及びアトラスサブストリームなどのサブストリームを含むことができる。その後、各サブストリームを一群のビデオデコーダ１０４のそれぞれのデコーダに入力することができる。一群のビデオデコーダ１０４は、Ｖ－ＰＣＣビットストリーム１０８のサブストリームを復号して、属性成分、形状成分、占有マップ成分及びアトラス成分などのＶ－ＰＣＣ成分を生成することができる。

【0019】

Ｖ－ＰＣＣは、基礎となるビデオエンコーダに同じピクチャ群（ＧＯＰ)構造を有するように強制せず、すなわちエンコーダ側の個々のＶ－ＰＣＣ成分のビデオフレームを異なる順序で符号化することができる。Ｖ－ＰＣＣデコーダ１０２などのシステムが点群シーケンスの単一フレームを再構成できるようにするには、再構成ユニット１０６に１つのＶ－ＰＣＣユニットを転送しなければならない。本明細書では、１つのＶ－ＰＣＣユニットが、点群シーケンスの完全な点群フレームを再構成するために必要となり得るＶ－ＰＣＣ成分を含むことができる。しかしながら、再構成プロセスの主要課題は、復号成分すなわちＶ－ＰＣＣ成分の時間整合の必要性に関連することができる。この理由として、Ｖ－ＰＣＣサブストリームにわたって予測構造に対する制約が存在せず、このためフレーム期間及び符号化順が異なる場合があることを挙げることができる。

【0020】

Ｖ－ＰＣＣの基本プロファイルでは、サブストリームの全ての要素が時間的に整合することが必要となり得るが、他のプロファイルでは、サブビットストリームについて時間的構造が変化する場合がある。これにより、Ｖ－ＰＣＣデコーダ１０２のビデオデコーダ部分に出力遅延調整の問題が生じることがある。例えば、Ｖ－ＰＣＣデコーダ１０２は、Ｖ－ＰＣＣ成分の出力遅延調整を保証するために、一群のビデオエンコーダ１０４の出力に適合点「Ａ」を含むことができる。

【0021】

点群シーケンスの１つの完全な点群フレームの再構成のために全てのＶ－ＰＣＣ成分が再構成ユニット１０６に放出される前に、全てのＶ－ＰＣＣ成分を時間的に整合させる必要がある。通常、このような成分は、Ｖ－ＰＣＣビットストリーム１０８の各サブストリーム内の符号化フレームに関連する異なるＧＯＦ構造に起因して時間的に整合していない。本開示では、属性成分、形状成分、占有マップ成分及びアトラス成分などのＶ－ＰＣＣ成分を同期させる２つの個別の手法について述べる。これらの２つの手法の重要な違いは、遅延調整又は同期のために必要な修正が復号ピクチャ／アトラスバッファで行われるか、それともＶ－ＰＣＣ合成バッファレベル（すなわち、再構成前にＶ－ＰＣＣ成分を保持する外部ユニットバッファ）で行われるかである。

【0022】

第１の手法では、一群のビデオデコーダ１０４内の各ビデオデコーダがそれぞれのＶ－ＰＣＣサブストリームを復号した後に、Ｖ－ＰＣＣデコーダ１０２が、それぞれのビデオデコーダに関連する復号ピクチャバッファ／復号アトラスバッファ（ＤＰＢ／ＤＡＢ）からの各それぞれのＶ－ＰＣＣ成分（すなわち、それぞれのＶ－ＰＣＣサブストリームから復号された（単複の）フレーム）の放出を遅延させることができる。このような遅延は、再構成ユニット１０６が点群再構成のために全てのＶ－ＰＣＣ成分を利用できるようになった時にこれらのＶ－ＰＣＣ成分が時間的に整合するように適用することができる。第１の手法に関連する詳細については、例えば図２にさらに示す。

【0023】

第２の手法では、一群のビデオデコーダ１０４が、属性成分、形状成分、占有マップ成分及びアトラス成分などのＶ－ＰＣＣ成分をそのＧＯＰ構造に従って出力することできるが、（例えば、図２に示す）Ｖ－ＰＣＣ合成バッファを使用して全ての成分を一定期間にわたって保持することができる。全ての必要なＶ－ＰＣＣ成分がＶ－ＰＣＣ合成バッファ（すなわち、外部バッファ）に含まれる場合には、このような成分をＶ－ＰＣＣ合成バッファから除去し、点群シーケンスの点群再構成のために再構成ユニット１０６に放出することができる。第２の手法に関連する詳細については、例えば図２にさらに示す。

【0024】

両手法では、Ｖ－ＰＣＣデコーダ１０２を、再構成ユニット１０６への属性成分の放出を第１の出力遅延に基づいて遅延させるように構成することができる。同様に、Ｖ－ＰＣＣデコーダ１０２は、再構成ユニット１０６への形状成分の放出を第２の出力遅延に基づいて遅延させるように構成することができる。Ｖ－ＰＣＣデコーダ１０２は、再構成ユニット１０６への占有マップ成分の放出を第３の出力遅延に基づいて遅延させ、再構成ユニット１０６へのアトラス成分の放出を第４の出力遅延に基づいて遅延させるようにさらに構成することができる。

【0025】

第１の出力遅延、第２の出力遅延、第３の出力遅延又は第４の出力遅延の各々は、ピクチャ／アトラスタイミング補足強化情報（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ：ＳＥＩ）メッセージなどのタイミングメッセージ内で指定することができる。このようなメッセージは、受け取られるＶ－ＰＣＣビットストリーム１０８のそれぞれのサブストリームの一部として個々のアクセスユニット（ＡＵ）と共に含めることができる。この遅延した放出は、再構成ユニット１０６が属性成分、形状成分、占有マップ成分及びアトラス成分などの（時間的に整合した）Ｖ－ＰＣＣ成分に基づいて点群を再構成する前に、このようなＶ－ＰＣＣ成分を互いに同期（すなわち、時間的に整合）させることができる。

【0026】

図２は、本開示の実施形態による、点群再構成前の復号フレーム同期のための例示的な手法の実装を示すＶ－ＰＣＣデコーダのアーキテクチャの図である。図２の説明は、図１の要素に関連して行う。図２には、点群シーケンスの１つの完全なフレームを再構成するために通常必要とされる様々なＶ－ＰＣＣ成分の同期（すなわち、時間整合）のための例示的な手法を実装するＶ－ＰＣＣデコーダ１０２のアーキテクチャのブロック図２００を示す。ブロック図２００には、デマルチプレクサ２０２と、デマルチプレクサ２０２に通信可能に結合された一群のビデオデコーダ１０４とを示す。一群のビデオデコーダ１０４は、属性ビデオデコーダ２０４、形状ビデオデコーダ２０６、占有マップデコーダ２０８、及びアトラスフレームデコーダ２１０を含む。属性ビデオデコーダ２０４については、第１の符号化ピクチャバッファ（ＣＰＢ）２０４Ａ及び第１の復号ピクチャバッファ（ＤＰＢ）２０４Ｂを示す。形状ビデオデコーダ２０６については、第２のＣＰＢ２０６Ａ及び第２のＤＰＢ２０６Ｂを示す。占有マップビデオデコーダ２０８については、第３のＣＰＢ２０８Ａ及び第３のＤＰＢ２０８Ｂを示す。アトラスフレームデコーダ２１０については、符号化アトラスバッファ（ＣＡＢ）２１０Ａ及び復号アトラスバッファ（ＤＡＢ）２１０Ｂを示す。

【0027】

さらに、Ｖ－ＰＣＣ合成バッファ２２０、再構成ユニット１０６、及び２つの適合点（Ａ、Ｂ）も示す。適合点Ａは、一連のビデオデコーダ１０４の出力における出力順の適合性及び出力タイミングの適合性を必要とすることができる。同様に、適合点Ｂは、Ｖ－ＰＣＣデコーダ１０２の再構成ユニット１０６の出力における正しい点群再構成を必要とすることができる。通常、ＣＰＢ及びＤＰＢは、ＨＥＶＣデコーダなどのビデオデコーダと共に実装される。従って、本開示では、簡潔にするためにＣＰＢ及びＤＰＢの詳細については省略する。

【0028】

動作中、デマルチプレクサ２０２はＶ－ＰＣＣビットストリーム１０８を受け取り、受け取ったＶ－ＰＣＣビットストリーム１０８を、例えば属性サブストリーム、形状サブストリーム、占有マップサブストリーム及びアトラスサブストリームなどの異なるサブストリームに逆多重化することができる。Ｖ－ＰＣＣデコーダ１０２は、各Ｖ－ＰＣＣ成分を生成するために、属性サブストリーム、形状サブストリーム、占有マップサブストリーム及びアトラスサブストリームから第１のＣＰＢ２０４Ａ、第２のＣＰＢ２０６Ａ、第３のＣＰＢ２０８Ａ及びＣＡＢ２１０Ａにそれぞれ符号化ＡＵを転送することができる。それぞれのビデオデコーダは、ＣＰＢ／ＣＡＢの各々からそれぞれの符号化ＡＵを受け取り、これらを復号してＶ－ＰＣＣ成分を生成することができる。このような各Ｖ－ＰＣＣ成分は、復号後にＶ－ＰＣＣデコーダ１０２のそれぞれのＤＰＢ／ＤＡＢに転送することができる。

【0029】

本明細書では、Ｖ－ＰＣＣ成分の出力遅延調整（又は時間整合）のための例示的な第１の手法について説明する。従来、Ｈ．２６４／ＡＶＣ又はＨ．２６５／ＨＥＶＣなどのビデオコーデック内の仮想参照デコーダ（ＨＲＤ）は、仮想バッファモデルを参照する。ＨＲＤのパラメータは、符号化されたアクセスユニット（ＡＵ）ビットストリームが復号に利用できるようになる時点、及びその後に復号されたＡＵを出力できる時点すなわち合成時点をエンコーダがデコーダに知らせることができるようにする手段を提供することができる。このようなパラメータは、例えばＶ－ＰＣＣビデオユーザビリティ情報（Ｖｉｄｅｏ Ｕｓａｂｉｌｉｔｙ ｉｎｆｏｒｍａｔｉｏｎ：ＶＵＩ）によって伝えることができるビットレート、ＣＰＢ／ＣＡＢサイズ、初期ＣＰＢ／ＣＡＢ除去遅延及びタイミング情報を含むことができる。ピクチャバッファリング期間、アトラスバッファリング期間、ピクチャタイミング及びアトラスフレームタイミングなどのＨＲＤ関連ＳＥＩメッセージは、ＣＰＢ及びＣＡＢ ＡＵ除去時点、並びにＤＰＢ及びＤＡＢ出力合成時点を抽出するために必要なタイミング情報を提供することができる。なお、ＨＲＤ関連パラメータは、Ｖ－ＰＣＣビットストリーム１０８に埋め込むことも、或いは外部手段を通じて（例えば、システムレベル情報を通じて）提供することもできる。

【0030】

Ｖ－ＰＣＣ成分の復号ＡＵ（又は（単複の）復号フレーム）の合成時点は、（Ｖ－ＰＣＣビットストリーム１０８のサブストリームに含まれる）符号化ＡＵの除去時点（ｒｅｍＴｉｍｓ［ｎ］［ｊ］）に出力遅延であるｏｕｔＤｅｌａｙ［ｎ］［ｉ］を加えたものとして定義することができ、ここでｎ及びｉは、それぞれｉ番目のＶ－ＰＣＣ成分のｎ番目のＡＵを意味する。属性成分、形状成分及び占有マップ成分などの各Ｖ－ＰＣＣ成分については、ピクチャタイミングＳＥＩメッセージ内の（ｐｉｃ＿ｃｐｂ ｏｕｔｐｕｔ＿ｄｅｌａｙなどの）構文要素からそれぞれの出力遅延を抽出することができる。アトラス成分などのＶ－ＰＣＣ成分については、アトラスタイミングＳＥＩメッセージ内の（ａｆｔ＿ｃａｂ＿ｏｕｔｐｕｔ＿ｄｅｌａｙ＿ｍｉｎｕｓ１などの）構文要素から出力遅延を決定することができる。合成時点は、新たな出力遅延値に基づいて修正することができる。第１の例示的な手法は、全てのＶ－ＰＣＣ成分における復号フレームが、修正されたｃｏｍｐｏｓｉｔｉｏｎＴｉｍｅ［ｎ］［ｉ］に従ってＡＵのＶ－ＰＣＣ合成バッファ２２０に入力される前に、このような復号フレームの正しい整合を確実にすることができる適切な遅延オフセットを導出するものである。

【0031】

ある実施形態では、Ｖ－ＰＣＣデコーダ１０２が、Ｖ－ＰＣＣビットストリーム１０８の属性サブストリームに関連する第１のピクチャタイミングＳＥＩメッセージを受け取ることができる。Ｖ－ＰＣＣデコーダ１０２は、属性成分２１２（すなわち、第１のＶ－ＰＣＣ成分）の放出を他のＶ－ＰＣＣ成分と共に遅延させるために、受け取った第１のピクチャタイミングＳＥＩメッセージから第１の出力遅延を抽出し、抽出された第１の出力遅延に基づいて、属性成分２１２に関連する遅延オフセットを決定することができる。（ｏｕｔＤｅｌａｙ［ｎ］［ｉ］とも呼ばれる）第１の出力遅延は、属性サブストリーム内のアクセスユニット（ｎ）に関連する第１のピクチャタイミングＳＥＩメッセージ内の構文要素（ｐｉｃ＿ｄｐｂ＿ｏｕｔｐｕｔ＿ｄｅｌａｙ）のｉ番目（例えば、ｉ＝０）のＶ－ＰＣＣ成分の値として抽出することができる。その後、Ｖ－ＰＣＣデコーダ１０２は、第１のＤＰＢ２０４Ｂから属性成分２１２を除去すべき（ｃｏｍｐｏｓｉｔｉｏｎＴｉｍｅ［ｎ］［ｉ］とも呼ばれる）第１の合成時点を修正することができる。第１の合成時点は、抽出された第１の出力遅延及び決定された遅延オフセットに基づいて修正することができる。遅延オフセットの決定に関連する詳細については、例えば図３Ａ～図３Ｂに示す。Ｖ－ＰＣＣデコーダ１０２は、修正された第１の合成時点に第１のＤＰＢ２０４Ｂから属性成分２１２を除去することができる。修正された第１の合成時点における除去は、再構成のための属性成分２１２の遅延した放出に対応することができる。

【0032】

ある実施形態では、Ｖ－ＰＣＣデコーダ１０２が、Ｖ－ＰＣＣビットストリーム１０８の形状サブストリームに関連する第２のピクチャタイミングＳＥＩメッセージを受け取ることができる。Ｖ－ＰＣＣデコーダ１０２は、形状成分２１４（すなわち、第２のＶ－ＰＣＣ成分）の放出を他のＶ－ＰＣＣ成分と共に遅延させるために、受け取った第２のピクチャタイミングＳＥＩメッセージから第２の出力遅延を抽出し、抽出された第２の出力遅延に基づいて、形状成分２１４に関連する遅延オフセットを決定することができる。（ｏｕｔＤｅｌａｙ［ｎ］［ｉ］とも呼ばれる）第２の出力遅延は、形状サブストリーム内のアクセスユニット（ｎ）に関連する第２のピクチャタイミングＳＥＩメッセージ内の構文要素（ｐｉｃ＿ｄｐｂ＿ｏｕｔｐｕｔ＿ｄｅｌａｙ）のｉ番目（例えば、ｉ＝１）のＶ－ＰＣＣ成分の値として抽出することができる。その後、Ｖ－ＰＣＣデコーダ１０２は、第２のＤＰＢ２０６Ｂから形状成分２１４を除去すべき（ｃｏｍｐｏｓｉｔｉｏｎＴｉｍｅ［ｎ］［ｉ］とも呼ばれる）第２の合成時点を修正することができる。第２の合成時点は、抽出された第２の出力遅延及び決定された遅延オフセットに基づいて修正することができる。遅延オフセットの決定に関連する詳細については、例えば図３Ａ～図３Ｂに示す。Ｖ－ＰＣＣデコーダ１０２は、修正された第２の合成時点に第２のＤＰＢ２０６Ｂから形状成分２１４を除去することができる。修正された第２の合成時点における除去は、再構成のための形状成分２１４の遅延した放出に対応することができる。

【0033】

ある実施形態では、Ｖ－ＰＣＣデコーダ１０２が、Ｖ－ＰＣＣビットストリーム１０８の占有マップサブストリームに関連する第３のピクチャタイミングＳＥＩメッセージを受け取ることができる。Ｖ－ＰＣＣデコーダ１０２は、占有マップ成分２１６（すなわち、第３のＶ－ＰＣＣ成分）の放出を他のＶ－ＰＣＣ成分と共に遅延させるために、受け取った第３のピクチャタイミングＳＥＩメッセージから第３の出力遅延を抽出し、抽出された第３の出力遅延に基づいて、占有マップ成分２１６に関連する遅延オフセットを決定することができる。（ｏｕｔＤｅｌａｙ［ｎ］［ｉ］とも呼ばれる）第３の出力遅延は、占有マップサブストリーム内のアクセスユニット（ｎ）に関連する第３のピクチャタイミングＳＥＩメッセージ内の構文要素（ｐｉｃ＿ｄｐｂ＿ｏｕｔｐｕｔ＿ｄｅｌａｙ）のｉ番目（例えば、ｉ＝２）のＶ－ＰＣＣ成分の値として抽出することができる。その後、Ｖ－ＰＣＣデコーダ１０２は、第３のＤＰＢ２０８Ｂから占有マップ成分２１６を除去すべき（ｃｏｍｐｏｓｉｔｉｏｎＴｉｍｅ［ｎ］［ｉ］とも呼ばれる）第３の合成時点を修正することができる。第３の合成時点は、抽出された第３の出力遅延及び決定された遅延オフセットに基づいて修正することができる。遅延オフセットの決定に関連する詳細については、例えば図３Ａ～図３Ｂに示す。Ｖ－ＰＣＣデコーダ１０２は、修正された第３の合成時点に第３のＤＰＢ２０８Ｂから占有マップ成分２１６を除去することができる。修正された第３の合成時点における除去は、再構成のための占有マップ成分２１６の遅延した放出に対応することができる。

【0034】

ある実施形態では、Ｖ－ＰＣＣデコーダ１０２が、Ｖ－ＰＣＣビットストリーム１０８のアトラスサブストリームに関連するアトラスタイミングＳＥＩメッセージを受け取ることができる。Ｖ－ＰＣＣデコーダ１０２は、アトラス成分２１８（すなわち、第４のＶ－ＰＣＣ成分）の放出を他のＶ－ＰＣＣ成分と共に遅延させるために、受け取ったアトラスタイミングＳＥＩメッセージから第４の出力遅延を抽出し、抽出された第４の出力遅延に基づいて、アトラス成分２１８に関連する遅延オフセットを決定することができる。（ｏｕｔＤｅｌａｙ［ｎ］［ｉ］とも呼ばれる）第４の出力遅延は、アトラスサブストリーム内のアクセスユニット（ｎ）に関連するアトラスタイミングＳＥＩメッセージ内の構文要素（ａｆｔ＿ｃａｂ＿ｏｕｔｐｕｔ＿ｄｅｌａｙ＿ｍｉｎｕｓ１）のｉ番目（例えば、ｉ＝３）のＶ－ＰＣＣ成分の値として抽出することができる。その後、Ｖ－ＰＣＣデコーダ１０２は、ＤＡＢ２１０Ｂからアトラス成分２１８を除去すべき第４の合成時点（ｃｏｍｐｏｓｉｔｉｏｎＴｉｍｅ［ｎ］［ｉ］とも呼ばれる）を修正することができる。第４の合成時点は、抽出された第４の出力遅延及び決定された遅延オフセットに基づいて修正することができる。遅延オフセットの決定に関連する詳細については、例えば図３Ａ～図３Ｂに示す。Ｖ－ＰＣＣデコーダ１０２は、修正された第４の合成時点にＤＡＢ２１０Ｂからアトラス成分２１８を除去することができる。修正された第４の合成時点における除去は、再構成のためのアトラス成分２１８の遅延した放出に対応することができる。

【0035】

遅延した放出は、再構成ユニット１０６が属性成分２１２、形状成分２１４、占有マップ成分２１６及びアトラス成分２１８などの（時間的に整合した）Ｖ－ＰＣＣ成分に基づいて点群２２２を再構成する前に、このようなＶ－ＰＣＣ成分を互いに同期（すなわち、時間的に整合）させることができる。

【0036】

第１の手法では、（Ｈ．２６４／ＡＶＣ標準及び／又はＨ．２６５／ＨＥＶＣ標準で使用されるＳＥＩメッセージに類似することができる）ＳＥＩメッセージ及びＶＵＩメッセージの構文及び意味論を使用して、ＣＰＢ／ＣＡＢ除去時点及びＤＰＢ／ＤＡＢ出力時点などのＨＲＤを参照する。しかしながら、ＪＰＥＧなどの特定のコーデックでは、Ｖ－ＰＣＣ仕様のコーデック不可知論性に起因して、ＨＲＤ構文構造がサポートされていないこと又は存在しないことが十分に起こり得る。従って、（第１の手法で説明した）ＳＥＩ及びＶＵＩ構文構造で伝えられる情報と同等の何らかの情報を伝える符号化Ｖ－ＰＣＣ成分に関連するいずれかの構文要素の組に依拠する必要がある。このことは、このような情報がＶ－ＰＣＣビットストリーム１０８内の他のいずれかの構文構造を使用して伝えられるか、それとも他の何らかの手段によって伝えられるかとは無関係である。

【0037】

例示的な第２の手法では、（図２及び図３Ａ～図３Ｂで第１の手法について説明するような）合成時点の修正を第１の手法に類似したままとすることができる。違いはバッファリングスキームとすることができ、すなわち各Ｖ－ＰＣＣ成分からの復号フレーム／マップを（第１のＤＰＢ２０４Ｂ、第２のＤＰＢ２０６Ｂ、第３のＤＰＢ２０８Ｂ及びＤＡＢ２１０Ｂなどの）それぞれのＤＰＢ／ＤＡＢから出力し、修正を行わずに直接Ｖ－ＰＣＣ合成バッファ２２０に入力することができる。このような（単複の）フレーム／（単複の）マップのＶ－ＰＣＣ合成バッファ２２０から再構成ユニット１０６への放出は、（図２、図３Ａ～図３Ｂで第１の手法について説明するような）修正された合成時点に従って実行することができる。第２の手法は、Ｖ－ＰＣＣコーデックのプロファイル／レベル要件に影響を与えないことができる。代わりに、第２の手法は、記憶を行うために（Ｖ－ＰＣＣ合成バッファ２２０などの）Ｖ－ＰＣＣユニットバッファに依拠することができる。

【0038】

本明細書では、様々なＶ－ＰＣＣ成分の同期（すなわち、時間整合）のための例示的な第２の手法（コーデック非依存の手法とも呼ばれる）について説明する。属性成分２１２などの第１のＶ－ＰＣＣ成分は、Ｖ－ＰＣＣビットストリーム１０８の第１のサブストリームが復号された後に、第１のＤＰＢ２０４Ｂから出力してＶ－ＰＣＣデコーダ１０２のＶ－ＰＣＣ合成バッファ２２０に記憶することができる。同様に、形状成分２１４などの第２のＶ－ＰＣＣ成分は、Ｖ－ＰＣＣビットストリーム１０８の第２のサブストリームが復号された後に、第２のＤＰＢ２０６Ｂから出力してＶ－ＰＣＣ合成バッファ２２０に記憶することができる。占有マップ成分２１６などの第３のＶ－ＰＣＣ成分は、Ｖ－ＰＣＣビットストリーム１０８の第３のサブストリームが復号された後に、第３のＤＰＢ２０８Ｂから出力してＶ－ＰＣＣ合成バッファ２２０に記憶することができる。アトラス成分２１８などの第４のＶ－ＰＣＣ成分は、Ｖ－ＰＣＣビットストリーム１０８の第４のサブストリームが復号された後に、ＤＡＢ２１０Ｂから出力してＶ－ＰＣＣ合成バッファ２２０に記憶することができる。

【0039】

Ｖ－ＰＣＣデコーダ１０２は、記憶された属性成分２１２、記憶された形状成分２１４、記憶された占有マップ成分２１６及び記憶されたアトラス成分２１８の各々について、Ｖ－ＰＣＣ合成バッファ２２０から除去する合成時点を修正することができる。属性成分２１２の合成時点は、属性成分２１２に関連する第１の出力遅延及び／又は遅延オフセットに基づいて修正することができる。形状成分２１４の合成時点は、形状成分２１４に関連する第２の出力遅延及び／又は遅延オフセットに基づいて修正することができる。占有マップ成分２１６の合成時点は、占有マップ成分２１６に関連する第３の出力遅延及び／又は遅延オフセットに基づいて修正することができる。アトラス成分２１８の合成時点は、アトラス成分２１８に関連する第４の出力遅延及び／又は遅延オフセットに基づいて修正することができる。合成時点の修正、それぞれの出力遅延の抽出、及びそれぞれの遅延オフセットの決定の詳細は、第１の手法のものと同じとすることができ、例えば図２、図３Ａ及び図３Ｂに示す。

【0040】

Ｖ－ＰＣＣ合成バッファ２２０に全ての必要なＶ－ＰＣＣ成分が含まれる場合、このような各成分は、それぞれのＶ－ＰＣＣ成分に関連する修正された合成時点にＶ－ＰＣＣ合成バッファ２２０から除去することができる。記憶された属性成分２１２、記憶された形状成分２１４、記憶された占有マップ成分２１６及び記憶されたアトラス成分２１８の各々の除去は、再構成ユニット１０６への遅延した放出に対応することができる。

【0041】

このような成分は、点群シーケンスの（点群２２２などの）１つの完全なフレームの再構成のために除去して放出することができる。１つの実施形態では、第１の出力遅延、第２の出力遅延、第３の出力遅延及び第４の出力遅延の各々を、Ｖ－ＰＣＣビットストリーム１０８のそれぞれのサブストリームのアクセスユニットと共に受け取ることができるアトラス／ピクチャタイミングＳＥＩメッセージに基づいて決定することができる。

【0042】

図３Ａは、本開示の実施形態による、それぞれが単一のＶ－ＰＣＣ成分マップを含むサブビットストリームの例を示す図である。図３Ａの説明は、図１及び図２の要素に関連して行う。図３には、それぞれが単一のＶ－ＰＣＣ成分マップを含むサブビットストリームの例を示す図３００Ａを示す。図３００Ａには、アトラスフレーム３０２（すなわち、アトラス成分）、占有マップ３０４（すなわち、占有マップ成分）、形状フレーム３０６（すなわち、形状成分）、及び属性フレーム３０８（すなわち、属性成分）などの各Ｖ－ＰＣＣ成分のピクチャ順序カウント（ｐｉｃｔｕｒｅ ｏｒｄｅｒ ｃｏｕｎｔ（ＰＯＣ））を示す。４つのＶ－ＰＣＣ成分は、最初に（特定のピクチャ群（ＧＯＰ）構造に従う）特定の順序で復号できる６つのフレームをそれぞれ含む。図３ＡにおけるＰＯＣという用語は、符号化ピクチャ及びアトラスフレームの出力位置を定めるインデックスを意味することができ、これらは必ずしも時間の概念に直接関連する必要はない。

【0043】

図示のように、アトラスフレームデコーダ２１０などのビデオデコーダは、Ｖ－ＰＣＣビットストリーム１０８のアトラスサブストリームを復号して第１の順序［０，１，２，３，４，５］のアトラスフレーム３０２（Ｖ－ＰＣＣ０）を生成することができる。アトラスフレーム３０２は、復号後にＤＡＢ２１０Ｂに記憶することができる。同様に、占有マップデコーダ２０８などの別のビデオデコーダは、Ｖ－ＰＣＣビットストリーム１０８の占有マップサブストリームを復号して第２の順序［０，１，２，３，３，４］の占有マップ３０４（Ｖ－ＰＣＣ１）を生成することができる。占有マップ３０４は、第３のＤＰＢ２０８Ｂに記憶することができる。第１の順序及び第２の順序はいずれも正しいピクチャ順であるため、このようなフレーム／マップは、点群再構成のために出力される前に並べ替える必要はないと考えられる。形状ビデオデコーダ２０６などの別のビデオデコーダは、形状サブストリームを復号して第３の順序［０，２，１，４，３，５］の形状フレーム３０６（Ｖ－ＰＣＣ２）を生成することができる。形状フレーム３０６は、第２のＤＰＢ２０６Ｂに記憶することができる。属性ビデオデコーダ２０４などの別のビデオデコーダは、属性サブストリームを復号して第４の順序［０，４，２，１，３，５］の属性フレーム３０８（Ｖ－ＰＣＣ３）を生成することができる。属性フレーム３０８は、第１のＤＰＢ２０４Ｂに記憶することができる。

【0044】

形状フレーム３０６及び属性フレーム３０８のＰＯＣはフレーム順が正しくないことを示しているので、このようなフレームは、再構成のために出力される前に並べ替える必要があると考えられる。図示のように、並べ替えを行うと、形状成分及びアトラス成分のためのそれぞれのＤＰＢの長さにそれぞれ１フレーム及び２フレームの遅延及び延長が発生することができる。換言すれば、形状フレーム３０６及び属性フレーム３０８の各々をそれぞれのＤＰＢから除去する出力時点（すなわち、合成時点）は、アトラスフレーム３０２及び占有マップ３０４の出力時点に比べて遅延することができる。

【0045】

アトラスフレーム３０２、占有マップ３０４、形状フレーム３０６及び属性フレーム３０８を時間的に同期させるために、Ｖ－ＰＣＣ成分毎に遅延オフセットを課すことができる。図示のように、形状フレーム３０６及び属性フレーム３０８の出力時点（すなわち、合成時点）を一致させるには、アトラスフレーム３０２をＤＡＢ２１０Ｂ内で２フレームだけオフセットさせ、占有マップ３０４を第３のＤＰＢ２０８Ｂ内で１フレームだけオフセットさせることができる。なお、遅延オフセットの導入によるＤＰＢ／ＤＡＢバッファサイズの増加は、いずれも伝えられるプロファイル及びレベル指示によって設定される制限内とすべきである。

【0046】

本明細書では、（図１及び図２に示す）生成された各Ｖ－ＰＣＣ成分の合成時点の修正及び遅延オフセットの決定の詳細について説明する。アトラス成分（すなわち、アトラスフレーム３０２）、占有マップ成分（すなわち、占有マップ３０４）、形状成分（すなわち、形状フレーム３０６）及び属性成分（すなわち、属性フレーム３０８）などのＶ－ＰＣＣ成分の総数をｃｏｍｐＮｕｍとする。配列ｍａｐＣｎｔ（ｉ）は、ｉ番目の各Ｖ－ＰＣＣ成分に関連する（単複の）マップの数を示すものとする。本明細書では、ｉがアトラス又は占有マップ成分を参照する場合、或いは形状及び属性のフレームが個別に符号化される場合には、ｍａｐＣｎｔ（ｉ）を１に設定することができる。マップが時間的にインターリーブされる場合、ｍａｐＣｎｔ（ｉ）は、形状フレーム及び属性フレームの数に設定することができる。Ｖ－ＰＣＣデコーダ１０２は、ＨＲＤビデオユーザビリティ情報（ＶＵＩ）タイミングパラメータを使用して、クロック単位（ｖｕｉ＿ｎｕｍ＿ｕｎｉｔｓ＿ｉｎ＿ｔｉｃｋ）及びタイミングスケール（ｖｕｉ＿ｔｉｍｅｓｃａｌｅ）を決定することができる。クロックチック期間（ｃｌｏｃｋ ｔｉｃｋ ｄｕｒａｔｉｏｎ）（ＣｃｌｏｃｋＴｉｃｋ）は、以下のような方程式（１）によって与えることができ、

ここで、
ｖｕｉ＿ｎｕｍ＿ｕｎｉｔｓ＿ｉｎ＿ｔｉｃｋは、クロックチックカウンタの（クロックチックと呼ばれる）１増分に対応する周波数ｖｕｉ＿ｔｉｍｅ＿ｓｃａｌｅ Ｈｚで動作するクロックの時間単位数とすることができ、
ｖｕｉ＿ｔｉｍｅ＿ｓｃａｌｅは、１秒間に経過する時間単位数とすることができる。例えば、２７ＭＨｚクロックを使用して時間を測定する時間座標系は、２７００００００のｖｕｉ＿ｔｉｍｅ＿ｓｃａｌｅを有する。ｖｕｉ＿ｔｉｍｅ＿ｓｃａｌｅの値は０よりも大きくすべきである。
ｖｕｉ＿ｎｕｍ＿ｕｎｉｔｓ＿ｉｎ＿ｔｉｃｋは０よりも大きくすべきである。クロックチックは、秒単位では、ｖｕｉ＿ｎｕｍ＿ｕｎｉｔｓ＿ｉｎ＿ｔｉｃｋをｖｕｉ＿ｔｉｍｅ＿ｓｃａｌｅで除算した商に等しくなることができる。例えば、ビデオ信号のピクチャレートが２５Ｈｚである場合、ｖｕｉ＿ｔｉｍｅ＿ｓｃａｌｅは２７００００００に等しく、ｖｕｉ＿ｎｕｍ＿ｕｎｉｔｓ＿ｉｎ＿ｔｉｃｋは１０８００００に等しく、従ってクロックチックは０．０４秒に等しくなることができる。
Ｖ－ＰＣＣ成分当たりのクロックチック期間であるｃｌｏｃｋＳｕｂＴｉｃｋは、以下のような方程式（２）によって与えることができる。

図３Ａでは、変数（ｉ）が成分番号（すなわち、Ｖ－ＰＣＣ成分の識別子）を表すことができ、間隔ｉ＝［０；ｃｏｍｐＮｕｍ］で定義することができる。

【0047】

限定ではなく一例として、方程式（１）及び方程式（２）を使用すると、ｉ番目のＶ－ＰＣＣ成分の合成時点は、以下のような方程式（３）を使用して修正することができ、

ここで、
ｎ及びｉは、ｉ番目のＶ－ＰＣＣ成分のｎ番目のアクセスユニット（ＡＵ）を意味することができ、
ｃｏｍｐｏｓｉｔｉｏｎＴｉｍｅ［ｎ］［ｉ］は、Ｖ－ＰＣＣ成分当たりの遅延オフセットが適用された後の修正された合成時点とすることができ、
ｒｅｍＴｉｍｅ［ｎ］［ｉ］は、Ｖ－ＰＣＣデコーダ１０２のそれぞれのＣＰＢ／ＣＡＢからの（Ｖ－ＰＣＣビットストリーム１０８のサブストリームに含まれる）符号化ＡＵの除去時点とすることができ、
ｏｕｔＤｅｌａｙ［ｎ］［ｉ］は、ピクチャタイミングＳＥＩメッセージ／アトラスタイミングＳＥＩメッセージ内の構文要素から抽出することができ、
ｄｅｌａｙＯｆｆｓｅｔ［ｎ］［ｉ］は、全てのＶ－ＰＣＣ成分を時間的に同期させるために課すべき（方程式（４）を使用して計算される）さらなる出力遅延とすることができる。

【0048】

同期を達成するには、初期最大遅延を０に設定した状態でＶ－ＰＣＣ成分毎に遅延オフセット（ｄｅｌａｙＯｆｆｓｅｔ［ｎ］［ｉ］）を課すことができる。ｍａｘＩｎｉｔＤｅｌａｙ［ｎ］は、ｉ番目のＶ－ＰＣＣ成分のｎ番目のＡＵに関連する全ての出力遅延（ｏｕｔＤｅｌａｙ［ｎ］［ｉ］）にわたって存在し得る最大初期遅延とすることができる。一例として、遅延オフセットは、以下のような方程式（４）を使用して決定することができる。

ｍａｘＩｎｉｔＤｅｌａｙは、以下の方法を使用して計算することができる。

【0049】

なお、このさらなるオフセットの導入に起因するＤＰＢバッファサイズの増加は、いずれも伝えられるプロファイル及びレベル指示によって設定される制限内とすべきである。最終的に（図３Ｂの方程式（３）又は方程式（５）を使用して取得された）修正された合成時点に各Ｖ－ＰＣＣ成分が放出されると、このような成分を（単位サイズの）Ｖ－ＰＣＣ合成バッファ２２０に入力することができる。Ｖ－ＰＣＣ合成バッファ２２０は、Ｖ－ＰＣＣ成分からの全てのフレーム／マップを再構成ユニット１０６に出力し、再構成ユニットは（点群シーケンスの１フレームに対応する）点群２２２を再構成することができる。

【0050】

各Ｖ－ＰＣＣ成分の合成時点の決定及び修正では、各マップ／フレームに関連する全てのＡＵが利用可能であることを前提とする。しかしながら、実際には所与のアトラスＡＵに対応するいくつかのＡＵが失われることがある。失われたＡＵを補償する手法例は、Ｖ－ＰＣＣ成分の最後の利用可能なＡＵの複製を必要とすることができる。

【0051】

図３Ｂは、本開示の実施形態による、インターリーブマップを含む単一のサブビットストリームの例を示す図である。図３Ｂの説明は、図１、図２及び図３Ａの要素に関連して行う。図３Ｂには、インターリーブマップを含む単一のサブビットストリームの例を示す図３００Ｂを示す。図３００Ｂには、アトラスフレーム３１０（すなわち、アトラス成分）及び占有マップ３１２（すなわち、占有マップ成分）などのＶ－ＰＣＣ成分のＰＯＣを示す。形状フレーム３１４（すなわち、形状成分）及び属性フレーム３１６（すなわち、属性成分）のＰＯＣ／アトラスフレーム順序カウント（ａｔｌａｓ ｆｒａｍｅｓ ｏｒｄｅｒ ｃｏｕｎｔ：ＡＦＯＣ）も示す。４つのＶ－ＰＣＣ成分は、最初に（特定のピクチャ群（ＧＯＰ）構造に従う）特定の順序で復号できる９つのフレームをそれぞれ含む。図３ＢにおけるＰＯＣ／ＡＦＯＣという用語は、符号化ピクチャ及びアトラスフレームの出力位置を定めるインデックスを意味することができ、これらは必ずしも時間の概念に直接関連する必要はない。

【0052】

図示のように、アトラスフレームデコーダ２１０などのビデオデコーダは、Ｖ－ＰＣＣビットストリーム１０８のアトラスサブストリームを復号して第１の順序［０，１，２，３，４，５，６，７，８］のアトラスフレーム３１０（Ｖ－ＰＣＣ０）を生成することができる。アトラスフレーム３１０は、復号後にＤＡＢ２１０Ｂに記憶することができる。同様に、占有マップデコーダ２０８などの別のビデオデコーダは、Ｖ－ＰＣＣビットストリーム１０８の占有マップサブストリームを復号して第２の順序［０，１，２，３，３，４，５，６，７，８］の占有マップ３１２（Ｖ－ＰＣＣ１）を生成することができる。占有マップ３１２は、第３のＤＰＢ２０８Ｂに記憶することができる。第１の順序及び第２の順序はいずれも正しいピクチャ順であるため、このようなフレーム／マップは、点群再構成のために出力される前に並べ替える必要はないと考えられる。

【0053】

形状ビデオデコーダ２０６などの別のビデオデコーダは、形状サブストリームを復号して第３の順序［０／０，２／１，１／０，４／２，３／１，６／３，５／２，８／４，７／３］の形状フレーム３１４（Ｖ－ＰＣＣ２）を生成することができる。形状フレーム３１４は、第２のＤＰＢ２０６Ｂに記憶することができる。同様に、属性ビデオデコーダ２０４などの別のビデオデコーダは、属性サブストリームを復号して第４の順序［０／０，４／２，２／１，１／０，３／１，８／４，６／３，５／２，７／３］の属性フレーム３１６（Ｖ－ＰＣＣ３）を生成することができる。属性フレーム３１６は、第１のＤＰＢ２０４Ｂに記憶することができる。このようなフレームは、それぞれ（例えば、０／０（インデックス）によって示されるように）２つのインターリーブマップを表すことができる。

【0054】

形状フレーム３１４及び属性フレーム３１６のＰＯＣはフレーム順が正しくないことを示しているので、このようなフレームは、再構成のために出力される前に並べ替える必要があると考えられる。図示のように、並べ替えを行うと、形状成分及びアトラス成分のためのそれぞれのＤＰＢの長さにそれぞれ１フレーム及び２フレームの遅延及び延長が発生することができる。換言すれば、形状フレーム３１４及び属性フレーム３１６の各々をそれぞれのＤＰＢから除去する出力時点（すなわち、合成時点）は、アトラスフレーム３１０及び占有マップ３１２の出力時点に比べて遅延することができる。

【0055】

アトラスフレーム３１０、占有マップ３１２、形状フレーム３１４及び属性フレーム３１６を時間的に同期させるために、Ｖ－ＰＣＣ成分毎に遅延オフセットを課すことができる。図示のように、形状フレーム３１４及び属性フレーム３１６は、出力時点（すなわち、合成時点）を一致させるためにそれぞれのＤＰＢ内で１フレームだけオフセットされる。これに対し、アトラスフレーム３１０はＤＡＢ２１０Ｂ内で３フレームだけオフセットされ、占有マップ３１２は第３のＤＰＢ２０８Ｂ内で３フレームだけオフセットされる。なお、遅延オフセットの導入によるＤＰＢ／ＤＡＢバッファサイズの増加は、いずれも伝えられるプロファイル及びレベル指示によって設定される制限内とすべきである。本明細書では、単一のサブストリームがインターリーブマップを含むことができるシナリオについて、Ｖ－ＰＣＣ成分当たりの遅延オフセットに基づく合成時点の修正例を示す。このようなシナリオでは、Ｖ－ＰＣＣデコーダ１０２が成分収集出力プロセスを呼び出すことができる。このようなプロセスの一部として、以下のように与えられる方程式（５）を使用して合成時点を修正することができ、

ここでｊは、対応するマップ成分のｉ番目のＶ－ＰＣＣ成分及びｎ番目のＡＵに対応するマップインデックスを示すことができる。方程式（５）は、図３Ａの方程式（１）、（２）及び（４）を使用して導出することができる。

【0056】

図４は、本開示の少なくとも１つの実施形態による、アトラスフレームのための仮想参照デコーダ（ＨＲＤ）を示す図である。図４の説明は、図１、図２、図３Ａ及び図３Ｂの要素に関連して行う。図４には、仮想参照デコーダ（ＨＲＤ）４０２の図４００を示す。ＨＲＤ４０２は、仮想ストリームスケジューラ（ＨＳＳ）４０４と、符号化アトラスバッファ（ＣＡＢ）４０６と、瞬間復号動作４０８と、ＤＡＢ４１０とを含むことができる。ＨＲＤ４０２は、図２のアトラスフレームデコーダ２１０の例示的な実装とすることができる。このような実装では、ＤＡＢ４１０を図２のＤＡＢ２１０Ｂの例示的な実装とすることができる。

【0057】

各アクセスユニットはアクセスユニット［ｎ］と呼ぶことができ、数字ｎは特定のアクセスユニットを識別する。デフォルトではアクセスユニット０が選択され、各後続のアクセスユニットについてはｎの値が復号順に１ずつ増分される。アトラスフレーム［ｎ］は、アクセスユニット［ｎ］の符号化アトラスフレーム又は復号アトラスフレームを意味することができる。

【0058】

動作時には、ＨＲＤ４０２を復号ユニット０（すなわち、アクセスユニット０）において初期化することができ、ＣＡＢ４０６及びＤＡＢ４１０の両方を空に設定することができる（ＤＡＢフルネスを０に等しく設定することができる）。初期化後には、ＨＲＤ４０２を後続のバッファリング期間ＳＥＩメッセージによって再び初期化しなくてもよい。ＨＳＳ４０４は、指定された到着スケジュールに基づいてＣＡＢ４０６内に流入する復号ユニットに関連するデータを供給することができる。瞬間復号動作４０８は、復号ユニットのＣＡＢ除去時点に各復号ユニットに関連するデータを瞬時に除去して復号することができる。各復号されたアトラスフレームはＤＡＢに入れることができる。復号されたアトラスフレームは、もはやインター予測参照のために必要でなくなり、もはや出力のために必要でない時にＤＡＢから除去することができる。

【0059】

各アトラスビットストリームの適合性試験では、ＣＡＢ４０６の（ビット数単位の）サイズ及びＤＡＢ４１０の（アトラスフレーム記憶バッファ数単位での）サイズをＣａｂＳｉｚｅ［ＳｃｈｅｄＳｅｌＩｄｘ］及びａｓｐｓ＿ｍａｘ＿ｄｅｃ＿ｐａｔｃｈ＿ｆｒａｍｅ＿ｂｕｆｆｅｒｉｎｇ＿ｍｉｎｕｓ１［ＨｉｇｈｅｓｔＴｉｄ］＋１によってそれぞれ定義することができる。ＣａｂＳｉｚｅ［ＳｃｈｅｄＳｅｌＩｄｘ］は、符号化アトラスデータを保持するバッファのサイズ（ＣＡＢ＝符号化アトラスバッファ）とすることができる。

【0060】

例えば、本明細書では、ＣＡＢ４０６及びＤＡＢ４１０の動作、並びに瞬間復号動作４０８を指定する。ＨＲＤ４０２は、バッファリング期間ＳＥＩメッセージによって指定された通りに初期化することができる。ＣＡＢ４０６からの復号ユニットの除去タイミング及びＤＡＢ４１０からの復号アトラスの出力タイミングは、アトラスフレームタイミングＳＥＩメッセージ内の情報に基づいて指定することができる。特定の復号ユニットに関連する全てのタイミング情報は、特定の復号ユニットのＣＡＢ除去時点よりも前に到着することができる。

【0061】

ＤＡＢ４１０は、アトラスフレーム記憶バッファを含むことができる。各アトラスフレーム記憶バッファは、「参照用に使用」としてマーキングできる又は将来的な出力のために保持できる復号アトラスフレームを含むことができる。ＤＡＢ４１０からのアトラスフレームの除去は、現在のアトラスフレームが復号される前（ただし、現在のアトラスフレームの第１のスライスのスライスヘッダが構文解析された後）に、（現在のアトラスフレームを含む）アクセスユニットｎの第１の復号ユニットのＣＡＢ除去時点（ＡｕＣａｂＲｅｍｏｖａｌＴｉｍｅ［ｎ］）で瞬時に行うことができる。ＤＡＢ４１０から除去される各アトラスフレームについては、ＤＡＢフルネスが１だけ減分される。

【0062】

ＡｔｌａｓＦｒａｍｅＯｕｔｐｕｔＦｌａｇが１に等しく、ＤａｂＯｕｔｐｕｔＴｉｍｅ［ｎ］がＡｕＣａｂＲｅｍｏｖａｌＴｉｍｅ［ｎ］に等しい場合、現在のアトラスフレームを出力することができる。一方で、ＡｔｌａｓＦｒａｍｅＯｕｔｐｕｔＦｌａｇが０に等しい場合には、現在のアトラスフレームを出力せず、ＤＡＢ４１０に記憶することができる。一方で、ＡｔｌａｓＦｒａｍｅＯｕｔｐｕｔＦｌａｇが１に等しく、ＤａｂＯｕｔｐｕｔＴｉｍｅ［ｎ］がＡｕＣａｂＲｅｍｏｖａｌＴｉｍｅ［ｎ］を上回る場合には、現在のアトラスフレームを後で出力してＤＡＢ４１０に記憶することができる。このような場合、現在のアトラスフレームは、ＤａｂＯｕｔｐｕｔＴｉｍｅ［ｎ］よりも前の時点に１に等しいｎｏ＿ｏｕｔｐｕｔ＿ｏｆ＿ｐｒｉｏｒ＿ｐａｔｃｈ＿ｆｒａｍｅｓ＿ｆｌａｇの復号又は推論によって出力しないように指示されていない限り、時点ＤａｂＯｕｔｐｕｔＴｉｍｅ［ｎ］に出力することができる。ここで、ｎｏ＿ｏｕｔｐｕｔ＿ｏｆ＿ｐｒｉｏｒ＿ｐａｔｃｈ＿ｆｒａｍｅｓ＿ｆｌａｇは、復号されたアトラスが表示のために出力されないことを示すフラグとすることができる。

【0063】

ある実施形態では、現在の復号アトラスフレームを空のアトラスフレーム記憶バッファ内のＤＡＢ４１０に記憶してＤＡＢフルネスを１だけ増分することができる。ａｓｐｓ＿ｌｏｎｇ＿ｔｅｒｍ＿ｒｅｆ＿ａｔｌａｓ＿ｆｒａｍｅｓ＿ｆｌａｇが１に等しい場合、このアトラスフレームは「長期参照用に使用」としてマーキングされる。０に等しいａｓｐｓ＿ｌｏｎｇ＿ｔｅｒｍ＿ｒｅｆ＿ａｔｌａｓ＿ｆｒａｍｅｓ＿ｆｌａｇは、長期参照アトラスフレームがＣＡＳ内のいずれの符号化アトラスフレームのインター予測にも使用されないことを指定することができる。１に等しいａｓｐｓ＿ｌｏｎｇ＿ｔｅｒｍ＿ｒｅｆ＿ａｔｌａｓ＿ｆｒａｍｅｓ＿ｆｌａｇは、長期参照アトラスフレームをＣＡＳ内の１又は２以上の符号化アトラスフレームのインター予測に使用できることを指定することができる。

【0064】

現在のアトラスフレームの全てのタイルグループが復号された後には、このアトラスフレームに「短期参照用に使用」としてマーキングすることができる。なお、デコーダは、レベル制限に必要なものよりも多くのメモリが復号アトラスフレームの記憶に利用可能でない限り、第１のタイルグループが復号された時に現在のアトラスフレームの復号部分をＤＡＢ４１０に記憶し始め、復号プロセスが進むにつれてさらに多くの復号サンプルを記憶し続けるべきである。現在のアトラスフレームが復号された直後には、（現在のアトラスフレームを含む）アクセスユニットｎの最後の復号ユニットのＣＡＢ除去時点で現在の復号アトラスフレームをＤＡＢ４１０から除去してＤＡＢフルネスを１だけ減分することができる。

【0065】

図５は、本開示の実施形態による、図１のＶ－ＰＣＣデコーダのブロック図である。図５の説明は、図１、図２、図３Ａ、図３Ｂ及び図４の要素に関連して行う。図５には、Ｖ－ＰＣＣデコーダ１０２のブロック図５００を示す。Ｖ－ＰＣＣデコーダ１０２は、デマルチプレクサ２０２及び回路５０２を含み、回路５０２は、プロセッサ５０４と、（ＣＰＢ／ＣＡＢ及びＤＰＢ／ＤＡＢに関連する）一群のビデオデコーダ１０４と、再構成ユニット１０６とを含むことができる。ある実施形態では、Ｖ－ＰＣＣデコーダ１０２が、メモリ５０６、入力／出力（Ｉ／Ｏ）インターフェイス５０８、及びＶ－ＰＣＣ合成バッファ２２０を含むこともできる。

【0066】

プロセッサ５０４は、Ｖ－ＰＣＣビットストリーム１０８の復号と、復号Ｖ－ＰＣＣビットストリーム１０８から取得されたＶ－ＰＣＣ成分からの点群シーケンスのフレーム毎の再構成とに関連するプログラム命令を実行するように構成できる好適なロジック、回路及び／又はインターフェイスを含むことができる。プロセッサ５０４は、当業で周知の複数のプロセッサ技術に基づいて実装することができる。プロセッサ５０４の実装例としては、以下に限定するわけではないが、縮小命令セットコンピューティング（ＲＩＳＣ）プロセッサ、特定用途向け集積回路（ＡＳＩＣ）プロセッサ、複合命令セットコンピューティング（ＣＩＳＣ）プロセッサ、グラフィクスプロセッシングユニット（ＧＰＵ）、マイクロコントローラ、コプロセッサ、中央処理装置（ＣＰＵ）、及び／又はこれらの組み合わせを挙げることができる。

【0067】

メモリ５０６は、プロセッサ５０４が実行できるプログラム命令を記憶するように構成できる好適なロジック、回路及び／又はインターフェイスを含むことができる。メモリ５０６は、回路５０２のいずれかの動作段階で必要になる（又は生成される）ことがある情報を記憶するように構成することができる。メモリ５０６の実装例としては、以下に限定するわけではないが、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、電気的に消去可能なプログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）、ハードディスクドライブ（ＨＤＤ）、固体ドライブ（ＳＳＤ）、又はＣＰＵキャッシュを挙げることができる。

【0068】

Ｉ／Ｏインターフェイス５０８は、デマルチプレクサ２０２、回路５０２、メモリ５０６及びＶ－ＰＣＣ合成バッファ２２０などの異なるコンポーネント間の通信インターフェイスとして機能するように構成できる好適なロジック、回路、インターフェイス及び／又はコードを含むことができる。

【0069】

Ｖ－ＰＣＣデコーダ１０２のブロック図２００には、本開示の範囲から逸脱することなく修正、追加又は省略を行うことができる。例えば、いくつかの実施形態では、ブロック図５００が、明示的に図示又は説明していない他のいくつかのコンポーネントを含むことができる。図１、図２、図３Ａ～図３Ｂ及び図６に示すようなＶ－ＰＣＣデコーダ１０２によって実行される機能又は動作は、回路５０２によって実行することができる。

【0070】

図６は、本開示の実施形態による、点群再構成前の復号フレーム同期のための例示的な動作を示すフローチャートである。図６の説明は、図１、図２、図３Ａ、図３Ｂ、図４及び図５の要素に関連して行う。図６には、フローチャート６００を示す。フローチャート６００に示す方法は、図１のＶ－ＰＣＣデコーダ１０２などのいずれかのコンピュータシステムによって実行することができる。方法は、６０２から開始して６０４に進むことができる。

【0071】

６０４において、Ｖ－ＰＣＣビットストリーム１０８を受け取ることができる。Ｖ－ＰＣＣビットストリーム１０８は、点群シーケンスに関連する符号化フレームを含むことができる。ある実施形態では、回路５０２を、点群シーケンスに関連する符号化フレームを含むＶ－ＰＣＣビットストリーム１０８を受け取るように構成することができる。

【0072】

６０６において、Ｖ－ＰＣＣビットストリーム１０８のサブストリームを復号して、属性成分２１２、形状成分２１４、占有マップ成分２１６及びアトラス成分２１８などのＶ－ＰＣＣ成分を生成することができる。ある実施形態では、回路５０２が、Ｖ－ＰＣＣビットストリーム１０８のサブストリームを復号してＶ－ＰＣＣ成分を生成するように構成できる一群のビデオデコーダ１０４を含むことができる。

【0073】

６０８において、Ｖ－ＰＣＣデコーダ１０２の再構成ユニット１０６への属性成分２１２の放出を第１の出力遅延に基づいて遅延させることができる。ある実施形態では、Ｖ－ＰＣＣデコーダ１０２の回路５０２を、再構成ユニット１０６への属性成分２１２の放出を第１の出力遅延に基づいて遅延させるように構成することができる。ある実施形態では、回路５０２を、第１のＤＰＢ２０４Ｂからの属性フレームの放出を遅延させるように構成することができる。このような場合、第１の出力遅延は、Ｖ－ＰＣＣビットストリーム１０８の属性サブストリームのアクセスユニットに関連する第１のピクチャタイミングＳＥＩメッセージに含めることができるＤＰＢ出力遅延とすることができる。

【0074】

６１０において、Ｖ－ＰＣＣデコーダ１０２の再構成ユニット１０６への形状成分２１４の放出を第２の出力遅延に基づいて遅延させることができる。ある実施形態では、Ｖ－ＰＣＣデコーダ１０２の回路５０２を、再構成ユニット１０６への形状成分２１４の放出を第２の出力遅延に基づいて遅延させるように構成することができる。ある実施形態では、回路５０２を、第２のＤＰＢ２０６Ｂからの形状フレームの放出を遅延させるように構成することができる。このような場合、第２の出力遅延は、Ｖ－ＰＣＣビットストリーム１０８の形状サブストリームのアクセスユニットに関連する第２のピクチャタイミングＳＥＩメッセージに含まれるＤＰＢ出力遅延とすることができる。

【0075】

６１２において、Ｖ－ＰＣＣデコーダ１０２の再構成ユニット１０６への占有マップ成分２１６の放出を第３の出力遅延に基づいて遅延させることができる。ある実施形態では、Ｖ－ＰＣＣデコーダ１０２の回路５０２を、再構成ユニット１０６への占有マップ成分２１６の放出を第３の出力遅延に基づいて遅延させるように構成することができる。ある実施形態では、回路５０２を、第３のＤＰＢ２０８Ｂからの占有マップ成分２１６の放出を遅延させるように構成することができる。このような場合、第３の出力遅延は、Ｖ－ＰＣＣビットストリーム１０８の占有マップサブストリームのアクセスユニットに関連する第３のピクチャタイミングＳＥＩメッセージに含まれるＤＰＢ出力遅延とすることができる。

【0076】

６１４において、Ｖ－ＰＣＣデコーダ１０２の再構成ユニット１０６へのアトラス成分２１８の放出を第４の出力遅延に基づいて遅延させることができる。ある実施形態では、Ｖ－ＰＣＣデコーダ１０２の回路５０２を、再構成ユニット１０６へのアトラス成分２１８の放出を第４の出力遅延に基づいて遅延させるように構成することができる。ある実施形態では、回路５０２を、ＤＡＢ２１０Ｂからのアトラス成分２１８の放出を遅延させるように構成することができる。このような場合、第４の出力遅延は、Ｖ－ＰＣＣビットストリーム１０８のアトラスサブストリームのアクセスユニットに関連するアトラスタイミングＳＥＩメッセージに含まれるＤＰＢ出力遅延とすることができる。６０８、６１０、６１２及び６１４における遅延した放出は、再構成ユニット１０６が属性成分２１２、形状成分２１４、占有マップ成分２１６及びアトラス成分２１８に基づいて点群２２２を再構成する前に、このような放出された成分を互いに同期（すなわち、時間的に整合）させることができる。制御は終了に進むことができる。

【0077】

本開示の様々な実施形態は、機械及び／又はコンピュータがシステム（例えば、Ｖ－ＰＣＣデコーダ１０２）を動作させるために実行できる命令を記憶した非一時的コンピュータ可読媒体及び／又は記憶媒体を提供することができる。これらの命令は、点群シーケンスに関連する符号化フレームを含むＶ－ＰＣＣビットストリーム１０８を受け取ることと、一群のビデオデコーダ１０４がＶ－ＰＣＣビットストリーム１０８のサブストリームを復号してＶ－ＰＣＣ成分を生成することとを含む動作を機械及び／又はコンピュータに実行させることができる。このような成分は、属性成分、形状成分、占有マップ成分及びアトラス成分を含む。これらの動作は、Ｖ－ＰＣＣデコーダ１０２の再構成ユニット１０６への属性成分の放出を第１の出力遅延に基づいて遅延させることと、再構成ユニット１０６への形状成分の放出を第２の出力遅延に基づいて遅延させることとをさらに含む。動作は、再構成ユニット１０６への占有マップ成分の放出を第３の出力遅延に基づいて遅延させることと、再構成ユニット１０６へのアトラス成分の放出を第４の出力遅延に基づいて遅延させることとをさらに含む。遅延した放出は、再構成ユニット１０６が属性成分、形状成分、占有マップ成分及びアトラス成分に基づいて点群を再構成する前に、このような放出された成分を互いに同期させることができる。

【0078】

本開示の例示的な態様は、（回路５０２などの）回路を含む（図１のＶ－ＰＣＣデコーダ１０２などの）Ｖ－ＰＣＣデコーダを提供することができる。回路５０２は、点群シーケンスに関連する符号化成分を含むＶ－ＰＣＣビットストリーム１０８を受け取るように構成することができる。回路５０２は、Ｖ－ＰＣＣビットストリームのサブストリームを復号して、属性成分２１２、形状成分２１４、占有マップ成分２１６及びアトラス成分２１８などのＶ－ＰＣＣ成分を生成するように構成できる一群のビデオデコーダ１０４を含むことができる。回路５０２は、Ｖ－ＰＣＣデコーダ１０２の再構成ユニット１０６への属性成分２１２の放出を第１の出力遅延に基づいて遅延させて、再構成ユニット１０６への形状成分２１４の放出を第２の出力遅延に基づいて遅延させるようにさらに構成することができる。回路５０２は、再構成ユニット１０６への占有マップ成分２１６の放出を第３の出力遅延に基づいて遅延させて、再構成ユニット１０６へのアトラス成分２１８の放出を第４の出力遅延に基づいて遅延させるようにさらに構成することができる。遅延した放出は、再構成ユニット１０６が属性成分２１２、形状成分２１４、占有マップ成分２１６及びアトラス成分２１８に基づいて（点群２２２などの）点群を再構成する前に、このような放出された成分を互いに同期（すなわち、時間的に整合）させることができる。

【0079】

ある実施形態では、回路５０２を、Ｖ－ＰＣＣビットストリーム１０８の属性サブストリームに関連する第１のピクチャタイミング補足強化情報（ＳＥＩ）メッセージを受け取るようにさらに構成することができる。回路５０２は、受け取った第１のピクチャタイミングＳＥＩメッセージから第１の出力遅延を抽出し、抽出された第１の出力遅延に基づいて、属性成分２１２に関連する遅延オフセットを決定することができる。回路５０２は、第１のＤＰＢ２０４Ｂから属性成分２１２を除去すべき第１の合成時点を更新することができる。第１の合成時点は、抽出された第１の出力遅延及び決定されたオフセット遅延に基づいて更新することができる。回路５０２は、更新された第１の合成時点に第１のＤＰＢ２０４Ｂから属性成分２１２を除去することができる。属性成分の除去は、属性成分２１２の遅延した放出に対応することができる。

【0080】

ある実施形態では、回路５０２を、Ｖ－ＰＣＣビットストリーム１０８の形状サブストリームに関連する第２のピクチャタイミング補足強化情報（ＳＥＩ）メッセージを受け取るようにさらに構成することができる。回路５０２は、受け取った第２のピクチャタイミングＳＥＩメッセージから第２の出力遅延を抽出し、抽出された第２の出力遅延に基づいて、形状成分２１４に関連する遅延オフセットを決定することができる。回路５０２は、第２のＤＰＢ２０６Ｂから形状成分２１４を除去すべき第２の合成時点を更新することができる。第２の合成時点は、抽出された第２の出力遅延及び決定された遅延オフセットに基づいて更新することができる。回路５０２は、更新された第２の合成時点に第２のＤＰＢ２０６Ｂから形状成分２１４を除去することができる。形状成分２１４の除去は、形状成分２１４の遅延した放出に対応することができる。

【0081】

ある実施形態では、回路５０２を、Ｖ－ＰＣＣビットストリーム１０８の占有マップサブストリームに関連する第３のピクチャタイミング補足強化情報（ＳＥＩ）メッセージを受け取るようにさらに構成することができる。回路５０２は、受け取った第３のピクチャタイミングＳＥＩメッセージから第３の出力遅延を抽出し、抽出された第３の出力遅延に基づいて、占有マップ成分２１６に関連する遅延オフセットを決定することができる。その後、回路５０２は、第３のＤＰＢ２０８Ｂから占有マップ成分２１６を除去すべき第３の合成時点を更新することができる。第３の合成時点は、抽出された第３の出力遅延及び決定された遅延オフセットに基づいて更新することができる。回路５０２は、更新された第３の合成時点に第３のＤＰＢ２０８Ｂから占有マップ成分２１６を除去することができる。占有マップ成分２１６の除去は、占有マップ成分２１６の遅延した放出に対応することができる。

【0082】

ある実施形態では、回路５０２を、Ｖ－ＰＣＣビットストリーム１０８のアトラスサブストリームに関連するアトラスタイミング補足強化情報（ＳＥＩ）メッセージを受け取るようにさらに構成することができる。回路５０２は、受け取ったアトラスタイミングＳＥＩメッセージから第４の出力遅延を抽出し、抽出された第４の出力遅延に基づいて、アトラス成分２１８に関連する遅延オフセットを決定することができる。その後、回路５０２は、ＤＡＢ２１０Ｂからアトラス成分２１８を除去すべき第４の合成時点を更新することができる。第４の合成時点は、抽出された第４の出力遅延及び決定された遅延オフセットに基づいて更新することができる。回路５０２は、更新された第４の合成時点にＤＡＢ２１０Ｂからアトラス成分２１８を除去することができる。アトラス成分２１８の除去は、アトラス成分２１８の遅延した放出に対応することができる。

【0083】

ある実施形態では、回路５０２を、属性サブストリームが復号された後に、Ｖ－ＰＣＣデコーダ１０２のＶ－ＰＣＣ合成バッファ２２０に属性成分２１２を記憶するようにさらに構成することができる。同様に、回路５０２は、形状サブストリーム、占有マップサブストリーム及びアトラスサブストリームの各々がそれぞれ復号された後に、形状成分２１４、占有マップ成分２１６及びアトラス成分２１８をＶ－ＰＣＣ合成バッファ２２０に記憶するようにさらに構成することができる。

【0084】

回路５０２は、記憶された属性成分２１２、記憶された形状成分２１４、記憶された占有マップ成分２１６及び記憶されたアトラス成分２１８の各々について、Ｖ－ＰＣＣ合成バッファ２２０から除去する合成時点を修正するように構成することができる。合成時点は、第１の出力遅延、第２の出力遅延、第３の出力遅延及び第４の出力遅延のうちの１つに基づいて修正することができる。回路５０２は、記憶された属性成分２１２、記憶された形状成分２１４、記憶された占有マップ成分２１６及び記憶されたアトラス成分２１８の各々を、それぞれの成分に関連する修正された合成時点にＶ－ＰＣＣ合成バッファ２２０から除去するようにさらに構成することができる。記憶された属性成分２１２、記憶された形状成分２１４、記憶された占有マップ成分２１６及び記憶されたアトラス成分２１８の各々の除去は、再構成ユニット１０６への遅延した放出に対応することができる。

【0085】

本開示は、ハードウェアで実現することも、又はハードウェアとソフトウェアの組み合わせで実現することもできる。本開示は、少なくとも１つのコンピュータシステム内で集中方式で実現することも、又は異なる要素を複数の相互接続されたコンピュータシステムにわたって分散できる分散方式で実現することもできる。本明細書で説明した方法を実行するように適合されたコンピュータシステム又はその他の装置が適することができる。ハードウェアとソフトウェアとの組み合わせは、ロードされて実行された時に本明細書で説明した方法を実行するようにコンピュータシステムを制御することができるコンピュータプログラムを含む汎用コンピュータシステムとすることができる。本開示は、他の機能も実行する集積回路の一部を含むハードウェアで実現することができる。

【0086】

本開示は、本明細書で説明した方法の実装を可能にする全ての特徴を含み、コンピュータシステムにロードされた時にこれらの方法を実行できるコンピュータプログラム製品に組み込むこともできる。本文脈におけるコンピュータプログラムは、情報処理能力を有するシステムに特定の機能を直接的に、或いはａ）別の言語、コード又は表記法への変換、ｂ）異なる内容形態での複製、のいずれか又は両方を行った後に実行させるように意図された命令セットの、いずれかの言語、コード又は表記法におけるいずれかの表現を意味する。

【0087】

いくつかの実施形態を参照しながら本開示を説明したが、当業者であれば、本開示の範囲から逸脱することなく様々な変更を行うことができ、同等物を代用することもできると理解するであろう。また、本開示の範囲から逸脱することなく、特定の状況又は内容を本開示の教示に適合させるように多くの修正を行うこともできる。従って、本開示は、開示した特定の実施形態に限定されるものではなく、添付の特許請求の範囲内に収まる全ての実施形態を含むように意図される。

【図1】

【図2】

【図3A】

【図3B】

【図4】

【図5】

【図6】

【国際調査報告】