知財求人 - 知財ポータルサイト「IP Force」
▶ ホアウェイ・テクノロジーズ・カンパニー・リミテッドの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-04-30
(45)【発行日】2024-05-10
(54)【発明の名称】Ｖ－ＰＣＣ用の仮想参照デコーダ
(51)【国際特許分類】
H04N 19/70 20140101AFI20240501BHJP
【ＦＩ】
H04N19/70
【請求項の数】
6
(21)【出願番号】P 2021577586
(86)(22)【出願日】2020-06-24
(65)【公表番号】
(43)【公表日】2022-09-15
(86)【国際出願番号】 US2020039360
(87)【国際公開番号】W WO2020263981
(87)【国際公開日】2020-12-30
【審査請求日】2022-02-07
(31)【優先権主張番号】62/867,563
(32)【優先日】2019-06-27
(33)【優先権主張国・地域又は機関】US
【前置審査】
(73)【特許権者】
【識別番号】504161984
【氏名又は名称】ホアウェイ・テクノロジーズ・カンパニー・リミテッド
(74)【代理人】
【識別番号】110000877
【氏名又は名称】弁理士法人ＲＹＵＫＡ国際特許事務所
(72)【発明者】
【氏名】ワン、イエ－クイ
(72)【発明者】
【氏名】チェン、ジアンレ
(72)【発明者】
【氏名】ヘンドリー、フヌ
【審査官】間宮 嘉誉
(56)【参考文献】
【文献】特表２０１６－５２６３５１（ＪＰ，Ａ）
【文献】特開２０１９－４１４０２（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１５／０３５８６４０（ＵＳ，Ａ１）
【文献】JANG, Euee S. et al.，Video-Based Point-Cloud-Compression Standard in MPEG: From Evidence Collection to Committee Draft [Standards in Nutshell]，IEEE Signal Processing Magazine，IEEE，2019年04月26日，Vol.36, No.3，pp.118-123，[online]，[retrieved on 2023-03-17]，Retrieved on the Internet: <URL: https://ieeexplore.ieee.org/document/8700674>
【文献】DESHPANDE, Sachin et al.，An Improved Hypothetical Reference Decoder for HEVC，Proc. Visual Information Processing and Communication IV，SPIE，2013年02月21日，Vol.8666，pp.1-9，[online]，[retrieved on 2023-03-16]，Retrieved from the Internet: <URL: https://www.spiedigitallibrary.org/proceedings/Download?urlId=10.1117%2F12.2009907>
【文献】WEBB, Jennifer L. H.，HRD Conformance for Real-Time H.264 Video Encoding，Proc. IEEE International Conference on Image Processing 2007，IEEE，2007年11月12日，Vol.V，pp.305-308，[online]，[retrieved on 2023-03-17]，Retrieved from the Internet: <URL: https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=4379826>
【文献】GRAZIOSI, Danillo et al.，V-PCC Component Synchronization for Point Cloud Reconstruction，Proc. IEEE 22nd International Workshop on Multimedia Signal Processing 2020，IEEE，2020年12月16日，pp.1-5，[online]，[retrieved on 2023-03-17]，Retrieved from the Internet: <URL: https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=9287092>
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ７／１２
Ｈ０４Ｎ １９／００－１９／９８
ＩＥＥＥ Ｘｐｌｏｒｅ
(57)【特許請求の範囲】
【請求項1】
エンコーダにおいて実装される方法であって、前記方法は、前記エンコーダのプロセッサが、バッファリング期間追加拡大情報（ＳＥＩ）メッセージと、点群圧縮（ＰＣＣ）成分のシーケンスと、仮想参照デコーダ（ＨＲＤ）パラメータとを、ビットストリームに符号化する段階と、
前記プロセッサが、前記バッファリング期間ＳＥＩメッセージに関連付けられた符号化アトラスアクセスユニット（ＡＵ）においてＨＲＤを、初期化する段階と、
前記プロセッサが、前記符号化アトラスＡＵにおいて開始する前記ビットストリームのＨＲＤ適合性チェックを実行する段階と、
を含み、
第１タイプの適合点が、前記ＨＲＤパラメータに基づいて選択されるとき、前記ＨＲＤ適合性チェックが、解凍された属性成分上で、解凍されたアトラス成分上で、解凍された占有マップ成分上で、および前記ＰＣＣ成分の解凍されたジオメトリ成分上で実行される、方法。
【請求項2】
エンコーダにおいて実装される方法であって、前記方法は、前記エンコーダのプロセッサが、バッファリング期間追加拡大情報（ＳＥＩ）メッセージと、点群圧縮（ＰＣＣ）成分のシーケンスと、仮想参照デコーダ（ＨＲＤ）パラメータとを、ビットストリームに符号化する段階と、
前記プロセッサが、前記バッファリング期間ＳＥＩメッセージに関連付けられた符号化アトラスアクセスユニット（ＡＵ）においてＨＲＤを、初期化する段階と、
前記プロセッサが、前記符号化アトラスＡＵにおいて開始する前記ビットストリームのＨＲＤ適合性チェックを実行する段階と、
を含み、
第２タイプの適合点が、前記ＨＲＤパラメータに基づいて選択されるとき、前記ＨＲＤ適合性チェックが前記ＰＣＣ成分の再構成された点群上で実行される、方法。
【請求項3】
請求項１又は２に記載の方法を実行するように構成されるプロセッサを含む、ビデオ符号化デバイス。
【請求項4】
ビデオ符号化デバイスによって用いるためのコンピュータプログラムであって、コンピュータ実施可能な命令を備える前記コンピュータプログラムは、プロセッサによって実行されたとき、請求項１又は２に記載の方法を前記ビデオ符号化デバイスに実行させる、コンピュータプログラム。
【請求項5】
バッファリング期間追加拡大情報（ＳＥＩ）メッセージと、点群圧縮（ＰＣＣ）成分のシーケンスと、仮想参照デコーダ（ＨＲＤ）パラメータとを、ビットストリームに符号化する符号化手段と、前記バッファリング期間ＳＥＩメッセージに関連付けられる符号化アトラスアクセスユニット（ＡＵ）においてＨＲＤを初期化する初期化手段と、
前記符号化アトラスＡＵにおいて開始する前記ビットストリームのＨＲＤ適合性チェックを実行するＨＲＤ手段と、
デコーダに向けて通信するように前記ビットストリームを格納する格納手段と、
を含み、
第１タイプの適合点が、前記ＨＲＤパラメータに基づいて選択されるとき、前記ＨＲＤ適合性チェックが、解凍された属性成分上で、解凍されたアトラス成分上で、解凍された占有マップ成分上で、および前記ＰＣＣ成分の解凍されたジオメトリ成分上で実行される、エンコーダ。
【請求項6】
バッファリング期間追加拡大情報（ＳＥＩ）メッセージと、点群圧縮（ＰＣＣ）成分のシーケンスと、仮想参照デコーダ（ＨＲＤ）パラメータとを、ビットストリームに符号化する符号化手段と、前記バッファリング期間ＳＥＩメッセージに関連付けられる符号化アトラスアクセスユニット（ＡＵ）においてＨＲＤを初期化する初期化手段と、
前記符号化アトラスＡＵにおいて開始する前記ビットストリームのＨＲＤ適合性チェックを実行するＨＲＤ手段と、
デコーダに向けて通信するように前記ビットストリームを格納する格納手段と、
を含み、
第２タイプの適合点が、前記ＨＲＤパラメータに基づいて選択されるとき、前記ＨＲＤ適合性チェックが前記ＰＣＣ成分の再構成された点群上で実行される、エンコーダ。
【発明の詳細な説明】
【技術分野】
【0001】
［関連出願の相互参照］
本特許出願は、Ｙｅ－Ｋｕｉ Ｗａｎｇによって２０１９年６月２７日に出願された、「Ｈｉｇｈ－Ｌｅｖｅｌ Ｓｙｎｔａｘ Ｉｍｐｒｏｖｅｍｅｎｔｓ Ｆｏｒ Ｖｉｄｅｏ－Ｂａｓｅｄ Ｐｏｉｎｔ Ｃｌｏｕｄ Ｃｏｍｐｒｅｓｓｉｏｎ」と題された米国仮特許出願第６２／８６７，５６３号の利益を請求し、その全体が参照によって本明細書に組み込まれる。
本特許出願は、Ｙｅ－Ｋｕｉ Ｗａｎｇによって２０１９年６月２７日に出願された、「Ｈｉｇｈ－Ｌｅｖｅｌ Ｓｙｎｔａｘ Ｉｍｐｒｏｖｅｍｅｎｔｓ Ｆｏｒ Ｖｉｄｅｏ－Ｂａｓｅｄ Ｐｏｉｎｔ Ｃｌｏｕｄ Ｃｏｍｐｒｅｓｓｉｏｎ」と題された米国仮特許出願第６２／８６７，５６３号の利益を請求し、その全体が参照によって本明細書に組み込まれる。
【0002】
本開示は、概してビデオ符号化に関し、具体的には、ビデオ点群符号化（Ｖ－ＰＣＣ）における仮想参照デコーダ（ＨＲＤ）適合性検査をサポートするための改善に関する。
【背景技術】
【0003】
比較的短いビデオでさえも、その描画に必要とされるビデオデータの量は著しいものになる可能性があり、その結果、帯域幅容量の制限された通信ネットワークを介してデータをストリーミングするか、そうでなければ通信するときに困難が生じることがある。したがって、ビデオデータは概して、今日の遠隔通信ネットワークを介して通信される前に圧縮される。ビデオのサイズは、メモリリソースが限定的である場合があるので、ビデオが記憶デバイス上に格納される場合にもまた問題となり得る。ビデオ圧縮デバイスは、多くの場合、ソースにおけるソフトウェアおよび／またはハードウェアを用いて、伝送または記憶の前にビデオデータをコードし、これによりデジタルビデオイメージを表現するのに必要なデータの量を低下させる。次に、圧縮データは、デスティネーションにおいて、ビデオデータを復号するビデオ圧縮解除デバイスによって受信される。限定されたネットワークリソース、および、より高いビデオ品質へのますます増加する要求によって、画質の犠牲をほとんどまたは全く有さずに圧縮比を改善する、改善された圧縮および解凍技術が望ましい。
【発明の概要】
【課題を解決するための手段】
【0004】
一実施形態において、本開示は、エンコーダにおいて実装される方法を含み、方法は、エンコーダのプロセッサが、バッファリング期間追加拡大情報メッセージ（ＳＥＩ）と、点群圧縮（ＰＣＣ）成分のシーケンスとを、ビットストリームに符号化する段階と、プロセッサが、バッファリング期間ＳＥＩメッセージに関連付けられた符号化アトラスアクセスユニット（ＡＵ）において仮想参照デコーダ（ＨＲＤ）を初期化する段階と、プロセッサが、符号化アトラスＡＵにおいて開始するビットストリームのＨＲＤ適合性チェックを実行する段階と、を含む。
【0005】
ビデオＰＣＣは、様々な色の点の群によって表された３次元オブジェクトを効率的に符号化する機構である。点群は、経時的にキャプチャされ、ＰＣＣ成分を含む。ＰＣＣ成分は次に符号化される。時間の瞬間における群の各有効点のポジションは、ジオメトリフレームにおけるジオメトリマップとして格納される。色はパッチとして格納される。具体的には、時間の瞬間におけるパッチは、アトラスフレームとして圧縮される。パッチは、概して、アトラスフレーム全体を覆わない。それに応じて、アトラスフレームのどの部分がパッチデータを含むかを示す占有フレームが、また生成される。任意選択で、透過率など、点の属性が属性フレームに含まれてよい。したがって、各ＰＣＣフレームは、対応する瞬間における点群を説明する異なる構成要素を含む複数のフレームとして符号化され得る。さらに、異なる構成要素が、異なる符号化および復号（コーデック）システムを利用することによって符号化され得る。コーデックシステムは、仮想参照デコーダ（ＨＲＤ）を利用してよい。ＨＲＤは、エンコーダにおいて動作する構成要素である。ＨＲＤは、符号化済みビットストリームを受信し、対応する符号化基準との適合性のためにビットストリームをチェックする。ＨＲＤ適合性テスト／チェックにパスしたビットストリームは、符号化規格にもまた適合する任意のデコーダによって復号可能であるべきである。ＰＣＣ成分を復号するように試みるときにＨＲＤは相互運用性問題が生じることがあり、ＰＣＣシステムは、ＨＲＤを利用するように構成されなくてもよい。
【0006】
本例は、ＰＣＣシステムにおいてＨＲＤを実装する機構を含む。エンコーダは、バッファリング期間ＳＥＩメッセージをビットストリームに符号化し得る。バッファリング期間ＳＥＩメッセージは、符号化されたアトラスフレームを含むＡＵに関連付けられる。したがって、ＨＲＤは初期化され、バッファリング期間ＳＥＩメッセージに基づいてアトラスフレームにおける適合性テストを始め得る。さらに、エンコーダは、ＨＲＤパラメータをビットストリームに符号化し得る。ＨＲＤパラメータは、実行される適合性テストのタイプを示し得る。タイプＩ適合性テストは、ＨＲＤが復号をチェックして、適合性に関して符号化ＰＣＣフレームの成分の各々をチェックすべきであることを示す。タイプＩＩ適合性テストは、ＨＲＤが様々な成分からの点群を完全に再構成して、適合性に関して再構成された点群をチェックすべきであることを示す。さらに、エンコーダは、アトラスフレームタイミングメッセージをビットストリームに符号化し得、それは、ＨＲＤにおける符号化されたアトラスバッファ（ＣＡＢ）に関する遅延を示す。ＨＲＤは、予め定められた率でバッファから成分を除去するように、この情報を用い得る。ＨＲＤは次に、成分が予め定められた率でバッファから除去されるときに、ＨＲＤがバッファアンダーランまたはオーバーランなしに成分を復号することが可能であるかどうかの適合性を決定し得る。したがって、例は、ＰＣＣビデオ上でＨＲＤ適合性テストを初期化および動作させるために十分なデータを提供する。デコーダは次に、ＨＲＤ適合性テストにパスした任意のＰＣＣビデオを復号する。したがって、本例は、エンコーダおよびデコーダの両方におけるエラーを低減し、機能を増加する。さらに、本開示は符号化の効率を増加させる機構をサポートし、したがって、エンコーダおよび／またはデコーダにおけるプロセッサ、メモリ、および／またはネットワークリソース使用量の減少をサポートする。
【0007】
任意選択で、先行する態様のいずれかにおいて、態様の別の実装形態は、プロセッサが、仮想参照デコーダ（ＨＲＤ）パラメータをビットストリームに符号化することをさらに備えることを、提供する。
【0008】
任意選択で、先行する態様のいずれかにおいて、態様の別の実装形態は、プロセッサが、ＨＲＤパラメータに基づいてＨＲＤにおけるＨＲＤ適合性チェックに関する適合点を選択することをさらに備えることを、提供する。
【0009】
任意選択で、先行する態様のいずれかにおいて、態様の別の実装形態は、第１タイプの適合点が、ＨＲＤパラメータに基づいて選択されるとき、ＨＲＤ適合性チェックが、解凍された属性成分上で、解凍されたアトラス成分上で、解凍された占有マップ成分上で、およびＰＣＣ成分の解凍されたジオメトリ成分上で実行されることを、提供する。
【0010】
任意選択で、先行する態様のいずれかにおいて、態様の別の実装形態は、第２タイプの適合点が、ＨＲＤパラメータに基づいて選択されるとき、ＨＲＤ適合性チェックがＰＣＣ成分の再構成された点群上で実行されることを、提供する。
【0011】
任意選択で、先行する態様のいずれかにおいて、態様の別の実装形態は、プロセッサが、アトラスフレームタイミングＳＥＩメッセージをビットストリームに符号化することをさらに備えることを、提供する。
【0012】
任意選択で、先行する態様のいずれかにおいて、態様の別の実装形態は、プロセッサが、アトラスフレームタイミングＳＥＩメッセージによって指定されるように、ＨＲＤ適合性チェックの最中にＨＲＤにおいてＣＡＢから復号ユニットを除去することをさらに備えることを、提供する。
【0013】
任意選択で、先行する態様のいずれかにおいて、態様の別の実装形態はアトラスフレームタイミングＳＥＩメッセージによって指定されたように、ＨＲＤにおける復号されたアトラスバッファ（ＤＡＢ）の出力遅延を設定することをさらに備えることを、提供する。
【0014】
任意選択で、先行する態様のいずれかにおいて、態様の別の実装形態は、復号ユニットが、バッファリング期間ＳＥＩメッセージによって指定された初期遅延に基づいてＨＲＤ適合性チェックの最中にＨＲＤにおけるＣＡＢから除去されることを、を提供する。
【0015】
一実施形態において、本開示は、デコーダにおいて実装される方法を含み、方法は、デコーダの受信機が、ＰＣＣ成分の複数の符号化されたシーケンスおよびバッファリング期間ＳＥＩメッセージを含むビットストリームを受信する段階と、デコーダのプロセッサが、バッファリング期間ＳＥＩメッセージによって示される符号化アトラスアクセスユニットから開始するＰＣＣ成分を復号する段階と、を含む。
【0016】
ビデオＰＣＣは、様々な色の点の群によって表される３次元オブジェクトを効率的に符号化する機構である。点群は、経時的にキャプチャされ、ＰＣＣ成分に含まれる。ＰＣＣ成分は、次に符号化される。時間の瞬間における群における各有効点のポジションは、ジオメトリフレームにおけるジオメトリマップとして格納される。色はパッチとして格納される。具体的には、時間の瞬間におけるパッチはアトラスフレームへ圧縮される。パッチは、概して、アトラスフレーム全体を覆わない。それに応じて、アトラスフレームのどの部分がパッチデータを含むかを示す占有フレームも、また生成される。任意選択で、透過率など、点の属性が属性フレームに含まれてよい。したがって、各ＰＣＣフレームは、対応する瞬間における点群を説明する異なる構成要素を含む複数のフレームとして符号化され得る。さらに、異なる構成要素は、異なる符号化および復号（コーデック）システムを利用することによって符号化され得る。コーデックシステムは、仮想参照デコーダ（ＨＲＤ）を利用し得る。ＨＲＤはエンコーダにおいて動作する構成要素である。ＨＲＤは符号化済みビットストリームを受信し、対応する符号化基準との適合性のためにビットストリームをチェックする。ＨＲＤ適合性テスト／チェックをパスしたビットストリームは、また、符号化規格に適合する任意のデコーダによって復号可能であるべきである。ＰＣＣ成分を復号するように試みるときＨＲＤは相互運用性問題を生じさせることがあり、ＰＣＣシステムは、ＨＲＤを利用するように構成されなくてもよい。
【0017】
本例は、ＰＣＣシステムにおいてＨＲＤを実装する機構を含む。エンコーダは、バッファリング期間ＳＥＩメッセージをビットストリームに符号化し得る。バッファリング期間ＳＥＩメッセージは、符号化されたアトラスフレームを含むＡＵに関連付けられる。したがって、ＨＲＤは初期化され得、バッファリング期間ＳＥＩメッセージに基づいてアトラスフレームにおいて適合性テストを始め得る。さらに、エンコーダは、ＨＲＤパラメータをビットストリームに符号化し得る。ＨＲＤパラメータは、実行される適合性テストのタイプを示し得る。タイプＩ適合性テストは、ＨＲＤが復号をチェックして、適合性に関して符号化ＰＣＣフレームの成分の各々をチェックすべきであることを示す。タイプＩＩ適合性テストは、ＨＲＤが様々な成分からの点群を完全に再構成して、適合性に関して再構成された点群をチェックすべきであることを示す。さらに、エンコーダは、アトラスフレームタイミングメッセージをビットストリームに符号化し得、それは、ＨＲＤにおける符号化されたアトラスバッファ（ＣＡＢ）に関する遅延を示す。ＨＲＤは、予め定められた率でバッファから成分を除去するように、この情報を用い得る。ＨＲＤは次に、成分が予め定められた率でバッファから除去されるときに、ＨＲＤがバッファアンダーランまたはオーバーランなしに成分を復号することが可能であるかどうかの適合性を決定し得る。したがって、例は、ＰＣＣビデオ上でＨＲＤ適合性テストを初期化および動作させるために十分なデータを提供する。デコーダは次に、ＨＲＤ適合性テストにパスした任意のＰＣＣビデオを復号する。したがって、本例は、エンコーダおよびデコーダの両方におけるエラーを低減し、機能を増加する。さらに、本開示は符号化の効率を増加させる機構をサポートし、したがって、エンコーダおよび／またはデコーダにおけるプロセッサ、メモリ、および／またはネットワークリソース使用量の減少をサポートする。
【0018】
任意選択で、先行する態様のいずれかにおいて、態様の別の実装形態は、バッファリング期間ＳＥＩメッセージが、ＨＲＤにおいてＣＡＢから復号ユニットを除去するための初期遅延を含むことを提供する。
【0019】
任意選択で、先行する態様のいずれかにおいて、態様の別の実装形態は、ビットストリームがＨＲＤパラメータをさらに含むことを提供する。
【0020】
任意選択で、先行する態様のいずれかにおいて、態様の別の実装形態は、ＨＲＤパラメータが、ＨＲＤにおけるＨＲＤ適合性チェックに関する適合点を指定することを提供する。
【0021】
任意選択で、先行する態様のいずれかにおいて、態様の別の実装形態は、ＨＲＤ適合性チェックが、解凍されたＰＣＣ成分上、または再構成された点群上で実行されるかどうかを、適合点が示すことを提供する。
【0022】
任意選択で、先行する態様のいずれかにおいて、態様の別の実装形態は、ビットストリームがさらに、アトラスフレームタイミングＳＥＩメッセージを含むことを提供する。
【0023】
任意選択で、先行する態様のいずれかにおいて、態様の別の実装形態は、アトラスフレームタイミングＳＥＩメッセージが、ＨＲＤにおいてＣＡＢから復号ユニットを除去するためのパラメータを指定することを提供する。
【0024】
一実施形態において、本開示は、プロセッサ、プロセッサを含むビデオ符号化デバイス、プロセッサに結合される受信機、プロセッサに結合されるメモリ、およびプロセッサに結合される送信機を含み、プロセッサ、受信機、メモリおよび送信機は、任意の先行する態様に記載の方法を実行するように構成される。
【0025】
一実施形態において、本開示は、ビデオ符号化デバイスによって用いるためのコンピュータプログラム製品を含む非一時的コンピュータ可読媒体を含み、コンピュータ実施可能な命令を備えるコンピュータプログラム製品は、プロセッサによって実行されたとき、先行する態様のいずれかに記載の方法をビデオ符号化デバイスに実行させるように、非一時的コンピュータ可読媒体に格納される。
【0026】
一実施形態において、本開示はデコーダを含み、デコーダは、ＰＣＣ成分の複数の符号化されたシーケンスと、バッファリング期間ＳＥＩメッセージとを含むビットストリームを受信する受信手段と、バッファリング期間ＳＥＩメッセージによって示される符号化アトラスアクセスユニットから開始するＰＣＣ成分を復号する復号手段と、表示のためにＰＣＣ成分から再構成された点群を転送する転送手段と、を含む。
【0027】
任意選択で、先行する態様のいずれかにおいて、態様の別の実装形態は、デコーダがさらに、先行する態様のいずれかに記載の方法を実行するように構成されることを提供する。
【0028】
一実施形態において、本開示はエンコーダを含み、エンコーダは、バッファリング期間ＳＥＩメッセージおよびＰＣＣ成分のシーケンスをビットストリームに符号化する符号化手段と、バッファリング期間ＳＥＩメッセージに関連付けられる符号化アトラスＡＵにおいてＨＲＤを初期化する初期化手段と、符号化アトラスＡＵにおいて開始するビットストリームのＨＲＤ適合性チェックを実行するＨＲＤ手段と、デコーダに向けて通信するようにビットストリームを格納する格納手段と、を含む。
【0029】
任意選択で、先行する態様のいずれかにおいて、態様の別の実装形態はさらに、先行する態様のいずれかに記載の方法を実行するように構成されたエンコーダを提供する。
【0030】
明確にすることを目的に、前述の実施形態のうちのいずれか１つまたは複数は、本開示の範囲内の新たな実施形態を作成するために、その他の前述の実施形態のうちの任意の１つまたは複数と組み合わされてよい。
【0031】
これらの特徴および他の特徴は、添付図面および特許請求の範囲と共に、以下の詳細な説明からより明確に理解されるであろう。
【図面の簡単な説明】
【0032】
本開示のより完全な理解のために、添付図面および詳細な説明と関連した以下の簡単な説明についてここで参照し、類似の参照番号は類似の部分を表す。
【0033】
【図1】ビデオ信号を符号化する例示的な方法のフローチャートである。
【0034】
【図2】ビデオ符号化のための例示的な符号化および復号（コーデック）システムの概略図である。
【0035】
【図3】例示的なビデオエンコーダを示す概略図である。
【0036】
【図4】例示的なビデオデコーダを示す概略図である。
【0037】
【図5】点群圧縮（ＰＣＣ）機構に従って符号化され得る点群媒体の一例である。
【0038】
【図6】点群から作成されるパッチの一例である。
【0039】
【図7A】パッチの設定に関連付けられる例示的な占有フレームを示す。
【0040】
【図7B】パッチの設定に関連付けられる例示的な幾何フレームを示す。
【0041】
【図7C】パッチの設定に関連付けられる例示的なアトラスフレームを示す。
【0042】
【図8】例示的な適合性テスト機構の概略図である。
【0043】
【図9】ＰＣＣビットストリーム上で適合性テストを実行するように構成される、例示的な仮想参照デコーダ（ＨＲＤ）の概略図である。
【0044】
【図10】ＨＲＤ適合性テストをサポートするようにＨＲＤを初期化する使用のための、例示的ＰＣＣビットストリームを示す概略図である。
【0045】
【図11】例示的なビデオ符号化デバイスの概略図である。
【0046】
【図12】ＨＲＤ適合性テストをサポートするようにＨＲＤを初期化する使用のための、ＰＣＣビットストリームを符号化する例示的な方法のフローチャートである。
【0047】
【図13】成功したＨＲＤ適合性テストから得られたＰＣＣビットストリームを復号する例示的な方法のフローチャートである。
【0048】
【図14】ＨＲＤ適合性テストをサポートするようにＰＣＣビットストリームを符号化する例示的システムの概略図である。
【発明を実施するための形態】
【0049】
１または複数の実施形態に係る例示的な実装態様が以下に提供されるが、開示されたシステムおよび／または方法は、現時点で知られているのかまたは存在しているのかに関係なく、任意の数の技法を使用して実装されてよいことを最初に理解されたい。本開示は、本明細書において図示され説明される例示的な設計例および実装形態を含む、以下に示される例示的な実装態様、図面、および技法に決して限定されるべきではなく、添付の特許請求の範囲と共に、その均等物の全範囲内で修正されてよい。
【0050】
以下に挙げる用語は、本明細書と反対の文脈で用いられない限り、以下のように定められる。具体的には、次の定義は、本開示に追加の明確性を提供するように意図される。しかしながら、用語は、異なる状況においては異なるように説明されることがある。それに応じて、次の定義は、補足とみなされるべきであり、本明細書のそのような用語に関して提供された説明のいかなる他の定義を限定するようにもみなされるべきではない。
【0051】
エンコーダは、ビデオデータをビットストリームに圧縮するように、符号化処理を利用するように構成されるデバイスである。デコーダは、表示のためにビットストリームをビデオデータに再構成するように、復号処理を利用するように構成されたデバイスである。点群／点群表現は、３次元（３Ｄ）空間における点（例えば、サンプル）のグループであり、各点はポジション、色、および／または属性を含み得る。ビットストリームは、エンコーダおよびデコーダの間を伝送するように圧縮されたビデオデータを含むビットのシーケンスである。点群符号化（ＰＣＣ）コンテキストにおいて、ビットストリームは符号化されたビデオ点群圧縮（Ｖ－ＰＣＣ）成分のビットのシーケンスを含む。
【0052】
Ｖ－ＰＣＣ成分（または、より一般的にはＰＣＣ成分）は、Ｖ－ＰＣＣ点群に関連付けられた特定のタイプの、アトラスデータ、占有マップデータ、ジオメトリデータ、または属性データであり得る。アトラスは、３Ｄ空間における３Ｄ境界ボックスに対応する長方形枠に投影される２次元（２Ｄ）境界ボックス（パッチとしてもまた知られる）の集合体であってよく、各２Ｄ境界ボックス／パッチは、点群のサブセットを表す。占有マップは、アトラスにおける各サンプル位置に関して、そのポジションが点群表現における有効な３Ｄ点に対応するかどうかを、その値が示すアトラスに対応する２Ｄアレイであり得る。ジオメトリマップは、各パッチに関連付けられたジオメトリ情報のアグリゲーションを介して作成された２Ｄアレイであり得、ジオメトリ情報／データは、点群フレームに関連付けられたデカルト座標のセットであり得る。属性は、色、反射率、表面法線、タイムスタンプ、有形の身分証明書（ＩＤ）などの、点群における各点と任意選択で関連付けられたスカラまたはベクトル特性であり得る。特定の時間の瞬間に関連付けられたアトラスデータ、占有マップ、ジオメトリマップ、または属性の完全なセットは、それぞれ、アトラスフレーム、占有マップフレーム、ジオメトリフレーム、属性フレーム、と呼ばれ得る。アトラスデータ、占有マップデータ、ジオメトリデータ、または属性データは、点群の成分であり得、したがって、それぞれ、アトラス成分、占有マップ成分、ジオメトリ成分、および属性フレーム成分と呼ばれ得る。
【0053】
アクセスユニット（ＡＵ）は、特定の分類規則に従って互いに関連付けられ、ある特定の出力時間に関連する、ネットワーク抽象化層（ＮＡＬ）ユニットのセットであり得る。符号化された成分は、ビットストリームに含まれるように圧縮されているデータであり得る。解凍された成分は、復号処理の一部として、またはＨＲＤ適合性テストの一部として再構成された、ビットストリームまたはサブビットストリームからのデータであり得る。ＨＲＤは、特定の制約との適合性を検証するように、符号化処理によって生み出されたビットストリームのばらつきをチェックするエンコーダ上で動作するデコーダモデルであり得る。ＨＲＤ適合性テスト／チェックは、符号化済みビットストリームが規格に適合するかどうかを決定するためのテストであり得る。適合点は、解凍および／または再構成されたそのデータが規格に適合することを検証するように、ＨＲＤがＨＲＤ適合性チェックを実行する復号／再構築プロセスにおける点であり得る。ＨＲＤパラメータは、ＨＲＤの作動条件を初期化する、および／または定める、シンタックス要素であり得る。補足拡張情報（ＳＥＩ）メッセージは、復号されたピクチャにおけるサンプルの値を決定すべく復号処理によって不要である情報を伝える特定の意味論を有する、シンタックス構造であり得る。バッファリング期間ＳＥＩメッセージは、ＨＲＤにおける符号化されたアトラスバッファ（ＣＡＢ）に関する初期除去遅延を示すデータを含むＳＥＩメッセージであり得る。アトラスフレームタイミングＳＥＩメッセージは、ＣＡＢに関する除去遅延と、ＨＲＤにおいて復号されたアトラスバッファ（ＤＡＢ）に関する出力遅延とを示すデータを含むＳＥＩメッセージであり得る。再構成された点群は、ＰＣＣビットストリームからのデータに基づいて生成された点群であり得る。再構成された点群は、ＰＣＣビットストリームに符号化された点群を近似すべきである。
【0054】
復号ユニットは、復号のためにバッファに格納されたビットストリームまたはサブビットストリームから符号化された成分であり得る。ＣＡＢは、ＰＣＣビットストリーム適合性テストの最中に用いるための、符号化されたアトラスフレームを復号順に含む、ＨＲＤにおける先入れ先出しバッファであり得る。ＣＡＢ除去遅延は、除去の前に成分がＣＡＢに残り得る、時間の量であり得る。初期ＣＡＢ除去遅延は、除去の前にビットストリームまたはサブビットストリームにおける第１ＡＵの成分がＣＡＢに残り得る、時間の量であり得る。ＤＡＢは、ＰＣＣビットストリーム適合性テストの最中に用いるための、復号された／解凍されたアトラスフレームを復号順に含む、ＨＲＤにおける、先入れ先出しバッファであり得る。ＤＡＢ出力遅延は、（例えば、再構成された点群の一部として）出力となる前に解凍された／復号された成分がＤＡＢに残り得る、時間の量であり得る。
【0055】
以下の頭字語が本明細書において用いられる。アクセスユニット（ＡＵ）、符号化された点群シーケンス（ＣＰＣ）、復号パッチフレームバッファ（ＤＰＦＢ）、高レベルのシンタックス（ＨＬＳ）、仮想参照デコーダ（ＨＲＤ）、イントラランダムアクセス点（ＩＲＡＰ）、点群圧縮（ＰＣＣ）、パルスコード変調（ＰＣＭ）、パッチフレームオーダーカウント（ＰＦＯＣ）、パッチシーケンスパラメータセット（ＰＳＰＳ）、参照パッチフレームリスト（ＲＰＦＬ）、補足拡張情報（ＳＥＩ）、シーケンスパラメータセット（ＳＰＳ）、ビデオベースのＰＣＣ（Ｖ－ＰＣＣ）。
【0056】
多くのビデオ圧縮技術が、データの最小損失でビデオファイルのサイズを低減するように利用され得る。例えば、映像圧縮技術は、映像シーケンスにおけるデータ冗長性を低減または除去するように、空間（例えば、イントラピクチャ）予測および／または一時的な（例えば、インターピクチャ）予測を実行することを含み得る。ブロックベースのビデオ符号化に関して、映像スライス（例えば、ビデオイメージまたはビデオイメージの部分）がビデオブロックに分割されてよく、それはまた、ツリーブロック、符号化木ブロック（ＣＴＢ）、符号化木単位（ＣＴＵ）、符号化単位（ＣＵ）、および／または符号化ノードと呼ばれることがある。ピクチャのイントラ符号化（Ｉ）されたスライスにおけるビデオブロックは、同じピクチャにおける隣接ブロックにおける参照サンプルに関する空間的予測を使用して符号化される。ピクチャのイントラ符号化された単方向予測（Ｐ）または双方向予測（Ｂ）のスライスにおけるビデオブロックは、同じピクチャにおける隣接ブロックの参照サンプルに関する空間的予測、または他の参照ピクチャにおける参照サンプルに関する時間的予測を利用して符号化され得る。ピクチャは、フレームおよび／またはイメージと呼ばれ得、参照ピクチャは、参照フレームおよび／または参照イメージと呼ばれ得る。空間的または時間的予測は、イメージブロックを表す予測ブロックをもたらす。残差データは、オリジナルイメージブロックと予測ブロックの間の画素差分を表す。それに応じて、インター符号化されたブロックは、予測ブロックを形成する参照サンプルのブロックを指す動きベクトル、および、符号化されたブロックと予測ブロックの間の差異を示す残差データに従って符号化される。イントラ符号化されたブロックは、イントラ符号化モードと残差データに従って符号化される。更なる圧縮に関して、残差データは画素領域から変換領域に変換される。これらは、残差変換係数をもたらし、それは量子化され得る。量子化変換係数は最初は二次元アレイで配列されてよい。量子化変換係数は、変換係数の一次元ベクトルを生み出すべくスキャンされ得る。エントロピー符号化は、より多くの圧縮さえ実現するように適用され得る。そのようなビデオ圧縮技術は、以下により詳細に論じられる。
【0057】
符号化済みビデオを確実にすることは、正確に復号することであり得、ビデオは、対応するビデオ符号化規格に従って符号化および復号される。ビデオ符号化規格には、国際電気通信連合（ＩＴＵ）の電気通信標準化部門（ＩＴＵ‐Ｔ） Ｈ．２６１、国際標準化機構（ＩＳＯ）／国際電気標準会議（ＩＥＣ）のモーションピクチャ専門家グループ（ＭＰＥＧ）－１パート２、ＩＴＵ‐Ｔ Ｈ．２６２またはＩＳＯ／ＩＥＣのＭＰＥＧ－２パート２、ＩＴＵ－Ｔ Ｈ．２６３、ＩＳＯ／ＩＥＣのＭＰＥＧ－４パート２、ＩＴＵ‐Ｔ Ｈ．２６４またはＩＳＯ／ＩＥＣ ＭＰＥＧ－４パート１０としても知られている高度ビデオ符号化（ＡＶＣ）、およびＩＴＵ‐Ｔ Ｈ．２６５またはＭＰＥＧ－Ｈパート２としても知られている高効率ビデオ符号化（ＨＥＶＣ）が含まれる。ＡＶＣには、スケーラブルビデオ符号化（ＳＶＣ）、多視点ビデオ符号化（ＭＶＣ）、および多視点ビデオ符号化＋深度（ＭＶＣ＋Ｄ）、並びに３次元（３Ｄ）のＡＶＣ（３Ｄ－ＡＶＣ）などの拡張版が含まれる。ＨＥＶＣには、スケーラブルＨＥＶＣ（ＳＨＶＣ）、多視点ＨＥＶＣ（ＭＶ－ＨＥＶＣ）、および３Ｄ ＨＥＶＣ（３Ｄ－ＨＥＶＣ）などの拡張版が含まれる。ＩＴＵ‐ＴおよびＩＳＯ／ＩＥＣのジョイントビデオエキスパートチーム（ＪＶＥＴ）は、汎用ビデオ符号化（ＶＶＣ）と呼ばれるビデオ符号化規格の開発を始めた。ＶＶＣは、作業案（ＷＤ）を含み、それは、ＪＶＥＴ－Ｎ１００１－ｖ９およびＪＶＥＴ－Ｎ１００２－ｖ２を含み、それは、ＶＶＣならびにリファレンスソフトウェアの、アルゴリズムの説明ならびに符号化サイドの説明を提供する。
【0058】
ビデオ点群圧縮（Ｖ－ＰＣＣ）は、様々な色の点の群によって表される３次元オブジェクトを効率的に符号化する機構である。具体的には、Ｖ－ＰＣＣは、そのような点群を映像シーケンスの一部として表示するために、符号化および／または復号のために利用される。点群は、経時的にキャプチャされ、ＰＣＣフレームに含まれる。ＰＣＣフレームはＰＣＣ成分に分割され、それは次に符号化される。時間の瞬間における群における各有効点のポジションは、ジオメトリフレームにおけるジオメトリマップとして格納される。色はパッチとして格納される。具体的には、時間の瞬間におけるパッチはアトラスフレームへ圧縮される。パッチは、概して、アトラスフレーム全体を覆わない。それに応じて、アトラスフレームのどの部分が有効なパッチデータを含むかを示す占有フレームも、また生成される。任意選択で、透過率、不透明度、および／または他のデータなど、点の属性が属性フレームに含まれてよい。したがって、各ＰＣＣフレームは、対応する瞬間における点群を説明する異なる構成要素を含む複数のフレームとして符号化され得る。さらに、異なる構成要素は、異なる符号化および復号（コーデック）システムを利用することによって符号化され得る。
【0059】
コーデックシステムはＨＲＤを利用し得る。ＨＲＤはエンコーダにおいて動作する構成要素である。ＨＲＤは符号化済みビットストリームを受信し、対応する符号化基準との適合性のためにビットストリームをチェックする。ＨＲＤ適合性テスト／チェックをパスしたビットストリームは、また、符号化規格に適合する任意のデコーダによって復号可能であるべきである。再構成された点群への再構成のためにＰＣＣ成分を復号するように試みるときＨＲＤは相互運用性問題を生じさせることがあり、ＰＣＣシステムは、ＨＲＤを利用するように構成されなくてもよい。
【0060】
ＰＣＣシステムにおいてＨＲＤを実装する機構が本明細書において開示される。エンコーダは、バッファリング期間ＳＥＩメッセージをＰＣＣビットストリームに符号化し得る。バッファリング期間ＳＥＩメッセージは、符号化されたアトラスフレームを含むＡＵに関連付けられる。したがって、ＨＲＤは初期化され得、バッファリング期間ＳＥＩメッセージに基づいてアトラスフレームにおいて適合性テストを始め得る。さらに、エンコーダは、ＨＲＤパラメータをビットストリームに符号化し得る。ＨＲＤパラメータは、実行される適合性テストのタイプを示し得る。タイプＩ適合性テストは、ＨＲＤ（または複数のＨＲＤ）が復号をチェックして、適合性に関して符号化ＰＣＣフレームの成分の各々をチェックすべきことを示す。タイプＩＩ適合性テストは、ＨＲＤが様々な成分からの点群を完全に再構成して、適合性に関して再構成された点群をチェックすべきであることを示す。さらに、エンコーダは、アトラスフレームタイミングメッセージをビットストリームに符号化し得、それは、ＨＲＤにおける符号化されたアトラスバッファ（ＣＡＢ）に関する遅延を示す。ＨＲＤは、予め定められた率でバッファから成分を除去するように、この情報を用い得る。ＨＲＤは次に、成分が予め定められた率でバッファから除去されるときに、ＨＲＤがバッファアンダーランまたはオーバーランなしに成分を復号することが可能であるかどうかの適合性を決定し得る。したがって、例は、符号化された点群の映像シーケンスを含むＰＣＣビットストリーム上でＨＲＤ適合性テストを初期化および動作させるために十分なデータを提供する。したがって、本開示は、エンコーダおよびデコーダの両方におけるエラーを低減し、機能を増加する。さらに、本開示は符号化の効率を増加させる機構をサポートし、したがって、エンコーダおよび／またはデコーダにおけるプロセッサ、メモリ、および／またはネットワークリソース使用量の減少をサポートする。
【0061】
図１は、ビデオ信号を符号化する例示的な動作方法１００のフローチャートである。具体的には、ビデオ信号はエンコーダにおいて符号化される。符号化処理は、ビデオファイルサイズを低減するように、さまざまな機構を利用することによってビデオ信号を圧縮する。より小さいファイルサイズは、関連付けられた帯域幅オーバヘッドを低減させながら、圧縮されたビデオファイルをユーザに伝送することを可能にする。デコーダは次に、エンドユーザへの表示のために元のビデオ信号を再構成するように、圧縮されたビデオファイルを復号する。復号処理は概して、デコーダがビデオ信号を整合性をもって再構成可能となるように、符号化処理のミラー動作を行う。
【0062】
段階１０１において、ビデオ信号がエンコーダに入力される。例えば、ビデオ信号は、メモリに格納された非圧縮ビデオファイルであってよい。別の例として、ビデオファイルは、ビデオカメラなどのビデオキャプチャデバイスによってキャプチャされ、ビデオのライブストリーミングをサポートするように符号化されてよい。ビデオファイルは、オーディオ構成要素とビデオ要素の両方を含んでよい。ビデオ要素は、シーケンスで見られたときに、動きの視覚的印象を提示する、一連のイメージフレームを含む。フレームは、本明細書では輝度成分（または輝度サンプル）と呼ばれる光と、彩度成分（または色サンプル）と呼ばれる色の観点で表現される、画素を含む。いくつかの例において、フレームはまた、３次元ビューイングをサポートする深度値を含み得る。
【0063】
段階１０３において、ビデオはブロックに分割される。分割は、圧縮のために、各フレームにおける画素を正方形および／または矩形のブロックに細分割することを含む。例えば、高効率ビデオ符号化（ＨＥＶＣ）（Ｈ．２６５およびＭＰＥＧ－Ｈ Ｐａｒｔ２としてもまた知られる）において、フレームはまず、符号化木単位（ＣＴＵ）に分割され得、それは、予め定義されたサイズ（例えば、６４ピクセル×６４ピクセル）のブロックである。ＣＴＵは、輝度と彩度サンプルの両方を含む。符号化木は、ＣＴＵをブロックに分割するように利用され得、次に、さらなる符号化をサポートするコンフィギュレーションが実現されるまで、ブロックを再帰的に細分割してよい。例えば、フレームの輝度成分は、個々のブロックが比較的均質照明値を含むまで、細分割されてよい。さらに、フレームの彩度成分は、個々のブロックが比較的均質色値を含むまで、細分割されてよい。それに応じて、分割機構は、映像フレームのコンテンツに依存して変わる。
【0064】
段階１０５において、様々な圧縮機構が、段階１０３において分割されたイメージブロックを圧縮するように利用される。例えば、インター予測（ｉｎｔｅｒ－ｐｒｅｄｉｃｔｉｏｎ）および／またはイントラ予測（ｉｎｔｒａ－ｐｒｅｄｉｃｔｉｏｎ）が利用されてよい。インター予測は、共通のシーンにおける物体は連続するフレームにおいて現れる傾向がある、という事実を利用するように設計される。それに応じて、参照フレームにおける物体を描画するブロックは、隣接フレームにおいて繰り返して表現される必要がない。具体的には、テーブルなどの物体は、複数のフレームにわたって一定の位置に残ることがある。したがって、テーブルが一度表現されると、隣接フレームは、参照フレームに戻って参照され得る。パターン適合性機構が、複数のフレームにわたって物体を適合させるように利用され得る。さらに、例えば物体の動きまたはカメラの動きに起因して、移動する物体は、複数のフレームにわたって表されることがある。特定の例として、ビデオが、複数のフレームにわたってスクリーンを横切って移動する自動車を示してよい。動きベクトルは、このような動きを表現するように利用され得る。動きベクトルは、フレームにおける物体の座標からの、参照フレームにおける物体の座標のオフセットを提供する二次元ベクトルである。したがって、インター予測は、現在のフレームにおけるイメージブロックを、参照フレームにおける対応するブロックからのオフセットを示す動きベクトルのセットとして、符号化し得る。
【0065】
イントラ予測は、共通フレームにおいてブロックを符号化する。イントラ予測は、輝度および彩度成分はフレームにおいてクラスタとなる傾向がある、という事実を利用する。例えば、木の部分における緑のパッチは、緑の同様のパッチに隣接してポジション決めされる傾向がある。イントラ予測は、複数の方向予測モード（例えば、ＨＥＶＣにおいては３３）、平面モード、および直流（ＤＣ）モードを利用する。方向性モードは、現在のブロックが、隣接ブロックのサンプルと、対応する方向において同様／同じであることを示す。平面モードは、行／列（例えば、平面）に沿った一連のブロックが、行の縁において隣接ブロックに基づいて補間され得ることを示す。平面モードは、実質的に、値を変更する際に比較的一定のスロープを利用することによって、行／列にわたる光／色の円滑な移行を示す。ＤＣモードは、境界のスムージングに利用され、ブロックが、指向性予測モードの角度方向に関連付けられた全ての隣接ブロックのサンプルに関連付けられた平均値と、同様／同じであることを示す。それに応じて、イントラ予測ブロックは、実際の値の代わりに、様々な相関予測モード値としてイメージブロックを表し得る。さらに、インター予測ブロックは、実際の値の代わりに動きベクトル値としてイメージブロックを表し得る。どちらの場合も、予測ブロックは、いくつかの場合において、イメージブロックを正確に表さないことがある。いかなる差異も、残差ブロックに格納される。さらにファイルを圧縮するように、変換が、残差ブロックに適用され得る。
【0066】
段階１０７において、様々なフィルタリング技法が適用され得る。ＨＥＶＣにおいて、フィルタはインループフィルタリングスキームに従って適用される。上記で論じられたブロックベースの予測は、デコーダにおいて、ブロックノイズのあるイメージを生成する結果となることがある。さらに、ブロック基数の予測スキームは、ブロックを符号化し得、次に、参照ブロックとして後で用いるための符号化済みブロックを再構成し得る。インループフィルタリングスキームは、ノイズ抑制フィルタ、ブロック解除フィルタ、適応ループフィルタ、およびサンプル適応オフセット（ＳＡＯ）フィルタを、ブロック／フレームに繰り返し適用する。これらのフィルタは、エンコードされたファイルが正確に再構成され得るように、そのようなブロッキングアーチファクトを軽減する。さらに、再構築された参照ブロックに基づいて符号化された次のブロックにおいて、アーチファクトが追加のアーチファクトを作成する可能性が小さくなるように、これらのフィルタは再構築された参照ブロックへのアーチファクトを軽減する。
【0067】
一度ビデオ信号が分割、圧縮、およびフィルタリングされると、得られるデータは、段階１０９でビットストリームにおいて符号化される。ビットストリームは、上記で論じられたデータのみならず、デコーダにおいて正しいビデオ信号再構成をサポートするように要望される任意のシグナリングデータを含む。例えば、そのようなデータは、デコーダに符号化命令を提供する、分割データ、予測データ、残差ブロック、および様々なフラグを含み得る。ビットストリームは、要求時にデコーダに向けての伝送のために、メモリに格納され得る。ビットストリームはまた、複数のデコーダに向けてブロードキャストおよび／またはマルチキャストされ得る。ビットストリームの生成は反復プロセスである。それに応じて、段階１０１、１０３、１０５、１０７および１０９は、継続的および／または同時に、多くのフレームおよびブロックにわたって発生し得る。図１に示された順序は明確および論議の容易性のために存在するものであり、ビデオ符号化処理を特定の順序に限定することを意図するものではない。
【0068】
デコーダは、ビットストリームを受信し、段階１１１で復号処理を始める。具体的には、デコーダは、ビットストリームを対応するシンタックスおよびビデオデータに変換するように、エントロピー復号スキームを利用する。段階１１１において、デコーダは、フレームに関する分割を決定するように、ビットストリームからのシンタックスデータを利用する。分割は、段階１０３において、ブロック分割の結果と適合すべきである。段階１１１において利用されるようなエントロピー符号化／復号が、ここで説明される。エンコーダは、圧縮処理の最中に、ブロック分割スキームの選択など、入力イメージの値の空間的位置に基づくいくつかの可能な選択から、多くの選択を行う。正確な選択のシグナリングは、多数のビン（ｂｉｎ）を利用し得る。本明細書で用いられるとき、ビンは、変数（例えば、コンテキストに依存して変わり得るビット値）として扱われる２進値である。エントロピー符号化は、エンコーダが、特定の場合において実行可能でないことが明確な任意の選択肢を棄却することを可能にし、許容可能な選択肢のセットを残す。各許容可能な選択肢は次に、符号語を割り当てられる。符号語の長さは、許容可能な選択肢（例えば、２つの選択肢に関して１つのビン、３から４つの選択肢に関して２つのビンなど）の数に基づく。エンコーダは次に、選択された選択肢に関する符号語を符号化する。符号語は、全ての可能な選択肢の大きい可能性のあるセットからの選択を一意的に示すのとは対照的に、許容可能な選択肢の小さいサブセットからの選択を一意的に示すように要望されるくらいの大きさなので、この方式は、符号語のサイズを低減する。デコーダは次に、エンコーダと同様の方式において許容可能な選択肢のセットを決定することによって、選択を復号する。許容可能な選択肢のセットを決定することによって、デコーダは、符号語を読み出し、エンコーダによって行われた選択を決定し得る。
【0069】
段階１１３において、デコーダはブロック復号を実行する。具体的には、デコーダは、残差ブロックを生成するように逆変換を利用する。次に、デコーダは、分割に従ってイメージブロックを再構成するように、残差ブロックおよび対応する予測ブロックを利用する。予測ブロックは、段階１０５においてエンコーダで生成されたようなイントラ予測ブロックおよびインター予測ブロックの両方を含み得る。再構成されたイメージブロックは次に、段階１１１において決定された分割データに従って再構成されたビデオ信号のフレームにポジション決めされる。段階１１３に関するシンタックスはまた、上記で論じられたようなエントロピー符号化を介して、ビットストリームにおいてシグナリングされ得る。
【0070】
段階１１５において、フィルタは、エンコーダにおいて段階１０７と同様の方式で、再構成されたビデオ信号のフレーム上で実行される。例えば、ノイズ抑制フィルタ、ブロック解除フィルタ、適応ループフィルタ、およびＳＡＯフィルタが、ブロックアーチファクトを除去するようにフレームに適用され得る。一度フレームがフィルタリングされると、ビデオ信号は、エンドユーザが見るように、段階１１７においてディスプレイに出力され得る。
【0071】
図２は、ビデオ符号化のための例示的な符号化および復号（コーデック）システム２００の概略図である。具体的には、コーデックシステム２００は、方法１００の動作の実装形態をサポートする機能を提供する。コーデックシステム２００は、エンコーダおよびデコーダの両方で利用される成分を描画するように一般化される。コーデックシステム２００は、動作方法１００における段階１０１および１０３に関して論じられたように、ビデオ信号を受信および分割し、それは分割されたビデオ信号２０１をもたらす。コーデックシステム２００は次に、方法１００における段階１０５、１０７および１０９に関して論じられたように、エンコーダとして作用するときに、分割されたビデオ信号２０１を符号化されたビットストリームに圧縮する。デコーダとして作用するときに、コーデックシステム２００は、動作方法１００における段階１１１、１１３、１１５および１１７に関して論じられたように、ビットストリームから出力ビデオ信号を生成する。コーデックシステム２００は、汎用コーダ制御構成要素２１１、変換スケーリングおよび量子化構成要素２１３、イントラピクチャ推定構成要素２１５、イントラピクチャ予測構成要素２１７、動き補償構成要素２１９、動き推定構成要素２２１、スケーリングおよび逆変換構成要素２２９、フィルタ制御分析構成要素２２７、インループフィルタ構成要素２２５、復号されたピクチャバッファ構成要素２２３、およびヘッダフォーマットおよびコンテキスト適応型バイナリ算術符号化（ＣＡＢＡＣ）構成要素２３１を含む。このような構成要素は、示されるように結合される。図２において、黒い線は、符号化／復号されるデータの動きを示し、破線は、他の構成要素のオペレーションを制御する制御データの動きを示す。コーデックシステム２００の構成要素は、全てエンコーダにおいて存在し得る。デコーダは、コーデックシステム２００の構成要素のサブセットを含み得る。例えば、デコーダはイントラピクチャ予測構成要素２１７、動き補償構成要素２１９、スケーリングおよび逆変換構成要素２２９、インループフィルタ構成要素２２５、および復号されたピクチャバッファ構成要素２２３を含み得る。これらの構成要素がここで説明される。
【0072】
分割されたビデオ信号２０１は、符号化木によって画素のブロックに分割された、キャプチャされたビデオシーケンスである。符号化木は、画素のブロックを画素のより小さいブロックに細分割するように、様々なスプリットモードを利用する。これらのブロックは次に、より小さいブロックへとさらに細分割され得る。ブロックは、符号化木上のノードと呼ばれてよい。より大きい親ノードは、より小さい子ノードへと分割される。ノードが細分割される回数は、ノード／符号化木の深度と呼ばれる。分割されたブロックは、いくつかの場合において、符号化単位（ＣＵ）に含まれ得る。例えば、ＣＵは、ＣＵに関して対応するシンタックス命令に従う、輝度ブロック、赤い異なる彩度（Ｃｒ）ブロック、および青い異なる彩度（Ｃｂ）ブロックを含むＣＴＵのサブ部分であり得る。スプリットモードは、ノードをそれぞれ２、３、または４の子ノードに分割するように利用される二分木（ＢＴ）、三分木（ＴＴ）、および四分木（ＱＴ）を含み得、それらは利用されるスプリットモードに依存して様々な形状をとる。分割されたビデオ信号２０１は、圧縮のために、汎用コーダ制御構成要素２１１、変換スケーリングおよび量子化構成要素２１３、イントラピクチャ推定構成要素２１５、フィルタ制御分析構成要素２２７、および動き推定構成要素２２１へ転送される。
【0073】
汎用コーダ制御構成要素２１１は、用途制約に従って、映像シーケンスのイメージをビットストリームに符号化することに関する決定を行うように構成される。例えば、汎用コーダ制御構成要素２１１は、再構成品質に対する、ビットレート／ビットストリームサイズの最適化を管理する。このような決定は、格納空間／帯域幅有効性およびイメージ解像度要求に基づいて作成され得る。汎用コーダ制御構成要素２１１はまた、バッファアンダーランおよびオーバーラン問題を軽減するように、送信速度に鑑みバッファ利用を管理する。これらの問題を管理するように、汎用コーダ制御構成要素２１１は、分割、予測、および他の構成要素によるフィルタリングを管理する。例えば、汎用コーダ制御構成要素２１１は、解像度を増加させて帯域幅使用を増加させるように圧縮複雑性を動的に増加させることがあり、または、解像度および帯域幅使用を低下させるように圧縮複雑性を低下させることがある。したがって、汎用コーダ制御構成要素２１１は、ビデオ信号再構成品質とビットレート関連とのバランスをとるように、コーデックシステム２００の他の構成要素を制御する。汎用コーダ制御構成要素２１１は制御データを作成し、それは他の構成要素の動作を制御する。制御データはまた、デコーダにおける復号のためのパラメータをシグナリングするように、ビットストリームに符号化されるヘッダフォーマットおよびＣＡＢＡＣ構成要素２３１に転送される。
【0074】
分割されたビデオ信号２０１はまた、インター予測に関する動き推定構成要素２２１および動き補償構成要素２１９に送信される。分割されたビデオ信号２０１のフレームまたはスライスは、複数のビデオブロックに分割され得る。動き推定構成要素２２１および動き補償構成要素２１９は、受信されたビデオブロックのインター予測符号化を、１または複数の参照フレーム内の１または複数のブロックと比較することで実行し、時間的予測を提供する。コーデックシステム２００は、複数の符号化パスを実行して、例えば、ビデオデータの各ブロックに適切な符号化モードを選択してよい。
【0075】
動き推定構成要素２２１および動き補償構成要素２１９は、高度に統合されてよいが、概念的な説明の目的で別々に示されている。動き推定構成要素２２１により実行される動き推定は、ビデオブロックの動きを推定する動きベクトルを生成する処理である。動きベクトルは、例えば、予測ブロックと比較して符号化されたオブジェクトの変位を示す。予測ブロックは、画素差分の観点から、符号化されるブロックに近い適合性があるとわかったブロックである。予測ブロックはまた、参照ブロックと呼ばれ得る。そのようなピクセル差は、絶対差の合計（ＳＡＤ）、二乗差の合計（ＳＳＤ）、または他の差分メトリクスによって決定され得る。ＨＥＶＣは、ＣＴＵ、符号化木ブロック（ＣＴＢ）およびＣＵを含む、いくつかの符号化されたオブジェクトを利用する。例えば、ＣＴＵはＣＴＢに分割され得、それは次に、ＣＵに含まれるためのＣＢに分割され得る。ＣＵは、予測データを含む予測ユニット（ＰＵ）および／または、ＣＵに関して変換された残差データを含む変換ユニット（ＴＵ）として符号化され得る。動き推定構成要素２２１は、レート歪み最適化プロセスの一部としてレート歪み解析を使用して、動きベクトル、ＰＵ、およびＴＵを生成する。例えば、動き推定構成要素２２１は、現在のブロック／フレームに関する複数の参照ブロック、複数の動作ベクトルなどを決定し得、最良のレート歪み特性を有する参照ブロック、動きベクトルなどを選択し得る。最良のレート歪み特性は、ビデオ再構成の品質（例えば、圧縮によるデータ損失の量）、および符号化効率（例えば、最終的な符号化のサイズ）の両者をバランスさせる。
【0076】
いくつかの例において、コーデックシステム２００は、復号されたピクチャバッファ構成要素２２３に格納された参照ピクチャのサブ整数ピクセル位置の値を計算してよい。例えば、ビデオコーデックシステム２００は、参照ピクチャの４分の１ピクセル位置、８分の１ピクセル位置、または他の端数ピクセル位置の値を補間してよい。したがって、動き推定構成要素２２１は、フルピクセル位置および端数ピクセル位置に対して動き検索を実行し、端数ピクセル精度を有する動きベクトルを出力してよい。動き推定構成要素２２１は、インター符号化スライス内のビデオブロックのＰＵに対する動きベクトルを、ＰＵのポジションと参照ピクチャの予測ブロックのポジションとを比較することで計算する。動き推定構成要素２２１は、符号化および動き補償構成要素２１９への動きのために、計算された動作ベクトルを動きデータとして、ヘッダフォーマットおよびＣＡＢＡＣ構成要素２３１に出力する。
【0077】
動き補償構成要素２１９により実行される動き補償は、動き推定構成要素２２１により決定される動きベクトルに基づいて予測ブロックをフェッチするまたは生成することを必要とし得る。ここでも、動き推定構成要素２２１および動き補償構成要素２１９は、いくつかの例において機能的に統合されてよい。動き補償構成要素２１９は、現在のビデオブロックのＰＵに対する動きベクトルを受信すると、動きベクトルが示す予測ブロックの位置を特定してよい。残差ビデオブロックは次に、符号化された現在のビデオブロックの画素値から予測ブロックの画素値を減算することで形成され、ピクセル差分値を形成する。一般的に、動き推定構成要素２２１は、輝度成分に対して動き推定を実行し、動き補償構成要素２１９は輝度成分に基づいて計算された動きベクトルを彩度成分および輝度成分の両方に用いる。予測ブロックおよび残差ブロックは、変換スケーリングおよび量子化構成要素２１３に転送される。
【0078】
分割されたビデオ信号２０１はまた、イントラピクチャ推定構成要素２１５およびイントラピクチャ予測構成要素２１７に送信される。動き推定構成要素２２１および動き補償構成要素２１９と同様に、イントラピクチャ推定構成要素２１５およびイントラピクチャ予測構成要素２１７は高度に統合されてよいが、概念的目的で別々に示される。上記で説明されるように、フレーム間の動き推定構成要素２２１および動き補償構成要素２１９によって実行されるインター予測の代替手段として、イントラピクチャ推定構成要素２１５およびイントラピクチャ予測構成要素２１７は、現在のフレームにおけるブロックと比較して、現在のブロックをイントラ予測する。特に、イントラピクチャ推定構成要素２１５は、現在のブロックを符号化するように用いるイントラ予測モードを決定する。いくつかの例において、イントラピクチャ推定構成要素２１５は、現在のブロックを符号化するように、複数のテストされたイントラ予測モードから、適切なイントラ予測モードを選択する。選択されたイントラ予測モードは次に、符号化のために、ヘッダフォーマットおよびＣＡＢＡＣ構成要素２３１に転送される。
【0079】
例えば、イントラピクチャ推定構成要素２１５は、様々なテスト済みイントラ予測モードに関して、レート歪み解析を使用してレート歪み値を計算し、テスト済みモードの中で最良のレート歪み特性を有するイントラ予測モードを選択してよい。レート歪み解析は概して、符号化済みブロックと、符号化済みブロックを生み出すために符号化されたオリジナルの符号化前のブロックとの間の歪み（またはエラー）の量、および符号化済みブロックを生み出すのに用いられるビットレート（例えば、ビット数）を決定する。イントラピクチャ推定構成要素２１５は、様々な符号化されたブロックの歪みおよびレートから比を計算し、どのイントラ予測モードが該当ブロックに対して最良のレート歪み値を示すかを決定してよい。さらに、イントラピクチャ推定構成要素２１５は、レート歪み最適化（ＲＤＯ）に基づいて深度モデリングモード（ＤＭＭ）を使用して、深度マップの深度ブロックを符号化するように構成されてよい。
【0080】
イントラピクチャ予測構成要素２１７は、エンコーダ上で実装されるとき、イントラピクチャ推定構成要素２１５によって決定される選択されたイントラ予測モードに基づいて予測ブロックから残差ブロックを生成し、または、デコーダ上で実装されるとき、ビットストリームから残差ブロックを読み出す。残差ブロックは、行列として表されるように、予測ブロックと元のブロックの間の値の差異を含む。残差ブロックは次に、変換スケーリングおよび量子化構成要素２１３に転送される。イントラピクチャ推定構成要素２１５およびイントラピクチャ予測構成要素２１７は、輝度および彩度成分の両方において動作し得る。
【0081】
変換スケーリングおよび量子化構成要素２１３は、さらに残差ブロックを圧縮するように構成される。変換スケーリングおよび量子化構成要素２１３は、離散余弦変換（ＤＣＴ）、離散正弦変換（ＤＳＴ）または概念的に同様の変換などの変換を残差ブロックに適用して、残差変換係数値を含むビデオブロックを生み出す。ウェーブレット変換、整数変換、サブバンド変換、または他のタイプの変換もまた用いられる可能性がある。この変換は、画素値領域からの残差情報を、周波数領域などの変換領域に変換してよい。変換スケーリングおよび量子化構成要素２１３は、また、例えば周波数に基づいて、変換された残差情報をスケーリングするように構成される。そのようなスケーリングは、異なる周波数情報を異なる粒度で量子化するように、スケール因子を残差情報に適用することを含み、それは再構成済み映像の最終視覚的品質に影響し得る。変換スケーリングおよび量子化構成要素２１３はまた、ビットレートをさらに低減するように、変換係数を量子化するように構成される。量子化プロセスは、いくつかの、または全ての係数に関連付けられたビット深度を低減し得る。量子化の程度は、量子化パラメータを調整することによって修正され得る。いくつかの例において、変換スケーリングおよび量子化構成要素２１３は次に、量子化変換係数を含む行列のスキャンを実行し得る。量子化変換係数は、ビットストリームで符号化されるように、ヘッダフォーマットおよびＣＡＢＡＣ構成要素２３１に転送される。
【0082】
スケーリングおよび逆変換構成要素２２９は、動き推定をサポートするように、変換スケーリングおよび量子化構成要素２１３の逆動作を適用する。スケーリングおよび逆変換構成要素２２９は、例えば、別の現在のブロックに関する予測ブロックとなり得る参照ブロックとして後で用いるために、画素領域における残差ブロックを再構成するように、逆スケーリング、変換、および／または量子化を適用する。動き推定構成要素２２１および／または動き補償構成要素２１９は、より後のブロック／フレームの動き推定を用いるように、残差ブロックを対応する予測ブロックに戻して加えることにより、参照ブロックを計算し得る。フィルタは、スケーリング、量子化、および変換の最中に生成したアーチファクトを軽減するように、再構築された参照ブロックに適用される。そうでない場合は、そのようなアーチファクトは、次のブロックが予測されるとき、不正確な予測を生じさせる（および、追加のアーチファクトを生成させる）であろう。
【0083】
フィルタ制御分析構成要素２２７およびインループフィルタ構成要素２２５は、残差ブロックおよび／または再構成されたイメージブロックへのフィルタを適用する。例えば、オリジナルイメージブロックを再構成するように、スケーリングおよび逆変換構成要素２２９から変換された残差ブロックは、イントラピクチャ予測構成要素２１７および／または動き補償構成要素２１９からの対応する予測ブロックと組み合され得る。フィルタは次に、再構成されたイメージブロックに適用され得る。いくつかの例において、フィルタは、代わりに、残差ブロックに適用され得る。図２における他の構成要素と同様に、フィルタ制御分析構成要素２２７およびインループフィルタ構成要素２２５は高度に統合され、一緒に実装されてよいが、概念的目的で別々に描画される。再構築された参照ブロックに適用されるフィルタは、特定の空間領域に適用され、そのようなフィルタがどのように適用されるかを調整するように、複数のパラメータを含む。フィルタ制御分析構成要素２２７は、そのようなフィルタがどこで適用されるべきか決定するように、再構築された参照ブロックを分析し、対応するパラメータを設定する。そのようなデータは、符号化のためにフィルタ制御データとしてヘッダフォーマットおよびＣＡＢＡＣ構成要素２３１に転送される。インループフィルタ構成要素２２５は、フィルタ制御データに基づいて、そのようなフィルタを適用する。フィルタは、非ブロック化フィルタ、ノイズ抑制フィルタ、ＳＡＯフィルタ、および適応ループフィルタを含んでよい。そのようなフィルタは、例に依存して、空間／ピクセル領域において（例えば、再構成された画素ブロック上で）、または、周波数領域において、適用されてよい。
【0084】
エンコーダとして動作するとき、フィルタリングされた再構成イメージブロック、残差ブロック、および／または予測ブロックは、上記で論じられる動き推定において後で用いるために、復号されたピクチャバッファ構成要素２２３に格納される。デコーダとして動作するとき、復号されたピクチャバッファ構成要素２２３は、再構成およびフィルタリングされたブロックを格納し、出力ビデオ信号の一部として、ディスプレイに向けて転送する。復号されたピクチャバッファ構成要素２２３は、予測ブロック、残差ブロック、および／または再構成されたイメージブロックを格納できる、任意のメモリデバイスであってよい。
【0085】
ヘッダフォーマットおよびＣＡＢＡＣ構成要素２３１は、コーデックシステム２００の様々な成分からデータを受信し、そのようなデータを、デコーダに向けて伝送するために、符号化されたビットストリームへ符号化する。具体的には、ヘッダフォーマットおよびＣＡＢＡＣ構成要素２３１は、全体制御データおよびフィルタ制御データなどの制御データを符号化するように、様々なヘッダを生成する。さらに、イントラ予測および動きデータを含む予測データ、ならびに、量子化変換係数データの形式の残差データは、全てビットストリームにおいて符号化される。最終ビットストリームは、オリジナルの分割されたビデオ信号２０１を再構成するためにデコーダによって要望される全ての情報を含む。そのような情報は、また、イントラ予測モードインデックステーブル（また、符号語マッピングテーブルと呼ばれる）、様々なブロックに関する符号化コンテキストの定義、最も可能性が高いイントラ予測モードのインジケーション、分割情報のインジケーションなどを含んでよい。そのようなデータは、エントロピー符号化を利用することによって符号化されてよい。例えば、情報は、コンテキスト適応型変数長符号化（ＣＡＶＬＣ）、ＣＡＢＡＣ、シンタックスベースのコンテキスト適応型バイナリ算術符号化（ＳＢＡＣ）、確率区間区分エントロピー（ＰＩＰＥ）符号化、または別のエントロピー符号化技法を利用して符号化されてよい。エントロピー符号化に続いて、符号化されたビットストリームは、別のデバイス（例えば、ビデオデコーダ）に伝送されても、後の伝送または検索のためにアーカイブされてもよい。
【0086】
図３は、例示的なビデオエンコーダ３００を示すブロック図である。ビデオエンコーダ３００は、コーデックシステム２００の符号化機能を実装するように、および／または、動作方法１００の段階１０１、１０３、１０５、１０７および／または１０９を実装するように、利用され得る。エンコーダ３００は入力されるビデオ信号を分割し、分割されたビデオ信号３０１をもたらし、それは実質的、分割されたビデオ信号２０１と同様となる。分割されたビデオ信号３０１は次に、エンコーダ３００の構成要素によって圧縮され、ビットストリームに符号化される。
【0087】
具体的には、分割されたビデオ信号３０１は、イントラ予測のために、イントラピクチャ予測構成要素３１７に転送される。イントラピクチャ予測構成要素３１７は、イントラピクチャ推定構成要素２１５およびイントラピクチャ予測構成要素２１７と実質的に同様であってよい。分割されたビデオ信号３０１はまた、復号されたピクチャバッファ構成要素３２３における参照ブロックに基づいて、インター予測のために動き補償構成要素３２１に転送される。動き補償構成要素３２１は、動き推定構成要素２２１および動き補償構成要素２１９と実質的に同様であってよい。イントラピクチャ予測構成要素３１７および動き補償構成要素３２１からの予測ブロックおよび残差ブロックは、残差ブロックの変換および量子化のために、変換および量子化構成要素３１３に転送される。変換および量子化構成要素３１３は、変換スケーリングおよび量子化構成要素２１３と実質的に同様であってよい。変換および量子化された残差ブロック、および対応する予測ブロック（関連付けられた制御データと共に）は、ビットストリームに符号化するために、エントロピー符号化構成要素３３１に転送される。エントロピー符号化構成要素３３１は、ヘッダフォーマットおよびＣＡＢＡＣ構成要素２３１と実質的に同様であってよい。
【0088】
変換および量子化された残差ブロック、および／または対応する予測ブロックはまた、変換および量子化構成要素３１３から、動き補償構成要素３２１によって用いるための参照ブロックへの再構成のために、逆変換および量子化構成要素３２９に転送される。逆変換および量子化構成要素３２９は、スケーリングおよび逆変換構成要素２２９と実質的に同様であってよい。インループフィルタ構成要素３２５におけるインループフィルタもまた、例に依存して、残差ブロックおよび／または再構築された参照ブロックに適用される。インループフィルタ構成要素３２５は、フィルタ制御分析構成要素２２７およびインループフィルタ構成要素２２５と実質的に同様であってよい。インループフィルタ構成要素３２５は、インループフィルタ構成要素２２５に関して論じられるように、複数のフィルタを含んでよい。フィルタリングされたブロックは次に、動き補償構成要素３２１によって参照ブロックとして用いるために、復号されたピクチャバッファ構成要素３２３に格納される。復号されたピクチャバッファ構成要素３２３は、復号されたピクチャバッファ構成要素２２３と実質的に同様であってよい。
【0089】
図４は、例示的なビデオデコーダ４００を示すブロック図である。ビデオデコーダ４００は、コーデックシステム２００のデコード機能を実装し、および／または、方法１００の動作の段階１１１、１１３、１１５および／または１１７を実装するように利用されてよい。デコーダ４００は、例えばエンコーダ３００からビットストリームを受信し、エンドユーザへの表示のために、ビットストリームに基づいて再構成された出力ビデオ信号を生成する。
【0090】
ビットストリームは、エントロピー復号構成要素４３３によって受信される。エントロピー復号構成要素４３３は、ＣＡＶＬＣ、ＣＡＢＡＣ、ＳＢＡＣ、ＰＩＰＥ符号化、または他のエントロピー復号技術などの、エントロピー復号スキームを実装するように構成される。例えば、エントロピー復号構成要素４３３は、符号化された更なるデータを、ビットストリームにおける符号語として解釈するためのコンテキストを提供するように、ヘッダ情報を利用し得る。復号された情報は、全体制御データ、フィルタ制御データ、分割情報、動きデータ、予測データ、および残差ブロックからの量子化変換係数などの、ビデオ信号を復号する任意の望ましい情報を含む。量子化変換係数は、残差ブロックに再構成されるように、逆変換および量子化構成要素４２９に転送される。逆変換および量子化構成要素４２９は、逆変換および量子化構成要素３２９と同様であってよい。
【0091】
再構成済み残差ブロックおよび／または予測ブロックは、イントラ予測動作に基づくイメージブロックへの再構成のために、イントラピクチャ予測構成要素４１７に転送される。イントラピクチャ予測構成要素４１７は、イントラピクチャ推定構成要素２１５およびイントラピクチャ予測構成要素２１７と同様であってよい。具体的には、イントラピクチャ予測構成要素４１７は、フレームにおける参照ブロックを位置決めするように予測モードを利用し、イントラ予測されたイメージブロックを再構成するように、結果を残差ブロックに適用する。再構成されたイントラ予測されたイメージブロックおよび／または残差ブロック、および対応するインター予測データは、復号されたピクチャバッファ構成要素４２３に、インループフィルタ構成要素４２５を介して転送され、それらは実質的に、復号されたピクチャバッファ構成要素２２３およびインループフィルタ構成要素２２５と、それぞれ同様である。インループフィルタ構成要素４２５は、再構成されたイメージブロック、残差ブロック、および／または予測ブロックをフィルタリングし、そのような情報は、復号されたピクチャバッファ構成要素４２３に格納される。復号されたピクチャバッファ構成要素４２３から再構成されたイメージブロックは、インター予測のために、動き補償構成要素４２１に転送される。動き補償構成要素４２１は、動き推定構成要素２２１および／または動き補償構成要素２１９と実質的に同様であってよい。具体的には、動き補償構成要素４２１は、予測ブロックを生成するように、参照ブロックから動きベクトルを利用し、イメージブロックを再構成するように、結果に残差ブロックを適用する。得られた再構成されたブロックはまた、インループフィルタ構成要素４２５を介して、復号されたピクチャバッファ構成要素４２３に転送される。復号されたピクチャバッファ構成要素４２３は、追加の再構成されたイメージブロックを格納し続け、それは分割情報によってフレームに再構成され得る。そのようなフレームはまた、シーケンスに配置されてよい。シーケンスは、再構成された出力ビデオ信号として、ディスプレイに向けて出力される。
【0092】
図５は、ＰＣＣ機構に従って符号化され得る点群媒体５００の一例である。それに応じて、点群媒体５００は、方法１００を実行するとき、コーデックシステム２００および／またはエンコーダ３００などのエンコーダによって符号化されてよく、コーデックシステム２００および／またはデコーダ４００などのデコーダによって再構成されてよい。
【0093】
図１から図４に説明された機構は、概して２Ｄフレームが符号化されているとみなしている。しかしながら、点群媒体５００は、経時的に変化する点の群である。具体的には、点群媒体５００はまた、点群および／または点群表現と呼ばれてもよいが、３Ｄ空間における点のグループである。点は、また、サンプルと呼ばれてよい。各点は、複数の種類のデータに関連付けられ得る。例えば、各点は、ポジションの観点から説明され得る。ポジションは、デカルト座標のセットとして説明され得る３Ｄ空間における位置である。さらに、各点は色を含み得る。色は、ルミナンス（例えば、光）およびクロミナンス（例えば、色）の観点で説明され得る。色は、それぞれ（Ｒ，Ｇ，Ｂ）または（Ｙ，Ｕ，Ｖ）として示される、赤（Ｒ）、緑（Ｇ）、および青（Ｂ）の値、または輝度（Ｙ）、青色差（Ｕ）および赤色差（Ｖ）の観点で説明され得る。点はまた、他の属性を含み得る。属性は、点群における各点に関連付けられ得る、オプションのスカラーまたはベクトル特性である。属性は、反射率、透過率、表面法線、タイムスタンプ、有形の身分証明書（ＩＤ）、などを含み得る。
【0094】
点群媒体５００の各点が複数の種類のデータに関連付けられ得るので、図１から図４に説明された機構に従って圧縮のために点群媒体５００を準備するように、いくつかのサポート機構が利用される。例えば、点群媒体５００はフレームにソートされることができ、各フレームは、特定の状態または時間の瞬間における、点群に関する全てのデータを含む。したがって、図５は、点群媒体５００のシングルフレームを描画する。点群媒体５００は次に、フレームごとに符号化される。点群媒体５００は、３Ｄ境界ボックス５０１によって取り囲まれ得る。３Ｄ境界ボックス５０１は、対応するフレームに関する点群媒体５００の点の全てを取り囲むようにサイズ決めされた３Ｄ長方形角柱である。点群媒体５００が互いに素な集合（ｄｉｓｊｏｉｎｔ ｓｅｔ）を含む場合には、複数の３Ｄ境界ボックス５０１が、利用され得ることに留意されるべきである。例えば、３Ｄ境界ボックス５０１が各図の周りに配置される場合には、点群媒体５００は、接続されていない２つの図を描画できるかもしれない。３Ｄ境界ボックス５０１における点は、以下に説明されるように処理される。
【0095】
図６は、点群６００から作成されたパッチ６０３の一例である。点群６００は、点群媒体５００のシングルフレームである。さらに、点群６００は、３Ｄ境界ボックス５０１と実質的に同様である３Ｄ境界ボックス６０１によって取り囲まれる。それに応じて、方法１００を実行するとき、点群６００は、コーデックシステム２００および／またはエンコーダ３００などのエンコーダによって符号化されてよく、コーデックシステム２００および／またはデコーダ４００などのデコーダによって再構成されてよい。
【0096】
３Ｄ境界ボックス６０１は６つの面を含み、したがって、３Ｄ境界ボックス６０１の面にそれぞれ位置する６つの２Ｄ長方形フレーム６０２（例えば、頂部、底部、左、右、前、および後）を含む。点群６００は、点群６００を、対応する２Ｄ長方形フレーム６０２上に投影することによって、３Ｄデータから２Ｄデータに変換され得る。これは、パッチ６０３の生成をもたらす。パッチ６０３は３Ｄ点群の２Ｄ表現であり、パッチ６０３は対応する２Ｄ長方形フレーム６０２から可視である点群６００の表現を含む。２Ｄ長方形フレーム６０２からの点群６００の表現は、複数の互いに素な構成要素を含み得ることに留意すべきである。したがって、２Ｄ長方形フレーム６０２は、複数のパッチ６０３を含み得る。したがって、点群６００は、６より多いパッチ６０３によって表され得る。パッチ６０３はまた、アトラス、アトラスデータ、アトラス情報、および／またはアトラス成分と呼ばれることがある。３Ｄデータを２Ｄフォーマットに変換することによって、点群６００は、インター予測および／またはイントラ予測などのビデオ符号化機構に従って符号化され得る。
【0097】
図７Ａから図７Ｃは、図６に説明されたように２Ｄ情報に変換された３Ｄ点群を符号化する機構を示す。具体的には、図７Ａは、パッチ６０３などのパッチのセットに関連付けられた、例示的な占有フレーム７１０を示す。占有フレーム７１０はバイナリ形式で符号化される。例えば、０は、境界ボックス６０１の部分が、パッチ６０３の１つによって占有されないことを表す。０によって表された境界ボックス６００のそれらの部分は、ボリュメトリック表現（例えば、点群６００）の再構成に関与しない。対照的に、１は、境界ボックス６００の部分が、パッチ６０３の１つによって占有されることを表す。１によって表された境界ボックス６００のそれらの部分は、ボリュメトリック表現（例えば、点群６００）の再構成に関与する。さらに、図７Ｂは、パッチ６０３などの、パッチのセットに関連付けられた例示的な幾何フレーム７２０を示す。ジオメトリフレーム７２０は、パッチ６０３の各々の輪郭またはトポグラフィを提供または描画する。具体的には、ジオメトリフレーム７２０は、パッチ６０３における各点が境界ボックス６００の平面（例えば、２Ｄ長方形フレーム６０２）から離れる距離を示す。また、図７Ｃは、パッチ６０３などの、パッチのセットに関連付けられた例示的なアトラスフレーム７３０を示す。アトラスフレーム７３０は、境界ボックス６００におけるパッチ６０３のサンプルを提供または描画する。アトラスフレーム７３０は、例えば、パッチ６０３における点の色成分を含み得る。色成分は、ＲＧＢ色モデル、ＹＵＶ色モデルに基づいてよく、または別の知られている色モデルに基づいてよい。占有フレーム７１０、ジオメトリフレーム７２０、およびアトラスフレーム７３０は、点群６００および／または点群媒体５００を符号化するように利用され得る。したがって、方法１００を実行するとき、占有フレーム７１０、ジオメトリフレーム７２０、およびアトラスフレーム７３０は、コーデックシステム２００および／またはエンコーダ３００などのエンコーダによって符号化されてよく、コーデックシステム２００および／またはデコーダ４００などのデコーダによって再構成されてよい。
【0098】
３Ｄ情報を２Ｄ平面上に投影することによって作成される様々なパッチが、長方形（または正方形）映像フレームに圧縮され得る。ＡＶＣ、ＨＥＶＣおよびＶＶＣなどの様々なビデオコーデックが、そのようなビデオフレームを符号化するように予め構成されているので、この手法は有利である。したがって、ＰＣＣコーデックは、パッチを符号化するように、他のビデオコーデックを利用し得る。図７Ａに示されるように、パッチはフレームに圧縮され得る。パッチは任意のアルゴリズムによって圧縮され得る。例えば、パッチは、サイズに基づいてフレームに圧縮され得る。特定の例において、パッチは最大から最小までを含む。最大のパッチは、任意の開放空間に最初に配置され得、より小さいパッチは、ひとたびサイズ閾値が交差した間隙を満たすように配置され得る。図７Ａに示されるように、そのような圧縮方式は、パッチデータを含まない空白をもたらす。空白の符号化を回避するように、占有フレーム７１０が利用される。占有フレーム７１０は、特定の瞬間の時間における点群の全ての占有データを含む。具体的には、占有フレーム７１０は、１または複数の占有マップ（占有データ、占有情報、および／または占有成分としてもまた知られる）を含む。占有マップは、その値がアトラスの各サンプル位置に関して、そのポジションが点群表現における有効な３Ｄ点に対応するかどうかを示す、アトラス（パッチのグループ）に対応する２Ｄアレイとして定められる。図７Ａに示されるように、占有マップは有効なデータ７１３のエリアを含む。有効なデータ７１３のエリアは、アトラス／パッチデータが占有フレーム７１０に対応する位置において存在することを示す。占有マップはまた、無効なデータ７１５のエリアを含む。無効なデータ７１５のエリアは、占有フレーム７１０における対応する位置にアトラス／パッチデータが存在しないことを示す。
【0099】
図７Ｂは、点群データのジオメトリフレーム７２０を描画する。特定の瞬間の時間における点群に関して、ジオメトリフレーム７２０は１または複数のジオメトリマップ７２３（ジオメトリデータ、ジオメトリ情報、および／またはジオメトリ成分としてもまた知られる）を含む。ジオメトリマップ７２３は、各パッチに関連付けられたジオメトリ情報のアグリゲーションを介して作成される２Ｄアレイであり、ジオメトリ情報／データは、点群フレームに関連付けられたデカルト座標のセットである。具体的には、パッチは全て３Ｄ空間における点から投影される。そのような投影は、パッチから３Ｄ情報を除去する効果を有する。ジオメトリマップ７２３は、パッチから除去された３Ｄ情報を保持する。例えば、パッチにおける各サンプルが、３Ｄ空間における点から取得される。それに応じて、ジオメトリマップ７２３は、各パッチにおける各サンプルに関連付けられた３Ｄ座標を含み得る。したがって、ジオメトリマップ７２３は、３Ｄ点群を再構成するために２Ｄパッチを３Ｄ空間に戻すようにマッピング／変換するように、デコーダによって用いられ得る。具体的には、点群を再構成するように、デコーダは各パッチサンプルを適切な３Ｄ座標上にマッピングし得る。
【0100】
図７Ｃは、点群データのアトラスフレーム７３０を描画する。特定の瞬間の時間における点群に関して、アトラスフレーム７３０は、１または複数のアトラス７３３（アトラスデータ、アトラス情報、アトラス成分、および／またはパッチとしてもまた知られる）を含む。アトラス７３３は、３Ｄ空間における３Ｄ境界ボックスに対応する長方形枠に投影された２Ｄ境界ボックスの集合体であり、各２Ｄ境界ボックス／パッチは、点群のサブセットを表す。具体的には、アトラス７３３は、図６に関して説明されたように、３Ｄ点群が２Ｄ空間に投影されたとき作成されたパッチを含む。したがって、アトラス７３３／パッチは、点群に関連付けられたイメージデータ（例えば、色および光の値）、および対応する瞬間の時間を含む。アトラス７３３は、図７Ａの占有マップおよび図７Ｂのジオメトリマップ７２３に対応する。具体的には、アトラス７３３は有効なデータ７１３のエリアにおけるデータを含み、無効なデータ７１５のエリアにおけるデータを含まない。さらに、ジオメトリマップ７２３は、アトラス７３３におけるサンプルに関する３Ｄ情報を含む。
【0101】
点群が属性（属性データ、属性情報、および／または属性成分としてもまた知られる）を含み得ることもまた留意すべきである。そのような属性は、アトラスフレームに含まれ得る。アトラスフレームは、特定の瞬間の時間における点群の対応する属性に関する全てのデータを含み得る。属性は幅広い異なるデータを含み得るので、属性フレームの一例は図示しない。具体的には、反射率、表面法線、タイムスタンプ、素材ＩＤなど、属性は点群における各点に関連付けられた任意のスカラまたはベクトル特性であり得る。さらに、属性は任意選択（例えば、ユーザ定義）であり、用途に基づいて変わり得る。しかしながら、用いられるとき、点群属性は、アトラス７３３、ジオメトリマップ７２３、および占有マップと同様の方式で、属性フレームに含まれてよい。
【0102】
それに応じて、エンコーダは点群フレームを、アトラス７３３のアトラスフレーム７３０、ジオメトリマップ７２３のジオメトリフレーム７２０、占有マップの占有フレーム７１０、および任意選択で属性の属性フレームに圧縮し得る。アトラスフレーム７３０、ジオメトリフレーム７２０、占有フレーム７１０、および／または属性フレームはさらに、デコーダへの伝送のために、例えば異なるエンコーダによって圧縮され得る。デコーダは、アトラスフレーム７３０、ジオメトリフレーム７２０、占有フレーム７１０、および／または属性フレームを解凍し得る。デコーダは次に、対応する瞬間の時間において再構成された点群を決定するために点群フレームを再構成するように、アトラスフレーム７３０、ジオメトリフレーム７２０、占有フレーム７１０、および／または属性フレームを利用する。再構成された点群フレームは次に、オリジナル点群シーケンスを再構成するように（例えば、表示のために、および／または、データ分析における使用のために）、シーケンスで含まれてよい。特定の例として、アトラスフレーム７３０および／またはアトラス７３３は、図１から図４に関して説明された技法を利用して、例えば、ＶＶＣ、ＨＥＶＣ、および／またはＡＶＣコーデックを利用して、符号化および復号され得る。
【0103】
図８は、例示的な適合性テスト機構８００の概略図である。適合性テスト機構８００は、ＰＣＣビットストリームが規格に適合すること、したがって、コーデックシステム２００および／またはデコーダ４００などのデコーダによって復号可能であることを検証するように、コーデックシステム２００および／またはエンコーダ３００などのエンコーダによって利用されてよい。例えば、適合性テスト機構８００は、方法１００を実行するとき正しく復号される方式で、点群媒体５００および／またはパッチ６０３が、占有フレーム７１０、ジオメトリフレーム７２０、アトラスフレーム７３０、および／または属性フレームに符号化されたかどうかをチェックするように利用されてよい。
【0104】
適合性テスト機構８００は、規格との適合性に関してＰＣＣビットストリームをテストし得る。規格に適合するＰＣＣビットストリームは、また規格に適合する任意のデコーダによって常に復号可能であるべきである。規格に適合しないＰＣＣビットストリームは、復号可能でなくてもよい。したがって、適合性テスト機構８００に失敗するＰＣＣビットストリームは、例えば異なる設定を使用して、再符号化されるべきである。適合性テスト機構８００は、タイプＩ適合性テスト８８１およびタイプＩＩ適合性テスト８８３を含み、それらはまた、それぞれ適合点ＡおよびＢと呼ばれ得る。タイプＩ適合性テスト８８１は、適合性に関して、ＰＣＣビットストリームの成分をチェックする。タイプＩＩ適合性テスト８８３は、適合性に関して、再構成された点群をチェックする。エンコーダは概して、タイプＩ適合性テスト８８１を実行するために必要であり、任意選択で、タイプＩＩ適合性テスト８８３を実行し得る。
【0105】
適合性テスト機構８００の実行の前に、エンコーダは、上記で説明されたように、圧縮されたＶ－ＰＣＣビットストリーム８０１を符号化する。エンコーダは次に、圧縮されたＶ－ＰＣＣビットストリーム８０１上で、適合性テスト機構８００を実行するようにＨＲＤを利用する。適合性テスト機構８００は、圧縮されたＶ－ＰＣＣビットストリーム８０１を成分に分離する。具体的には、圧縮されたＶ－ＰＣＣビットストリーム８０１は圧縮されたアトラスサブビットストリーム８３０、圧縮された占有マップサブビットストリーム８１０、圧縮されたジオメトリサブビットストリーム８２０、および任意選択で圧縮された属性サブビットストリーム８４０に分割され、それらは、符号化されたアトラスフレーム７３０、符号化されたジオメトリフレーム７２０、占有フレーム７１０、および任意選択で属性フレームのシーケンスをそれぞれ含む。
【0106】
ビデオ解凍８６０は、サブストリーム上で実行される。ビデオ解凍８６０は、構成要素特有の圧縮の逆の機構である。圧縮されたアトラスサブビットストリーム８３０、圧縮された占有マップサブビットストリーム８１０、圧縮されたジオメトリサブビットストリーム８２０、および圧縮された属性サブビットストリーム８４０は、１または複数のコーデックによって符号化され得、したがって、ビデオ解凍８６０は、対応するサブビットストリームを作成するように利用されるエンコーダに基づいて各サブビットストリームに仮想デコーダを適用することを含む。ビデオ解凍８６０は、解凍されたアトラスサブビットストリーム８３１、解凍された占有マップサブビットストリーム８１１、解凍されたジオメトリサブビットストリーム８２１、および解凍された属性サブビットストリーム８４１を、圧縮されたアトラスサブビットストリーム８３０、圧縮された占有マップサブビットストリーム８１０、圧縮されたジオメトリサブビットストリーム８２０、および圧縮された属性サブビットストリーム８４０から、それぞれ再構成する。解凍されたサブビットストリーム／構成要素は、復号処理の一部として、または、この場合、ＨＲＤ適合性テストの一部として、再構成され得るサブビットストリームからのデータである。
【0107】
タイプＩ適合性テスト８８１は、解凍されたアトラスサブビットストリーム８３１、解凍された占有マップサブビットストリーム８１１、解凍されたジオメトリサブビットストリーム８２１、および解凍された属性サブビットストリーム８４１に適用される。タイプＩ適合性テスト８８１は、対応する成分が、成分を符号化および復号するコーデックによって用いられる規格に適合することを確実にするように、各成分（解凍されたアトラスサブビットストリーム８３１、解凍された占有マップサブビットストリーム８１１、解凍されたジオメトリサブビットストリーム８２１、および解凍された属性サブビットストリーム８４１）をチェックする。例えば、タイプＩ適合性テスト８８１は、標準化された量のハードウェアリソースが、バッファオーバーランまたはアンダーランなしで、対応する成分を解凍できることを検証し得る。さらに、タイプＩ適合性テスト８８１は、ＨＲＤが対応する成分を正しく再構成することを阻止する符号化エラーに関して、成分をチェックし得る。さらに、タイプＩ適合性テスト８８１は、全ての基準要求が満たされて全ての基準禁止事項が省略されることを確実にするように、各対応する成分をチェックし得る。タイプＩ適合性テスト８８１は、全ての成分が対応するテストをパスしたときに満たされ、成分の任意の１つが対応するテストに失敗したときに満たされていない。タイプＩ適合性テスト８８１をパスする任意の成分は、対応する基準にまた適合する任意のデコーダにおいて復号可能であるべきである。したがって、タイプＩ適合性テスト８８１は、圧縮されたＶ－ＰＣＣビットストリーム８０１を符号化するときに利用されてよい。
【0108】
タイプＩ適合性テスト８８１は、成分が復号可能であることを確実にするが、タイプＩ適合性テスト８８１は、デコーダが対応する構成要素からオリジナル点群を再構成し得ることを保証しない。それに応じて、適合性テスト機構８００はまた、タイプＩＩ適合性テスト８８３を実行するように利用され得る。解凍された占有マップサブビットストリーム８１１、解凍されたジオメトリサブビットストリーム８２１、および解凍された属性サブビットストリーム８４１が、変換８６１のために転送される。具体的には、変換８６１は、解凍された占有マップサブビットストリーム８１１、解凍されたジオメトリサブビットストリーム８２１、および解凍された属性サブビットストリーム８４１の、彩度フォーマット、解像度、および／またはフレームレートを、解凍されたアトラスサブビットストリーム８３１の彩度フォーマット、解像度、および／またはフレームレートに適合する要望どおりに変換する。
【0109】
変換８６１の結果、ならびに解凍されたアトラスサブビットストリーム８３１は、ジオメトリ再構成８６２に転送される。ジオメトリ再構成８６２において、解凍された占有マップサブビットストリーム８１１の占有マップは、有効なアトラスデータの位置を決定するように利用される。ジオメトリ再構成８６２は次に、有効なアトラスデータを含む任意の位置からの解凍されたジオメトリサブビットストリーム８２１から、ジオメトリデータを取得し得る。ジオメトリデータは次に、点の粗い群を再構成するように利用され、それは重複点除去８６３に転送される。例えば、３Ｄクラウドから２Ｄパッチの生成の最中、いくつかのクラウド点は複数の方向から見られ得る。これが起こるとき、同じ点が、１つより多いパッチに、サンプルとして投影される。ジオメトリデータは次に、サンプルに基づいて生成され、したがって、そのような点に関する重複データを含む。ジオメトリデータが、複数の点が同一位置に位置することを示すとき、重複点除去８６３は、単一の点を作成するように、そのような重複データをマージする。結果は、オリジナルで符号化された点群のジオメトリをミラーリングする再構成されたジオメトリ８７１である。具体的には、再構成されたジオメトリ８７１は、符号化済み点群の各点の３Ｄ位置を含む。
【0110】
再構成されたジオメトリ８７１は、スムージング８６４のために転送される。具体的には、再構成されたジオメトリ８７１は、符号化処理の最中に作成されたノイズに起因して鋭く見える一定の特徴を含み得る。スムージング８６４は、オリジナルで符号化された点群の正確な表現であるスムージングされたジオメトリ８７３を作成べく、そのようなノイズを除去するように１つまたは複数のフィルタを利用する。スムージングされたジオメトリ８７３は次に、解凍されたアトラスサブビットストリーム８３１からのアトラスデータおよび変換８６１からの属性データと共に、属性再構成８６５に転送される。属性再構成８６５は、アトラス／パッチデータからの色によって、スムージングされたジオメトリ８７３に位置する点を色づける。属性再構成８６５はまた、点の任意の属性を適用する。これは、オリジナルで符号化された点群をミラーリングする再構成された群８７５をもたらす。再構成された群８７５は、符号化処理によって生じる色または他の属性ノイズを含み得る。それに応じて、再構成された群８７５はカラースムージング８６６に関して転送され、それは、そのようなノイズをスムージングするように、１つまたは複数のフィルタを、輝度、彩度、または他の属性値に適用する。カラースムージング８６６は次に、再構成された点群８７７を出力する。再構成された点群８７７は、ロスレス符号化が利用される場合、オリジナルで符号化された点群の正確な表現であるべきである。そうでない場合は、再構成された点群８７７は、予め定義された許容範囲を越えない相違で、オリジナルで符号化された点群に近く近似する。
【0111】
タイプＩＩ適合性テスト８８３が、再構成された点群８７７に適用される。タイプＩＩ適合性テスト８８３は、再構成された点群８７７がＶ－ＰＣＣ基準に適合し、したがって、Ｖ－ＰＣＣ基準に適合するデコーダによって復号され得ることを確実するように、再構成された点群８７７をチェックする。例えば、タイプＩＩ適合性テスト８８３は、標準化された量のハードウェアリソースが、バッファオーバーランまたはアンダーランなしで、再構成された点群８７７を再構成できることを検証し得る。さらに、タイプＩＩ適合性テスト８８３は、ＨＲＤが再構成された点群８７７を正しく再構成することを阻止する符号化エラーに関して、再構成された点群８７７をチェックし得る。さらに、タイプＩＩ適合性テスト８８３は、全ての基準要求が満たされて全ての基準禁止事項が省略されることを確実にするように、各解凍された成分および／または任意の中間データをチェックし得る。タイプＩＩ適合性テスト８８３は、再構成された点群８７７および任意の中間構成要素が対応するテストをパスしたときに満たされ、再構成された点群８７７および任意の中間構成要素が対応するテストに失敗したときに満たされていない。再構成された点群８７７がタイプＩＩ適合性テスト８８３をパスするとき、再構成された点群８７７は、またＶ－ＰＣＣ基準に適合する任意のデコーダで復号可能であるべきである。したがって、タイプＩＩ適合性テスト８８３は、圧縮されたＶ－ＰＣＣビットストリーム８０１の、タイプＩ適合性テスト８８１よりロバストな検証を提供し得る。
【0112】
図９は、例えばＰＣＣビットストリーム上で適合性テスト機構８００を利用することによって、適合性テストを実行するように構成される例示的なＨＲＤ９００の概略図であり、それは占有フレーム７１０、ジオメトリフレーム７２０、アトラスフレーム７３０、および／または属性フレームに符号化された点群媒体５００および／またはパッチ６０３を含み得る。したがって、ＨＲＤ９００は、コーデックシステム２００および／またはデコーダ４００による復号のために方法１００の一部としてビットストリームを符号化する、コーデックシステム２００および／またはエンコーダ３００によって利用されてよい。具体的には、ＨＲＤ９００は、ＰＣＣビットストリームがデコーダに転送される前に、ＰＣＣビットストリームおよび／またはその成分をチェックし得る。いくつかの例において、ＰＣＣビットストリームは、ＰＣＣビットストリームが符号化されるときにＨＲＤ９００を介して継続的に転送され得る。ＰＣＣビットストリームの部分が、関連付けられた制約に適合することに失敗した場合には、ＨＲＤ９００はエンコーダにそのような失敗を示し得、それは、エンコーダに、ビットストリームの対応するセクションを異なる機構で再符号化させ得る。いくつかの例においてＨＲＤ９００は、アトラスサブビットストリーム上、および／または再構成された点群上で、チェックを実行するように構成され得る。いくつかの例において、占有マップ成分、ジオメトリ成分、および属性成分が、他のコーデックによって符号化され得る。したがって、占有マップ成分、ジオメトリ成分、および属性成分を含むサブビットストリームは、他のＨＲＤによってチェックされ得る。したがって、ＨＲＤ９００を含む複数のＨＲＤが、いくつかの例における適合性に関して、ＰＣＣビットストリームを完全にチェックするように利用され得る。
【0113】
ＨＲＤ９００は、仮想ストリームスケジューラ（ＨＳＳ）９４１を含む。ＨＳＳ９４１は、仮想デリバリ機構を実行するように構成される構成要素である。仮想デリバリ機構は、ＨＲＤ９００に入力されるＰＣＣビットストリーム９５１のタイミングおよびデータフローに関して、ビットストリーム、サブビットストリーム、および／またはデコーダの適合性をチェックするように用いられる。例えば、ＨＳＳ９４１は、エンコーダから出力される、ＰＣＣビットストリーム９５１またはそのサブビットストリームを受信し得る。ＨＳＳ９４１は次に、例えば適合性テスト機構８００を利用することによって、ＰＣＣビットストリーム９５１上で適合性テスト処理を管理する。特定の例において、ＨＳＳ９４１は、符号化されたアトラスデータがＨＲＤ９００を通って移動する速さを制御し、ＰＣＣビットストリーム９５１が不適合データを含まないことを検証する。ＨＳＳ９４１は、予め定められた速さでＰＣＣビットストリーム９５１をＣＡＢ９４３に転送し得る。ＨＲＤ９００の目的に関して、ＡＵおよび／またはＮＡＬユニットなどの、ビットストリーム９５１における符号化されたビデオを含む任意のユニットが、復号中のアトラスユニット９５３と呼ばれ得る。復号中のアトラスユニット９５３は、いくつかの例において、アトラスデータのみを含み得る。他の実施例において、復号中のアトラスユニット９５３は、他のＰＣＣ構成要素および／または点群を再構成するデータのセットを含み得る。それに応じて、復号中のアトラスユニット９５３は、概して、同じ例において復号ユニットと呼ばれ得る。ＣＡＢ９４３は、ＨＲＤ９００における先入れ先出しバッファである。ＣＡＢ９４３は、復号順に、アトラスデータ、ジオメトリデータ、占有データ、および／または属性データを含む復号中のアトラスユニット９５３を含む。ＣＡＢ９４３は、ＰＣＣビットストリーム適合性テスト／チェックの最中の使用のために、そのようなデータを格納する。
【0114】
ＣＡＢ９４３は、復号中のアトラスユニット９５３を復号処理コンポーネント９４５に転送する。復号処理コンポーネント９４５は、ＰＣＣビットストリームおよび／またはそのサブビットストリームを符号化するように利用されるＰＣＣ基準または他の基準に適合する構成要素である。例えば、復号処理コンポーネント９４５は、エンドユーザによって利用されるデコーダをエミュレートし得る。例えば、復号処理コンポーネント９４５は、アトラス成分を復号することによってタイプＩ適合性テストを、および／または、点群データを再構成することによってタイプＩＩ適合性テストを、実行し得る。復号処理コンポーネント９４５は、例示的な標準化されたデコーダによって実現され得る速さで、復号中のアトラスユニット９５３を復号する。復号処理コンポーネント９４５が、復号中のアトラスユニット９５３を、ＣＡＢ９４３のオーバフローを防止するのに十分迅速に復号しない場合、次に、ＰＣＣビットストリーム９５１はその規格に適合せず、再符号化されるべきである。同様に、復号処理コンポーネント９４５が復号中のアトラスユニット９５３をあまりに素早く復号する場合、ＣＡＢ９４３はアウトオブデータ（例えば、バッファアンダーラン）となり、次に、ＰＣＣビットストリーム９５１はその規格に適合せず、再符号化されるべきである。
【0115】
復号処理コンポーネント９４５は、復号中のアトラスユニット９５３を復号し、それは、復号されたアトラスフレーム９５５を作成する。復号されたアトラスフレーム９５５は、タイプＩ適合性テストの場合にはＰＣＣフレームに関するアトラスデータの完全なセットを含み得、タイプＩＩ適合性テスト文脈においては再構成された点群のフレームを含み得る。復号されたアトラスフレーム９５５は、ＤＡＢ９４７に転送される。ＤＡＢ９４７は、ＰＣＣビットストリーム適合性テストの最中に用いるように復号順に、復号された／解凍されたアトラスフレームおよび／または再構成された点群フレーム（コンテキストに依存して）を含む、ＨＲＤ９００における先入れ先出しバッファである。ＤＡＢ９４７は、復号されたピクチャバッファ構成要素２２３、３２３および／または４２３と実質的に同様であってよい。インター予測をサポートするように、復号されたアトラスフレーム９５５から取得された参照アトラスフレーム９５６として用いるように示されたフレームが、さらなる復号をサポートするように復号処理コンポーネント９４５に返される。ＤＡＢ９４７は、フレームごとに、アトラスデータ９５７（または、コンテキストに依存して、再構成された点群）を出力する。したがって、ＨＲＤ９００は、符号化が満足されるかどうかを決定し得、制約が、ＰＣＣビットストリーム９５１および／またはその成分によって満たされるかどうかを決定し得る。
【0116】
図１０は、適合性テスト機構８００などのＨＲＤ適合性テストをサポートするように、ＨＲＤ９００などのＨＲＤを初期化する使用のための、例示的ＰＣＣビットストリーム１０００を示す概略図である。例えば、ビットストリーム１０００は、方法１００に従ってコーデックシステム２００および／またはデコーダ４００によって復号するように、コーデックシステム２００および／またはエンコーダ３００によって生成され得る。さらに、ビットストリーム１０００は、占有フレーム７１０、ジオメトリフレーム７２０、アトラスフレーム７３０、および／または属性フレームに符号化される、点群媒体５００および／またはパッチ６０３を含み得る。
【0117】
ＰＣＣビットストリーム１０００は、ＰＣＣ ＡＵ１０１０のシーケンスを含む。ＰＣＣ ＡＵ１０１０は、特定の時間の瞬間においてキャプチャされる単一のＰＣＣフレームを再構成するのに十分な構成要素を含む。例えば、ＰＣＣ ＡＵ１０１０は、アトラスフレーム１０１１、占有マップフレーム１０１３、およびジオメトリマップフレーム１０１５を含み得、それらは実質的に、アトラスフレーム７３０、占有フレーム７１０、およびジオメトリフレーム７２０とそれぞれ同様である。ＰＣＣ ＡＵ１０１０はまた属性フレーム１０１７を含み、それはＰＣＣ ＡＵ１０１０において符号化されたときの時間の瞬間における点群に関する全ての属性を含む。そのような属性は、色、反射率、表面法線、タイムスタンプ、素材ＩＤなどの、点群における各点に任意選択で関連付けられたスカラまたはベクトル特性を含み得る。ＰＣＣ ＡＵ１０１０は、特定の分類規則に従って互いに関連付けられたＮＡＬユニットのセットを定め、ある特定の出力時間に関連する。したがって、データはＮＡＬユニットにおいてＰＣＣ ＡＵ１０１０にポジション決めされる。ＮＡＬユニットは、パケットサイズのデータコンテナである。例えば、単一のＮＡＬユニットは、概して、ネットワーク伝送が可能なサイズとされる。ＮＡＬユニットは、ＮＡＬユニットタイプを示すヘッダと、関連データを含むペイロードとを含む。
【0118】
ＰＣＣビットストリーム１０００はまた、例えば復号処理の一部および／またはＨＲＤ処理の一部として、ＰＣＣ ＡＵ１０１０の復号をサポートする様々なデータ構造を含む。例えば、ＰＣＣビットストリーム１０００は、１または複数のＰＣＣ ＡＵ１０１０を符号化するように用いられるパラメータを含む様々なパラメータセットを含んでよい。具体例として、ＰＣＣビットストリーム１０００は、アトラスシーケンスパラメータセット（ＳＰＳ）１０２０を含んでよい。アトラスＳＰＳ１０２０は、各タイルグループヘッダにおいて発見されるシンタックス要素と呼ばれるアトラスＳＰＳ１０２０において発見されるシンタックス要素のコンテンツによって決定されるように、０またはより多くの完全に符号化されたアトラスシーケンスに適用するシンタックス要素を含むシンタックス構造である。例えば、アトラスＳＰＳ１０２０は、アトラスフレーム１０１１の全配列に関するパラメータを含み得る。
【0119】
ＰＣＣビットストリーム１０００はまた、様々なＳＥＩメッセージを含む。ＳＥＩメッセージは、復号されたピクチャにおいてサンプルの値を決定すべく復号処理によって不要である情報を伝える特定の意味論を有する、シンタックス構造である。それに応じて、ＳＥＩメッセージは、ＰＣＣ ＡＵ１０１０の復号に直接関しないデータを伝えるように利用され得る。示された例において、ＰＣＣビットストリーム１０００は、バッファリング期間ＳＥＩメッセージ１０３０およびアトラスフレームタイミングＳＥＩメッセージ１０４０を含む。
【0120】
上記に留意されるように、いくつかのＰＣＣ関連するビデオ符号化システムは、ＨＲＤ９００および／または適合性テスト機構８００を利用するように構成されなくともよい。示される例において、アトラスＳＰＳ１０２０、バッファリング期間ＳＥＩメッセージ１０３０、およびアトラスフレームタイミングＳＥＩメッセージ１０４０は、ＰＣＣビットストリーム１０００上で適合性テストを実行するときにＨＲＤの機能を初期化および管理するように利用される。例えば、ＨＲＤパラメータ１０２１は、アトラスＳＰＳ１０２０に含まれ得る。ＨＲＤパラメータ１０２１は、ＨＲＤの作動条件を初期化する、および／または定める、シンタックス要素である。例えば、ＨＲＤパラメータ１０２１は、ＨＲＤにおけるＨＲＤ適合性チェックのために、タイプＩ適合性テスト８８１またはタイプＩＩ適合性テスト８８３などの適合点を指定するように利用され得る。したがって、ＨＲＤパラメータ１０２１は、ＨＲＤ適合性チェックが解凍されたＰＣＣ成分または再構成された点群上で実行されるべきかどうかを示すように利用され得る。例えば、ＨＲＤパラメータ１０２１は、ＨＲＤ適合性チェックが、解凍された属性成分、解凍されたアトラス成分、解凍された占有マップ成分、および解凍されたジオメトリ成分（例えば、それぞれ属性フレーム１０１７、アトラスフレーム１０１１、占有マップフレーム１０１３、およびジオメトリマップフレーム１０１５）上で実行されるべきであることを示すように、第１の値に設定され得る。さらに、ＨＲＤパラメータ１０２１は、ＨＲＤ適合性チェックが、ＰＣＣ成分から再構成された点群（例えば、ＰＣＣ ＡＵ１０１０全体から再構成された）上で実行されるべきであることを示すように、第１の値に設定され得る。
【0121】
バッファリング期間ＳＥＩメッセージ１０３０は、ＨＲＤにおけるＣＡＢ（例えば、ＣＡＢ９４３）に関する初期除去遅延を示すデータを含むＳＥＩメッセージである。初期ＣＡＢ除去遅延は、ビットストリームにおけるＰＣＣ ＡＵ１０１０などの第１ＡＵにおける時間量成分であり、または、アトラスフレーム１０１１などのサブビットストリームにおける第１ＡＵは、除去の前にＣＡＢに残り得る。例えば、ＨＲＤは、バッファリング期間ＳＥＩメッセージ１０３０によって指定された初期遅延に基づいて、ＨＲＤ適合性チェックの最中にＨＲＤにおけるＣＡＢから第１のＰＣＣ ＡＵ１０１０に関する任意の復号ユニットの除去を始めることができる。したがって、バッファリング期間ＳＥＩメッセージ１０３０は、バッファリング期間ＳＥＩメッセージ１０３０に関連付けられた符号化されたＰＣＣ ＡＵ１０１０で始まるようにＨＲＤ適合性テスト処理を初期化するために十分なデータを含む。具体的には、バッファリング期間ＳＥＩメッセージ１０３０は、適合性テストがＰＣＣビットストリーム１０００における第１のＰＣＣ ＡＵ１０１０で始まるべきであることを、ＨＲＤに示し得る。
【0122】
アトラスフレームタイミングＳＥＩメッセージ１０４０は、ＣＡＢ（例えば、ＣＡＢ９４３）に関する除去遅延と、ＨＲＤにおけるＤＡＢ（例えば、ＤＡＢ９４７）に関する出力遅延とを示すデータを含むＳＥＩメッセージである。ＣＡＢ除去遅延は、除去の前に成分（例えば、対応する成分）がＣＡＢに残り得る、時間の量である。ＣＡＢ除去遅延は、バッファリング期間ＳＥＩメッセージ１０３０によって示される初期ＣＡＢ除去遅延を参照して符号化され得る。ＤＡＢ出力遅延は、（例えば、再構成された点群の一部として）出力となる前に解凍された／復号された成分がＤＡＢに残り得る（例えば、任意の対応する成分）、時間の量であり得る。したがって、ＨＲＤは、アトラスフレームタイミングＳＥＩメッセージ１０４０によって指定された適合性チェックの最中に、ＨＲＤにおけるＣＡＢから復号ユニットを除去し得る。さらに、ＨＲＤは、アトラスフレームタイミングＳＥＩメッセージ１０４０によって指定されるようにＨＲＤにおけるＤＡＢの出力遅延を設定し得る。
【0123】
それに応じて、エンコーダは、符号化処理の最中に、ＨＲＤパラメータ１０２１、バッファリング期間ＳＥＩメッセージ１０３０、およびアトラスフレームタイミングＳＥＩメッセージ１０４０をＰＣＣビットストリーム１０００に符号化し得る。ＨＲＤは次に、ＰＣＣビットストリーム１０００上で、適合性テスト機構８００などの適合性チェックを実行するのに十分な情報を取得するように、ＨＲＤパラメータ１０２１、バッファリング期間ＳＥＩメッセージ１０３０、およびアトラスフレームタイミングＳＥＩメッセージ１０４０を読み出し得る。さらに、デコーダはＨＲＤパラメータ１０２１、バッファリング期間ＳＥＩメッセージ１０３０、および／またはアトラスフレームタイミングＳＥＩメッセージ１０４０をＰＣＣビットストリーム１０００から取得し、そのようなデータの存在によって、ＨＲＤチェックがＰＣＣビットストリーム１０００上で実行されたことを推測する。したがって、デコーダは、ＰＣＣビットストリーム１０００が復号可能であることを推測し、したがって、ＨＲＤパラメータ１０２１、バッファリング期間ＳＥＩメッセージ１０３０、および／またはアトラスフレームタイミングＳＥＩメッセージ１０４０に基づいて、ＰＣＣビットストリーム１０００を復号し得る。
【0124】
ＰＣＣビットストリーム１０００は、様々なサイズであり得、様々なレートで伝送ネットワークを介してエンコーダからデコーダへ伝送され得る。例えば、ＨＥＶＣベースのエンコーダが利用されるとき、おおよそ１時間の長さである容量シーケンスは、１５～７０ギガバイトのファイルの大きさのＰＣＣビットストリーム１０００に符号化され得る。ＶＶＣベースのエンコーダは、ＨＥＶＣエンコーダに対して、さらにファイルの大きさを約３０～３５パーセント低減し得る。それに応じて、ＶＶＣエンコーダで符号化される１時間の長さの容量シーケンスは、約１０～４９ギガバイトのサイズのファイルをもたらし得る。ＰＣＣビットストリーム８００は、伝送ネットワークのステータスに依存して、異なる複数のレートで伝送され得る。例えば、ＰＣＣビットストリーム１０００は、毎秒５～２０メガバイトのビットレートでネットワークを伝送され得る。同様に、本明細書で説明される符号化および復号処理は、例えば、毎秒１メガバイトより高速のレートで実行され得る。
【0125】
ここで、前述の情報は、以下の本明細書において、より詳細に説明される。点群とは、３次元（３Ｄ）空間におけるデータ点のセットである。各データ点は、ポジション、色（Ｒ、Ｇ、Ｂ）、または（Ｙ、Ｕ、Ｖ）、および任意選択で透過率、反射率、取得時間などのような他の特性を決定するパラメータを含む。ポジションは、Ｘ軸、Ｙ軸およびＺ軸に対する点として説明されてよい。群における各点は、同じ番号の属性によって説明されてよい。点群は、リアルタイムの３Ｄ没入型テレプレゼンス、インタラクティブな視差を用いて見るコンテンツ仮想現実（ＶＲ）、３Ｄの自由視点スポーツ再生放送、地理情報システム、文化遺産、大規模な３Ｄの動的マップに基づく自律走行、および自動車用途などの様々な用途に用いられてよい。ＩＳＯ／ＩＥＣ Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ（ＭＰＥＧ）は、可逆圧縮および不可逆圧縮をされた点群データに関する、かなり高い符号化効率とネットワーク環境へのロバスト性とを有する点群符号化に関する新たなコーデック規格の開発を管理する。このコーデック規格を用いると、点群は、コンピュータデータの形態として操作され、様々な記憶媒体に格納され、ネットワークを介して送受信され、放送チャネルで配信されることが可能になる。ＰＣＣ動作は、ＰＣＣカテゴリ１、ＰＣＣカテゴリ２、およびＰＣＣカテゴリ３に分類されてよい。ＰＣＣカテゴリ２のバージョンはまた、Ｖ－ＰＣＣと呼ばれるが、ＭＰＥＧ出力文書Ｎ１８４７９に含まれる。Ｖ－ＰＣＣは、動的な点群の占有情報、ジオメトリ情報、およびテクスチャ情報（ならびに他のタイプの属性）を圧縮するように、ＡＶＣ、ＨＥＶＣ、ＶＶＣなどの、他のビデオコーデックを活用して設計される。これは、異なるビデオシーケンスのセットとして点群データを圧縮することをもたらす。アトラス／パッチ情報などの、ビデオサブストリームを解釈するための追加のメタデータもまた、別々に生成され、圧縮され得る。
【0126】
いくつかのＶ－ＰＣＣ設計はある問題を有し得る。第１の例の問題は、例示的なＶ－ＰＣＣシステムは、符号化されたＶ－ＰＣＣフレームがＩＲＡＰフレームか否かを示すシグナリングを採用しないことがあることである。例えば、Ｖ－ＰＣＣシステムは、各参照パッチフレームリストにおけるアクティブエントリの数をチェックすることによって、パッチ／アトラスフレームがＩＲＡＰフレームであるかどうかを決定し得る。参照パッチフレームリストがＶ－ＰＣＣフレームに関して０のアクティブエントリを含む場合、次に、フレームはＩＲＡＰフレームである。この決定は、パッチフレームオーダーカウント（ＰＦＯＣ）導出処理の一部として行われ得る。そのような処理は、Ｖ－ＰＣＣフレームがＩＲＡＰフレームであるかどうかの直接的なインジケーションが不足する。ＩＲＡＰインジケーションの不足は、システム動作に関する困難を生成する。さらに、ＩＲＡＰインジケーションの不足はまた、復号処理に関する問題を生成する。例示的な実装において、ＰＦＯＣ導出処理がまず呼び出され得る。次に、参照パッチフレームリスト（ＲＰＦＬ）構成処理が実行され、参照パッチフレームマーキング処理が続く。しかしながら、第１パッチフレームの後の任意のパッチフレームは、復号順に、より前にあるパッチフレームの後に復号される。それに応じて、第１パッチフレームの後の任意のパッチフレームは、少なくとも１つの復号されたパッチフレームを含む復号されたピクチャフレームバッファ（ＤＰＦＢ）に関連付けられてよい。参照パッチフレームバッファに利用可能な参照パッチフレームがないとき、ＰＦＯＣ導出処理は、ＰＦＯＣ最上位ビット（ＭＳＢ）リセットをトリガする。そのような場合には、ＰＦＯＣ ＭＳＢリセットをトリガするためのＰＦＯＣ導出処理は、まさに最初のパッチフレーム以外を決して満たさない。したがって、まさに最初のパッチフレームの後の全てのパッチフレームに関して、ＰＦＯＣ最上位ビット（ＭＳＢ）は適宜リセットされなくてもよく、正しいＩＲＡＰ決定を阻止することがある。したがって、まさに最初のパッチフレーム以外の任意のポジションからのランダムアクセス可能性は、いくつかのＶ－ＰＣＣシステムにおいて正しく動作しないことがある。
【0127】
第２の例の問題は、いくつかのＶ－ＰＣＣシステムは、ＨＲＤなどのバッファリングモデルを含み得ることである。このようなシステムは、Ｖ－ＰＣＣビットストリームおよびＶ－ＰＣＣデコーダ適合性をチェックすることができない。適合性チェックの不足は、Ｖ－ＰＣＣシステムが、異なるエンティティによって製造されたアプリケーション、コンテンツおよびデバイスと正しく連動して動作することを阻止することがある。
【0128】
第３の例の問題は、いくつかのＶ－ＰＣＣシステムが、Ｖ－ＰＣＣ ＡＵ内の符号化されたフレーム上での復号順序の制約を適用しないことがあることである。さらに、そのようなＶ－ＰＣＣシステムは、ＡＵの開始の明示的なシグナリング機構を採用しないことがある。したがって、Ｖ－ＰＣＣ ＡＵ境界検出は、いくつかのＶ－ＰＣＣシステムにおいて難しいことがある。
【0129】
一般的に、本開示は、Ｖ－ＰＣＣに関する技法を説明する。より具体的には、本開示は、Ｖ－ＰＣＣに関する高レベルなシンタックスの改善された設計のための技法を説明する。具体的には、本開示は、前述の問題の１または複数の解決法を提供する。
【0130】
第１の問題を解決すべく、符号化されたＶ－ＰＣＣフレームがＩＲＡＰフレームであるかどうかを示すインジケーションが、明示的にシグナリングされてよい。例えば、Ｖ－ＰＣＣユニットヘッダにおけるビットが、そのようなインジケーションのために用いられてよい。一例において、そのようなインジケーションは、ｖｐｃｃ＿ｉｒａｐ＿ｆｌａｇと呼ばれ得る。以下の変更は、そのような更新をサポートするように行われてよい。符号化された点群シーケンス（ＣＰＣ）の定義は、以下で説明されるように変更されてよい。さらに、ＩＲＡＰ Ｖ－ＰＣＣ ＡＵの定義が追加されてよい。また、ｐｔｇｈ＿ｔｙｐｅがＩＲＡＰパッチフレームに関して１に等しく設定されるように、制約が追加されてよい。ＰＦＯＣ導出処理は、参照パッチフレームバッファに利用可能な参照パッチフレームがあるかどうかをチェックする代わりに、現在のパッチフレームがＩＲＡＰフレームであるかどうかをチェックするように変更され得る。さらに、参照パッチフレームマーキング処理は、現在のパッチフレームがＩＲＡＰフレームであるときに、ＤＰＦＢにおける現時点の全ての／任意の参照パッチフレームを、参照のために未使用であるとマークするように変更されてよい。例示的な実装において、Ｖ－ＰＣＣユニットヘッダにおける３ビットが（例えば、フラグの代わりに）、フレームがＩＲＡＰフレームであることを示すように用いられ得る。この手法は、６つのＶ－ＰＣＣ ＩＲＡＰタイプの明らかな仕様を可能にするかもしれず、それらは、ＨＥＶＣの６つの異なるタイプのＩＲＡＰピクチャにマップされてよい。さらに、パッチタイルグループヘッダシンタックスは、ｖｐｃｃ＿ｉｒａｐ＿ｆｌａｇが１に等しいときにＲＰＦＬシンタックス要素が存在しないように、変更されてよい。
【0131】
別の実装形態において、ＲＰＦＬシンタックス要素は、ＩＲＡＰフレームに関連付けられた各ＲＰＦＬに関して、０のアクティブエントリを含むように要求されることがある。さらに、リスト構成処理およびマーキング処理が、ＰＦＯＣ導出処理の呼び出しの前に呼び出されてよい。そのような場合、参照パッチフレームバッファにおける利用可能な参照パッチフレームがないという条件がＰＦＯＣ導出処理において真であるとき、ＰＦＯＣはＩＲＡＰフレームのみに関して導出される。現在のフレームのＰＦＯＣ値が空でない参照パッチフレームリストを導出するように利用されるので、非ＩＲＡＰフレームに関して、ＰＦＯＣ導出処理、リスト構成処理、およびマーキング処理は、その順序で実行されてよい。
【0132】
第２の課題を解決すべく、ＨＲＤには、適合点Ａおよび適合点Ｂ（タイプＩ適合性およびタイプＩＩ適合性としてもまた知られる）として示される２つの適合点をチェックすることが含まれる。適合点Ａに関して、ＨＲＤは各サブビットストリームデコーダの出力をチェックする。Ｖ－ＰＣＣは、ビデオサブビットストリームの各々に関して、インジケートされたビデオコーデックに対応するＨＲＤを利用し得る。Ｖ－ＰＣＣはまた、パッチ／アトラスサブビットストリームに関してＶ－ＰＣＣ固有のＨＲＤを利用し得る。そのような場合、エンコーダは、ビットストリーム／サブビットストリームにおけるシーケンスレベルＨＲＤパラメータのセットをシグナリングし得る。さらに、エンコーダは、ＳＥＩメッセージを使用して、バッファリング期間パラメータおよびフレームタイミングパラメータをシグナリングし得る。ＨＲＤは次に、シグナリングされたパラメータに基づいてサブビットストリーム上でＨＲＤ動作を実行し得る。適合点Ｂに関して、ＨＲＤは再構成された点群フレームの出力をチェックし得る。そのような場合、エンコーダは、ビットストリーム／サブビットストリームにおけるシーケンスレベルＨＲＤパラメータのセットをシグナリングし得る。さらに、エンコーダは、ＳＥＩメッセージを使用して、バッファリング期間パラメータおよびＡＵタイミングパラメータをシグナリングし得る。ＨＲＤは次に、シグナリングされたパラメータに基づいてＶ－ＰＣＣビットストリーム全体上でＨＲＤ動作を実行し得る。そのようなチェックは、出力が再構成された点群フレームのリストである、ＡＵごとに実行されてよい。
【0133】
第３の問題を解決すべく、最小復号順序制約がいくつかの例示的な実装において利用されてよい。そのような制限は、ＡＵ検出を可能にすべく、パッチ／アトラスフレームが、各ＡＵ内で第１フレームとして符号化されることを要求することがある。別の例示的な実装において、ＡＵ検出を可能にすべく、占有フレームまたはジオメトリフレームが、各ＡＵ内で第１フレームとして常に符号化され得る。別の例示的な実装において、ＡＵの開始は、Ｖ－ＰＣＣユニットヘッダにおけるフラグを使用して、または、Ｖ－ＰＣＣユニットに関するＶ－ＰＣＣ ＡＵデリミタを利用することによって、決定され得る。
【0134】
以下は、本明細書に説明される態様の１または複数の例示的な実装である。以下は例示的な定義である。符号化されたフレームは、パッチ、占有、ジオメトリ、または特定のタイプの属性のＶ－ＰＣＣフレームの符号化された表現である。符号化された点群シーケンス（ＣＰＣ）は、復号順に、後にＩＲＡＰ Ｖ－ＰＣＣ ＡＵではない０またはより多くのＶ－ＰＣＣ ＡＵが続くＩＲＡＰ Ｖ－ＰＣＣ ＡＵを含む、Ｖ－ＰＣＣ ＡＵのシーケンスである。ＣＰＣＳは、全ての後続のＶ－ＰＣＣ ＡＵまでを含むが、任意の後続のＩＲＡＰ Ｖ－ＰＣＣ ＡＵを含まない。ＩＲＡＰ Ｖ－ＰＣＣ ＡＵは、Ｖ－ＰＣＣユニットを含むＶ－ＰＣＣ ＡＵであり、ｖｐｃｃ＿ｉｒａｐ＿ｆｌａｇセットは１に等しい。Ｖ－ＰＣＣアクセスユニットは、特定の分類規則に従って互いに関連付けられ、復号順に連続しており、ある特定の出力時間に関連する全てのＶ－ＰＣＣユニットを含む、Ｖ－ＰＣＣユニットのセットである。Ｖ－ＰＣＣビットストリームは、１または複数のＣＰＣＳを形成する符号化された点群フレームおよび関連データの表現を形成するビットのシーケンスである。Ｖ－ＰＣＣユニットは、後に続くデータのタイプおよびそのデータを含むバイトのインジケーションを含むシンタックス構造である。
【0135】
例示的なＶ－ＰＣＣユニットヘッダシンタックスは以下のようなものである。
【表1】
【0136】
例示的なＶ－ＰＣＣユニットヘッダ意味論は以下のようなものである。ｖｐｃｃ＿ｕｎｉｔ＿ｔｙｐｅはＶ－ＰＣＣユニットタイプを示す。ｖｐｃｃ＿ｉｒａｐ＿ｆｌａｇは、Ｖ－ＰＣＣユニットを含む符号化されたフレームがＩＲＡＰフレームでないことを指定するように、０に等しく設定されてよい。ｖｐｃｃ＿ｉｒａｐ＿ｆｌａｇは、Ｖ－ＰＣＣユニットを含む符号化されたフレームがＩＲＡＰフレームであることを指定するように、１に等しく設定されてよい。ｖｐｃｃ＿ｕｎｉｔ＿ｔｙｐｅが、Ｖ－ＰＣＣ Ｏｃｃｕｐａｎｃｙ Ｖｉｄｅｏ Ｄａｔａ（ＶＰＣＣ＿ＯＶＤ）、Ｖ－ＰＣＣ Ｇｅｏｍｅｔｒｙ Ｖｉｄｅｏ Ｄａｔａ（ＶＰＣＣ＿ＧＶＤ）、またはＶ－ＰＣＣ Ａｔｔｒｉｂｕｔｅ Ｖｉｄｅｏ Ｄａｔａ（ＶＰＣＣ＿ＡＶＤ）に等しいとき、以下があてはまる。識別されたビデオコーデックがＡＶＣであるとき、ａｖｃＶｃｌＮａｌＵｎｉｔＴｙｐｅを、Ｖ－ＰＣＣユニットペイロードを含むＡＶＣアクセスユニットにおけるＶＣＬ ＮＡＬユニットのＡＶＣネットワーク抽象化層（ＮＡＬ）ユニットタイプとし、その場合には以下があてはまる。ａｖｃＶｃｌＮａｌＵｎｉｔＴｙｐｅが５に等しい場合、ｖｐｃｃ＿ｉｒａｐ＿ｆｌａｇは１に等しいものとする。そうでない場合は、ｖｐｃｃ＿ｉｒａｐ＿ｆｌａｇは０に等しいものとする。
【0137】
識別されたビデオコーデックがＨＥＶＣであるとき、ｈａｖｃＶｃｌＮａｌＵｎｉｔＴｙｐｅを、Ｖ－ＰＣＣユニットペイロードを含むＨＥＶＣアクセスユニットにおけるＶＣＬ ＮＡＬユニットのＨＥＶＣ ＮＡＬユニットタイプとし、その場合には以下があてはまる。ｈａｖｃＶｃｌＮａｌＵｎｉｔＴｙｐｅの値は、Ｃｌｅａｎ Ｒａｎｄｏｍ Ａｃｃｅｓｓ（ＣＲＡ） ＮＡＬユニットタイプ（ＣＲＡ＿ＮＵＴ）、リーディングピクチャを有するＢｒｏｋｅｎ Ｌｉｎｋ Ａｃｃｅｓｓ（ＢＬＡ）（ＢＬＡ＿Ｗ＿ＬＰ）、ランダムアクセス復号可能リーディング（ＲＡＤＬ）ピクチャを有するＢＬＡ（ＢＬＡ＿Ｗ＿ＲＡＤＬ）、またはリーディングピクチャを有さないＢＬＡ（ＢＬＡ＿Ｎ＿ＬＰ）に等しくないものとする。ＨＥＶＣ ＣＲＡピクチャを用いることが許可されなされないときでさえ、ピクチャのオープングループ（ＧＯＰ）ランダムアクセスポイントは依然として、ＨＥＶＣリカバリポイントＳＥＩメッセージを使用して、符号化およびシグナリングされるであろう。ｈａｖｃＶｃｌＮａｌＵｎｉｔＴｙｐｅがＲＡＤＬピクチャを有するＩｎｓｔａｎｔａｎｅｏｕｓ Ｄｅｃｏｄｉｎｇ Ｒｅｆｒｅｓｈ（ＩＤＲ）（ＩＤＲ＿Ｗ＿ＲＡＤＬ）、またはリーディングピクチャを有さないＩＤＲ（ＩＤＲ＿Ｎ＿ＬＰ）に等しい場合、ｖｐｃｃ＿ｉｒａｐ＿ｆｌａｇは１に等しいものとする。そうでない場合は、ｖｐｃｃ＿ｉｒａｐ＿ｆｌａｇは０に等しいものとする。
【0138】
識別されたビデオコーデックがＶＶＣである場合、ｖｖｃＶｃｌＮａｌＵｎｉｔＴｙｐｅを、Ｖ－ＰＣＣユニットペイロードを含むＶＶＣアクセスユニットにおけるＶＣＬ ＮＡＬユニットのＶＶＣ ＮＡＬユニットタイプとし、その場合には以下があてはまる。ｖｖｃＶｃｌＮａｌＵｎｉｔＴｙｐｅの値はＣＲＡ＿ＮＵＴに等しくないものとする。ＶＶＣ ＣＲＡピクチャが用いられることを許可されないときでさえも、ｏｐｅｎ－ＧＯＰランダムアクセスポイントは依然として、ＶＶＣリカバリポイントＳＥＩメッセージを使用して符号化およびシグナリングされ得る。ｖｖｃＶｃｌＮａｌＵｎｉｔＴｙｐｅがＩＤＲ＿Ｗ＿ＲＡＤＬまたはＩＤＲ＿Ｎ＿ＬＰに等しい場合、ｖｐｃｃ＿ｉｒａｐ＿ｆｌａｇは１に等しいものとする。そうでない場合は、ｖｐｃｃ＿ｉｒａｐ＿ｆｌａｇは０に等しいものとする。同様の制約が、Ｖ－ＰＣＣ属性サブストリームの符号化のために用いられてよい他のビデオコーデックに関して指定され得る。
【0139】
ｖｐｃｃ＿ｓｅｑｕｅｎｃｅ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄは、アクティブなＶ－ＰＣＣ ＳＰＳに関してｓｐｓ＿ｓｅｑｕｅｎｃｅ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄの値を指定し得る。ｖｐｃｃ＿ｓｅｑｕｅｎｃｅ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄの値は、０から１５（両端を含む）の範囲に及ぶかもしれない。
【0140】
例示的なパッチタイルグループヘッダ意味論は以下のようなものである。ｐｔｇｈ＿ｔｙｐｅは、以下のように、現在のパッチタイルグループの符号化タイプを指定する。
ｐｔｇｈ＿ｔｙｐｅへの名前結合
【表2】
【0141】
ｖｐｃｃ＿ｉｒａｐ＿ｆｌａｇが１に等しいとき、ｐｔｇｈ＿ｔｙｐｅの値は１に等しいものとする。
【0142】
例示的なパッチフレーム順序カウント導出処理は、以下のようなものである。現在のパッチフレームがＩＲＡＰフレームであるとき、変数ｐｒｅｖＰａｔｃｈＦｒｍＯｒｄｅｒＣｎｔＬｓｂおよびｐｒｅｖＰａｔｃｈＦｒｍＯｒｄｅｒＣｎｔＭｓｂが以下のように導出される。ｐｒｅｖＰａｔｃｈＦｒｍは、復号順に、より前にあるパッチフレームとする。変数ｐｒｅｖＰａｔｃｈＦｒｍＯｒｄｅｒＣｎｔＬｓｂは、ｐｒｅｖＰａｔｃｈＦｒｍのパッチフレーム順序カウント最下位ビット（ＬＳＢ）値に等しく設定される。変数ｐｒｅｖＰａｔｃｈＦｒｍＯｒｄｅｒＣｎｔＭｓｂは、ｐｒｅｖＰａｔｃｈＦｒｍのＰａｔｃｈＦｒｍＯｒｄｅｒＣｎｔＭｓｂに等しく設定される。現在のパッチタイルグループの変数ＰａｔｃｈＦｒｍＯｒｄｅｒＣｎｔＭｓｂは、以下のように導出される。現在のパッチフレームがＩＲＡＰフレームである場合、ＰａｔｃｈＦｒｍＯｒｄｅｒＣｎｔＭｓｂは０に等しく設定される。
【0143】
例示的な参照パッチフレームリスト構成処理は、各非ＩＲＡＰパッチフレームに関する復号処理の始まりにおいて呼び出される。例示的な参照パッチフレームマーキング処理は、各非ＩＲＡＰパッチフレームに関する復号処理の始まりにおいて呼び出される。短期間参照パッチフレームは、それらのＰａｔｃｈＦｒｍＯｒｄｅｒＣｎｔＶａｌ値によって識別される。長期間参照パッチフレームは、それらのＰａｔｃｈＦｒｍＯｒｄｅｒＣｎｔＶａｌ値のＬｏｇ２（ＭａｘＬｔＰａｔｃｈＦｒｍＯｒｄｅｒＣｎｔＬｓｂ）最下位ビットによって識別される。現在のパッチフレームがＩＲＡＰフレームである場合、全ての参照パッチフレームはＤＰＦＢ（もしあれば）において現時点で、参照に関して未使用であると示される。そうでない場合は、以下があてはまる。ＲｅｆＰａｔｃｈＦｒｍＬｉｓｔにおける各長期間参照パッチフレームエントリに関して、参照されるパッチフレームが短期間参照パッチフレームであるとき、パッチフレームは長期間参照に関して用いられるとして示される。ＲｅｆＰａｔｃｈＦｒｍＬｉｓｔにおけるいかなるエントリによっても参照されない、ＤＰＦＢにおける各参照パッチフレームは、参照に関して未使用であると示される。
【0144】
図１１は、例示的なビデオ符号化デバイス１１００の概略図である。ビデオ符号化デバイス１１００は、本明細書で説明されるような開示された例／実施形態を実装するために好適である。ビデオ符号化デバイス１１００は、ネットワークでデータをアップストリームおよび／またはダウンストリームで通信するように、ダウンストリームポート１１２０、アップストリームポート１１５０、および／または、送信機および／または受信機を含む送受信機ユニット（Ｔｘ／Ｒｘ）１１１０を含む。ビデオ符号化デバイス１１００はまた、論理ユニットを含むプロセッサ１１３０、および／または、データを処理する中央演算処理装置（ＣＰＵ）、およびデータを格納するためのメモリ１１３２を含む。ビデオ符号化デバイス１１００はまた、電気、光／電気（ＯＥ）構成要素、電気／光（ＥＯ）構成要素、および／または、電気、光、または無線通信ネットワークを介してデータの通信のためにアップストリームポート１１５０および／またはダウンストリームポート１１２０に結合された無線通信構成要素を含む。ビデオ符号化デバイス１１００はまた、ユーザとの間でデータを通信するための入力および／または出力（Ｉ／Ｏ）デバイス１１６０も含んでよい。Ｉ／Ｏデバイス１１６０は、ビデオデータを表示するためのディスプレイ、音声データを出力するためのスピーカなどの出力デバイスを含んでよい。Ｉ／Ｏデバイス１１６０はまた、キーボード、マウス、トラックボールなどの入力デバイス、および／またはそのような出力デバイスとインタラクトするための対応するインタフェースも含んでよい。
【0145】
プロセッサ１１３０はハードウェアおよびソフトウェアによって実装される。プロセッサ１１３０は、１または複数のＣＰＵチップ、コア（例えば、マルチコアプロセッサとして）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、およびデジタル信号プロセッサ（ＤＳＰ）として実装されてよい。プロセッサ１１３０は、ダウンストリームポート１１２０、Ｔｘ／Ｒｘ１１１０、アップストリームポート１１５０、およびメモリ１１３２と通信する。プロセッサ１１３０は符号化モジュール１１１４を含む。符号化モジュール１１１４は、方法１００、１２００および１３００などの、本明細書で説明される開示される実施形態を実装し、それらは、パッチ６０３のセットに分離され、ＰＣＣビットストリーム１０００において占有フレーム７１０、ジオメトリフレーム７２０、アトラスフレーム７３０に符号化される点群媒体５００を利用し得る。さらに、符号化モジュール１１１４は、ＰＣＣビットストリーム１０００上で適合性テスト機構８００を実行するＨＲＤ９００を実装し得る。符号化モジュール１１１４はまた、本明細書で説明される任意の他の方法／機構を実装し得る。さらに、符号化モジュール１１１４は、コーデックシステム２００、エンコーダ３００、および／またはデコーダ４００を実装し得る。例えば、符号化モジュール１１１４は、バッファリング期間ＳＥＩメッセージ、ＨＲＤパラメータ、および／またはアトラスフレームタイミングＳＥＩメッセージをＰＣＣビットストリームに符号化し得る。さらに、符号化モジュール１１１４はＨＲＤを初期化し得、バッファリング期間ＳＥＩメッセージ、ＨＲＤパラメータ、および／またはアトラスフレームタイミングＳＥＩメッセージに基づいて、ＰＣＣビットストリーム上でＨＲＤ適合性テストを実行し得る。さらに、符号化モジュール１１１４は、バッファリング期間ＳＥＩメッセージ、ＨＲＤパラメータ、および／またはアトラスフレームタイミングＳＥＩメッセージに基づいて、ＨＲＤ適合性に関してテストされるＰＣＣビットストリームを復号し得る。したがって、符号化モジュール１１１４は、ビデオ符号化デバイス１１００に、追加的な機能性、および／または、ビデオデータを符号化するときの符号化効率を提供させる。したがって、符号化モジュール１１１４は、ビデオ符号化デバイス１１００の機能を改善し、ならびに、ビデオ符号化技術に特有の問題に対処する。さらに、符号化モジュール１１１４は、ビデオ符号化デバイス１１００を別の状態に変換する効果を有する。あるいは、符号化モジュール１１１４は、メモリ１１３２に格納された命令として実装され得、（例えば、非一時的媒体に格納されたコンピュータプログラム製品として）プロセッサ１１３０によって実行され得る。
【0146】
メモリ１１３２は、ディスク、テープドライブ、ソリッドステートドライブ、リードオンリメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、フラッシュメモリ、三値連想メモリ（ＴＣＡＭ）、およびスタティックランダムアクセスメモリ（ＳＲＡＭ）などの、１または複数のメモリタイプを含む。メモリ１１３２は、プログラムが実行のために選択されるときにそのようなプログラムを格納するように、および、プログラム実行の最中に読み出される命令またはデータを格納するように、オーバーフローデータストレージデバイスとして用いられ得る。
【0147】
図１２は、例えば、適合性テスト機構８００に従ってＨＲＤ９００によるＨＲＤ適合性テストをサポートするように、ＨＲＤを初期化する際に用いるための、ＰＣＣビットストリーム１０００などのＰＣＣビットストリームを符号化する例示的な方法１２００のフローチャートである。方法１２００は、コーデックシステム２００、エンコーダ３００、および／または、方法１００を実行するときのビデオ符号化デバイス１１００などのエンコーダによって利用され得る。したがって、方法１２００は、点群媒体５００上で動作してよく、それはパッチ６０３のセットに分離され、占有フレーム７１０、ジオメトリフレーム７２０、およびアトラスフレーム７３０に符号化される。
【0148】
方法１２００は、エンコーダが、複数のフレームにわたって動的に変化する点群を含む映像シーケンスを受信し、その映像シーケンスを、例えばユーザ入力に基づいてＰＣＣビットストリームに符号化することを決定したときに、始まってよい。段階１２０１において、エンコーダは、ＰＣＣ成分のシーケンスをビットストリームに符号化する。このような構成要素は、ＡＵにおけるＰＣＣフレームのシーケンスを含み得る。さらに、ＰＣＣ フレーム／ＡＵは各々、アトラスフレーム、占有フレーム、ジオメトリマップフレーム、および／または属性フレームを含み得る。
【0149】
段階１２０３において、エンコーダは、バッファリング期間ＳＥＩメッセージをビットストリームに符号化し得る。エンコーダはまた、ＨＲＤパラメータをビットストリームに符号化し得る。さらに、エンコーダは、アトラスフレームタイミングＳＥＩメッセージをビットストリームに符号化し得る。上記に説明されるように、バッファリング期間ＳＥＩメッセージ、ＨＲＤパラメータ、およびアトラスフレームタイミングＳＥＩメッセージは、ビットストリーム上で適合性チェックを実行するのに十分な情報を提供し得る。
【0150】
段階１２０５において、エンコーダは、バッファリング期間ＳＥＩメッセージに関連付けられた符号化アトラスＡＵにおいてＨＲＤを初期化し得る。例えば、符号化アトラスＡＵは第１のＰＣＣ ＡＵおよび／またはビットストリームにおける第１のアトラスフレームを含み得、ＨＲＤは、バッファリング期間ＳＥＩメッセージによって示されるＡＵ／フレームにおいて適合性チェックの実行を始め得る。さらに、バッファリング期間ＳＥＩメッセージは、ＨＲＤにおけるＣＡＢに関する初期除去遅延を示し得る。ＨＲＤはまた、アトラスフレームタイミングＳＥＩメッセージによって指定されるように、ＨＲＤにおけるＤＡＢの出力遅延を設定し得る。
【0151】
段階１２０７において、エンコーダは、ＨＲＤパラメータに基づいてＨＲＤにおけるＨＲＤ適合性チェックに関する適合点を選択し得る。例えば、ＨＲＤ適合性チェックは、タイプＩ適合性テストまたはタイプＩＩ適合性テストであり得る。したがって、ＨＲＤパラメータは、第１タイプの適合点（例えば、タイプＩ適合性テスト）を選択するように、第１の値を設定し得る。ＨＲＤ適合性チェックは次に、ＨＲＤパラメータに基づくＰＣＣ成分に含まれる、解凍された属性成分、解凍されたアトラス成分、解凍された占有マップ成分、および解凍されたジオメトリ成分上で実行され得る。さらに、ＨＲＤパラメータは、第２タイプの適合点（例えば、タイプＩＩ適合性テスト）を選択するように、第２の値に設定され得る。ＨＲＤ適合性チェックは次に、ＨＲＤパラメータに基づいて、ＰＣＣ成分から生成される再構成された点群上で実行され得る。
【0152】
段階１２０９において、ＨＲＤは、バッファリング期間ＳＥＩメッセージによって示されるように、符号化アトラスＡＵにおいて開始するビットストリームのＨＲＤ適合性チェックを実行する。さらに、ＨＲＤは、ＨＲＤパラメータによって示される適合点において適合性チェックを実行する。
【0153】
段階１２１１において、ＨＲＤは、バッファリング期間ＳＥＩメッセージによって指定される初期遅延に基づいて、およびアトラスフレームタイミングＳＥＩメッセージにおいて指定されるＣＡＢ除去遅延に基づいて、ＨＲＤ適合性チェックの最中のＨＲＤにおけるＣＡＢから復号ユニットを除去し得る。本明細書で用いられるように、復号ユニットは、復号のためにＣＡＢなどのバッファに格納されたビットストリームまたはサブビットストリームからの、任意の符号化された成分である。さらに、初期遅延は、ＣＡＢ除去遅延が変わり得る間の第１のフレーム／ＡＵに関してよく、第１のフレーム／ＡＵの後にチェックされた成分に関してよい。
【0154】
段階１２１３において、エンコーダおよび／またはＨＲＤはデコーダに向けて通信するためのビットストリームを格納し得る。
【0155】
図１３は、例えば、適合性テスト機構８００に従ってＨＲＤ９００による成功したＨＲＤ適合性テストから得られる、ＰＣＣビットストリーム１０００などのＰＣＣビットストリームを復号する例示的な方法１３００のフローチャートである。方法１３００は、コーデックシステム２００、デコーダ４００、および／または、方法１００を実行するときのビデオ符号化デバイス１１００などのデコーダによって利用され得る。したがって、方法１３００は、点群媒体５００上で動作してよく、それはパッチ６０３のセットに分離され、占有フレーム７１０、ジオメトリフレーム７２０、およびアトラスフレーム７３０に符号化される。
【0156】
方法１３００は、デコーダが、例えば方法１２００の結果としての、点群の映像シーケンスを表す符号化されたデータのＰＣＣビットストリームを受信し始めたときに、始まってよい。段階１３０１において、デコーダは、ＰＣＣ成分の複数の符号化されたシーケンスを含むビットストリームを受信する。このような構成要素は、ＡＵにおけるＰＣＣフレームのシーケンスを含む。さらに、ＰＣＣ フレーム／ＡＵは、アトラスフレーム、占有フレーム、ジオメトリマップフレーム、および／または属性フレームを各々含み得る。さらに、ビットストリームは、バッファリング期間ＳＥＩメッセージ、ＨＲＤパラメータ、およびアトラスフレームタイミングＳＥＩメッセージを含み得る。バッファリング期間ＳＥＩメッセージは、エンコーダにおいてＨＲＤにおけるＣＡＢから復号ユニットを除去するための初期遅延を含み得る。ＨＲＤパラメータは、ＨＲＤにおけるＨＲＤ適合性チェックに関する適合点を指定し得る。適合点は、ＨＲＤ適合性チェックが、解凍されたＰＣＣ成分または再構成された点群上で実行されるかどうかを示す。アトラスフレームタイミングＳＥＩメッセージは、ＨＲＤにおけるＣＡＢから復号ユニットを、および／または、ＨＲＤにおけるＤＡＢから出力遅延を除去するパラメータを指定し得る。デコーダは、ビットストリームがＨＲＤ適合性テストをパスし、したがって、デコーダによって復号可能であることを、それらのメッセージの１または複数から推測し得る。
【0157】
段階１３０３において、デコーダは、バッファリング期間ＳＥＩメッセージによって示される符号化アトラスアクセスユニットから開始するＰＣＣ成分の復号を始め得る。ＰＣＣ成分は、アトラスフレーム、占有フレーム、ジオメトリマップフレーム、および／または属性フレームを各々がさらに含む、ＰＣＣフレームを含み得る。デコーダはＰＣＣ成分を復号し、次に、点群のシーケンスを再構成する。デコーダは次に、段階１３０５においての表示のためにＰＣＣ成分から再構成された点群を転送し得る。
【0158】
図１４は、例えば、適合性テスト機構８００に従ってＨＲＤ９００によって、ＨＲＤ適合性テストをサポートするためにＰＣＣビットストリーム１０００を符号化する例示的システム１４００の概略図である。システム１４００は、コーデックシステム２００、エンコーダ３００、デコーダ４００、および／またはビデオ符号化デバイス１１００などの、エンコーダおよびデコーダによって実装され得る。したがって、システム１４００は点群媒体５００上で動作し得、それは、パッチ６０３のセットに分離され、占有フレーム７１０、ジオメトリフレーム７２０、およびアトラスフレーム７３０に符号化される。さらに、システム１４００は、方法１００、１２００および／または１３００を実装するときに利用され得る。
【0159】
システム１４００は、ビデオエンコーダ１４０２を含む。ビデオエンコーダ１４０２は、ＰＣＣ成分のシーケンスをビットストリームに符号化する符号化モジュール１４０３を含む。符号化モジュール１４０３はさらに、バッファリング期間ＳＥＩメッセージをビットストリームに符号化する。ビデオエンコーダ１４０２はさらに、バッファリング期間ＳＥＩメッセージに関連付けられた符号化アトラスＡＵにおいてＨＲＤを初期化する初期化モジュール１４０４を含む。ビデオエンコーダ１４０２はさらに、符号化アトラスＡＵにおいて開始するビットストリームのＨＲＤ適合性チェックを実行するＨＲＤモジュール１４０５を含む。ビデオエンコーダ１４０２はさらに、デコーダに向けて通信するためにビットストリームを格納する格納モジュール１４０６を含む。ビデオエンコーダ１４０２はさらに、ビデオデコーダ１４１０に向けてビットストリームを伝送する送信モジュール１４０７を含む。ビデオエンコーダ１４０２はさらに、方法１２００の任意の段階を実行するように構成され得る。
【0160】
システム１４００はまた、ビデオデコーダ１４１０を含む。ビデオデコーダ１４１０は、ＰＣＣ成分の複数の符号化されたシーケンスおよびバッファリング期間ＳＥＩメッセージを含むビットストリームを受信する受信モジュール１４１１を含む。ビデオデコーダ１４１０はさらに、バッファリング期間ＳＥＩメッセージによって示される符号化アトラスアクセスユニットから開始するＰＣＣ成分を復号する復号モジュール１４１３を含む。ビデオデコーダ１４１０はさらに、表示のためにＰＣＣ成分から再構成された点群を転送する転送モジュール１４１５を含む。ビデオデコーダ１４１０はさらに、方法１３００の任意の段階を実行するように構成され得る。
【0161】
第１成分と第２成分との間に、線、トレース、または別の媒体以外に、介入する成分がないとき、第１成分は、第２成分と直接結合される。第１成分と第２成分との間に、線、トレース、または別の媒体とは他の、介入する成分があるとき、第１成分は第２成分と間接的に結合される。用語「結合（ｃｏｕｐｌｅｄ）」およびその変形は、直接結合と間接的結合の両方を含む。用語「約（ａｂｏｕｔ）」を用いることは、別の方法で述べられない限り、後続の数の±１０％を含む範囲に及ぶという意味である。
【0162】
本明細書に記載された例示的な方法の段階は、必ずしも説明された順序で実行される必要はないこともまた、理解されるべきであり、このような方法の段階の順序は、単なる例示的なものとして理解されるべきである。同様に、追加の段階がこのような方法に含まれてよく、特定のステップが、本開示の様々な実施形態において一貫した方法において、省略または組み合されてよい。
【0163】
本開示においていくつかの実施形態が提供されたが、開示されたシステムおよび方法は、本開示の趣旨または範囲から逸脱することなく、他の多数の具体的な形態で実施され得ることが理解されるであろう。本例は、限定的なものではなく例示的なものとみなされるべきであり、本明細書に提示される詳細に限定することは意図していない。例えば、様々な要素または構成要素が別のシステム内において組み合わされ得るか、若しくは、統合され得る。または、一定の特徴は省略され得るか、若しくは、実装されないことがあり得る。
【0164】
さらに、様々な実施形態において分離したものまたは別個のものとして説明され示された、技法、システム、サブシステム、および方法は、本開示の範囲から逸脱することなく、他のシステム、構成要素、技法、または方法と組み合わされても統合されてもよい。変更、置き換え、および修正に関する他の実施例が当業者によって確認可能であり、これらの実施例が、本明細書に開示された趣旨および範囲から逸脱することなく作成されてよい。
［他の可能な請求項］
（項目１）
エンコーダにおいて実装される方法であって、方法は、
上記エンコーダのプロセッサが、バッファリング期間追加拡大情報（ＳＥＩ）メッセージと、点群圧縮（ＰＣＣ）成分のシーケンスとを、ビットストリームに符号化する段階と、
上記プロセッサが、上記バッファリング期間ＳＥＩメッセージに関連付けられた符号化アトラスアクセスユニット（ＡＵ）において仮想参照デコーダ（ＨＲＤ）を、初期化する段階と、
上記プロセッサが、上記符号化アトラスＡＵにおいて開始する上記ビットストリームのＨＲＤ適合性チェックを実行する段階と、
を含む、方法。
（項目２）
上記プロセッサが、仮想参照デコーダ（ＨＲＤ）パラメータを上記ビットストリームに符号化する段階をさらに備える、項目１に記載の方法。
（項目３）
上記プロセッサが、上記ＨＲＤパラメータに基づいて上記ＨＲＤにおける上記ＨＲＤ適合性チェックの適合点を選択する段階をさらに備える、項目１または２に記載の方法。
（項目４）
第１タイプの適合点が、上記ＨＲＤパラメータに基づいて選択されるとき、上記ＨＲＤ適合性チェックが、解凍された属性成分上で、解凍されたアトラス成分上で、解凍された占有マップ成分上で、および上記ＰＣＣ成分の解凍されたジオメトリ成分上で実行される、項目１－３のいずれか一項に記載の方法。
（項目５）
第２タイプの適合点が、上記ＨＲＤパラメータに基づいて選択されるとき、上記ＨＲＤ適合性チェックが上記ＰＣＣ成分の再構成された点群上で実行される、項目１－４のいずれか一項に記載の方法。
（項目６）
上記プロセッサが、アトラスフレームタイミングＳＥＩメッセージを上記ビットストリームに符号化することをさらに備える、項目１－５のいずれか一項に記載の方法。
（項目７）
上記プロセッサが、上記アトラスフレームタイミングＳＥＩメッセージによって指定されたように、上記ＨＲＤ適合性チェックの最中に上記ＨＲＤにおける符号化されたアトラスバッファ（ＣＡＢ）から復号ユニットを除去する段階を、さらに備える、項目１－６のいずれか一項に記載の方法。
（項目８）
上記アトラスフレームタイミングＳＥＩメッセージによって指定されたように、上記ＨＲＤにおける復号されたアトラスバッファ（ＤＡＢ）の出力遅延を設定する段階をさらに備える、項目１－７のいずれか一項に記載の方法。
（項目９）
上記復号ユニットが、上記バッファリング期間ＳＥＩメッセージによって指定された初期遅延に基づいて、上記ＨＲＤ適合性チェックの最中に上記ＨＲＤにおける上記ＣＡＢから除去される、項目１－８のいずれか一項に記載の方法。
（項目１０）
デコーダにおいて実装される方法であって、方法は、
上記デコーダの受信機が、点群圧縮（ＰＣＣ）成分の複数の符号化されたシーケンスおよびバッファリング期間追加拡大情報（ＳＥＩ）メッセージを含むビットストリームを受信する段階と、
上記デコーダのプロセッサが、上記バッファリング期間ＳＥＩメッセージによって示される符号化アトラスアクセスユニットから開始される上記ＰＣＣ成分を復号する段階と、
を備える、方法。
（項目１１）
上記バッファリング期間ＳＥＩメッセージが、仮想参照デコーダ（ＨＲＤ）において符号化されたアトラスバッファ（ＣＡＢ）から復号ユニットを除去するための初期遅延を含む、項目１０に記載の方法。
（項目１２）
上記ビットストリームが、ＨＲＤパラメータをさらに含む、項目１０または１１に記載の方法。
（項目１３）
上記ＨＲＤパラメータが、上記ＨＲＤにおいてＨＲＤ適合性チェックに関する適合点を指定する、項目１０－１２のいずれか一項に記載の方法。
（項目１４）
上記適合点が、上記ＨＲＤ適合性チェックが解凍されたＰＣＣ成分上で、または再構成された点群上で実行されるかどうかを示す、項目１０－１３のいずれか一項に記載の方法。
（項目１５）
上記ビットストリームが、アトラスフレームタイミングＳＥＩメッセージをさらに含む、項目１０－１４のいずれか一項に記載の方法。
（項目１６）
上記アトラスフレームタイミングＳＥＩメッセージが、ＨＲＤにおけるＣＡＢから復号ユニットを除去するためのパラメータを指定する、項目１０－１５のいずれか一項に記載の方法。
（項目１７）
プロセッサ、上記プロセッサに結合される受信機、上記プロセッサに結合されるメモリ、および上記プロセッサに結合される送信機を含む、ビデオ符号化デバイスであって、上記プロセッサ、上記受信機、上記メモリ、および送信機は、項目１－１６のいずれか一項に記載の方法を実行するように構成される、
ビデオ符号化デバイス。
（項目１８）
ビデオ符号化デバイスによって用いるためのコンピュータプログラム製品を含む非一時的コンピュータ可読媒体であって、上記コンピュータ実施可能な命令を備えるコンピュータプログラム製品は、プロセッサによって実行されたとき、項目１－１６のいずれか一項に記載の方法を上記ビデオ符号化デバイスに実行させるように、上記非一時的コンピュータ可読媒体に格納される、非一時的コンピュータ可読媒体。
（項目１９）
点群圧縮（ＰＣＣ）成分の複数の符号化されたシーケンスと、バッファリング期間追加拡大情報（ＳＥＩ）メッセージとを含むビットストリームを受信する受信手段と、
上記バッファリング期間ＳＥＩメッセージによって示される符号化アトラスアクセスユニットから開始する上記ＰＣＣ成分を復号する復号手段と、
表示のために上記ＰＣＣ成分から再構成された点群を転送する転送手段と、
を備える、デコーダ。
（項目２０）
上記デコーダがさらに、項目１０－１６のいずれか一項に記載の方法を実行するように構成される、項目１９に記載のデコーダ。
（項目２１）
バッファリング期間追加拡大情報（ＳＥＩ）メッセージおよび点群圧縮（ＰＣＣ）成分のシーケンスをビットストリームに符号化する符号化手段と、
上記バッファリング期間ＳＥＩメッセージに関連付けられる符号化アトラスアクセスユニット（ＡＵ）において仮想参照デコーダ（ＨＲＤ）を初期化する初期化手段と、
上記符号化アトラスＡＵにおいて開始する上記ビットストリームのＨＲＤ適合性チェックを実行するＨＲＤ手段と、
デコーダに向けて通信するように上記ビットストリームを格納する格納手段と、
を含む、エンコーダ。
（項目２２）
上記エンコーダはさらに、項目１－９のいずれか一項に記載の方法を実行するように構成される、項目１９に記載のエンコーダ。
［他の可能な請求項］
（項目１）
エンコーダにおいて実装される方法であって、方法は、
上記エンコーダのプロセッサが、バッファリング期間追加拡大情報（ＳＥＩ）メッセージと、点群圧縮（ＰＣＣ）成分のシーケンスとを、ビットストリームに符号化する段階と、
上記プロセッサが、上記バッファリング期間ＳＥＩメッセージに関連付けられた符号化アトラスアクセスユニット（ＡＵ）において仮想参照デコーダ（ＨＲＤ）を、初期化する段階と、
上記プロセッサが、上記符号化アトラスＡＵにおいて開始する上記ビットストリームのＨＲＤ適合性チェックを実行する段階と、
を含む、方法。
（項目２）
上記プロセッサが、仮想参照デコーダ（ＨＲＤ）パラメータを上記ビットストリームに符号化する段階をさらに備える、項目１に記載の方法。
（項目３）
上記プロセッサが、上記ＨＲＤパラメータに基づいて上記ＨＲＤにおける上記ＨＲＤ適合性チェックの適合点を選択する段階をさらに備える、項目１または２に記載の方法。
（項目４）
第１タイプの適合点が、上記ＨＲＤパラメータに基づいて選択されるとき、上記ＨＲＤ適合性チェックが、解凍された属性成分上で、解凍されたアトラス成分上で、解凍された占有マップ成分上で、および上記ＰＣＣ成分の解凍されたジオメトリ成分上で実行される、項目１－３のいずれか一項に記載の方法。
（項目５）
第２タイプの適合点が、上記ＨＲＤパラメータに基づいて選択されるとき、上記ＨＲＤ適合性チェックが上記ＰＣＣ成分の再構成された点群上で実行される、項目１－４のいずれか一項に記載の方法。
（項目６）
上記プロセッサが、アトラスフレームタイミングＳＥＩメッセージを上記ビットストリームに符号化することをさらに備える、項目１－５のいずれか一項に記載の方法。
（項目７）
上記プロセッサが、上記アトラスフレームタイミングＳＥＩメッセージによって指定されたように、上記ＨＲＤ適合性チェックの最中に上記ＨＲＤにおける符号化されたアトラスバッファ（ＣＡＢ）から復号ユニットを除去する段階を、さらに備える、項目１－６のいずれか一項に記載の方法。
（項目８）
上記アトラスフレームタイミングＳＥＩメッセージによって指定されたように、上記ＨＲＤにおける復号されたアトラスバッファ（ＤＡＢ）の出力遅延を設定する段階をさらに備える、項目１－７のいずれか一項に記載の方法。
（項目９）
上記復号ユニットが、上記バッファリング期間ＳＥＩメッセージによって指定された初期遅延に基づいて、上記ＨＲＤ適合性チェックの最中に上記ＨＲＤにおける上記ＣＡＢから除去される、項目１－８のいずれか一項に記載の方法。
（項目１０）
デコーダにおいて実装される方法であって、方法は、
上記デコーダの受信機が、点群圧縮（ＰＣＣ）成分の複数の符号化されたシーケンスおよびバッファリング期間追加拡大情報（ＳＥＩ）メッセージを含むビットストリームを受信する段階と、
上記デコーダのプロセッサが、上記バッファリング期間ＳＥＩメッセージによって示される符号化アトラスアクセスユニットから開始される上記ＰＣＣ成分を復号する段階と、
を備える、方法。
（項目１１）
上記バッファリング期間ＳＥＩメッセージが、仮想参照デコーダ（ＨＲＤ）において符号化されたアトラスバッファ（ＣＡＢ）から復号ユニットを除去するための初期遅延を含む、項目１０に記載の方法。
（項目１２）
上記ビットストリームが、ＨＲＤパラメータをさらに含む、項目１０または１１に記載の方法。
（項目１３）
上記ＨＲＤパラメータが、上記ＨＲＤにおいてＨＲＤ適合性チェックに関する適合点を指定する、項目１０－１２のいずれか一項に記載の方法。
（項目１４）
上記適合点が、上記ＨＲＤ適合性チェックが解凍されたＰＣＣ成分上で、または再構成された点群上で実行されるかどうかを示す、項目１０－１３のいずれか一項に記載の方法。
（項目１５）
上記ビットストリームが、アトラスフレームタイミングＳＥＩメッセージをさらに含む、項目１０－１４のいずれか一項に記載の方法。
（項目１６）
上記アトラスフレームタイミングＳＥＩメッセージが、ＨＲＤにおけるＣＡＢから復号ユニットを除去するためのパラメータを指定する、項目１０－１５のいずれか一項に記載の方法。
（項目１７）
プロセッサ、上記プロセッサに結合される受信機、上記プロセッサに結合されるメモリ、および上記プロセッサに結合される送信機を含む、ビデオ符号化デバイスであって、上記プロセッサ、上記受信機、上記メモリ、および送信機は、項目１－１６のいずれか一項に記載の方法を実行するように構成される、
ビデオ符号化デバイス。
（項目１８）
ビデオ符号化デバイスによって用いるためのコンピュータプログラム製品を含む非一時的コンピュータ可読媒体であって、上記コンピュータ実施可能な命令を備えるコンピュータプログラム製品は、プロセッサによって実行されたとき、項目１－１６のいずれか一項に記載の方法を上記ビデオ符号化デバイスに実行させるように、上記非一時的コンピュータ可読媒体に格納される、非一時的コンピュータ可読媒体。
（項目１９）
点群圧縮（ＰＣＣ）成分の複数の符号化されたシーケンスと、バッファリング期間追加拡大情報（ＳＥＩ）メッセージとを含むビットストリームを受信する受信手段と、
上記バッファリング期間ＳＥＩメッセージによって示される符号化アトラスアクセスユニットから開始する上記ＰＣＣ成分を復号する復号手段と、
表示のために上記ＰＣＣ成分から再構成された点群を転送する転送手段と、
を備える、デコーダ。
（項目２０）
上記デコーダがさらに、項目１０－１６のいずれか一項に記載の方法を実行するように構成される、項目１９に記載のデコーダ。
（項目２１）
バッファリング期間追加拡大情報（ＳＥＩ）メッセージおよび点群圧縮（ＰＣＣ）成分のシーケンスをビットストリームに符号化する符号化手段と、
上記バッファリング期間ＳＥＩメッセージに関連付けられる符号化アトラスアクセスユニット（ＡＵ）において仮想参照デコーダ（ＨＲＤ）を初期化する初期化手段と、
上記符号化アトラスＡＵにおいて開始する上記ビットストリームのＨＲＤ適合性チェックを実行するＨＲＤ手段と、
デコーダに向けて通信するように上記ビットストリームを格納する格納手段と、
を含む、エンコーダ。
（項目２２）
上記エンコーダはさらに、項目１－９のいずれか一項に記載の方法を実行するように構成される、項目１９に記載のエンコーダ。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7A】
【図7B】
【図7C】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
