特開 2022-160530 点群コーディング用の高レベルな構文設計

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022160530

(43)【公開日】2022-10-19

(54)【発明の名称】点群コーディング用の高レベルな構文設計

(51)【国際特許分類】

   H04N 19/70 20140101AFI20221012BHJP

   H04N 19/597 20140101ALI20221012BHJP

【ＦＩ】

H04N19/70

H04N19/597

【審査請求】有

【請求項の数】12

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2022120241

(22)【出願日】2022-07-28

(62)【分割の表示】P 2020571849の分割

【原出願日】2019-04-11

(31)【優先権主張番号】62/690,132

(32)【優先日】2018-06-26

(33)【優先権主張国・地域又は機関】US

(71)【出願人】

【識別番号】504161984

【氏名又は名称】ホアウェイ・テクノロジーズ・カンパニー・リミテッド

(74)【代理人】

【識別番号】110000877

【氏名又は名称】弁理士法人ＲＹＵＫＡ国際特許事務所

(72)【発明者】

【氏名】ワン、イエ－クイ

(57)【要約】      （修正有）

【課題】映像復号器により実施される点群符号化（ＰＣＣ）の方法を提供する。
【解決手段】映像復号器により実施される点群符号化（ＰＣＣ）の方法であって、符号化済みビットストリームのプロファイル及びレベルを指定するグループオブフレームヘッダを含む符号化済みビットストリームを受信する段階と、符号化済みビットストリームを復号する段階と、を含む。
【選択図】図６

【特許請求の範囲】

【請求項1】

構造化データを記憶したコンピュータ可読記録媒体であって、前記構造化データは符号化済みビットストリームであり、前記符号化済みビットストリームはグループオブフレームヘッダを含み、前記グループオブフレームヘッダは前記符号化済みビットストリームのプロファイル及びレベルを指定する、コンピュータ可読記録媒体。

【請求項2】

前記グループオブフレームヘッダは、グループオブフレームネットワーク抽象化層（ＮＡＬ）ユニットである、請求項１に記載のコンピュータ可読記録媒体。

【請求項3】

前記グループオブフレームヘッダは、グループオブフレームヘッダパラメータを搬送するように構成される、請求項１または２に記載のコンピュータ可読記録媒体。

【請求項4】

占有マップの情報、ジオメトリの情報、及びテクスチャの情報のうち少なくとも１つが、前記グループオブフレームヘッダパラメータに含まれる、請求項３に記載のコンピュータ可読記録媒体。

【請求項5】

前記グループオブフレームヘッダは、補助情報及び占有マップを復号するための前記プロファイル及び前記レベルを指定する、請求項１から３のいずれか一項に記載のコンピュータ可読記録媒体。

【請求項6】

前記グループオブフレームヘッダは、ジオメトリ、テクスチャ、補助情報、及び占有マップの復号結果を利用する点群再構成処理を指定する、請求項１から３のいずれか一項に記載のコンピュータ可読記録媒体。

【請求項7】

前記プロファイル又は前記レベルは、補助情報及び占有マップの成分を復号する能力を示す、請求項１から３のいずれか一項に記載のコンピュータ可読記録媒体。

【請求項8】

前記プロファイル又は前記レベルは、点群再構成の能力を示す、請求項１から５のいずれか一項に記載のコンピュータ可読記録媒体。

【請求項9】

前記プロファイルは構文の指定サブセットである、請求項１から５のいずれか一項に記載のコンピュータ可読記録媒体。

【請求項10】

前記プロファイルは、コーディングツールの指定サブセットである、請求項１から５のいずれか一項に記載のコンピュータ可読記録媒体。

【請求項11】

前記レベルは、構文要素及び変数によって用いられ得る値に対する制約の規定セットである、請求項１から５のいずれか一項に記載のコンピュータ可読記録媒体。

【請求項12】

前記符号化済みビットストリームの前記プロファイルと前記レベルとの組み合わせが、前記符号化済みビットストリームの復号に必要な特定の復号能力を表す、請求項１から５のいずれか一項に記載のコンピュータ可読記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は概して点群コーディングに関するものであり、具体的には、点群コーディング用の高レベルな構文に関する。

【背景技術】

【0002】

点群は、エンターテイメント業界、インテリジェント自動車のナビゲーション、地理空間的な検査、現実世界の対象物の３次元（３Ｄ）モデリング、仮想化などを含む幅広い用途で利用されている。点群の不均一なサンプリングジオメトリを考慮すると、そのようなデータの記憶及び伝送にはコンパクト表現が有益である。他の３Ｄ表示と比較すると、不規則な点群はより一般的であり、より広範囲のセンサ及びデータ取得方法に適用可能である。例えば、仮想現実世界での３Ｄ表示又はテレプレゼンス環境でのリモートレンダリングを行う場合、仮想形状のレンダリング及びリアルタイムの命令は、高密度な点群データ集合として処理される。

【発明の概要】

【0003】

第１態様は、映像復号器により実施される点群コーディング（ＰＣＣ）の方法に関する。本方法は、グループオブフレームヘッダを含む符号化済みビットストリームを受信する段階であって、グループオブフレームヘッダは符号化済みビットストリームのプロファイル及びレベルを指定する、段階と、符号化済みビットストリームを復号する段階とを含む。

【0004】

第２態様は、映像符号化器により実施される点群コーディング（ＰＣＣ）の方法に関する。本方法は、グループオブフレームヘッダを含む符号化済みビットストリームを生成する段階であって、グループオブフレームヘッダは符号化済みビットストリームのプロファイル及びレベルを指定する、段階と、符号化済みビットストリームを復号器に伝送する段階とを含む。

【0005】

本方法は、後述する点群コーディングに関連した複数の問題のうちの１つ又は複数を解決する高レベルな構文設計を提供する。したがって、映像コーディングの処理及びビデオコーデックは改善され、より効率が良くなるといったようになる。

【0006】

第１態様又は第２態様そのものによる本方法の第１の実装形態において、グループオブフレームヘッダは、グループオブフレームネットワーク抽象化層（ＮＡＬ）ユニットである。

【0007】

第１態様若しくは第２態様そのものによる本方法の第２の実装形態、又は第１態様若しくは第２態様の前述の任意の実装形態において、グループオブフレームヘッダは、グループオブフレームヘッダパラメータを搬送するように構成される。

【0008】

第１態様若しくは第２態様そのものによる本方法の第３の実装形態、又は第１態様若しくは第２態様の前述の任意の実装形態において、占有情報、ジオメトリ情報、及び属性情報のうちの少なくとも１つが、グループオブフレームヘッダパラメータに含まれる。

【0009】

第１態様若しくは第２態様そのものによる本方法の第４の実装形態、又は第１態様若しくは第２態様の前述の任意の実装形態において、グループオブフレームヘッダは、占有マップの補助情報を復号するためのプロファイル及びレベルを指定する。

【0010】

第１態様若しくは第２態様そのものによる本方法の第５の実装形態、又は第１態様若しくは第２態様の前述の任意の実装形態において、グループオブフレームヘッダは、ジオメトリ、テクスチャ、補助情報、及び占有マップの復号結果を利用する点群再構成処理を指定する。

【0011】

第１態様若しくは第２態様そのものによる本方法の第６の実装形態、又は第１態様若しくは第２態様の前述の任意の実装形態において、プロファイル又はレベルは、補助情報及び占有マップの成分を復号する能力を示す。

【0012】

第１態様若しくは第２態様そのものによる本方法の第７の実装形態、又は第１態様若しくは第２態様の前述の任意の実装形態において、プロファイル又はレベルは、点群再構成の能力を示す。

【0013】

第１態様若しくは第２態様そのものによる本方法の第８の実装形態、又は第１態様若しくは第２態様の前述の任意の実装形態において、プロファイルは構文の指定サブセットである。

【0014】

第１態様若しくは第２態様そのものによる本方法の第９の実装形態、又は第１態様若しくは第２態様の前述の任意の実装形態において、プロファイルは、コーディングツールの指定サブセットである。

【0015】

第１態様若しくは第２態様そのものによる本方法の第１０の実装形態、又は第１態様若しくは第２態様の前述の任意の実装形態において、レベルは、構文要素及び変数が用い得る値に対する制約の規定セットである。

【0016】

第１態様若しくは第２態様そのものによる本方法の第１１の実装形態、又は第１態様若しくは第２態様の前述の任意の実装形態において、符号化済みビットストリームのプロファイルとレベルとの組み合わせが、符号化済みビットストリームの復号に必要な特定の復号能力を表す。

【0017】

第３態様は、ピクチャを受信して符号化する又はビットストリームを受信して復号するように構成された受信機と、受信機に連結された送信機であって、ビットストリームを復号器に伝送する又は復号済み画像をディスプレイに伝送するように構成された送信機と、受信機又は送信機のうちの少なくとも１つに連結されたメモリであって、命令を格納するように構成されたメモリと、メモリに連結されたプロセッサであって、メモリに格納された命令を実行して、前述の態様又は実装形態のうちのいずれかの方法を行うように構成されたプロセッサとを含むコーディング装置に関する。

【0018】

コーディング装置は、後述する点群コーディングに関連した複数の問題のうちの１つ又は複数を解決する高レベルな構文設計を利用する。したがって、映像コーディングの処理及びビデオコーデックは改善され、より効率が良くなるといったようになる。

【0019】

第３態様そのものによる装置の第１の実装形態において、本装置はさらに、画像を表示するように構成されたディスプレイを含む。

【0020】

第４態様は、符号化器と、符号化器と通信する復号器とを含むシステムに関する。符号化器又は復号器は、前述の態様又は実装形態のうちのいずれかのコーディング装置を含む。

【0021】

本システムは、後述する点群コーディングに関連した複数の問題のうちの１つ又は複数を解決する高レベルな構文設計を利用する。したがって、映像コーディングの処理及びビデオコーデックは改善され、より効率が良くなるといったようになる。

【0022】

第５態様は、ピクチャを受信して符号化する又はビットストリームを受信して復号するように構成された受信手段と、受信手段に連結された伝送手段であって、ビットストリームを復号器に伝送する又は復号済み画像を表示手段に伝送するように構成された伝送手段と、受信手段又は伝送手段のうちの少なくとも１つに連結された記憶手段であって、命令を格納するように構成された記憶手段と、記憶手段に連結された処理手段であって、記憶手段に格納された命令を実行して、前述の態様又は実装形態のうちのいずれかにおける方法を行うように構成された処理手段とを含むコーディングの手段に関する。

【0023】

コーディングの手段は、後述する点群コーディングに関連した複数の問題のうちの１つ又は複数を解決する高レベルな構文設計を利用する。したがって、映像コーディングの処理及びビデオコーデックは改善され、より効率が良くなるといったようになる。

【0024】

明確にすることを目的に、前述の複数の実施形態のうちのいずれか１つは、本開示の範囲内の新たな実施形態を作成するために、その他の前述の実施形態のうちの任意の１つ又は複数と組み合わされてよい。

【0025】

これらの特徴及び他の特徴は、添付の図面及び特許請求の範囲と併せて用いられる以下の詳細な説明によって明確に理解されるであろう。

【図面の簡単な説明】

【0026】

本開示をより十分に理解するために、ここでは、添付図面及び詳細な説明と併せて用いられる以下の簡潔な説明を参照する。ここで、同じ参照番号は同じ部分を表す。

【0027】

【図1】コンテキストモデリング技法を利用し得る例示的なコーディングシステムを示すブロック図である。

【0028】

【図2】コンテキストモデリング技法を実装し得る例示的な映像符号化器を示すブロック図である。

【0029】

【図3】コンテキストモデリング技法を実装し得る例示的な映像復号器を示すブロック図である。

【0030】

【図4】ＰＣＣと互換性のあるデータ構造体の一実施形態の概略図である。

【0031】

【図5】映像復号器により実装される点群コーディングの方法の実施形態である。

【0032】

【図6】映像符号化器により実装される点群コーディングの方法の実施形態である。

【0033】

【図7】例示的な映像コーディングデバイスの概略図である。

【0034】

【図8】コーディングの手段の一実施形態に係る概略図である。

【発明を実施するための形態】

【0035】

１つ又は複数の実施形態に係る例示的な実装態様が以下に提供されるが、開示されたシステム及び／又は方法は、現時点で知られているのか又は存在しているのかに関係なく、任意の数の技法を用いて実装されてよいことを最初に理解されたい。本開示は、本明細書において図示され説明される例示的な設計例及び実装形態を含む、以下に示される例示的な実装態様、図面、及び技法に決して限定されるべきではなく、添付の特許請求の範囲と共に、その均等物の全範囲内で修正されてよい。

【0036】

映像コーディング規格には、国際電気通信連合の電気通信標準化部門（ＩＴＵ‐Ｔ）のＨ．２６１、国際標準化機構（ＩＳＯ）／国際電気標準会議（ＩＥＣ）の動画像符号化専門家グループ（ＭＰＥＧ）－１パート２、ＩＴＵ‐ＴのＨ．２６２又はＩＳＯ／ＩＥＣのＭＰＥＧ－２パート２、ＩＴＵ－ＴのＨ．２６３、ＩＳＯ／ＩＥＣのＭＰＥＧ－４パート２、ＩＴＵ‐ＴのＨ．２６４又はＩＳＯ／ＩＥＣのＭＰＥＧ－４パート１０としても知られている高度映像コーディング（ＡＶＣ）、及びＩＴＵ‐ＴのＨ．２６５又はＭＰＥＧ－Ｈパート２としても知られている高効率映像コーディング（ＨＥＶＣ）が含まれる。ＡＶＣには、スケーラブル映像コーディング（ＳＶＣ）、多視点映像コーディング（ＭＶＣ）、及び多視点映像コーディング＋深度（ＭＶＣ＋Ｄ）、並びに３ＤのＡＶＣ（３Ｄ－ＡＶＣ）などの拡張版が含まれる。ＨＥＶＣには、スケーラブルＨＥＶＣ（ＳＨＶＣ）、多視点ＨＥＶＣ（ＭＶ－ＨＥＶＣ）、及び３ＤのＨＥＶＣ（３Ｄ－ＨＥＶＣ）などの拡張版が含まれる。

【0037】

点群とは、３Ｄ空間におけるデータ点の集合である。各データ点は、位置（例えば、Ｘ、Ｙ、Ｚ）、色（例えば、Ｒ、Ｇ、Ｂ、又はＹ、Ｕ、Ｖ）、及び場合によっては透過率、反射率、取得時間などのような他の特性を決定するパラメータで構成される。通常、クラウド内の各点は、その点に付与される同じ数の属性を有する。点群は、リアルタイムの３Ｄ没入型テレプレゼンス、インタラクティブな視差を用いて見るコンテンツ仮想現実（ＶＲ）、３Ｄの自由視点スポーツ再生放送、地理的情報システム、文化遺産、大規模な３Ｄの動的マップに基づく自律的ナビゲーション、及び自動車用途などの様々な用途に用いられてよい。

【0038】

ＩＳＯ／ＩＥＣの動画像符号化専門家グループ（ＭＰＥＧ）は、可逆圧縮及び不可逆圧縮をされた点群データに対する、かなり高い符号化効率とネットワーク環境へのロバスト性とを有する点群コーディングに関する新たなコーデック規格の開発を２０１６年に開始した。このコーデック規格を用いると、点群は、コンピュータデータの形態として操作され、また様々な記憶媒体に格納され、既存のネットワーク及び将来のネットワークを介して送受信され、既存の放送チャネル及び将来の放送チャネルで配信されることが可能になる。

【0039】

近年、点群コーディング（ＰＣＣ）の取り組みは、ＰＣＣカテゴリ１、ＰＣＣカテゴリ２、及びＰＣＣカテゴリ３という３つのカテゴリに分類されるようになり、ここでは、２つの別個の作業案が開発されていた。１つはＰＣＣカテゴリ２（ＰＣＣ Ｃａｔ２）用であり、もう１つはＰＣＣカテゴリ１及びＰＣＣカテゴリ３（ＰＣＣ Ｃａｔ１３）用である。ＰＣＣ Ｃａｔ２用の最新作業案（ＷＤ）は、ＭＰＥＧの出力ドキュメントＮ１７５３４に含まれており、ＰＣＣ Ｃａｔ１３用の最新ＷＤはＭＰＥＧの出力ドキュメントＮ１７５３３に含まれている。

【0040】

ＰＣＣ Ｃａｔ２のＷＤにおけるＰＣＣ Ｃａｔ２コーデックの設計の根底にある重要な指針は、既存のビデオコーデックを活用し、異なる映像シーケンスの集合として点群データを圧縮することにより、動的な点群のジオメトリ情報及びテクスチャ情報を圧縮することである。具体的には、２つの映像シーケンス（１つは点群データのジオメトリ情報を表しており、もう１つはテクスチャ情報を表している）が生成され、ビデオコーデックを用いて圧縮される。２つの映像シーケンスを解釈するための追加のメタデータ（すなわち、占有マップ及び補助パッチ情報）も、別々に生成され圧縮される。

【0041】

残念ながら、ＰＣＣの既存の設計には欠点がある。例えば、１つの時間インスタンスに関連するデータユニット（すなわち、１つのアクセスユニット（ＡＵ））が復号順に連続していない。ＰＣＣ Ｃａｔ ２のＷＤでは、ＡＵごとのテクスチャ情報、ジオメトリ情報、補助情報、及び占有マップのデータユニットは、フレームのグループ（グループオブフレーム）の単位でインターリーブされる。すなわち、グループ内の全てのフレームのジオメトリデータは一緒になっている。テクスチャデータなどでも、同じであることが多い。ＰＣＣ Ｃａｔ １３のＷＤでは、ＡＵごとのジオメトリのデータユニット及び一般的な属性は、ＰＣＣビットストリーム全体のレベルでインターリーブされる（例えば、ＰＣＣビットストリーム全体と同じ長さを有するフレームのグループ（グループオブフレーム）が１つだけある場合、ＰＣＣ Ｃａｔ２のＷＤと同じである）。１つのＡＵに属するデータユニットをインターリーブすると、本質的にエンドツーエンドの大きな遅延が生じ、この遅延は、アプリケーションシステムの表示期間における少なくともフレームのグループ（グループオブフレーム）の長さに等しい。

【0042】

別の欠点は、ビットストリームフォーマットに関する。ビットストリームフォーマットは、０ｘ０００３のような開始コードパターンのエミュレーションを可能にするので、開始コードエミュレーションの防止が必要とされるＭＰＥＧ－２のトランスポートストリーム（ＴＳ）を介した伝送に有効ではない。ＰＣＣ Ｃａｔ２では、現時点において、ｇｒｏｕｐ＿ｏｆ＿ｆｒａｍｅｓ＿ｇｅｏｍｅｔｒｙ＿ｖｉｄｅｏ＿ｐａｙｌｏａｄ（ ）及びｇｒｏｕｐ＿ｏｆ＿ｆｒａｍｅｓ＿ｔｅｘｔｕｒｅ＿ｖｉｄｅｏ＿ｐａｙｌｏａｄ（ ）だけが、ＨＥＶＣ又はＡＶＣがジオメトリ成分及びテクスチャ成分のコーディングに用いられる場合に、開始コードエミュレーションの防止を所定の位置に有している。ＰＣＣ Ｃａｔ１３では、開始コードエミュレーションの防止はビットストリームのどこにも設けられていない。

【0043】

ＰＣＣ Ｃａｔ２のＷＤでは、ジオメトリビットストリーム及びテクスチャビットストリームのコーデック情報の一部（例えば、どのコーデックか、コーデックのプロファイル、レベルなど）が、構造体ｇｒｏｕｐ＿ｏｆ＿ｆｒａｍｅｓ＿ｇｅｏｍｅｔｒｙ＿ｖｉｄｅｏ＿ｐａｙｌｏａｄ（ ）及びｇｒｏｕｐ＿ｏｆ＿ｆｒａｍｅｓ＿ｔｅｘｔｕｒｅ＿ｖｉｄｅｏ＿ｐａｙｌｏａｄ（ ）の複数のインスタンスに深く埋められている。さらに、補助情報及び占有マップの成分を復号する能力並びに点群再構成の能力を示すプロファイル及びレベルのような情報の一部が欠けている。

【0044】

本明細書で開示されるのは、点群コーディングに関連した前述の問題のうちの１つ又は複数を解決する高レベルな構文設計である。以下でより十分に説明されるように、本開示は、データユニットヘッダ（ＰＣＣネットワークアクセス層（ＮＡＬ）ヘッダとも呼ばれる）に含まれるタイプインジケータを利用して、ＰＣＣ ＮＡＬユニットのペイロードにおいてコンテンツのタイプを指定する。さらに、本開示は、グループオブフレームヘッダＮＡＬユニットを利用して、グループオブフレームヘッダパラメータを搬送する。グループオブフレームヘッダＮＡＬユニットは、それぞれのジオメトリビットストリーム又はテクスチャビットストリームのプロファイル及びレベルを信号で伝えるのにも用いられてよい。

【0045】

図１は、ＰＣＣ映像コーディング技法を利用し得る例示的なコーディングシステム１０を示すブロック図である。図１に示すように、コーディングシステム１０は、その後に送信先デバイス１４により復号される符号化済み映像データを提供する送信元デバイス１２を含む。具体的には、送信元デバイス１２は、コンピュータ可読媒体１６を介して映像データを送信先デバイス１４に提供してよい。送信元デバイス１２及び送信先デバイス１４は、デスクトップコンピュータ、ノートブック（例えば、ラップトップ）コンピュータ、タブレットコンピュータ、セットトップボックス、いわゆる「スマート」フォンなどの携帯電話機、いわゆる「スマート」パッド、テレビ、カメラ、表示デバイス、デジタルメディアプレイヤー、ビデオゲームコンソール、又はビデオストリーミングデバイスなどを含む幅広い範囲のデバイスのうちのいずれかを含んでよい。場合によっては、送信元デバイス１２及び送信先デバイス１４は、無線通信に対応してよい。

【0046】

送信先デバイス１４は、コンピュータ可読媒体１６を介して、復号される符号化済み映像データを受信してよい。コンピュータ可読媒体１６は、符号化済み映像データを送信元デバイス１２から送信先デバイス１４へと移動できる任意のタイプの媒体又はデバイスを有してよい。１つの例において、コンピュータ可読媒体１６は、送信元デバイス１２が符号化済み映像データを送信先デバイス１４へとリアルタイムで直接伝送することを可能にする通信媒体を有してよい。符号化済み映像データは、無線通信プロトコルなどの通信規格に従って変調され、送信先デバイス１４に伝送されてよい。通信媒体は、無線周波数（ＲＦ）スペクトル又は１つ若しくは複数の物理伝送回線などの任意の無線通信媒体又は有線通信媒体を含んでよい。通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワーク、又はインターネットなどのグローバルネットワークなどの、パケットベースのネットワークの一部を形成してよい。通信媒体は、ルータ、スイッチ、基地局、又は送信元デバイス１２から送信先デバイス１４への通信を容易にするのに役立ち得る任意の他の機器を含んでよい。

【0047】

いくつかの例において、符号化済みデータは、出力インタフェース２２から記憶デバイスに出力されてよい。同様に、符号化済みデータは、入力インタフェースにより記憶デバイスからアクセスされてよい。記憶デバイスは、ハードドライブ、ブルーレイ（登録商標）ディスク、デジタルビデオディスク（ＤＶＤ）、コンパクトディスクリードオンリメモリ（ＣＤ－ＲＯＭ）、フラッシュメモリ、揮発性メモリ若しくは不揮発性メモリ、又は符号化済み映像データを格納するための任意の他の好適なデジタル記憶媒体などの様々な分散型又はローカルにアクセスされるデータ記憶媒体のうちのいずれかを含んでよい。さらなる例において、記憶デバイスは、送信元デバイス１２により生成される符号化済み映像を格納し得るファイルサーバ又は別の中間記憶デバイスに対応してよい。送信先デバイス１４は、ストリーミング又はダウンロードによって、格納された映像データに記憶デバイスからアクセスしてよい。ファイルサーバは、符号化済み映像データを格納し、当該符号化済み映像データを送信先デバイス１４に伝送できる任意のタイプのサーバであってよい。例示的なファイルサーバには、（例えば、ウェブサイト向けの）ウェブサーバ、ファイル転送プロトコル（ＦＴＰ）サーバ、ネットワーク接続型ストレージ（ＮＡＳ）デバイス、又はローカルディスクドライブが含まれる。送信先デバイス１４は、インターネット接続を含む任意の標準的なデータ接続を通じて、符号化済み映像データにアクセスしてよい。これには、無線チャネル（例えば、Ｗｉ－Ｆｉ（登録商標）接続）、有線接続（例えば、デジタル加入者回線（ＤＳＬ）、ケーブルモデムなど）、又はファイルサーバに格納された符号化済み映像データにアクセスするのに好適な両方の組み合わせが含まれてよい。記憶デバイスからの符号化済み映像データの伝送は、ストリーミング伝送、ダウンロード伝送、又はこれらの組み合わせであってもよい。

【0048】

本開示の技法は、必ずしも無線用途又は無線設定に限定されない。これらの技法は、無線テレビ放送、ケーブルテレビ放送、衛星テレビ放送、インターネットストリーミングビデオ放送（動的適応型ＨＴＴＰストリーミング（ＤＡＳＨ）など）、データ記憶媒体上に符号化されたデジタル映像、データ記憶媒体に格納されたデジタル映像の復号、又は他のアプリケーションなどの様々なマルチメディアアプリケーションのうちのいずれかをサポートする映像コーディングに適用されてよい。いくつかの例において、コーディングシステム１０は、一方向又は双方向の映像伝送をサポートして、ビデオストリーミング、ビデオ再生、ビデオ放送、及び／又は、ビデオテレフォニーなどのアプリケーションをサポートするように構成されてよい。

【0049】

図１の例において、送信元デバイス１２は、映像ソース１８と、映像符号化器２０と、出力インタフェース２２とを含む。送信先デバイス１４は、入力インタフェース２８と、映像復号器３０と、表示デバイス３２とを含む。本開示によれば、送信元デバイス１２の映像符号化器２０及び／又は送信先デバイス１４の映像復号器３０は、映像コーディングの技法を適用するように構成されてよい。他の実施例では、送信元デバイス及び送信先デバイスが他の構成要素又は装置を含んでよい。例えば、送信元デバイス１２は、外部カメラなどの外部の映像ソースから映像データを受信してよい。同様に、送信先デバイス１４は、一体化された表示デバイスを含むのではなく、外部の表示デバイスとインタフェースをとってよい。

【0050】

図示された図１のコーディングシステム１０は、単なる１つの例にすぎない。映像コーディングの技法は、任意のデジタル映像符号化デバイス及び／又は復号デバイスにより実行されてよい。本開示の技法は概して、映像コーディングデバイスにより実行されるが、これらの技法は、通常「コーデック」と呼ばれる映像符号化器／復号器により実行されてもよい。さらに本開示の技法は、映像プリプロセッサにより実行されてもよい。映像符号化器及び／又は復号器は、グラフィックス処理装置（ＧＰＵ）又は同様のデバイスであってよい。

【0051】

送信元デバイス１２及び送信先デバイス１４は、送信元デバイス１２が送信先デバイス１４に伝送するためにコーディングされた映像データを生成する、このようなコーディングデバイスの単なる例にすぎない。いくつかの例において、送信元デバイス１２及び送信先デバイス１４は、送信元デバイス１２及び送信先デバイス１４のそれぞれが映像符号化及び復号の構成要素を含むような実質的に対称的な方式で動作してよい。したがって、コーディングシステム１０は、例えば、ビデオストリーミング、ビデオ再生、ビデオ放送、又はビデオテレフォニー用の映像デバイス１２と１４との間の一方向又は双方向の映像伝送をサポートしてよい。

【0052】

送信元デバイス１２の映像ソース１８は、ビデオカメラなどの映像撮影デバイス、これまでに撮影した映像を含む映像アーカイブ、及び／又は映像コンテンツプロバイダから映像を受信する映像供給インタフェースを含んでよい。さらなる選択肢として、映像ソース１８は、コンピュータグラフィックスベースのデータを、ソース映像、又はライブ映像、アーカイブ映像、及びコンピュータ生成映像の組み合わせとして生成してよい。

【0053】

一部の例では、映像ソース１８がビデオカメラである場合、送信元デバイス１２及び送信先デバイス１４は、いわゆるカメラ付き携帯電話又はテレビ電話を構成してよい。しかしながら上述したように、本開示で説明される技法は一般的に映像コーディングに適用可能であってよく、また無線アプリケーション及び／又は有線アプリケーションに適用されてよい。それぞれの場合において、撮影された映像、事前に撮影された映像、又はコンピュータ生成映像は、映像符号化器２０により符号化されてよい。符号化済み映像の情報は次に、出力インタフェース２２により、コンピュータ可読媒体１６に出力されてよい。

【0054】

コンピュータ可読媒体１６は、無線放送若しくは有線ネットワーク伝送などの一時的媒体、又はハードディスク、フラッシュドライブ、コンパクトディスク、デジタルビデオディスク、ブルーレイディスク、若しくは他のコンピュータ可読媒体などの記憶媒体（すなわち、非一時的記憶媒体）を含んでよい。いくつかの例では、ネットワークサーバ（不図示）が、符号化済み映像データを送信元デバイス１２から受信し、当該符号化済み映像データを、例えばネットワーク伝送を介して送信先デバイス１４に供給してよい。同様に、ディスク打抜き加工設備などの媒体生産設備のコンピューティングデバイスが、符号化済み映像データを送信元デバイス１２から受信し、符号化済み映像データを含むディスクを生産してよい。したがって、コンピュータ可読媒体１６は、様々な例において、様々な形態の１つ又は複数のコンピュータ可読媒体を含むものと理解されてよい。

【0055】

送信先デバイス１４の入力インタフェース２８は、コンピュータ可読媒体１６から情報を受信する。コンピュータ可読媒体１６の情報は、映像符号化器２０により規定され、映像復号器３０によっても用いられ、特性並びに／又はブロック及び他のコーディングされたユニット（例えば、ピクチャのグループ（ＧＯＰ））の処理を説明する構文要素を含む、構文情報を含んでよい。表示デバイス３２は、復号済み映像データをユーザに表示し、ブラウン管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、又は別のタイプの表示デバイスなどの様々な表示デバイスのうちのいずれかを有してよい。

【0056】

映像符号化器２０及び映像復号器３０は、現在開発中の高効率映像コーディング（ＨＥＶＣ）規格などの映像コーディング規格に従って動作してよく、またＨＥＶＣのテストモデル（ＨＭ）に適合してよい。あるいは、映像符号化器２０及び映像復号器３０は、国際電気通信連合の電気通信標準化部門（ＩＴＵ‐Ｔ）のＨ．２６４規格などの、あるいは動画像符号化専門家グループ（ＭＰＥＧ）－４パート１０、高度映像コーディング（ＡＶＣ）Ｈ．２６５／ＨＥＶＣと呼ばれる規格、又はそのような規格の拡張版などの他の専用規格又は業界規格に従って動作してよい。しかしながら、本開示の技法は、任意の特定のコーディング規格に限定されない。映像コーディング規格の他の例には、ＭＰＥＧ－２及びＩＴＵ‐ＴのＨ．２６３が含まれる。図１には示していないが、いくつかの態様では、映像符号化器２０及び映像復号器３０はそれぞれ、音声符号化器及び復号器と一体化されてよく、適切なマルチプレクサ－デマルチプレクサ（ＭＵＸ－ＤＥＭＵＸ）ユニット、又は他のハードウェア及びソフトウェアを含み、共通のデータストリーム又は別個のデータストリーム内の音声及び映像の両方の符号化を処理してよい。妥当な場合、ＭＵＸ－ＤＥＭＵＸユニットは、ＩＴＵのＨ．２２３マルチプレクサプロトコル、又はユーザデータグラムプロトコル（ＵＤＰ）などの他のプロトコルに適合してよい。

【0057】

映像符号化器２０及び映像復号器３０はそれぞれ、１つ又は複数のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ディスクリートロジック、ソフトウェア、ハードウェア、ファームウェア、又はこれらの任意の組み合わせなどの様々な好適な符号化器回路のうちのいずれかとして実装されてよい。これらの技法が部分的にソフトウェアで実装される場合、デバイスが、ソフトウェアの命令を好適な非一時的コンピュータ可読媒体に格納し、１つ又は複数のプロセッサを用いるハードウェアで命令を実行して、本開示の技法を実行してよい。映像符号化器２０及び映像復号器３０のそれぞれは、１つ又は複数の符号化器又は復号器に含まれてよく、そのいずれも一体型符号化器／復号器（コーデック）の一部としてそれぞれのデバイスに統合されてよい。映像符号化器２０及び／又は映像復号器３０を含むデバイスが、集積回路、マイクロプロセッサ、及び／又は携帯電話などの無線通信デバイスを含んでよい。

【0058】

図２は、映像コーディング技法を実装し得る映像符号化器２０の一例を示すブロック図である。映像符号化器２０は、映像スライス内の映像ブロックのイントラコーディング及びインターコーディングを実行してよい。イントラコーディングは、空間予測に依拠して、所与の映像フレーム又はピクチャ内の映像の空間冗長性を低減又は除去する。インターコーディングは、時間予測に依拠して、映像シーケンスの隣接するフレーム又はピクチャ内の映像の時間冗長性を低減又は除去する。イントラモード（Ｉモード）は、いくつかの空間ベースのコーディングモードのうちのいずれかを指してよい。片方向（片予測とも呼ばれる）予測（Ｐモード）又は双予測（双予測とも呼ばれる）（Ｂモード）などのインターモードは、いくつかの時間ベースのコーディングモードのうちのいずれかを指してよい。

【0059】

図２に示すように、映像符号化器２０は、符号化される映像フレーム内の現在の映像ブロックを受信する。図２の例において、映像符号化器２０は、モード選択ユニット４０と、参照フレームメモリ６４と、加算器５０と、変換処理ユニット５２と、量子化ユニット５４と、エントロピーコーディングユニット５６とを含む。次にモード選択ユニット４０は、動き補償ユニット４４と、動き推定ユニット４２と、イントラ予測（イントラ予測とも呼ばれる）ユニット４６と、分割ユニット４８とを含む。映像符号化器２０はまた、映像ブロック再構成のために、逆量子化ユニット５８と、逆変換ユニット６０と、加算器６２とを含む。非ブロック化フィルタ（図２には示されていない）が、ブロック境界をフィルタリングして、再構成済み映像から濃淡のむらがあるアーチファクトを除去するために含まれてもよい。必要であれば、非ブロック化フィルタは通常、加算器６２の出力をフィルタリングすることになるであろう。追加のフィルタ（ループ内又はループ後）も、非ブロック化フィルタに加えて用いられてよい。そのようなフィルタは簡略して表現するために示されていないが、必要であれば、（ループ内フィルタとして）加算器５０の出力をフィルタリングしてよい。

【0060】

符号化処理の際に、映像符号化器２０は符号化される映像フレーム又はスライスを受信する。フレーム又はスライスは、複数の映像ブロックに分割されてよい。動き推定ユニット４２及び動き補償ユニット４４は、受信した映像ブロックのインター予測コーディングを、１つ又は複数の参照フレーム内の１つ又は複数のブロックと比較することで行い、時間予測を提供する。イントラ予測ユニット４６は代替的に、受信した映像ブロックのイントラ予測コーディングを、コーディングされるべきブロックと同じフレーム又はスライス内の１つ又は複数の隣接ブロックと比較することで行い、空間予測を提供してよい。映像符号化器２０は、複数のコーディングパスを実行して、例えば、映像データのブロックごとに適切なコーディングモードを選択してよい。

【0061】

さらに、分割ユニット４８は、以前のコーディングパスにおける以前の分割方式の評価に基づいて、映像データの各ブロックを複数のサブブロックに分割してよい。例えば、分割ユニット４８は最初に、フレーム又はスライスを最大コーディングユニット（ＬＣＵ）に分割し、レート歪み解析（例えばレート歪み最適化）に基づいて、ＬＣＵのそれぞれを複数のサブコーディングユニット（サブＣＵ）に分割してよい。モード選択ユニット４０はさらに、ＬＣＵを複数のサブＣＵに分割することを示すクアッドツリーデータ構造体を生み出してもよい。クアッドツリーのリーフノードＣＵは、１つ又は複数の予測ユニット（ＰＵ）及び１つ又は複数の変換ユニット（ＴＵ）を含んでよい。

【0062】

本開示は、ＨＥＶＣの文脈においてＣＵ、ＰＵ、若しくはＴＵのうちのいずれか、又は他の規格の文脈において同様のデータ構造体（例えば、Ｈ．２６４／ＡＶＣにおける、そのマクロブロック及びサブブロック）を指すのに「ブロック」という用語を用いる。ＣＵは、コーディングノード、コーディングノードに関連付けられたＰＵ及びＴＵを含む。ＣＵのサイズはコーディングノードのサイズに対応し、形状は正方形である。ＣＵのサイズは、８×８画素から最大６４×６４画素以上のツリーブロックのサイズまでの範囲に及んでよい。各ＣＵは、１つ又は複数のＰＵ及び１つ又は複数のＴＵを含んでよい。ＣＵに関連付けられた構文データが、例えば、ＣＵを１つ又は複数のＰＵに分割することを記述してよい。分割モードは、ＣＵがスキップ又はダイレクトモードで符号化されるのか、イントラ予測モードで符号化されるのか、又はインター予測（インター予測とも呼ばれる）モードで符号化されるのかで、異なってよい。ＰＵは、非正方形の形状になるように分割されてよい。ＣＵに関連付けられた構文データは、例えば、クアッドツリーに従ってＣＵを１つ又は複数のＴＵに分割することを記述してもよい。ＴＵは、正方形又は非正方形（例えば、矩形）の形状になり得る。

【0063】

モード選択ユニット４０は、コーディングモードのうちの１つ（イントラ符号化モード又はインター符号化モード）を、例えばエラー結果に基づいて選択してよく、結果として得られるイントラコーディングされたブロック又はインターコーディングされたブロックを加算器５０に提供して残差ブロックデータを生成し、加算器６２に提供して参照フレームとして用いられる符号化済みブロックを再構成する。モード選択ユニット４０はまた、動きベクトル、イントラモードインジケータ、分割情報、及び他のそのような構文情報などの構文要素をエントロピーコーディングユニット５６に提供する。

【0064】

動き推定ユニット４２及び動き補償ユニット４４は、高度に統合されてよいが、概念的な説明のために別々に示されている。動き推定ユニット４２により行われる動き推定は、映像ブロックの動きを推定する動きベクトルを生成する処理である。動きベクトルは、例えば、参照フレーム（又は他のコーディングされたユニット）内の予測ブロックに対する、現在の映像フレーム又はピクチャ内の映像ブロックのＰＵの変位を、現在のブロックが現在のフレーム（又は他のコーディングされたユニット）内でコーディングされることと比較して示してよい。予測ブロックは、画素差分の点で、コーディングされるブロックによく一致することが分かっているブロックであり、画素差分は、差分絶対値和（ＳＡＤ）、差分二乗和（ＳＳＤ）、又は他の差分メトリクスによって決定されてよい。いくつかの例において、映像符号化器２０は、参照フレームメモリ６４に格納された参照ピクチャのサブ整数画素位置の値を計算してよい。例えば、映像符号化器２０は、参照ピクチャの１／４画素位置、１／８画素位置、又は他の端数画素位置の値を補間してよい。したがって、動き推定ユニット４２は、完全画素位置及び端数画素位置に対して動き検索を実行し、端数画素精度を有する動きベクトルを出力してよい。

【0065】

動き推定ユニット４２は、インターコーディングされたスライス内の映像ブロックのＰＵに対する動きベクトルを、ＰＵの位置と参照ピクチャの予測ブロックの位置とを比較することで計算する。参照ピクチャは、第１の参照ピクチャリスト（リスト０）又は第２の参照ピクチャリスト（リスト１）から選択されてよく、これらのリストのそれぞれは、参照フレームメモリ６４に格納された１つ又は複数の参照ピクチャを識別する。動き推定ユニット４２は、計算された動きベクトルをエントロピー符号化ユニット５６及び動き補償ユニット４４に送信する。

【0066】

動き補償ユニット４４により行われる動き補償は、動き推定ユニット４２により決定される動きベクトルに基づいて予測ブロックを取得する又は生成することを必要とし得る。ここでも、動き推定ユニット４２及び動き補償ユニット４４は、いくつかの例において機能的に統合されてよい。動き補償ユニット４４は、現在の映像ブロックのＰＵに対する動きベクトルを受信すると、動きベクトルが複数の参照ピクチャリストのうちの１つにおいて示す予測ブロックの位置を特定してよい。加算器５０は、後述するように、コーディングされる現在の映像ブロックの画素値から予測ブロックの画素値を減算することで残差映像ブロックを形成し、画素差分値を形成する。一般的に、動き推定ユニット４２は、輝度成分に対して動き推定を行い、動き補償ユニット４４は輝度成分に基づいて計算された動きベクトルをクロマ成分及び輝度成分の両方に用いる。モード選択ユニット４０も、映像復号器３０が映像スライスの映像ブロックを復号する際に用いるために、映像ブロック及び映像スライスと関連付けられた構文要素を生成してよい。

【0067】

イントラ予測ユニット４６は、上述したように、動き推定ユニット４２及び動き補償ユニット４４により行われるインター予測の代替として、現在のブロックをイントラ予測してよい。具体的には、イントラ予測ユニット４６は、現在のブロックを符号化するのに用いるイントラ予測モードを決定してよい。いくつかの例において、イントラ予測ユニット４６は、例えば別個の符号化パスで、様々なイントラ予測モードを用いて現在のブロックを符号化してよく、イントラ予測ユニット４６（又はいくつかの例ではモード選択ユニット４０）は、テストしたモードから、用いるのに適切なイントラ予測モードを選択してよい。

【0068】

例えば、イントラ予測ユニット４６は、様々なテストされたイントラ予測モードに対して、レート歪み解析を用いてレート歪み値を計算し、テストしたモードの中で最良のレート歪み特性を有するイントラ予測モードを選択してよい。レート歪み解析は概して、符号化済みブロックと、符号化済みブロックを生み出すために符号化された元の符号化前のブロックとの間の歪み（又はエラー）の量、及び符号化済みブロックを生み出すのに用いられるビットレート（すなわち、ビット数）を決定する。イントラ予測ユニット４６は、様々な符号化済みブロックの歪み及びレートから比を計算し、どのイントラ予測モードが該当ブロックに対して最良のレート歪み値を示すかを判定してよい。

【0069】

さらに、イントラ予測ユニット４６は、深度モデリングモード（ＤＭＭ）を用いて、深度マップの深度ブロックをコーディングするように構成されてよい。モード選択ユニット４０は、利用可能なＤＭＭモードが、イントラ予測モード及び（例えば、レート歪み最適化（ＲＤＯ）を用いる）その他のＤＭＭモードより良好なコーディング結果を生み出すかどうかを判定してよい。深度マップに対応するテクスチャ画像のデータが、参照フレームメモリ６４に格納されてよい。動き推定ユニット４２及び動き補償ユニット４４は、深度マップの深度ブロックをインター予測するように構成されてもよい。

【0070】

イントラ予測ユニット４６は、あるブロックに対してイントラ予測モード（例えば、従来のイントラ予測モード又は複数のＤＭＭモードのうちの１つ）を選択した後に、当該ブロックに対して選択したイントラ予測モードを示す情報をエントロピーコーディングユニット５６に供給してよい。エントロピーコーディングユニット５６は、選択されたイントラ予測モードを示す情報を符号化してよい。映像符号化器２０は、伝送されるビットストリームにコンフィギュレーションデータを含んでよく、コンフィギュレーションデータには、複数のイントラ予測モードインデックステーブル及び複数の修正されたイントラ予測モードインデックステーブル（符号語マッピングテーブルとも呼ばれる）、様々なブロックの符号化コンテキストの定義、並びにコンテキストごとに用いられる最も可能性の高いイントラ予測モード、イントラ予測モードインデックステーブル、及び修正されたイントラ予測モードインデックステーブルのインジケーションを含んでよい。

【0071】

映像符号化器２０は、モード選択ユニット４０からの予測データをコーディングされる元の映像ブロックから減算することで残差映像ブロックを形成する。加算器５０は、この減算処理を行う成分又は複数の成分を表す。

【0072】

変換処理ユニット５２は、離散コサイン変換（ＤＣＴ）又は概念的に同様の変換などの変換を残差ブロックに適用して、残差変換係数値を含む映像ブロックを生成する。変換処理ユニット５２は、概念的にＤＣＴと同様の他の変換を実行してよい。ウェーブレット変換、整数変換、サブバンド変換、又は他のタイプの変換も用いられる可能性がある。

【0073】

変換処理ユニット５２は、残差ブロックに変換を適用して、残差変換係数のブロックを生成する。この変換は、画素値ドメインからの残差情報を、周波数ドメインなどの変換ドメインに変換してよい。変換処理ユニット５２は、結果として得られる変換係数を量子化ユニット５４に送信してよい。量子化ユニット５４は、この変換係数を量子化して、ビットレートをさらに低減する。量子化処理は、これらの係数の一部又は全てと関連付けられたビット深度を低減してよい。量子化の程度は、量子化パラメータを調整することで修正されてよい。いくつかの例において、量子化ユニット５４は次に、量子化変換係数を含む行列のスキャンを実行してよい。あるいは、エントロピー符号化ユニット５６がスキャンを実行してもよい。

【0074】

量子化に続いて、エントロピーコーディングユニット５６は、量子化変換係数をエントロピーコーディングする。例えば、エントロピーコーディングユニット５６は、コンテキスト適応型変数長コーディング（ＣＡＶＬＣ）、コンテキスト適応型２値算術コーディング（ＣＡＢＡＣ）、構文ベースのコンテキスト適応型２値算術コーディング（ＳＢＡＣ）、確率区間区分エントロピー（ＰＩＰＥ）コーディング、又は別のエントロピーコーディング技法を実行してよい。コンテキストベースのエントロピーコーディングの場合、コンテキストは隣接ブロックに基づいてよい。エントロピーコーディングユニット５６によるエントロピーコーディングに続いて、符号化済みビットストリームは、別のデバイス（例えば、映像復号器３０）に伝送されても、後の伝送又は検索のためにアーカイブされてもよい。

【0075】

逆量子化ユニット５８及び逆変換ユニット６０が逆量子化及び逆変換にそれぞれ適用され、例えば、参照ブロックとして後で用いるために、画素ドメインにおいて残差ブロックを再構成する。動き補償ユニット４４は、残差ブロックを参照フレームメモリ６４の複数のフレームのうちの１つの予測ブロックに追加することにより、参照ブロックを計算してよい。動き補償ユニット４４はまた、１つ又は複数の補間フィルタを再構成済み残差ブロックに適用し、動き推定で使用するサブ整数画素値を計算してよい。加算器６２は、動き補償ユニット４４により生成された再構成済み残差ブロックを動き補償予測ブロックに追加して、参照フレームメモリ６４に記憶するために再構成済み映像ブロックを生成する。再構成済み映像ブロックは、次の映像フレーム内のブロックをインターコーディングするために、動き推定ユニット４２及び動き補償ユニット４４によって参照ブロックとして用いられてよい。

【0076】

図３は、映像コーディング技法を実装し得る映像復号器３０の一例を示すブロック図である。図３の例において、映像復号器３０は、エントロピー復号ユニット７０と、動き補償ユニット７２と、イントラ予測ユニット７４と、逆量子化ユニット７６と、逆変換ユニット７８と、参照フレームメモリ８２と、加算器８０とを含む。映像復号器３０は、いくつかの例において、映像符号化器２０（図２）に関して説明した符号化パスに概して相補的な復号パスを実行してよい。動き補償ユニット７２は、エントロピー復号ユニット７０から受信する動きベクトルに基づいて予測データを生成してよく、イントラ予測ユニット７４は、エントロピー復号ユニット７０から受信するイントラ予測モードインジケータに基づいて予測データを生成してよい。

【0077】

復号処理の際に、映像復号器３０は、符号化済み映像スライスの映像ブロック、及び映像符号化器２０からの関連構文要素を表す符号化済み映像ビットストリームを受信する。映像復号器３０のエントロピー復号ユニット７０は、ビットストリームをエントロピー復号して、量子化された係数、動きベクトル又はイントラ予測モードインジケータ、及び他の構文要素を生成する。エントロピー復号ユニット７０は、動きベクトル及び他の構文要素を動き補償ユニット７２に転送する。映像復号器３０は、映像スライスレベル及び／又は映像ブロックレベルで構文要素を受信してよい。

【0078】

映像スライスがイントラコーディングされた（Ｉ）スライスとしてコーディングされる場合、イントラ予測ユニット７４は、信号で伝えられたイントラ予測モードと現在のフレーム又はピクチャのこれまでに復号されたブロックからのデータとに基づいて、現在の画像スライスの映像ブロックに対する予測データを生成してよい。映像フレームがインターコーディングされた（例えば、Ｂ、Ｐ、又はＧＰＢ）スライスとしてコーディングされる場合、動き補償ユニット７２は、エントロピー復号ユニット７０から受信する動きベクトルと他の構文要素とに基づいて、現在の画像スライスの映像ブロックに対する予測ブロックを生成する。予測ブロックは、複数の参照ピクチャリストのうちの１つにある複数の参照ピクチャのうちの１つから生成されてよい。映像復号器３０は、参照フレームメモリ８２に格納された参照ピクチャに基づき、デフォルトの構成技法を用いて、参照フレームリスト（リスト０及びリスト１）を構成してよい。

【0079】

動き補償ユニット７２は、動きベクトル及び他の構文要素を解析することで、現在の画像スライスの映像ブロックに対する予測情報を決定し、当該予測情報を用いて、復号された現在の映像ブロックに対する予測ブロックを生成する。例えば、動き補償ユニット７２は、受信した構文要素の一部を用いて、映像スライスの映像ブロックをコーディングするのに用いられる予測モード（例えば、イントラ予測又はインター予測）、インター予測スライスのタイプ（例えば、Ｂスライス、Ｐスライス、又はＧＰＢスライス）、スライスの複数の参照ピクチャリストのうちの１つ又は複数に対する構成情報、スライスのインター符号化済み映像ブロックごとの動きベクトル、スライスのインターコーディングされた映像ブロックごとのインター予測ステータス、及び現在の画像スライスの映像ブロックを復号するための他の情報を決定する。

【0080】

動き補償ユニット７２は、補間フィルタに基づいて補間も実行してよい。動き補償ユニット７２は映像ブロックの符号化の際に映像符号化器２０により用いられる補間フィルタを用いて、参照ブロックのサブ整数画素に対する補間値を計算してよい。この場合、動き補償ユニット７２は、受信した構文要素から映像符号化器２０により用いられる補間フィルタを決定し、当該補間フィルタを用いて予測ブロックを生成してよい。

【0081】

深度マップに対応するテクスチャ画像のデータが、参照フレームメモリ８２に格納されてよい。動き補償ユニット７２は、深度マップの深度ブロックをインター予測するように構成されてもよい。

【0082】

上記を念頭に置いて、本開示の基本概念の一部が説明される。

【0083】

ＰＣＣ Ｃａｔ２では、上述した第１の問題を解決するために、１つの時間インスタンス（例えば、１つのアクセスユニット）に関連するデータユニットは、復号順に連続してビットストリームに配置されるはずである。これらのデータユニットが復号順に連続してビットストリームに配置されると、各データユニットのタイプを識別することで、各データユニットを適切な復号器コンポーネントにルーティングする識別が可能になる。この設計はまた、既存のビデオコーデックを活用して、動的な点群のジオメトリ情報及びテクスチャ情報を圧縮するという、ＰＣＣ Ｃａｔ２コーデックの根底にある重要な構想に違反するのを回避できるはずである。

【0084】

既存のビデオコーデックを活用し、例えば、例としてＨＥＶＣを挙げると、ジオメトリ情報及びテクスチャ情報を別々に圧縮し、同時に１つの自己完結型のＰＣＣ Ｃａｔ２ビットストリームを有することができるために、以下の態様は次のように明確に指定されるはずである。すなわち、（１）ＰＣＣ Ｃａｔ２ビットストリームからのジオメトリ成分用の適合ＨＥＶＣビットストリームの抽出／構成、（２）ＰＣＣ Ｃａｔ２ビットストリームからのテクスチャ成分用の適合ＨＥＶＣビットストリームの抽出／構成、及び（３）ジオメトリ成分及びテクスチャ成分用に抽出された適合ＨＥＶＣビットストリームのそれぞれの適合点（すなわち、プロファイル、階層、レベル）のシグナリング／インジケーションである。

【0085】

上述した問題を解決するために、且つ上述した制約を全て満たすために、本開示は、ＰＣＣの高レベルな構文に関する２つの代替的なセットの方法を提供する。

【0086】

第１セットの方法では、ＰＣＣ Ｃａｔ２のジオメトリ成分及びテクスチャ成分のコーディングに用いられ得る全てのビデオコーデックに対して、共通の高レベルな構文が存在する。このセットの方法は、次のように要約される。

【0087】

図４は、ＰＣＣと互換性のあるデータ構造体４００を示す。データ構造体４００は、符号化器により生成され且つ復号器により受信されるビットストリームの一部を表してよい。図示するように、データユニットヘッダ４０４（ＰＣＣ ＮＡＬユニットヘッダと呼ばれることがある）がデータユニット４０２（ＰＣＣ ＮＡＬユニットと呼ばれることがある）ごとに追加される。１つのデータユニット４０２と１つのデータユニットヘッダ４０４とが図４のデータ構造体４００に示されているが、実際の応用では、任意の数のデータユニット４０２及びデータユニットヘッダ４０４がデータ構造体４００に含まれてよい。さらに言えば、データ構造体４００を含むビットストリームが一連のデータユニット４０２を含み、それぞれがデータユニットヘッダ４０４を含んでよい。

【0088】

データユニットヘッダ４０４は、例えば、１つ又は２つのバイトを含んでよい。一実施形態において、各データユニット４０２は、１つのＰＣＣ ＮＡＬユニットとして形成される。データユニット４０２はペイロード４０６を含む。一実施形態において、データユニット４０６は、補足拡張情報（ＳＥＩ）メッセージ、シーケンスパラメータセット、ピクチャパラメータセット、スライス情報なども含んでよい。

【0089】

一実施形態において、データユニット４０２のペイロード４０６は、ＨＥＶＣユニットであってもＡＶＣ ＮＡＬユニットであってもよい。一実施形態において、ペイロード４０６は、ジオメトリ成分又はテクスチャ成分のデータを含んでよい。一実施形態において、ジオメトリ成分は、点群フレームと関連付けられた直交座標のセットである。一実施形態において、テクスチャ成分は、点群フレームの輝度サンプル値のセットである。ＨＥＶＣが用いられる場合、データユニット４０２は、ペイロード４０６としてＨＥＶＣ ＮＡＬユニットを含むＰＣＣ ＮＡＬユニットと呼ばれることがある。ＡＶＣが用いられる場合、データユニット４０２は、ペイロード４０６としてＡＶＣ ＮＡＬユニットを含むＰＣＣ ＮＡＬユニットと呼ばれることがある。

【0090】

一実施形態において、データユニットヘッダ４０４（例えば、ＰＣＣ ＮＡＬユニットヘッダ）は、以下に要約されるように設計される。

【0091】

まず、データユニットヘッダ４０４はタイプインジケータを含む。タイプインジケータは、例えば、５ビットであってよい。タイプインジケータは、ペイロード４０６で搬送されるコンテンツのタイプを指定する。例えば、タイプインジケータは、ペイロード４０６がジオメトリ情報又はテクスチャ情報を含むことを指定してよい。

【0092】

一実施形態において、予約されたデータユニット（データユニット４０２と同様であるが、後で用いるために予約されている）の一部は、ＰＣＣ Ｃａｔ１３のデータユニットに用いられてよい。したがって、本開示の構想は、ＰＣＣ Ｃａｔ１３にも適用される。そのため、ＰＣＣ Ｃａｔ２とＰＣＣ Ｃａｔ１３とを１つのコーデック標準仕様書に統一することが可能である。

【0093】

上述したように、現在のビットストリームフォーマットは、例えば、新たなＮＡＬユニット又はＰＣＣ ＮＡＬユニットの開始を信号で伝える開始コードパターンのエミュレーションを可能にする。開始コードパターンは、例えば、０ｘ０００３であってよい。現在のビットストリームフォーマットは開始コードパターンのエミュレーションを可能にするので、開始コードは意図せずに信号で伝えられることがある。本開示は、この課題を解決するために、ＰＣＣ ＮＡＬユニット構文及びセマンティクス（以下を参照）を提供する。本明細書に示されるＰＣＣ ＮＡＬユニット構文及びセマンティクスによって、開始コードエミュレーションの防止がＰＣＣ ＮＡＬユニットごとに、そのコンテンツに関係なく確実に行われる。したがって、１バイト又は２バイトのデータユニットヘッダ４０４の最後のバイト（例えば、１バイトであれば、データユニットヘッダそのもの）は、０ｘ００に等しくなるのを禁じられている。

【0094】

さらに、グループオブフレームヘッダ４０８（グループオブフレームヘッダＮＡＬユニットとも呼ばれる）は、グループオブフレームヘッダパラメータを搬送するように設計される。さらに、グループオブフレームヘッダＮＡＬユニットは、例えば、それぞれのジオメトリビットストリーム又はテクスチャビットストリームのプロファイル及びレベルなどの、他の全体的な情報のシグナリングを含む。一実施形態において、プロファイルは、構文の指定サブセット又はコーディングツールのサブセットである。一実施形態において、レベルは、構文要素及び変数が用い得る値に対する制約の規定セットのである。一実施形態において、ビットストリームのプロファイルとレベルとの組み合わせは、ビットストリームの復号に必要な特定の復号能力を表す。さらに、プロファイル及びレベルが、補助情報及び占有マップの復号、並びに（ジオメトリ、テクスチャ、補助情報、及び占有マップの復号結果を利用する）点群再構成処理のためにも規定される場合、当該プロファイル及びレベルもグループオブフレームヘッダ４０８において信号で伝えられる。一実施形態において、ＰＣＣ補助情報は、パッチ情報、及び（ＰＣＣコーディングされたビットストリームからの点群信号の再構成に用いられる）点局所再構成情報のような情報を指す。一実施形態において、ＰＣＣ占有マップは、テクスチャ値及び他の属性がサンプリングされる対象物によって３Ｄ空間のどの部分が占有されるかに関する情報を意味する。

【0095】

以下の構文で示されるように、異なるタイプのデータユニット４０２（ＰＣＣ ＮＡＬユニットとも呼ばれる）の順序に関する制約は明確に指定される。さらに、（データユニット４０２、データユニットヘッダ４０４などのうちのいくつかを含み得る）アクセスユニット４１０の開始は明確に指定される。

【0096】

さらに、それぞれのジオメトリビットストリーム又はテクスチャビットストリームの抽出／構成用の処理は、後述する構文及び／又はセマンティクスに明確に指定される。

【0097】

第２セットの方法では、異なる全体的な構文が異なるビデオコーデックに用いられる。ジオメトリ及びテクスチャのコーディングにＨＥＶＣを用いるＰＣＣ Ｃａｔ２は、ＨＥＶＣに対する修正版として指定され、ジオメトリ及びテクスチャのコーディングにＡＶＣを用いるＰＣＣ Ｃａｔ２は、ＡＶＣに対する修正版として指定される。このセットの方法は、次のように要約される。

【0098】

ジオメトリ及びテクスチャのコーディングにＨＥＶＣを用いるＰＣＣ Ｃａｔ２では、ジオメトリ及びテクスチャは３つの別個の層（例えば、ジオメトリ用にｄ０及びｄ１という２つの層、テクスチャ用に１つの層）とみなされる。ＳＥＩメッセージ又は新たなタイプのＮＡＬユニットが、占有マップ及び補助情報に用いられる。２つの新たなＳＥＩメッセージ（１つは占有マップ用、もう１つは補助情報用）が指定される。別のＳＥＩメッセージ（シーケンスレベル）が、グループオブフレームヘッダパラメータ及び他の全体的な情報を搬送するように指定される。このＳＥＩメッセージは、第１セットの方法におけるグループオブフレームヘッダ４０８と同様である。

【0099】

ジオメトリ及びテクスチャのコーディングにＡＶＣを用いるＰＣＣ Ｃａｔ２では、ジオメトリ及びテクスチャは、３つの別個の層（例えば、ジオメトリ用にｄ０及びｄ１という２つの層、テクスチャ用に１つの層）とみなされる。ＳＥＩメッセージ又は新たなタイプのＮＡＬユニットが、占有マップ及び補助パッチ情報に用いられる。独立してコーディングされた非ベース層の抽出と、適合点のシグナリング（例えば、プロファイル及びレベル）とは、単一層ビットストリームとして指定される。２つの新たなタイプのＳＥＩメッセージ（１つは占有マップ用、もう１つは補助情報用）が指定される。別のＳＥＩメッセージ（シーケンスレベル）が、グループオブフレームヘッダパラメータ及び他の全体的な情報を搬送するように指定される。このＳＥＩメッセージは、第１セットの方法におけるグループオブフレームヘッダ４０８と同様である。

【0100】

上述した第１セットの方法は、以下に開示する定義、略語、構文、及びセマンティクスに基づいて実現され得る。具体的に言及されない態様は、最新のＰＣＣ Ｃａｔ２のＷＤに見られるものと同じである。

【0101】

以下の定義が適用される。

【0102】

ビットストリーム：１つ又は複数のＣＰＳを形成するコーディングされた点群フレーム及び関連データの表現を構成する一連のビットである。

【0103】

バイト：８ビットの配列であり、ビット値の配列として書き込まれる又は読み出される場合、配列内の左端及び右端のビットはそれぞれ、最上位ビット及び最下位ビットを表す。

【0104】

コーディングされたＰＣＣシーケンス（ＣＰＳ）：復号順に、ＰＣＣイントラランダムアクセスピクチャ（ＩＲＡＰ）のＡＵ、その後に続くＰＣＣ ＩＲＡＰ ＡＵではないゼロ又はゼロより多くのＰＣＣ ＡＵを含み、後続の全てのＰＣＣ ＡＵまでを含むが、ＰＣＣ ＩＲＡＰ ＡＵである後続のＰＣＣ ＡＵを何も含まない、ＰＣＣ ＡＵの配列である。

【0105】

復号順：構文要素が復号処理によって処理される順序である。

【0106】

復号処理：この仕様書（ＰＣＣ Ｃａｔ２のＷＤとも呼ばれる）に指定される、ビットストリームを読み出し、ビットストリームから復号点群フレームを抽出する処理である。

【0107】

グループオブフレームヘッダＮＡＬユニット：ＧＯＦ＿ＨＥＡＤＥＲに等しいＰｃｃＮａｌＵｎｉｔＴｙｐｅを有するＰＣＣ ＮＡＬユニットである。

【0108】

ＰＣＣ ＡＵ：指定された分類ルールに従って互いに関連付けられ、復号順に連続しており、１つの特定の表示時間に関連する全てのＰＣＣ ＮＡＬユニットを含む、ＰＣＣ ＮＡＬユニットのセットである。

【0109】

ＰＣＣ ＩＲＡＰ ＡＵ：グループオブフレームヘッダＮＡＬユニットを含むＰＣＣ ＡＵである。

【0110】

ＰＣＣ ＮＡＬユニット：続くデータのタイプのインジケーションと、必要に応じてエミュレーション防止バイトが組み入れられたＲＢＳＰの形態で当該データを含むバイトとを含む構文構造である。

【0111】

ローバイトシーケンスペイロード（ＲＢＳＰ）：ＰＣＣ ＮＡＬユニットにカプセル化され、空であるか、又はＲＢＳＰ停止ビットと０に等しいゼロ又はゼロより多くの後続ビットとが後に続く構文要素を含むデータビット列（ＳＯＤＢ）の形態を有する、整数個のバイトを含む構文構造である。

【0112】

ローバイトシーケンスペイロード（ＲＢＳＰ）停止ビット：ＲＢＳＰ内においてＳＯＤＢの後に存在する１に等しいビットであり、ＲＢＳＰ内の端部の位置は、ＲＢＳＰ内の最後の非ゼロビットであるＲＢＳＰ停止ビットをＲＢＳＰの端部から検索することにより識別することができる。

【0113】

ＳＯＤＢ：ＲＢＳＰ内においてＲＢＳＰ停止ビットの前に存在する構文要素を表す複数個のビットの配列であり、左端のビットは先頭の最上位ビットであるとみなされ、右端のビットは最後の最下位ビットであるとみなされる。

【0114】

構文要素：ビットストリームで表されるデータの要素である。

【0115】

構文構造：指定された順序でビットストリーム内に一緒に存在するゼロ又はゼロより多くの構文要素である。

【0116】

映像ＡＵ：特定のビデオコーデック当たりのアクセスユニットである。

【0117】

映像ＮＡＬユニット：ＧＥＯＭＥＴＲＹ＿Ｄ０、ＧＥＯＭＥＴＲＹ＿Ｄ１、又はＴＥＸＴＵＲＥ＿ＮＡＬＵに等しいＰｃｃＮａｌＵｎｉｔＴｙｐｅを有するＰＣＣ ＮＡＬユニットである。

【0118】

以下の略語が適用される。

【0119】

ＡＵ：アクセスユニット

【0120】

ＣＰＳ：コーディングされたＰＣＣシーケンス

【0121】

ＩＲＡＰ：イントラランダムアクセスポイント

【0122】

ＮＡＬ：ネットワーク抽象化層

【0123】

ＰＣＣ：点群コーディング

【0124】

ＲＢＳＰ：ローバイトシーケンスペイロード

【0125】

ＳＯＤＢ：データビット列

【0126】

以下では、構文、セマンティクス、及びサブビットストリーム抽出処理を提供する。その関連で、最新のＰＣＣ Ｃａｔ２のＷＤの７．３項にある構文は、以下の事項に置き換えられる。

【0127】

ＰＣＣ ＮＡＬユニット構文が提供される。具体的には、一般的なＰＣＣ ＮＡＬユニット構文は次の通りである。

【数1】

【0128】

ＰＣＣ ＮＡＬユニットヘッダ構文は次の通りである。

【数2】

【0129】

ローバイトシーケンスペイロード、トレーリングビット、バイトアライメント構文が提供される。具体的には、グループオブフレームＲＢＳＰ構文は次の通りである。

【数3】

【0130】

補助情報フレームＲＢＳＰ構文は次の通りである。

【数4】

【0131】

占有マップフレームＲＢＳＰ構文は次の通りである。

【数5】

【0132】

ＨＥＶＣ仕様書の７．３．２．１１項にあるＲＢＳＰトレーリングビット構文が適用される。同様に、ＨＥＶＣ仕様書の７．３．２．１２項にあるバイトアライメント構文が適用される。ＰＣＣプロファイル及びレベルの構文は次の通りである。

【数6】

【0133】

最新のＰＣＣ Ｃａｔ２のＷＤの７．４項にあるセマンティクスは、以下の事項及びその副項に置き換えられる。

【0134】

一般的に、構文構造及びこれらの構造内の構文要素に関連したセマンティクスが、この副項に指定される。構文要素のセマンティクスが表又は表のセットを用いて指定される場合、表に指定されていない任意の値は、他に特に指定がなければ、ビットストリームに存在しないものとする。

【0135】

ＰＣＣ ＮＡＬユニットのセマンティクスが説明される。一般的なＰＣＣ ＮＡＬユニットのセマンティクスの場合、ＨＥＶＣ仕様書の７．４．２．１項にある一般的なＮＡＬユニットのセマンティクスが適用される。ＰＣＣ ＮＡＬユニットヘッダのセマンティクスは次の通りである。

【0136】

ｆｏｒｂｉｄｄｅｎ＿ｚｅｒｏ＿ｂｉｔは、０に等しいものとする。

【0137】

ｐｃｃ＿ｎｕｈ＿ｒｅｓｅｒｖｅｄ＿ｚｅｒｏ＿２ｂｉｔｓは、この仕様書のこのバージョンに適合するビットストリームでは、０に等しいものとする。ｐｃｃ＿ｎｕｈ＿ｒｅｓｅｒｖｅｄ＿ｚｅｒｏ＿２ｂｉｔｓの他の値は、将来の使用のためにＩＳＯ／ＩＥＣにより予約されている。復号器は、ｐｃｃ＿ｎｕｈ＿ｒｅｓｅｒｖｅｄ＿ｚｅｒｏ＿２ｂｉｔｓの値を無視するものとする。

【0138】

ｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ＿ｐｌｕｓ１－１は、変数ＰｃｃＮａｌＵｎｉｔＴｙｐｅの値を指定し、ＰｃｃＮａｌＵｎｉｔＴｙｐｅは、表１に指定されるように（下記を参照）、ＰＣＣ ＮＡＬユニットに含まれるＲＢＳＰデータ構造体のタイプを指定する。変数ＮａｌＵｎｉｔＴｙｐｅは、次のように指定される。
ＰｃｃＮａｌＵｎｉｔＴｙｐｅ＝ｐｃｃ＿ｃａｔｅｇｏｒｙ２＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ＿ｐｌｕｓ１－１ （７－１）

【0139】

セマンティクスが指定されていない、ＵＮＳＰＥＣ２５～ＵＮＳＰＥＣ３０（両端を含む）の範囲内にあるｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有するＰＣＣ ＮＡＬユニットは、本明細書に指定される復号処理に影響を与えないものとする。

【0140】

注１：ＵＮＳＰＥＣ２５～ＵＮＳＰＥＣ３０の範囲内にあるＰＣＣ ＮＡＬユニットのタイプは、その用途により決定されるように用いられてよい。ＰｃｃＮａｌＵｎｉｔＴｙｐｅのこれらの値に対する復号処理は、本明細書では指定されない。異なる用途では、これらのＰＣＣ ＮＡＬユニットタイプを異なる目的に用いるかもしれないので、これらのＰｃｃＮａｌＵｎｉｔＴｙｐｅの値を用いてＰＣＣ ＮＡＬユニットを生成する符号化器の設計と、これらのＰｃｃＮａｌＵｎｉｔＴｙｐｅの値を用いてＰＣＣ ＮＡＬユニットのコンテンツを解釈する復号器の設計とには、特別な注意を払う必要がある。本明細書は、これらの値のいかなる管理も定めていない。これらのＰｃｃＮａｌＵｎｉｔＴｙｐｅの値は、使用法の「不一致」（例えば、同じＰｃｃＮａｌＵｎｉｔＴｙｐｅの値に対するＰＣＣ ＮＡＬユニットコンテンツの意味の異なる定義）が重要でない、又はあり得ない、又は管理されている（例えば、制御アプリケーション若しくはトランスポート仕様書で、又はビットストリームが配信される環境を制御することにより、規定されているか又は管理されている）という文脈で使用する場合に限り好適であるかもしれない。

【0141】

ビットストリームの復号ユニット内のデータ量を決定する以外の目的で、復号器は、ＰｃｃＮａｌＵｎｉｔＴｙｐｅの予約値を用いる全てのＰＣＣ ＮＡＬユニットのコンテンツを無視する（ビットストリームから除去して棄却する）ものとする。

【0142】

注２：この要件により、この仕様書に対する互換性のある拡張版の将来の定義が可能となる。

【表1】

【0143】

注３：識別されたビデオコーデック（例えば、ＨＥＶＣ又はＡＶＣ）が、各ＣＰＳの第１のＰＣＣ ＡＵに存在するグループオブフレームヘッダＮＡＬユニットに示されている。

【0144】

ＲＢＳＰ内のＳＯＤＢのカプセル化（情報伝達）が提供される。その関連で、ＨＥＶＣ仕様書の７．４．２．３項が適用される。

【0145】

ＰＣＣ ＮＡＬユニット及びＡＵ及びＣＰＳへの関連性についての順序が提供される。一般的に、この項は、ビットストリーム内のＰＣＣ ＮＡＬユニットの順序に関する制約を指定する。

【0146】

これらの制約に従うビットストリーム内のＰＣＣ ＮＡＬユニットのいかなる順序も、本明細書ではＰＣＣ ＮＡＬユニットの復号順と呼ばれる。映像ＮＡＬユニットではないＰＣＣ ＮＡＬユニットにおいては、７．３項の構文が構文要素の復号順を指定する。映像ＮＡＬユニットにおいては、識別されたビデオコーデックの仕様書で指定される構文が、構文要素の復号順を指定する。復号器は、ＰＣＣ ＮＡＬユニット及びその構文要素を復号順に受信することができる。

【0147】

ＰＣＣ ＮＡＬユニット及びそのＰＣＣ ＡＵへの関連性についての順序が提供される。

【0148】

この項は、ＰＣＣ ＮＡＬユニット及びそのＰＣＣ ＡＵへの関連性についての順序を指定する。

【0149】

ＰＣＣ ＡＵは、グループオブフレームヘッダＮＡＬユニットの０又は１つ、１つのジオメトリｄ０映像ＡＵ、１つのジオメトリｄ１映像ＡＵ、１つの補助情報フレームＮＡＬユニット、１つの占有マップフレームＮＡＬユニット、及び１つのテクスチャ映像ＡＵを、列挙されたこの順序で含む。

【0150】

ＮＡＬユニットの映像ＡＵへの関連性と、映像ＡＵ内のＮＡＬユニットの順序とは、識別されたビデオコーデック（例えば、ＨＥＶＣ又はＡＶＣ）の仕様書に指定されている。識別されたビデオコーデックは、各ＣＰＳの第１のＰＣＣ ＡＵに存在するフレームヘッダＮＡＬユニットに示されている。

【0151】

各ＣＰＳの第１のＰＣＣ ＡＵは、グループオブフレームヘッダＮＡＬユニットから始まり、各グループオブフレームヘッダＮＡＬユニットは、新たなＰＣＣ ＡＵの開始を指定する。

【0152】

他のＰＣＣ ＡＵは、ジオメトリｄ０映像ＡＵの第１のＮＡＬユニットを含むＰＣＣ ＮＡＬユニットから始まる。言い換えれば、ジオメトリｄ０映像ＡＵの第１のＮＡＬユニットを含むＰＣＣ ＮＡＬユニットは、グループオブフレームヘッダＮＡＬユニットが前に付かない場合、新たなＰＣＣ ＡＵを開始する。

【0153】

ＰＣＣ ＡＵ及びそのＣＰＳへの関連性についての順序が提供される。

【0154】

本明細書に適合するビットストリームが、１つ又は複数のＣＰＳで構成される。

【0155】

ＣＰＳは、１つ又は複数のＰＣＣ ＡＵを含む。ＰＣＣ ＮＡＬユニット及びそのＰＣＣ ＡＵへの関連性についての順序が、７．４．２．４．２項に説明されている。

【0156】

ＣＰＳの第１のＰＣＣ ＡＵは、ＰＣＣ ＩＲＡＰ ＡＵである。

【0157】

ローバイトシーケンスペイロード、トレーリングビット、及びバイトアライメントセマンティックスが提供される。グループオブフレームヘッダＲＢＳＰセマンティクスは、次の通りである。

【0158】

ｉｄｅｎｔｉｆｉｅｄ＿ｃｏｄｅｃは、表２に示すジオメトリ成分及びテクスチャ成分のコーディングに用いられる識別されたビデオコーデックを指定する。

【表2】

【0159】

ｆｒａｍｅ＿ｗｉｄｔｈは、ジオメトリ及びテクスチャ映像の、画素内のフレーム幅を示す。これは、ｏｃｃｕｐａｎｃｙＲｅｓｏｌｕｔｉｏｎの倍数であるものとする。

【0160】

ｆｒａｍｅ＿ｈｅｉｇｈｔは、ジオメトリ及びテクスチャ映像の、画素内のフレーム高を示す。これは、ｏｃｃｕｐａｎｃｙＲｅｓｏｌｕｔｉｏｎの倍数であるものとする。

【0161】

ｏｃｃｕｐａｎｃｙ＿ｒｅｓｏｌｕｔｉｏｎは、パッチがジオメトリ及びテクスチャ映像にパックされている、画素内の水平垂直解像度を示す。これは、ｏｃｃｕｐａｎｃｙＰｒｅｃｉｓｉｏｎの偶数倍であるものとする。

【0162】

ｒａｄｉｕｓ＿ｔｏ＿ｓｍｏｏｔｈｉｎｇは、平滑化用の隣接物を検出する半径を示す。ｒａｄｉｕｓ＿ｔｏ＿ｓｍｏｏｔｈｉｎｇの値は、０～２５５（両端を含む）の範囲内にあるものとする。

【0163】

ｎｅｉｇｈｂｏｒ＿ｃｏｕｎｔ＿ｓｍｏｏｔｈｉｎｇは、平滑化に用いられる最大数の隣接物を示す。ｎｅｉｇｈｂｏｒ＿ｃｏｕｎｔ＿ｓｍｏｏｔｈｉｎｇの値は、０～２５５（両端を含む）の範囲内にあるものとする。

【0164】

ｒａｄｉｕｓ２＿ｂｏｕｎｄａｒｙ＿ｄｅｔｅｃｔｉｏｎは、境界点検出用の半径を示す。ｒａｄｉｕｓ２＿ｂｏｕｎｄａｒｙ＿ｄｅｔｅｃｔｉｏｎの値は、０～２５５（両端を含む）の範囲内にあるものとする。

【0165】

ｔｈｒｅｓｈｏｌｄ＿ｓｍｏｏｔｈｉｎｇは、平滑化閾値を示す。ｔｈｒｅｓｈｏｌｄ＿ｓｍｏｏｔｈｉｎｇの値は、０～２５５（両端を含む）の範囲内にあるものとする。

【0166】

ｌｏｓｓｌｅｓｓ＿ｇｅｏｍｅｔｒｙは、可逆ジオメトリコーディングを示す。１に等しいｌｏｓｓｌｅｓｓ＿ｇｅｏｍｅｔｒｙの値は、点群ジオメトリ情報が可逆的にコーディングされていることを示す。０に等しいｌｏｓｓｌｅｓｓ＿ｇｅｏｍｅｔｒｙの値は、点群ジオメトリ情報が不可逆方式でコーディングされていることを示す。

【0167】

ｌｏｓｓｌｅｓｓ＿ｔｅｘｔｕｒｅは、可逆的なテクスチャ符号化を示す。１に等しいｌｏｓｓｌｅｓｓ＿ｔｅｘｔｕｒｅの値は、点群テクスチャ情報が可逆的にコーディングされていることを示す。０に等しいｌｏｓｓｌｅｓｓ＿ｔｅｘｔｕｒｅの値は、点群テクスチャ情報が不可逆方式でコーディングされていることを示す。

【0168】

ｎｏ＿ａｔｔｒｉｂｕｔｅｓは、属性がジオメトリデータと共にコーディングされているかどうかを示す。１に等しいｎｏ＿ａｔｔｒｉｂｕｔｅｓの値は、コーディングされた点群ビットストリームがいかなる属性情報も含まないことを示す。０に等しいｎｏ＿ａｔｔｒｉｂｕｔｅｓの値は、コーディングされた点群ビットストリームが属性情報を含んでいることを示す。

【0169】

ｌｏｓｓｌｅｓｓ＿ｇｅｏｍｅｔｒｙ＿４４４は、ジオメトリフレームに、４：２：０の映像フォーマットを用いるのか、又は４：４：４の映像フォーマットを用いるのかを示す。１に等しいｌｏｓｓｌｅｓｓ＿ｇｅｏｍｅｔｒｙ＿４４４の値は、ジオメトリ映像が４：４：４フォーマットでコーディングされていることを示す。０に等しいｌｏｓｓｌｅｓｓ＿ｇｅｏｍｅｔｒｙ＿４４４の値は、ジオメトリ映像が４：２：０フォーマットでコーディングされていることを示す。

【0170】

ａｂｓｏｌｕｔｅ＿ｄ１＿ｃｏｄｉｎｇは、投影面に最も近い層以外のジオメトリ層がどのようにコーディングされているかを示す。１に等しいａｂｓｏｌｕｔｅ＿ｄ１＿ｃｏｄｉｎｇは、投影面に最も近い層以外のジオメトリ層用に、実際のジオメトリ値がコーディングされていることを示す。０に等しいａｂｓｏｌｕｔｅ＿ｄ１＿ｃｏｄｉｎｇは、投影面に最も近い層以外のジオメトリ層が別個にコーディングされていることを示す。

【0171】

ｂｉｎ＿ａｒｉｔｈｍｅｔｉｃ＿ｃｏｄｉｎｇは、２値算術コーディングが用いられているかどうかを示す。１に等しいｂｉｎ＿ａｒｉｔｈｍｅｔｉｃ＿ｃｏｄｉｎｇの値は、全ての構文要素に２値算術コーディングが用いられていることを示す。０に等しいｂｉｎ＿ａｒｉｔｈｍｅｔｉｃ＿ｃｏｄｉｎｇの値は、一部の構文要素に非２値算術コーディングが用いられていることを示す。

【0172】

０に等しいｇｏｆ＿ｈｅａｄｅｒ＿ｅｘｔｅｎｓｉｏｎ＿ｆｌａｇは、グループオブフレームヘッダＲＢＳＰ構文構造にｇｏｆ＿ｈｅａｄｅｒ＿ｅｘｔｅｎｓｉｏｎ＿ｄａｔａ＿ｆｌａｇ構文要素が何も存在しないことを指定する。１に等しいｇｏｆ＿ｈｅａｄｅｒ＿ｅｘｔｅｎｓｉｏｎ＿ｆｌａｇは、グループオブフレームヘッダＲＢＳＰ構文構造に存在するｇｏｆ＿ｈｅａｄｅｒ＿ｅｘｔｅｎｓｉｏｎ＿ｄａｔａ＿ｆｌａｇ構文要素があることを指定する。復号器は、グループオブフレームヘッダＮＡＬユニット内のｇｏｆ＿ｈｅａｄｅｒ＿ｅｘｔｅｎｓｉｏｎ＿ｆｌａｇの値１に続く全てのデータを無視するものとする。

【0173】

ｇｏｆ＿ｈｅａｄｅｒ＿ｅｘｔｅｎｓｉｏｎ＿ｄａｔａ＿ｆｌａｇは、任意の値を有してよい。その存在及び値は、復号器の適合性に影響を与えない。復号器は、全てのｇｏｆ＿ｈｅａｄｅｒ＿ｅｘｔｅｎｓｉｏｎ＿ｄａｔａ＿ｆｌａｇ構文要素を無視するものとする。

【0174】

補助情報フレームＲＢＳＰセマンティクスが提供される。

【0175】

ｐａｔｃｈ＿ｃｏｕｎｔは、ジオメトリ及びテクスチャ映像に含まれるパッチの数である。これは、０より大きいものとする。

【0176】

ｏｃｃｕｐａｎｃｙ＿ｐｒｅｃｉｓｉｏｎは、占有マップ精度の、画素内の水平垂直解像度である。これは、占有が信号で伝えられるサブブロックサイズに対応する。占有マップの可逆コーディングを実現するために、これはサイズ１に設定されるはずである。

【0177】

ｍａｘ＿ｃａｎｄｉｄａｔｅ＿ｃｏｕｎｔは、パッチ候補リスト内の最大数の候補を指定する。

【0178】

ｂｉｔ＿ｃｏｕｎｔ＿ｕ０は、ｐａｔｃｈ＿ｕ０の固定長コーディングのビット数を指定する。

【0179】

ｂｉｔ＿ｃｏｕｎｔ＿ｖ０は、ｐａｔｃｈ＿ｖ０の固定長コーディングのビット数を指定する。

【0180】

ｂｉｔ＿ｃｏｕｎｔ＿ｕ１は、ｐａｔｃｈ＿ｕ１の固定長コーディングのビット数を指定する。

【0181】

ｂｉｔ＿ｃｏｕｎｔ＿ｖ１は、ｐａｔｃｈ＿ｖ１の固定長コーディングのビット数を指定する。

【0182】

ｂｉｔ＿ｃｏｕｎｔ＿ｄ１は、ｐａｔｃｈ＿ｄ１の固定長コーディングのビット数を指定する。

【0183】

ｏｃｃｕｐａｎｃｙ＿ａｕｘ＿ｓｔｒｅａｍ＿ｓｉｚｅは、パッチ情報及び占有マップをコーディングするのに用いられるバイト数である。

【0184】

以下の構文要素は、パッチごとに一度指定される。

【0185】

ｐａｔｃｈ＿ｕ０は、パッチ境界ボックスのサイズ［ｏｃｃｕｐａｎｃｙ＿ｒｅｓｏｌｕｔｉｏｎ］×［ｏｃｃｕｐａｎｃｙ＿ｒｅｓｏｌｕｔｉｏｎ］の左上隅にあるサブブロックのｘ座標を指定する。ｐａｔｃｈ＿ｕ０の値は、０～［ｆｒａｍｅ＿ｗｉｄｔｈ／ｏｃｃｕｐａｎｃｙ＿ｒｅｓｏｌｕｔｉｏｎ－１］（両端を含む）の範囲内にあるものとする。

【0186】

ｐａｔｃｈ＿ｖ０は、パッチ境界ボックスのサイズ［ｏｃｃｕｐａｎｃｙ＿ｒｅｓｏｌｕｔｉｏｎ］×［ｏｃｃｕｐａｎｃｙ＿ｒｅｓｏｌｕｔｉｏｎ］の左上隅にあるサブブロックのｙ座標を指定する。ｐａｔｃｈ＿ｖ０の値は、０～［ｆｒａｍｅ＿ｈｅｉｇｈｔ／ｏｃｃｕｐａｎｃｙ＿ｒｅｓｏｌｕｔｉｏｎ－１］（両端を含む）の範囲内にあるものとする。

【0187】

ｐａｔｃｈ＿ｕ１は、パッチ点の３Ｄ境界ボックスの最小ｘ座標を指定する。ｐａｔｃｈ＿ｕ１の値は、０～［ｆｒａｍｅ＿ｗｉｄｔｈ－１］（両端を含む）の範囲内にあるものとする。

【0188】

ｐａｔｃｈ＿ｖ１は、パッチ点の３Ｄ境界ボックスの最小ｙ座標である。ｐａｔｃｈ＿ｖ１の値は、０～［ｆｒａｍｅＨｅｉｇｈｔ－１］（両端を含む）の範囲内にあるものとする。

【0189】

ｐａｔｃｈ＿ｄ１は、パッチの最小深度を指定する。ｐａｔｃｈ＿ｄ１の値は、０～＜２５５？＞（両端を含む）の範囲内にあるものとする。

【0190】

ｄｅｌｔａ＿ｓｉｚｅ＿ｕ０は、現在のパッチと以前のパッチとのパッチ幅の差異である。ｄｅｌｔａ＿ｓｉｚｅ＿ｕ０の値は、＜－６５５３６？＞～＜６５５３５？＞（両端を含む）の範囲内にあるものとする。

【0191】

ｄｅｌｔａ＿ｓｉｚｅ＿ｖ０は、現在のパッチと以前のパッチとのパッチ高の差異である。ｄｅｌｔａ＿ｓｉｚｅ＿ｖ０の値は、＜－６５５３６？＞～＜６５５３５？＞（両端を含む）の範囲内にあるものとする。

【0192】

ｎｏｒｍａｌ＿ａｘｉｓは、面投影インデックスを指定する。ｎｏｒｍａｌ＿ａｘｉｓの値は、０～２（両端を含む）の範囲内にあるものとする。０、１、及び２のｎｏｒｍａｌＡｘｉｓ値はそれぞれ、Ｘ、Ｙ、及びＺの投影軸に対応する。

【0193】

以下の構文要素は、ブロックごとに一度指定される。

【0194】

ｃａｎｄｉｄａｔｅ＿ｉｎｄｅｘは、パッチ候補リスト内にあるインデックスである。ｃａｎｄｉｄａｔｅ＿ｉｎｄｅｘの値は、０～ｍａｘ＿ｃａｎｄｉｄａｔｅ＿ｃｏｕｎｔ（両端を含む）の範囲内にあるものとする。

【0195】

ｐａｔｃｈ＿ｉｎｄｅｘは、フレームに関連するサイズの降順でソートされたパッチリストに対するインデックスである。

【0196】

グループオブフレーム占有マップセマンティクスが提供される。

【0197】

以下の構文要素は、空でないブロックに提供される。

【0198】

ｉｓ＿ｆｕｌｌは、サイズ［ｏｃｃｕｐａｎｃｙ＿ｒｅｓｏｌｕｔｉｏｎ］×［ｏｃｃｕｐａｎｃｙ＿ｒｅｓｏｌｕｔｉｏｎ］のブロックの現在の占有ブロックが満杯であるかどうかを指定する。１に等しいｉｓ＿ｆｕｌｌは、現在のブロックが満杯であることを指定する。０に等しいｉｓ＿ｆｕｌｌは、現在の占有ブロックが満杯ではないことを指定する。

【0199】

ｂｅｓｔ＿ｔｒａｖｅｒｓａｌ＿ｏｒｄｅｒ＿ｉｎｄｅｘは、現在の［ｏｃｃｕｐａｎｃｙ＿ｒｅｓｏｌｕｔｉｏｎ］×［ｏｃｃｕｐａｎｃｙ＿ｒｅｓｏｌｕｔｉｏｎ］のブロックのサイズ［ｏｃｃｕｐａｎｃｙ＿ｐｒｅｃｉｓｉｏｎ］×［ｏｃｃｕｐａｎｃｙ＿ｐｒｅｃｉｓｉｏｎ］のサブブロックに対するスキャン順序を指定する。ｂｅｓｔ＿ｔｒａｖｅｒｓａｌ＿ｏｒｄｅｒ＿ｉｎｄｅｘの値は、０～４（両端を含む）の範囲内にあるものとする。

【0200】

ｒｕｎ＿ｃｏｕｎｔ＿ｐｒｅｆｉｘは、変数ｒｕｎＣｏｕｎｔＭｉｎｕｓＴｗｏの導出に用いられる。

【0201】

ｒｕｎ＿ｃｏｕｎｔ＿ｓｕｆｆｉｘは、変数ｒｕｎＣｏｕｎｔＭｉｎｕｓＴｗｏの導出に用いられる。ｒｕｎ＿ｃｏｕｎｔ＿ｓｕｆｆｉｘの値は、存在しない場合、０に等しいと推定される。

【0202】

特定のブロックに対するｂｌｏｃｋＴｏＰａｔｃｈの値が０に等しくない且つ当該ブロックが満杯ではない場合、ｒｕｎＣｏｕｎｔＭｉｎｕｓＴｗｏ＋２は、あるブロックに対して信号で伝える実行回数を表す。ｒｕｎＣｏｕｎｔＭｉｎｕｓＴｗｏの値は、０～（［ｏｃｃｕｐａｎｃｙ＿ｒｅｓｏｌｕｔｉｏｎ］×［ｏｃｃｕｐａｎｃｙ＿ｒｅｓｏｌｕｔｉｏｎ］－１）（両端を含む）の範囲内にあるものとする。

【0203】

ｒｕｎＣｏｕｎｔＭｉｎｕｓＴｗｏは次のように導出される。
ｒｕｎＣｏｕｎｔＭｉｎｕｓＴｗｏ＝（１＜＜ｒｕｎ＿ｃｏｕｎｔ＿ｐｒｅｆｉｘ）－１＋ｒｕｎ＿ｃｏｕｎｔ＿ｓｕｆｆｉｘ （７－８５）

【0204】

占有は、（［ｏｃｃｕｐａｎｃｙＰｒｅｃｉｓｉｏｎ］×［ｏｃｃｕｐａｎｃｙＰｒｅｃｉｓｉｏｎ］画素の）第１のサブブロックに対する占有値を指定する。０に等しい占有は、第１のサブブロックが空であることを指定する。１に等しい占有は、第１のサブブロックが占有されていることを指定する。

【0205】

ｒｕｎ＿ｌｅｎｇｔｈ＿ｉｄｘは、実行長のインジケーションである。ｒｕｎＬｅｎｇｔｈＩｄｘの値は、０～１４（両端を含む）の範囲内にあるものとする。

【0206】

変数ｒｕｎＬｅｎｇｔｈは、表３を用いて、ｒｕｎ＿ｌｅｎｇｔｈ＿ｉｄｘから導出される。

【表3】

【0207】

注：占有マップは、ジオメトリ及びテクスチャ映像の両方により共有される。

【0208】

ＨＥＶＣ仕様書の７．４．３．１１項にあるＲＢＳＰトレーリングビットセマンティクスが適用される。ＨＥＶＣ仕様書の７．４．３．１２項にあるバイトアライメントセマンティックスも適用される。ＰＣＣプロファイル及びレベルのセマンティクスは次の通りである。

【0209】

ｐｃｃ＿ｐｒｏｆｉｌｅ＿ｉｄｃは、付録Ａに指定するように、ＣＰＳが適合するプロファイルを示す。ビットストリームは、付録Ａに指定されるもの以外のｐｃｃ＿ｐｒｏｆｉｌｅ＿ｉｄｃの値を含まないものとする。ｐｃｃ＿ｐｒｏｆｉｌｅ＿ｉｄｃの他の値は、ＩＳＯ／ＩＥＣによる将来の使用のために予約されている。

【0210】

ｐｃｃ＿ｐｌ＿ｒｅｓｅｒｖｅｄ＿ｚｅｒｏ＿１９ｂｉｔｓは、この仕様書のこのバージョンに適合するビットストリームでは、０に等しいものとする。ｐｃｃ＿ｐｌ＿ｒｅｓｅｒｖｅｄ＿ｚｅｒｏ＿１９ｂｉｔｓの他の値は、ＩＳＯ／ＩＥＣによる将来の使用のために予約されている。復号器は、ｐｃｃ＿ｐｌ＿ｒｅｓｅｒｖｅｄ＿ｚｅｒｏ＿１９ｂｉｔｓの値を無視するものとする。

【0211】

ｐｃｃ＿ｌｅｖｅｌ＿ｉｄｃは、付録Ａに指定するように、ＣＰＳが適合するレベルを示す。ビットストリームは、付録Ａに指定されるもの以外のｐｃｃ＿ｌｅｖｅｌ＿ｉｄｃの値を含まないものとする。ｐｃｃ＿ｌｅｖｅｌ＿ｉｄｃの他の値は、ＩＳＯ／ＩＥＣによる将来の使用のために予約されている。

【0212】

１０項に指定されるように抽出されるジオメトリＨＥＶＣビットストリームが適合するＨＥＶＣ復号器により復号される場合のアクティブＳＰＳにおいて、ｈｅｖｃ＿ｐｔｌ＿１２ｂｙｔｅｓ＿ｇｅｏｍｅｔｒｙは、ｇｅｎｅｒａｌ＿ｐｒｏｆｉｌｅ＿ｉｄｃからｇｅｎｅｒａｌ＿ｌｅｖｅｌ＿ｉｄｃまで（両端を含む）の１２バイトの値に等しいものとする。

【0213】

１０項に指定されるように抽出されるテクスチャＨＥＶＣビットストリームが適合するＨＥＶＣ復号器により復号される場合のアクティブＳＰＳにおいて、ｈｅｖｃ＿ｐｔｌ＿１２ｂｙｔｅｓ＿ｔｅｘｔｕｒｅは、ｇｅｎｅｒａｌ＿ｐｒｏｆｉｌｅ＿ｉｄｃからｇｅｎｅｒａｌ＿ｌｅｖｅｌ＿ｉｄｃまで（両端を含む）の１２バイトの値に等しいものとする。

【0214】

１０項に指定されるように抽出されるジオメトリＡＶＣビットストリームが適合するＡＶＣ復号器により復号される場合のアクティブＳＰＳにおいて、ａｖｃ＿ｐｌ＿３ｙｔｅｓ＿ｇｅｏｍｅｔｒｙは、ｐｒｏｆｉｌｅ＿ｉｄｃからｌｅｖｅｌ＿ｉｄｃまで（両端を含む）の３バイトの値に等しいものとする。

【0215】

１０項に指定されるように抽出されるテクスチャＡＶＣビットストリームが適合するＡＶＣ復号器により復号される場合のアクティブＳＰＳにおいて、ａｖｃ＿ｐｌ＿３ｙｔｅｓ＿ｔｅｘｔｕｒｅは、ｐｒｏｆｉｌｅ＿ｉｄｃからｌｅｖｅｌ＿ｉｄｃまで（両端を含む）の３バイトの値に等しいものとする。

【0216】

最新のＰＣＣ Ｃａｔ２のＷＤの１０４項におけるサブビットストリーム抽出処理は、以下のものに置き換えられる。サブビットストリーム抽出処理では、入力が、ビットストリーム、及びジオメトリｄ０、ジオメトリｄ１、又はテクスチャ成分の対象映像成分インジケーションである。この処理の出力は、サブビットストリームである。

【0217】

一実施形態において、適合するＰＣＣビットストリームと対象映像成分インジケーションの任意の値とを有する、この項で指定される処理の出力である、任意の出力サブビットストリームが、識別されたビデオコーデックごとに適合する映像ビットストリームであるものとするということは、入力ビットストリームのビットストリーム適合性の要件である。

【0218】

出力サブビットストリームは、以下の順序付き段階によって導出される。

【0219】

対象映像成分インジケーションの値に応じて、次のことが適用される。

【0220】

ジオメトリｄ０成分が示されている場合、ＧＥＯＭＥＴＲＹ＿Ｄ０に等しくないＰｃｃＮａｌＵｎｉｔＴｙｐｅを有する全てのＰＣＣ ＮＡＬユニットを除去する。

【0221】

そうではなく、ジオメトリｄ１成分が示されている場合、ＧＥＯＭＥＴＲＹ＿Ｄ１に等しくないＰｃｃＮａｌＵｎｉｔＴｙｐｅを有する全てのＰＣＣ ＮＡＬユニットを除去する。

【0222】

そうではない場合（テクスチャ成分が示されている場合）、ＴＥＸＴＵＲＥ＿ＮＡＬＵに等しくないＰｃｃＮａｌＵｎｉｔＴｙｐｅを有する全てのＰＣＣ ＮＡＬユニットを除去する。

【0223】

ＰＣＣ ＮＡＬユニットごとに、最初のバイトを除去する。

【0224】

別の実施形態が、以下に提供される。

【0225】

上記に要約された第１セットの方法の別の実施形態において、ＰＣＣ ＮＡＬユニットヘッダ（例えば、図４のデータユニットヘッダ４０４）は、ジオメトリ成分及びテクスチャ成分のコーディングに用いられるコーデックがＰＣＣ ＮＡＬユニットタイプから推定され得るように設計される。例えば、ＰＣＣ ＮＡＬユニットヘッダは、以下に要約するように設計される。

【0226】

ＰＣＣ ＮＡＬユニットヘッダには、ＰＣＣ ＮＡＬユニットペイロードで搬送されるコンテンツのタイプを指定するタイプインジケータ（例えば、７ビット）が存在する。タイプは、例えば、以下のことに従って決定される。

【0227】

０：ペイロードはＨＥＶＣ ＮＡＬユニットを含む。

【0228】

１：ペイロードはＡＶＣ ＮＡＬユニットを含む。

【0229】

２～６３：予約済み。

【0230】

６４：グループオブフレームヘッダＮＡＬユニット。

【0231】

６５：補助情報ＮＡＬユニット。

【0232】

６６：占有マップＮＡＬユニット。

【0233】

６７～１２６：予約済み。

【0234】

０～６３（両端を含む）の範囲内にあるＰＣＣ ＮＡＬユニットタイプを有するＰＣＣ ＮＡＬユニットは、映像ＮＡＬユニットと呼ばれる。

【0235】

予約済みのＰＣＣ ＮＡＬユニットタイプの一部をＰＣＣ Ｃａｔ１３のデータユニットに用いることが可能であり、したがって、ＰＣＣ Ｃａｔ２とＰＣＣ Ｃａｔ１３とを１つの標準仕様書に統合することができる。

【0236】

図５は、映像復号器（例えば、映像復号器３０）により実装される点群コーディングの方法５００の実施形態である。方法５００は、点群コーディングに関連する前述の問題のうちの１つ又は複数を解決するために実行されてよい。

【0237】

ブロック５０２では、グループオブフレームヘッダ（例えば、グループオブフレームヘッダ４０８）を含む符号化済みビットストリーム（例えば、データ構造体４００）が受信される。グループオブフレームヘッダは、符号化済みビットストリームのプロファイル及びレベルを指定する。

【0238】

ブロック５０４では、符号化済みビットストリームが復号される。復号されたビットストリームは、ユーザに対して表示デバイス上に表示する画像又は映像を生成するのに利用されてよい。

【0239】

一実施形態において、グループオブフレームヘッダは、グループオブフレームネットワーク抽象化層（ＮＡＬ）ユニットである。一実施形態において、グループオブフレームヘッダは、グループオブフレームヘッダパラメータを搬送するように構成される。

【0240】

一実施形態において、占有情報、ジオメトリ情報、及び属性情報のうちの少なくとも１つが、グループオブフレームヘッダパラメータに含まれる。ＰＣＣ信号の各点は、３Ｄ位置（すなわち、空間属性）を有することに加えて、色、反射率、面法線などの複数の他の属性にも関連付けられてよい。

【0241】

一実施形態において、グループオブフレームヘッダは、占有マップの補助情報を復号するためのプロファイル及びレベルを指定する。一実施形態において、グループオブフレームヘッダは、ジオメトリ情報、テクスチャ情報、補助情報、及び占有マップの復号結果を利用する点群再構成処理を指定する。

【0242】

図６は、映像符号化器（例えば、映像符号化器２０）により実装される点群コーディングの方法６００の実施形態である。方法６００は、点群コーディングに関連する前述の問題のうちの１つ又は複数を解決するために実行されてよい。

【0243】

ブロック６０２では、グループオブフレームヘッダ（例えば、グループオブフレームヘッダ４０８）を含む符号化済みビットストリーム（例えば、データ構造体４００）が生成される。グループオブフレームヘッダは、符号化済みビットストリームのプロファイル及びレベルを指定する。

【0244】

ブロック６０４では、符号化済みビットストリームは復号器（例えば、映像復号器３０）に伝送される。符号化済みビットストリームは、復号器により受信されると、ユーザに対して表示デバイス上に表示する画像又は映像を生成するために復号されてよい。

【0245】

一実施形態において、グループオブフレームヘッダは、グループオブフレームネットワーク抽象化層（ＮＡＬ）ユニットである。一実施形態において、グループオブフレームヘッダは、グループオブフレームヘッダパラメータを搬送するように構成される。

【0246】

一実施形態において、占有情報、ジオメトリ情報、及び属性情報のうちの少なくとも１つが、グループオブフレームヘッダパラメータに含まれる。ＰＣＣ信号の各点は、３Ｄ位置（すなわち、空間属性）を有することに加えて、色、反射率、面法線などの複数の他の属性にも関連付けられてよい。

【0247】

一実施形態において、グループオブフレームヘッダは、占有マップの補助情報を復号するためのプロファイル及びレベルを指定する。一実施形態において、グループオブフレームヘッダは、ジオメトリ情報、テクスチャ情報、補助情報、及び占有マップの復号結果を利用する点群再構成処理を指定する。

【0248】

図７は、本開示の一実施形態による映像コーディングデバイス７００（例えば、映像符号化器２０、映像復号器３０など）の概略図である。映像コーディングデバイス７００は、本明細書に開示される方法及び処理を実装するのに好適である。映像コーディングデバイス７００は、データを受信するための入口ポート７１０及び受信機ユニット（Ｒｘ）７２０と、データを処理するプロセッサ、論理ユニット、又は中央演算処理装置（ＣＰＵ）７３０と、データを伝送するための送信機ユニット（Ｔｘ）７４０及び出口ポート７５０と、データを格納するためのメモリ７６０とを含む。映像コーディングデバイス７００は、入口ポート７１０、受信機ユニット７２０、送信機ユニット７４０、及び出口ポート７５０に連結された、光信号又は電気信号の出口又は入口用の、光／電気（ＯＥ）変換コンポーネント及び電気／光（ＥＯ）変換コンポーネントも含んでよい。

【0249】

プロセッサ７３０は、ハードウェア及びソフトウェアにより実装される。プロセッサ７３０は、１つ又は複数のＣＰＵチップ、コア（例えば、マルチコアプロセッサとして）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、及びデジタル信号プロセッサ（ＤＳＰ）として実装されてよい。プロセッサ７３０は、入口ポート７１０、受信機ユニット７２０、送信機ユニット７４０、出口ポート７５０、及びメモリ７６０と通信する。プロセッサ７３０は、コーディングモジュール７７０を有する。符号化モジュール７７０は、上述の開示した実施形態を実装する。したがって、コーディングモジュール７７０を含むことにより、コーディングデバイス７００の機能に著しい改善がもたらされ、映像コーディングデバイス７００を異なる状態に変化させられる。あるいは、コーディングモジュール７７０は、メモリ７６０に格納され且つプロセッサ７３０により実行される命令として実装される。

【0250】

映像コーディングデバイス７００は、ユーザとの間でデータを通信するための入力及び／又は出力（Ｉ／Ｏ）デバイス７８０も含んでよい。Ｉ／Ｏデバイス７８０は、映像データを表示するためのディスプレイ、音声データを出力するためのスピーカなどの出力デバイスを含んでよい。Ｉ／Ｏデバイス７８０は、キーボード、マウス、トラックボールなどの入力デバイス、及び／又はそのような出力デバイスとやり取りするための対応するインタフェースも含んでよい。

【0251】

メモリ７６０は、１つ又は複数のディスクドライブ、テープドライブ、及びソリッドステートドライブを含み、オーバーフローデータ記憶デバイスとしてプログラムを格納し、そのようなプログラムが実行のために選択されるとプログラム実行時に読み出される命令及びデータを格納するのに用いられてよい。メモリ７６０は、揮発性及び不揮発性であってよく、リードオンリメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、三値連想メモリ（ＴＣＡＭ）、及びスタティックランダムアクセスメモリ（ＳＲＡＭ）であってよい。

【0252】

図８は、コーディング手段８００の一実施形態の概略図である。この実施形態において、コーディング手段８００は、映像コーディングデバイス８０２（例えば、映像符号化器２０又は映像復号器３０）に実装される。映像コーディングデバイス８０２は、受信手段８０１を含む。受信手段８０１は、符号化するピクチャを受信する、又は復号するビットストリームを受信するように構成される。映像コーディングデバイス８０２は、受信手段８０１に連結された伝送手段８０７を含む。伝送手段８０７は、ビットストリームを復号器に伝送する、又は復号済み画像を表示手段（例えば、複数のＩ／Ｏデバイス７８０のうちの１つ）に伝送するように構成される。

【0253】

映像コーディングデバイス８０２は、記憶手段８０３を含む。記憶手段８０３は、受信手段８０１又は伝送手段８０７のうちの少なくとも１つに連結される。記憶手段８０３は、命令を格納するように構成される。映像コーディングデバイス８０２は、処理手段８０５も含む。処理手段８０５は、記憶手段８０３に連結される。処理手段８０５は、記憶手段８０３に格納された命令を実行し、本明細書に開示された方法を行うように構成される。

【0254】

いくつかの実施形態が本開示に提供されているが、開示されたシステム及び方法は、本開示の精神又は範囲から逸脱することなく、多くの他の特定の形態で具現化されてよいことが理解されるであろう。本実施例は、限定的なものではなく例示的なものとみなされるべきであり、本明細書で提供された詳細に限定する意図はない。例えば、様々な要素又はコンポーネントは、別のシステムにおいて組み合わされても統合されてもよく、あるいは、特定の特徴が省略されても実装されなくてもよい。

【0255】

さらに、様々な実施形態において別個のもの又は独立したものとして説明され示された、技法、システム、サブシステム、及び方法は、本開示の範囲から逸脱することなく、他のシステム、コンポーネント、技法、又は方法と組み合わされても統合されてもよい。変更、置換、及び修正に関する他の実施例が当業者によって確認可能であり、これらの実施例が、本明細書に開示された精神及び範囲から逸脱することなく作られてよい。
（項目１）
映像復号器により実施される点群コーディング（ＰＣＣ）の方法であって、
グループオブフレームヘッダを含む符号化済みビットストリームを受信する段階であって、上記グループオブフレームヘッダは、上記符号化済みビットストリームのプロファイル及びレベルを指定する、段階と、
上記符号化済みビットストリームを復号する段階と
を備える方法。
（項目２）
映像符号化器により実施される点群コーディング（ＰＣＣ）の方法であって、
グループオブフレームヘッダを含む符号化済みビットストリームを生成する段階であって、上記グループオブフレームヘッダは上記符号化済みビットストリームのプロファイル及びレベルを指定する、段階と、
上記符号化済みビットストリームを復号器に伝送する段階と
を備える方法。
（項目３）
上記グループオブフレームヘッダは、グループオブフレームネットワーク抽象化層（ＮＡＬ）ユニットである、項目１から２のいずれかに記載の方法。
（項目４）
上記グループオブフレームヘッダは、グループオブフレームヘッダパラメータを搬送するように構成される、項目１から３のいずれかに記載の方法。
（項目５）
占有情報、ジオメトリ情報、及び属性情報のうちの少なくとも１つが、上記グループオブフレームヘッダパラメータに含まれる、項目１から４のいずれかに記載の方法。
（項目６）
上記グループオブフレームヘッダは、占有マップの補助情報を復号するための上記プロファイル及び上記レベルを指定する、項目１から５のいずれかに記載の方法。
（項目７）
上記グループオブフレームヘッダは、ジオメトリ、テクスチャ、補助情報、及び占有マップの復号結果を利用する点群再構成処理を指定する、項目１から６のいずれかに記載の方法。
（項目８）
上記プロファイル又は上記レベルは、補助情報及び占有マップの成分を復号する能力を示す、項目１から６のいずれかに記載の方法。
（項目９）
上記プロファイル又は上記レベルは、点群再構成の能力を示す、項目１から６のいずれかに記載の方法。
（項目１０）
上記プロファイルは構文の指定サブセットである、項目１から６のいずれかに記載の方法。
（項目１１）
上記プロファイルは、コーディングツールの指定サブセットである、項目１から６のいずれかに記載の方法。
（項目１２）
上記レベルは、構文要素及び変数が用い得る値に対する制約の規定セットである、項目１から６のいずれかに記載の方法。
（項目１３）
上記符号化済みビットストリームの上記プロファイルと上記レベルとの組み合わせが、上記符号化済みビットストリームの復号に必要な特定の復号能力を表す、項目１から６のいずれかに記載の方法。
（項目１４）
符号化するピクチャを受信する又は復号するビットストリームを受信するように構成された受信機と、
上記受信機に連結された送信機であって、上記送信機は、上記ビットストリームを復号器に伝送する又は復号済み画像をディスプレイに伝送するように構成される、送信機と、
上記受信機又は上記送信機のうちの少なくとも１つに連結されたメモリであって、上記メモリは命令を格納するように構成される、メモリと、
上記メモリに連結されたプロセッサであって、上記プロセッサは、上記メモリに格納された上記命令を実行して、項目１から１３のいずれかに記載の方法を行うように構成される、プロセッサと
を備えるコーディング装置。
（項目１５）
上記符号化装置はさらに、画像を表示するように構成されたディスプレイを備える、項目８に記載のコーディング装置。
（項目１６）
符号化器と、
上記符号化器と通信する復号器であって、上記符号化器又は上記復号器は、項目１４から１５のいずれかに記載のコーディング装置を含む、復号器と
を備えるシステム。
（項目１７）
コーディングするための手段であって、
符号化するピクチャを受信する又は復号するビットストリームを受信するように構成された受信手段と、
上記受信手段に連結された伝送手段であって、上記伝送手段は、上記ビットストリームを復号器に伝送する又は復号済み画像を表示手段に伝送するように構成される、伝送手段と、
上記受信手段又は上記伝送手段のうちの少なくとも１つに連結された記憶手段であって、上記記憶手段は命令を格納するように構成される、記憶手段と、
上記記憶手段に連結された処理手段であって、上記処理手段は、上記記憶手段に格納された上記命令を実行して、請求項１から１３のいずれかに記載の方法を行うように構成される、処理手段と
を備える、符号化するための手段。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【外国語明細書】