特許 7504298 ３次元（３Ｄ）メッシュのＵＶ座標を処理するための方法、装置及びコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-06-13

(45)【発行日】2024-06-21

(54)【発明の名称】３次元（３Ｄ）メッシュのＵＶ座標を処理するための方法、装置及びコンピュータプログラム

(51)【国際特許分類】

   G06T 9/40 20060101AFI20240614BHJP

【ＦＩ】

G06T9/40

【請求項の数】 12

(21)【出願番号】P 2023528043

(86)(22)【出願日】2022-09-14

(65)【公表番号】

(43)【公表日】2023-11-15

(86)【国際出願番号】 US2022076423

(87)【国際公開番号】W WO2023044340

(87)【国際公開日】2023-03-23

【審査請求日】2023-05-10

(31)【優先権主張番号】63/246,218

(32)【優先日】2021-09-20

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】17/943,269

(32)【優先日】2022-09-13

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】520353802

【氏名又は名称】テンセント・アメリカ・エルエルシー

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】ティエン，ジュン

(72)【発明者】

【氏名】ホアン，チャオ

(72)【発明者】

【氏名】シュー，シャオジョン

(72)【発明者】

【氏名】ジャン，シャン

(72)【発明者】

【氏名】リウ，シャン

【審査官】岩井 健二

(56)【参考文献】

【文献】国際公開第２０２３／０３９４０２（ＷＯ，Ａ１）

【文献】国際公開第２０２３／０３９３９７（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０１９／０１１４８２１（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１４／０２５３５４７（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１１／００３７７６３（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ９／００ － ９／４０

(57)【特許請求の範囲】

【請求項1】

プロセッサによって実行される、３次元（３Ｄ）メッシュのＵＶ座標を処理する方法であって、
前記３Ｄメッシュの前記ＵＶ座標を受け取るステップであって、前記ＵＶ座標は、第１軸にＵ座標と第２軸にＶ座標を含む２次元（２Ｄ）テクスチャ座標であり、前記３Ｄメッシュの頂点にマッピングされる、ステップと、
量子化プロセス、分離プロセス及び変換プロセスのうちの少なくとも１つに基づいて前記３Ｄメッシュの前記ＵＶ座標を処理するステップであって、前記量子化プロセスは、前記ＵＶ座標を複数のインジケータに変換するように構成され、前記分離プロセスは、前記ＵＶ座標を前記Ｕ座標と前記Ｖ座標にそれぞれ分離するように構成され、前記変換プロセスは、前記ＵＶ座標を空間領域から変換領域に変換するように構成される、ステップと、
前記ＵＶ座標の処理後に、処理された前記ＵＶ座標に対して圧縮を実行するステップと、
を含む、方法。

【請求項2】

前記処理するステップは、前記量子化プロセスに基づいており、前記処理するステップは、
前記Ｕ座標を第１スカラー因子で、前記Ｖ座標を第２スカラー因子で割ることによって、線形スカラー量子化を前記ＵＶ座標の前記Ｕ座標と前記Ｖ座標にそれぞれ適用するステップと、
ベクトル量子化を前記ＵＶ座標の複数のＵＶペアに適用するステップであって、前記複数のＵＶペアの各ＵＶペアはそれぞれのＵ座標とそれぞれのＶ座標を含み、前記ベクトル量子化のベクトル辞書へのインジケータによって表される、ステップと、
のうちの１つを更に含む、請求項１に記載の方法。

【請求項3】

前記処理するステップは、前記分離プロセスに基づいており、前記処理するステップは、
前記ＵＶ座標を前記Ｕ座標と前記Ｖ座標に分離するステップと、
前記ＵＶ座標の前記Ｕ座標に基づいて第１の２Ｄアレイを生成するステップと、
前記ＵＶ座標の前記Ｖ座標に基づいて第２の２Ｄアレイを生成するステップと、
を更に含み、前記圧縮を実行するステップは、
前記第１の２Ｄアレイ内の前記ＵＶ座標の前記Ｕ座標に対して前記圧縮を実行するステップと、
前記第２の２Ｄアレイ内の前記ＵＶ座標の前記Ｖ座標に対して前記圧縮を実行するステップと、
を更に含む、請求項１に記載の方法。

【請求項4】

前記処理するステップは、前記変換プロセスに基づいており、前記処理するステップは、
可逆変換、Ｈａａｒ変換又は線形非相関変換のうちの１つに基づいて、前記変換プロセスを前記ＵＶ座標の複数のＵＶペアに対して実行するステップであって、前記複数のＵＶペアの各ＵＶペアは、前記ＵＶ座標のそれぞれのＵ座標とＵＶ座標のそれぞれのＶ座標を含む、ステップと、
前記ＵＶ座標の前記複数のＵＶペアの変換されたＵ座標に基づいて第１チャネル情報を生成し、前記ＵＶ座標の前記複数のＵＶペアの変換されたＶ座標に基づいて第２チャネル情報を生成するステップと、
を更に含み、前記圧縮を実行するステップは、
前記ＵＶ座標の前記第１チャネル情報に対して前記圧縮を実行するステップと、
前記ＵＶ座標の前記第２チャネル情報に対して前記圧縮を実行するステップと、
を更に含む、請求項１に記載の方法。

【請求項5】

前記ＵＶ座標に対して圧縮を実行するステップは、
前記ＵＶ座標に対して、画像／ビデオ圧縮又は整数圧縮のうちの一方を実行するステップ、
を更に含む、請求項１に記載の方法。

【請求項6】

事前コーディングされたＵ座標の値に基づいて前記ＵＶ座標の前記Ｕ座標の値を予測し、前記Ｕ座標の予測残差のリストを生成するステップと、
事前コーディングされたＶ座標の値に基づいて前記ＵＶ座標の前記Ｖ座標の値を予測し、前記Ｖ座標の予測残差のリストを生成するステップと、
を更に含む、請求項１に記載の方法。

【請求項7】

前記Ｕ座標の前記予測残差のリストに対して第１マッピング操作を実行して、前記Ｕ座標の非負整数のリストを生成するステップと、
前記Ｖ座標の前記予測残差のリストに対して第２マッピング操作を実行して、前記Ｖ座標の非負整数のリストを生成するステップと、
を更に含む、請求項６に記載の方法。

【請求項8】

前記Ｕ座標の前記非負整数のリストに対して第１ビットパッキングプロセスを実行して、前記Ｕ座標のビットのリストを生成するステップと、
前記Ｖ座標の前記非負整数のリストに対して第２ビットパッキングプロセスを実行して、前記Ｖ座標のビットのリストを生成するステップと、
を更に含む、請求項７に記載の方法。

【請求項9】

前記圧縮を実行するステップは、前記Ｕ座標の前記予測残差のリスト、前記Ｖ座標の前記予測残差のリスト、前記Ｕ座標の前記非負整数のリスト、前記Ｖ座標の前記非負整数のリスト、前記Ｕ座標の前記ビットのリスト又は前記Ｖ座標の前記ビットのリストのうちの少なくとも１つに対して前記圧縮を実行するステップを含み、
前記圧縮は、エントロピーコーディング、可変長コーディング、ハフマンコーディング又は算術コーディング、のうちの１つに基づいて実行される、
請求項８に記載の方法。

【請求項10】

前記圧縮を実行するステップは、
非可逆画像／ビデオコーデック及び非可逆整数圧縮のうちの一方に基づいて、前記ＵＶ座標に対して非可逆圧縮を実行して、前記ＵＶ座標の非可逆圧縮残差を生成するステップと、
可逆画像／ビデオコーデック及び可逆整数圧縮のうちの一方に基づいて、前記ＵＶ座標の前記非可逆圧縮残差に対して可逆圧縮を実行するステップと、
を更に含む、請求項１に記載の方法。

【請求項11】

請求項１乃至１０のいずれか一項に記載の方法を実行するように構成される処理回路を備える、装置。

【請求項12】

コンピュータによって実行されると、該コンピュータに請求項１乃至１０のいずれか一項に記載の方法を実行させる、コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

参照による組み込み
本出願は、２０２２年９月１３日に出願された米国特許出願第１７／９４３，２６９号「ＣＯＤＩＮＧ ＯＦ ＵＶ ＣＯＯＲＤＩＮＡＴＥＳ」に対する優先権の利益を主張し、これは２０２１年９月２０日に出願された米国仮出願第６３／２４６，２１８号「Ｃｏｄｉｎｇ ｏｆ ＵＶ Ｃｏｏｒｄｉｎａｔｅｓ」に対する優先権の利益を主張している。先行出願の開示は、参照によりその全体が本明細書に組み込まれる。

【0002】

技術分野
本開示は、一般にメッシュコーディングに関連する実施形態を説明する。

【背景技術】

【0003】

本明細書で提供される背景説明は、本開示の文脈を一般的に提示するためのものである。現在名前を挙げられている発明者の研究は、その研究がこの背景技術に記載された範囲において、出願時に先行技術として通常見なされ得ない記載の側面とともに、明示的にも暗黙的にも本開示に対する先行技術として認められない。

【0004】

３次元（３Ｄ）空間における世界の物体、世界の環境等のような、世界を捉えて表現するための様々な技術が開発されている。世界の３Ｄ表現は、より没入感のある形式の対話及び通信を可能にすることができる。いくつかの例では、３Ｄメッシュは、このような没入感のあるコンテンツを表現するために広く使用される。

【発明の概要】

【0005】

本開示の側面は、メッシュコーディング（例えば圧縮及び復元）のための方法及び装置を提供する。いくつかの例では、メッシュコーディングのための装置は処理回路を含む。

【0006】

本開示の側面によると、３次元（３Ｄ）メッシュのＵＶ座標を処理する方法が提供される。本方法では、３ＤメッシュのＵＶ座標を受け取ることができる。ＵＶ座標は、第１軸にＵ座標と、第２軸にＶ座標を含む２次元（２Ｄ）テクスチャ座標とすることができ、３Ｄメッシュの頂点にマッピングされることができる。量子化プロセス、分離プロセス及び変換プロセスのうちの少なくとも１つに基づいて、３ＤメッシュのＵＶ座標を処理することができる。量子化プロセスは、ＵＶ座標を複数のインジケータに変換するように構成されることができる。分離プロセスは、ＵＶ座標をＵ座標とＶ座標にそれぞれ分離するように構成されることができる。変換プロセスは、ＵＶ座標を空間領域から変換（又は周波数）領域に変換するように構成されることができる。ＵＶ座標の処理後に、処理されたＵＶ座標に対して圧縮を実行することができる。

【0007】

いくつかの実施形態において、上記処理することは、量子化プロセスに基づくことができる。一例では、Ｕ座標を第１スカラー因子で、Ｖ座標を第２スカラー因子で割ることによって、線形スカラー量子化をＵＶ座標のＵ座標とＶ座標にそれぞれ適用することができる。別の例では、ベクトル量子化を、ＵＶ座標の複数のＵＶペアに適用することができる。複数のＵＶペアの各ＵＶペアはそれぞれのＵ座標とそれぞれのＶ座標を含むことができ、ベクトル量子化のベクトル辞書（vector dictionary）へのインジケータによって表されることができる。

【0008】

いくつかの実施形態において、上記処理することは、分離プロセスに基づく。したがって、ＵＶ座標をＵ座標とＶ座標に分離することができる。ＵＶ座標のＵ座標に基づいて第１の２Ｄアレイを生成することができる。ＵＶ座標のＶ座標に基づいて第２の２Ｄアレイを生成することができる。その後、圧縮を、第１の２Ｄアレイ内のＵＶ座標のＵ座標に対して及び第２の２Ｄアレイ内のＵＶ座標のＶ座標に対してそれぞれ実行することができる。

【0009】

いくつかの実施形態において、上記処理することは、変換プロセスに基づく。したがって、可逆変換（invertible transform）、Ｈａａｒ変換（Haar transform）又は線形非相関変換（linear decorrelation transform）のうちの１つに基づいて、変換プロセスをＵＶ座標の複数のＵＶペアに対して実行することができる。複数のＵＶペアの各ＵＶペアは、ＵＶ座標のそれぞれのＵ座標とＵＶ座標のそれぞれのＶ座標を含むことができる。ＵＶ座標の複数のＵＶペアの変換されたＵ座標に基づいて第１チャネル情報を生成することができ、ＵＶ座標の複数のＵＶペアの変換されたＶ座標に基づいて第２チャネル情報を生成することができる。圧縮を更に、ＵＶ座標の第１チャネル情報に対して及びＵＶ座標の第２チャネル情報に対してそれぞれ実行することができる。

【0010】

本方法において、ＵＶ座標に対する画像／ビデオ圧縮又は整数圧縮（integer compression）のうちの一方に基づいて、ＵＶ座標に対して圧縮を実行することができる。

【0011】

いくつかの実施形態において、ＵＶ座標のＵ座標の値を、事前コーディングされたＵ座標の値に基づいて予測することができる。Ｕ座標の予測残差（prediction residue）のリストを更に生成することができる。ＵＶ座標のＶ座標の値を、事前コーディングされたＶ座標の値に基づいて生成することができる。Ｖ座標の予測残差のリストを更に生成することができる。

【0012】

いくつかの実施形態において、第１マッピング操作をＵ座標の予測残差のリストに対して実行して、Ｕ座標の非負整数（non-negative integers）のリストを生成することができる。第２マッピング操作をＶ座標の予測残差のリストに対して実行して、Ｖ座標の非負整数のリストを生成することができる。

【0013】

いくつかの実施形態において、第１ビットパッキングプロセス（bit packing process）をＵ座標の非負整数のリストに対して実行して、Ｕ座標のビットのリストを生成することができる。第２ビットパッキングプロセスをＶ座標の非負整数のリストに対して実行して、Ｖ座標のビットのリストを生成することができる。

【0014】

いくつかの実施形態において、圧縮を、Ｕ座標の予測残差のリスト、Ｖ座標の予測残差のリスト、Ｕ座標の非負整数のリスト、Ｖ座標の非負整数のリスト、Ｕ座標のビットのリスト又はＶ座標のビットのリストのうちの少なくとも１つに対して実行することができる。いくつかの実施形態において、圧縮は、エントロピーコーディング、可変長コーディング、ハフマンコーディング又は算術コーディング、のうちの１つに基づいて実行されることができる。

【0015】

本方法において、非可逆画像／ビデオコーデック及び非可逆整数圧縮のうちの一方に基づいて、ＵＶ座標に対して非可逆圧縮を実行して、ＵＶ座標の非可逆圧縮残差を生成することができる。可逆画像／ビデオコーデック及び可逆整数圧縮のうちの一方に基づいて、ＵＶ座標の非可逆圧縮残差に対して可逆圧縮を実行することができる。

【0016】

本開示の別の側面によると、装置が提供される。本装置は処理回路を含む。処理回路は、ＵＶ座標処理の方法のうちのいずれかを実行するように構成されることができる。

【0017】

本開示の側面はまた、ビデオ復号のためのコンピュータによって実行されると、コンピュータにＵＶ座標処理の方法のいずれかを実行させる命令を記憶する、非一時的なコンピュータ読取可能媒体も提供する。

【図面の簡単な説明】

【0018】

開示される主題の更なる特徴、性質及び様々な利点は、以下の詳細な説明及び添付の図面からより明らかになる。

【0019】

【図1】いくつかの例における通信システムのブロック図を示す図である。

【0020】

【図2】いくつかの例におけるストリーミングシステムのブロック図を示す図である。

【0021】

【図3】いくつかの例における点群フレームを符号化するためのエンコーダのブロック図を示す図である。

【0022】

【図4】いくつかの例における点群フレームに対応する圧縮ビットストリームを復号するためのデコーダのブロック図を示す図である。

【0023】

【図5】いくつかの例におけるビデオデコーダのブロック図を示す図である。

【0024】

【図6】いくつかの例におけるビデオエンコーダのブロック図を示す図である。

【0025】

【図7】いくつかの例における点群フレームを符号化するエンコーダのブロック図を示す図である。

【0026】

【図8】いくつかの例における点群フレームに対応する圧縮ビットストリームを復号するデコーダのブロック図を示す図である。

【0027】

【図9】いくつかの例における３次元（３Ｄ）メッシュの例示的なテクスチャ画像を示す図である。

【0028】

【図10】いくつかの例におけるスネーク走査順序（snake scanning order）を示す図である。

【0029】

【図11】いくつかの例におけるジグザグ走査順序（zig-zag scanning order）を示す図である。

【0030】

【図12】いくつかの例における圧縮プロセスを概説するフローチャートである。

【0031】

【図13】いくつかの例における復元プロセスを概説するフローチャートである。

【0032】

【図14】いくつかの例におけるコンピュータシステムの概略図である。

【発明を実施するための形態】

【0033】

本開示の側面は、３次元（３Ｄ）メディア処理の分野における技術を含む。

【0034】

３次元（３Ｄ）キャプチャ、３Ｄモデリング、３Ｄレンダリング等の進歩のような、３Ｄメディア処理における技術開発は、いくつかのプラットフォーム及びデバイスにわたって３Ｄメディアコンテンツのユビキタスな存在を促進している。一例として、ある大陸において、赤ちゃんの最初の一歩をキャプチャすることができ、メディア技術は、祖父母が、別の大陸において赤ちゃんとの没入型体験を視聴して（及び場合によっては対話して）楽しむことを可能にする。本開示の側面によると、没入型体験を向上させるために、３Ｄモデルはますます高度化しており、３Ｄモデルの作成と消費は、データストレージ及びデータ伝送リソースのような、かなりの量のデータリソースを占める。

【0035】

いくつかの実施形態において、点群とメッシュを３Ｄモデルとして使用して、没入型コンテンツを表現することができる。

【0036】

点群は一般に、３Ｄ空間内の点のセットを指してよく、各点は、色、材料特性、テクスチャ情報、強度属性、反射率属性、動き関連属性、モダリティ属性及び様々な他の属性のような関連する属性を有する。点群を使用して、そのようなポイントの構成としてオブジェクト又はシーンを再構成することができる。

【0037】

オブジェクトのメッシュ（メッシュモデルとも呼ばれる）は、オブジェクトの表面を記述するポリゴンを含むことができる。各ポリゴンは、３Ｄ空間内のポリゴンの頂点と、頂点がポリゴンにどのように接続されているかの情報によって定義されることができる。頂点がどのように接続されているかの情報は、接続情報と呼ばれる。いくつかの例では、メッシュは、頂点に関連付けられる色、法線（normal）等の属性も含むことができる。

【0038】

いくつかの実施形態において、点群圧縮（ＰＣＣ、point cloud compression）のためのいくつかのコーディングツールをメッシュ圧縮に使用することができる。例えばメッシュを再メッシュして、新しいメッシュの頂点の接続情報を推測（又は事前定義）することができる新しいメッシュを生成することができる。新しいメッシュの頂点及び新しいメッシュの頂点に関連付けられる属性を、点群内の点と見なすことができ、ＰＣＣコーデックを使用して圧縮することができる。

【0039】

点群を使用して、オブジェクトやシーンをそのような点の構成物（composition）として再構成することができる。点を、様々な設定で複数のカメラ、深度センサ又はＬｉｄａｒを使用してキャプチャすることができ、再構成されたシーン又はオブジェクトをリアルに表現するために、数千から数十億の点で構成されることがある。パッチは一般に、点群によって記述される表面の連続したサブセットを指すことがある。一例では、パッチは、閾値量（threshold amount）よりも小さく互いに逸脱する表面法線ベクトルを有する点を含む。

【0040】

ＰＣＣを、Ｇ－ＰＣＣと呼ばれるジオメトリベースのスキーム、Ｖ－ＰＣＣと呼ばれるビデオコーディングベースのスキーム等のような、様々なスキームに従って実行することができる。本開示のいくつかの側面によると、Ｇ－ＰＣＣは３Ｄジオメトリを直接符号化し、ビデオコーディングとあまり共有することがない純粋なジオメトリベースのアプローチであり、Ｖ－ＰＣＣはビデオコーディングに大きく基づく。例えばＶ－ＰＣＣは、３Ｄクラウドの点を２Ｄ格子（画像）のピクセルにマップすることができる。Ｖ－ＰＣＣスキームは、点群圧縮に汎用ビデオコーデックを利用することができる。本開示におけるＰＣＣコーデック（エンコーダ／デコーダ）は、Ｇ－ＰＣＣコーデック（エンコーダ／デコーダ）又はＶ－ＰＣＣコーデックとすることができる。

【0041】

本開示の側面によると、Ｖ－ＰＣＣスキームは、既存のビデオコーデックを使用して、点群のジオメトリ、占有及びテクスチャを３つの別個のビデオシーケンスとして圧縮することができる。３つのビデオシーケンスを解釈するために必要な追加のメタデータは別個に圧縮される。全体のビットストリームのごく一部はメタデータであり、これは、例ではソフトウェア実装を使用して効率的に符号化／復号することができる。情報の大部分はビデオコーデックによって処理される。

【0042】

図１は、いくつかの例における通信システム（１００）のブロック図を示している。通信システム（１００）は、例えばネットワーク（１５０）を介して相互に通信することができる複数の端末デバイスを含む。例えば通信システム（１００）は、ネットワーク（１５０）を介して相互に接続される端末デバイス（１１０）と（１２０）のペアを含む。図１の例では、端末デバイス（１１０）と（１２０）の第１のペアは、点群データの一方向伝送を行うことができる。例えば端末デバイス（１１０）は、端末デバイス（１１０）に接続されたセンサ（１０５）によってキャプチャされる点群（例えば構造を表す点）を圧縮してよい。圧縮された点群は、例えばビットストリームの形式で、ネットワーク（１５０）を介して他の端末デバイス（１２０）に送信され得る。端末デバイス（１２０）は、ネットワーク（１５０）から圧縮された点群を受信し、ビットストリームを復元して点群を再構成し、再構成された点群を適切に表示することができる。一方向データ伝送はメディアサービングアプリケーション等において一般的であり得る。

【0043】

図１の例では、端末デバイス（１１０）及び（１２０）を、サーバ及びパーソナルコンピュータとして図示することができるが、本開示の原理はそのように限定されない。本開示の実施形態は、ラップトップコンピュータ、タブレットコンピュータ、スマートフォン、ゲーム端末、メディアプレーヤ及び／又は専用の３次元（３Ｄ）機器との用途を見出す。ネットワーク（１５０）は、端末デバイス（１１０）と（１２０）の間で圧縮された点群を送信する任意の数のネットワークを表す。ネットワーク（１５０）は、例えば有線（ワイヤード）及び／又は無線通信ネットワークを含むことができる。ネットワーク（１５０）は、回線交換及び／又はパケット交換チャネルでデータを交換してよい。代表的なネットワークは、電気通信ネットワーク、ローカルエリアネットワーク、ワイドエリアネットワーク、インターネット等を含む。

【0044】

図２は、いくつかの例におけるストリーミングシステム（２００）のブロック図を示している。ストリーミングシステム（２００）は、点群の使用アプリケーションである。開示される主題は、３Ｄテレプレゼンスアプリケーション、仮想現実アプリケーション等のような、他の点群対応型アプリケーションにも同様に適用可能であり得る。

【0045】

ストリーミングシステム（２００）は、キャプチャサブシステム（２１３）を含んでよい。キャプチャサブシステム（２１３）は、点群ソース（２０１）、例えば光検出及び測距（ＬＩＤＡＲ）システム、３Ｄカメラ、３Ｄスキャナ、圧縮されていない点群（２０２）を生成するソフトウェアで非圧縮点群を生成するグラフィクス生成構成要素等を含むことができる。一例では、点群（２０２）は、３Ｄカメラによってキャプチャされる点を含む。点群（２０２）は、圧縮された点群（２０４）（圧縮された点群のビットストリーム）と比較して高いデータ量を強調するために太線で示されている。圧縮された点群（２０４）を、点群ソース（２０１）に結合されたエンコーダ（２０３）を含む電子デバイス（２２０）によって生成することができる。エンコーダ（２０３）は、以下でより詳細に説明されるように、開示される主題の側面を可能にするか又は実装するために、ハードウェア、ソフトウェア又はそれらの組合せを含むことができる。圧縮された点群（２０４）（又は圧縮された点群のビットストリーム（２０４））は、点群（２０２）のストリームと比較して低いデータ量を強調するために細線として表されており、将来の使用のためにストリーミングサーバ（２０５）に記憶されることができる。図２のクライアントサブシステム（２０６）及び（２０８）のような１つ以上のストリーミングクライアントサブシステムは、ストリーミングサーバ（２０５）にアクセスして、圧縮された点群（２０４）のコピー（２０７）及び（２０９）を取り出すことができる。クライアントサブシステム（２０６）は、例えば電子デバイス（２３０）内にデコーダ（２１０）を含むことができる。デコーダ（２１０）は、圧縮された点群の入力コピー（incoming copy）（２０７）を復号し、レンダリングデバイス（２１２）でレンダリングすることができる再構成された点群（２１１）の出力ストリーム（outgoing stream）を作成する。

【0046】

なお、電子デバイス（２２０）及び（２３０）は、他の構成要素（図示せず）を含むことができることに留意されたい。例えば電子デバイス（２２０）はデコーダ（図示せず）を含むことができ、同様に、電子デバイス（２３０）はエンコーダ（図示せず）を含むこともできる。

【0047】

一部のストリーミングシステムでは、圧縮された点群（２０４）、（２０７）及び（２０９）（例えば圧縮された点群のビットストリーム）を特定の規格に従って圧縮することができる。いくつかの例では、点群の圧縮にビデオコーディング規格が使用される。これらの規格の例は、Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＨＥＶＣ）、Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＶＶＣ）等を含む。

【0048】

図３は、いくつかの実施形態による、点群フレームを符号化するためのＶ－ＰＣＣエンコーダ（３００）のブロック図を示している。いくつかの実施形態では、Ｖ－ＰＣＣエンコーダ（３００）を通信システム（１００）及びストリーミングシステム（２００）で使用することができる。例えばエンコーダ（２０３）は、Ｖ－ＰＣＣエンコーダ（３００）と同様の方法で構成されて動作することができる。

【0049】

Ｖ－ＰＣＣエンコーダ（３００）は、点群フレームを非圧縮入力として受け取り、圧縮された点群フレームに対応するビットストリームを生成する。いくつかの実施形態では、Ｖ－ＰＣＣエンコーダ（３００）は、点群ソース（２０１）等のような点群ソースから点群フレームを受け取ってよい。

【0050】

図３の例では、Ｖ－ＰＣＣエンコーダ（３００）は、パッチ生成モジュール（３０６）、パッチパッキングモジュール（３０８）、ジオメトリ画像生成モジュール（３１０）、テクスチャ画像生成モジュール（３１２）、パッチ情報モジュール（３０４）、占有マップモジュール（３１４）、平滑化モジュール（３３６）、画像パディングモジュール（３１６）及び（３１８）、グループ拡張モジュール（３２０）、ビデオ圧縮モジュール（３２２）、（３２３）及び（３３２）、補助パッチ情報圧縮モジュール（３３８）、エントロピー圧縮モジュール（３３４）並びにマルチプレクサ（３２４）を含む。

【0051】

本開示の側面によると、Ｖ－ＰＣＣエンコーダ（３００）は、圧縮された点群を復元された点群に変換するために使用されるいくつかのメタデータ（例えば占有マップ及びパッチ情報）とともに、３Ｄ点群フレームを画像ベースの表現に変換する。いくつかの例では、Ｖ－ＰＣＣエンコーダ（３００）は、３Ｄ点群フレームをジオメトリ画像、テクスチャ画像及び占有マップに変換し、次いで、ビデオコーディング技術を使用して、ジオメトリ画像、テクスチャ画像及び占有マップをビットストリームに符号化することができる。一般に、ジオメトリ画像は、ピクセルに投影された点に関連付けられるジオメトリ値で満たされる（fill）ピクセルを有する２Ｄ画像であり、ジオメトリ値で満たされるピクセルを、ジオメトリサンプルと呼ぶことができる。テクスチャ画像は、ピクセルに投影されたポイントに関連付けられるテクスチャ値で満たされるピクセルを有する２Ｄ画像であり、テクスチャ値で満たされるピクセルをテクスチャサンプルと呼ぶことができる。占有マップは、パッチによって占有されているか又は占有されていないことを示す値で満たされるピクセルを有する２Ｄ画像である。

【0052】

パッチ生成モジュール（３０６）は、点群をパッチのセット（例えばパッチは、点群によって記述される表面の連続したサブセットとして定義される）にセグメント化（segment）し、パッチは、オーバーラップしていてもしてなくてもよく、各パッチが２Ｄ空間内の平面に対する深度フィールドによって記述され得る。いくつかの実施形態では、パッチ生成モジュール（３０６）は、再構成誤差を最小限に抑えながら、点群を、滑らかな境界を有する最小の数のパッチに分解することを目的としている。

【0053】

いくつかの例では、パッチ情報モジュール（３０４）は、パッチのサイズと形状を示すパッチ情報を収集することができる。いくつかの例では、パッチ情報を画像フレームにパックし、補助パッチ情報圧縮モジュール（３３８）によって符号化して、圧縮された補助パッチ情報を生成することができる。

【0054】

いくつかの例では、パッチパッキングモジュール（３０８）は、未使用空間を最小化して、格子のすべてのＭ×Ｍ（例えば１６×１６）ブロックが一意のパッチに関連付けられることを保証しながら、抽出されたパッチを２次元（２Ｄ）格子にマップするように構成される。効率的なパッチパッキングは、未使用空間を最小化すること又は時間的一貫性を確保することのいずれかによって、圧縮効率に直接影響を与えることができる。

【0055】

ジオメトリ画像生成モジュール（３１０）は、所与のパッチ位置で点群のジオメトリに関連付けられる２Ｄジオメトリ画像を生成することができる。テクスチャ画像生成モジュール（３１２）は、所与のパッチ位置で点群のテクスチャに関連付けられる２Ｄテクスチャ画像を生成することができる。ジオメトリ画像生成モジュール（３１０）及びテクスチャ画像生成モジュール（３１２）は、パッキングプロセス中に計算された３Ｄから２Ｄへのマッピングを用いて、点群のジオメトリとテクスチャを画像として記憶する。複数の点が同じサンプルに投影されるケースをより適切に処理するために、各パッチは、レイヤと呼ばれる２つの画像に投影される。一例では、ジオメトリ画像はＹＵＶ４２０－８ビットフォーマットのＷｘＨの単色フレームによって表される。テクスチャ画像を生成するために、テクスチャ生成手順は、再サンプリングされた点に関連付けられる色を計算するために、再構成／平滑化されたジオメトリを利用する。

【0056】

占有マップモジュール（３１４）は、各ユニットでパディング情報を記述する占有マップを生成することができる。例えば占有画像は、格子のセルごとに、そのセルが空の空間に属しているか点群に属しているかを示すバイナリマップを含む。一例では、占有マップは、ピクセルごとにそのピクセルがパディングされているか否かを記述するバイナリ情報を使用することができる。別の例では、占有マップは、ピクセルのブロックごとにピクセルのブロックがパディングされているか否かを記述するバイナリ情報を使用する。

【0057】

占有マップモジュール（３１４）によって生成された占有マップは、可逆コーディング又は非可逆コーディングを使用して圧縮されることができる。可逆コーディングを使用するとき、エントロピー圧縮モジュール（３３４）を使用して占有マップを圧縮する。非可逆コーディングを使用するとき、ビデオ圧縮モジュール（３３２）を使用して占有マップを圧縮する。

【0058】

パッチパッキングモジュール（３０８）は、画像フレームにパックされた２Ｄパッチの間にいくつかの空の空間を残してよいことに留意されたい。画像パディングモジュール（３１６）及び（３１８）は、２Ｄビデオ及び画像コーデックに適している可能性がある画像フレームを生成するために、空の空間を満たすことができる（パディングと呼ばれる）。画像パディングは、冗長的情報で未使用の空間を満たすことができるバックグラウンド充填（background filling）とも呼ばれる。いくつかの例では、良好なバックグラウンド充填は、ビットレートを最小限に増加させるが、パッチ境界付近に大幅なコーディングの歪みを導入しない。

【0059】

ビデオ圧縮モジュール（３２２）、（３２３）及び（３３２）は、ＨＥＶＣ、ＶＶＣ等の適切なビデオコーディング規格に基づいて、パディングされたジオメトリ画像、パディングされたテクスチャ画像及び占有マップのような２Ｄ画像を符号化することができる。一例では、ビデオ圧縮モジュール（３２２）、（３２３）及び（３３２）は別個に動作する個々の構成要素である。別の例では、ビデオ圧縮モジュール（３２２）、（３２３）及び（３３２）を単一の構成要素として実装することができることに留意されたい。

【0060】

いくつかの例では、平滑化モジュール（３３６）は、再構成されたジオメトリ画像の平滑化された画像を生成するように構成される。平滑化された画像を、テクスチャ画像生成（３１２）に提供することができる。次いで、テクスチャ画像生成（３１２）は、再構成されたジオメトリ画像に基づいてテクスチャ画像の生成を調整してよい。例えばパッチ形状（例えばジオメトリ）が符号化及び復号中にわずかに歪むとき、その歪みは、テクスチャ画像を生成してパッチ形状の歪みを補正するときに考慮され得る。

【0061】

いくつかの実施形態では、グループ拡張（３２０）は、再構成された点群の視覚的品質だけでなく、コーディングゲインを向上させるために、冗長な低頻度コンテンツでオブジェクト境界の周囲のピクセルをパディングするように構成される。

【0062】

マルチプレクサ（３２４）は、圧縮されたジオメトリ画像、圧縮されたテクスチャ画像、圧縮された占有マップ、圧縮された補助パッチ情報を、圧縮されたビットストリームに多重化することができる。

【0063】

図４は、いくつかの例において、点群フレームに対応する圧縮されたビットストリームを復号するためのＶ－ＰＣＣデコーダ（４００）のブロック図を示している。いくつかの例では、Ｖ－ＰＣＣデコーダ（４００）を、通信システム（１００）及びストリーミングシステム（２００）において使用することができる。例えばデコーダ（２１０）は、Ｖ－ＰＣＣデコーダ（４００）と同様の方法で動作するように構成されることができる。Ｖ－ＰＣＣデコーダ（４００）は、圧縮されたビットストリームを受け取り、圧縮されたビットストリームに基づいて再構成された点群を生成する。

【0064】

図４の例では、Ｖ－ＰＣＣデコーダ（４００）は、デマルチプレクサ（４３２）、ビデオ復元モジュール（４３４）及び（４３６）、占有マップ復元モジュール（４３８）、補助パッチ情報復元モジュール（４４２）、ジオメトリ再構成モジュール（４４４）、平滑化モジュール（４４６）、テクスチャ再構成モジュール（４４８）並びに色平滑化モジュール（４５２）を含む。

【0065】

デマルチプレクサ（４３２）は、圧縮されたビットストリームを受信し、圧縮されたテクスチャ画像、圧縮されたジオメトリ画像、圧縮された占有マップ及び圧縮された補助パッチ情報に分離させる（separate）ことができる。

【0066】

ビデオ復元モジュール（４３４）及び（４３６）は、適切な規格（例えばＨＥＶＣ、ＶＶＣ等）に従って、圧縮された画像を復号し、復元された画像を出力することができる。例えばビデオ復元モジュール（４３４）は、圧縮されたテクスチャ画像を復号し、復元されたテクスチャ画像を出力し、ビデオ復元モジュール（４３６）は、圧縮されたジオメトリ画像を復号し、復元されたジオメトリ画像を出力する。

【0067】

占有マップ復元モジュール（４３８）は、適切な規格（例えばＨＥＶＣ、ＶＶＣ等）に従って、圧縮された占有マップを復号し、復元された占有マップを出力することができる。

【0068】

補助パッチ情報復元モジュール（４４２）は、適切な規格（例えばＨＥＶＣ、ＶＶＣ等）に従って、圧縮された補助パッチ情報を復号し、復元された補助パッチ情報を出力することができる。

【0069】

ジオメトリ再構成モジュール（４４４）は、復元されたジオメトリ画像を受け取り、復元された占有マップと復元された補助パッチ情報に基づいて、再構成された点群ジオメトリを生成することができる。

【0070】

平滑化モジュール（４４６）は、パッチのエッジにおける不一致（incongruences）を平滑化することができる。平滑化手順は、圧縮アーチファクトに起因してパッチ境界で発生する可能性がある潜在的な不連続性を緩和することを目的とする。いくつかの実施形態では、圧縮／復元によって生じる可能性がある歪みを緩和するために、パッチ境界に位置するピクセルに平滑化フィルタが適用され得る。

【0071】

テクスチャ再構成モジュール（４４８）は、復元されたテクスチャ画像と平滑化ジオメトリに基づいて、点群内の点のテクスチャ情報を決定することができる。

【0072】

色平滑化モジュール（４５２）は、カラーリングの不一致を平滑化することができる。３Ｄ空間内の隣接しないパッチは、２Ｄビデオでは互いに隣り合ってパックされることが多い。いくつかの例では、隣接しないパッチのピクセル値が、ブロックベースのビデオコーデックによって混同される可能性がある。色平滑化の目的は、パッチ境界に現れる、目に見えるアーチファクトを減らすことである。

【0073】

図５は、いくつかの例におけるビデオデコーダ（５１０）のブロック図を示している。ビデオデコーダ（５１０）を、Ｖ－ＰＣＣデコーダ（４００）において使用することができる。例えばビデオ復元モジュール（４３４）及び（４３６）、占有マップ復元モジュール（４３８）を、ビデオデコーダ（５１０）と同様に構成することができる。

【0074】

ビデオデコーダ（５１０）は、コーディングされたビデオシーケンスのような圧縮画像からシンボル（５２１）を再構成するためにパーサ（５２０）を含み得る。これらのシンボルのカテゴリは、ビデオデコーダ（５１０）の動作を管理するために使用される情報を含む。パーサ（５２０）は、受信される、コーディングされたビデオシーケンスを構文解析／エントロピー復号し得る。コーディングされたビデオシーケンスのコーディングは、ビデオコーディング技術又は規格に従うことができ、可変長コーディング、ハフマンコーディング、文脈依存（context sensitivity）を伴うか伴わない算術コーディング等を含む、様々な原理に従うことができる。パーサ（５２０）は、コーディングされたビデオシーケンスから、ビデオデコーダ内のピクセルのサブグループのうちの少なくとも１つのサブグループについてのサブグループパラメータのセットを、グループに対応する少なくとも１つのパラメータに基づいて抽出することができる。サブグループは、ピクチャのグループ（ＧＯＰ：Groups of Pictures）、ピクチャ、タイル、スライス、マクロブロック、コーディングユニット（ＣＵ：Coding Units）、ブロック、変換ユニット（ＴＵ：Transform Units）、予測ユニット（ＰＵ：Prediction Units）等を含むことができる。パーサ（５２０）はまた、変換係数、量子化パラメータ値、動きベクトル等のようなコーディングされたビデオシーケンス情報から抽出してもよい。

【0075】

パーサ（５２０）は、シンボル（５２１）を生成するように、バッファメモリから受け取ったビデオシーケンスに対してエントロピー復号／構文解析動作を実行し得る。

【0076】

シンボル（５２１）の再構成は、コーディングされたビデオピクチャ又はその部分のタイプ（例えばインター及びイントラピクチャ、インター及びイントラブロック）及び他のファクタに応じて、複数の異なるユニットに関与することができる。どのユニットがどのように関与するかは、コーディングされたビデオシーケンスからパーサ（５２０）によって構文解析されたサブグループ制御情報によって制御されることができる。パーサ（５２０）と以下の複数のユニットとの間のそのようなサブグループ制御情報のフローは、明確性のために図示されていない。

【0077】

既に述べた機能ブロックの他に、ビデオデコーダ（５１０）は、以下で説明するように、複数の機能ユニットに概念的に細分されることができる。商業的制約の下で動作する実用的な実装では、これらのユニットの多くは互いに密接に対話し、少なくとも部分的に相互へ統合されることができる。しかしながら、開示される主題を説明する目的のために、以下では、機能ユニットへの概念的な細分化が適切である。

【0078】

第１ユニットは、スケーラ／逆変換ユニット（５５１）である。スケーラ／逆変換ユニット（５５１）は、パーサ（５２０）からのシンボル（５２１）として、どの変換を使用すべきか、ブロックサイズ、量子化係数、量子化スケーリング行列等を含む制御情報だけでなく、量子化された変換係数も受け取る。スケーラ／逆変換ユニット（５５１）は、アグリゲータ（５５５）に入力することができるサンプル値を含むブロックを出力することができる。

【0079】

場合によっては、スケーラ／逆変換（５５１）の出力サンプルは、イントラコーディングされたブロック、すなわち、以前に再構成されたピクチャからの予測情報を使用していないが、現在のピクチャの以前に再構成された部分からの予測情報を使用することができるブロックに関連する可能性がある。このような予測情報は、イントラピクチャ予測ユニット（５５２）によって提供されることができる。場合によっては、イントラピクチャ予測ユニット（５５２）は、現在のピクチャバッファ（５５８）からフェッチされる、周囲の既に再構成された情報を使用して、再構成中のブロックの同じサイズ及び形状のブロックを生成する。現在のピクチャバッファ（５５８）は、例えば部分的に再構成された現在のピクチャ及び／又は完全に再構成された現在のピクチャをバッファする。アグリゲータ（５５５）は、場合によっては、サンプルごとに、イントラ予測ユニット（５５２）が生成した予測情報を、スケーラ／逆変換ユニット（５５１）によって提供される出力サンプル情報に追加し得る。

【0080】

他の場合には、スケーラ／逆変換ユニット（５５１）の出力サンプルは、インターコーディングされて潜在的に動き補償されるブロックに関連する可能性がある。このような場合、動き補償予測ユニット（５５３）は、予測に使用されるサンプルをフェッチするために参照ピクチャメモリ（５５７）にアクセスすることができる。ブロックに関連するシンボル（５２１）に従って、フェッチされたサンプルを動き補償した後、これらのサンプルは、アグリゲータ（５５５）によって、出力サンプル情報を生成するために、スケーラ／逆変換ユニット（５５１）の出力（この場合、残差サンプル又は残差信号と呼ばれる）に追加されることができる。動き補償予測ユニット（５５３）が予測サンプルをフェッチする参照ピクチャメモリ（５５７）内のアドレスは、例えばＸ、Ｙと参照ピクチャ成分を有することができるシンボル（５２１）の形態で、動き補償予測ユニット（５５３）に利用可能な動きベクトルによって、制御されることができる。動き補償はまた、サブサンプルの正確な動きベクトルが使用されているときに参照ピクチャメモリ（５５７）からフェッチされるサンプル値の補間、動きベクトル予測メカニズム等も含むことができる。

【0081】

アグリゲータ（５５５）の出力サンプルは、ループフィルタユニット（５５６）内の様々なループフィルタリング技術の対象となることができる。ビデオ圧縮技術は、コーディングされたビデオシーケンス（コーディングされたビデオビットストリームとも呼ばれる）に含まれるパラメータによって制御され、かつパーサ（５２０）からシンボル（５２１）としてループフィルタユニット（５５６）に利用可能にされるが、コーディングされたピクチャ又はコーディングされたビデオシーケンスの（復号順序で）以前の部分の復号中に取得されたメタ情報に応答することもできるとともに、以前に再構成されてループフィルタリングされたサンプル値に応答することができる、ループ内フィルタ技術を含むことができる。

【0082】

ループフィルタユニット（５５６）の出力は、レンダデバイスに出力されることができ、かつ将来のインターピクチャ予測で使用するために参照ピクチャメモリ（５５７）内に記憶されることができる、サンプルストリームとすることができる。

【0083】

ある特定のコーディングされたピクチャは、いったん完全に再構成されると、将来の予測のための参照ピクチャとして使用されることができる。例えば現在のピクチャに対応するコーディングされたピクチャが完全に再構成され、コーディングされたピクチャが（例えばパーサ（５２０）によって）参照ピクチャとして識別されていると、現在のピクチャバッファ（５５８）は参照ピクチャメモリ（５５７）の一部となることができ、フレッシュな現在のピクチャバッファは、後続のコーディングされたピクチャの再構成を開始する前に再割り当てされることができる。

【0084】

ビデオデコーダ（５１０）は、ＩＴＵ－Ｔ Ｒｅｃ． Ｈ．２６５のような規格の所定のビデオ圧縮技術に従って復号動作を実行し得る。コーディングされたビデオシーケンスは、該コーディングされたビデオシーケンスが、ビデオ圧縮技術又は規格の構文と、ビデオ圧縮技術又は規格で文書化されるプロファイルとの両方を守るという意味において、使用されているビデオ圧縮技術又は規格によって指定された構文に準拠し得る。具体的には、プロファイルは、そのプロファイルの下での使用に使用可能な唯一のツールとして、特定のツールを選択することができる。また、コーディングされたビデオシーケンスの複雑さが、ビデオ圧縮技術又は規格のレベルによって定義される範囲内にあることが、準拠には必要であり得る。場合によっては、レベルは、最大ピクチャサイズ、最大フレームレート、最大再構成サンプルレート（例えば毎秒メガサンプルで測定される）、最大参照ピクセルサイズ等を制限する。レベルによって設定される限界（limit）は、場合によっては、コーディングされたビデオシーケンスでシグナリングされる仮想リファレンスデコーダ（ＨＲＤ：Hypothetical Reference Decoder）のバッファ管理のためのＨＲＤ仕様及びメタデータを通して更に制限される可能性がある。

【0085】

図６は、本開示の一実施形態によるビデオエンコーダ（６０３）のブロック図を示している。ビデオエンコーダ（６０３）を、点群を圧縮するＶ－ＰＣＣエンコーダ（３００）において使用することができる。一例では、ビデオ圧縮モジュール（３２２）及び（３２３）と、ビデオ圧縮モジュール（３３２）は、エンコーダ（６０３）と同様に構成される。

【0086】

ビデオエンコーダ（６０３）は、パディングされたジオメトリ画像、パディングされたテクスチャ画像等のような画像を受け取って、圧縮された画像を生成することができる。

【0087】

一実施形態によると、ビデオエンコーダ（６０３）は、リアルタイムで又はアプリケーションによって要求される任意の他の時間制約の下で、ソースビデオシーケンスのピクチャ（画像）をコーディング及び圧縮して、コーディングされたビデオシーケンス（圧縮された画像）にすることができる。適切なコーディング速度を実施することは、コントローラ（６５０）の１つの機能である。いくつかの実施形態において、コントローラ（６５０）は、以下で説明されるように、他の機能ユニットを制御し、該他の機能ユニットに機能的に結合される。この結合は、明確性のために図示されていない。コントローラ（６５０）によって設定されるパラメータは、レート制御関連パラメータ（ピクチャスキップ、量子化器、レート歪み最適化技術のラムダ値、．．．）、ピクチャサイズ、ピクチャのグループ（ＧＯＰ）のレイアウト、最大動きベクトル探索範囲等を含むことができる。コントローラ（６５０）は、特定のシステム設計のために最適化された、ビデオエンコーダ（６０３）に関係する他の適切な機能を有するように構成されることができる。

【0088】

いくつかの実施形態において、ビデオエンコーダ（６０３）は、コーディングループで動作するように構成される。過剰に簡略化した説明として、一例では、コーディングループは、ソースコーダ（６３０）（例えばコーディングされるべき入力ピクチャ及び参照ピクチャに基づいて、シンボルストリーム等のシンボルを作成することを担当する）と、ビデオエンコーダ（６０３）に組み込まれた（ローカル）デコーダ（６３３）とを含むことができる。（シンボルとコーディングされたビデオビットストリームとの間の任意の圧縮は、開示される主題において考慮されるビデオ圧縮技術で可逆であるので）デコーダ（６３３）は、（リモート）デコーダが作成するのと同様の方法で、シンボルを再構成してサンプルデータを作成する。再構成されたサンプルストリーム（サンプルデータ）は、参照ピクチャメモリ（６３４）に入力される。シンボルストリームの復号は、デコーダ位置（ローカル又はリモート）とは独立のビット正確な結果（bit-exact results）をもたらすので、参照ピクチャメモリ（６３４）内のコンテンツも、ローカルエンコーダとリモートエンコーダとの間でビット正確である。言い換えると、エンコーダの予測部分は、デコーダが復号中に予測を使用するときに「見る」のとまったく同じサンプル値を参照ピクチャサンプルとして「見る」。参照ピクチャのシンクロニシティ（synchronicity）のこの基本原理（及び例えばチャネルエラーのためにシンクロニシティを維持することができない場合の結果として生じるドリフト）は、いくつかの関連する技術でも同様に使用される。

【0089】

「ローカル」デコーダ（６３３）の動作は、ビデオデコーダ（５１０）のような「リモート」デコーダと同じものとすることができ、これは、既に図５に関連して上述されている。しかしながら、図５も簡単に参照すると、シンボルが利用可能であり、エントロピーコーダ（６４５）及びパーサ（５２０）によるコーディングされたビデオシーケンスへのシンボルの符号化／復号は可逆であり得るので、パーサ（５２０）を含むビデオデコーダ（５１０）のエントロピー復号部分は、ローカルデコーダ（６３３）では完全には実装されないことがある。

【0090】

いくつかの例において、動作中に、ソースコーダ（６３０）は、動き補償予測コーディングを実行してよく、動き補償予測コーディングは、「参照ピクチャ」として指定されたビデオシーケンスからの１つ以上の以前にコーディングされたピクチャに関連して予測的に入力ピクチャをコーディングする。このようにして、コーディングエンジン（６３２）は、入力ピクチャのピクセルブロックと、入力ピクチャに対する予測参照として選択され得る参照ピクチャのピクセルブロックとの間の差をコーディングする。

【0091】

ローカルビデオデコーダ（６３３）は、ソースコーダ（６３０）によって作成されたシンボルに基づいて、参照ピクチャとして指定され得るピクチャのコーディングされたビデオデータを復号し得る。コーディングエンジン（６３２）の動作は、有利には、非可逆プロセスであり得る。コーディングされたビデオデータがビデオデコーダ（図６には図示せず）で復号され得るとき、再構成ビデオシーケンスは、典型的に、いくつかの誤差を伴うソースビデオシーケンスのレプリカであり得る。ローカルビデオデコーダ（６３３）は、参照ピクチャに対してビデオデコーダによって実行され得る復号処理を複製し、再構成参照ピクチャを参照ピクチャキャッシュ（６３４）に記憶させ得る。このようにして、ビデオエンコーダ（６０３）は、（伝送誤差なしに）遠端ビデオデコーダによって取得される再構成参照ピクチャとして、共通のコンテンツを有する再構成参照ピクチャのコピーを、ローカルに記憶し得る。

【0092】

予測器（６３５）は、コーディングエンジン（６３２）について予測探索を実行し得る。すなわち、コーディングされるべき新しいピクチャについて、予測器（６３５）は、参照ピクチャメモリ（６３４）から、サンプルデータ（候補参照ピクセルブロックとして）又は参照ピクチャ動きベクトル、ブロック形状等のような特定のメタデータを探索してよく、これらのデータは、新たなピクチャのための適切な予測参照として機能し得る。予測器（６３５）は、適切な予測参照を見つけるために、サンプルブロックとピクセルブロックごと（sample block-by-pixel block basis）に動作し得る。場合によっては、予測器（６３５）によって取得される検索結果によって決定されるように、入力ピクチャは、参照ピクチャメモリ（６３４）に記憶された複数の参照ピクチャから引き出された予測参照を有してよい。

【0093】

コントローラ（６５０）は、例えばビデオデータを符号化するために使用されるパラメータ及びサブグループパラメータの設定を含む、ソースコーダ（６３０）のコーディング動作を管理してもよい。

【0094】

すべての前述の機能ユニットの出力は、エントロピーコーダ（６４５）におけるエントロピーコーディングの対象となり得る。エントロピーコーダ（６４５）は、ハフマンコーディング、可変長コーディング、算術コーディング等のような技術に従ってシンボルを可逆圧縮することによって、様々な機能ユニットによって生成されるシンボルを、コーディングされたビデオシーケンスに変換する。

【0095】

コントローラ（６５０）は、ビデオエンコーダ（６０３）の動作を管理し得る。コーディングの間、コントローラ（６５０）は、各コーディングされたピクチャに、特定のコーディングピクチャタイプ（coded picture type）を割り当ててよく、該コーディングピクチャタイプは、それぞれのピクチャに適用され得るコーディングに影響を与え得る。例えばピクチャは、しばしば、次のピクチャタイプのうちの１つとして割り当てられ得る：

【0096】

イントラピクチャ（Ｉピクチャ）は、予測のソースとしてシーケンス内のいずれの他のピクチャも使用せずにコーディング及び復号され得るものであり得る。いくつかのビデオコーデックは、例えば独立デコーダリフレッシュ（「ＩＤＲ：Independent Decoder Refresh」）ピクチャを含む、異なるタイプのイントラピクチャを許容する。当業者は、Ｉピクチャのこれらの変形並びにそれらのそれぞれの用途及び特徴を知っている。

【0097】

予測ピクチャ（Ｐピクチャ）は、各ブロックのサンプル値を予測するために、最大１つの動きベクトルと参照インデックスを用いて、イントラ予測又はインター予測を使用して、コーディング及び復号され得るものであり得る。

【0098】

双方向予測ピクチャ（Ｂピクチャ）は、各ブロックのサンプル値を予測するために、最大２つの動きベクトルと参照インデックスを用いて、イントラ予測又はインター予測を使用して、コーディング及び復号され得るものであり得る。同様に、複数予測ピクチャ（multiple-predictive pictures）は、単一のブロックの再構成のために、２つより多くの参照ピクチャ及び関連するメタデータを使用することができる。

【0099】

ソースピクチャは、通常、空間的に複数のサンプルブロック（例えば各々４×４、８×８、４×８又は１６×１６サンプルのブロック）に細分され、ブロックごとにコーディングされ得る。ブロックは、ブロックのそれぞれのピクチャに適用されるコーディング割り当てによって決定されるように、他の（既にコーディングされた）ブロックに関連して予測的にコーディングされ得る。例えばＩピクチャのブロックは、非予測的にコーディングされてもよく、あるいはそれらは、同じピクチャの既にコーディングされたブロックに関連して予測的にコーディングされてもよい（空間予測又はイントラ予測）。Ｐピクチャのピクセルブロックは、以前にコーディングされた１つの参照ピクチャに関連して、空間予測を介して又は時間予測を介して予測的にコーディングされ得る。Ｂピクチャのブロックは、１つ又は２つの以前にコーディングされた参照ピクチャに関連して、空間予測を介して又は時間予測を介して予測的にコーディングされ得る。

【0100】

ビデオエンコーダ（６０３）は、ＩＴＵ－Ｔ Ｒｅｃ． Ｈ．２６５のような所定のビデオコーディング技術又は規格に従ってコーディング動作を実行し得る。その動作において、ビデオエンコーダ（６０３）は、入力ビデオシーケンスにおける時間的及び空間的冗長性を利用する予測コーディング動作を含む、様々な圧縮動作を実行し得る。コーディングされたビデオデータは、したがって、使用されているビデオコーディング技術又は規格によって指定された構文に従うことができる。

【0101】

ビデオは、時間シーケンスにおける複数のソースピクチャ（画像）の形式であり得る。イントラピクチャ予測（しばしば、イントラ予測と略される）は、所与のピクチャにおける空間的相関を使用し、インターピクチャ予測は、ピクチャ間の（時間的又は他の）相関を使用する。一例では、符号化／復号中の特定のピクチャは、現在のピクチャと呼ばれ、ブロックに分割される。現在のピクチャ内のブロックが、ビデオ内の以前にコーディングされて依然としてバッファされている参照ピクチャ内の参照ブロックに類似するとき、現在のピクチャ内のブロックは、動きベクトルと呼ばれるベクトルによってコーディングされることができる。動きベクトルは、参照ピクチャ内の参照ブロックを指し示し、複数の参照ピクチャが使用されているケースでは、参照ピクチャを識別する第３次元（third dimension）を有することができる。

【0102】

いくつかの実施形態では、インターピクチャ予測において双予測技術を使用することができる。双予測技術によると、第１参照ピクチャと第２参照ピクチャのように、両方とも、復号順序でビデオ内の現在のピクチャに先行する（ただし、表示順序では、それぞれ、過去及び将来であり得る）２つの参照ピクチャが使用される。現在のピクチャ内のブロックを、第１参照ピクチャ内の第１参照ブロックを指し示す第１動きベクトルと、第２参照ピクチャ内の第２参照ブロックを指し示す第２動きベクトルとによってコーディングすることができる。ブロックは、第１参照ブロックと第２参照ブロックの組合せによって、予測されることができる。

【0103】

さらに、コーディング効率を改善するために、インターピクチャ予測においてマージモード技術を使用することができる。

【0104】

本開示のいくつかの実施形態によると、インターピクチャ予測及びイントラピクチャ予測のような予測は、ブロック単位（unit）で実行される。例えばＨＥＶＣ規格によると、ビデオピクチャのシーケンス内のピクチャは、圧縮のためにコーディングツリーユニット（ＣＴＵ）に分割され、ピクチャ内のＣＴＵは、６４×６４ピクセル、３２×３２ピクセル又は１６×１６ピクセルのように、同じサイズを有する。一般に、ＣＴＵは、３つのコーディングツリーブロック（ＣＴＢ）を含み、該３つのＣＴＢは、１つのルマ（luma）ＣＴＢと２つのクロマ（chroma）ＣＴＢである。各ＣＴＵは、１つ又は複数のコーディングユニット（ＣＵｓ）に再帰的に四分木分裂（quadtree split）することができる。例えば６４×６４ピクセルのＣＴＵを、６４×６４ピクセルの１つのＣＵに又は３２×３２ピクセルの４つのＣＵに又は１６×１６ピクセルの１６個のＣＵに分裂することができる。一例では、各ＣＵを分析して、インター予測タイプ又はイントラ予測タイプのような、ＣＵの予測タイプを決定する。ＣＵは、時間的及び／又は空間的予測可能性に依存して、１つ以上の予測ユニット（ＰＵ）に分裂される。一般に、各ＰＵはルマ予測ブロック（ＰＢ）と２つのクロマＰＢｓを含む。一実施形態では、コーディング（符号化／復号）における予測動作は、予測ブロックのユニットにおいて実行される。予測ブロックの例としてルマ予測ブロックを使用すると、予測ブロックは、８×８ピクセル、１６×１６ピクセル、８×１６ピクセル、１６×８ピクセル等のような、ピクセルについての値（例えばルマ値）の行列を含んでよい。

【0105】

図７は、いくつかの例における、Ｇ－ＰＣＣエンコーダ（７００）のブロック図を示す。Ｇ－ＰＣＣエンコーダ（７００）は、点群データを受け取り、点群データを圧縮して、圧縮された点群データを担持するビットストリームを生成するように構成されることができる。一実施形態において、Ｇ－ＰＣＣエンコーダ（７００）は、位置量子化モジュール（７１０）、重複点除去モジュール（７１２）、八分木符号化モジュール（７３０）、属性転送モジュール（７２０）、詳細レベル（ＬＯＤ、level of detail）生成モジュール（７４０）、属性予測モジュール（７５０）、残差量子化モジュール（７６０）、算術コーディングモジュール（７７０）、逆残差量子化モジュール（７８０）、加算モジュール（７８１）及び再構成された属性値を記憶するメモリ（７９０）を含むことができる。

【0106】

図示されるように、入力点群（７０１）をＧ－ＰＣＣエンコーダ（７００）において受信することができる。点群（７０１）の位置（例えば３Ｄ座標）は量子化モジュール（７１０）に提供される。量子化モジュール（７１０）は、座標を量子化して、量子化された位置を生成するように構成される。重複点除去モジュール（７１２）は、量子化された位置を受け取り、フィルタプロセスを実行して重複点を識別して除去するように構成される。八分木符号化モジュール（７３０）は、重複点除去モジュール（７１２）から、フィルタリングされた位置を受け取り、八分木ベースの符号化プロセスを実行して、ボクセルの３Ｄ格子を記述する占有コードのシーケンスを生成するように構成される。占有コードは、算術コーディングモジュール（７７０）に提供される。

【0107】

属性転送モジュール（７２０）は、入力点群の属性を受け取り、複数の属性値がそれぞれのボクセルに関連付けられるときに各ボクセルの属性値を決定するために、属性転送プロセスを実行するように構成される。属性転送プロセスを、八分木符号化モジュール（７３０）から出力される、再順序付けされた点に対して実行することができる。属性は、転送操作後に、属性予測モジュール（７５０）に提供される。ＬＯＤ生成モジュール（７４０）は、八分木符号化モジュール（７３０）から出力される、再順序付けされた点に作用して、これらの点を、異なるＬＯＤに再編成するように構成される。ＬＯＤ情報は、属性予測モジュール（７５０）に供給される。

【0108】

属性予測モジュール（７５０）は、ＬＯＤ生成モジュール（７４０）からのＬＯＤ情報によって示されるＬＯＤベースの順序に従って点を処理する。属性予測モジュール（７５０）は、メモリ（７９０）に記憶された現在の点の隣接点のセットの再構成された属性に基づいて、現在の点の属性予測を生成する。その後、属性転送モジュール（７２０）から受け取った元の属性値と、ローカルに生成された属性予測とに基づいて、予測残差を取得することができる。候補インデックスがそれぞれの属性予測プロセスで使用されるとき、選択された予測候補に対応するインデックスが、算術コーディングモジュール（７７０）に提供されることがある。

【0109】

残差量子化モジュール（７６０）は、属性予測モジュール（７５０）から予測残差を受け取り、量子化を実行して量子化残差を生成するように構成される。量子化残差は、算術コーディングモジュール（７７０）に提供される。

【0110】

逆残差量子化モジュール（７８０）は、残差量子化モジュール（７６０）から量子化された残差を受け取り、残差量子化モジュール（７６０）で実行される量子化操作の逆を実行することによって、再構成予測残差を生成するように構成される。加算モジュール（７８１）は、逆残差量子化モジュール（７８０）から再構成予測残差を受け取り、属性予測モジュール（７５０）からそれぞれの属性予測を受け取るように構成される。再構成予測残差と属性予測を組み合わせることによって、再構成された属性値が生成され、メモリ（７９０）に記憶される。

【0111】

算術コーディングモジュール（７７０）は、占有コード、候補インデックス（使用される場合）、量子化残差（生成される場合）及び他の情報を受け取り、エントロピー符号化を実行して、受け取った値又は情報を更に圧縮するように構成される。その結果、圧縮された情報を担持する圧縮ビットストリーム（７０２）を生成することができる。ビットストリーム（７０２）は、圧縮されたビットストリームを復号するデコーダに送信されるか又は他の方法で提供されてよく、あるいはストレージデバイスに記憶されてもよい。

【0112】

図８は、一実施形態によるＧ－ＰＣＣデコーダ（８００）のブロック図を示している。Ｇ－ＰＣＣデコーダ（８００）は、圧縮されたビットストリームを受け取り、点群データ復元を実行してビットストリームを復元し、復号された点群データを生成するように構成されることができる。一実施形態では、Ｇ－ＰＣＣデコーダ（８００）は、算術復号モジュール（８１０）、逆残差量子化モジュール（８２０）、八分木復号モジュール（８３０）、ＬＯＤ生成モジュール（８４０）、属性予測モジュール（８５０）及び再構成された属性値を記憶するメモリ（８６０）を含むことができる。

【0113】

図示されるように、圧縮されたビットストリーム（８０１）を算術復号モジュール（８１０）において受信することができる。算術復号モジュール（８１０）は、圧縮されたビットストリーム（８０１）を復号して、量子化された残差（生成された場合）と点群の占有コードを取得するように構成される。八分木復号モジュール（８３０）は、占有コードに従って点群内の点の再構成された位置を決定するように構成される。ＬＯＤ生成モジュール（８４０）は、再構成された位置に基づいて点を異なるＬＯＤに再編成し、ＬＯＤベースの順序を決定するように構成される。逆残差量子化モジュール（８２０）は、算術復号モジュール（８１０）から受け取った、量子化された残差に基づいて、再構成された残差を生成するように構成される。

【0114】

属性予測モジュール（８５０）は、ＬＯＤベースの順序に従って点の属性予測を決定する属性予測プロセスを実行するように構成される。例えば現在の点の属性予測は、メモリ（８６０）に記憶されている現在の点の隣接点の再構成された属性値に基づいて決定されることができる。いくつかの例では、属性予測をそれぞれの再構成された残差と組み合わせて、現在の点の再構成された属性を生成することができる。

【0115】

属性予測モジュール（８５０）から生成された再構成された属性のシーケンスは、八分木復号モジュール（８３０）から生成された再構成された位置とともに、一例では、Ｇ－ＰＣＣデコーダ（８００）から出力される復号された点群（８０２）に対応する。加えて、再構成された属性もメモリ（８６０）に記憶され、その後、後続の点の属性予測を導出するために使用することができる。

【0116】

様々な実施形態では、エンコーダ（３００）、デコーダ（４００）、エンコーダ（７００）及び／又はデコーダ（８００）を、ハードウェア、ソフトウェア又はそれらの組合せで実装することができる。例えばエンコーダ（３００）、デコーダ（４００）、エンコーダ（７００）及び／又はデコーダ（８００）を、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）等のような、ソフトウェアとともに又はソフトウェアなしに動作する１つ以上の集積回路（ＩＣ）のような処理回路で実装することができる。別の例では、エンコーダ（３００）、デコーダ（４００）、エンコーダ（７００）及び／又はデコーダ（８００）を、不揮発性（又は非一時的）コンピュータ読取可能記憶媒体に記憶される命令を含むソフトウェア又はファームウェアとして実装することができる。命令は、１つ以上のプロセッサのような処理回路によって実行されると、処理回路にエンコーダ（３００）、デコーダ（４００）、エンコーダ（７００）及び／又はデコーダ（８００）の機能を実行させる。

【0117】

本明細書に開示される属性予測技術を実装するように構成される属性予測モジュール（７５０）及び（８５０）は、図７及び図８に示されているものと類似又は異なる構造を有することができる他のデコーダ又はエンコーダに含まれることができることに留意されたい。加えて、エンコーダ（７００）及びデコーダ（８００）を、様々な例において、同じデバイス又は別個のデバイスに含めることができる。

【0118】

いくつかの実施形態において、メッシュ圧縮は、ＰＣＣコーディングツールとは異なるコーディングツールを使用することもでき、あるいは上記のＰＣＣ（例えばＧ－ＰＣＣ、Ｖ－ＰＣＣ）エンコーダ、上記のＰＣＣ（例えばＧ－ＰＣＣ、Ｖ－ＰＣＣ）デコーダ等のようなＰＣＣコーディングツールを使用することもできる。

【0119】

オブジェクトのメッシュ（又は３Ｄメッシュ）は、オブジェクトの表面を記述するポリゴンを含むことができる。各ポリゴンは、３Ｄ空間内のポリゴンの頂点と、頂点がポリゴンにどのように接続されているかの情報によって定義され得る。頂点がどのように接続されているかの情報は、接続情報と呼ばれる。いくつかの例では、メッシュは、頂点に関連付けられる色、法線等の属性も含むことができる。２Ｄ属性マップでメッシュをパラメータ化するマッピング情報を利用することによって、属性をメッシュの表面に関連付けることができる。マッピング情報は通常、メッシュの頂点に関連付けられる、ＵＶ座標又はテクスチャ座標と呼ばれる一連のパラメトリック座標（parametric coordinates）によって記述される。２Ｄ属性マップ（いくつかの例では、テクスチャマップと呼ばれる）は、テクスチャ、法線、変位（displacements）等のような高解像度の属性情報を記憶するために使用される。このような情報はテクスチャマッピングやシェーディングのような様々な目的のために使用することができる。

【0120】

いくつかの実施形態では、メッシュは、ジオメトリ情報、接続情報、マッピング情報、頂点属性及び属性マップと呼ばれる構成要素を含むことができる。いくつかの例では、ジオメトリ情報は、メッシュの頂点に関連付けられる３Ｄ位置のセットによって記述される。一例では、（ｘ，ｙ，ｚ）座標を使用して、頂点の３Ｄ位置を記述することができる。いくつかの例では、接続情報は、頂点をどのように接続して３Ｄ表面を作成するかを記述する頂点インデックスのセットを含む。いくつかの例では、マッピング情報は、メッシュ表面をどのように平面の２Ｄ領域にマッピングするかを記述されている。一例では、マッピング情報は、接続情報とともに、メッシュ頂点に関連付けられるＵＶパラメトリック／テクスチャ座標（ｕ，ｖ）のセットによって記述される。いくつかの例では、頂点属性は、メッシュ頂点に関連付けられるスカラー又はベクトル属性値を含む。いくつかの例では、属性マップは、メッシュ表面に関連付けられる属性を含み、２Ｄ画像／ビデオとして記憶される。一例では、ビデオ（例えば２Ｄ画像／ビデオ）とメッシュ表面との間のマッピングは、マッピング情報によって定義される。

【0121】

いくつかの実施形態において、ＵＶマッピング又はメッシュパラメータ化と呼ばれるいくつかの技術を使用して、３Ｄドメイン内のメッシュの表面を２Ｄドメインにマッピングする。いくつかの例では、メッシュは３Ｄドメイン内のパッチに分割（partition）される。その後、パッチはそれぞれ２Ｄ形状にパラメータ化される。いくつかの例ではアトラスとも呼ばれるマップに２Ｄ形状をパックする（例えば方向付け及び配置する）ことができる。いくつかの例では、２Ｄ画像又はビデオ処理技術を使用して、マップを更に処理することができる。

【0122】

一例では、ＵＶマッピング技術は、３Ｄメッシュのパッチに対応する２ＤのＵＶアトラス（ＵＶマップとも呼ばれる）と１つ以上のテクスチャアトラス（テクスチャマップとも呼ばれる）を生成する。ＵＶアトラスは、２Ｄドメイン（例えば矩形）内の２Ｄの点への３Ｄメッシュの３Ｄ頂点の割り当てを含む。ＵＶアトラスは、３Ｄ表面の座標から２Ｄドメインの座標へのマッピングである。一例として、ＵＶアトラス内の２Ｄ座標（ｕ，ｖ）にある点は、３Ｄドメイン内の頂点の座標（ｘ，ｙ，ｚ）によって形成される値を有する。一例では、テクスチャアトラスは、３Ｄメッシュの色情報を含む。例えばテクスチャアトラス内の２Ｄ座標（ｕ，ｖ）にある点（ＵＶアトラス内で３Ｄ値（ｘ，ｙ，ｚ）を有する）は、３Ｄドメインの（ｘ，ｙ，ｚ）にある点の色属性を指定する色を有する。

【0123】

動的メッシュは、構成要素（ジオメトリ情報、接続情報、マッピング情報、頂点属性及び属性マップ）のうちの少なくとも１つが時間によって変化するメッシュである。動的メッシュを、一連のメッシュ（メッシュフレームとも呼ばれる）によって記述することができる。動的メッシュは、該動的メッシュが時間の経過とともに変化する大量の情報を含む可能性があるので、大量のデータを必要とする可能性がある。メッシュの圧縮技術は、メッシュ表現におけるメディアコンテンツの効率的な記憶と伝送を可能にすることができる。

【0124】

いくつかの例では、動的メッシュは、一定の接続情報、時間変化するジオメトリ及び時間変化する頂点属性を有することができる。いくつかの例では、動的メッシュは、時間変化する接続情報を有することができる。一例では、デジタルコンテンツ作成ツールは通常、時間変化する属性マップと時間変化する接続情報で動的メッシュを生成する。いくつかの例では、ボリューム取得技術を使用して動的メッシュを生成する。ボリューム取得技術は、特にリアルタイムの制約の下で、時間変化する接続情報で動的メッシュを生成することができる。

【0125】

いくつかの実施形態において、メッシュ圧縮は、１つ以上の２Ｄマップ（いくつかの例では属性マップと呼ばれる）を使用してメッシュを表現し、その後、画像又はビデオコーデックを使用して２Ｄマップを符号化することによって実行することができる。いくつかの例では、ＵＶアトラスサンプリング技術のような再メッシュ技術がメッシュ圧縮で使用される。ＵＶアトラスサンプリング技術は、ＵＶアトラスでサンプリングされた構造格子点（regular grid points）を介して３Ｄメッシュモデルを再メッシュする。ＵＶアトラスの元の頂点は、構造格子点によって置き換えられる。接続情報は、構造格子点から推測でき、別個に符号化する必要はない。

【0126】

いくつかの例では、ＵＶアトラスサンプリング技術を使用して、メッシュは、ジオメトリマップ（ＵＶアトラスとも呼ばれる）、色マップ（色アトラスとも呼ばれる）、テクスチャマップ（テクスチャアトラスとも呼ばれる）、占有マップ等のような複数のマップによって表される。いくつかの例では、複数のマップが属性マップと呼ばれ、属性マップ内のサンプルの値が属性値と呼ばれる。複数のマップを符号化するために、画像及び／又はビデオコーデックを使用して圧縮目的を実現することができる。本開示の側面によると、複数のマップの１つ以上のマップにおけるサンプルのダイナミックレンジは、いくつかの既存のコーデックの容量を超える可能性がある。例えば一部のビデオコーデックは８ビットのコーディングしかサポートすることはできないが、ジオメトリマップのビット深度は１０ビット、１２ビット、更には１６ビットとすることができる。

【0127】

本開示は、ＵＶ座標を符号化及び復号するための方法を含む。ＵＶ座標を、３Ｄメッシュの２Ｄ属性マップにおいて利用することができ、属性マップはテクスチャ、法線、変位又は他の高解像度属性情報を記憶することができる。開示されたＵＶ座標コーディングの方法を、３Ｄメッシュ圧縮の構成要素として用いることができる。

【0128】

動的メッシュシーケンスは、時間の経過とともに変化する大量の情報を含むことができるため、大量のデータを必要とする可能性がある。したがって、このようなコンテンツを記憶して送信するためには、効率的な圧縮技術が必要とされる。補間圧縮（ＩＣ、interpolator compression）、ＭＥＳＨＧＲＩＤ、フレームベースのアニメーションメッシュ圧縮（ＦＡＭＣ、Frame-based Animated Mesh Compression）のようなメッシュ圧縮規格が、一定の接続性、時間変化するジオメトリ及び頂点属性を有する動的メッシュに対処するためにＭＰＥＧによって以前に開発された。しかしながら、メッシュ圧縮規格は、時間変化する属性マップと接続情報は考慮しない。ＤＣＣ（デジタルコンテンツ作成、Digital Content Creation）ツールは通常、このような動的メッシュを生成する。これとは対照的に、特にリアルタイムの制約の下で、一定の接続性の動的メッシュを生成することは、ボリューム取得技術にとって困難である。このタイプのコンテンツは、既存の規格ではサポートされていない。ＭＰＥＧは、時間変化する接続情報とオプションで時間変化する属性マップを有する動的メッシュを直接対処する新しいメッシュ圧縮規格の開発を計画している。新しいメッシュ圧縮規格は、リアルタイム通信、ストレージ、フリービューポイントビデオ（free viewpoint video）、ＡＲ及びＶＲのような、様々なアプリケーションの非可逆圧縮及び可逆圧縮を対象としている。ランダムアクセス及びスケーラブル／プログレッシブコーディングのような機能も考慮される。

【0129】

高品質３Ｄメッシュを伝送することは、高品質３Ｄメッシュの大きなメモリフットプリントに起因して困難である可能性がある。したがって、３Ｄメッシュの効率的な圧縮アルゴリズムを設計することは、ＶＲ／ＡＲのような消費者レベルのアプリケーションの展開を可能にし、かつ３Ｄビデオのストリーミングを容易にするために、最も重要である。

【0130】

３Ｄメッシュ圧縮は、ジオメトリ圧縮とテクスチャ圧縮を含む。ジオメトリ圧縮は幾何学的な表面表現を対象とし、テクスチャ圧縮はＵＶマップを介して３Ｄメッシュに関連付けられるテクスチャ画像のためである。図９は、ある時点における３Ｄメッシュのテクスチャ画像（９００）の例である。テクスチャ画像（９００）では、３Ｄメッシュの色属性を表すパッチ（例えば（９０２））を一緒に配置することができる。パッチ頂点をメッシュ頂点に関連付けることができる。したがって、パッチ頂点のピクセル座標は、ＵＶ座標と呼ばれ、メッシュ頂点の３Ｄ座標に関連付けられる。

【0131】

３Ｄメッシュ頂点のＵＶ座標を、１つはＵ座標であり、もう１つはＶ座標である、２次元座標のリストとして表すことができる。

【0132】

本開示では、３ＤメッシュのＵＶ座標を最初に受け取ることができる。例えば３ＤメッシュのＵＶ座標を、処理回路によって生成し、エンコーダ（例えば（６００）又は（７００））に送信することができる。ＵＶ座標は、第１軸のＵ座標と第２軸のＶ座標を含み、３Ｄメッシュの頂点に対応する、２次元（２Ｄ）テクスチャ座標とすることができる。

【0133】

データ準備プロセスを３ＤメッシュのＵＶ座標に対して更に実行することができる。データ準備プロセスは、量子化プロセス、分離プロセス又は変換プロセスを含むことができる。量子化プロセスは、ＵＶ座標を、例えば複数のインジケータに変換するように構成されることができる。分離プロセスは、ＵＶ座標をＵ座標とＶ座標にそれぞれ分離するように構成されることができる。変換プロセスは、ＵＶ座標を、例えば空間領域から周波数領域に変換するように構成されることができる。

【0134】

量子化プロセス、分離プロセス及び変換プロセスを、個別に又は任意の組合せで実行することができることに留意されたい。例えば量子化プロセスを最初に実行することができ、量子化後に変換プロセスを実行することができる。別の例では、分離プロセスをＵＶ座標に対して実行することができ、量子化プロセス又は変換プロセスを分離プロセスの後に実行することができる。

【0135】

データ準備プロセスの後、ＵＶ座標に対して圧縮を実行することができる。圧縮は、非可逆圧縮又は可逆圧縮とすることができる。圧縮は、画像／ビデオ圧縮、整数圧縮等を含むことができる。

【0136】

本開示では、元のＵ座標とＶ座標を量子化することができる。元のＵ座標とＶ座標を、符号化前に量子化プロセスに基づいて最初に量子化し、復号後に逆量子化することができる。

【0137】

一実施形態では、線形スカラー量子化をＵ座標とＶ座標に適用することができる。例えばＵ座標とＶ座標を特定のスカラー因子によって割ることができる。別の例では、異なる量子化スカラー（例えば異なるスカラー因子）をＵ座標とＶ座標にそれぞれ適用することができる。いくつかの実施形態では、量子化スカラー（例えばスカラー因子）又は異なる量子化スカラー（例えば異なるスカラー因子）をビットストリームでシグナリングすることができる。デコーダ側では、２つの座標の各々に量子化スカラー又はそれぞれの量子化スカラーを乗算することによって、逆量子化を２つの座標（例えばＵ座標とＶ座標）の各々に適用することができる。

【0138】

一実施形態では、ベクトル量子化をＵ座標とＶ座標のペアに適用することができ、ここで、Ｕ座標とＶ座標の各ペアは、それぞれのＵ座標とそれぞれのＶ座標を含むことができる。ベクトル量子化によると、Ｕ座標とＶ座標の各ペアを、ベクトル量子化に関連付けられるベクトル辞書へのインジケータによって表すことができる。ベクトル辞書を、ビットストリーム内の追加のオーバーヘッドとして更にシグナリングすることができ、あるいはエンコーダ（例えば（６００）又は（７００））とデコーダ（例えば（５００）又は（８００））のために事前トレーニングして固定（fix）することもできる。

【0139】

量子化の後、ＵＶ座標をコーディングすることができる。例えばＵＶ座標を可逆的にコーディングすることができる。ＵＶ座標の可逆的なコーディングは、画像／ビデオ圧縮に基づくか又は整数圧縮に基づくことができる。整数圧縮は、可逆整数圧縮のような、任意の整数圧縮とすることができる。

【0140】

本開示では、ＵＶ座標を、分離プロセスに基づいて、Ｕ座標とＶ座標に個々に分離することができる。コーデックを更に適用して、Ｕ座標又はＶ座標を圧縮することができる。

【0141】

一実施形態では、メッシュフレームのＵＶ座標をＵ座標とＶ座標に分離することができる。Ｕ座標とＶ座標の各々は、それぞれ２Ｄアレイに更に作り変える（reshape）ことができる。スネーク走査順序、ラスター走査順序（raster scanning order）、ジグザグ走査順序、ヒルベルト及びモートンの走査順序（Hilbert and Morton scanning order）のような、任意の空間充填曲線を適用して２Ｄアレイを満たすことができる。走査順序を、エンコーダ（例えば（６００）又は（７００））又はデコーダ（（５００）又は（８００）の両方に対して固定することができ、あるいはシーケンスヘッダ、スライスヘッダ等のような高レベルな構文で指定することができる。２Ｄアレイをピクチャと見なすことができる。動的メッシュでは、複数の２Ｄアレイを生成してビデオを形成することができる。画像／ビデオコーデックを、Ｕ座標とＶ座標から導出される各画像／ビデオ（又は２Ｄアレイ）に適用することができる。いくつかの実施形態では、可逆コーディングを２Ｄアレイの各々に適用することができる。したがって、画像／ビデオコーデックは可逆画像／ビデオコーデックとすることができる。

【0142】

様々な走査順序を利用して、Ｕ座標及びＶ座標を２Ｄアレイに作り変えることができる。一実施形態では、ラスター走査順序を適用して、Ｕ座標又はＶ座標を２Ｄアレイに作り変えることができる。

【0143】

一実施形態では、スネーク走査順序を適用して、Ｕ座標又はＶ座標を２Ｄアレイに作り変えることができる。例示のスネーク走査順序が図１０に示されている。例えばスネーク走査順序の走査方向は、水平方向（図１０に示される）又は垂直方向のいずれかに沿うものとすることができる。

【0144】

一実施形態では、ジグザグ走査順序を適用して、Ｕ座標又はＶ座標を２Ｄアレイに作り変えることができる。例示のジグザグ走査順序が図１１に示されている。

【0145】

分離プロセスの後、ビデオコーデックを使用して、Ｕ座標とＶ座標の各々をコーディングすることができる。一例では、可逆コーディングを適用することができる。例えば（１）ＡＶＣ／Ｈ．２６４ビデオコーデック、（２）ＨＥＶＣ／Ｈ．２６５ビデオコーデック、（３）ＶＶＣ／Ｈ．２６６ビデオ、（４）ＡＶＳ２ビデオコーデック、（５）ＡＶＳ３ビデオコーデック、（６）ＡＶ１ビデオコーデック、（７）ＪＰＥＧ画像コーデック又は（８）ＪＰＥＧ２０００画像コーデックのうちの１つに基づいて、可逆コーディングを適用することができる。

【0146】

本開示では、変換プロセス（又は変換）をＵ座標とＶ座標のペアに適用することができる。変換プロセスの変換出力を、２つのチャネルに分離することができ、一方のチャネルはＵ座標に基づき、他方のチャネルはＶ座標に基づく。さらに、２つのチャネルの各々を、それぞれの２Ｄアレイに作り変えることができる。上述と同様の方法で、画像／ビデオコーデックを２つのチャネルの各々に適用することができる。

【0147】

例では、可逆変換（例えばＨａａｒ変換又は線形非相関変換）を使用することができる。

【0148】

一実施形態では、２タップＨａａｒ変換をＵ座標とＶ座標のペアに適用することができる。

【0149】

一実施形態では、線形非相関変換（例えば離散コサイン変換）をＵ座標とＶ座標のペアに適用することができる。

【0150】

別の実施形態では、ＵＶ座標をＵ座標とＶ座標に分離することができる。Ｕ座標とＶ座標の各々は、整数圧縮に基づいて可逆的にコーディングすることができる。

【0151】

本開示では、Ｕ座標及び／又はＶ座標の値を、事前コーディングされたＵ座標及び／又はＶ座標のような事前コーディングされた情報から予測することができる。したがって、予測残差のリストを生成することができる。いくつかの実施形態では、予測残差のリストは整数のリストとすることができる。予測残差は、Ｕ座標及び／又はＶ座標と、事前コーディングされたＵ座標及び／又はＶ座標の値の差とすることができる。一実施形態では、予測残差を更に、整数圧縮に基づいて可逆的にコーディングすることができる。

【0152】

一実施形態では、予測残差を、非負整数にマッピングすることができる。マッピングは、符号ビット（sign bit）を予測残差の値に連結することができる。例えばマッピング関数ｆ（ｎ）を次のように定義することができる：
ｎ＞＝０の場合、ｆ（ｎ）＝２＊ｎ
ｎ＜０の場合、 ｆ（ｎ）＝２＊ｎ－１
ここで、ｎは予測残差とすることができる。マッピングに基づいて、予測残差を非負整数に変更することができる。

【0153】

一実施形態では、予測残差の符号ビットを、可逆的方法で別個にコーディングすることができ、一方、予測残差の絶対値を任意のエントロピーコーダによってコーディングすることができる。

【0154】

一実施形態では、ビットパッキングを、マッピングに基づいて取得される非負整数に適用して、非負整数のビット長を更に短くすることができる。例えば非負整数｛ｍ_１，ｍ_２，．．．，ｍ_ｋ｝のリストにおいて、非負整数の各々をｎビット整数として表すことができ、ここで、ｎが正の整数である場合、非負整数のリストを、ｋ＊ｎビットを使用することによりビットパッキングによって表すことができる。したがって、非負整数のリストを、ビットのリストによって表すことができる。ｋは、非負整数のリスト内の非負整数の数とすることができる。１バイトのような固定長表現を使用して、ｎの値をエンコーダとデコーダとの間で通信することができる。別の例では、ｎは２ビット又は６ビットとすることができる。

【0155】

一実施形態では、エントロピーコーディングのような可逆圧縮を、整数のリスト、予測残差のリスト、非負整数のリスト又はビットのリストに適用することができる。

【0156】

一実施形態では、可変長コーディングを、整数のリスト、予測残差のリスト、非負整数のリスト又はビットのリストに適用することができる。

【0157】

一実施形態では、ハフマンコーディングを、整数のリスト、予測残差のリスト、非負整数のリスト又はビットのリストに適用することができる。

【0158】

一実施形態では、算術コーディングを、整数のリスト、予測残差のリスト、非負整数のリスト又はビットのリストに適用することができる。

【0159】

本開示では、ＵＶ座標を最初に量子化することができる。量子化されたＵＶ座標を更に、可逆的にコーディングすることがきる。量子化されたＵＶ座標の可逆コーディングは、画像／ビデオ圧縮又は整数圧縮に基づくことができる。

【0160】

本開示では、ＵＶ座標を非可逆コーディングすることができる。ＵＶ座標の非可逆コーディングは、画像／ビデオ圧縮又は整数圧縮に基づくことができる。

【0161】

一実施形態では、ＵＶ座標をＵ座標とＶ座標に分離することができる。したがって、２次元のＵＶ座標は、第１次元のＵ座標と第２次元のＶ座標に分離することができる。Ｕ座標とＶ座標の各々を、それぞれの２Ｄアレイに作り変えることができる。非可逆画像／ビデオコーデックを、Ｕ座標とＶ座標の各々に更に適用することができる。非可逆画像／ビデオコーデックは、（１）ＡＶＣ／Ｈ．２６４ビデオコーデック、（２）ＨＥＶＣ／Ｈ．２６５ビデオコーデック、（３）ＶＶＣ／Ｈ．２６６ビデオ、（４）ＡＶＳ２ビデオコーデック、（５）ＡＶＳ３ビデオコーデック、（６）ＡＶ１ビデオコーデック、（７）ＪＰＥＧ画像コーデック及び（８）ＪＰＥＧ２０００画像コーデックを含むことができる。

【0162】

一実施形態では、Ｕ座標とＶ座標に変換を適用することができる。変換出力を、２つのチャネルに分離することができ、一方のチャネルはＵ座標に基づき、他方のチャネルはＶ座標に基づく。２つのチャネルの各々を、それぞれの２Ｄアレイに作り変えることができる。その後、非可逆画像／ビデオコーデックを２つのチャネルの各々に適用することができる。

【0163】

一実施形態では、ＵＶ座標をＵ座標とＶ座標に分離することができる。Ｕ座標とＶ座標の各々を、整数圧縮に基づいて非可逆的にコーディングすることができる。

【0164】

一実施形態では、ＵＶ座標を量子化することができる。量子化されたＵＶ座標を非可逆的にコーディングすることができる。量子化されたＵＶ座標の非可逆コーディングは、画像／ビデオ圧縮に基づくか又は整数圧縮に基づくことができる。

【0165】

一実施形態では、ＵＶ座標を非可逆にコーディングすることができる。非可逆コーディングの非可逆圧縮残差は、ＵＶ座標と予測の初期値の差である可能性があり、更に非可逆コーディングすることができる。

【0166】

一実施形態では、ＵＶ座標の圧縮は２つのレイヤを含むことができ、ここで、ＵＶ座標に対する非可逆圧縮はベースレイヤとすることができ、ベースレイヤの残差の可逆圧縮は追加レイヤとすることができる。一実施形態では、ベースレイヤは非可逆画像／ビデオコーデックとすることができる。一実施形態では、ベースレイヤは整数の非可逆圧縮（又は非可逆整数圧縮）とすることができる。一実施形態では、追加レイヤは可逆画像／ビデオコーデックとすることができる。一実施形態では、追加レイヤは整数の可逆圧縮（又は可逆整数圧縮）とすることができる。

【0167】

別の実施形態では、ＵＶ座標を量子化することができる。量子化されたＵＶ座標を非可逆コーディングすることができる。量子化されたＵＶ座標の非可逆コーディングの非可逆圧縮残差を更に非可逆コーディングすることができる。

【0168】

図１２は、本開示の実施形態によるプロセス（１２００）を概説するフローチャートを示している。プロセス（１２００）を、メッシュの符号化プロセス中に使用することができる。様々な実施形態において、プロセス（１２００）は処理回路によって実行される。いくつかの実施形態では、プロセス（１２００）はソフトウェア命令で実装され、したがって、処理回路がソフトウェア命令を実行するとき、処理回路はプロセス（１２００）を実行する。処理は、（Ｓ１２０１）で始まり、（Ｓ１２１０）に進む。

【0169】

（Ｓ１２１０）において、３ＤメッシュのＵＶ座標を受け取ることができる。ＵＶ座標は、第１軸にＵ座標と、第２軸にＶ座標を含む２Ｄテクスチャ座標とすることができ、３Ｄメッシュの頂点にマッピングされる。

【0170】

（Ｓ１２２０）において、３ＤメッシュのＵＶ座標を、量子化プロセス、分離プロセス及び変換プロセスのうちの少なくとも１つに基づいて処理することができる。量子化プロセスは、ＵＶ座標を複数のインジケータに変換するように構成されることができる。分離プロセスは、ＵＶ座標をＵ座標とＶ座標にそれぞれ分離するように構成されることができる。変換プロセスは、ＵＶ座標を空間領域から変換（又は周波数）領域に変換するように構成されることができる。

【0171】

（Ｓ１２３０）において、ＵＶ座標の処理後に、処理されたＵＶ座標に対して圧縮を実行することができる。

【0172】

いくつかの実施形態において、処理は量子化プロセスに基づくことができる。一例では、Ｕ座標を第１スカラー因子で、Ｖ座標を第２スカラー因子で割ることによって、線形スカラー量子化をＵＶ座標のＵ座標とＶ座標にそれぞれ適用することができる。別の例では、ベクトル量子化をＵＶ座標の複数のＵＶペアに適用することができる。複数のＵＶペアの各ＵＶペアは、それぞれのＵ座標とそれぞれのＶ座標を含むことができ、ベクトル量子化のベクトル辞書へのインジケータによって表されることができる。

【0173】

いくつかの実施形態において、処理は分離プロセスに基づく。したがって、ＵＶ座標をＵ座標とＶ座標に分離することができる。ＵＶ座標のＵ座標に基づいて、第１の２Ｄアレイを生成することができる。ＵＶ座標のＶ座標に基づいて、第２の２Ｄアレイを生成することができる。その後、第１の２ＤアレイのＵＶ座標のＵ座標と、第２の２ＤアレイのＵＶ座標のＶ座標に対して、それぞれ、圧縮を実行することができる。

【0174】

いくつかの実施形態において、処理は変換プロセスに基づく。したがって、可逆変換、Ｈａａｒ変換又は線形非相関変換のうちの１つに基づいて、変換プロセスをＵＶ座標の複数のＵＶペアに対して実行することができる。複数のＵＶペアの各ＵＶペアは、ＵＶ座標のそれぞれのＵ座標とそれぞれのＶ座標を含むことができる。第１チャネル情報を、ＵＶ座標の複数のＵＶペアの変換されたＵ座標に基づいて生成することができ、第２チャネル情報を、ＵＶ座標の複数のＵＶペアの変換されたＶ座標に基づいて生成することができる。ＵＶ座標の第１チャネル情報とＵＶ座標の第２チャネル情報に対して、それぞれ圧縮を更に実行することができる。

【0175】

プロセス（１２００）では、ＵＶ座標上の画像／ビデオ圧縮又は整数圧縮のうちの１つに基づいて、ＵＶ座標に対して圧縮を実行することができる。

【0176】

いくつかの実施形態では、事前コーディングされたＵ座標の値に基づいて、ＵＶ座標のＵ座標の値を予測することができる。Ｕ座標の予測残差のリストを更に生成することができる。事前コーディングされたＶ座標の値に基づいて、ＵＶ座標のＶ座標の値を生成することができる。Ｖ座標の予測残差のリストを更に生成することができる。

【0177】

いくつかの実施形態では、第１マッピング操作をＵ座標の予測残差のリストに対して実行して、Ｕ座標の非負整数のリストを生成することができる。第２マッピング操作をＶ座標の予測残差のリストに対して実行し、Ｖ座標の非負整数のリストを生成することができる。

【0178】

いくつかの実施形態では、第１ビットパッキング処理をＵ座標の非負整数のリストに対して実行して、Ｕ座標のビットのリストを生成することができる。第２ビットパッキング処理をＶ座標の非負整数のリストに対して実行して、Ｖ座標のビットのリストを生成することができる。

【0179】

いくつかの実施形態では、Ｕ座標の予測残差のリスト、Ｖ座標の予測残差のリスト、Ｕ座標の非負整数のリスト、Ｖ座標の非負整数のリスト、Ｕ座標のビットのリスト又はＶ座標のビットのリストのうちの少なくとも１つに対して、圧縮を実行することができる。いくつかの実施形態では、エントロピーコーディング、可変長コーディング、ハフマンコーディング又は算術コーディングのうちの１つに基づいて圧縮を実行することができる。

【0180】

プロセス（１２００）では、非可逆画像／ビデオコーデック及び非可逆整数圧縮のうちの一方に基づいて、非可逆圧縮をＵＶ座標に対して実行して、ＵＶ座標の非可逆圧縮残差を生成することができる。非可逆画像／ビデオコーデック及び非可逆整数圧縮のうちの一方に基づいて、可逆圧縮をＵＶ座標の非可逆圧縮残差に対して実行することができる。

【0181】

その後、プロセスは（Ｓ１２９９）に進み、終了する。

【0182】

プロセス（１２００）は、適切に適応させることができる。プロセス（１２００）内のステップを修正及び／又は省略することができる。追加のステップを追加することができる。任意の適切な実装順序を使用することができる。

【0183】

図１３は、本開示の一実施形態によるプロセス（１３００）を概説するフローチャートを示している。プロセス（１３００）を、メッシュの復号プロセス中に使用することができる。様々な実施形態では、プロセス（１３００）は処理回路によって実行される。いくつかの実施形態では、プロセス（１３００）はソフトウェア命令で実装され、したがって、処理回路がソフトウェア命令を実行するとき、処理回路はプロセス（１３００）を実行する。プロセスは（Ｓ１３０１）で始まり、（Ｓ１３１０）に進む。

【0184】

（Ｓ１３１０）において、３ＤメッシュのＵＶ座標のコーディングされた情報を受け取ることができる。ＵＶ座標は、第１軸にＵ座標と、第２軸にＶ座標を含む２次元（２Ｄ）テクスチャ座標とすることができ、３Ｄメッシュの頂点にマッピングされることができる。

【0185】

（Ｓ１３２０）において、３ＤメッシュのＵＶ座標のコーディングされた情報に対して復元を実行して、３ＤメッシュのＵＶ座標情報を取得することができる。

【0186】

（Ｓ１３３０）において、ＵＶ座標情報に逆量子化プロセス、逆分離プロセス又は逆変換（inverse formation）プロセスのうちの少なくとも１つを適用することによって、３ＤメッシュのＵＶ座標を再構成することができる。逆量子化プロセスは、複数のインジケータをＵＶ座標に変換するように構成されることができる。逆分離プロセスは、Ｕ座標とＶ座標をＵＶ座標にマージするように構成されることができる。逆変換プロセスは、ＵＶ座標を変換領域から空間領域に変換するように構成されることができる。

【0187】

その後、処理は（Ｓ１３９９）に進み、終了する。

【0188】

プロセス（１３００）を、適切に適応させることができる。プロセス（１３００）のステップを修正及び／又は省略することができる。追加のステップを追加することができる。任意の適切な実装順序を使用することができる。

【0189】

上述の技術を、コンピュータ読取可能命令を使用してコンピュータソフトウェアとして実装し、１つ以上のコンピュータ読取可能媒体に物理的に記憶することができる。例えば図１４は、開示される主題の特定の実施形態を実装するのに適したコンピュータシステム（１４００）を示す。

【0190】

コンピュータソフトウェアは、アセンブリ、コンパイル、リンキング又は類似のメカニズムの対象となり得る任意の適切な機械コード又はコンピュータ言語を使用してコーディングされ、１つ以上のコンピュータ中央処理ユニット（ＣＰＵ）、グラフィクス処理ユニット（ＧＰＵ）等によって直接的に又は解釈やマイクロコード実行等を通して実行され得る命令を含む、コードを作成することができる。

【0191】

命令は、例えばパーソナルコンピュータ、タブレットコンピュータ、サーバ、スマートフォン、ゲームデバイス、モノのインターネットデバイス等を含む様々なタイプのコンピュータ又はその構成要素において実行されることができる。

【0192】

コンピュータシステム（１４００）について図１４に示される構成要素は、本質的に例示的なものであり、本開示の実施形態を実装するコンピュータソフトウェアの使用範囲又は機能性に関して、いかなる制限も示唆するように意図されていない。また、構成要素の構成は、コンピュータシステム（１４００）の例示的実施形態に示される構成要素の任意の１つ又は組合せに関するいかなる依存性又は要件も有するものとして解釈されてはならない。

【0193】

コンピュータシステム（１４００）は、特定のヒューマンインタフェース入力デバイスを含み得る。そのようなヒューマンインタフェース入力デバイスは、例えば触覚入力（キーストローク、スワイプ、データグローブの動き等）、オーディオ入力（声、拍手等）、視覚入力（ジェスチャ等）、嗅覚入力（図示せず）を通して、１人以上の人間のユーザによる入力に応答し得る。また、ヒューマンインタフェース入力デバイスは、オーディオ（音声、音楽、環境音等）、画像（スキャンされた画像、静止画像カメラから得られる写真画像等）、ビデオ（２次元ビデオ、立体映像を含む３次元ビデオ等）のような、人間による意識的入力に必ずしも直接関係しているとは限らない、特定の媒体をキャプチャするためにも使用されることができる。

【0194】

ヒューマンインタフェース入力デバイスは、キーボード（１４０１）、マウス（１４０２）、トラックパッド（１４０３）、タッチ画面（１４１０）、データグローブ（図示せず）、ジョイスティック（１４０５）、マイクロホン（１４０６）、スキャナ（１４０７）及びカメラ（１４０８）（各々の１つのみが図示される）のうちの１つ以上を含んでもよい。

【0195】

コンピュータシステム（１４００）はまた、特定のヒューマンインタフェース出力デバイスも含み得る。そのようなヒューマンインタフェース出力デバイスは、例えば触覚出力、音響、光及び嗅覚／味覚を通して、１人以上の人間のユーザの感覚を刺激し得る。そのようなヒューマンインタフェース出力デバイスは、触覚出力デバイス（例えばタッチ画面（１４１０）、データグローブ（図示せず）又はジョイスティック（１４０５）による触覚フィードバックであるが、入力デバイスとして機能しない触覚フィードバックデバイスが存在する可能性もある）、オーディオ出力デバイス（スピーカー（１４０９）、ヘッドフォン（図示せず）等）、視覚出力デバイス（各々タッチ画面入力機能の有無にかかわらず、各々触覚フィードバック機能の有無にもかかわらないが、その一部は、立体画像出力や仮想現実グラス（図示せず）、ホログラフィックディスプレイ及びスモークタンク（図示せず）のような手段を通して、２次元視覚出力又は３次元超の出力を出力することができる、ＣＲＴ画面、ＬＣＤ画面、プラズマ画面、ＯＬＥＤ画面を含む画面（１４１０）等）及びプリンタ（図示せず）を含んでよい。

【0196】

コンピュータシステム（１４００）はまた、ＣＤ／ＤＶＤを有するＣＤ／ＤＶＤ ＲＯＭ／ＲＷ（１４２０）を含む光媒体又は類似の媒体（１４２１）、サムドライブ（１４２２）、取り外し可能ハードドライブ又はソリッドステートドライブ（１４２３）、テープ及びフロッピーディスク（図示せず）のようなレガシー磁気媒体、セキュリティドングル（図示せず）のような特別なＲＯＭ／ＡＳＩＣ／ＰＬＤベースのデバイスのような、ヒューマンアクセス可能なストレージデバイス及びそれらの関連する媒体も含むことができる。

【0197】

当業者はまた、現在開示されている主題に関連して使用されるとき、「コンピュータ読取可能媒体」という用語が、伝送媒体、搬送波又は他の一時的信号を包含しないことを理解すべきである。

【0198】

コンピュータシステム（１４００）はまた、１つ以上の通信ネットワーク（１４５５）へのインタフェース（１４５４）も含むことができる。ネットワークは、例えば無線、有線、光とすることができる。ネットワークは更に、ローカル、ワイドエリア、メトロポリタン、車両及び産業用、リアルタイム、遅延耐性等とすることができる。ネットワークの例は、イーサネット（登録商標）、無線ＬＡＮ等のローカルエリアネットワーク、ＧＳＭ（登録商標）、３Ｇ、４Ｇ、５Ｇ、ＬＴＥ等を含むセルラネットワーク、ケーブルＴＶ、衛星ＴＶ及び地上放送ＴＶを含むＴＶ有線又は無線ワイドエリアデジタルネットワーク、ＣＡＮＢｕｓ等を含む車両及び産業用ネットワークを含む。特定のネットワークは、一般に、特定の汎用データポート又は周辺バス（１４４９）に取り付けられ外部ネットワークインタフェースアダプタ（例えばコンピュータシステム（１４００）のＵＳＢポート等）を必要とし、他のものは、一般に、後述するシステムバスへの取り付けによって（例えばＰＣコンピュータシステムへのイーサネット（登録商標）インタフェース又はスマートフォンコンピュータシステムへのセルラーネットワークインタフェース）、コンピュータシステム（１４００）のコアに統合される。これらのネットワークのいずれかを使用して、コンピュータシステム（１４００）は、他のエンティティと通信することができる。このような通信は、例えばローカル又はワイドエリアデジタルネットワークを使用して、他のコンピュータシステムに対する、単方向の受信専用（例えば放送ＴＶ）、単方向の送信専用（例えば特定のＣＡＮｂｕｓから特定のＣＡＮｂｕｓデバイスへ）又は双方向であり得る。上述のように、特定のプロトコル及びプロトコルスタックを、これらのネットワーク及びネットワークインタフェースの各々において使用することができる。

【0199】

前述のヒューマンインタフェースデバイス、ヒューマンアクセス可能なストレージデバイス及びネットワークインタフェースを、コンピュータシステム（１４００）のコア（１４４０）に取り付けることができる。

【0200】

コア（１４４０）は、１つ以上の中央処理ユニット（ＣＰＵ）（１４４１）、グラフィクス処理ユニット（ＧＰＵ）（１４４２）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）（１４４３）の形態の専用のプログラマブル処理ユニット、特定のタスク用のハードウェアアクセラレータ（１４４４）、グラフィクスアダプタ（１４５０）等を含むことができる。これらのデバイスは、読取専用メモリ（ＲＯＭ）（１４４５）、ランダムアクセスメモリ（ＲＡＭ）（１４４６）、内部非ユーザアクセス可能ハードドライブ、ＳＳＤ等の内部大容量ストレージ（１４４７）とともに、システムバス（１４４８）を通して接続され得る。いくつかのコンピュータシステムでは、システムバス（１４４８）は、追加のＣＰＵ、ＧＰＵ等による拡張を可能にするために、１つ以上の物理的プラグの形態でアクセス可能である。周辺デバイスを、コアのシステムバス（１４４８）に直接又は周辺バス（１４４９）を介して取り付けることができる。一例では、画面（１４１０）をグラフィクスアダプタ（１４５０）に接続することができる。周辺バスのアーキテクチャは、ＰＣＩ、ＵＳＢ等を含む。

【0201】

ＣＰＵ（１４４１）、ＧＰＵ（１４４２）、ＦＰＧＡ（１４４３）及びアクセラレータ（１４４４）は、組み合わされて上述のコンピュータコードを構成することができる、特定の命令を実行することができる。そのコンピュータコードを、ＲＯＭ（１４４５）又はＲＡＭ（１４４６）に記憶することができる。また、一時的なデータをＲＡＭ（１４４６）に記憶することができ、一方、永久的なデータを、例えば内部大容量ストレージ（１４４７）に記憶することができる。１つ以上のＣＰＵ（１４４１）、ＧＰＵ（１４４２）、大容量ストレージ（１４４７）、ＲＯＭ（１４４５）、ＲＡＭ（１４４６）等と密接に関連付けることができるキャッシュメモリの使用を通して、メモリデバイスのいずれかに対する高速記憶及び取り出しを可能にすることができる。

【0202】

コンピュータ読取可能媒体は、様々なコンピュータ実装される動作を実行するためのコンピュータコードをその上に有することができる。媒体及びコンピュータコードは、本開示の目的のために特別に設計及び構築されたものとすることができ、あるいはそれらは、コンピュータソフトウェア技術の当業者に周知かつ利用可能な種類のものとすることができる。

【0203】

限定ではなく例として、アーキテクチャ（１４００）及び特にコア（１４４０）を有するコンピュータシステムは、プロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡ、アクセラレータ等を含む）が１つ以上の有形のコンピュータ読取可能媒体に具現化されたソフトウェアを実行する結果としての機能性を提供することができる。このようなコンピュータ読取可能媒体は、上記で紹介したようなユーザアクセス可能な大容量ストレージ、並びにコア内部大容量ストレージ（１４４７）又はＲＯＭ（１４４５）のような非一時的な性質のコア（１４４０）の特定のストレージに関連付けられる媒体とすることができる。本開示の様々な実施形態を実装するソフトウェアを、そのようなデバイスに記憶して、コア（１４４０）によって実行することができる。コンピュータ読取可能媒体は、特定のニーズに従って、１つ以上のメモリデバイス又はチップを含むことができる。ソフトウェアは、コア（１４４０）及び特にその中のプロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡ等を含む）に、ＲＡＭ（１４４６）に記憶されるデータ構造を定義することと、ソフトウェアによって定義されるプロセスに従ってそのようなデータ構造を修正することとを含む、本明細書で説明される特定のプロセス又は特定のプロセスの特定の部分を実行させることができる。追加又は代替として、コンピュータシステムは、論理ハードワイヤ又は他の方法で回路（例えばアクセラレータ（１４４４））内に具現化された結果として機能性を提供することができ、この回路は、ソフトウェアの代わりに又はソフトウェアとともに動作して、本明細書で説明される特定のプロセス又は特定のプロセスの特定の部分を実行することができる。ソフトウェアへの言及はロジックを含み、また、必要に応じて、その逆も可能である。コンピュータ読取可能媒体への参照は、実行のためのソフトウェアを記憶する回路（集積回路（ＩＣ）等）、実行のためのロジックを具体化する回路又は適切な場合にはその両方を包含することができる。本開示は、ハードウェアとソフトウェアの任意の適切な組合せを包含する。

【0204】

本開示は、いくつかの例示的な実施形態について説明しているが、本開示の範囲内にある変更、置換及び様々な代替均等物が存在する。したがって、当業者は、本明細書に明示的に示されていないか又は説明されていないが、本開示の原理を具体化しており、よって、本開示の精神及び範囲内にある、様々システム及び方法を考案することができることが理解されよう。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】