特許 7112600 点群解凍用方法、点群圧縮用方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-07-26

(45)【発行日】2022-08-03

(54)【発明の名称】点群解凍用方法、点群圧縮用方法及び装置

(51)【国際特許分類】

   H04N 19/117 20140101AFI20220727BHJP

   H04N 19/136 20140101ALI20220727BHJP

   H04N 19/182 20140101ALI20220727BHJP

   H04N 19/597 20140101ALI20220727BHJP

   H04N 19/80 20140101ALI20220727BHJP

   H04N 19/86 20140101ALI20220727BHJP

【ＦＩ】

H04N19/117

H04N19/136

H04N19/182

H04N19/597

H04N19/80

H04N19/86

【請求項の数】 17

(21)【出願番号】P 2021534389

(86)(22)【出願日】2020-02-28

(65)【公表番号】

(43)【公表日】2022-02-14

(86)【国際出願番号】 US2020020474

(87)【国際公開番号】W WO2020180721

(87)【国際公開日】2020-09-10

【審査請求日】2021-06-15

(31)【優先権主張番号】62/812,964

(32)【優先日】2019-03-01

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】16/803,619

(32)【優先日】2020-02-27

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】520353802

【氏名又は名称】テンセント・アメリカ・エルエルシー

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】ヴォソウギィ，アラシュ

(72)【発明者】

【氏名】イエア，セフーン

(72)【発明者】

【氏名】リィウ，シャン

【審査官】久保 光宏

(56)【参考文献】

【文献】国際公開第２０１８／０３４２５３（ＷＯ，Ａ１）

【文献】特表２０１８－５３４８８１（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１８／０１８９９８２（ＵＳ，Ａ１）

【文献】特表２０２２－５１１８７１（ＪＰ，Ａ）

【文献】Qualcomm Incorporated (Rapporteur)，"FS_XR5G: Permanent document, v0.2"，S4-181472，[online], 3GPP TSG-SA4 Meeting 101，2018年11月23日，Pages 1-3, 10 and 16-19，[令和4年6月21日検索], インターネット, <URL: https://www.3gpp.org/ftp/TSG_SA/WG4_CODEC/TSGS4_101_Busan/Docs/S4-181472.zip>.

【文献】XU Yiling, et al.，"Introduction to Point Cloud Compression"，ZTE COMMUNICATIONS，[online]，2018年08月24日，Vol.16, No.3，Pages 3-8，[令和4年6月22日検索], インターネット, <URL: https://res-www.zte.com.cn/mediares/magazine/publication/com_en/article/201803/XUYiling.pdf>，<DOI: 10.19729/j.cnki.1673-5188.2018.03.002>.

【文献】Nahid Sheikhi-Pour, et al.，"Efficient 2D Video Coding of Volumetric Video Data"，Proceedings of 2018 7th European Workshop on Visual Information Processing (EUVIP)，2018年11月28日，Pages 1-5，ISBN: 978-1-5386-6897-9, <DOI: 10.1109/EUVIP.2018.8611742>.

【文献】GUIGANG SHI, et al.，"Research and Implementation for Scattered Point Cloud Data Denoising Method"，International Journal of Earth Sciences and Engineering，[online]，2016年10月，Vol.9, No.5，Pages 2273-2277，[令和4年6月23日検索], インターネット, <URL: https://www.academia.edu/31008254/Research_and_Implementation_for_Scattered_Point_Cloud_Data_Denoising_Method>，ISSN: 0974-5904.

【文献】西尾 孝治（外４名），「点群データを対象とする情報変換の一手法」，情報処理学会第６９回（平成１９年）全国大会講演論文集（４），日本，社団法人 情報処理学会，2007年03月06日，第4-41～4-42頁.

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ１９／００－１９／９８

ＣＳＤＢ（日本国特許庁）

ＩＥＥＥＸｐｌｏｒｅ（ＩＥＥＥ）

(57)【特許請求の範囲】

【請求項1】

点群解凍用方法であって、
プロセッサが符号化ビットストリームから点群の予測情報を復号化するステップと、
前記プロセッサが前記符号化ビットストリームから復号化された前記点群のジオメトリ画像に基づいて、ジオメトリ再構築クラウドを再構築するステップと、
前記プロセッサが、平滑化されたジオメトリ再構築クラウドを生成するように、前記ジオメトリ再構築クラウドのブロックの境界サンプルに加えて、少なくとも前記ブロック内のジオメトリサンプルに対してフィルタを適用するステップと、
前記プロセッサが前記平滑化されたジオメトリ再構築クラウドに基づいて前記点群の点を再構築するステップとを含む方法。

【請求項2】

前記プロセッサが前記ブロック内の閾値レベルよりも高いレベルを有する高周波成分の領域を選択するステップをさらに含む請求項１に記載の方法。

【請求項3】

前記プロセッサが前記ブロック内の閾値レベルよりも高いレベルを有する動きコンテンツの領域を選択するステップをさらに含む請求項１に記載の方法。

【請求項4】

前記プロセッサが前記ジオメトリ再構築クラウドの深度値に基づいて前記ブロック内のエッジを検出するステップをさらに含む請求項２に記載の方法。

【請求項5】

前記プロセッサが前記ジオメトリ画像内の対応する画素の動き情報に基づいて、前記ブロック内の点を選択するステップをさらに含む請求項３に記載の方法。

【請求項6】

前記予測情報は、前記点群のブロック内で選択的平滑化を適用することを指示するフラグを含む請求項１～５のいずれか１項に記載の方法。

【請求項7】

前記予測情報は、前記ブロック内の点を選択するための特定のアルゴリズムを指示する請求項６に記載の方法。

【請求項8】

前記予測情報は、前記特定のアルゴリズムに用いるパラメータを含む請求項７に記載の方法。

【請求項9】

点群圧縮用方法であって、
プロセッサが、点群に関連付けられたジオメトリ画像を圧縮するステップと、
前記プロセッサが、圧縮された点群のジオメトリ画像に基づいてジオメトリ再構築クラウドを再構築するステップと、
前記プロセッサが、平滑化されたジオメトリ再構築クラウドを生成するように、前記ジオメトリ再構築クラウドのブロックの境界サンプルに加えて、少なくとも前記ブロック内のジオメトリサンプルに対してフィルタを適用するステップと、
前記プロセッサが、前記平滑化されたジオメトリ再構築クラウドに基づいて前記点群のテクスチャ画像を生成するステップとを含む方法。

【請求項10】

前記プロセッサが前記ブロック内の閾値レベルよりも高いレベルを有する高周波成分の領域を選択するステップをさらに含む請求項９に記載の方法。

【請求項11】

前記プロセッサが前記ブロック内の閾値レベルよりも高いレベルを有する動きコンテンツの領域を選択するステップをさらに含む請求項９に記載の方法。

【請求項12】

前記プロセッサが前記ジオメトリ再構築クラウドの深度値に基づいて前記ブロック内のエッジを検出するステップをさらに含む請求項１０に記載の方法。

【請求項13】

前記プロセッサが前記ジオメトリ画像内の対応する画素の動き情報に基づいて前記ブロック内の点を選択するステップをさらに含む請求項１１に記載の方法。

【請求項14】

前記圧縮された点群の符号化ビットストリームには、前記点群のブロック内で選択的平滑化を適用することを指示するフラグを含む請求項９～１３の何れか１項に記載の方法。

【請求項15】

前記圧縮された点群の符号化ビットストリームには、前記ブロック内の、前記選択的平滑化が適用される点を選択するための特定のアルゴリズムを指示するインジケーターを含む請求項１４に記載の方法。

【請求項16】

請求項１～８のうちの何れか１項に記載の方法を実行する処理回路を有する装置。

【請求項17】

請求項９～１５のうちの何れか１項に記載の方法を実行する処理回路を有する装置。

【発明の詳細な説明】

【技術分野】

【0001】

本願は、２０２０年２月２７日に提出された米国特許出願第１６/８０３,６１９号「ＭＥＴＨＯＤ ＡＮＤ ＡＰＰＡＲＡＴＵＳ ＦＯＲ ＰＯＩＮＴ ＣＬＯＵＤ ＣＯＭＰＲＥＳＳＩＯＮ」の優先権を主張し、当該米国特許出願第１６/８０３,６１９号は、２０１９年３月１日に提出された米国仮出願第６２/８１２,９６４号「ＴＥＣＨＮＩＱＵＥＳ ＡＮＤ ＡＰＰＡＲＡＴＵＳ ＦＯＲ ＳＥＬＥＣＴＩＶＥ ＧＥＯＭＥＴＲＹ ＳＭＯＯＴＨＩＮＧ ＩＮＳＩＤＥ ＰＡＴＣＨＥＳ ＦＯＲ ＰＯＩＮＴ ＣＬＯＵＤ ＣＯＭＰＲＥＳＳＩＯＮ」の優先権を主張し、上記の各出願の全内容は本明細書に援用により組み込まれる。

【0002】

本開示は、総体的に点群圧縮に関連する実施形態を記載している。

【背景技術】

【0003】

本明細書に記載された背景技術は、本開示の背景を総体的に体現することを目的とする。該背景技術部分に記載の作業程度から見れば、現在署名の発明者の作業、及び提出の際に別に従来技術の記載として限定されていない態様について、明確且つ暗黙的に本開示の内容に対する従来技術として認められない。

【0004】

様々な技術を開発して捉えて３次元（３-ｄｉｍｅｎｓｉｏｎａｌ、３Ｄ）空間で、例えば世界のオブジェクトや世界の環境などの世界を表現する。世界の３Ｄ表現は、より没入型の相互作用とコミュニケーションを実現することができる。点群は、世界の３Ｄ表現として使用できる。点群は、３Ｄ空間内の１組の点であり、各点は関連付けられた属性、例えば、色、マテリアルプロパティ、テクスチャ情報、強度属性、反射率属性、動き関連属性、モダリティ属性、及びその他のさまざまな属性を有する。このような点群は大量のデータを含む可能性があり、保存と伝送にコストと時間がかかる可能性がある。

【発明の概要】

【0005】

本開示の各態様は、点群の圧縮及び解凍用方法及び装置を提供する。幾つかの例において、点群の圧縮/解凍用装置は処理回路を含む。

【0006】

本開示の幾つかの態様によれば、点群解凍用装置は、処理回路を含む。処理回路は、符号化ビットストリームから点群の予測情報を復号化し、符号化ビットストリームから復号化された点群のジオメトリ画像に基づいてジオメトリ再構築クラウドを再構築する。また、平滑化されたジオメトリ再構築クラウドを生成するように、処理回路が、ジオメトリ再構築クラウドのブロックの境界サンプルに加えて、少なくともブロック内のジオメトリサンプルに対してフィルタを適用し、平滑化されたジオメトリ再構築クラウドに基づいて点群の点を再構築する。

【0007】

幾つかの実施形態において、処理回路は、ブロック内の閾値レベルよりも高いレベルを有する高周波成分の領域を選択する。幾つかの例において、処理回路は、ジオメトリ再構築クラウドの深度値に基づいてブロック内のエッジを検出する。

【0008】

幾つかの実施形態において、処理回路は、ブロック内の閾値レベルよりも高いレベルを有する動きコンテンツの領域を選択する。幾つかの例において、処理回路は、ジオメトリ画像内の対応する画素の動き情報に基づいてブロック内の点を選択する。

【0009】

幾つかの実施形態において、予測情報は、点群のブロック内で選択的平滑化を適用することを指示するフラグを含む。幾つかの例において、予測情報は、ブロック内の点を選択するための特定のアルゴリズムを指示する。また、予測情報は、特定のアルゴリズムに用いるパラメータを含む。

【0010】

本開示の幾つかの態様によれば、点群圧縮用装置は処理回路を含む。処理回路は、点群に関連付けられたジオメトリ画像を圧縮し、圧縮された点群のジオメトリ画像に基づいてジオメトリ再構築クラウドを再構築する。そして、平滑化されたジオメトリ再構築クラウドを生成するように、処理回路が、ジオメトリ再構築クラウドのブロックの境界サンプルに加えて、少なくともブロック内のジオメトリサンプルに対してフィルタを適用し、平滑化されたジオメトリ再構築クラウドに基づいて点群のテクスチャ画像を生成する。

【0011】

幾つかの実施形態において、処理回路は、ブロック内の閾値レベルよりも高いレベルを有する高周波成分の領域を選択する。例えば、処理回路はジオメトリ再構築クラウドの深度値に基づいてブロック内のエッジを検出する

【0012】

幾つかの実施形態において、処理回路は、ブロック内の閾値レベルよりも高いレベルを有する動きコンテンツの領域を選択する。例えば、処理回路はジオメトリ画像内の対応する画素の動き情報に基づいてブロック内の点を選択する。

【0013】

幾つかの実施形態において、処理回路は、圧縮された点群の符号化ビットストリームには、点群のブロック内で選択的平滑化を適用することを指示するフラグを含む。幾つかの例において、処理回路は、圧縮された点群の符号化ビットストリームには、ブロック内の、選択的平滑化を適用する点を選択するための特定のアルゴリズムを指示するインジケーターを含む。

【0014】

本開示の各態様は、命令が記憶されている非一時的なコンピュータ可読媒体をさらに提供し、当該命令は、点群圧縮/解凍動用コンピュータによって実行されると、点群圧縮/解凍用方法をコンピュータに実行させる。

【図面の簡単な説明】

【0015】

開示された主題のさらなる特徴、性質及び様々な利点は、以下の詳細な説明及び図面からより明確になる。図面において、

【図1】実施形態による通信システム（１００）の簡略化ブロック図の模式図である。

【図2】実施形態によるストリーミングシステム （２００）の簡略化ブロック図の模式図である。

【図3】幾つかの実施形態による点群フレームを符号化するエンコーダ（３００）のブロック図を示す。

【図4】幾つかの実施形態による点群フレームに対応する圧縮ビットストリームを復号化するデコーダのブロック図を示す。

【図5】実施形態による動画デコーダの簡略化ブロック図の模式図である。

【図6】実施形態による動画エンコーダの簡略化ブロック図の模式図である。

【図7】本開示の幾つかの実施形態による点群のジオメトリ画像及びテクスチャ画像を示す。

【図8】本開示の幾つかの実施形態による構文の例を示す。

【図9】本開示の幾つかの実施形態による処理例を概説するフローチャートを示す。

【図10】本開示の幾つかの実施形態による処理例を概説するフローチャートを示す。

【図11】実施形態によるコンピュータシステムの模式図である。

【発明を実施するための形態】

【0016】

本開示の各態様は、特に点群圧縮用動画符号化（ｖｉｄｅｏ-ｃｏｄｉｎｇ ｆｏｒ ｐｏｉｎｔ ｃｌｏｕｄ ｃｏｍｐｒｅｓｓｉｏｎ、Ｖ-ＰＣＣ）を使用した点群符号化技術を提供する。Ｖ-ＰＣＣは、多用途動画コーデックを利用して点群圧縮を行うことができる。本開示における点群符号化技術は、Ｖ－ＰＣＣによる可逆圧縮と非可逆圧縮の両方を改善することができる。

【0017】

点群は、３Ｄ空間内の１組の点であり、各点は関連付けられた属性、例えば、色、マテリアルプロパティ、テクスチャ情報、強度属性、反射率属性、動き関連属性、モダリティ属性、及びその他のさまざまな属性を有する。点群は、オブジェクト又はシーンをそのような点の組み合わせとして再構築するために用いられる。これらの点は、さまざまな設置された複数のカメラと深度センサーを使用してキャプチャすることができ、再構築されたシーンをリアルに表現するように、数千から数十億の点から構成される。

【0018】

点群を表すために必要なデータの量を減らすには、圧縮技術が必要である。 そのため、リアルタイム通信と６自由度（ｓｉｘ Ｄｅｇｒｅｅｓ ｏｆ Ｆｒｅｅｄｏｍ、６ ＤｏＦ）の仮想現実で使用するための点群の非可逆圧縮には技術が必要である。また、自動運転や文化遺産の適用などのダイナミックマッピングの背景に、可逆点群圧縮用技術が求められてる。移動画像専門家グループ（ｍｏｖｉｎｇ ｐｉｃｔｕｒｅ ｅｘｐｅｒｔｓ ｇｒｏｕｐ、ＭＰＥＧ）は、ジオメトリ形状（ｇｅｏｍｅｔｒｙ）及び属性の圧縮に力を入れることを開始し、属性は、例えば、色と反射率、スケーラブル/プログレッシブ符号化、時間の経過とともにキャプチャされた点群のシーケンスの符号化、点群のサブセットへのランダムアクセスである。

【0019】

本開示の一態様によれば、Ｖ-ＰＣＣの背後にある主な原理は、既存の動画コーデックを活用して、動的点群のジオメトリ形状、占有、及びテクスチャを３つの別個の動画シーケンスとして圧縮することである。 ３つの動画シーケンスを解釈するために必要な追加のメタデータは、別々に圧縮される。ビットストリーム全体のごく一部はメタデータであり、ソフトウェア実現を使用して効率的に符号化/復号化できる。情報の大部分は動画コーデックによって処理される。

【0020】

図１は、本開示の実施形態による通信システム（１００）の簡略化ブロック図である。通信システム（１００）は、例えばネットワーク（１５０）を介して互いに通信できる複数の端末デバイスを含む。例えば、通信システム（１００）はネットワーク（１５０）を介して互いに接続された１対の端末デバイス（１１０）、（１２０）とを有する。図１の例において、第１対の端末デバイス（１１０）、（１２０）は点群データの単方向伝送を実行する。例えば、端末デバイス（１１０）は端末デバイス（１１０）に接続されたセンサー１０５によりキャプチャされた点群（例えば、構造を示す点）を圧縮することができる。圧縮された点群は、例えばビットストリームの形式で、ネットワーク（１５０）を介して他の端末デバイス（１２０）に伝送される。 端末デバイス（１２０）は、ネットワーク（１５０）から圧縮された点群を受信し、ビットストリームを解凍して点群を再構築し、再構築された点群に応じて適切に表示することができる。単方向データ伝送は、メディアサービングアプリケーションなどでよく見られているものである。

【0021】

図１の例において、端末装置（１１０）及び（１２０）は、サーバ、及びパーソナルコンピュータとして示され得るが、本開示の原理は、それに限定されない。本開示の実施形態は、ラップトップコンピュータ、タブレットコンピュータ、スマートフォン、ゲーム端末、メディアプレーヤー及び／又は専用の３次元（３Ｄ）機器に適用する。ネットワーク（１５０）は、端末デバイス（１１０）と（１２０）との間で圧縮された点群を伝送する任意の数のネットワークを表す。ネットワーク（１５０）は、例えば、有線（ケーブル）及び／又は無線通信ネットワークを含んでもよい。ネットワーク（１５０）は、回線交換及び／又はパケット交換チャネルでデータを交換することができる。代表的なネットワークは、電気通信ネットワーク、ローカルエリアネットワーク、ワイドエリアネットワーク、及び/又はインターネットを含む。本議論の目的のために、ネットワーク（１５０）のアーキテクチャ及びトポロジーは、本明細書で以下に説明されない限り、本開示の操作にとって重要ではない可能性がある。

【0022】

例として、図２は、点群について開示された主題の適用例を示す。 開示された主題は、３Ｄテレプレゼンスアプリケーション、仮想現実を含む他の点群をサポートするアプリケーションにも同様に適用できる。

【0023】

ストリーミングシステム２００は、キャプチャサブシステム（２１３）を含んでもよい。 キャプチャサブシステム（２１３）は、点群ソース（２０１）、例えば、光検出及び測距（ＬＩＤＡＲ）システム、３Ｄカメラ、３Ｄスキャナ、ソフトウェアで非圧縮点群を生成するグラフィックス生成コンポーネント、例えば圧縮されていない点群（２０２）を生成する類似グラフィックス生成コンポーネントを含んでもよい。一例において、点群（２０２）は、３Ｄカメラによってキャプチャされた点を含む。圧縮された点群（２０４）（圧縮された点群のビットストリーム）と比較して、点群（２０２）は、大量のデータを強調するために太線で描画される。圧縮された点群（２０４）は、点群ソース（２０１）に結合されたエンコーダ（２０３）を含む電子機器（２２０）によって生成されてもよい。 エンコーダ（２０３）は、以下でより詳細に説明されるように、開示された主題の各態様を実現又は実施するために、ハードウェア、ソフトウェア、又はそれらの組み合わせを含むことができる。点群のストリーム（２０２）と比較してデータ量が少ないことを強調するために細い線で描画される圧縮点群（２０４）（又は圧縮された点群（２０４）のビットストリーム（２０４））、将来の使用のために、ストリーミングサーバー（２０５）に記憶されてもよい。１つ又は複数のストリーミングクライアントサブシステム、例えば、図２のクライアントサブシステム（２０６）及び（２０８）は、ストリーミングサーバ（２０５）にアクセスして、圧縮された点群（２０４）のコピー（２０７）及び（２０９）を検索することができる。 クライアントサブシステム（２０６）は、例えば、電子機器（２３０）内のデコーダ（２１０）を含んでもよい。デコーダ（２１０）は、圧縮された点群の着信コピー（２０７）を復号化し、レンダリングデバイス（２１２）上でレンダリングできる再構築された点群（２１１）の発信ストリームを作成する。一部のストリーミングシステムでは、特定の規格に従って、圧縮された点群（２０４）、（２０７）、及び（２０９）（例えば、圧縮された点群のビットストリーム）を圧縮することができる。 いくつかの例において、動画符号化規格は点群の圧縮に使用される。それらの規格の例は、高効率動画符号化（ＨＥＶＣ）、多用途動画符号化（ＶＶＣ）などを含む。

【0024】

電子機器（２２０）及び（２３０）は、他の構成要素（図示せず）を含んでもよいことに留意されたい。例えば、電子機器（２２０）は、デコーダ（図示せず）を含んでもよく、電子機器（２３０）は、エンコーダ（図示せず）を含んでもよい。

【0025】

図３は、いくつかの実施形態による点群フレームを符号化するためのＶ－ＰＣＣエンコーダ（３００）のブロック図を示す。いくつかの実施形態において、Ｖ－ＰＣＣエンコーダ（３００）は、通信システム（１００）及びストリーミングシステム（２００）で使用されてもよい。例えば、エンコーダ（２０３）は、Ｖ－ＰＣＣエンコーダ（３００）と同様の方法で構成及び動作できる。

【0026】

Ｖ－ＰＣＣエンコーダ（３００）は、非圧縮入力である点群フレームを受信し、圧縮された点群フレームに対応するビットストリームを生成する。いくつかの実施形態では、Ｖ－ＰＣＣエンコーダ（３００）は、例えば、点群ソース（２０１）などの点群ソースから点群フレームを受信することができる。

【0027】

図３の例において、Ｖ－ＰＣＣエンコーダ（３００）は、図３に示すように、一体に結合されているブロック生成モジュール３０６、ブロックパッキングモジュール３０８、ジオメトリ画像生成モジュール３１０、テクスチャ画像生成モジュール３１２、ブロック情報モジュール３０４、占有マップモジュール３１４、平滑化モジュール３３６、画像パディングモジュール３１６及び３１８、グループ拡張モジュール３２０、動画圧縮モジュール３２２、３２３及び３３２、補助ブロック情報圧縮モジュール３３８、エントロピー圧縮モジュール３３４、及びマルチプレクサ３２４を含む。

【0028】

本開示の一態様によれば、Ｖ－ＰＣＣエンコーダ（３００）は、３Ｄ点群フレームを画像に基づく表現、及び圧縮された点群を解凍された点群に戻すために必要ないくつかのメタデータ（例えば、占有マップ及びブロック情報）に変換する。いくつかの例では、Ｖ-ＰＣＣエンコーダ（３００）は、３Ｄ点群フレームをジオメトリ画像、テクスチャ画像、及び占有マップに変換し、次に、動画符号化技術を使用して、ジオメトリ画像、テクスチャ画像、及び占有マップをビットストリームに符号化することができる。一般的に、ジオメトリ画像は、画素に投影された点に関連付けられたジオメトリ値でパディングされた画素を持つ２Ｄ画像であり、ジオメトリ値でパディングされた画素は、ジオメトリサンプルと呼ばれる。テクスチャ画像は、画素に投影された点に関連付けられたテクスチャ値でパディングされた画素を持つ２Ｄ画像であり、テクスチャ値でパディングされた画素はテクスチャサンプルと呼ばれる。占有マップは、ブロックによって占有されているかどうかを示す値でパディングされた画素を持つ２Ｄ画像である。

【0029】

ブロック生成モジュール（３０６）は、点群を１組のブロックに区分し（例えば、ブロックは、点群によって記述される表面の連続したサブセットとして定義される）、積層してもよく、積層しなくてもよいが、各ブロックは、 ２Ｄ空間の平面に対する深度フィールドによって記述できるようにしている。いくつかの実施形態において、ブロック生成モジュール（３０６）は、点群を、滑らかな境界を有する最小数のブロックに分解しながら、再構築誤差を最小限にすることを目的とする。

【0030】

ブロック情報モジュール（３０４）はブロックのサイズ及び形状を示すブロック情報を収集することができる。いくつかの例において、ブロック情報を画像フレームにパッキングし、次に、補助ブロック情報圧縮モジュール３３８によって符号化して、圧縮された補助ブロック情報を生成することができる。

【0031】

ブロックパッキングモジュール３０８は、抽出されたブロックを２次元（２Ｄ）グリッドにマッピングしながら、未使用のスペースを最小化し、グリッドの各Ｍ Ｘ Ｍ（例えば、１６ｘ１６）ブロックが一意のブロックに関連付けられることを確保するように配置されている。効率的なブロックパッキングは、未使用のスペースを最小限にするか、時間的な一貫性を確保することにより、圧縮効率に直接影響を与えてもよい。

【0032】

ジオメトリ画像生成モジュール（３１０）は、所定のブロック位置での点群のジオメトリ形状に関連する２Ｄジオメトリ画像を生成することができる。 テクスチャ画像生成モジュール（３１２）は、所定のブロック位置での点群のテクスチャに関連する２Ｄテクスチャ画像を生成することができる。ジオメトリ画像生成モジュール３１０及びテクスチャ画像生成モジュール（３１２）は、パッキングプロセス中に算出された３Ｄから２Ｄへのマッピングを利用して、点群のジオメトリ形状及びテクスチャを画像として格納する。複数の点を同じサンプルに投影する場合をより良く処理するために、各ブロックをレイヤーと呼ばれる２つの画像に投影する。例では、ジオメトリ画像はＹＵＶ４２Ｑ-８ビットフォーマットのＷｘＨの単色フレームで表される。テクスチャ画像を生成するために、テクスチャ生成処理は、再構築された/平滑化されたジオメトリ形状を利用して、再サンプリングされた点に関連付けられる色を算出する（色移りとも呼ばれる）。

【0033】

占有マップモジュール３１４は、各ユニットでのパディング情報を記述する占有マップを生成することができる。例えば、占有マップは、グリッドの各セルについて、このセルが空のスペースに属しているのか、点群に属しているのかを示すバイナリマップを含む。一例では、占有マップは、各画素についてこの画素がパディングされているかどうかを説明するバイナリ情報を使用する。 別の例では、占有マップは、画素のブロックごとに画素のブロックがパディングされているかどうかを説明するバイナリ情報を使用する。

【0034】

占有マップモジュール３１４によって生成された占有マップは、可逆符号化又は非可逆符号化を使用して圧縮することができる。可逆符号化を使用する場合、エントロピー圧縮モジュール３３４を使用して占有マップを圧縮する。非可逆符号化を使用する場合、動画圧縮モジュール３３２を使用して占有マップを圧縮する。

【0035】

ブロックパッキングモジュール ３０８は、画像フレームにパックされた２Ｄブロックの間に多少の空のスペースを残すことができることに留意されたい。画像パディングモジュール３１６及び３１８は、２Ｄ動画及び画像コーデックに適し得る画像フレームを生成するように、空のスペース（パディングと呼ばれる）パディングすることができる。画像のパディングはバックグラウンドフィリングとも呼ばれ、冗長な情報によって未使用のスペースをパディングことができる。いくつかの例では、良いバックグラウンドフィリングはビットレートを最小限に増加させるが、ブロック境界の周りに明らかな符号化歪みを導入しない。

【0036】

動画圧縮モジュール３２２、３２３及び３３２は、ＨＥＶＣ、ＶＶＣなどの適切な動画符号化規格に基づいて、パディングされたジオメトリ画像、パディングされたテクスチャ画像、及び占有マップなどの２Ｄ画像を符号化することができる。一例において、動画圧縮モジュール３２２、３２３、及び３３２は、別々に動作する個々のコンポーネントである 別の例において、動画圧縮モジュール３２２、３２３、及び３３２を単一のコンポーネントとして実現できることに留意されたい。

【0037】

いくつかの例において、平滑モジュール３３６は、再構築されたジオメトリ画像の平滑画像を生成するように配置されている。平滑化された画像情報をテクスチャ画像生成器３１２に提供することができる。次に、テクスチャ画像生成器３１２は、再構築されたジオメトリ画像に基づいてテクスチャ画像の生成を調整することができる。例えば、ブロック形状（例えば、ジオメトリ形状）が符号化及び復号化中にわずかに歪んでいる場合、テクスチャ画像を生成する際にブロック形状の歪みを補正するために歪みを考慮に入れることができる。

【0038】

いくつかの実施形態では、グループ拡張３２０は、符号化ゲイン及び再構築された点群の視覚的品質を改善するために、冗長な低周波数コンテンツで対象境界の周りの画素をパディングするように配置されている。

【0039】

マルチプレクサ３２４は、圧縮されたジオメトリ画像、圧縮されたテクスチャ画像、圧縮された占有マップ、圧縮された補助ブロック情報を圧縮されたビットストリームに多重化することができる。

【0040】

図４は、幾つかの実施形態による点群フレームに対応する圧縮ビットストリームを復号化するためのＶ-ＰＣＣデコーダ（４００）のブロック図を示す。幾つかの実施形態において、Ｖ-ＰＣＣデコーダ（４００）は通信システム（１００）及びストリーミングシステム （２００）に使用されてもよい。例えば、デコーダ（２１０）は、Ｖ-ＰＣＣデコーダ（４００）と同様に配置及び動作することができる。Ｖ-ＰＣＣデコーダ（４００）は圧縮されたビットストリームを受信し、圧縮されたビットストリームに基づいて再構築された点群を生成する。

【0041】

図４の例において、Ｖ-ＰＣＣデコーダ（４００）は、図４に示すように、一体に結合されたデマルチプレクサ（４３２）、動画解凍モジュール（４３４）及び（４３６）、占有マップ解凍モジュール（４３８）、補助ブロック情報解凍モジュール（４４２）、ジオメトリ再構築モジュール（４４４）、平滑化モジュール（４４６）、テクスチャ再構築モジュール（４４８）及び色平滑化モジュール（４５２）を含む。

【0042】

デマルチプレクサ（４３２）は、圧縮されたビットストリームを受信し、圧縮されたテクスチャ画像、圧縮された形状画像、圧縮された占有マップ、及び圧縮された補助ブロック情報に区画することができる。

【0043】

動画解凍モジュール（４３４）及び（４３６）は、適切な規格（例えば、ＨＥＶＣ、ＶＶＣなど）に応じて圧縮されたイメージを復号化し、解凍されたイメージを出力することができる。例えば、動画解凍モジュール（４３４）は圧縮されたテクスチャ画像を復号化し、解凍されたテクスチャ画像を出力し、動画解凍モジュール（４３６）は圧縮されたジオメトリ画像を復号化し、解凍されたジオメトリ画像を出力することができる。

【0044】

占有マップ解凍モジュール（４３８）は、適切な規格（例えば、ＨＥＶＣ、ＶＶＣなど）に応じて圧縮された占有マップを復号化し、解凍された占有マップを出力することができる。

【0045】

補助ブロック情報解凍モジュール（４４２）は、適切な規格（例えば、ＨＥＶＣ、ＶＶＣなど）に応じて圧縮された補助ブロック情報を復号化し、解凍された補助ブロック情報を出力することができる。

【0046】

ジオメトリ再構築モジュール（４４４）は解凍されたジオメトリ画像を受信し、解凍された占有マップ及び解凍された補助ブロック情報に基づいて再構築された点群ジオメトリ形状を生成することができる。

【0047】

平滑化モジュール（４４６）はブロックのエッジでの不一致を平滑化することができる。 平滑化処理は、圧縮アーティファクトによってブロック境界で発生する可能性のある潜在的な不連続性を軽減することを目的とする。いくつかの実施形態では、平滑フィルタをブロック境界に位置する画素に適用して、圧縮／解凍によって引き起こされる可能性のある歪みを軽減することができる。

【0048】

テクスチャ再構築モジュール（４４８）は、解凍されたテクスチャ画像及び平滑化されたジオメトリ形状に基づいて点群の点のテクスチャ情報を特定することができる。

【0049】

色平滑モジュール（４５２）は、着色の不一致を平滑化することができる。３Ｄ空間内の隣接しないブロックは、多くの場合、２Ｄ動画で隣り合ってパッキングされる。いくつかの例では、隣接していないブロックからの画素値が、ブロックに基づく動画コーデックによって混同される可能性がある。色平滑化の目的は、ブロックの境界に出現する目に見えるアーティファクトを減らすことである。

【0050】

図５は、本開示の実施形態による動画デコーダ（５１０）のブロック図を示す。動画デコーダ（５１０）はＶ-ＰＣＣデコーダ（４００）で使用することができる。例えば、動画解凍モジュール（４３４）及び（４３６）、占有マップ解凍モジュール（４３８）は同様に動画デコーダ（５１０）として配置されることができる。

【0051】

動画デコーダ（５１０）は、圧縮画像、例えば、符号化された動画シーケンスからシンボル（５２１）を再構築するためのパーサ（５２０）を含んでもよい。これらのシンボルのカテゴリには、動画デコーダ（５１０）の操作を管理するための情報が含まれる。パーサ（５２０）は、受信された符号化された動画シーケンスに対して解析／エントロピー復号化を行うことができる。符号化された動画シーケンスの符号化は、動画符号化技術又は規格に従うことができ、可変長符号化、ハフマン符号化、文脈依存の有無にかかわらない算術符号化などを含む様々な原理に従うことができる。パーサ（５２０）は、グループに対応する少なくとも１つのパラメーターに基づいて、符号化された動画シーケンスから、動画デコーダにおける画素のサブグループのうちの少なくとも１つに対するサブグループパラメータセットを抽出することができる。サブグループは、ピクチャのグループ（ＧＯＰ）、ピクチャ、タイル、スライス、マクロブロック、符号化ユニット（ＣＵ）、ブロック、変換ユニット（ＴＵ）、予測ユニット（ＰＵ）などを含んでもよい。パーサ（５２０）は、また、符号化された動画シーケンスから、例えば、変換係数、量子化器パラメーター値、動きベクトルなどの情報を抽出してもよい。

【0052】

パーサ（５２０）は、バッファメモリから受信された動画シーケンスに対してエントロピー復号化／解析操作を実行することで、シンボル（５２１）を構築することができる。

【0053】

シンボル（５２１）の再構築は、符号化された動画ピクチャ又は一部の符号化された動画ピクチャ（例えば、インターピクチャとイントラピクチャ、インターブロックとイントラブロック）のタイプ及び他の要因に依存し、複数の異なるユニットに関してもよい。どのユニットが関与し、どのように制御するかについて、パーサ（５２０）により符号化された動画シーケンスから解析したサブグループ制御情報によって制御されてもよい。簡潔のために、パーサ（５２０）と以下の複数のユニットとの間のそのようなサブグループ制御情報の流れについて説明しない。

【0054】

既に言及された機能ブロックに加えて、動画デコーダ（５１０）は概念的には、以下に説明する複数の機能ユニットに細分化することができる。商業的な制約の下で運行する実際の実現形態では、これらのユニットの多くは互いに密接に相互作用し、少なくとも部分的に互いに統合することができる。しかしながら、開示された主題を説明する目的のために、概念的には、以下の機能ユニットに細分化されることは適切である。

【0055】

第１のユニットは、スケーラ／逆変換ユニット（５５１）である。当該スケーラ／逆変換ユニット（５４１）はパーサ（５２０）からシンボル（５２１）である量子化変換係数及び制御情報を受信し、使用する変換方法、ブロックサイズ、量子化係数、量子化スケーリングマトリックスなどを含む。スケーラ／逆変換ユニット（５５１）は、サンプル値を含むブロックを出力することができ、これらのブロックはアグリゲータ（５５５）に入力され得る。

【0056】

いくつかの場合に、スケーラ／逆変換ユニット（５５１）の出力サンプルは、イントラ符号化ブロック、即ち、先に再構築されたピクチャからの予測情報を使用しないが、現在のピクチャの先に再構築された部分からの予測情報を使用できるブロックに属してもよい。このような予測情報は、イントラピクチャ予測ユニット（５５２）によって提供され得る。いくつかの場合に、イントラピクチャ予測ユニット（５５２）は現在のピクチャバッファ（５５８）から抽出された、周囲が既に再構築された情報を使用して、再構築しているブロックと同じサイズ及び形状のブロックを生成する。現在のピクチャバッファ（５５８）は、例えば、部分的に再構築された現在のピクチャ及び／又は完全に再構築された現在のピクチャをバッファリングする。いくつかの場合に、アグリゲータ（５５５）は各サンプルに基づいて、イントラ予測ユニット（５５２）によって生成される予測情報を、スケーラ／逆変換ユニット（５５１）から提供される出力サンプル情報に追加する。

【0057】

他の場合に、スケーラ／逆変換ユニット（５５１）の出力サンプルはインター符号化され且つ潜在動き補償であり得るブロックに属してもよい。このような場合に、動き補償予測ユニット（５５３）は、参照ピクチャメモリ（５５７）にアクセスして、予測用サンプルを取得してもよい。当該ブロックに属するシンボル（５２１）に応じて、取得されたサンプルに対して動き補償を行った後に、これらのサンプルは、アグリゲータ（５５５）によってスケーラ／逆変換ユニット（５５１）の出力（この場合に、残差サンプル又は残差信号と呼ばれる）に追加されることで、出力サンプル情報を生成することができる。動き補償ユニット（５５３）が予測サンプルを抽出する参照ピクチャメモリ（４５７）におけるアドレスは、動きベクトルによって制御されてもよく、前記動きベクトルは、シンボル（５２１）の形で動き補償ユニット（５５３）に使用されることができ、シンボル（５２１）は、例えば、Ｘ、Ｙ、及び参照ピクチャ成分を有してもよい。動き補償には、サブサンプルの正確な動きベクトルが使用されている際に参照ピクチャメモリ（５５７）から取得されたサンプル値の補間、動きベクトル予測メカニズムなどを含んでもよい。

【0058】

アグリゲータ（５５５）の出力サンプルは、ループフィルタユニット（５５６）において様々なループフィルタリング技術にって処理され得る。動画圧縮技術は、ループ内フィルタ技術を含んでもよく、当該ループ内フィルタ技術は、符号化された動画シーケンス（符号化された動画ビットストリームとも呼ばれる）に含まれ且つパーサ（５２０）からのシンボル（５２１）としてループフィルタユニット（５５６）に使用可能なパラメータによって制御される。しかしながら、符号化されたピクチャ又は符号化された動画シーケンスの（復号化順序で）前の部分を復号化する期間に得られたメタ情報に応答してもよいし、先に再構築されループフィルタリング処理されたサンプル値に応答してもよい。

【0059】

ループフィルタユニット（５５６）の出力はサンプルストリームであってもよく、将来のインターピクチャ予測で使用されるために、レンダリングデバイスに出力され、参照ピクチャメモリ（５５７）に記憶されることができる。

【0060】

完全に再構築されると、特定の符号化されたピクチャは、参照ピクチャとして将来の予測に使用することができる。例えば、現在のピクチャに対応する符号化されたピクチャは完全に再構築され、且つ符号化されたピクチャが参照ピクチャとして識別されると（例えば、パーサ（５２０）によって）、現在のピクチャバッファ（５５８）は参照ピクチャメモリ（５５７）の一部となることができ、そして、その後の符号化されたピクチャの再構築を開始する前に、新しい現在のピクチャバッファを再割り当てることができる。

【0061】

動画デコーダ（５１０）は、例えばＩＴＵ-Ｔ Ｈ．２６５提案書における所定のビデ圧縮技術のような規格に応じて復号化操作を実行してもよい。符号化された動画シーケンスが動画圧縮技術又は規格の構文及び動画圧縮技術又は規格に記録されているプロファイルの両方に準拠する意味で、符号化された動画シーケンスは、使用されている動画圧縮技術又は規格で指定される構文に準拠することができる。具体的に、プロファイルは、ビデ圧縮技術又は規格で利用可能な全てのツールから、あるツールをプロファイルのみで使用され得るツールとして選択してもよい。コンプライアンスについて、符号化された動画シーケンスの複雑さがビデ圧縮技術又は規格のレベルで限定される範囲内にあることも要求する。いくつかの場合に、レベルは、最大ピクチャのサイズ、最大フレームレート、最大再構築サンプルレート（例えば１秒あたりのメガサンプルを単位として測定する）、最大参照ピクチャサイズなどを制限する。いくつかの場合に、レベルによって設置される制限は、仮想参照デコーダ（ＨＲＤ）の仕様及び符号化された動画シーケンスにおけるシグナリングされるＨＲＤバッファの管理するメタデータによってさらに制限されてもよい。

【0062】

図６は、本開示の実施形態による動画エンコーダ（６０３）のブロック図を示す。動画エンコーダ（６０３）は、点群を圧縮するＶ-ＰＣＣエンコーダ（３００）に使用することができる。例において、動画圧縮モジュール（３２２）と（３２３）及び動画圧縮モジュール（３３２）はエンコーダ（６０３）と同様に配置される。

【0063】

動画エンコーダ（６０３）は、パディングされたジオメトリ画像、パディングされたテクスチャ画像などの画像を受信し、圧縮された画像を生成することができる。

【0064】

実施形態によれば、動画エンコーダ（６０３）は、リアルタイムで、又はアプリケーションによって要求される他の任意の時間制約の下で、ソース動画シーケンスのピクチャを、符号化された動画シーケンス（圧縮された画像）に符号化して圧縮してもよい。適切な符号化速度で実行することはコントローラ（６５０）の機能の１つである。いくつかの実施形態において、コントローラ（６５０）は、以下で説明する他の機能ユニットを制御し、これらのユニットに機能的に結合される。明確のために、結合は説明されていない。コントローラ（６５０）によって設置されるパラメータは、レート制御関連パラメータ（ピクチャスキップ、量子化器、レート歪み最適化技術のλ値...）、ピクチャサイズ、ピクチャグループ（ＧＯＰ）レイアウト、最大動きベクトル検索範囲などを含んでもよい。コントローラ（６５０）は、特定のシステム設計に対して最適化された動画エンコーダ（６０３）に属する他の適切な機能を有するように配置されてもよい。

【0065】

幾つかの実施形態において、動画エンコーダ（６０３）は、符号化ループで動作するように配置されている。非常に簡略化した説明として、例において、符号化ループは、ソースエンコーダ（６３０）（例えば、符号化しようとする入力ピクチャ及び参照ピクチャに基づいてシンボルストリームのようなシンボルを作成することを担当する）、動画エンコーダ（６０３）に組み込まれた（ローカルの）デコーダ（５３３）を含んでもよい。デコーダ（６３３）は、（リモート）デコーダがサンプルデータを作成する方法と同様にサンプルを作成するために、シンボルを再構築する（シンボルと符号化された動画ビットストリームとの間の圧縮は開示された主題で考慮される動画圧縮技術では無損失であるため）。再構築されたサンプルストリーム（サンプルデータ）を参照ピクチャメモリ（６３４）に入力する。シンボルストリームの復号化によって、デコーダの位置（ローカル又はリモート）に関係がないビットが正確である結果が得られるため、参照ピクチャメモリ（６３４）のコンテンツもローカルエンコーダとリモートエンコーダとの間でビットが正確である。つまり、エンコーダの予測部分は、デコーダが復号化中に予測を使用するときに「見る」のとまったく同じサンプル値を参照ピクチャサンプルとして見なす。 このような参照ピクチャの同期性の基本原理（及び、例えばチャネル誤差のために同期性を維持できない場合は結果として生じるドリフト）は、一部の関連技術でも使用される。

【0066】

「ローカル」デコーダ（６３３）の動作は、「リモート」デコーダ、例えば動画デコーダ（５１０）の動作と同じであってもよく、以上で図５を参照しながら詳細に説明した。しかし、さらに、簡単に図５を参照し、シンボルは、利用可能であり、且つ、エントロピーエンコーダ（６４５）及びパーサ（５２０）はシンボルを、符号化された動画シーケンスに無損失で符号化／復号化できる場合に、パーサ（５２０）を含める動画デコーダ（５１０）のエントロピー復号化部分は、ローカルデコーダ（６３３）で完全に実現されない場合がある。

【0067】

この場合、デコーダに存在する解析／エントロピー復号化以外の任意のデコーダ技術も、必然的に基本的に同じ機能形式で対応するエンコーダに存在することが観察されることができる。そのため、開示された主題は、デコーダの動作に着目する。エンコーダ技術は包括的に説明されたデコーダ技術の逆であるため、エンコーダ技術の説明を簡略化することができる。より詳しい説明は、特定の領域のみで必要であり、以下で提供される。

【0068】

動作中に、いくつかの実施形態において、ソースエンコーダ（６３０）は、動き補償の予測的符号化を実行してもよく、動画シーケンスからの「参照ピクチャ」として指定された１つ又は複数の以前に符号化されたピクチャを参照することで入力ピクチャに対して予測的符号化を行う。このようにして、符号化エンジン（６３２）は入力ピクチャの画素ブロックと参照ピクチャの画素ブロックとの間の差異を符号化してもよく、当該参照ピクチャは、入力ピクチャへの予測参照として選択され得る。

【0069】

ローカル動画デコーダ（６３３）は、ソースエンコーダ（６３０）によって作成されるシンボルに基づいて、参照ピクチャとして指定され得るピクチャの符号化された動画データを復号化してもよい。符号化エンジン（６３２）の動作は、有利には、可逆処理であり得る。動画デコーダ（図５、図示せず）で符号化された動画データを復号化できる場合に、再構築された動画シーケンスは、通常、多少の誤差を伴うソース動画シーケンスのレプリカであり得る。ローカル動画デコーダ（６３３）は、参照ピクチャに対して動画デコーダによって実行され得る復号化処理をコピーし、再構築された参照ピクチャを参照ピクチャバッファ（６３４）に記憶してもよい。このようにして、エンコーダ（６０３）は、再構築された参照ピクチャの共通の内容を有するレプリカを、リモート動画デコーダによって得られる再構築された参照ピクチャとしてローカルに記憶することができる（伝送誤差がない）。

【0070】

予測器（６３５）は、符号化エンジン（６３２）に対して予測検索を実行することができる。つまり、符号化されようとする新しいピクチャについて、予測器（６３５）は、参照ピクチャメモリ（６３４）において、新しいピクチャの適切な予測参照として使用され得るサンプルデータ（候補参照画素ブロックとする）又は、例えば、参照ピクチャの動きベクトル、ブロック形状などの特定のメタデータを検索してもよい。予測器（６３５）は、適切な予測参照が見つけられるように、サンプルブロックに基づいて、画素ブロックごとに動作することができる。いくつかの場合に、例えば、予測器（６３５）によって得られた検索結果によって特定されるように、入力ピクチャは、参照ピクチャメモリ（６３４）に記憶された複数の参照ピクチャから得られた予測参照を有してもよい。

【0071】

コントローラ（６５０）は、例えば、動画データを符号化するためのパラメータとサブグループパラメータの設置を含むソースエンコーダ（６３０）の符号化動作を管理することができる。

【0072】

上記の全ての機能ユニットの出力はエントロピーエンコーダ（６４５）においてエントロピー符号化されてもよい。エントロピーエンコーダ（６４５）は、例えばハフマン符号化、可変長符号化、算術符号化などの技術に基づいて、各機能ユニットによって生成されたシンボルに対して可逆圧縮を行うことによって、シンボルを、符号化された動画シーケンスに変換する。

【0073】

コントローラ（６５０）は、動画エンコーダ（６０３）の動作を管理することができる。コントローラ（６５０）は、各符号化されたピクチャに、対応するピクチャに適用され得る符号化技術に影響する可能性がある特定の符号化されたピクチャタイプを指定することができる。例えば、通常、ピクチャを、以下のピクチャタイプのいずれかとして割り当てられ得る。

【0074】

イントラピクチャ（Ｉピクチャ）は、シーケンス内の任意の他のピクチャを予測ソースとして使用せずに符号化及び復号化できるピクチャであってもよい。一部の動画動画コーデックは、例えば、独立デコーダリフレッシュ（「ＩＤＲ」）ピクチャを含む異なるタイプのイントラピクチャを許容する。当業者は、Ｉピクチャのそれらの変形及び対応する適用と特徴を知っている。

【0075】

予測ピクチャ（Ｐピクチャ）は、イントラ予測又はインター予測を使用して符号化及び復号化を行うピクチャであってもよく、当該イントラ予測又はインター予測は、多くとも１つの動きベクトル及び参照インデックスを使用して各ブロックのサンプル値を予測する。

【0076】

双方向予測ピクチャ（Ｂピクチャ）は、イントラ予測又はインター予測を使用して符号化と復号化を行うピクチャであってもよく、当該イントラ予測又はインター予測は、多くとも２つの動きベクトルと参照インデックスを使用して各ブロックのサンプル値を予測する。同様に、複数の予測ピクチャは、２つを超える参照ピクチャと関連するメタデータを使用して単一のブロックを再構築することができる。

【0077】

ソースピクチャは、一般的に、空間的に複数のサンプルブロックに細分化され（例えば、それぞれ４×４、８×８、４×８又は１６×１６のサンプルブロックである）、ブロックごとに符号化されてもよい。ブロックは、ブロックに適用される相応するピクチャの符号化割り当てによって特定される他の（すでに符号化された）ブロックを参照して予測的に符号化されることができる。例えば、Ｉピクチャのブロックについて、非予測的に符号化してもよく、又は、同じピクチャの符号化されたブロックを参照して予測的に符号化してもよい（空間的予測又はイントラ予測）。Ｐピクチャの画素ブロックは、１つの以前に符号化された参照ピクチャを参照して空間的予測又は時間的予測を介して予測的に符号化されてもよい。Ｂピクチャのブロックは、１つ又は２つの以前に符号化された参照ピクチャを参照して空間的予測又は時間的予測を介して予測的に符号化されてもよい。

【0078】

動画エンコーダ（６０３）は、例えばＩＴＵ-Ｔ Ｈ．２６５提案書の所定の動画符号化技術又は規格に従って、符号化操作を実行することができる。動画エンコーダ（６０３）は、その動作中に、入力動画シーケンスにおける時間的及び空間的冗長性を利用した予測符号化動作を含む様々な圧縮動作を実行することができる。従って、符号化された動画データは、使用されている動画符号化技術又は規格によって指定された構文に準拠し得る。

【0079】

動画は、時系列での複数のソースピクチャ（動画）の形式であってもよい。イントラピクチャ予測（通常、イントラ予測と簡略化される）は、所定のピクチャにおける空間的関連性を利用し、インターピクチャ予測はピクチャ間の（時間的又は他の）関連性を利用する。例おいて、符号化／復号化中の現在のピクチャと呼ばれる特定のピクチャはブロックに区分される。現在のピクチャにおけるブロックは、動画における、以前に符号化されまだバッファリングされている参照ピクチャにおける参照ブロックと類似している場合に、動きベクトルと呼ばれるベクトルによって現在のピクチャにおけるブロックを符号化してもよい。動きベクトルは参照ピクチャにおける参照ブロックを指し、また、複数の参照ピクチャを使用する場合に、動きベクトルは、参照ピクチャを認識する第３の次元を有してもよい。

【0080】

幾つかの実施形態において、双方向予測技術は、インターピクチャ予測に使用されてもよい。双方向予測技術によれば、例えば、復号化順序で動画における現在のピクチャよりも先行する（ただし、それぞれ表示順序で過去及び将来にあり得る）第１の参照ピクチャ及び第２の参照ピクチャである２つの参照ピクチャを使用する。第１の参照ピクチャにおける第１の参照ブロックを指す第１の動きベクトル、第２の参照ピクチャにおける第２の参照ブロックを指す第２の動きベクトルによって、現在のピクチャにおけるブロックを符号化してもよい。第１の参照ブロックと第２の参照ブロックとの組み合わせによって当該ブロックを予測してもよい。

【0081】

また、マージモード技術は、符号化の効率を向上させるために、インターピクチャ予測に使用することができる。

【0082】

本開示の幾つかの実施形態によれば、例えば、インターピクチャ予測及びイントラピクチャ予測のような予測はブロックごとに実行される。例えば、ＨＥＶＣ規格に応じて、動画ピクチャシーケンスにおけるピクチャは、圧縮用符号化ツリーユニット（ＣＴＵ）に区分され、ピクチャにおけるＣＴＵは、例えば、６４×６４画素、３２×３２画素又は１６×１６画素などの同じサイズを持っている。一般に、ＣＴＵは、３つの符号化ツリーブロック（ＣＴＢ）、即ち、１つの輝度ＣＴＢと２つの色度ＣＴＢを含む。各ＣＴＵは、１つ又は複数の符号化ユニット（ＣＵ）に再帰的に四分木で区分されてもよい。例えば、６４×６４画素のＣＴＵを１つの６４×６４画素のＣＵ、又は、４つの３２×３２画素のＣＵ、又は１６個の１６×１６画素のＣＵに区分してもよい。例において、各ＣＵを分析して、当該ＣＵに使用される予測タイプ、例えば、インター予測タイプ又はイントラ予測タイプを特定する。時間的及び／又は空間的予測可能性に依存し、ＣＵは１つ又は複数の予測ユニット（ＰＵ）に区分される。通常、各ＰＵは輝度予測ブロック（ＰＢ）及び２つの色度ＰＢを含む。実施形態において、符号化（符号化／復号化）中の予測動作は予測ブロックごとに実行される。輝度予測ブロックを予測ブロックとして使用する例において、予測ブロックは画素値（例えば、輝度値）の行列、例えば、８×８画素、１６×１６画素、８×１６画素、１６×８画素などを含む。

【0083】

本開示のいくつかの態様によれば、ジオメトリ平滑化は、エンコーダ側（点群圧縮に用いられる）及びデコーダ側（点群再構築に用いる）の両方によって実行されてもよい。一例において、エンコーダ側で、ジオメトリ動画の圧縮後、圧縮されたジオメトリ動画及び対応する占有マップを使用して点群のジオメトリ部分が再構築され、再構築された点群（ジオメトリ部分）は、ジオメトリ再構築クラウドと呼ばれる。ジオメトリ再構築クラウドは、テクスチャ画像の生成に使用される。例えば、テクスチャ画像生成器３１２は、ジオメトリ再構築クラウド内の再サンプリングされた点に関連付けられる色を特定し（色移りとも呼ばれる）、それに応じてテクスチャ画像を生成することができる。

【0084】

いくつかの例において、ジオメトリ平滑は、色移りの前にジオメトリ再構築クラウドに適用される。例えば、平滑モジュール３３６は、再構築されたジオメトリ画像に基づいて生成されたジオメトリ再構築クラウドに平滑（例えば、平滑フィルタ）を適用することができる。本開示のいくつかの実施形態において、平滑モジュール３３６は、ブロック境界での形状の歪みを回復するだけでなく、ブロック内の形状の歪みも回復するように配置されている。

【0085】

デコーダ側では、図４のＶ－ＰＣＣデコーダ４００を使用して、 例として、平滑モジュール４４６は、ジオメトリ再構築クラウドに平滑化を適用し、平滑化されたジオメトリ再構築クラウドを生成することができる。次に、テクスチャ再構築モジュール４４８は、解凍されたテクスチャ画像及び平滑化されたジオメトリ再構築クラウドに基づいて、点群内の点のテクスチャ情報を特定することができる。

【0086】

本開示のいくつかの態様によれば、歪みは、ジオメトリ圧縮中及び／又は高解像度占有マップから低解像度マップへの変換中の量子化誤差によって発生する可能性がある。 量子化誤差はブロックの境界に影響を与える可能性があり、ブロック内の再構築された深度値（点のジオメトリ情報）に影響を与える可能性があり、再構築された平面が滑らかではないことを招く可能性がある。本開示は、ブロック内の再構築された深度値を平滑化するための技術を提供する。

【0087】

提案された方法は、別々に使用するか、任意の順序で組み合わせることができる。さらに、方法（又は実施形態）、エンコーダ及びデコーダのそれぞれは、処理回路（例えば、１つ又は複数のプロセッサ又は１つ又は複数の集積回路）によって実現され得、一例において、１つ又は複数のプロセッサは、非一時的なコンピュータ可読媒体に保存される。

【0088】

図７は点群に用いるジオメトリ画像７１０とテクスチャ画像７５０を示している。点群は、複数のブロックに分解されている。いくつかの関連する例では、平滑化は、図７の７１１によって示される境界のようなブロック境界にのみ適用される。本開示において、平滑化は、７２１によって示されるように、ブロック内の特定の場所に適用することができる。場所は、特定の基準に基づいて選択することができる。平滑化はブロック内で選択的に適用されるため、追加の算出の複雑さは最小化される。いくつかの実施形態では、再構築された深度値が非圧縮深度値と比較して最も異なる候補点を特定し、リストに追加することができる。当該リストには境界点を含めることもできる。次に、平滑モジュール３３６、平滑モジュール４４６などによって、平滑化をリスト内の点に適用することができる。

【0089】

いくつかの実施形態では、平滑化フィルタによって平滑化されるブロック内の候補点のセットは、再構築された深度値に基づいて得られることができる。いくつかの実施形態では、エンコーダ側とデコーダ側の両方で適切なアルゴリズムを使用し、例えば推定に基づいて、再構築された深度値が元の非圧縮値と最も異なる候補点を選択し、元の未圧縮値はエンコーダ側で利用不可である。いくつかの例では、候補点は、再構築された深度値が比較的大きな量子化誤差を有すると考えられるものとして選択される。一例では、深度マップ（例えば、再構築されたジオメトリ画像）に高周波成分（高空間周波数成分）がある領域を選択してもよい。例えば、領域における高空間周波数成分の強度と低空間周波数成分の強度との比が閾値よりも高い場合、その領域は、比較的高レベルの高空間周波数成分を有する高周波数領域であり、平滑フィルターを適用するために選択されてもよい。別の例では、深度マップ（例えば、再構築されたジオメトリ画像）の高動きコンテンツを有する領域を選択することができる。例えば、動画コーデックで一般的に使用される動きベクトル情報に基づいて領域を選択できる。

【0090】

いくつかの実施形態では、エッジ検出を深度マップ（例えば、再構築されたジオメトリ画像）に適用して、ブロック内のエッジに対応する点を特定することができ、ブロック内にあるエッジに対応する点に平滑化を適用することができる。一般に、エッジ領域は比較的高い空間周波数成分を有する。

【0091】

いくつかの実施形態では、候補点は、深度マップを圧縮／解凍するためにＶ－ＰＣＣによって使用される動画圧縮ツール（例えば、ＨＥＶＣ）によって暗黙的に提供される情報に基づいて得られることができる 一例では、大動きベクトルを有する画素を選択することができ、大動きベクトルを有する画素に対応する点を候補点として選択し、平滑化を適用するためのリストに追加することができる。別の例では、サンプル適応オフセット（ＳＡＯ）に対する応答が比較的大きい画素を選択することができ、ＳＡＯに対して応答の大きい画素に対応する点を候補点として選択し、平滑化を適用するリストに追加することができる。

【0092】

本開示のいくつかの態様によれば、エンコーダ側及びデコーダ側は、同じアルゴリズムを使用して、ブロック内の平滑化を適用する点（又は領域）を特定する。いくつかの実施形態では、フラグ及びパラメータを符号化ビットストリームに含めることができ、したがって、デコーダ側は、にンコーダがブロック内の平滑化を適用する点を選択するためのアルゴリズム及びパラメータを特定することができ、次に、デコーダ側は同じアルゴリズムとパラメータを使用して、ブロック内の平滑化を適用する点を選択することができる。

【0093】

図８は、本開示の幾つかの実施形態による構文の例を示す。図８の例において、ｓｅｌｅｃｔｉｖｅ_ｓｍｏｏｔｈｉｎｇ_ｉｎｓｉｄｅ_ｐａｔｃｈｅｓ_ｐｒｅｓｅｎｔ_ｆｌａｇは、ブロック内で選択的平滑化が使用されているかどうかを指示するために用いる。例において、ｓｅｌｅｃｔｉｖｅ_ｓｍｏｏｔｈｉｎｇ_ｉｎｓｉｄｅ_ｐａｔｃｈｅｓ_ｐｒｅｓｅｎｔ_ｆｌａｇが真である場合、例えばａｌｇｏｒｉｔｈｍ_ｔｏ_ｆｉｎｄ_ｃａｎｄｉｄａｔｅｓ_ｉｎｓｉｄｅ_ｐａｔｃｈｅｓによって示されるパラメータによりアルゴリズムを指示する。

【0094】

また、例において、アルゴリズムがエッジ検出アルゴリズムである場合に、エッジ検出アルゴリズムに使用されるパラメータ、例えば、ｋｅｒｎｅｌ_ｓｉｚｅによって示されるエッジ検出アルゴリズムのカーネルのサイズ、ラスタースキャン順序に対してｋｅｒｎｅｌ[ｉ]，ｉ=０...ｋｅｒｎｅｌ_ｓｉｚｅ×ｋｅｒｎｅｌ_ｓｉｚｅによって示されるカーネル内の値などを指示することができる。

【0095】

図８において、ＸＹＺは、ブロック内の平滑化を適用する候補点を選択するための他の適切なアルゴリズムを示し、ＸＹＺ＿ｐａｒａｍｅｔｅｒｓは、アルゴリズムＸＹＺに使用されるパラメータの値を示す。

【0096】

図９は、本開示の実施形態によるプロセス（９００）を概説するフローチャートを示す。符号化処理中にプロセス（９００）を使用して点群を符号化することができる。様々な実施形態において、プロセス（９００）は、処理回路、例えば、端末装置（１１０）における処理回路、エンコーダ（２０３）の機能を実行する処理回路、Ｖ-ＰＣＣエンコーダ（３００）の機能を実行する処理回路などによって実行される。幾つかの実施形態において、プロセス（９００）は、ソフトウェア命令によって実現されるため、処理回路がソフトウェア命令を実行する場合、処理回路はプロセス（９００）を実行する。プロセスは（Ｓ９０１）から開始され、（Ｓ９１０）に進む。

【0097】

（Ｓ９１０）において、点群に関連付けられたジオメトリ画像を圧縮する。例において、ブロック生成モジュール３０６は点群のブロックを生成することができる。また、ジオメトリ画像生成モジュール３１０は、ジオメトリ情報、例えば点の深度値をジオメトリ画像として記憶する。動画圧縮モジュール３２２は群に関連付けられたジオメトリ画像を圧縮することができる。

【0098】

（Ｓ９２０）において、圧縮されたジオメトリ画像に応じてジオメトリ再構築クラウドを生成する。例において、動画圧縮モジュール３２２は圧縮されたジオメトリ画像に応じて再構築されたジオメトリ画像を生成することができる。再構築されたジオメトリ画像はジオメトリ再構築クラウドの生成に使用することができる。

【0099】

（Ｓ９３０）において、ジオメトリ再構築クラウドのブロックの境界サンプルに加えて、少なくともブロック内のジオメトリサンプルに平滑フィルタを適用する。幾つかの例において、平滑モジュール３３６はブロックの境界点に平滑フィルタを適用することができる。また、平滑モジュール３３６はブロック内の幾つかの点に平滑フィルタを選択的に適用する。幾つかの実施形態において、推定に基づいて再構築された深度値が元の非圧縮値と最も異なる可能性がある点を選択することができる。例えば、領域内の高レベルの高空間周波数成分を有する点を選択することができる。別の例では、深度マップ内の高動きコンテンツを有する点（例えば、動画圧縮モジュール３２２によって提供される動きベクトル情報に基づいて特定される）を選択することができる。

【0100】

（Ｓ９４０）において、平滑化されたジオメトリ再構築クラウドに基づいてテクスチャ画像を生成する。例において、テクスチャ画像生成モジュール３１２は平滑化されたジオメトリ再構築クラウドにおける再サンプリングされた点に関連付けする色（色移りとも呼ばれる）を特定し、テクスチャ画像を対応して生成することができる。

【0101】

（Ｓ９５０）において、テクスチャ画像を圧縮する。例において、動画圧縮モジュール３２３は圧縮されたテクスチャ画像を生成することができる。次に、圧縮されたジオメトリ画像、圧縮されたテクスチャ画像及び他の適切な情報は多重化されて符号化されたビットストリームを生成する。幾つかの例において、ブロック内の選択的ジオメトリ平滑化に関連付けられたフラグ及びパラメータは、符号化ビットストリームに含まれることができる。次に、プロセスは（Ｓ９９９）に進み、終了する。

【0102】

図１０は、本開示の実施形態によるプロセス（１０００）を概説するフローチャートを示す。復号化処理中にプロセス（１０００）を使用して点群を再構築することができる。様々な実施形態において、プロセス（１０００）は、処理回路、例えば、端末装置（１２０）における処理回路、デコーダ（２１０）の機能を実行する処理回路、Ｖ-ＰＣＣデコーダ（４００）の機能を実行する処理回路などによって実行される。幾つかの実施形態において、プロセス（１０００）は、ソフトウェア命令によって実現されるため、処理回路がソフトウェア命令を実行する場合、処理回路はプロセス（１０００）を実行する。プロセスは（Ｓ１００１）から開始され、（Ｓ１０１０）に進む。

【0103】

（Ｓ１０１０）において、点群に対応する符号化ビットストリームから点群の予測情報を復号化する。幾つかの例において、予測情報はブロック内の選択的ジオメトリ平滑化に関連付けられたフラグ及びパラメータを含む。

【0104】

（Ｓ１０２０）において、符号化ビットストリームから復号化されたジオメトリ画像に基づいて、ジオメトリ再構築クラウドを生成する。例において、動画解凍モジュール４３６は、ジオメトリ情報を復号化して、解凍されたジオメトリ画像を生成することができる。ジオメトリ再構築モジュール４４４は解凍されたジオメトリ画像に基づいてジオメトリ再構築クラウドを生成することができる。

【0105】

（Ｓ１０３０）において、ジオメトリ再構築クラウドのブロックの境界サンプルに加えて、少なくともブロック内のジオメトリサンプルに対して平滑フィルタを適用する。幾つかの例において、平滑化モジュール４４６は、ブロックの境界点のジオメトリサンプルに対して平滑フィルタを適用することができる。また、平滑化モジュール４４６は、ブロック内の幾つかのジオメトリサンプルに対して平滑フィルタを選択的に適用する。幾つかの実施形態において、推定に基づいて再構築された深度値が元の非圧縮値と最も異なる可能性がある点を選択することができる。例えば、領域内の高レベルの高空間周波数成分を有する点を選択することができる。別の例では、深度マップ内の高動きコンテンツを有する点（例えば、動画解凍モジュール４３６によって提供される動きベクトル情報に基づいて特定される）を選択することができる。

【0106】

（Ｓ１０４０）において、平滑化されたジオメトリ再構築クラウドに基づいて点群の点を再構築する。例えば、テクスチャ再構築モジュール（４４８）は解凍されたテクスチャ画像及び平滑化されたジオメトリ再構築クラウドに基づいて点群の点のテクスチャ情報を特定することができる。次に、色平滑化モジュール（４５２）着色の不一致を平滑化することができる。次に、プロセスは（Ｓ１０９９）に進み、終了する。

【0107】

上記の技術は、コンピュータ可読命令によってコンピュータソフトウェアとして実現され、１つ又は複数のコンピュータ可読媒体に物理的に記憶される。例えば、図１１は開示された主題のいくつかの実施形態を実現するのに適したコンピュータシステム（１１００）を示す。

【0108】

コンピュータソフトウェアは任意の適切なマシンコード又はコンピュータ言語を使用して符号化することができ、機械コード又はコンピュータ言語がアセンブル、コンパイル、リンクなどのメカニズムを介して命令を含むコードを作成することができ、当該命令は、１つ又は複数のコンピュータ中央処理ユニット（ＣＰＵ）、グラフィック処理ユニット（ＧＰＵ）などによって直接的に実行されるか、又は解釈、マイクロコード実行などによって実行されることができる。

【0109】

命令は、例えば、パーソナルコンピュータ、タブレットコンピュータ、サーバ、スマートフォン、ゲーム機器、モノのインターネット機器などを含む、様々なタイプのコンピュータ又はそのコンポーネントで実行されることができる。

【0110】

図１１に示すコンピュータシステム（１１００）に関するコンポーネントは本質的に例示であり、本開示の実施形態を実現するためのコンピュータソフトウェアの使用範囲又は機能に制限を加えることを意図するものではない。コンポーネントの配置はコンピュータシステム（１１００）の例示的な実施例に示されるコンポーネントのいずれか又はそれらの組み合わせに関する依存性又は要件を有するものとして解釈されるべきではない。

【0111】

コンピュータシステム（１１００）は、いくつかのヒューマンマシンインタフェース入力デバイスを含み得る。このようなヒューマンマシンインタフェース入力デバイスは、例えば、触覚入力（例えば、キーストローク、スワイプ、データグローブの移動）、オーディオ入力（例えば、音声、拍手）、視覚入力（例えば、姿勢）、嗅覚入力（図示せず）による１つ又は複数の人間のユーザの入力に応答してもよい。ヒューマンマシンインタフェースデバイスは、例えば、オーディオ（例えば、音声、音楽、環境音）、ピクチャ（例えば、スキャンした画像、静的画像撮影装置から取得された写真画像）、動画（例えば、２次元動画、ステレオ動画を含む３次元動画）などの、人間の意識的な入力に必ずしも直接関連しない特定のメディアをキャプチャするために使用されてもよい。

【0112】

ヒューマンマシンインタフェース入力デバイスには、キーボード（１１０１）、マウス（１１０２）、トラックパッド（１１０３）、タッチスクリーン（１１１０）、データグローブ（図示せず）、ジョイスティック（１１０５）、マイク（１１０６）、スキャナー（１１０７）、カメラ（１１０８）のうちの１つ又は複数（それぞれが１つのみ図示される）を含んでもよい。

【0113】

コンピュータシステム（１１００）はさらに、いくつかのヒューマンマシンインタフェース出力デバイスを含んでもよい。このようなヒューマンマシンインタフェース出力デバイスは、例えば、触覚出力、音、光、及び嗅覚／味覚を通じて、１つ又は複数の人間のユーザの感覚を刺激することができる。このようなヒューマンマシンインタフェース出力デバイスには、触覚出力デバイス（例えば、タッチパネル（１１１０）、データグローブ（図示せず）、又はジョイスティック（１１０５）による触覚フィードバックデバイスであり、入力デバイスとして機能しない触覚フィードバックデバイスであってもよい）、オーディオ出力デバイス（例えば、スピーカー（１１０９）、ヘッドフォン（図示せず））、視覚出力デバイス（例えば、スクリーン（１１１０）であり、ＣＲＴスクリーン、ＬＣＤスクリーン、プラズマスクリーン、ＯＬＥＤスクリーンを含み、それぞれはタッチスクリーン入力機能がある場合とない場合、触覚フィードバック機能がある場合とない場合があり、そのうちのいくつかは、例えば、ステレオ画像出力、仮想現実眼鏡（図示せず）、ホログラフィックディスプレイとスモークタンク（図示せず）により２次元の視覚出力又は３次元以上の出力）、及びプリンター（図示せず）を出力できる場合がある。

【0114】

コンピュータシステム１１００は、さらに、人間がアクセス可能な記憶装置及びそれらの関連する媒体を含んでもよく、例えば、ＣＤ／ＤＶＤを有する又は媒体（１１２１）に類似するＣＤ／ＤＶＤ ＲＯＭ／ＲＷ（１１２０）の光学媒体、サムドライブ（１１２２）、リムーバブルハードドライブ又はソリッドステートドライブ（１１２３）、レガシー磁気媒体（例えば、磁気テープやフロッピーディスク（図示せず））、専用ＲＯＭ／ＡＳＩＣ／ＰＬＤに基づくデバイス（例えば、セキュリティドングル（図示せず））などを含んでもよい。

【0115】

当業者はまた、ここで開示される主題に関連して使用される「コンピュータ可読媒体」という用語は、伝送媒体、搬送波、又は他の一時的な信号が含まれていないことを理解すべきである。

【0116】

コンピュータシステム（１１００）は１つ又は複数の通信ネットワークへのネットワークインターフェースをさらに含むことができる。ネットワークは、例えば、無線、有線、光であり得る。ネットワークは、さらに、ローカルエリアネットワーク、広域ネットワーク、メトロポリタンネットワーク、車両及び工業ネットワーク、リアルタイムネットワーク、遅延耐性ネットワークなどであり得る。ネットワークの例には、例えば、ローカルエリアネットワーク（例えば、イーサネット、無線ＬＡＮ）、ＧＳＭ、３Ｇ、４Ｇ、５Ｇ、ＬＴＥなどを含むセルラーネットワーク、ケーブルテレビ、衛星ＴＶ、及び地上放送ＴＶを含む有線又は無線広域デジタルネットワーク、ＣＡＮＢｕｓを含む車両及び工業ネットワークなどであってもよい。特定のネットワークは、通常、特定の汎用データポート又はペリフェラルバス（１１４９）（例えば、コンピュータシステムのＵＳＢポート）の外部ネットワークインターフェイスアダプタに接続された必要がある。他のネットワークは、通常、以下に説明するように（例えば、ＰＣコンピュータシステムへのイーサネットインターフェース又はスマートフォンコンピュータシステムへのセルラーネットワークインターフェース）システムバスに接続することによってコンピュータシステム（１１００）のコアに統合される。コンピュータシステム（１１００）はこれらのネットワークのいずれかを使用して、他のエンティティと通信できる。このような通信は、単方向受信のみ（例えば、テレビ放送）、単方向の送信のみ（例えば、幾つかのＣＡＮバス装置へのＣＡＮバスへ）、又は双方向（例えば、ローカル又はワイドエリアデジタルネットワークを使用して他のコンピュータシステムまで）であってもよい。上記のようにこれらのネットワークとネットワークインターフェイスのそれぞれで特定のプロトコルとプロトコルスタックを使用できる。

【0117】

以上で言及されたヒューマンマシンインタフェースデバイス、ヒューマンアクセス可能な記憶装置、及びネットワークインタフェースは、コンピュータシステム（１１００）のコア（１１４０）に取り付けることができる。

【0118】

コア（１１４０）には、１つ又は複数の中央処理装置（ＣＰＵ）（１１４１）、グラフィックス処理ユニット（ＧＰＵ）（１１４２）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）（１１４３）の形の専用なプログラマブル処理ユニット、特定のタスクに使用されるハードウェアアクセラレータ（１１４４）などを含んでもよい。これらのデバイス、読み取り専用メモリ（ＲＯＭ）（１１４５）、ランダムアクセスメモリ（ＲＡＭ）（１１４６）、例えばユーザがアクセスできない内部ハードドライブ、ＳＳＤなどの内部大容量ストレージ（１１４７）はシステムバス（１１４８）を介して接続されてもよい。一部のコンピュータシステムにおいて、システムバス（１１４８）に１つ又は複数の物理プラグの形でアクセスして、追加のＣＰＵ、ＧＰＵなどにより拡張を実現することができる。周辺機器は、コアのシステムバス（１１４８）に直接的、又は周辺バス（１１４９）を介して接続することができる。周辺バスのアーキテクチャは、ＰＣＩ、ＵＳＢなどを含む。

【0119】

ＣＰＵ（１１４１）、ＧＰＵ（１１４２）、ＦＰＧＡ（１１４３）、及びアクセラレータ（１１４４）は、組み合わせて上記のコンピュータコードを構成することができる特定の命令を実行してもよい。当該コンピュータコードは、ＲＯＭ（１１４５）又はＲＡＭ（１１４６）に記憶されてもよい。一時的なデータもＲＡＭ（１１４６）に記憶されてもよく、永続的なデータは、例えば内部大容量記憶装置（１１４７）に記憶されてもよい。バッファメモリにより、記憶装置のうちのいずれかへの高速ストレージと検索を実現することができ、当該バッファメモリは、１つ又は複数のＣＰＵ（１１４１）、ＧＰＵ（１１４２）、大容量記憶装置（１１４７）、ＲＯＭ（１１４５）、ＲＡＭ（１１４６）などと密接に関連することができる。

【0120】

コンピュータ可読媒体は、コンピュータが実現する様々な動作を実行するためのコンピュータコードを有してもよい。媒体とコンピュータコードとは、本開示の目的のために、特別に設計及び構築される媒体とコンピュータコードであってもよいし、又はそれらは、コンピュータソフトウェアの当業者によって知られ且つ利用可能なタイプのものであってもよい。

【0121】

例として限定ではなく、アーキテクチャを有するコンピュータシステム（１１００）、特にコア（１０４０）は、（１つ又は複数の）プロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡ、アクセラレータなどを含む）が１つ又は複数の有形コンピュータ可読媒体に実施されるソフトウェアを実行する結果として提供される機能を提供することができる。このようなコンピュータ可読媒体は、以上に前記したユーザがアクセス可能な大容量記憶装置、及びコア（１１４０）のいくつかの非一時的な性質を有するストレージ例えばコア内部大容量記憶装置（１１４７）又はＲＯＭ（１１４５）に関連する媒体であってもよい。本開示の様々な実施形態を実現するソフトウェアはこのようなデバイスに記憶され、コア（１１４０）によって実行されてもよい。特定のニーズに応じて、コンピュータ可読媒体には１つ又は複数のメモリ又はチップが含まれてもよい。ソフトウェアは、コア（１１４０）、特にそのうちのプロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡなどを含む）に、本明細書で説明される特定のプロセス又は特定のプロセスの特定の部分を実行させ、ソフトウェアによって定義されたプロセスによりＲＡＭ（１１４６）に記憶されるデータ構造を定義し、このようなデータ構造を修正することを含む。さらに又は代わりとして、コンピュータシステムは、ロジックハードワイヤードによって提供される、又は、他の方式で回路（例えば、アクセラレータ（１１４４）に具現化される機能を提供することができ、当該回路は、ソフトウェアの代わりとして、又はソフトウェアとともに運行することで、本明細書で説明される特定のプロセス又は特定のプロセスの特定部分を実行できる。適切な場合、ソフトウェアに対する言及にはロジックが含まれ、逆に、ロジックに対する言及にはソフトウェアが含まれてもよい。コンピュータ可読媒体への言及は、必要に応じて、実行用ソフトウェアを格納する回路（例えば、集積回路（ＩＣ）など）、実行用論理を実施する回路、又はその両方を包含することができる。本開示は、ハードウェアとソフトウェアとの任意の適切な組み合わせを包含する。
付録Ａ：頭字語
ＪＥＭ：共同探査モデル
ＶＶＣ：多用途動画符号化
ＢＭＳ：ベンチマークセット
ＭＶ：動きベクトル
ＨＥＶＣ：高効率動画符号化
ＳＥＩ：補助拡張情報
ＶＵＩ：動画ユーザビリティ情報
ＧＯＰ：ピクチャグループ
ＴＵ：変換ユニット
ＰＵ：予測ユニット
ＣＴＵ：符号化ツリーユニット
ＣＴＢ：符号化ツリー領域
ＰＢ：予測ブロック
ＨＲＤ：仮想参照デコーダ
ＳＮＲ：信号対雑音比
ＣＰＵ：中央処理ユニット
ＧＰＵ：グラフィックス処理ユニット
ＣＲＴ：陰極線管
ＬＣＤ：液晶ディスプレイ
ＯＬＥＤ：有機発光ダイオード
ＣＤ：コンパクトディスク
ＤＶＤ：デジタル動画ディスク
ＲＯＭ：読み取り専用メモリ
ＲＡＭ：ランダムアクセスメモリ
ＡＳＩＣ：特定用途向け集積回路
ＰＬＤ：プログラマブルロジックデバイス
ＬＡＮ：ローカルネットワーク
ＧＳＭ：モバイル通信のグローバルシステム
ＬＴＥ：ロング・ターム・エヴォリューション
ＣＡＮＢｕｓ：コントローラエリアネットワークバス
ＵＳＢ：ユニバーサルシリアルバス
ＰＣＩ：周辺コンポーネント相互接続
ＦＰＧＡ：フィールドプログラマブルゲートアレイ
ＳＳＤ：ソリッドステートドライブ
ＩＣ：集積回路
ＣＵ：符号化ユニット
この開示は、いくつかの例示的な実施例を説明したが、本開示の範囲内に含まれる変更、置換、及び様々な代替均等物が存在する。従って、本明細書では明示的に示されていないか、又は記載されていないが、本開示の内容を具現化し、従って本開示の精神及び範囲内にある多数のシステム及び方法を当業者が考案できることが認識される。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】