特表 2024-500701 点群符号化方法、点群復号化方法、点群符号化と復号化システム、点群エンコーダ及び点群デコーダ

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-01-10

(54)【発明の名称】点群符号化方法、点群復号化方法、点群符号化と復号化システム、点群エンコーダ及び点群デコーダ

(51)【国際特許分類】

   G06T 9/40 20060101AFI20231227BHJP

【ＦＩ】

G06T9/40

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023536205

(86)(22)【出願日】2020-12-28

(85)【翻訳文提出日】2023-06-14

(86)【国際出願番号】 CN2020140248

(87)【国際公開番号】W WO2022140937

(87)【国際公開日】2022-07-07

(81)【指定国・地域】

(71)【出願人】

【識別番号】516227559

【氏名又は名称】オッポ広東移動通信有限公司

【氏名又は名称原語表記】ＧＵＡＮＧＤＯＮＧ ＯＰＰＯ ＭＯＢＩＬＥ ＴＥＬＥＣＯＭＭＵＮＩＣＡＴＩＯＮＳ ＣＯＲＰ．， ＬＴＤ．

【住所又は居所原語表記】Ｎｏ． １８ Ｈａｉｂｉｎ Ｒｏａｄ，Ｗｕｓｈａ， Ｃｈａｎｇ’ａｎ，Ｄｏｎｇｇｕａｎ， Ｇｕａｎｇｄｏｎｇ ５２３８６０ Ｃｈｉｎａ

(74)【代理人】

【識別番号】100120031

【弁理士】

【氏名又は名称】宮嶋 学

(74)【代理人】

【識別番号】100107582

【弁理士】

【氏名又は名称】関根 毅

(74)【代理人】

【識別番号】100152205

【弁理士】

【氏名又は名称】吉田 昌司

(74)【代理人】

【識別番号】100137523

【弁理士】

【氏名又は名称】出口 智也

(74)【代理人】

【識別番号】100220630

【弁理士】

【氏名又は名称】河崎 亮

(72)【発明者】

【氏名】ユアン、ホイ

(72)【発明者】

【氏名】ワン、シアオホイ

(72)【発明者】

【氏名】ワン、ルー

(72)【発明者】

【氏名】リウ、チー

(72)【発明者】

【氏名】リー、ミン

(57)【要約】

本願は、点群符号化方法、点群復号化方法、点群符号化と復号化システム、点群エンコーダ及び点群デコーダを提供し、点群における点の幾何学的情報によって現在点の属性情報の予測モードを決定し、このようにして、予測モードの決定プロセスと点群における点の属性情報の再構成プロセスとが切り離され、２つのプロセスは並行して実行することができ、更に、符号化／復号化の効率を向上させる。

【特許請求の範囲】

【請求項1】

点群符号化方法であって、
点群における現在点の幾何学的情報と属性情報を取得することと、
前記現在点の幾何学的情報に基づいて、前記現在点のＫ（Ｋは２以上の正の整数である）個の隣接点を決定することと、
前記現在点の幾何学的情報と前記Ｋ個の隣接点の幾何学的情報に基づいて、前記現在点の属性情報の目標予測モードを決定することと、
前記目標予測モードを使用して前記現在点の属性情報を予測し、前記現在点の属性情報の予測値を得ることと、
前記現在点の属性情報の予測値に基づいて、前記現在点の属性情報の残差値を得ることと、
前記現在点の属性情報の残差値を符号化し、点群ビットストリームを生成することと、を含むことを特徴とする、点群符号化方法。

【請求項2】

前記現在点の幾何学的情報と前記Ｋ個の隣接点の幾何学的情報に基づいて、前記現在点の属性情報の目標予測モードを決定することは、
前記現在点の幾何学的情報と前記Ｋ個の隣接点の幾何学的情報に基づいて、前記Ｋ個の隣接点からなる隣接点セットと前記現在点との間の第１距離を決定することと、
前記第１距離に基づいて、前記現在点の属性情報の目標予測モードを決定することと、を含むことを特徴とする、
請求項１に記載の点群符号化方法。

【請求項3】

前記第１距離に基づいて、前記現在点の属性情報の目標予測モードを決定することは、
前記第１距離が第１数値以上である場合、前記目標予測モードをマルチ予測変数モードとして決定することと、
前記第１距離が、前記第１数値より小さい場合、前記目標予測モードを単一予測変数モードとして決定することと、を含むことを特徴とする、
請求項２に記載の点群符号化方法。

【請求項4】

前記目標予測モードがマルチ予測変数モードである場合、前記目標予測モードを使用して前記現在点の属性情報を予測し、前記現在点の属性情報の予測値を得ることは、
前記Ｋ個の隣接点の属性情報の再構成値を取得することと、
前記Ｋ個の隣接点の属性情報の再構成値をＫ個の予測変数として使用することと、
前記Ｋ個の隣接点の属性情報の再構成値の加重平均値をＫ＋１番目の予測変数として使用することと、
Ｋ＋１個の予測変数における各予測変数のレート歪み最適化（ＲＤＯ）値を決定することと、
最小ＲＤＯ値の予測変数を前記現在点の属性情報の予測値として使用することと、を含むことを特徴とする、
請求項３に記載の点群符号化方法。

【請求項5】

前記点群ビットストリームは、前記最小ＲＤＯ値の予測変数に対応する予測モード情報を含むことを特徴とする、
請求項４に記載の点群符号化方法。

【請求項6】

前記目標予測モードが単一予測変数モードである場合、前記目標予測モードを使用して前記現在点の属性情報を予測し、前記現在点の属性情報の予測値を得ることは、
前記Ｋ個の隣接点の属性情報の再構成値を取得することと、
前記Ｋ個の隣接点の属性情報の再構成値の加重平均値を、前記現在点の属性情報の予測値として使用することと、を含むことを特徴とする、
請求項３に記載の点群符号化方法。

【請求項7】

前記点群符号化方法は、
点群における点の幾何学的情報に基づいて、前記点群のバウンディングボックスを取得することであって、前記バウンディングボックスは、前記点群を囲むために使用される、ことと、
前記点群のバウンディングボックスの第１辺の長さを取得することと、
前記第１辺の長さに基づいて、前記第１数値を決定することと、を更に含むことを特徴とする、
請求項３に記載の点群符号化方法。

【請求項8】

前記第１辺の長さに基づいて、前記第１数値を決定することは、
量子化パラメータ（ＱＰ）を取得することと、
前記ＱＰと前記第１辺の長さに基づいて、前記第１数値を決定することと、を含むことを特徴とする、
請求項７に記載の点群符号化方法。

【請求項9】

前記ＱＰと前記第１辺の長さに基づいて、前記第１数値を決定することは、
前記第１辺の長さと前記ＱＰとの比率を、前記第１数値として使用することを含むことを特徴とする、
請求項８に記載の点群符号化方法。

【請求項10】

前記ＱＰと前記第１辺の長さに基づいて、前記第１数値を決定することは、
前記第１辺の長さと第１所定値との第１比率を取得することと、
前記ＱＰと第２所定値との第２比率を取得することと、
前記第１比率と前記第２比率に基づいて、前記第１数値を決定することと、を含むことを特徴とする、
請求項８に記載の点群符号化方法。

【請求項11】

前記第１比率と前記第２比率に基づいて、前記第１数値を決定することは、
前記第１比率を、前記第２比率を丸めた桁数だけ左にシフトし、前記第１数値を得ることを含むことを特徴とする、
請求項１０に記載の点群符号化方法。

【請求項12】

【数1】

【請求項13】

前記第１所定値は、前記第２所定値より大きいことを特徴とする、
請求項１０ないし１２のいずれか一項に記載の点群符号化方法。

【請求項14】

前記第２所定値は、６であることを特徴とする、
請求項１０ないし１２のいずれか一項に記載の点群符号化方法。

【請求項15】

前記第１辺が、前記バウンディングボックスの最短辺である場合、前記第１所定値は、６４であることを特徴とする、
請求項１０ないし１２のいずれか一項に記載の点群符号化方法。

【請求項16】

前記第１辺が、前記バウンディングボックスの最長辺である場合、前記第１所定値は、１２８であることを特徴とする、
請求項１０ないし１２のいずれか一項に記載の点群符号化方法。

【請求項17】

前記現在点の幾何学的情報と前記Ｋ個の隣接点の幾何学的情報に基づいて、前記Ｋ個の隣接点からなる隣接点セットと前記現在点との間の第１距離を決定することは、
前記Ｋ個の隣接点の幾何学的情報に基づいて、前記隣接点セットの幾何学的セントロイドの幾何学的情報を決定することと、
前記現在点の幾何学的情報と前記幾何学的セントロイドの幾何学的情報に基づいて、前記現在点と前記幾何学的セントロイドとの間の第２距離を決定することと、
前記第２距離に基づいて、前記第１距離を決定することと、を含むことを特徴とする、
請求項１ないし１２のいずれか一項に記載の点群符号化方法。

【請求項18】

前記第２距離に基づいて、前記第１距離を決定することは、
前記第２距離を前記第１距離として使用することを含むことを特徴とする、
請求項１７に記載の点群符号化方法。

【請求項19】

前記現在点と前記幾何学的セントロイドとの間の第２距離は、前記現在点と前記幾何学的セントロイドとの間のユークリッド距離であることを特徴とする、
請求項１７に記載の点群符号化方法。

【請求項20】

前記現在点と前記幾何学的セントロイドとの間の第２距離は、前記現在点と前記幾何学的セントロイドとの間のマンハッタン距離であることを特徴とする、
請求項１７に記載の点群符号化方法。

【請求項21】

前記現在点の幾何学的情報と前記Ｋ個の隣接点の幾何学的情報に基づいて、前記Ｋ個の隣接点からなる隣接点セットと前記現在点との間の第１距離を決定することは、
前記Ｋ個の隣接点における各隣接点に対して、前記隣接点の幾何学的情報及び前記現在点の幾何学的情報に基づいて、前記隣接点と前記現在点との間の第３距離を決定することと、
前記Ｋ個の隣接点における各前記隣接点と前記現在点との間の第３距離の平均値を、前記第１距離として使用することと、を含むことを特徴とする、
請求項１ないし１２のいずれか一項に記載の点群符号化方法。

【請求項22】

点群復号化方法であって、
点群ビットストリームを復号化し、点群における現在点の幾何学的情報と属性情報を取得することと、
前記現在点の幾何学的情報に基づいて、前記現在点のＫ（Ｋは２以上の正の整数である）個の隣接点を決定することと、
前記現在点の幾何学的情報と前記Ｋ個の隣接点の幾何学的情報に基づいて、前記現在点の属性情報の目標予測モードを決定することと、
前記目標予測モードを使用して前記現在点の属性情報を予測し、前記現在点の属性情報の予測値を得ることと、を含むことを特徴とする、点群復号化方法。

【請求項23】

前記現在点の幾何学的情報と前記Ｋ個の隣接点の幾何学的情報に基づいて、前記現在点の属性情報の目標予測モードを決定することは、
前記現在点の幾何学的情報と前記Ｋ個の隣接点の幾何学的情報に基づいて、前記Ｋ個の隣接点からなる隣接点セットと前記現在点との間の第１距離を決定することと、
前記第１距離に基づいて、前記現在点の属性情報の目標予測モードを決定することと、を含むことを特徴とする、
請求項２２に記載の点群復号化方法。

【請求項24】

前記第１距離に基づいて、前記現在点の属性情報の目標予測モードを決定することは、
前記第１距離が第１数値以上である場合、前記目標予測モードをマルチ予測変数モードとして決定することと、
前記第１距離が、前記第１数値より小さい場合、前記目標予測モードを単一予測変数モードとして決定することと、を含むことを特徴とする、
請求項２３に記載の点群復号化方法。

【請求項25】

前記目標予測モードがマルチ予測変数モードである場合、前記目標予測モードを使用して前記現在点の属性情報を予測し、前記現在点の属性情報の予測値を得ることは、
前記点群ビットストリームを復号化し、前記現在点の属性情報の予測モード情報を得ることと、
前記Ｋ個の隣接点における前記予測モード情報に対応する目標隣接点の属性情報の再構成値を取得することと、
前記目標隣接点の属性情報の再構成値を、前記現在点の属性情報の予測値として使用することと、を含むことを特徴とする、
請求項２４に記載の点群復号化方法。

【請求項26】

前記目標予測モードが単一予測変数モードである場合、前記目標予測モードを使用して前記現在点の属性情報を予測し、前記現在点の属性情報の予測値を得ることは、
前記Ｋ個の隣接点の属性情報の再構成値を取得することと、
前記Ｋ個の隣接点の属性情報の再構成値の加重平均値を、前記目標点の属性情報の予測値として使用することと、を含むことを特徴とする、
請求項２４に記載の点群復号化方法。

【請求項27】

前記点群復号化方法は、
前記点群ビットストリームを復号化し、点群における点の幾何学的情報を取得することと、
点群における点の幾何学的情報に基づいて、前記点群のバウンディングボックスを取得することであって、前記バウンディングボックスは、前記点群を囲むために使用される、ことと、
前記点群のバウンディングボックスの第１辺の長さを取得することと、
前記第１辺の長さに基づいて、前記第１数値を決定することと、を更に含むことを特徴とする、
請求項２４に記載の点群復号化方法。

【請求項28】

前記第１辺の長さに基づいて、前記第１数値を決定することは、
前記点群ビットストリームを復号化し、量子化パラメータ（ＱＰ）を取得することと、
前記ＱＰと前記第１辺の長さに基づいて、前記第１数値を決定することと、を含むことを特徴とする、
請求項２７に記載の点群復号化方法。

【請求項29】

前記ＱＰと前記第１辺の長さに基づいて、前記第１数値を決定することは、
前記第１辺の長さと前記ＱＰとの比率を、前記第１数値として使用することを含むことを特徴とする、
請求項２８に記載の点群復号化方法。

【請求項30】

前記ＱＰと前記第１辺の長さに基づいて、前記第１数値を決定することは、
前記第１辺の長さと第１所定値との第１比率を取得することと、
前記ＱＰと第２所定値との第２比率を取得することと、
前記第１比率と前記第２比率に基づいて、前記第１数値を決定することと、を含むことを特徴とする、
請求項２９に記載の点群復号化方法。

【請求項31】

前記第１比率と前記第２比率に基づいて、前記第１数値を決定することは、
前記第１比率を、前記第２比率を丸めた桁数だけ左にシフトし、前記第１数値を得ることを含むことを特徴とする、
請求項３０に記載の点群復号化方法。

【請求項32】

【数2】

【請求項33】

前記第１所定値は、前記第２所定値より大きいことを特徴とする、
請求項３０ないし３２のいずれか一項に記載の点群復号化方法。

【請求項34】

前記第２所定値は、６であることを特徴とする、
請求項３０ないし３２のいずれか一項に記載の点群復号化方法。

【請求項35】

前記第１辺が、前記バウンディングボックスの最短辺である場合、前記第１所定値は、６４であることを特徴とする、
請求項３０ないし３２のいずれか一項に記載の点群復号化方法。

【請求項36】

前記第１辺が、前記バウンディングボックスの最長辺である場合、前記第１所定値は、１２８であることを特徴とする、
請求項３０ないし３２のいずれか一項に記載の点群復号化方法。

【請求項37】

前記現在点の幾何学的情報と前記Ｋ個の隣接点の幾何学的情報に基づいて、前記現在点と前記隣接点セットとの間の第１距離を決定することは、
前記Ｋ個の隣接点の幾何学的情報に基づいて、前記隣接点セットの幾何学的セントロイドの幾何学的情報を決定することと、
前記現在点の幾何学的情報と前記幾何学的セントロイドの幾何学的情報に基づいて、前記現在点と前記幾何学的セントロイドとの間の第２距離を決定することと、
前記第２距離に基づいて、前記第１距離を決定することと、を含むことを特徴とする、
請求項２２ないし３２のいずれか一項に記載の点群復号化方法。

【請求項38】

前記第２距離に基づいて、前記第１距離を決定することは、
前記第２距離を前記第１距離として使用することを含むことを特徴とする、
請求項３７に記載の点群復号化方法。

【請求項39】

前記現在点と前記幾何学的セントロイドとの間の第２距離は、前記現在点と前記幾何学的セントロイドとの間のユークリッド距離であることを特徴とする、
請求項３７に記載の点群復号化方法。

【請求項40】

前記現在点と前記幾何学的セントロイドとの間の第２距離は、前記現在点と前記幾何学的セントロイドとの間のマンハッタン距離であることを特徴とする、
請求項３７に記載の点群復号化方法。

【請求項41】

前記現在点の幾何学的情報と前記Ｋ個の隣接点の幾何学的情報に基づいて、前記現在点と前記隣接点セットとの間の第１距離を決定することは、
前記Ｋ個の隣接点における各隣接点に対して、前記隣接点の幾何学的情報及び前記現在点の幾何学的情報に基づいて、前記隣接点と前記現在点との間の第３距離を決定することと、
前記Ｋ個の隣接点における各前記隣接点と前記現在点との間の第３距離の平均値を、前記第１距離として使用することと、を含むことを特徴とする、
請求項２２ないし３２のいずれか一項に記載の点群復号化方法。

【請求項42】

点群エンコーダであって、
点群における現在点の幾何学的情報と属性情報を取得するように構成される取得ユニットと、
前記現在点の幾何学的情報に基づいて、前記現在点のＫ（Ｋは２以上の正の整数である）個の隣接点を決定するように構成される隣接点決定ユニットと、
前記現在点の幾何学的情報と前記Ｋ個の隣接点の幾何学的情報に基づいて、前記現在点の属性情報の目標予測モードを決定するように構成される予測モード決定ユニットと、
前記目標予測モードを使用して前記現在点の属性情報を予測し、前記現在点の属性情報の予測値を取得し、前記現在点の属性情報の予測値に基づいて、前記現在点の属性情報の残差値を得、前記現在点の属性情報の残差値を符号化し、点群ビットストリームを生成するように構成される符号化ユニットと、を備えることを特徴とする、点群エンコーダ。

【請求項43】

点群デコーダであって、
点群における現在点の幾何学的情報と属性情報を取得するように構成される復号化ユニットと、
前記現在点の幾何学的情報に基づいて、前記現在点のＫ（Ｋは２以上の正の整数である）個の隣接点を決定するように構成される隣接点決定ユニットと、
前記現在点の幾何学的情報と前記Ｋ個の隣接点の幾何学的情報に基づいて、前記現在点の属性情報の目標予測モードを決定するように構成される予測モード決定ユニットと、
前記目標予測モードを使用して前記現在点の属性情報を予測し、前記現在点の属性情報の予測値を得るように構成される復号化ユニットと、を備えることを特徴とする、点群デコーダ。

【請求項44】

点群エンコーダであって、
コンピュータプログラムを記憶するメモリと、
前記メモリに記憶されたコンピュータプログラムを呼び出し実行して、請求項１ないし２１のいずれか一項に記載の点群符号化方法を実行するプロセッサと、を備えることを特徴とする、点群エンコーダ。

【請求項45】

点群デコーダであって、
コンピュータプログラムを記憶するメモリと、
前記メモリに記憶されたコンピュータプログラムを呼び出し実行して、請求項２２ないし４１のいずれか一項に記載の点群復号化方法を実行するプロセッサと、を備えることを特徴とする、点群デコーダ。

【請求項46】

点群符号化と復号化システムであって、
請求項４２又は４４に記載の点群エンコーダと、
請求項４３又は４５に記載の点群デコーダと、を備えることを特徴とする、点群符号化と復号化システム。

【請求項47】

コンピュータに、請求項１ないし２１のいずれか一項に記載の点群符号化方法、又は請求項２２ないし４１のいずれか一項に記載の点群復号化方法を実行させるコンピュータプログラムが記憶された、コンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本願は、点群符号化／復号化技術分野に関し、特に、点群符号化方法、点群復号化方法、点群符号化と復号化システム、点群エンコーダ及び点群デコーダに関する。

【背景技術】

【0002】

収集機器によって物体表面を収集して、点群データを形成し、点群データは、数十万あるいはそれ以上の点を含む。ビデオ制作プロセスにおいて、点群データは、点群符号化機器と点群復号化機器との間で点群メディアファイルの形態で伝送される。しかし、このような大量の点は、伝送に課題をもたらし、よって、点群符号化機器は、点群データを圧縮して伝送する必要がある。

【0003】

点群データの圧縮は、主に、幾何情報の圧縮と属性情報の圧縮を含み、属性情報の圧縮中に、予測により点群データにおける冗長情報を削減又は除去する。例えば、符号化済みの点から現在点の１つ又は複数の隣接点を取得し、隣接点の属性情報に基づいて、現在点の属性情報を予測する。

【0004】

現在、隣接点の属性情報の再構成値に基づいて現在点の予測モードを決定し、予測モードの決定プロセスと属性情報の再構成プロセスとが結合されるため、点群符号化の効果を低減させる。

【発明の概要】

【発明が解決しようとする課題】

【0005】

本願の実施例は、点群符号化効率を向上させるために、点群符号化方法、点群復号化方法、点群符号化と復号化システム、点群エンコーダ及び点群デコーダを提供する。

【課題を解決するための手段】

【0006】

第１態様によれば、本願は、点群符号化方法を提供し、前記方法は、
点群における現在点の幾何学的情報と属性情報を取得することと、
前記現在点の幾何学的情報に基づいて、前記現在点のＫ（Ｋは２以上の正の整数である）個の隣接点を決定することと、
前記現在点の幾何学的情報と前記Ｋ個の隣接点の幾何学的情報に基づいて、前記現在点の属性情報の目標予測モードを決定することと、
前記目標予測モードを使用して前記現在点の属性情報を予測し、前記現在点の属性情報の予測値を得ることと、
前記現在点の属性情報の予測値に基づいて、前記現在点の属性情報の残差値を得ることと、
前記現在点の属性情報の残差値を符号化し、点群ビットストリームを生成することと、を含む。

【0007】

第２態様によれば、本願の実施例は点群復号化方法を提供し、前記方法は、
点群ビットストリームを復号化し、点群における現在点の幾何学的情報と属性情報を取得することと、
前記現在点の幾何学的情報に基づいて、前記現在点のＫ（Ｋは２以上の正の整数である）個の隣接点を決定することと、
前記現在点の幾何学的情報と前記Ｋ個の隣接点の幾何学的情報に基づいて、前記現在点の属性情報の目標予測モードを決定することと、
前記目標予測モードを使用して前記現在点の属性情報を予測し、前記現在点の属性情報の予測値を得ることと、を含む。

【0008】

第３態様によれば、本願は、上記の第１態様又はその各実施形態における方法を実行する点群エンコーダを提供する。具体的に、当該エンコーダは、上記の第１態様又はその各実施形態における方法を実行するように構成される機能ユニットを備える。

【0009】

第４態様によれば、本願は、上記の第２態様又はその各実施形態における方法を実行する点群デコーダを提供する。具体的に、当該デコーダは、上記の第２態様又はその各実施形態における方法を実行するように構成される機能ユニットを備える。

【0010】

第５態様によれば、プロセッサとメモリとを備える点群エンコーダを提供する。当該メモリは、コンピュータプログラムを記憶し、当該プロセッサは、当該メモリに記憶されたコンピュータプログラムを呼び出し実行して、上記の第１態様又はその各実施形態における方法を実行する。

【0011】

第６態様によれば、プロセッサとメモリとを備える点群デコーダを提供する。当該メモリは、コンピュータプログラムを記憶し、当該プロセッサは、当該メモリに記憶されたコンピュータプログラムを呼び出し実行して、上記の第２態様又はその各実施形態における方法を実行する。

【0012】

第７態様によれば、点群エンコーダと点群デコーダとを備える点群符号化と復号化システムを提供する。点群エンコーダは、上記の第１態様又はその各実施形態における方法を実行し、点群デコーダは、上記の第２態様又はその各実施形態における方法を実行する。

【0013】

第８態様によれば、上記の第１態様ないし第２態様のいずれか１つの態様又はその各実施形態における方法を実現するチップを提供する。具体的に、当該チップは、プロセッサを備え、前記プロセッサは、メモリからコンピュータプログラムを呼び出し実行して、当該チップが実装された機器に、上記の第１態様及び第２態様のいずれか１つの態様又はその各実現方式における方法を実行させる。

【0014】

第９態様によれば、コンピュータに、上記の第１態様ないし第２態様のいずれか１つの態様又はその各実施形態における方法を実行させるコンピュータプログラムが記憶された、コンピュータ可読記憶媒体を提供する。

【0015】

第１０態様によれば、コンピュータに、上記の第１態様ないし第２態様のいずれか１つの態様又はその各実施形態における方法を実行させるコンピュータプログラム命令を含む、コンピュータプログラム製品を提供する。

【0016】

第１１態様によれば、コンピュータで実行されるとき、コンピュータに、上記の第１態様ないし第２態様のいずれか１つの態様又はその各実施形態における方法を実行させる、コンピュータプログラムを提供する。

【発明の効果】

【0017】

上記の技術的解決策に基づいて、点群における点の幾何学的情報によって現在点の属性情報の予測モードを決定し、このようにして、予測モードの決定プロセスと点群における点の属性情報の再構成プロセスとが切り離され、２つのプロセスは並行して行うことができ、更に、符号化／復号化の効率を向上させる。

【図面の簡単な説明】

【0018】

【図1】本願の実施例に係る点群符号化と復号化システム１００の例示的なブロック図である。

【図2】本願の実施例による点群エンコーダ２００の例示的なブロック図である。

【図3】本願の実施例によるデコーダ３００の例示的なブロック図である。

【図4】本願の実施例に係る属性符号化モジュール４００の部分的なブロック図である。

【図5】本願の実施例に係る属性復号化モジュール５００の部分的なブロック図である。

【図6】一実施例の符号化端での予測の概略図である。

【図7】一実施例の復号化端での予測の概略図である。

【図8】本願の実施例による点群符号化方法６００の例示的なフローチャートである。

【図9】本願の実施例による点群符号化方法６００ａの例示的なフローチャートである。

【図10】本願の実施例による点群符号化方法７００の例示的なフローチャートである。

【図11】本願の実施例による点群復号化方法８００の例示的なフローチャートである。

【図12】本願の実施例による点群復号化方法８００ａの例示的なフローチャートである。

【図13】本願の実施例による点群復号化方法９００の例示的なフローチャートである。

【図14】本願の実施例による点群エンコーダ１０の例示的なブロック図である。

【図15】本願の実施例による点群デコーダ２０の例示的なブロック図である。

【図16】本願の実施例による電子機器３０の例示的なブロック図である。

【図17】本願の実施例による点群符号化と復号化システム４０の例示的なブロック図である。

【発明を実施するための形態】

【0019】

本願は、点群圧縮の技術分野に適用されてもよい。

【0020】

本願の実施例の理解を容易にするために、まず、本願の実施例に係る関連概念について簡単に説明する。

【0021】

点群（Ｐｏｉｎｔ Ｃｌｏｕｄ）とは、空間内にランダムに分布する、三次元物体又は三次元シナリオの空間構造及び表面属性を表す離散点セットを指す。

【0022】

点群データ（Ｐｏｉｎｔ Ｃｌｏｕｄ Ｄａｔａ）は、点群の具体的な記録形態であり、点群における点は、点の位置情報と点の属性情報を含み得る。例えば、点の位置情報は、点の三次元座標情報であってもよい。点の位置情報は、点の幾何学的情報とも呼ばれることができる。例えば、点の属性情報は、色情報及び／又は反射率などを含んでもよい。例えば、前記色情報は、任意の色空間における情報であってもよい。例えば、前記色情報は、ＲＧＢであってもよい。別の例では、前記色情報は、輝度クロマ（ＹＵＶ：ＹｃｂＣｒ）情報であってもよい。例えば、Ｙは、ルーマ（Ｌｕｍａ）を示し、Ｃｂ （Ｕ）は、青彩色差を示し、Ｃｒ （Ｖ）は、赤彩を示し、ＵとＶは、クロマ（Ｃｈｒｏｍａ）を示し、色差情報を記述するために使用される。例えば、レーザ測定原理に基づいて得られた点群における点は、点の三次元座標情報と点のレーザ反射率（ｒｅｆｌｅｃｔａｎｃｅ）を含み得る。また例えば、撮影測定原理に基づいて得られた点群における点は、点の三次元座標情報と点の色情報を含み得る。また例えば、レーザ測定と撮影測定原理を組み合わせて得られた点群における点は、点の三次元座標情報、点のレーザ反射率（ｒｅｆｌｅｃｔａｎｃｅ）及び点の色情報を含み得る。

【0023】

点群データを取得するアプローチは、以下の少なくとも１つを含むが、これに限定されない。（１）コンピュータ機器によって生成される。コンピュータ機器は、仮想三次元物体及び仮想三次元シナリオに基づいて点群データを生成することができる。（２）三次元（３Ｄ：３－Ｄｉｍｅｎｓｉｏｎ）レーザスキャンによって取得される。３Ｄレーザスキャンによって、静的現実世界の三次元物体又は三次元シナリオの点群データを取得することができ、１秒間に数百万の点群データを取得することができる。（３）３Ｄ撮影測定によって取得される。３Ｄ撮影機器（つまり、一組のカメラ又は複数のカメラレンズとセンサを備えるカメラ機器）によって、現実世界のビジュアルシナリオを収集することにより、現実世界のビジュアルシナリオの点群データを取得し、３Ｄ撮影を用いて、動的現実世界の三次元物体又は三次元シナリオの点群データを取得することができる。（４）医療機器によって生物組織や臓器の点群データを取得する。医療分野では、磁気共鳴撮影（ＭＲＩ：Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ Ｉｍａｇｉｎｇ）、コンピュータ断層撮影（ＣＴ：Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）、電磁位置決め情報などの医療機器を用いて、生物組織や臓器の点群データを取得することができる。

【0024】

点群は、取得のアプローチに応じて、密な点群と疎な点群に分けられることができる。

【0025】

点群は、データのタイミング種類に応じて、第１種類静的点群、第２種類動的点群、第３種類動的取得点群に分けられる。

【0026】

第１種類静的点群：即ち、物体は静的であり、点群を取得する機器も静的である。

【0027】

第２種類動的点群：物体は、動的であるが、点群を取得する機器は、静的である。

【0028】

第３種類動的取得点群：点群を取得する機器は、動的である。

【0029】

点群の用途に応じて、２つのタイプに分けられる。

【0030】

タイプ１：機械感知点群であり、自律航法システム、リアルタイム検査システム、地理情報システム、視覚選別ロボット、レスキューロボットなどのシーンに使用することができる。

【0031】

タイプ２：人目感知点群であり、デジタル文化遺産、自由視点放送、三次元没入型通信、三次元没入型対話などの点群適用シーンに使用することができる。

【0032】

図１は、本願の実施例に係る点群符号化と復号化システム１００の例示的なブロック図である。説明すべきこととして、図１は、１つの例に過ぎず、本願の実施例の点群符号化と復号化システムは、図１に示すものを含むが、これに限定されない。図１に示すように、当該点群符号化と復号化システム１００は、符号化機器１１０と復号化機器１２０とを備える。ここで、符号化機器は、点群データを符号化（圧縮と理解してもよい）してビットストリームを生成し、ビットストリームを復号化機器に伝送する。復号化機器は、符号化機器符号化で生成されたビットストリームを復号化し、復号化された点群データを得る。

【0033】

本願の実施例の符号化機器１１０は、点群符号化機能を有する機器として理解してもよく、復号化機器１２０は、点群復号化機能を有する機器として理解してもよく、つまり、本願の実施例の符号化機器１１０と復号化機器１２０は、スマートフォン、デスクトップコンピュータ、モバイルコンピューティング装置、ノートブック（例えば、ラップトップ）コンピュータ、タブレットコンピュータ、セットトップボックス、テレビ、カメラ、表示装置、デジタルメディアプレーヤ、ビデオゲーム機、車両コンピュータなど、より広範な装置を含む。

【0034】

いくつかの実施例において、符号化機器１１０は、チャネル１３０を介して、符号化された点群データ（例えば、ビットストリーム）を復号化機器１２０に伝送することができる。チャネル１３０は、符号化された点群データを符号化機器１１０から復号化機器１２０に伝送することができる１つ又は複数の媒体及び／又は装置を含み得る。

【0035】

１つの例において、チャネル１３０は、符号化機器１１０に、符号化された点群データをリアルタイムで復号化機器１２０に直接送信できるようにする１つ又は複数の通信メディアを含む。個の例において、符号化機器１１０は、通信規格に基づいて、符号化された点群データを変調し、変調された点群データを復号化機器１２０に送信することができる。ここで、通信メディアは、無線周波数スペクトルのような無線通信メディアを含み、例示的に、通信メディアは、１つ又は複数の物理的伝送路などの有線通信メディアを含み得る。

【0036】

別の例において、チャネル１３０は、記憶媒体を含み、当該記憶媒体は、符号化機器１１０によって符号化された点群データを記憶することができる。記憶媒体は、光ディスク、ＤＶＤ、フラッシュメモリなどの、様々なローカルにアクセス可能なデータ記憶媒体を含む。当該例において、復号化機器１２０は、当該記憶媒体から符号化された点群データを取得することができる。

【0037】

別の例において、チャネル１３０は、ストレージサーバを含んでもよく、当該ストレージサーバは、符号化機器１１０によって符号化された点群データを記憶することができる。この例において、復号化機器１２０は、当該ストレージサーバから、記憶された符号化された点群データをダウンロードすることができる。選択的に、当該ストレージサーバは、符号化された点群データを記憶することができ、当該符号化された点群データを、ｗｅｂサーバ（例えば、ウェブサイト）、ファイル転送プロトコル（ＦＴＰ）サーバなどの復号化機器１２０に送信することができる。

【0038】

いくつかの実施例において、符号化機器１１０は、点群エンコーダ１１２及び出力インターフェース１１３を含む。ここで、出力インターフェース１１３は、変調器／復調器（モデム）及び／又は送信機を含んでもよい。

【0039】

いくつかの実施例において、符号化機器１１０は、点群エンコーダ１１２と入力インターフェース１１３に加えて、点群ソース１１１を更に含み得る。

【0040】

点群ソース１１１は、点群収集装置（例えば、スキャナ）、点群アーカイブ、点群入力インターフェース、コンピュータグラフィックスシステムのうちの少なくとも１つを含み得、ここで、点群入力インターフェースは、点群コンテンツプロバイダから点群データを受信するために使用され、コンピュータグラフィックスシステムは、点群データを生成するために使用される。

【0041】

点群エンコーダ１１２は、点群ソース１１１からの点群データを符号化し、ビットストリームを生成する。点群エンコーダ１１２は、出力インターフェース１１３を介して、符号化された点群データを復号化機器１２０に直接伝送する。符号化された点群データは更に、復号化機器１２０が後続で読み取るように、記憶媒体又はストレージサーバに記憶されることができる。

【0042】

いくつかの実施例において、復号化機器１２０は、入力インターフェース１２１と点群デコーダ１２２を含む。

【0043】

いくつかの実施例において、復号化機器１２０は、入力インターフェース１２１と点群デコーダ１２２に加えて、表示装置１２３を更に含み得る。

【0044】

ここで、入力インターフェース１２１は、受信器及び／又はモデムを含む。入力インターフェース１２１は、チャネル１３０を介して符号化された点群データを受信することができる。

【0045】

点群デコーダ１２２は、符号化された点群データを復号化し、復号化された点群データを得、復号化された点群データを表示装置１２３に伝送するように構成される。

【0046】

表示装置１２３は、復号化された点群データをディスプレイする。表示装置１２３は、復号化機器１２０と一体化されてもよく、復号化機器１２０の外部に配置されてもよい。表示装置１２３は、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ又は他の種類の表示装置などの、様々な表示装置を含んでもよい。

【0047】

更に、図１は、一例に過ぎず、本願の実施例の技術的解決策は図１に限定されなく、例えば、本願の技術は、片面の点群符号化又は片面の点群復号化に適用されてもよい。

【0048】

現在の点群エンコーダは、動画エキスパートグループ（ＭＰＥＧ：Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）によって提供されるジオメトリベースの点群圧縮（Ｇ－ＰＣＣ：Ｇｅｏｍｅｔｒｙ Ｐｏｉｎｔ Ｃｌｏｕｄ Ｃｏｍｐｒｅｓｓｉｏｎ）符号化／復号化フレームワーク又はビデオベースの点群圧縮 （Ｖ－ＰＣＣ：Ｖｉｄｅｏ Ｐｏｉｎｔ Ｃｌｏｕｄ Ｃｏｍｐｒｅｓｓｉｏｎ）符号化／復号化フレームワークを採用してもよく、オーディオビデオ規格（ＡＶＳ：Ａｕｄｉｏ Ｖｉｄｅｏ Ｓｔａｎｄａｒｄ）によって提供されるＡＶＳ－ＰＣＣ符号化／復号化フレームワークを採用してもよい。Ｇ－ＰＣＣ及びＡＶＳ－ＰＣＣは、いずれも静的な疎な点群を対称としており、その符号化フレームワークは、ほぼ同じである。Ｇ－ＰＣＣ符号化／復号化フレームワークは、第１静的点群と第３種類動的取得点群を圧縮するために使用されることができ、Ｖ－ＰＣＣ符号化／復号化フレームワークは、第２種類動的点群を圧縮するために使用されることができる。Ｇ－ＰＣＣ符号化／復号化フレームワークは、点群エンコーダ／デコーダＴＭＣ１３とも呼ばれ、Ｖ－ＰＣＣ符号化／復号化フレームワークは、点群エンコーダ／デコーダＴＭＣ２とも呼ばれる。

【0049】

以下では、Ｇ－ＰＣＣ符号化／復号化フレームワークを例として、本願の実施例が適する点群エンコーダと点群デコーダについて説明する。

【0050】

図２は、本願の実施例による点群エンコーダ２００の例示的なブロック図である。

【0051】

以上の記載から分かるように、点群における点は、点の位置情報と点の属性情報を含むことができるため、点群における点の符号化は、主に、位置符号化と属性符号化を含む。いくつかの実施例において、点群における点の位置情報は、幾何学的情報とも呼ばれ、それに対応して、点群における点の位置符号化は、幾何学的符号化とも呼ばれることができる。

【0052】

位置符号化のプロセスは、以下のステップを含む。点群における点に対して、座標変換、量子化と重複点の除去などの前処理を行い、次に、前処理後の点群に対して、八分木構築などの幾何学的符号化を行い、構築された八分木に基づいて、幾何学的符号化を行って幾何学的ビットストリームを形成する。同時に、構築された八分木によって出力された位置情報に基づいて、点群データにおける各点の位置情報を再構成し、各点の位置情報の再構成値を得る。

【0053】

属性符号化プロセスは、以下のステップを含む。入力点群の位置情報の再構成情報と属性情報の元の値を与えて、３種類の予測モードのうちの１つを選択して点群予測を行い、予測された結果を量子化し、算術符号化を行って属性ビットストリームを形成する。

【0054】

図２に示すように、位置符号化は、
座標転換（Ｔａｎｍｓｆｏｒｍ ｃｏｏｒｄｉｎａｔｅｓ）ユニット２０１、量子化と重複点の除去（Ｑｕａｎｔｉｚｅ ａｎｄ ｒｅｍｏｖｅ ｐｏｉｎｔｓ）ユニット２０２、八分木解析（Ａｎａｌｙｚｅ ｏｃｔｒｅｅ）ユニット２０３、幾何学的再構成（Ｒｅｃｏｎｓｔｒｕｃｔ ｇｅｏｍｅｔｒｙ）ユニット２０４及び第１算術符号化（Ａｒｉｔｈｍｅｔｉｃ ｅｎｃｏｎｄｅ）ユニット２０５によって実現されることができる。

【0055】

座標転換ユニット２０１は、点群における点の世界座標を相対座標に変換するように構成されることができる。例えば、点の幾何学的座標からｘｙｚ座標軸の最小値をそれぞれ減算し、直流除去動作に相当し、それにより、点群における点の座標を世界座標から相対座標に転換する。

【0056】

量子化と重複点の除去ユニット２０２は、量子化により座標の数を減らすことができ、量子化の後、元の異なる点は、同じ座標を付与される可能性があり、これに基づいて、重複排除動作により重複する点を削除することができ、例えば、同じ量子化位置と異なる属性情報を有する複数の群は、属性転換により１つの群に統合されることができる。本願のいくつかの実施例において、量子化と重複点の除去ユニット２０２は、代替ユニットモジュールである。

【0057】

八分木解析ユニット２０３は、八分木（ｏｃｔｒｅｅ）符号化方式を利用して、量子化された点の位置情報を符号化することができる。例えば、点群を、八分木の形に従って分割し、これにより、点の位置は、八分木の位置と一対一で対応することができ、八分木において点がある位置を統計し、それのフラグ（ｆｌａｇ）を１として、幾何学的符号化を行う。

【0058】

幾何学的再構成ユニット２０４は、八分木解析ユニット２０３によって出力される位置情報に基づいて位置再構成を行い、点群データにおける各点の位置情報の再構成値を得ることができる。

【0059】

第１算術符号化ユニット２０５は、エントロピ符号化方式により、八分木解析ユニット２０３によって出力された位置情報に対して算術符号化を行い、つまり、八分木解析ユニット２０３によって出力された位置情報に対して算術符号化方式で幾何学的ビットストリームを生成することができ、幾何学的ビットストリームは、幾何学的ビットストリーム（ｇｅｏｍｅｔｒｙ ｂｉｔｓｔｒｅａｍ）とも呼ばれることができる。

【0060】

属性符号化は、
色空間転換（Ｔｒａｎｓｆｏｒｍ ｃｏｌｏｒｓ）ユニット２１０、属性変換（Ｔｒａｎｓｆｅｒ ａｔｔｒｉｂｕｔｅｓ）ユニット２１１、領域適応階層変換（ＲＡＨＴ：Ｒｅｇｉｏｎ Ａｄａｐｔｉｖｅ Ｈｉｅｒａｒｃｈｉｃａｌ Ｔｒａｎｓｆｏｒｍ）ユニット２１２、予測変化（ｐｒｅｄｉｃｔｉｎｇ ｔｒａｎｓｆｏｒｍ）ユニット２１３及びリフティング変化（ｌｉｆｔｉｎｇ ｔｒａｎｓｆｏｒｍ）ユニット２１４、量子化係数（Ｑｕａｎｔｉｚｅ ｃｏｅｆｆｉｃｉｅｎｔｓ）ユニット２１５及び第２算術符号化ユニット２１６によって実現されることができる。

【0061】

説明すべきこととして、点群エンコーダ２００は、図２に示すものよりも多い、少ない又は異なる機能コンポーネントを含み得る。

【0062】

色空間転換ユニット２１０は、点群における点のＲＧＢ色空間をＹＣｂＣｒフォーマット又は他のフォーマットに変換するように構成されることができる。

【0063】

属性変換ユニット２１１は、属性歪みを最小化するために、点群における点の属性情報を転換するように構成されることができる。例えば、属性変換ユニット２１１は、点の属性情報の元の値を得るように構成されることができる。例えば、前記属性情報は、点の色情報であってもよい。

【0064】

属性変換ユニット２１１によって点の属性情報の元の値が転換された後、任意の予測ユニットを選択して、点群における点を予測することができる。予測ユニットは、ＲＡＨＴ ２１２、予測変化（ｐｒｅｄｉｃｔｉｎｇ ｔｒａｎｓｆｏｒｍ）ユニット２１３及びリフティング変化（ｌｉｆｔｉｎｇ ｔｒａｎｓｆｏｒｍ）ユニット２１４を含み得る。

【0065】

言い換えれば、ＲＡＨＴ ２１２、予測変化（ｐｒｅｄｉｃｔｉｎｇ ｔｒａｎｓｆｏｒｍ）ユニット２１３及びリフティング変化（ｌｉｆｔｉｎｇ ｔｒａｎｓｆｏｒｍ）ユニット２１４のいずれか１つは、点の属性情報の予測値を得、点の属性情報の予測値に基づいて点の属性情報の残差値を得るために、点群における点の属性情報を予測するように構成されることができる。例えば、点の属性情報の残差値は、点の属性情報の元の値から点の属性情報の予測値を減算した値であってもよい。

【0066】

本願の一実施例において、予測変換ユニット２１３は更に、詳細レベル（ＬＯＤ：ｌｅｖｅｌ ｏｆ ｄｅｔａｉｌ）を生成するように構成されることができる。ＬＯＤの生成プロセスは、点群における点の位置情報に基づいて、点と点間のユークリッド距離を取得することと、ユークリッド距離に基づいて、点を異なる詳細表現層に分けることと、を含む。１つの実施例において、ユークリッド距離をソートした後、異なる範囲のユークリッド距離を異なる詳細表現層に分割することができる。例えば、１つの点を第１詳細表現層としてランダムに選択することができる。その後、残余の点と当該点との間のユークリッド距離を計算し、ユークリッド距離が第１閾値要求を満たす点を、第２詳細表現層に分類する。第２詳細表現層における点のセントロイドを取得し、第１、第２詳細表現層以外の点と当該セントロイドとの間のユークリッド距離を計算し、ユークリッド距離が第２閾値を満たす点を、第３詳細表現層に分類する。これによって類推して、すべての点を詳細表現層に分類する。ユークリッド距離の閾値を調整することにより、各層のＬＯＤ層の点の数を徐々に増加させることができる。理解されたいこととして、ＬＯＤの分割方式は、他の方式を採用してもよく、本願は、これに対して限定しない。

【0067】

説明すべきこととして、点群を１つ又は複数の詳細表現層に直接分割してもよく、点群を複数の点群スライス（ｓｌｉｃｅ）に分割した後、各点群スライスを１つ又は複数のＬＯＤ層に分割してもよい。

【0068】

例えば、点群を複数の点群スライスに分割することができ、各点群スライスの点の数は、５５万～１１０万であり得る。各点群スライスは、独立した点群として見なされることができる。各点群スライスは更に、複数の詳細表現層に分割されることができ、各詳細表現層は、複数の点を含む。１つの実施例において、点と点間のユークリッド距離に基づいて、詳細表現層の分割を行うことができる。

【0069】

量子化ユニット２１５は、点の属性情報の残差値を量子化するように構成されることができる。例えば、前記量子化ユニット２１５が前記予測変換ユニット２１３に接続された場合、前記量子化ユニットは、前記予測変換ユニット２１３によって出力された点の属性情報の残差値を量子化するように構成されることができる。

【0070】

例えば、予測変換ユニット２１３によって出力された点の属性情報の残差値を、量子化ステップを用いて量子化することにより、システム性能を向上させる。

【0071】

第２算術符号化ユニット２１６は、ゼロランレングス符号化（Ｚｅｒｏ ｒｕｎ ｌｅｎｇｔｈ ｃｏｄｉｎｇ）を使用して、点の属性情報の残差値に対してエントロピ符号化を行い、属性ビットストリームを得ることができる。前記属性ビットストリームは、ビットストリーム情報であってもよい。

【0072】

図３は、本願の実施例によるデコーダ３００の例示的なブロック図である。

【0073】

図３に示すように、復号化フレームワーク３００は、符号化機器から点群ビットストリームを取得し、ビットストリームを解析して点群における点の位置情報と属性情報を得ることができる。点群の復号化は、位置復号化と属性復号化を含む。

【0074】

位置復号化のプロセスは、幾何学的ビットストリームに対して算術復号化を行うことと、八分木を構築した後統合し、点の位置情報を再構成して、点の位置情報の再構成情報を得ることと、点の位置情報の再構成情報に対して座標変換を行い、点の位置情報を得ることと、を含む。点の位置情報は、点の幾何学的情報とも呼ばれることができる。

【0075】

属性復号化プロセスは、属性ビットストリームを解析することにより、点群における点の属性情報の残差値を取得することと、点の属性情報の残差値に対して逆量子化を行い、逆量子化された点の属性情報の残差値を得ることと、位置復号化プロセスで取得された点の位置情報の再構成情報に基づいて、ＲＡＨＴ、予測変化とリフティング変化の３つの予測モードから１つを選択して点群予測を行い、予測値を得、予測値を残差値と加算して点の属性情報の再構成値を得ることと、点の属性情報の再構成値に対して色空間逆変換を行い、復号化点群を得ることと、を含む。

【0076】

図３に示すように、位置復号化は、
第１算術復号化ユニット３０１、八分木合成（ｓｙｎｔｈｅｓｉｚｅ ｏｃｔｒｅｅ）ユニット３０２、幾何学的再構成（Ｒｅｃｏｎｓｔｒｕｃｔ ｇｅｏｍｅｔｒｙ）ユニット３０３及び座標逆転換（ｉｎｖｅｒｓｅ ｔｒａｎｓｆｏｒｍ ｃｏｏｒｄｉｎａｔｅｓ）ユニット３０４によって実現されることができる。

【0077】

属性符号化は、
第２算術復号化ユニット３１０、逆量子化（ｉｎｖｅｒｓｅ ｑｕａｎｔｉｚｅ）ユニット３１１、ＲＡＨＴユニット３１２、予測変化（ｐｒｅｄｉｃｔｉｎｇ ｔｒａｎｓｆｏｒｍ）ユニット３１３、リフティング変化（ｌｉｆｔｉｎｇ ｔｒａｎｓｆｏｒｍ）ユニット３１４及び色空間逆転換（ｉｎｖｅｒｓｅ ｔｒａｓｆｏｒｍ ｃｏｌｏｒｓ）ユニット３１５によって実現されることができる。

【0078】

説明すべきこととして、減圧は、圧縮の逆プロセスであり、同様に、デコーダ３００における各ユニットの機能は、エンコーダ２００における対応するユニットの機能を参照することができる。更に、点群デコーダ３００は、図３に示すものよりも多い、少ない又は異なる機能コンポーネントを含み得る。

【0079】

例えば、デコーダ３００は、点群における点と点間のユークリッド距離に基づいて、点群を複数のＬＯＤに分割し、そして、ＬＯＤにおける点の属性情報を順次に復号化することができ、例えば、ゼロランレングス符号化技術における零の数（ｚｅｒｏ＿ｃｎｔ）を計算して、ｚｅｒｏ＿ｃｎｔに基づいて残差を復号化し、そして、復号化フレームワーク２００は、復号化された残差値に基づいて逆量子化を行い、逆量子化された残差値を現在点の予測値と加算して、点群全体の復号化が完了するまで当該点群の再構成値を得ることができる。現在点は、後続のＬＯＤにおける点に最も隣接する点として使用され、現在点の再構成値を利用して、後続の点の属性情報を予測する。

【0080】

上記の図２から分かるように、機能面において点群エンコーダ２００は、主に、位置符号化モジュールと属性符号化モジュールの２つの部分を含み、ここで、位置符号化モジュールは、点群の位置情報を符号化して、幾何学的ビットストリームを形成するように構成され、属性符号化モジュールは、点群の属性情報を符号化して、属性ビットストリームを形成するように構成される。本願は、主に、属性情報の符号化に関し、以下では、図４を参照して、本願に関わる点群エンコーダにおける属性符号化モジュールについて紹介する。

【0081】

図４は、本願の実施例に関わる属性符号化モジュール４００の部分的なブロック図であり、当該属性符号化モジュール４００は、上記の図２に示す点群エンコーダ２００における、属性情報符号化を実現するように構成されたユニットとして理解できる。図４に示すように、当該属性符号化モジュール４００は、前処理ユニット４１０、残差ユニット４２０、量子化ユニット４３０、予測ユニット４４０、逆量子化ユニット４５０、再構成ユニット４６０、フィルタリングユニット４７０、復号化バッファユニット４８０及び符号化ユニット４９０を含む。説明すべきこととして、属性符号化モジュール４００は更に、より多い、少ない又は異なる機能コンポーネントを含み得る。

【0082】

いくつかの実施例において、前処理ユニット４１０は、図２に示す色空間転換ユニット２１０、属性変換ユニット２１１を含み得る。

【0083】

いくつかの実施例において、量子化ユニット４３０は、上記の図２における量子化係数ユニット２１５として理解でき、符号化ユニット４９０は、上記の図２における第２算術符号化ユニット２１６として理解できる。

【0084】

いくつかの実施例において、予測ユニット４４０は、図２に示すＲＡＨＴ ２１２、予測変化ユニット２１３及びリフティング変化ユニット２１４を含み得る。予測ユニット４４０は、具体的に、点の属性情報の予測値を得るために、点群における点の位置情報の再構成情報を取得し、点の位置情報の再構成情報に基づいて、ＲＡＨＴ ２１２、予測変化ユニット２１３及びリフティング変化ユニット２１４のうちの任意の１つを選択して点群における点の属性情報を予測するように構成される。

【0085】

残差ユニット４２０は、点群における点の属性情報の元の値と属性情報の再構成値に基づいて、点群における点の属性情報の残差値を得ることができ、例えば、点の属性情報の元の値から属性情報の再構成値を減算して、点の属性情報の残差値を得る。

【0086】

量子化ユニット４３０は、属性情報の残差値を量子化することができ、具体的には、量子化ユニット４３０は、点群に関連する量子化パラメータ（ＱＰ）値に基づいて点の属性情報の残差値を量子化する。点群エンコーダは、点群に関連するＱＰ値を調整することにより、点に適用される量子化度を調整することができる。

【0087】

逆量子化ユニット４５０は、量子化された属性情報の残差値をそれぞれ逆量子化して、量子化された属性情報の残差値から属性情報の残差値を再構成することができる。

【0088】

再構成ユニット４６０は、再構成された属性情報の残差値を予測ユニット４４０によって生成された予測値に加算して、点群における点の属性情報の再構成値を生成することができる。

【0089】

フィルタリングユニット４７０は、再構成動作におけるノイズを除去又は低減することができる。

【0090】

復号化バッファユニット４８０は、点群における点の属性情報の再構成値を記憶することができる。予測ユニット４４０は、点の属性情報の再構成値を使用して、他の点の属性情報を予測することができる。

【0091】

上記の図３から分かるように、機能面において点群デコーダ３００は、主に、位置復号化モジュールと属性復号化モジュールの２つの部分を含み、ここで、位置復号化モジュールは、点群の幾何学的ビットストリームを復号化して、点の位置情報を得るように構成され、属性復号化モジュールは、点群の属性ビットストリームを復号化して、点の属性情報を得るように構成される。以下では、図５を参照して、本願に関わる点群デコーダにおける属性復号化モジュールについて紹介する。

【0092】

図５は、本願の実施例に関わる属性復号化モジュール５００の部分的なブロック図であり、当該属性復号化モジュール５００は、上記の図３に示す点群デコーダ３００における、属性ビットストリーム復号化を実現するように構成されたユニットとして理解できる。図５に示すように、当該属性復号化モジュール５００は、復号化ユニット５１０、予測ユニット５２０、逆量子化ユニット５３０、再構成ユニット５４０、フィルタリングユニット５５０及び復号化バッファユニット５６０を含む。説明すべきこととして、属性復号化モジュール５００は、より多い、少ない又は異なる機能コンポーネントを含み得る。

【0093】

属性復号化モジュール５００は、属性ビットストリームを受信することができる。復号化ユニット５１０は、属性ビットストリームを解析することにより、属性ビットストリームから構文要素を抽出することができる。属性ビットストリームを解析する一部として、復号化ユニット５１０は、属性ビットストリームにおける符号化された構文要素を解析することができる。予測ユニット５２０、逆量子化ユニット５３０、再構成ユニット５４０及びフィルタリングユニット５５０は、属性ビットストリームから抽出された構文要素に基づいて属性情報を復号化することができる。

【0094】

いくつかの実施例において、予測ユニット５２０は、ビットストリームから解析された１つ又は複数の構文要素に基づいて点の予測モードを決定し、決定された予測モードを使用して点の属性情報を予測することができる。

【0095】

逆量子化ユニット５３０は、点群における点に関連する量子化された属性情報の残差値を逆量子化（即ち、脱量子化）し、点の属性情報の残差値を得ることができる。逆量子化ユニット５３０は、点群に関連するＱＰ値を使用して量子化度を決定することができる。

【0096】

再構成ユニット５４０は、点群における点の属性情報の残差値及び点群における点の属性情報の予測値を使用して、点群における点の属性情報を再構成する。例えば、再構成ユニット５４０は、点群における点の属性情報の残差値を点の属性情報の予測値に加算し、点の属性情報の再構成値を得ることができる。

【0097】

フィルタリングユニット５５０は、再構成動作におけるノイズを除去又は低減することができる。

【0098】

属性復号化モジュール５００は、点群における点の属性情報の再構成値を復号化バッファユニット５６０に記憶することができる。属性復号化モジュール５００は、復号化バッファユニット５６０における属性情報の再構成値を基準点として後続の予測に使用するか、又は、属性情報の再構成値を表示装置に伝送して表示することができる。

【0099】

点群の属性情報の符号化／復号化の基本的なプロセスは、以下の通りである。符号化端において、点群データの属性情報に対して前処理を行い、点群における点の属性情報の元の値を得る。予測ユニット４１０は、点群における点の位置情報の再構成値に基づいて、上記の３種類の予測方式の１つの予測方式を選択して、点群における点の属性情報を予測し、属性情報の予測値を得る。残差ユニット４２０は、点群における点の属性情報の元の値と属性情報の予測値に基づいて、属性情報の残差値を計算することができ、つまり、点群における点の属性情報の元の値と属性情報の予測値との差を、点群における点の属性情報の残差値として使用する。当該残差値は、量子化ユニット４３０によって量子化され、人目では敏感ではない情報を除去することができ、視覚的な冗長性を排除することができる。符号化ユニット４９０は、量子化ユニット４３０によって出力された量子化された属性情報の残差値を受信し、当該量子化された属性情報の残差値を符号化し、属性ビットストリームを出力することができる。

【0100】

更に、逆量子化ユニット４５０は、量子化ユニット４３０によって出力された量子化された属性情報の残差値を受信し、量子化された属性情報の残差値に対して逆量子化を行い、点群における点の属性情報の残差値を得ることもできる。再構成ユニット４６０は、逆量子化ユニット４５０によって出力された点群における点の属性情報の残差値、及び予測ユニット４１０によって出力の点群における点の属性情報の予測値を得、点群における点の属性情報の残差値を予測値と加算し、点の属性情報の再構成値を得る。点の属性情報の再構成値は、フィルタリングユニット４７０によってフィルタリングされた後復号化バッファユニット４８０にバッファリングされ、後続の他の点の予測プロセスに使用される。

【0101】

復号化端において、復号化ユニット５１０は、属性ビットストリームを解析し、点群における点の量子化された属性情報の残差値、予測情報、量子化係数などを得ることができ、予測ユニット５２０は、予測情報に基づいて、点群における点の属性情報を予測し、点の属性情報の予測値を生成する。逆量子化ユニット５３０は、属性ビットストリームから得られた量子化係数を使用し、点の量子化された属性情報の残差値に対して逆量子化を行い、点の属性情報の残差値を得る。再構成ユニット４４０は、点の属性情報の予測値を残差値と加算して点の属性情報の再構成値を得る。フィルタリングユニット５５０は、点の属性情報の再構成値をフィルタリングし、復号化された属性情報を得る。

【0102】

説明すべきこととして、符号化端で属性情報を符号化する際に決定された予測、量子化、符号化、フィルタリングなどのモード情報又はパラメータ情報などは、必要に応じて、属性ビットストリームに搬送される。復号化端は、属性ビットストリームを解析し、既存情報に基づいて解析することにより、符号化端と同じ予測、量子化、符号化、フィルタリングなどのモード情報又はパラメータ情報を決定し、それにより、符号化端によって得られた属性情報の再構成値が、復号化端によって得られた属性情報の再構成値と同じであるようにする。

【0103】

上記の記載は、Ｇ－ＰＣＣ符号化／復号化フレームワークに基づく点群エンコーダ／デコーダの基本的なプロセスであり、技術の発展に伴い、当該フレームワーク又はプロセスのいくつかのモジュール又はステップは最適化される可能性があり、本願は、当該Ｇ－ＰＣＣ符号化／復号化フレームワークに基づく点群エンコーダ／デコーダの基本的なプロセスに適用されるが、当該フレームワーク及びプロセスに限定されない。

【0104】

図６は、一実施例の符号化端での予測の概略図であり、図６に示すように、以下のステップを含む。

【0105】

ステップＳ６１において、現在点の隣接点の、色値などの属性情報の再構成値を得、隣接点の属性情報の再構成値に基づいて、隣接点の最大色差ｍａｘＤｉｆｆを計算する。

【0106】

具体的に、現在点が３つの隣接点を有し、それぞれ、点１、点２と点３であると仮定すると、ここで点１の色値は、（Ｒ１，Ｇ１，Ｂ１）であり、点２の色値は、（Ｒ２，Ｇ２，Ｂ２）であり、点３の色値は、（Ｒ３，Ｇ３，Ｂ３）である。この３つの隣接点のＲ成分、Ｇ成分とＢ成分における最大差を計算し、Ｒ、Ｇ、Ｂ成分の最大差をｍａｘＤｉｆｆとして使用する。

【0107】

例えば、以下の式（１）に基づいて、上記の３つの隣接点に対応する最大色差ｍａｘＤｉｆｆを得る。

【数1】

【0108】

ステップＳ６２において、ｍａｘＤｉｆｆを、所定の閾値ｔｈｒｅｓｈｏｌｄと比較する。

【0109】

ステップＳ６３において、ｍａｘＤｉｆｆが、ｔｈｒｅｓｈｏｌｄより小さい場合、現在点の目標予測モードが、単一予測変数モード（ｓｉｎｇｌｅ－ｐｒｅｄ）であることを決定し、加重平均方式により、現在点を予測し、例えば、上記の３つの隣接点の属性情報の再構成値の加重平均値を、現在点の属性情報の予測値として使用する。

【0110】

ステップＳ６４において、ｍａｘＤｉｆｆがｔｈｒｅｓｈｏｌｄ以上である場合、現在点の目標予測モードがマルチ予測変数モード（ｍｕｌｔｉ－ｐｒｅｄ）であることを決定する。具体的には、３つの隣接点における各隣接点の属性情報の再構成値を１つの予測変数として使用し、３つの隣接点の予測変数を得、更に、３つの隣接点の属性情報の再構成値の加重平均値を他の予測変数として使用し、加重平均予測変数とし、図６内のテーブルに示す３＋１個の予測変数を得、各予測変数にインデックスを設定する。

【0111】

ステップＳ６５において、３＋１個の予測変数における各予測変数に対応するスコアを計算し、例えばレート歪み最適化（ＲＤＯ：Ｒａｔｅ Ｄｉｓｔｏｒｔｉｏｎ Ｏｐｔｉｍｉｚａｔｉｏｎ）技術を使用して、３＋１個の予測変数における各予測変数に対応するＲＤＯ値を計算する。

【0112】

ステップＳ６６において、最小スコアの予測変数を、現在点の最適な予測変数として決定し、最適な予測変数の情報に対してエントロピ符号化を行う。

【0113】

図７は、一実施例の復号化端での予測の概略図であり、図７に示すように、以下のステップを含む。

【0114】

ステップＳ７１において、ビットストリームを復号化し、現在点の隣接点の属性情報を得、隣接点の属性情報を復号化し、隣接点の属性情報の再構成値を得、隣接点の属性情報の再構成値に基づいて、隣接点の最大色差ｍａｘＤｉｆｆを計算し、具体的には、上記の図６におけるステップ２を参照されたい。

【0115】

ステップＳ７２において、ｍａｘＤｉｆｆを、所定の閾値ｔｈｒｅｓｈｏｌｄと比較する。

【0116】

ステップＳ７３において、ｍａｘＤｉｆｆが、ｔｈｒｅｓｈｏｌｄより小さい場合、現在点の目標予測モードが、単一予測変数モード（ｓｉｎｇｌｅ－ｐｒｅｄ）であることを決定し、加重平均方式により、現在点を予測し、例えば、上記の３つの隣接点の属性情報の再構成値の加重平均値を、現在点の属性情報の予測値として使用する。

【0117】

ステップＳ７４において、ｍａｘＤｉｆｆがｔｈｒｅｓｈｏｌｄ以上である場合、現在点の目標予測モードがマルチ予測変数モード（ｍｕｌｔｉ－ｐｒｅｄ）であることを決定する。

【0118】

ステップＳ７５において、ビットストリームを解析し、ビットストリームに含む最小スコアの予測変数の情報を得、当該予測変数の情報に対応する予測変数を現在点の予測値として使用する。

【0119】

上記の図６と図７から分かるように、現時点で、現在点の属性情報の予測値を決定する際に、現在点の隣接点の最大色差ｍａｘＤｉｆｆを計算する必要があり、ｍａｘＤｉｆｆに基づいて、現在点が単一予測変数モード（ｓｉｎｇｌｅ－ｐｒｅｄ）を採用するかマルチ予測変数モード（ｍｕｌｔｉ－ｐｒｅｄ）を採用するかを予測する。この判断プロセスは、現在点の隣接点の属性情報の再構成値に依存し、このような依存関係は、予測モードの決定プロセスと属性情報の再構成プロセスが並行して行うことができず、点群符号化／復号化の効率を低下させる。

【0120】

上記の技術的課題を解决するために、点群における点の幾何学的情報によって現在点の属性情報の予測モードを決定し、このようにして、予測モードの決定プロセスは、点群における点の属性情報の再構成プロセスから切り離され、２つのプロセスは並行して行うことができ、更に、符号化／復号化の効率を向上させる。

【0121】

以下では、具体的な実施例を組み合わせて本願の一実施例による技術的解決策について詳細に説明する。

【0122】

以下、図８を参照して符号化端について紹介する。

【0123】

図８は、本願の実施例による点群符号化方法６００の例示的なフローチャートであり、本願の実施例は、図１、図２と図４に示す点群エンコーダに適用される。図８に示すように、本願の実施例の方法は、以下のステップを含む。

【0124】

ステップＳ６０１において、点群における現在点の幾何学的情報と属性情報を取得する。

【0125】

点群は、複数の点を含み、各点は、点の幾何学的情報と点の属性情報を含み得る。ここで、点の幾何学的情報は、点の位置情報とも呼ばれ、点の位置情報は、点の三次元座標情報であってもよい。ここで、点の属性情報は、色情報及び／又は反射率などを含んでもよい。

【0126】

ここで、現在点は、点群における現在符号化対称となる１つの点として理解でき、いくつかの実施例において、現在点は、目標点とも呼ばれる。

【0127】

１つの例において、現在点の属性情報は、現在点の原属性情報であってもよい。

【0128】

他の例において、図２に示すように、点群エンコーダは、現在点の原属性情報を得た後、当該原属性情報に対して色空間転換を行い、例えば、現在点のＲＧＢ色彩空間をＹＣｂＣｒフォーマット又は他のフォーマットに変換する。色空間転換後の現在点に対して属性変換を行うことにより、属性歪みを最小化し、現在点の属性情報を得る。

【0129】

ステップＳ６０２において、現在点の幾何学的情報に基づいて、現在点のＫ（Ｋは２以上の正の整数である）個の隣接点を決定する。

【0130】

説明すべきこととして、点群エンコーダによる点群における点の幾何学的情報の符号化が完了した後、点群における点の属性情報を符号化する。図２を参照すると、幾何学的情報の符号化プロセスにおいて、第１算術符号化ユニット２０５は、八分木ユニット２０３によって処理された点の幾何学的情報を符号化して幾何学的ビットストリームを形成し、幾何学的再構成ユニット２０４は、八分木ユニット２０３によって処理された点の幾何学的情報を再構成し、幾何学的情報の再構成値を得る。

【0131】

いくつかの実施例において、現在点の幾何学的情報の再構成値に基づいて、点群における符号化済みの点から現在点のＫ個の隣接点を取得する。

【0132】

例えば、点群における点の幾何学的情報（即ち、幾何学的座標）をモートンコードに転換し、具体的には、点群における点の幾何学的情報（ｘ，ｙ，ｚ）に１つの固定値（ｊ１，ｊ２，ｊ３）を加算して、新しい座標（ｘ＋ｊ１，ｙ＋ｊ２，ｚ＋ｊ３）で点のモートンコードを生成する。点のモートンコードに応じて点群における点をソートし、点群のモートン順序を得る。点群のモートン順序に基づいて、点群における符号化済みの点から現在点のＫ個の隣接点を取得し、ここで、Ｋは、２以上の正の整数である。

【0133】

ステップＳ６０３において、現在点の幾何学的情報とＫ個の隣接点の幾何学的情報に基づいて、現在点の属性情報の目標予測モードを決定する。

【0134】

点群における点の属性情報の予測モードは、マルチ予測変数モード（ｍｕｌｔｉ－ｐｒｅｄ）と単一予測変数モード（ｓｉｎｇｌｅ－ｐｒｅｄ）を含む。

【0135】

ここで、マルチ予測変数モード（ｍｕｌｔｉ－ｐｒｅｄ）は、Ｋ＋１種類の予測変数を含み、ここでＫは、現在点の隣接点の数であり、Ｋ個の隣接点における各隣接点の属性情報の再構成値を１つの予測変数として使用し、Ｋ種類の予測変数を得、当該予測変数は、隣接点予測変数とも呼ばれる。Ｋ個の隣接点の属性情報の再構成値の加重平均値を第Ｋ＋１種類の予測変数として使用し、当該予測変数は、加重平均予測変数とも呼ばれることができる。

【0136】

単一予測変数モードは、１種類の予測変数、即ち、Ｋ個の隣接点の属性情報の再構成値の加重平均値によって形成された加重平均予測変数を含む。

【0137】

本願は、現在点の幾何学的情報とＫ個の隣接点の幾何学的情報を用いて、現在点の属性情報の目標予測モードが、マルチ予測変数モード（ｍｕｌｔｉ－ｐｒｅｄ）であるか単一予測変数モード（ｓｉｎｇｌｅ－ｐｒｅｄ）であるかを決定する。

【0138】

いくつかの実施例において、上記のＳ６０３は、Ｓ６０３－Ａ１とＳ６０３－Ａ２を含む。

【0139】

ステップＳ６０３－Ａ１において、現在点の幾何学的情報とＫ個の隣接点の幾何学的情報に基づいて、Ｋ個の隣接点からなる隣接点セットと現在点との間の第１距離を決定する。

【0140】

ステップＳ６０３－Ａ２において、第１距離に基づいて、現在点の属性情報の目標予測モードを決定する。

【0141】

現在点と隣接点との距離が遠い場合、単一予測変数モード（ｓｉｎｇｌｅ－ｐｒｅｄ）を採用して現在点の属性情報を予測すると、精度が低いため、本願は、現在点とＫ個の隣接点からなる隣接点セットと、現在点との間の第１距離を計算し、当該第１距離のサイズに基づいて、現在点の属性情報の目標予測モードを決定することにより、現在点の属性情報の目標予測モードを正確に決定し、現在点を正確に予測することができる。更に、本願は、Ｋ個の隣接点からなる隣接点セットと現在点との間の第１距離を用いて現在点の属性情報の予測モードを決定し、このようにして、予測モードの決定プロセスは、点群における点の属性情報の再構成プロセスから切り離され、２つのプロセスは並行して行うことができ、更に、符号化／復号化の効率を向上させる。

【0142】

上記のＳ６０３－Ａ１においてＫ個の隣接点からなる隣接点セットと現在点との間の第１距離を決定する方式は、以下のいくつかの方式を含むが、これに限定されない。

【0143】

方式一では、Ｋ個の隣接点の幾何学的情報に基づいて、隣接点セットの幾何学的セントロイドの幾何学的情報を決定し、現在点の幾何学的情報と幾何学的セントロイドの幾何学的情報に基づいて、現在点と幾何学的セントロイドとの間の第２距離を決定し、第２距離に基づいて、第１距離を決定し、例えば、第２距離を第１距離として使用し、又は第２距離に対して対応する演算（例えば丸め演算）を行い、演算結果を第１距離として使用する。

【0144】

【数2】

【0145】

現在点Ｐ０の幾何学的情報はが（ｘ，ｙ，ｚ）であると仮定すると、現在点Ｐ０の幾何学的情報と幾何学的セントロイドＣの幾何学的情報に基づいて、現在点Ｐ０と幾何学的セントロイドＣとの間の第２距離を決定する。

【0146】

【数3】

【0147】

例えば、エンコーダは、以下のプログラムを実行して、現在点Ｐ０と幾何学的セントロイドＣとの間のユークリッド距離を得る。

【0148】

【0149】

【数4】

【0150】

方式二では、Ｋ個の隣接点における各隣接点に対して、当該隣接点の幾何学的情報と現在点の幾何学的情報に基づいて、当該隣接点と現在点との間の第３距離を決定し、Ｋ個の隣接点における各隣接点と現在点との間の第３距離の平均値を、第１距離として使用する。

【0151】

具体的に、現在点Ｐ０の幾何学的情報が（ｘ，ｙ，ｚ）であると仮定すると、以下の式（５）に基づいて、Ｋ個の隣接点からなる隣接点セットと現在点との間の第１距離を決定する。

【数5】

【0152】

ここで、（ｘ_ｉ，ｙ_ｉ，ｚ_ｉ）は、Ｋ個の隣接点におけるｉ番目の隣接点の幾何学的情報である。

【0153】

上記の方式に基づいて現在点と隣接点セットとの間の第１距離を決定した後、上記のＳ６０３－Ａ２を実行し、第１距離に基づいて、現在点の属性情報の目標予測モードを決定する。

【0154】

いくつかの実施例において、上記のＳ６０３－Ａ２は、以下のＳ６０３－Ａ２１とＳ６０３－Ａ２２を含む。

【0155】

ステップＳ６０３－Ａ２１において、第１距離が第１数値以上である場合、目標予測モードをマルチ予測変数モードとして決定する。

【0156】

ステップＳ６０３－Ａ２２において、第１距離が、第１数値より小さい場合、目標予測モードを単一予測変数モードとして決定する。

【0157】

本願において、第１距離が第１数値以上である場合、現在点と隣接点との距離が遠いことを示し、この場合、マルチ予測変数モードを採用して現在点の属性情報を予測することにより、予測精度を向上させることができる。第１距離が第１数値より小さい場合、現在点と隣接点との距離が近いことを示し、単一予測変数モードを採用して現在点の属性情報を予測することができ、その予測プロセスは簡単である。

【0158】

１つの可能な実施形態において、上記の第１数値は、所定の閾値である。

【0159】

１つの可能な実施形態において、点群エンコーダは、以下のステップＡないしステップＣを実行することにより、第１数値を決定する。

【0160】

ステップＡにおいて、点群における点の幾何学的情報に基づいて、点群のバウンディングボックス（ｂｏｕｎｄｉｎｇ ｂｏｘ）を得、当該バウンディングボックスは、点群を囲むために使用される。例えば、バウンディングボックスは、点群を囲む立方体として理解でき、ここで、バウンディングボックスの長さ、幅、高さはそれぞれ、点群における点のＸＹＺ座標軸上の最大値と最小値との差である。例えば、バウンディングボックスの長さは、点群における点のＸ軸上の最大値と最小値との差であり、バウンディングボックスの幅は、点群における点のＹ軸上の最大値と最小値との差であり、バウンディングボックスの高さは、点群における点のＺ軸上の最大値と最小値との差である。つまり、バウンディングボックスは、点群を囲む最小の立方体として理解でき、バウンディングボックスの長さ幅高さを、バウンディングボックスの３辺とする。

【0161】

ステップＢにおいて、点群のバウンディングボックスの第１辺の長さを取得する。当該第１辺は、点群のバウンディングボックスの任意の１つの辺の長さであってもよく、例えば、第１辺は、バウンディングボックスの最短の辺であるか、又はバウンディングボックスの最長の辺であってもよい。

【0162】

ステップＣにおいて、第１辺の長さに基づいて、第１数値を決定する。

【0163】

上記のステップＣにおける第１辺の長さに基づいて、第１数値を決定する方式は、以下のいくつかを含むが、これに限定されない。

【0164】

方式一では、第１辺の長さと所定値の比率を、第１数値として決定し、当該所定値は、実際の必要匂い時手決定することができる。

【0165】

方式二では、上記のステップＣは、以下のステップＣ１とステップＣ２を含む。

【0166】

ステップＣ１において、量子化パラメータ（ＱＰ）を取得する。

【0167】

ステップＣ２において、ＱＰと第１辺の長さに基づいて、第１数値を決定する。

【0168】

量子化パラメータＱＰは、現在点の目標予測モードの選択と相関があるため、例えば、ＱＰ値が大きい場合、マルチ予測変数モードを使用して現在点に対して属性予測すると、その予測効果が悪く、この場合、通常、単一予測変数モードを使用して、現在点の属性情報を予測する。これに基づいて、本願は、ＱＰと第１辺の長さを用いて、第１数値を決定し、決定された第１数値がＱＰと相関があるようにし、このようにして、後続で第１数値に基づいて現在点の目標予測モードを決定する際に、ＱＰの影響を考慮して、目標予測モードの決定精度を向上させることができる。

【0169】

上記のステップＣ２におけるＱＰと第１辺の長さに基づいて、第１数値を決定する方式は、以下のいくつかを含むが、これに限定されない。

【0170】

最初の方式において、第１辺の長さとＱＰの比率を、第１数値として使用する。

【0171】

例えば、以下の式（６）に基づいて、第１数値を決定する。

【数6】

【0172】

【0173】

２番目の方式において、第１辺の長さと第１所定値の第１比率を得、ＱＰと第２所定値の第２比率を得、第１比率と第２比率に基づいて、第１数値を決定する。例えば、第１比率を、第２比率を丸めた桁数だけ左にシフトし、第１数値を得る。

【0174】

１つの例において、以下の式（７）に基づいて、第１数値を決定する。

【数7】

【0175】

【0176】

他の例において、以下の式（８）に基づいて、第１数値を決定する。

【数8】

【0177】

ここで、２^Ｔ３は、第１所定値Ｔ１と等しく、例えば、Ｔ１が６４であると、Ｔ３は６であり、「＞＞」は、右にシフトすることであり、ここで、１桁右へシフトすることは、２で除算することと同じである。

【0178】

選択的に、上記の第１所定値Ｔ１は、第２所定値Ｔ２より大きい。

【0179】

選択的に、第２所定値Ｔ２＝６である。

【0180】

選択的に、第１辺が、バウンディングボックスの最短の辺である場合、第１所定値は６４である。

【0181】

選択的に、第１辺が、バウンディングボックスの最長の辺である場合、第１所定値は１２８である。

【0182】

本願は、上記の方法を用いて第１数値を決定した後、当該第１数値を、現在点と隣接点セットとの間の第１距離と比較し、第１距離が当該第１数値以上である場合、現在点の目標予測モードをマルチ予測変数モードとして決定し、第１距離が、第１数値より小さい場合、現在点の目標予測モードを単一予測変数モードとして決定する。続いて、以下のＳ６０４を実行する。

【0183】

ステップＳ６０４において、目標予測モードを使用して現在点の属性情報を予測し、現在点の属性情報の予測値を得る。

【0184】

ステップＳ６０５において、現在点の属性情報の予測値に基づいて、現在点の属性情報の残差値を得る。例えば、現在点の属性情報の元の値と予測値との差を、現在点の属性情報の残差値として使用する。

【0185】

ステップＳ６０６において、現在点の属性情報の残差値を符号化し、点群ビットストリームを得る。

【0186】

上記のＳ６０４は、以下の２つの状況を含む。

【0187】

状況１において、上記の決定された現在点の目標予測モードが、マルチ予測変数モードである場合、上記のＳ６０４は、以下のＳ６０４－Ａ１ないしＳ６０４－Ａ５を含む。

【0188】

ステップＳ６０４－Ａ１において、Ｋ個の隣接点の属性情報の再構成値を取得する。

【0189】

ステップＳ６０４－Ａ２において、Ｋ個の隣接点の属性情報の再構成値をＫ個の予測変数として使用する。

【0190】

ステップＳ６０４－Ａ３において、Ｋ個の隣接点の属性情報の再構成値の加重平均値をＫ＋１番目の予測変数として使用する。

【0191】

ステップＳ６０４－Ａ４において、Ｋ＋１個の予測変数における各予測変数のレート歪み最適化（ＲＤＯ）値を決定する。

【0192】

ステップＳ６０４－Ａ５において、最小ＲＤＯ値の予測変数を現在点の属性情報の予測値として使用する。

【0193】

例を挙げて説明すると、Ｋ＝３、つまり、現在点が３つの隣接点を含み、それぞれＰ１、Ｐ２及びＰ３であると仮定すると、この３つの隣接点は、すべて符号化済みの点であり、図４に示すように、その属性情報の再構成値は、復号化バッファユニット４８０に格納され、点群エンコーダは、復号化バッファユニット４８０から当該３つの隣接点の属性情報の再構成値を得て、現在点の属性情報の予測に使用することができる。例えば、この３つの隣接点における各隣接点の属性情報の再構成値を現在点の１つの予測変数として使用し、３つの予測変数を得る。更に、表１に示すように、３つの隣接点の属性情報の再構成値の平均値を現在点の他の予測変数として使用することで、現在点は、合計３＋１個の予測変数を有する。

【0194】

【表1】

【0195】

表１から分かるように、上記の３＋１個の予測変数は、３＋１種類の予測モードに対応し、ここで、第１種類予測モードは、第１隣接点の属性情報の再構成値、即ち、第１予測変数に対応する予測モードであり、そのインデックスは１であり、第２種類予測モードは、第２隣接点の属性情報の再構成値、即ち、第２予測変数に対応する予測モードであり、そのインデックスは２であり、第３種類予測モードは、第３隣接点の属性情報の再構成値、即ち、第３予測変数に対応する予測モードであり、そのインデックスは３である。第４種類予測モードは、３つの隣接点の属性情報の再構成値の平均値、即ち、第４予測変数に対応する予測モードであり、そのインデックスは０である。ここで、第１隣接点は、上記の３つの隣接点のうち、現在点に最も近い隣接点であり、第２隣接点は、３つの隣接点のうち、現在点に２番目に近い１つの点であり、第３隣接点は、３つの隣接点のうち、現在点から最も離れている１つの点である。

【0196】

上記の３＋１個の予測変数における各予測変数に対応するレート歪み最適化（ＲＤＯ）値を計算し、レート歪み最適化値が最も小さい予測変数を、当該現在点の属性情報の予測値として使用し、例えば、ＲＤＯが最も小さい（最小ＲＤＯ値）予測変数は、点Ｐ２の属性情報の再構成値である。

【0197】

１つの例において、ＲＤＯ値を決定する際に、隣接点と現在点との距離（例えば、ユークリッド距離）の逆数を当該隣接点の重みとして使用することができる。

【0198】

状況１において、復号化端で現在点の予測値を迅速かつ正確に決定するために、上記の決定された最小ＲＤＯ値の予測変数に対応する予測モード情報を点群ビットストリームに搬送することにより、復号化端に、点群ビットストリームから当該現在点に対応する予測モード情報を直接解析させ、当該予測モード情報が指示する予測変数を使用して現在点の予測値を決定することができる。例えば、上記の決定された最小ＲＤＯ値の予測変数は、点Ｐ２の属性情報の再構成値であり、それの対応するインデックスは２であり、インデックス２を点群ビットストリームに搬送することができる。復号化端は、点群ビットストリームからインデックス２を直接解析し、インデックス２に対応する点Ｐ２の属性情報の再構成値を使用して、現在点の属性情報を予測することができ、例えば、点Ｐ２の属性情報の再構成値を、現在点の属性情報の予測値として使用する。

【0199】

状況２において、現在点の目標予測モードが単一予測変数モードである場合、上記のＳ６０４は、以下のＳ６０４－Ｂ１とＳ６０４－Ｂ２を含む。

【0200】

ステップＳ６０４－Ｂ１において、Ｋ個の隣接点の属性情報の再構成値を取得する。

【0201】

ステップＳ６０４－Ｂ２において、Ｋ個の隣接点の属性情報の再構成値の加重平均値を、現在点の属性情報の予測値として使用する。

【0202】

例を挙げて説明すると、Ｋ＝３、即ち、現在点が３つの隣接点を含み、それぞれＰ１、Ｐ２及びＰ３であると仮定すると、この３つの点の属性情報の再構成値を得、この３つの隣接点の属性情報の再構成値の加重平均値を、現在点の属性情報の予測値として使用する。

【0203】

１つの例において、再構成値の加重平均値を決定する際に、隣接点と現在点との距離（例えば、ユークリッド距離）の逆数を当該隣接点の重みとして使用することができる。

【0204】

現在点の目標予測モードが単一予測変数モードである場合、表２に示すように、予測変数は、加重平均値を含み、その対応するインデックスは空白であってもよい。

【0205】

【表2】

【0206】

つまり、現在点の目標予測モードが単一予測変数モードである場合、点群ビットストリームに現在点に対応する予測モード情報を搬送しなくてもよい。このように、復号化端で点群ビットストリームから現在点に対応する予測モード情報を解析できない場合、符号化端における現在点の目標予測モードがデフォルトで単一予測変数モードであり、更に、復号化端も単一予測変数モードを使用して現在点の属性情報を予測して、復号化端と符号化端の一致性が確保される。

【0207】

１つの具体的な実施例において、図９に示すように、符号化端の予測プロセス６００ａは、以下のステップを含む。

【0208】

ステップＳ６００－１において、現在点と、３つの隣接点によって構成された隣接点セットとの間の第１距離を計算し、説明すべきこととして、本願は、３つの隣接点を例として説明しており、現在点の隣接点数は、３つを含むが、これに限定されなく、２つ、４つ又は５個などであってもよく、本願は、これに対して限定しない。

【0209】

ステップＳ６００－２において、第１距離が第１数値以上であるか否かを判断し、第１距離が第１数値以上である場合、Ｓ６００－３を実行し、第１距離が、第１数値より小さい場合、Ｓ６００－４を実行する。

【0210】

ステップＳ６００－３において、現在点の目標予測モードがマルチ予測変数モード（Ｍｕｌｔｉ－ｐｒｅｄ）であることを決定する。

【0211】

ステップＳ６００－４において、各予測変数に対応するＲＤＯ値を計算する。具体的に、まず、インデックス０に対応する加重平均予測変数に対応するＲＯＤ値を計算し、現在のインデックスが最後のインデックスであるか否かを判断し、最後のインデックスではない場合、インデックスを循環させ、最後のインデックスまで、次のインデックスに対応する予測変数に対応するＲＯＤ値を計算する。このように、循環することにより、各予測変数に対応するＲＤＯ値を計算することができる。

【0212】

ステップＳ６００－５において、最小ＲＤＯ値の予測変数を選択して現在点の属性情報の予測値として使用し、Ｓ６００－７を実行する。

【0213】

ステップＳ６００－６において、現在点の単一予測変数モード（Ｓｉｎｇｌｅ－ｐｒｅｄ）を決定し、隣接点の属性情報の加重平均値を現在点の属性情報の予測値として使用し、Ｓ６００－７を実行する。

【0214】

ステップＳ６００－７において、終了する。

【0215】

ここで、図９に示す本願の予測プロセスを、上記の図６に示す既存技術の予測プロセスと比較して、本願は、現在点の幾何学的情報と隣接点の幾何学的情報に基づいて、現在点と隣接点セットとの間の第１距離を決定する。第１距離を第１数値と比較して、マルチ予測変数モード（Ｍｕｌｔｉ－ｐｒｅｄ）を使用するか単一予測変数モード（Ｓｉｎｇｌｅ－ｐｒｅｄ）を使用するかを判断して、現在点の属性情報を予測することにより、現在点の予測モードの選択プロセスを、点群における点の幾何学的情報に関連させ、隣接点の属性情報の再構成プロセスから切り離され、更に、予測モードの選択プロセスと属性情報の再構成プロセスは、並行して行うことができ、符号化の効率を向上させる。

【0216】

図１０は、本願の実施例による点群符号化方法７００の例示的なフローチャートであり、上記の実施例を鑑みて、図１０に示すように、本願の実施例の方法は、以下のステップを含む。

【0217】

ステップＳ７０１において、点群における現在点の幾何学的情報と属性情報を取得する。

【0218】

ステップＳ７０２において、現在点の幾何学的情報に基づいて、現在点のＫ（Ｋは２以上の正の整数である）個の隣接点を決定する。

【0219】

上記のＳ７０１とＳ７０２の具体的な実現プロセスは、上記のＳ６０１とＳ６０２の説明を参照することができ、ここでは繰り返して説明しない。

【0220】

ステップＳ７０３において、現在点の幾何学的情報とＫ個の隣接点の幾何学的情報に基づいて、Ｋ個の隣接点からなる隣接点セットと現在点との間の第１距離を決定し、具体的な実現プロセスは、上記のＳ６０３－Ａ１の関連する説明を参照し、ここでは繰り返して説明しない。

【0221】

ステップＳ７０４において、第１数値を決定し、具体的には、上記のＳ６０３－Ａ２２の説明を参照されたい。例えば、点群における点の幾何学的情報に基づいて、点群のバウンディングボックス（ｂｏｕｎｄｉｎｇ ｂｏｘ）を取得し、点群のバウンディングボックスの第１辺の長さを取得し、第１辺の長さと量子化パラメータ（ＱＰ）に基づいて、第１数値を決定する。

【0222】

説明すべきこととして、上記のＳ７０３と上記のＳ７０４の実行プロセスには優先順位がなく、Ｓ７０４は、上記のＳ７０３の前に実行してもよく、Ｓ７０３の後に実行してもよく、上記のＳ７０３同時に実行してもよく、本願は、これに対して限定しない。

【0223】

ステップＳ７０５において、第１距離が第１数値以上であるか否かを判断し、第１距離が第１数値以上である場合、Ｓ７０７を実行し、第１距離が、第１数値より小さい場合、Ｓ７０６を実行する。

【0224】

ステップＳ７０６において、第１距離が第１数値より小さい場合、Ｋ個の隣接点の属性情報の再構成値に基づいて、単一予測変数モードを使用して、現在点の属性情報を予測し、現在点の属性情報の予測値を得る。例えば、Ｋ個の隣接点の属性情報の再構成値の平均値を、現在点の属性情報の予測値として使用する。

【0225】

ステップＳ７０７において、第１距離が第１数値以上である場合、Ｋ個の隣接点の属性情報の再構成値に基づいて、マルチ予測変数モードを使用して、現在点の属性情報を予測し、現在点の属性情報の予測値を得る。例えば、Ｋ＋１個の予測変数に対応するＲＤＯ値を計算し、最小ＲＤＯ値の予測変数を現在点の属性情報の予測値として使用する。

【0226】

ステップＳ７０８において、現在点の属性情報と予測値に基づいて、現在点の属性情報の残差値を得る。

【0227】

ステップＳ７０９において、現在点の属性情報の残差値を符号化し、点群ビットストリームを得、現在点の目標予測モードがマルチ予測変数モードである場合、点群ビットストリームは、当該現在点の属性情報の残差値及び最小ＲＤＯ値の予測変数に対応する予測モード情報を含む。選択的に、当該予測モード情報は、残差値の後に位置する。

【0228】

本願の技術的効果を更に説明するために、Ｇ－ＰＣＣ参照ソフトウェアＴＭＣ１３ Ｖ１１．０上で本願の技術的解決策を実現した後、汎用テスト構成（ＣＴＣ）ＣＹテスト条件下で動画エキスパートグループ（ＭＰＥＧ）が要求する部品点群テストセット（ｃａｔ１－Ａとｃａｔ１－Ｂ）をテストし、テスト結果は、表１に示す通りである。

【0229】

【表3】

【0230】

ここで、ＣＹ＿ａｉは、テスト条件であり、幾何学的無損失、無損失に近い属性のテスト条件を示し、ｃａｔ１－Ａ点群テストセットにおける点は、色属性情報と他の属性情報、例えば反射率属性情報を含み、ｃａｔ１－Ｂ点群テストセットにおける点は、色属性情報のみを含む。ＢＤ－ＡｔｔｒＲａｔｅは、ビデオ符号化アルゴリズム性能を評価する主なパラメータの１つであり、新しいアルゴリズム（即ち、本願の技術的解決策）を用いて符号化されたビデオが、元のアルゴリズムを用いて符号化されたビデオに対して、コードレートとピーク信号対雑音比（ＰＳＮＲ：Ｐｅａｋ Ｓｉｇｎａｌ ｔｏ Ｎｏｉｓｅ Ｒａｔｉｏ）における変化を表し、つまり、同じ信号対雑音比の下で、新しいアルゴリズムと元のアルゴリズムのコードレートの変化である。表１に示すように、ｃａｔ１－Ａ点群テストセットについて、従来技術と比較して本願の技術的解決策は、輝度成分のコードレートは、１．４％だけ増加し、クロマ成分Ｃｂのコードレートは、１．４％だけ増加し、クロマ成分Ｃｒのコードレートは、１．４％だけ増加する。「平均値」は、ｃａｔ１－Ａ点群テストセットとｃａｔ１－Ｂ点群テストセットとのコードレートの変化の平均値を示す。

【0231】

上記の表１から分かるように、本願の技術的解決策は、より小さい性能歪みコストで、既存技術において予測モードの決定と属性情報の再構成を切り離すことができないという問題を解決する。

【0232】

以上では、本願の実施例に関わる点群符号化方法について説明しており、これに基づいて、以下では、復号化端ついて、本願に関わる点群復号化方法について説明する。

【0233】

図１１は、本願の実施例による点群復号化方法８００の例示的なフローチャートであり、図１１に示すように、本願の実施例の方法は、以下のステップを含む。

【0234】

ステップＳ８０１において、点群ビットストリームを復号化し、点群における現在点の幾何学的情報と属性情報を取得する。

【0235】

説明すべきこととして、点群における点の幾何学的情報の復号化を完了した後、属性情報を復号化する。幾何学的ビットストリームに対する復号化が完了した後、点群における点の幾何学的情報を得ることができる。

【0236】

点群ビットストリームは、属性ビットストリームと幾何学的ビットストリームを含み、幾何学的ビットストリームを復号化することにより、現在点の幾何学的情報を得ることができ、属性ビットストリームを復号化することにより、現在点の属性情報を得ることができる。

【0237】

ステップＳ８０２において、現在点の幾何学的情報に基づいて、現在点のＫ（Ｋは２以上の正の整数である）個の隣接点を決定する。

【0238】

具体的には、現在点の幾何学的情報に基づいて、点群における、属性情報が復号化された点から現在点に最も近いＫ個の隣接点を得ることができる。上記のＳ８０２の具体的な実現プロセスは、上記のＳ６０２の説明を参照することができ、ここでは繰り返して説明しない。

【0239】

ステップＳ８０３において、現在点の幾何学的情報とＫ個の隣接点の幾何学的情報に基づいて、現在点の属性情報の目標予測モードを決定する。

【0240】

いくつかの実施例において、上記のＳ８０３は、Ｓ８０３－Ａ１とＳ８０３－Ａ２を含む。

【0241】

ステップＳ８０３－Ａ１において、現在点の幾何学的情報とＫ個の隣接点の幾何学的情報に基づいて、Ｋ個の隣接点からなる隣接点セットと現在点との間の第１距離を決定する。

【0242】

ステップＳ８０３－Ａ２において、第１距離に基づいて、現在点の属性情報の目標予測モードを決定する。

【0243】

上記のＳ８０３－Ａ１における現在点の幾何学的情報とＫ個の隣接点の幾何学的情報に基づいて、Ｋ個の隣接点からなる隣接点セットと現在点との間の第１距離を決定方式は、以下のいくつかを含むが、これに限定されない。

【0244】

方式一では、上記のＳ８０３－Ａ１は、Ｓ８０３－Ａ１１とＳ８０３－Ａ１２を含む。

【0245】

ステップＳ８０３－Ａ１１において、Ｋ個の隣接点の幾何学的情報に基づいて、隣接点セットの幾何学的セントロイドの幾何学的情報を決定する。

【0246】

ステップＳ８０３－Ａ１２において、現在点の幾何学的情報と前記幾何学的セントロイドの幾何学的情報に基づいて、現在点と幾何学的セントロイドとの間の第２距離を決定する。

【0247】

例えば、現在点と幾何学的セントロイドとの間の第２距離は、現在点と幾何学的セントロイドとの間のユークリッド距離である。

【0248】

例えば、現在点と幾何学的セントロイドとの間の第２距離は、現在点と幾何学的セントロイドとの間のマンハッタン距離である。

【0249】

ステップＳ８０３－Ａ１３において、第２距離に基づいて、第１距離を決定する。例えば、第２距離を第１距離として使用する。

【0250】

方式二では、上記のＳ８０３－Ａ１は、Ｓ８０３－Ａ１３とＳ８０３－Ａ１４を含む。

【0251】

ステップＳ８０３－Ａ１３において、Ｋ個の隣接点における各隣接点に対して、隣接点の幾何学的情報及び現在点の幾何学的情報に基づいて、隣接点と現在点との間の第３距離を決定する。

【0252】

ステップＳ８０３－Ａ１４において、Ｋ個の隣接点における各隣接点と現在点との間の第３距離の平均値を、第１距離として使用する。

【0253】

いくつかの実施例において、上記のＳ８０３－Ａ２は、以下のＳ８０３－Ａ２１とＳ８０３－Ａ２２を含む。

【0254】

ステップＳ８０３－Ａ２１において、第１距離が第１数値以上である場合、目標予測モードをマルチ予測変数モードとして決定する。

【0255】

ステップＳ８０３－Ａ２２において、第１距離が第１数値より小さい場合、目標予測モードを単一予測変数モードとして決定する。

【0256】

１つの例において、上記の第１数値は、所定値である。

【0257】

他の例において、点群デコーダは、以下のステップＤ１ないしステップＤ４を実行し、第１数値を決定する。

【0258】

ステップＤ１において、点群ビットストリームを復号化し、点群における点の幾何学的情報を取得し、具体的には、点群の幾何学的ビットストリームを復号化し、点群における点の幾何学的情報を得る。

【0259】

ステップＤ２において、点群における点の幾何学的情報に基づいて、点群のバウンディングボックスを取得し、当該バウンディングボックスは、当該点群を囲むために使用され、例えば、バウンディングボックスは、当該点群を囲む最小の立方体として理解できる。

【0260】

ステップＤ３において、点群のバウンディングボックスの第１辺の長さを取得し、ここで、第１辺は、バウンディングボックスの任意の１つの辺であり、例えば、バウンディングボックスの最短の辺であってもよく、バウンディングボックスの最長の辺であってもよい。

【0261】

ステップＤ４において、第１辺の長さに基づいて、第１数値を決定する。

【0262】

いくつかの実施例において、上記のステップＤ４における第１辺の長さに基づいて、第１数値を決定することは、以下のステップＤ４１とステップＤ４２を含む。

【0263】

ステップＤ４１において、点群ビットストリームを復号化し、量子化パラメータ（ＱＰ）を取得する。説明すべきこととして、符号化端は、ＱＰを属性パラメータセットに符号化し、当該パラメータセットは、点群ビットストリーム内に符号化され、復号化端は、属性パラメータセットを復号化することによりＱＰを取得する。

【0264】

ステップＤ４２において、ＱＰと第１辺の長さに基づいて、第１数値を決定する。

【0265】

上記のステップＤ４２におけるＱＰと第１辺の長さに基づいて、第１数値を決定する方式は、以下のいくつかを含むが、これに限定されない。

【0266】

方式一、第１辺の長さとＱＰの比率を、第１数値として使用する。

【0267】

方式二、第１辺の長さと第１所定値の第１比率を得、ＱＰと第２所定値の第２比率を得、第１比率と第２比率に基づいて、第１数値を決定する。例えば、第１比率を、第２比率を丸めた桁数だけ左にシフトし、第１数値を得る。

【0268】

１つの例において、以下の式に基づいて、第１数値を決定する。

【数9】

【0269】

【0270】

１つの例において、以下の式に基づいて、第１数値を決定する。

【数10】

【0271】

ここで、２^Ｔ３は、第１所定値Ｔ１と等しい。

【0272】

選択的に、第１所定値Ｔ１は、第２所定値Ｔ２より大きい。

【0273】

選択的に、第２所定値Ｔ２＝６である。

【0274】

選択的に、第１辺が、バウンディングボックスの最短の辺である場合、第１所定値は６４である。

【0275】

選択的に、第１辺が、バウンディングボックスの最長の辺である場合、第１所定値は１２８である。

【0276】

ステップＳ８０４において、目標予測モードを使用して現在点の属性情報を予測し、現在点の属性情報の予測値を得る。

【0277】

本願において、現在点の目標予測モードをマルチ予測変数モードとして決定した場合、点群ビットストリームから現在点に対応する予測モード情報を解析する。現在点の目標予測モードを単一予測変数モードとして決定した場合、点群ビットストリームから現在点に対応する予測モード情報を解析せず、デフォルトで単一予測変数モードを使用して現在点の属性情報の予測値を予測する。具体的には、以下の２つの状況を含む。

【0278】

状況１において、目標予測モードがマルチ予測変数モードである場合、上記のＳ８０４は、以下のＳ８０４－Ａ１ないしＳ８０４－Ａ３を含む。

【0279】

ステップＳ８０４－Ａ１において、点群ビットストリームを復号化し、現在点の属性情報の予測モード情報を得る。

【0280】

ステップＳ８０４－Ａ２において、Ｋ個の隣接点における予測モード情報に対応する目標隣接点の属性情報の再構成値を取得する。

【0281】

ステップＳ８０４－Ａ３において、目標隣接点の属性情報の再構成値を、現在点の属性情報の予測値として使用する。

【0282】

上記の符号化端の技術的解決策から分かるように、現在点の目標予測モードをマルチ予測変数モードとして決定した場合、ＲＯＤ値が最も小さい予測変数に対応する予測モード情報を属性ビットストリームに搬送して復号化端に送信する。

【0283】

復号化端は、まず、点群の幾何学的ビットストリームを解析し、点群における各点の幾何学的情報を得、点群における点の幾何学的情報に基づいて、現在点に最も近いＫ個の隣接点を取得する。Ｋ個の隣接点の幾何学的情報と現在点の幾何学的情報に基づいて、現在点と、Ｋ個の隣接点からなる隣接点セットとの間の第１距離を取得する。第１距離が第１数値以上である場合、現在点の目標予測モードをマルチ予測変数モードとして決定し、この場合、復号化端は、点群の属性ビットストリームを復号化し、属性ビットストリームに搬送される現在点の属性情報の予測モード情報を得、当該予測モード情報は、上記の表１におけるインデックス値であってもよく、例えば、予測モード情報に含まれるインデックス値が２であると、符号化端は、第２隣接点Ｐ２の属性情報の再構成値を現在点の属性情報の予測値として使用し、説明の便宜上、ここでは、第２隣接点Ｐ２を目標隣接点とする。これに基づいて、復号化端は、復号化された点群から当該予測モード情報に対応する目標隣接点Ｐ２の属性情報の再構成値を得、目標隣接点の属性情報の再構成値を現在点の属性情報の予測値として使用する。

【0284】

説明すべきこととして、現在点の属性情報の予測モード情報と現在点の属性情報の残差値は、共同で符号化され、例えば、予測モード情報は、残差値の後ろに位置し、このように、ビットストリームを復号化して、現在点の残差値を得る際に、現在点の予測モード情報を得ることができる。

【0285】

状況２において、目標予測モードが単一予測変数モードである場合、上記のＳ８０４は、以下のＳ８０４－Ｂ１ないしＳ８０４－Ｂ２を含む。

【0286】

ステップＳ８０４－Ｂ１において、Ｋ個の隣接点の属性情報の再構成値を取得する。

【0287】

ステップＳ８０４－Ｂ２において、Ｋ個の隣接点の属性情報の再構成値の加重平均値を、目標点の属性情報の予測値として使用する。

【0288】

上記のＫ個の隣接点は、点群における復号化された点であり、図５に示すように、復号化された点の属性情報の再構成値は、復号化バッファユニット５６０に格納され、デコーダは、復号化バッファユニット５６０からＫ個の隣接点の属性情報の再構成値を取得することができる。Ｋ個の隣接点の属性情報の再構成値の加重平均値を、目標点の属性情報の予測値として使用する。

【0289】

１つの例において、再構成値の加重平均値を決定する際に、隣接点と現在点との距離（例えば、ユークリッド距離）の逆数を当該隣接点の重みとして使用する。

【0290】

１つの具体的な実施例において、図１２に示すように、復号化端の予測プロセス８００ａは、以下のステップを含む。

【0291】

ステップＳ８００－１において、現在点と、３つの隣接点によって構成された隣接点セットとの間の第１距離を取得する。

【0292】

ステップＳ８００－２において、第１距離が第１数値以上であるか否かを判断し、第１距離が第１数値以上である場合、Ｓ８００－３を実行し、第１距離が、第１数値より小さい場合、Ｓ８００－５を実行する。

【0293】

ステップＳ８００－３において、現在点の目標予測モードがマルチ予測変数モード（Ｍｕｌｔｉ－ｐｒｅｄ）であることを決定する。

【0294】

ステップＳ８００－４において、点群ビットストリームを復号化し、現在点の属性情報の予測モード情報を得、予測モード情報に対応する目標隣接点の属性情報の再構成値を、現在点の属性情報の再構成値として使用する。

【0295】

ステップＳ８００－５において、現在点の目標予測モードが単一予測変数モード（ｓｉｎｇｌｅ－ｐｒｅｄ）であることを決定し、加重予測変数（即ち、Ｋ個の隣接点の属性情報の再構成値の加重平均値）を現在点の属性情報の再構成値として使用する。

【0296】

ここで、図１２に示す本願の予測プロセスを上記の図７に示す既存技術の予測プロセスと比較して、本願は、現在点の幾何学的情報と隣接点の幾何学的情報に基づいて、現在点と隣接点セットとの間の第１距離を決定し、第１距離を第１数値と比較して、マルチ予測変数モード（Ｍｕｌｔｉ－ｐｒｅｄ）を使用するか単一予測変数モード（ｓｉｎｇｌｅ －ｐｒｅｄ）を使用するかを判断して、現在点の属性情報を予測し、マルチ予測変数モード（Ｍｕｌｔｉ－ｐｒｅｄ）を使用すると判断した場合、点群ビットストリームから予測モード情報を得、単一予測変数モード（ｓｉｎｇｌｅ－ｐｒｅｄ）を使用すると判断した場合、点群ビットストリームから予測モード情報は得られない。このようにして、現在点の予測モードの選択プロセスを、点群における点の幾何学的情報に関連させ、隣接点の属性情報の再構成プロセスから切り離し、更に、予測モードの選択プロセスと属性情報の再構成プロセスは、並行して行うことができ、復号化の効率を向上させる。

【0297】

図１３は、本願の実施例による点群復号化方法９００の例示的なフローチャートであり、図１３に示すように、本願の実施例の方法は、以下のステップを含む。

【0298】

ステップＳ９０１において、点群ビットストリームを復号化し、点群における現在点の幾何学的情報と属性情報を取得する。

【0299】

ステップＳ９０２において、現在点の幾何学的情報に基づいて、現在点のＫ（Ｋは２以上の正の整数である）個の隣接点を決定する。

【0300】

ステップＳ９０３において、現在点の幾何学的情報とＫ個の隣接点の幾何学的情報に基づいて、Ｋ個の隣接点からなる隣接点セットと現在点との間の第１距離を決定する。

【0301】

ステップＳ９０４において、第１数値を決定する。具体的には、上記のＳ８０３－Ａ２１の説明を参照されたい。例えば、点群における点の幾何学的情報に基づいて、点群のバウンディングボックス（ｂｏｕｎｄｉｎｇ ｂｏｘ）を取得し、点群のバウンディングボックスの第１辺の長さを取得し、第１辺の長さと量子化パラメータ（ＱＰ）に基づいて、第１数値を決定する。

【0302】

説明すべきこととして、上記のＳ９０３と上記のＳ９０４の実行プロセスには優先順位がなく、Ｓ９０４は、上記のＳ９０３の前に実行してもよく、Ｓ９０３の後に実行してもよく、上記のＳ９０３同時に実行してもよく、本願は、これに対して限定しない。

【0303】

ステップＳ９０５において、第１距離が第１数値以上であるか否かを判断し、第１距離が第１数値以上である場合、Ｓ９０７を実行し、第１距離が、第１数値より小さい場合、Ｓ９０６を実行する。

【0304】

ステップＳ９０６において、第１距離が第１数値より小さい場合、Ｋ個の隣接点の属性情報の再構成値に基づいて、単一予測変数モードを使用して、現在点の属性情報を予測し、現在点の属性情報の予測値を得る。例えば、Ｋ個の隣接点の属性情報の再構成値の平均値を、現在点の属性情報の予測値として使用する。

【0305】

ステップＳ９０７において、第１距離が第１数値以上である場合、点群ビットストリームを復号化し、点群ビットストリームに搬送される現在点の属性情報予測モード情報を得る。

【0306】

ステップＳ９０８において、Ｋ個の隣接点における、予測モード情報に対応する目標隣接点の属性情報の再構成値を得、目標隣接点の属性情報の再構成値を現在点の属性情報の予測値として使用する。

【0307】

ステップＳ９０９において、点群ビットストリームを復号化し、現在点の属性情報の残差値を得、現在点の属性情報の残差値と予測値に基づいて、現在点の属性情報の再構成値を得る。例えば、現在点の属性情報の予測値を残差値と加算して、現在点の属性情報の再構成値を得る。

【0308】

理解すべきこととして、図８ないし図１３は、本願の一例に過ぎず、本願を制限するものとして理解すべきではない。

【0309】

以上では、図面を参照して、本願の好ましい実施形態について詳細に説明したが、本願は、上記の実施形態における具体的な詳細に限定されなく、本願の技術構想範囲内で、本願の技術的解決策に対して様々な単純な変形を行うことができ、このような単純な変形は、すべて本願の保護範囲に含まれる。例えば、具体的な実施形態で説明された各具体的な技術的特徴は、矛盾がない限り、任意の適切な方式で組み合わせることができ、必要ない繰り返しを回避するために、本願は、あらゆる可能な組み合わせについて特に説明しない。例えば、本願の様々な異なる実施形態間も任意に組み合わせることができ、本願の精神に違反しない限り、すべて本願で開示された内容と見なす。

【0310】

更に理解すべきこととして、本願の様々な方法実施例において、前記各プロセスの番号の大きさは実行する前後順番を意味せず、各プロセスの実行順番は、その機能と内部論理によって決定されるべきであり、本願実施例の実施プロセスに対してあらゆる制限を構成してはならないことを理解されたい。更に、本願の実施例において、「及び／又は」という用語は、単に関連付けられた対象の関連関係を説明するためのものに過ぎず、３つの関係が存在し得ることを示す。具体的に、Ａ及び／又はＢは、Ａが単独で存在する場合、ＡとＢの両方が存在する場合、Ｂが単独で存在する場合という３つの場合を示す。更に、本明細書における記号「／」は、一般的に、前後の関連付けられるオブジェクトが、「又は」という関係であることを示す。

【0311】

以上では、図８ないし図１３を参照して、本願の方法実施例を詳細に説明しており、以下では、図１４ないし図１６を参照して、本願の装置実施例を説明する。

【0312】

図１４は、本願の実施例による点群エンコーダ１０の例示的なブロック図である。

【0313】

図１４に示すように、点群エンコーダ１０は、
点群における現在点の幾何学的情報と属性情報を取得するように構成される取得ユニット１１と、
前記現在点の幾何学的情報に基づいて、前記現在点のＫ（Ｋは２以上の正の整数である）個の隣接点を決定するように構成される隣接点決定ユニット１２と、
前記現在点の幾何学的情報と前記Ｋ個の隣接点の幾何学的情報に基づいて、前記現在点の属性情報の目標予測モードを決定するように構成される予測モード決定ユニット１３と、
前記目標予測モードを使用して前記現在点の属性情報を予測し、前記現在点の属性情報の予測値を取得し、前記現在点の属性情報の予測値に基づいて、前記現在点の属性情報の残差値を得、前記現在点の属性情報の残差値を符号化し、点群ビットストリームを生成するように構成される符号化ユニット１４と、を備える。

【0314】

いくつかの実施例において、予測モード決定ユニット１３は具体的に、前記現在点の幾何学的情報と前記Ｋ個の隣接点の幾何学的情報に基づいて、前記Ｋ個の隣接点からなる隣接点セットと前記現在点との間の第１距離を決定し、前記第１距離に基づいて、前記現在点の属性情報の目標予測モードを決定するように構成される。

【0315】

いくつかの実施例において、予測モード決定ユニット１３は具体的に、前記第１距離が第１数値以上である場合、前記目標予測モードをマルチ予測変数モードとして決定し、前記第１距離が、前記第１数値より小さい場合、前記目標予測モードを単一予測変数モードとして決定するように構成される。

【0316】

いくつかの実施例において、符号化ユニット１４は具体的に、前記目標予測モードがマルチ予測変数モードである場合、前記Ｋ個の隣接点の属性情報の再構成値を取得し、前記述Ｋ個の隣接点の属性情報の再構成値をＫ個の予測変数として使用し、前記Ｋ個の隣接点の属性情報の再構成値の加重平均値をＫ＋１番目の予測変数として使用し、Ｋ＋１個の予測変数における各予測変数のレート歪み最適化ＲＤＯ値を決定し、最小ＲＤＯ値の予測変数を前記現在点の属性情報の予測値として使用するように構成される。

【0317】

いくつかの実施例において、前記点群ビットストリームは、前記最小ＲＤＯ値の予測変数に対応する予測モード情報を含む。

【0318】

いくつかの実施例において、予測モード決定ユニット１３は具体的に、前記目標予測モードが単一予測変数モードである場合、前記Ｋ個の隣接点の属性情報の再構成値を得、前記Ｋ個の隣接点の属性情報の再構成値の加重平均値を、前記現在点の属性情報の予測値として使用するように構成される。

【0319】

いくつかの実施例において、符号化ユニット１４は更に、点群における点の幾何学的情報に基づいて、前記点群のバウンディングボックスを取得し、前記バウンディングボックスは、前記点群を囲むために使用され、前記点群のバウンディングボックスの第１辺の長さを取得し、前記第１辺の長さに基づいて、前記第１数値を決定するように構成される。

【0320】

いくつかの実施例において、符号化ユニット１４は具体的に、量子化パラメータ（ＱＰ）を取得し、前記ＱＰと前記第１辺の長さに基づいて、前記第１数値を決定するように構成される。

【0321】

いくつかの実施例において、符号化ユニット１４は具体的に、前記第１辺の長さと前記ＱＰとの比率を、前記第１数値として使用するように構成される。

【0322】

いくつかの実施例において、符号化ユニット１４は具体的に、前記第１辺の長さと第１所定値の第１比率を取得し、前記ＱＰと第２所定値の第２比率を取得し、前記第１比率と前記第２比率に基づいて、前記第１数値を決定するように構成される。

【0323】

いくつかの実施例において、符号化ユニット１４は具体的に、前記第１比率を、前記第２比率を丸めた桁数だけ左にシフトし、前記第１数値を得るように構成される。

【0324】

いくつかの実施例において、符号化ユニット１４は具体的に、以下の式に基づいて、前記第１数値を決定するように構成される。

【数11】

【0325】

【0326】

選択的に、前記第１所定値Ｔ１は、前記第２所定値Ｔ２より大きい。

【0327】

選択的に、前記第２所定値Ｔ２＝６である。

【0328】

選択的に、前記第１辺が、前記バウンディングボックスの最短の辺である場合、前記第１所定値は６４である。

【0329】

選択的に、前記第１辺が、前記バウンディングボックスの最長の辺である場合、前記第１所定値は１２８である。

【0330】

いくつかの実施例において、予測モード決定ユニット１３は具体的に、前記Ｋ個の隣接点の幾何学的情報に基づいて、前記隣接点セットの幾何学的セントロイドの幾何学的情報を決定し、前記現在点の幾何学的情報と前記幾何学的セントロイドの幾何学的情報に基づいて、前記現在点と前記幾何学的セントロイドとの間の第２距離を決定し、前記第２距離に基づいて、前記第１距離を決定するように構成される。

【0331】

いくつかの実施例において、予測モード決定ユニット１３は具体的に、前記第２距離を前記第１距離として使用するように構成される。

【0332】

１つの例において、前記現在点と前記幾何学的セントロイドとの間の第２距離は、前記現在点と前記幾何学的セントロイドとの間のユークリッド距離である。

【0333】

他の例において、前記現在点と前記幾何学的セントロイドとの間の第２距離は、前記現在点と前記幾何学的セントロイドとの間のマンハッタン距離である。

【0334】

いくつかの実施例において、予測モード決定ユニット１３は具体的に、前記Ｋ個の隣接点における各隣接点に対して、前記隣接点の幾何学的情報及び前記現在点の幾何学的情報に基づいて、前記隣接点と前記現在点との間の第３距離を決定し、前記Ｋ個の隣接点における各前記隣接点と前記現在点との間の第３距離の平均値を、前記第１距離として使用するように構成される。

【0335】

装置実施例は、方法実施例と互いに対応することができ、類似する説明は、方法実施例を参照することができることを理解されたい。繰り返しを回避するために、本明細書では詳細を再度説明しない。具体的に、図１４に示す点群エンコーダ１０は、本願の実施例の方法を実行することができ、点群エンコーダ１０における各ユニットの前記及び他の動作及び／又は機能はそれぞれ、方法６００と７００などの各方法における対応するプロセスを実現するために使用され、簡潔のために、ここでは繰り返して説明しない。

【0336】

図１５は、本願の実施例による点群デコーダ２０の例示的なブロック図である。

【0337】

図１５に示すように、当該点群デコーダ２０は、
点群ビットストリームを復号化し、点群における現在点の幾何学的情報と属性情報を取得するように構成される復号化ユニット２１と、
前記現在点の幾何学的情報に基づいて、前記現在点のＫ（Ｋは２以上の正の整数である）個の隣接点を決定するように構成される隣接点決定ユニット２２と、
前記現在点の幾何学的情報と前記Ｋ個の隣接点の幾何学的情報に基づいて、前記現在点の属性情報の目標予測モードを決定するように構成される予測モード決定ユニット２３と、
前記目標予測モードを使用して前記現在点の属性情報を予測し、前記現在点の属性情報の予測値を得るように構成される解析ユニット２４と、を備えることができる。

【0338】

いくつかの実施例において、予測モード決定ユニット２３は具体的に、前記現在点の幾何学的情報と前記Ｋ個の隣接点の幾何学的情報に基づいて、前記Ｋ個の隣接点からなる隣接点セットと前記現在点との間の第１距離を決定し、前記第１距離に基づいて、前記現在点の属性情報の目標予測モードを決定するように構成される。

【0339】

いくつかの実施例において、予測モード決定ユニット２３は具体的に、前記第１距離が第１数値以上である場合、前記目標予測モードをマルチ予測変数モードとして決定し、前記第１距離が、前記第１数値より小さい場合、前記目標予測モードを単一予測変数モードとして決定するように構成される。

【0340】

いくつかの実施例において、解析ユニット２４は具体的に、前記目標予測モードがマルチ予測変数モードである場合、前記点群ビットストリームを復号化し、前記現在点の属性情報の予測モード情報を得、前記Ｋ個の隣接点における、前記予測モード情報に対応する目標隣接点の属性情報の再構成値を取得し、前記目標隣接点の属性情報の再構成値を前記現在点の属性情報の予測値として使用するように構成される。

【0341】

いくつかの実施例において、解析ユニット２４は具体的に、前記目標予測モードが単一予測変数モードである場合、前記Ｋ個の隣接点の属性情報の再構成値を得、前記Ｋ個の隣接点の属性情報の再構成値の加重平均値を、前記目標点の属性情報の予測値として使用するように構成される。

【0342】

いくつかの実施例において、解析ユニット２４は更に、前記点群ビットストリームを復号化し、点群における点の幾何学的情報を取得し、点群における点の幾何学的情報に基づいて、前記点群のバウンディングボックスを取得し、前記バウンディングボックスは、前記点群を囲むために使用され、前記点群のバウンディングボックスの第１辺の長さを取得し、前記第１辺の長さに基づいて、前記第１数値を決定するように構成される。

【0343】

いくつかの実施例において、解析ユニット２４は具体的に、前記点群ビットストリームを復号化し、量子化パラメータ（ＱＰ）を取得し、前記ＱＰと前記第１辺の長さに基づいて、前記第１数値を決定するように構成される。

【0344】

いくつかの実施例において、解析ユニット２４は具体的に、前記第１辺の長さと前記ＱＰとの比率を、前記第１数値として使用するように構成される。

【0345】

いくつかの実施例において、解析ユニット２４は具体的に、前記第１辺の長さと第１所定値の第１比率を取得し、前記ＱＰと第２所定値の第２比率を取得し、前記第１比率と前記第２比率に基づいて、前記第１数値を決定するように構成される。

【0346】

いくつかの実施例において、解析ユニット２４は具体的に、前記第１比率を、前記第２比率を丸めた桁数だけ左にシフトし、前記第１数値を得るように構成される。

【0347】

いくつかの実施例において、解析ユニット２４は具体的に、以下の式に基づいて、前記第１数値を決定するように構成される。

【数12】

【0348】

【0349】

選択的に、前記第１所定値Ｔ１は、前記第２所定値Ｔ２より大きい。

【0350】

選択的に、前記第２所定値Ｔ２＝６である。

【0351】

選択的に、前記第１辺が、前記バウンディングボックスの最短の辺である場合、前記第１所定値は６４である。

【0352】

選択的に、前記第１辺が、前記バウンディングボックスの最長の辺である場合、前記第１所定値は１２８である。

【0353】

いくつかの実施例において、予測モード決定ユニット２３は具体的に、前記Ｋ個の隣接点の幾何学的情報に基づいて、前記隣接点セットの幾何学的セントロイドの幾何学的情報を決定し、前記現在点の幾何学的情報と前記幾何学的セントロイドの幾何学的情報に基づいて、前記現在点と前記幾何学的セントロイドとの間の第２距離を決定し、前記第２距離に基づいて、前記第１距離を決定するように構成される。

【0354】

いくつかの実施例において、予測モード決定ユニット２３は具体的に、前記第２距離を前記第１距離として使用するように構成される。

【0355】

１つの例において、前記現在点と前記幾何学的セントロイドとの間の第２距離は、前記現在点と前記幾何学的セントロイドとの間のユークリッド距離である。

【0356】

他の例において、前記現在点と前記幾何学的セントロイドとの間の第２距離は、前記現在点と前記幾何学的セントロイドとの間のマンハッタン距離である。

【0357】

いくつかの実施例において、予測モード決定ユニット２３は具体的に、前記Ｋ個の隣接点における各隣接点に対して、前記隣接点の幾何学的情報及び前記現在点の幾何学的情報に基づいて、前記隣接点と前記現在点との間の第３距離を決定し、前記Ｋ個の隣接点における各前記隣接点と前記現在点との間の第３距離の平均値を、前記第１距離として使用するように構成される。

【0358】

装置実施例は、方法実施例と互いに対応することができ、類似する説明は、方法実施例を参照することができることを理解されたい。繰り返しを回避するために、本明細書では詳細を再度説明しない。具体的に、図１５に示す点群デコーダ２０は、本願の実施例の方法８００及び／又は９００を実行する対応する主体に対応することができ、点群デコーダ２０における各ユニットの前述及び他の操作及び／又は機能はそれぞれ、方法８００及び／又は９００などの各方法における対応するプロセスを実現するために使用され、簡潔のために、ここでは繰り返して説明しない。

【0359】

以上では、図面を参照して、機能ユニットの角度で本願の実施例の装置とシステムについて説明する。当該機能ユニットは、ハードウェアの形を介して実現してもよく、ソフトウェアの形の命令を介して実現してもよく、ハードウェア及びソフトウェアユニットの組み合わせを介して実現してもよいことを理解されたい。具体的に、本願の実施例における方法実施例の各ステップは、プロセッサのハードウェアの集積論理回路及び／又はソフトウェア形の命令を介して完了することができ、本願の実施例で開示される方法のステップは、ハードウェア復号プロセッサによって直接実行されてもよく、復号プロセッサ内のハードウェアとソフトウェアユニットの組み合わせによって実行されてもよい。例示的に、ソフトウェアユニットは、ランダムアクセスメモリ、フラッシュメモリ、読み取り専用メモリ、プログラマブル読み取り専用メモリ、電気的に消去可能なプログラマブルメモリ、レジスタなどの従来の記憶媒体に配置されることができる。当該記憶媒体はメモリに配置され、プロセッサは、メモリ内の情報を読み取り、そのハードウェアと組み合わせて上記の方法実施例におけるステップを完了する。

【0360】

図１６は、本願の実施例による電子機器３０の例示的なブロック図である。

【0361】

図１６に示すように、当該電子機器３０は、本願の実施例に記載の点群エンコーダであってもよく、点群デコーダであってもよく、当該電子機器３０は、
メモリ３１とプロセッサ３２とを備えることができ、当該メモリ３１は、コンピュータプログラム３４を記憶し、当該プログラムコード３４を当該プロセッサ３２に伝送する。言い換えれば、当該プロセッサ３２は、メモリ３１からコンピュータプログラム３４を呼び出して実行することにより、本願の実施例における方法を実現することができる。

【0362】

例えば、当該プロセッサ３２は、当該コンピュータプログラム３４内の命令に従って上記の方法２００におけるステップを実行することができる。

【0363】

本願のいくつかの実施例において、当該プロセッサ３２は、
汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ：Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、特定用途向け集積回路（ＡＳＩＣ：Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ：Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、又は他のプログラマブルロジックデバイス、ディスクリートゲート、又はトランジスタロジックデバイス、ディスクリートハードウェアコンポーネントなどを含んでもよいが、これらに限定されない。

【0364】

本願のいくつかの実施例において、当該メモリ３１は、
揮発性メモリ及び／又は不揮発性メモリを含んでもよいが、これらに限定されない。ここで、不揮発性メモリは、読み取り専用メモリ（ＲＯＭ：Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、プログラム可能な読み取り専用メモリ（ＰＲＯＭ：Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、消去可能なプログラマブル読み取り専用メモリ（ＥＰＲＯＭ：Ｅｒａｓａｂｌｅ ＰＲＯＭ）、電気的に消去可能なプログラマブル読み取り専用メモリ（ＥＥＰＲＯＭ：Ｅｌｅｃｔｒｉｃａｌｌｙ ＥＰＲＯＭ）、又はフラッシュメモリであり得る。揮発性メモリは、外部キャッシュとして使用される、ランダムアクセスメモリ（ＲＡＭ：Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）であり得る。例示的であるが限定的ではない例示によれば、多くの形のＲＡＭが利用可能であり、例えば、スタティックランダムアクセスメモリ（ＳＲＡＭ：Ｓｔａｔｉｃ ＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ：Ｄｙｎａｍｉｃ ＲＡＭ）、同期ダイナミックランダムアクセスメモリ（ＳＤＲＡＭ：Ｓｙｎｃｈｒｏｎｏｕｓ ＤＲＡＭ）、ダブルデータレートの同期ダイナミックランダムアクセスメモリ（ＤＤＲ ＳＤＲＡＭ：Ｄｏｕｂｌｅ Ｄａｔａ Ｒａｔｅ ＳＤＲＡＭ）、拡張型同期ダイナミックランダムアクセスメモリ（ＥＳＤＲＡＭ：Ｅｎｈａｎｃｅｄ ＳＤＲＡＭ）、同期接続ダイナミックランダムアクセスメモリ（ＳＬＤＲＡＭ：ｓｙｎｃｈ ｌｉｎｋ ＤＲＡＭ）、及びダイレクトメモリバスランダムアクセスメモリ（ＤＲ ＲＡＭ：Ｄｉｒｅｃｔ Ｒａｍｂｕｓ ＲＡＭ）などが利用可能である。

【0365】

本願のいくつかの実施例において、当該コンピュータプログラム３４は、１つ又は複数のユニットに分割されることができ、当該１つ又は複数のユニットは、当該メモリ３１に記憶され、当該プロセッサ３２によって実行されて、本願による方法を完了する。当該１つ又は複数のユニットは、特定の機能を完了できる一連のコンピュータプログラム命令セグメントであってもよく、当該命令セグメントは、当該電子機器３０における当該コンピュータプログラム３４の実行プロセスを説明するために使用される。

【0366】

図１６に示すように、当該電子機器３０は更に、
トランシーバ３３を備えることができ、当該トランシーバ３３は、当該プロセッサ３２又はメモリ３１に接続することができる。

【0367】

ここで、プロセッサ３２は、他の機器と通信するように前記トランシーバ３３を制御することができ、具体的に、他の機器に情報又はデータを送信するか、他の機器によって送信された情報又はデータを受信することができる。トランシーバ３３は、送信機及び受信機を備えることができる。トランシーバ３３は更に、アンテナを備えることができ、アンテナの数は、１つ又は複数であってもよい。

【0368】

当該電子機器３０の各構成要素は、バスシステムにより接続され、バスシステムは、データバスに加えて、電力バス、制御バス、及び状態信号バスを含む。

【0369】

図１７は、本願の実施例による点群符号化と復号化システム４０の例示的なブロック図である。

【0370】

図１７に示すように、当該点群符号化と復号化システム４０は、点群エンコーダ４１と点群デコーダ４２を備えることができ、ここで、点群エンコーダ４１は、本願の実施例に関わる点群符号化方法を実行し、点群デコーダ４２は、本願の実施例に関わる点群復号化方法を実行する。

【0371】

本願は更に、コンピュータによって実行されるとき、コンピュータに上記の方法実施例の方法を実行させるコンピュータプログラムが記憶された、コンピュータ記憶媒体を提供する。又は、本願の実施例は更に、コンピュータによって実行されるとき、コンピュータに上記の方法実施例の方法を実行させる命令を含む、コンピュータプログラム製品を提供する。

【0372】

ソフトウェアを使用して実現する場合、コンピュータプログラム製品の形で完全に又は部分的に実現することができる。当該コンピュータプログラム製品は、１つ以上のコンピュータ命令を含む。コンピュータに当該コンピュータプログラム命令をロードして実行する場合、本願実施例に記載のプロセス又は機能を全体的又は部分的に生成する。当該コンピュータは、汎用コンピュータ、専用コンピュータ、コンピュータネットワーク、又は他のプログラマブル装置であり得る。当該コンピュータ命令は、コンピュータ読み取り可能な記憶媒体に記憶され、又は１つのコンピュータ読み取り可能な記憶媒体から別のコンピュータ読み取り可能な記憶媒体に伝送することができ、例えば、当該コンピュータ命令は、有線（例えば、同軸ケーブル、光ファイバ、デジタル加入者線（ＤＳＬ：Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ））又は無線（例えば、赤外線、無線、マイクロ波等）を介して、１つのＷｅｂサイト、コンピュータ、サーバ又はデータセンタから別のＷｅｂサイト、コンピュータ、サーバ又はデータセンタに伝送することができる。当該コンピュータ読み取り可能な記憶媒体は、コンピュータがアクセス可能ないずれの利用可能な媒体であることができ、又は１つ以上の利用可能な媒体によって統合されたサーバ、データセンタなどのデータ記憶装置であることができる。前記利用可能な媒体は、磁気媒体（例えば、フロッピーディスク、ハードディスク、磁気テープ）、光学媒体（例えば、デジタル多用途ディスク（ＤＶＤ：Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ））、または半導体媒体（例えば、ソリッドステートハードディスク（ＳＳＤ：Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｉｓｋ））などであり得る。

【0373】

当業者なら自明であるが、本明細書で開示される実施例を参照して説明された各実施例のユニット及びアルゴリズムステップは、電子ハードウェア、又はコンピュータソフトウェアと電子ハードウェアの組み合わせによって実現できる。これらの機能がハードウェアの形で実行されるかソフトウェアの形で実行されるかは、技術的解決策の特定の用途及び設計上の制約条件によって異なる。専門技術者は、各特定の用途に応じて異なる方法を使用して、説明された機能を実現することができるが、このような実現は、本願の保護範囲を超えると見なすべきではない。

【0374】

本願で提供されるいくつかの実施例では、開示されたシステム、装置及び方法は、他の方法で実現できることを理解されたい。例えば、上記で説明された装置の実施例は、例示的なものに過ぎず、例えば、当該ユニットの分割は、論理機能の分割に過ぎず、実際の実現では、他の分割方式を採用することができ、例えば、複数のユニット又はコンポーネントを組み合わせるか又は別のシステムに統合してもよく、その一部の特徴を無視するか実行しなくてもよい。更に、表示又は議論された相互結合又は直接結合又は通信接続は、いくつかのインターフェースを使用して実現することができ、装置又はユニット間の間接結合又は通信接続は、電気的又は機械的な形であってもよく、他の形であってもよい。

【0375】

個別の部品として説明されるユニットは、物理的に分離されても分離されなくてもよく、ユニットとして表示される部品は、物理的ユニットであってもなくてもよい。つまり、１箇所に配置されてもよく、ネットワークユニットに分散されてもよい。実際のニーズに従って、その中の一部又はすべてのユニットを選択して、本実施例の解決策の目的を達成することができる。例えば、本願の各実施例における各機能ユニットは、１つの処理ユニットに統合されてもよく、又は各ユニットは、別々に独立した物理ユニットであってもよく、又は２つ又は２つ以上のユニットが１つのユニットに統合されてもよい。

【0376】

上記は、本願の特定の実施形態に過ぎず、本願の保護範囲はこれに限定されない。本願に開示される技術的範囲内で当業者が容易に想到し得る変更又は置換は、すべて本願の保護範囲に含まれるべきである。したがって、本願の保護範囲は、特許請求の保護範囲を基準とするべきである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【手続補正書】

【提出日】2023-12-08

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

点群符号化方法であって、
点群における現在点の幾何学的情報と属性情報を取得することと、
前記現在点の幾何学的情報に基づいて、前記現在点のＫ（Ｋは２以上の正の整数である）個の隣接点を決定することと、
前記現在点の幾何学的情報と前記Ｋ個の隣接点の幾何学的情報に基づいて、前記現在点の属性情報の目標予測モードを決定することと、
前記目標予測モードを使用して前記現在点の属性情報を予測し、前記現在点の属性情報の予測値を得ることと、
前記現在点の属性情報の予測値に基づいて、前記現在点の属性情報の残差値を得ることと、
前記現在点の属性情報の残差値を符号化し、点群ビットストリームを生成することと、を含むことを特徴とする、点群符号化方法。

【請求項2】

前記現在点の幾何学的情報と前記Ｋ個の隣接点の幾何学的情報に基づいて、前記現在点の属性情報の目標予測モードを決定することは、
前記現在点の幾何学的情報と前記Ｋ個の隣接点の幾何学的情報に基づいて、前記Ｋ個の隣接点からなる隣接点セットと前記現在点との間の第１距離を決定することと、
前記第１距離に基づいて、前記現在点の属性情報の目標予測モードを決定することと、を含むことを特徴とする、
請求項１に記載の点群符号化方法。

【請求項3】

前記目標予測モードがマルチ予測変数モードである場合、前記目標予測モードを使用して前記現在点の属性情報を予測し、前記現在点の属性情報の予測値を得ることは、
前記Ｋ個の隣接点の属性情報の再構成値を取得することと、
前記Ｋ個の隣接点の属性情報の再構成値をＫ個の予測変数として使用することと、
前記Ｋ個の隣接点の属性情報の再構成値の加重平均値をＫ＋１番目の予測変数として使用することと、
Ｋ＋１個の予測変数における各予測変数のレート歪み最適化（ＲＤＯ）値を決定することと、
最小ＲＤＯ値の予測変数を前記現在点の属性情報の予測値として使用することと、を含むことを特徴とする、
請求項１に記載の点群符号化方法。

【請求項4】

前記点群符号化方法は、
点群における点の幾何学的情報に基づいて、前記点群のバウンディングボックスを取得することであって、前記バウンディングボックスは、前記点群を囲むために使用される、ことと、
前記点群のバウンディングボックスの第１辺の長さを取得することと、
前記第１辺の長さに基づいて、目標予測モードを決定するための第１数値を決定することと、を更に含むことを特徴とする、
請求項２に記載の点群符号化方法。

【請求項5】

点群復号化方法であって、
点群ビットストリームを復号化し、点群における現在点の幾何学的情報と属性情報を取得することと、
前記現在点の幾何学的情報に基づいて、前記現在点のＫ（Ｋは２以上の正の整数である）個の隣接点を決定することと、
前記現在点の幾何学的情報と前記Ｋ個の隣接点の幾何学的情報に基づいて、前記現在点の属性情報の目標予測モードを決定することと、
前記目標予測モードを使用して前記現在点の属性情報を予測し、前記現在点の属性情報の予測値を得ることと、を含むことを特徴とする、点群復号化方法。

【請求項6】

前記現在点の幾何学的情報と前記Ｋ個の隣接点の幾何学的情報に基づいて、前記現在点の属性情報の目標予測モードを決定することは、
前記現在点の幾何学的情報と前記Ｋ個の隣接点の幾何学的情報に基づいて、前記Ｋ個の隣接点からなる隣接点セットと前記現在点との間の第１距離を決定することと、
前記第１距離に基づいて、前記現在点の属性情報の目標予測モードを決定することと、を含むことを特徴とする、
請求項５に記載の点群復号化方法。

【請求項7】

前記目標予測モードはマルチ予測変数モードであり、前記目標予測モードを使用して前記現在点の属性情報を予測し、前記現在点の属性情報の予測値を得ることは、
前記点群ビットストリームを復号化し、前記現在点の属性情報の予測モード情報を得ることと、
前記Ｋ個の隣接点における前記予測モード情報に対応する目標隣接点の属性情報の再構成値を取得することと、
前記目標隣接点の属性情報の再構成値を、前記現在点の属性情報の予測値として使用することと、を含むことを特徴とする、
請求項５に記載の点群復号化方法。

【請求項8】

前記目標予測モードは単一予測変数モードであり、前記目標予測モードを使用して前記現在点の属性情報を予測し、前記現在点の属性情報の予測値を得ることは、
前記Ｋ個の隣接点の属性情報の再構成値を取得することと、
前記Ｋ個の隣接点の属性情報の再構成値の加重平均値を、前記目標点の属性情報の予測値として使用することと、を含むことを特徴とする、
請求項５に記載の点群復号化方法。

【請求項9】

前記点群復号化方法は、
前記点群ビットストリームを復号化し、点群における点の幾何学的情報を取得することと、
点群における点の幾何学的情報に基づいて、前記点群のバウンディングボックスを取得することであって、前記バウンディングボックスは、前記点群を囲むために使用される、ことと、
前記点群のバウンディングボックスの第１辺の長さを取得することと、
前記第１辺の長さに基づいて、目標予測モードを決定するための第１数値を決定することと、を更に含むことを特徴とする、
請求項６に記載の点群復号化方法。

【請求項10】

前記第１辺の長さに基づいて、前記第１数値を決定することは、
前記点群ビットストリームを復号化し、量子化パラメータ（ＱＰ）を取得することと、
前記ＱＰと前記第１辺の長さに基づいて、前記第１数値を決定することと、を含むことを特徴とする、
請求項９に記載の点群復号化方法。

【請求項11】

前記ＱＰと前記第１辺の長さに基づいて、前記第１数値を決定することは、
前記第１辺の長さと前記ＱＰとの比率を、前記第１数値として使用することを含むことを特徴とする、
請求項１０に記載の点群復号化方法。

【請求項12】

前記ＱＰと前記第１辺の長さに基づいて、前記第１数値を決定することは、
前記第１辺の長さと第１所定値との第１比率を取得することと、
前記ＱＰと第２所定値との第２比率を取得することと、
前記第１比率と前記第２比率に基づいて、前記第１数値を決定することと、を含むことを特徴とする、
請求項１１に記載の点群復号化方法。

【請求項13】

点群エンコーダであって、
点群における現在点の幾何学的情報と属性情報を取得するように構成される取得ユニットと、
前記現在点の幾何学的情報に基づいて、前記現在点のＫ（Ｋは２以上の正の整数である）個の隣接点を決定するように構成される隣接点決定ユニットと、
前記現在点の幾何学的情報と前記Ｋ個の隣接点の幾何学的情報に基づいて、前記現在点の属性情報の目標予測モードを決定するように構成される予測モード決定ユニットと、
前記目標予測モードを使用して前記現在点の属性情報を予測し、前記現在点の属性情報の予測値を取得し、前記現在点の属性情報の予測値に基づいて、前記現在点の属性情報の残差値を得、前記現在点の属性情報の残差値を符号化し、点群ビットストリームを生成するように構成される符号化ユニットと、を備えることを特徴とする、点群エンコーダ。

【請求項14】

点群デコーダであって、
点群における現在点の幾何学的情報と属性情報を取得するように構成される復号化ユニットと、
前記現在点の幾何学的情報に基づいて、前記現在点のＫ（Ｋは２以上の正の整数である）個の隣接点を決定するように構成される隣接点決定ユニットと、
前記現在点の幾何学的情報と前記Ｋ個の隣接点の幾何学的情報に基づいて、前記現在点の属性情報の目標予測モードを決定するように構成される予測モード決定ユニットと、
前記目標予測モードを使用して前記現在点の属性情報を予測し、前記現在点の属性情報の予測値を得るように構成される復号化ユニットと、を備えることを特徴とする、点群デコーダ。

【請求項15】

コンピュータに、請求項１ないし４のいずれか一項に記載の点群符号化方法を実行させるコンピュータプログラム、又は請求項５ないし１２のいずれか一項に記載の点群復号化方法を実行させるコンピュータプログラムが記憶された、コンピュータ可読記憶媒体。

【国際調査報告】