IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ グァンドン オッポ モバイル テレコミュニケーションズ コーポレーション リミテッドの特許一覧

特表2024-505798点群符号化・復号化方法及びシステム、点群符号器並びに点群復号器
<>
  • 特表-点群符号化・復号化方法及びシステム、点群符号器並びに点群復号器 図1
  • 特表-点群符号化・復号化方法及びシステム、点群符号器並びに点群復号器 図2
  • 特表-点群符号化・復号化方法及びシステム、点群符号器並びに点群復号器 図3
  • 特表-点群符号化・復号化方法及びシステム、点群符号器並びに点群復号器 図4
  • 特表-点群符号化・復号化方法及びシステム、点群符号器並びに点群復号器 図5
  • 特表-点群符号化・復号化方法及びシステム、点群符号器並びに点群復号器 図6
  • 特表-点群符号化・復号化方法及びシステム、点群符号器並びに点群復号器 図7
  • 特表-点群符号化・復号化方法及びシステム、点群符号器並びに点群復号器 図8
  • 特表-点群符号化・復号化方法及びシステム、点群符号器並びに点群復号器 図9
  • 特表-点群符号化・復号化方法及びシステム、点群符号器並びに点群復号器 図10
  • 特表-点群符号化・復号化方法及びシステム、点群符号器並びに点群復号器 図11
  • 特表-点群符号化・復号化方法及びシステム、点群符号器並びに点群復号器 図12
  • 特表-点群符号化・復号化方法及びシステム、点群符号器並びに点群復号器 図13
  • 特表-点群符号化・復号化方法及びシステム、点群符号器並びに点群復号器 図14
  • 特表-点群符号化・復号化方法及びシステム、点群符号器並びに点群復号器 図15
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-02-08
(54)【発明の名称】点群符号化・復号化方法及びシステム、点群符号器並びに点群復号器
(51)【国際特許分類】
   H04N 19/593 20140101AFI20240201BHJP
   H04N 19/597 20140101ALI20240201BHJP
   H04N 19/70 20140101ALI20240201BHJP
【FI】
H04N19/593
H04N19/597
H04N19/70
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2023537708
(86)(22)【出願日】2020-12-22
(85)【翻訳文提出日】2023-06-20
(86)【国際出願番号】 CN2020138423
(87)【国際公開番号】W WO2022133753
(87)【国際公開日】2022-06-30
(81)【指定国・地域】
(71)【出願人】
【識別番号】516227559
【氏名又は名称】オッポ広東移動通信有限公司
【氏名又は名称原語表記】GUANGDONG OPPO MOBILE TELECOMMUNICATIONS CORP., LTD.
【住所又は居所原語表記】No. 18 Haibin Road,Wusha, Chang’an,Dongguan, Guangdong 523860 China
(74)【代理人】
【識別番号】100120031
【弁理士】
【氏名又は名称】宮嶋 学
(74)【代理人】
【識別番号】100107582
【弁理士】
【氏名又は名称】関根 毅
(74)【代理人】
【識別番号】100152205
【弁理士】
【氏名又は名称】吉田 昌司
(74)【代理人】
【識別番号】100137523
【弁理士】
【氏名又は名称】出口 智也
(72)【発明者】
【氏名】ユアン、ホイ
(72)【発明者】
【氏名】ワン、ルー
(72)【発明者】
【氏名】ワン、シアオホイ
(72)【発明者】
【氏名】リウ、チー
【テーマコード(参考)】
5C159
【Fターム(参考)】
5C159MA04
5C159MA45
5C159MC11
5C159ME11
5C159PP03
5C159RC11
5C159UA02
5C159UA05
(57)【要約】
本出願において、点群符号化・復号化方法及びシステム、点群符号器並びに点群復号器が提供される。点群における少なくとも1つの点の属性情報の残差値を可逆符号化することにより、属性情報の再構成値に対する量子化の影響を低減し、属性ビットストリームのサイズに大きな影響をもたらさずに属性情報の予測精度をさらに向上させ、属性情報の符号化効果を向上させる。
【特許請求の範囲】
【請求項1】
点群符号化方法であって、
点群における点の幾何情報及び属性情報を取得することと、
前記点群における点の幾何情報に基づいて、前記点群における点の属性情報の予測値を特定することと、
前記点群における点の属性情報の予測値に基づいて、前記点群における点の属性情報の残差値を特定することと、
第一符号化プロセスを利用して前記点群における点の属性情報の残差値を処理することと、を含み、
前記第一符号化プロセスでは、前記点群における少なくとも1つの点の属性情報の残差値を可逆符号化する、
ことを特徴とする点群符号化方法。
【請求項2】
前記第一符号化プロセスを利用して前記点群における点の属性情報の残差値を処理することは、
前記点群における少なくとも1つの点の属性情報の残差値を可逆符号化することを含む、
ことを特徴とする請求項1に記載の方法。
【請求項3】
前記少なくとも1つの点はN個の点を含み、前記Nは2の整数倍である、
ことを特徴とする請求項1に記載の方法。
【請求項4】
前記少なくとも1つの点はN個の点を含み、前記N個の点における隣接する2つの点ごとの間の間隔が等しい、
ことを特徴とする請求項1に記載の方法。
【請求項5】
前記点群における少なくとも1つの点の属性情報の残差値を可逆符号化することは、
予め設定された間隔に基づいて、前記点群における、前記予め設定された間隔を隔てた点の属性情報の残差値を可逆符号化することを含む、
ことを特徴とする請求項1に記載の方法。
【請求項6】
前記方法は、前記点群における点の幾何情報に基づいて、前記点群に対して詳細度(LOD)分割を行うことにより、前記点群の複数の詳細表現層を得ることをさらに含み、各詳細表現層に少なくとも1つの点が含まれており、
前記点群における少なくとも1つの点の属性情報の残差値を可逆符号化することは、
前記複数の詳細表現層のうちの少なくとも1つの詳細表現層における少なくとも1つの点の属性情報の残差値を可逆符号化することを含む、
ことを特徴とする請求項1に記載の方法。
【請求項7】
前記複数の詳細表現層のうちの少なくとも1つの詳細表現層における少なくとも1つの点の属性情報の残差値を可逆符号化することは、
前記複数の詳細表現層における、含まれる点の総数が第一の予め設定された値以下である少なくとも1つの第一種類の詳細表現層と、含まれる点の総数が前記第一の予め設定された値より大きい少なくとも1つの第二種類の詳細表現層とを取得することと、
前記第一種類の詳細表現層におけるすべての点の属性情報の残差値を可逆符号化することと、
前記第二種類の詳細表現層における少なくとも1つの点の属性情報の残差値を可逆符号化することと、を含む、
ことを特徴とする請求項6に記載の方法。
【請求項8】
前記第二種類の詳細表現層における少なくとも1つの点の属性情報の残差値を可逆符号化することは、
前記第二種類の詳細表現層におけるM個の点の属性情報の残差値を可逆符号化することを含み、前記Mは2の正の整数倍である、
ことを特徴とする請求項7に記載の方法。
【請求項9】
前記少なくとも1つの第二種類の詳細表現層はL個の第二種類の詳細表現層を含み、前記Lは2以上の正の整数であり、前記第二種類の詳細表現層における少なくとも1つの点の属性情報の残差値を可逆符号化することは、
P個の第二種類の詳細表現層のうちの各々における第一の数の点の属性情報の残差値を可逆符号化することと、
Q個の第二種類の詳細表現層のうちの各々における第二の数の点の属性情報の残差値を可逆符号化することと、を含み、
前記P、Qは正の整数であり、且つ前記Pと前記Qとの合計は前記L以下であり、前記P個の第二種類の詳細表現層と前記Q個の第二種類の詳細表現層は重ならず、前記第一の数と前記第二の数は異なる、
ことを特徴とする請求項7に記載の方法。
【請求項10】
前記P個の第二種類の詳細表現層は、前記L個の第二種類の詳細表現層のうちの前のP個の第二種類の詳細表現層である、
ことを特徴とする請求項9に記載の方法。
【請求項11】
前記Q個の第二種類の詳細表現層は、前記L個の第二種類の詳細表現層のうちの後のQ個の第二種類の詳細表現層である、
ことを特徴とする請求項9に記載の方法。
【請求項12】
前記P個の第二種類の詳細表現層のうちの最後の第二種類の詳細表現層は、前記Q個の第二種類の詳細表現層のうちの1番目の第二種類の詳細表現層に隣接する、
ことを特徴とする請求項9に記載の方法。
【請求項13】
前記第一の数は前記第二の数より大きい、
ことを特徴とする請求項9に記載の方法。
【請求項14】
前記第一の数は、前記第二の数の正の整数倍である、
ことを特徴とする請求項13に記載の方法。
【請求項15】
前記第一の数の点における隣接する2つの点ごとの間の間隔が等しい、
ことを特徴とする請求項9に記載の方法。
【請求項16】
前記第二の数の点における隣接する2つの点ごとの間の間隔が等しい、
ことを特徴とする請求項9に記載の方法。
【請求項17】
前記方法は、目標点の属性情報の残差値及び属性情報の予測値に基づいて、前記目標点の属性情報の再構成値を特定することをさらに含み、
前記目標点は、前記点群における、属性情報の残差値が可逆符号化される点である、
ことを特徴とする請求項1~16のいずれか一項に記載の方法。
【請求項18】
前記目標点の属性情報の残差値及び属性情報の予測値に基づいて、前記目標点の属性情報の再構成値を特定することは、
reconstructedColor=attrResidual+attrPredValueという式に基づいて、前記目標点の属性情報の再構成値を特定することを含み、
前記reconstructedColorは前記目標点の属性情報の再構成値であり、前記attrResidualは前記目標点の属性情報の残差値であり、前記attrPredValueは前記目標点の属性情報の予測値である、
ことを特徴とする請求項17に記載の方法。
【請求項19】
前記方法は、ビットストリームを生成することをさらに含み、
前記ビットストリームは第一情報を含み、第一情報は、属性情報の残差値が可逆符号化される点を指示するために用いられる、
ことを特徴とする請求項9~16のいずれか一項に記載の方法。
【請求項20】
前記第一情報は、前記属性情報の残差値が可逆符号化される点のフラグ情報を含む、
ことを特徴とする請求項19に記載の方法。
【請求項21】
前記第一情報は、前記属性情報の残差値が可逆符号化される点の数を含む、
ことを特徴とする請求項19に記載の方法。
【請求項22】
前記第一情報は、前記第一の数と、前記第二の数と、前記P個の第二種類の詳細表現層及び前記Q個の第二種類の詳細表現層の分割情報と、を含む、
ことを特徴とする請求項19に記載の方法。
【請求項23】
前記P個の第二種類の詳細表現層のうちの最後の第二種類の詳細表現層が前記Q個の第二種類の詳細表現層のうちの1番目の第二種類の詳細表現層に隣接する場合、前記分割情報は、前記Q個の第二種類の詳細表現層のうちの1番目の第二種類の詳細表現層のフラグ情報、又は、前記P個の第二種類の詳細表現層のうちの最後の第二種類の詳細表現層のフラグ情報をさらに含む、
ことを特徴とする請求項22に記載の方法。
【請求項24】
前記第一情報は、前記第二種類の詳細表現層における、属性情報の残差値が可逆符号化される1番目の点のフラグ情報をさらに含む、
ことを特徴とする請求項19に記載の方法。
【請求項25】
前記点群における少なくとも1つの点の属性情報の残差値を可逆符号化することは、
前記点群における点の属性情報の残差値を量子化するプロセスにおいて、属性情報の残差値が可逆符号化される前記少なくとも1つの点をスキップすること、又は、
前記属性情報の残差値が可逆符号化される前記少なくとも1つの点の量子化ステップサイズを1に設定すること、又は、
前記属性情報の残差値が可逆符号化される前記少なくとも1つの点の量子化パラメータ(QP)を目標値に設定すること、を含み、
前記目標値は、量子化ステップサイズが1である際の対応のQP値である、
ことを特徴とする請求項1~16のいずれか一項に記載の方法。
【請求項26】
前記点群における点の幾何情報に基づいて、前記点群における点の属性情報の予測値を特定することは、
前記点群における点の幾何情報を符号化することにより、前記点群における点の幾何情報の再構成値を得ることと、
前記点群における点の幾何情報の再構成値に基づいて、前記点群における点の属性情報の予測値を特定することと、を含む、
ことを特徴とする請求項1に記載の方法。
【請求項27】
前記点群における点の属性情報の予測値に基づいて、前記点群における点の属性情報の残差値を特定することは、
前記点群における点の属性情報のオリジナル値と属性情報の予測値との差を、前記点群における点の属性情報の残差値として特定することを含む、
ことを特徴とする請求項1に記載の方法。
【請求項28】
点群復号化方法であって、
点群のビットストリームを復号化することにより、点群における点の幾何情報を特定することと、
前記点群における点の幾何情報に基づいて、前記点群における点の属性情報の予測値を特定することと、
前記点群のビットストリームを復号化することにより、前記点群における点の属性情報の残差値を得ることと、
前記点群における点の属性情報の予測値及び残差値に基づいて、前記点群における点の属性情報の再構成値を特定することと、を含み、
前記残差値は、属性情報の残差値が可逆符号化されると特定された少なくとも1つの点の残差値を含む、
ことを特徴とする点群復号化方法。
【請求項29】
前記点群のビットストリームを復号化することにより、前記点群における点の属性情報の残差値を得ることは、
前記点群のビットストリームを復号化することにより、属性情報の残差値が可逆符号化されると特定された点を指示するために用いられる第一情報を得ることと、
前記点群のビットストリームを復号化することにより、点群における復号対象点の属性情報の残差情報を得ることと、
前記第一情報に基づいて、前記点群における復号対象点の属性情報の残差情報が可逆符号化されるか否かを特定することと、
前記復号対象点の属性情報の残差情報が可逆符号化されると特定する場合、前記復号対象点の属性情報の残差情報を前記復号対象点の属性情報の残差値とすることと、
前記復号対象点の属性情報の残差情報が非可逆符号化されると特定する場合、逆量子化後の前記復号対象点の属性情報の残差情報を前記復号対象点の属性情報の残差値とすることと、を含む、
ことを特徴とする請求項28に記載の方法。
【請求項30】
前記第一情報はNを含み、前記Nは、前記点群における、属性情報の残差値が可逆符号化されると特定された点の総数である、
ことを特徴とする請求項29に記載の方法。
【請求項31】
前記Nは2の整数倍である、
ことを特徴とする請求項30に記載の方法。
【請求項32】
前記N個の点における隣接する2つの点ごとの間の間隔が等しい、
ことを特徴とする請求項30に記載の方法。
【請求項33】
前記第一情報に基づいて、前記復号対象点の属性情報の残差情報が可逆符号化されるか否かを特定することは、
前記復号対象点が前記N個の点のうちの1つの点であると特定する場合、前記復号対象点の属性情報の残差情報が可逆符号化されると特定することを含む、
ことを特徴とする請求項32に記載の方法。
【請求項34】
前記第一情報が予め設定された間隔を含む場合、前記第一情報に基づいて、前記復号対象点の属性情報の残差情報が可逆符号化されるか否かを特定することは、
前記予め設定された間隔に基づいて、前記復号対象点と属性情報の残差値が可逆符号化されると特定された前の点との間の間隔が前記予め設定された間隔に等しいと特定する場合、前記復号対象点の属性情報の残差情報が可逆符号化されると特定することを含む、
ことを特徴とする請求項29に記載の方法。
【請求項35】
前記方法は、前記点群における点の幾何情報に基づいて、前記点群に対して詳細度(LOD)分割を行うことにより、前記点群の複数の詳細表現層を得ることをさらに含み、各詳細表現層に少なくとも1つの点が含まれている、
ことを特徴とする請求項29に記載の方法。
【請求項36】
前記第一情報が第一の予め設定された値を含む場合、前記第一情報に基づいて、前記復号対象点の属性情報の残差情報が可逆符号化されるか否かを特定することは、
前記第一の予め設定された値に基づいて、前記複数の詳細表現層における、含まれる点の総数が前記第一の予め設定された値以下である少なくとも1つの第一種類の詳細表現層と、含まれる点の総数が前記第一の予め設定された値より大きい少なくとも1つの第二種類の詳細表現層とを取得することと、
前記復号対象点が前記第一種類の詳細表現層に属する場合、前記復号対象点の属性情報の残差情報が可逆符号化されると特定することと、を含む、
ことを特徴とする請求項35に記載の方法。
【請求項37】
前記第一情報がMを含み、前記Mが、1つの前記第二種類の詳細表現層における、属性情報の残差値が可逆符号化されると特定された点の数であり、且つ前記Mが2の正の整数倍である場合、前記第一情報に基づいて、前記復号対象点の属性情報の残差情報が可逆符号化されるか否かを特定することは、
前記復号対象点が前記M個の点のうちの1つの点である場合、前記復号対象点の属性情報の残差情報が可逆符号化されると特定することと、を含む、
ことを特徴とする請求項36に記載の方法。
【請求項38】
前記少なくとも1つの第二種類の詳細表現層はL個の第二種類の詳細表現層を含み、前記Lは2以上の正の整数であり、
前記第一情報が第一の数と、第二の数と、P個の第二種類の詳細表現層及びQ個の第二種類の詳細表現層の分割情報とを含む場合、前記第一情報に基づいて、前記復号対象点の属性情報の残差情報が可逆符号化されるか否かを特定することは、
前記分割情報に基づいて、前記L個の第二種類の詳細表現層を分割することにより、前記P個の第二種類の詳細表現層及び前記Q個の第二種類の詳細表現層を得ることと、
前記復号対象点が前記P個の第二種類の詳細表現層における、属性情報の残差値が可逆符号化されると特定された第一の数の点のうちの1つの点であると特定する場合、前記復号対象点の属性情報の残差情報が可逆符号化されると特定することと、
前記復号対象点が前記Q個の第二種類の詳細表現層における、属性情報の残差値が可逆符号化されると特定された第二の数の点のうちの1つの点であると特定する場合、前記復号対象点の属性情報の残差情報が可逆符号化されると特定することと、を含み、
前記P、Qは正の整数であり、且つ前記Pと前記Qとの合計は前記L以下であり、前記P個の第二種類の詳細表現層と前記Q個の第二種類の詳細表現層は重ならず、前記第一の数と前記第二の数は異なる、
ことを特徴とする請求項36に記載の方法。
【請求項39】
前記P個の第二種類の詳細表現層は、前記L個の第二種類の詳細表現層のうちの前のP個の第二種類の詳細表現層である、
ことを特徴とする請求項38に記載の方法。
【請求項40】
前記Q個の第二種類の詳細表現層は、前記L個の第二種類の詳細表現層のうちの後のQ個の第二種類の詳細表現層である、
ことを特徴とする請求項38に記載の方法。
【請求項41】
前記P個の第二種類の詳細表現層のうちの最後の第二種類の詳細表現層は、前記Q個の第二種類の詳細表現層のうちの1番目の第二種類の詳細表現層に隣接する、
ことを特徴とする請求項38に記載の方法。
【請求項42】
前記P個の第二種類の詳細表現層のうちの最後の第二種類の詳細表現層が前記Q個の第二種類の詳細表現層のうちの1番目の第二種類の詳細表現層に隣接する場合、前記分割情報は、前記Q個の第二種類の詳細表現層のうちの1番目の第二種類の詳細表現層のフラグ情報、又は、前記P個の第二種類の詳細表現層のうちの最後の第二種類の詳細表現層のフラグ情報をさらに含む、
ことを特徴とする請求項41に記載の方法。
【請求項43】
前記第一情報は、前記第二種類の詳細表現層における、属性情報の残差値が可逆符号化されると特定された1番目の点のフラグ情報をさらに含む、
ことを特徴とする請求項38に記載の方法。
【請求項44】
前記第一情報は、属性情報の残差値が可逆符号化されると特定された点のフラグ情報をさらに含む、
ことを特徴とする請求項38に記載の方法。
【請求項45】
前記第一の数は前記第二の数より大きい、
ことを特徴とする請求項38に記載の方法。
【請求項46】
前記第一の数は、前記第二の数の正の整数倍である、
ことを特徴とする請求項45に記載の方法。
【請求項47】
前記第一の数の点における隣接する2つの点ごとの間の間隔が等しい、
ことを特徴とする請求項38に記載の方法。
【請求項48】
前記第二の数の点における隣接する2つの点ごとの間の間隔が等しい、
ことを特徴とする請求項38に記載の方法。
【請求項49】
前記点群における点の属性情報の予測値及び残差値に基づいて、前記点群における点の属性情報の再構成値を特定することは、
前記復号対象点の属性情報の予測値と残差値との合計を、前記復号対象点の属性情報の再構成値として特定することを含む、
ことを特徴とする請求項29~48のいずれか一項に記載の方法。
【請求項50】
前記復号対象点の属性情報の残差値が可逆符号化されると特定された場合、前記復号対象点の属性情報の予測値と残差値との合計を、前記復号対象点の属性情報の再構成値として特定することは、
reconstructedColor=attrResidual+attrPredValueという式に基づいて、前記復号対象点の属性情報の再構成値を特定することを含む、
前記reconstructedColorは前記復号対象点の属性情報の再構成値であり、前記attrResidualは前記復号対象点の属性情報の残差値であり、前記attrPredValueは前記復号対象点の属性情報の予測値である、
ことを特徴とする請求項49に記載の方法。
【請求項51】
点群符号器であって、取得ユニット、予測ユニット、残差ユニット及び符号化ユニットを備え、
前記取得ユニットは、点群における点の幾何情報及び属性情報を取得するように構成されており、
前記予測ユニットは、前記点群における点の幾何情報に基づいて、前記点群における点の属性情報の予測値を特定するように構成されており、
前記残差ユニットは、前記点群における点の属性情報の予測値に基づいて、前記点群における点の属性情報の残差値を特定するように構成されており、
前記符号化ユニットは、第一符号化プロセスを利用して前記点群における点の属性情報の残差値を処理するように構成されており、前記第一符号化プロセスでは、前記点群における少なくとも1つの点の属性情報の残差値が可逆符号化される、
ことを特徴とする点群符号器。
【請求項52】
点群復号器であって、復号化ユニット、予測ユニット、特定ユニット及び再構成ユニットを備え、
前記復号化ユニットは、点群のビットストリームを復号化することにより、点群における点の幾何情報を特定するように構成されており、
前記予測ユニットは、前記点群における点の幾何情報に基づいて、前記点群における点の属性情報の予測値を特定するように構成されており、
前記特定ユニットは、前記点群のビットストリームを復号化することにより、前記点群における点の属性情報の残差値を得るように構成されており、前記残差値は、属性情報の残差値が可逆符号化されると特定された少なくとも1つの点の残差値を含み、
前記再構成ユニットは、前記点群における点の属性情報の予測値及び残差値に基づいて、前記点群における点の属性情報の再構成値を特定するように構成されている、
ことを特徴とする点群復号器。
【請求項53】
点群符号化・復号化システムであって、
請求項51に記載の点群符号器、及び請求項52に記載の点群復号器を含む、
ことを特徴とする点群符号化・復号化システム。
【発明の詳細な説明】
【技術分野】
【0001】
本出願は、点群符号化・復号化技術分野に関し、特に、点群符号化・復号化方法及びシステム、点群符号器並びに点群復号器に関する。
【背景技術】
【0002】
収集装置によって物体表面が収集されることで、点群データが形成される。点群データは、数十万又はさらに多くの点を含む。ビデオ作成のプロセスにおいて、点群データは点群メディアファイルの形式で点群符号化装置と点群復号化装置の間で伝送される。しかし、このような膨大な数の点は伝送にチャレンジをもたらすため、点群符号化装置は、点群データを圧縮して伝送する必要がある。
【0003】
点群データの圧縮は、主に幾何情報の圧縮及び属性情報の圧縮を含む。属性情報の圧縮では、予測により点群データにおける冗長な情報を削減又は除去する。例えば、符号化済みの点から現在点の1つ又は複数の近傍点(neighbouring point)を取得し、近傍点の属性情報に基づいて現在点の属性情報を予測する。
【0004】
しかし、現時点では、点群予測の精度が低いという課題があり、その結果、点群符号化の効果が低下してしまう。
【発明の概要】
【0005】
本出願の実施形態において、点群符号化・復号化方法及びシステム、点群符号器並びに点群復号器が提供され、それによって、点群予測の精度を向上させる。
【0006】
第一様態において、本出願では、点群符号化方法が提供される。当該方法は以下の内容を含む。点群における点の幾何情報及び属性情報を取得する。点群における点の幾何情報に基づいて、点群における点の属性情報の予測値を特定する。点群における点の属性情報の予測値に基づいて、点群における点の属性情報の残差値を特定する。第一符号化プロセスを利用して点群における点の属性情報の残差値を処理する。第一符号化プロセスでは、点群における少なくとも1つの点の属性情報の残差値を可逆符号化(lossless encode、ロスレス符号化とも呼ばれる)する。
【0007】
第二様態において、本出願の実施形態では、点群復号化方法が提供される。当該方法は以下の内容を含む。点群のビットストリームを復号化することにより、点群における点の幾何情報を特定する。点群における点の幾何情報に基づいて、点群における点の属性情報の予測値を特定する。点群のビットストリームを復号化することにより、点群における点の属性情報の残差値を得る。残差値は、属性情報の残差値が可逆復号化されると特定された少なくとも1つの点の残差値を含む。点群における点の属性情報の予測値及び残差値に基づいて、点群における点の属性情報の再構成値を特定する。
【0008】
第三様態において、本出願では、点群符号器が提供される。当該点群符号器は、上記第一様態又は第一様態の各実施形態における方法を実行するように構成されている。具体的に、当該符号器は、上記第一様態又は第一様態の各実施形態における方法を実行するように構成された機能ユニットを備える。
【0009】
第四様態において、本出願では、点群復号器が提供される。当該点群復号器は、上記第二様態又は第二様態の各実施形態における方法を実行するように構成されている。具体的に、当該復号器は、上記第二様態又は第二様態の各実施形態における方法を実行するように構成された機能ユニットを備える。
【0010】
第五様態において、プロセッサとメモリとを備える点群符号器が提供される。当該メモリはコンピュータプログラムを記憶するように構成されており、当該プロセッサは、当該メモリに記憶されたコンピュータプログラムを呼び出して実行することにより、上記第一様態又は第一様態の各実施形態における方法を実行するように構成されている。
【0011】
第六様態において、プロセッサとメモリとを備える点群復号器が提供される。当該メモリはコンピュータプログラムを記憶するように構成されており、当該プロセッサは、当該メモリに記憶されたコンピュータプログラムを呼び出して実行することにより、上記第二様態又は第二様態の各実施形態における方法を実行するように構成されている。
【0012】
第七様態において、点群符号器と点群復号器と含む点群符号化・復号化システムが提供される。点群符号器は、上記第一様態又は第一様態の各実施形態における方法を実行するように構成されており、点群復号器は、上記第二様態又は第二様態の各実施形態における方法を実行するように構成されている。
【0013】
第八様態において、チップが提供される。当該チップは、上記第一様態もしくは第二様態、又は第一様態もしくは第二様態の各実施形態における方法を実行するように構成されている。具体的に、当該チップはプロセッサを含み、当該プロセッサは、メモリからコンピュータプログラムを呼び出して実行することにより、当該チップが装着された装置に、上記第一様態もしくは第二様態、又は第一様態もしくは第二様態の各実施形態における方法を実行させるように構成されている。
【0014】
第九様態において、コンピュータ可読記憶媒体が提供される。当該コンピュータ可読記憶媒体は、コンピュータプログラムを記憶するように構成されており、当該コンピュータプログラムは、コンピュータに上記第一様態もしくは第二様態、又は第一様態もしくは第二様態の各実施形態における方法を実行させるように構成されている。
【0015】
第十様態において、コンピュータプログラム製品が提供される。当該コンピュータプログラム製品は、コンピュータプログラム命令を含み、当該コンピュータプログラム命令は、コンピュータに上記第一様態もしくは第二様態、又は第一様態もしくは第二様態の各実施形態における方法を実行させるように構成されている。
【0016】
第十一様態において、コンピュータプログラムが提供される。当該コンピュータプログラムは、コンピュータで実行される場合、コンピュータに上記第一様態もしくは第二様態、又は第一様態もしくは第二様態の各実施形態における方法を実行させるように構成されている。
【0017】
上記技術的解決策に基づいて、点群における少なくとも1つの点の属性情報の残差値を可逆符号化する(即ち、量子化しない)ことにより、属性情報の再構成値に対する量子化の影響を低減し、属性ビットストリームのサイズに大きな影響をもたらさずに属性情報の予測精度をさらに向上させ、属性情報の符号化効果を向上させる。
【図面の簡単な説明】
【0018】
図1図1は、本出願の実施形態に係る点群符号化・復号化システム100を示すブロック図である。
図2図2は、本出願の実施形態に係る点群符号器200を示すブロック図である。
図3図3は、本出願の実施形態に係る復号器300を示すブロック図である。
図4図4は、本出願の実施形態に係る属性符号化モジュール400を示す一部のブロック図である。
図5図5は、本出願の実施形態に係る属性復号化モジュール500を示す一部のブロック図である。
図6図6は、本出願の実施形態に係る点群符号化方法600を示すフローチャートである。
図7図7は、本出願の実施形態に係る点群符号化方法700を示すフローチャートである。
図8図8は、一部の点群データの詳細度(LOD)分割を示す概略図である。
図9図9は、本出願の実施形態に係る別のLOD分割を示す概略図である。
図10図10は、本出願の実施形態に係る点群復号化方法800を示すフローチャートである。
図11図11は、本出願の実施形態に係る点群復号化方法900を示すフローチャートである。
図12図12は、本出願の実施形態に係る点群符号器10を示すブロック図である。
図13図13は、本出願の実施形態に係る点群復号器20を示すブロック図である。
図14図14は、本出願の実施形態に係る電子機器30を示すブロック図である。
図15図15は、本出願の実施形態に係る点群符号化・復号化システム40を示すブロック図である。
【発明を実施するための形態】
【0019】
本出願は、点群圧縮技術分野に適用可能である。
【0020】
本出願の実施形態の理解を容易にするために、まず、本出願の実施形態に係る関連概念について以下に簡単に紹介する。
【0021】
点群(point cloud)は、空間内に不規則に分布する、3次元(three-dimensional、3D)物体又は3次元シーンの空間構造及び表面属性を表現する離散的な点の集合である。
【0022】
点群データ(point cloud data)は、点群の具体的な記録形式であり、点群における各点は、点の位置情報及び点の属性情報を含むことができる。例えば、点の位置情報は、点の3次元座標情報であってもよい。点の位置情報は、点の幾何情報とも呼ばれることができる。例えば、点の属性情報は、色情報、及び/又は反射率などを含むことができる。例えば、色情報は、任意の色空間上の情報であってよい。例えば、色情報は、赤緑青(Red Green Blue、RGB)情報であってよい。別の例として、色情報は、輝度彩度(YCbCr、YUV)情報であってもよい。例えば、Yは輝度(luma)を表し、Cb(U)は青色彩度を表し、Cr(V)は赤色彩度を表し、U及びVは、色差情報を記述するために用いられる彩度(chroma)を表す。例えば、レーザー計測原理に基づいて得られる点群における点は、点の3次元座標情報及び点のレーザ反射強度(reflectance)を含むことができる。別の例として、撮影計測原理に基づいて得られる点群における点は、点の三次元座標情報及び点の色情報を含むことができる。他の例として、レーザー計測原理及び撮影計測原理の両方に基づいて得られる点群における点は、点の三次元座標情報、点のレーザ反射強度(reflectance)、及び点の色情報を含むことができる。
【0023】
点群データの取得方法は、以下の少なくとも1つを含むことができるが、これらに限定されない。(1)点群データは、コンピュータ装置の生成によって取得される。コンピュータ装置は、仮想の3次元物体及び仮想の3次元シーンの点群データを生成することができる。(2)点群データは、3Dレーザースキャンによって取得される。3Dレーザースキャンにより、静的な現実世界の3次元物体又は3次元シーンの点群データを取得することができ、1秒ごとに百万レベルの点群データを取得することができる。(3)点群データは、3D撮影計測によって取得される。3D撮影装置(即ち、カメラ群、又は複数のレンズとセンサーを備えるカメラ装置)により、現実世界の視覚シーンを収集することで現実世界の視覚シーンの点群データを取得する。3D撮影により、動的な現実世界の3次元物体や3次元シーンの点群データを取得することができる。(4)生物組織器官の点群データは、医療機器によって取得される。医学分野において、磁気共鳴画像法(magnetic resonance imaging、MRI)、コンピュータ断層撮影(computed tomography、CT)、電磁定位情報(electromagnetic localization information)などの医療機器によって、生物組織器官の点群データを取得することができる。
【0024】
取得方法に応じて、点群は、密な点群及び疎な点群に分けられることができる。
【0025】
データのタイミングタイプ(timing type)に応じて、点群は、第一の種類の静的な点群、第二の種類の動的な点群、及び第三の種類の動的に取得された点群という3種類に分けられる。第一の種類の静的な点群では、物体が静止であり、点群取得装置も静止である。第二の種類の動的な点群では、物体が動的であるが、点群取得装置が静止である。第三の種類の動的に取得された点群では、点群取得装置が動的である。
【0026】
用途に応じて、点群は以下の2つの種類に分けられる。種類1:機械認知点群(machine-perceived point cloud)。機械認知点群は、自律型ナビゲーションシステム、リアルタイム検査システム、地理情報システム、視覚選別ロボット、救助・災害救援ロボットなどのシーンに用いられることができる。種類2:人眼認知点群(human-eye-perceived point cloud)。人眼認知点群は、デジタル文化遺産、自由視点放送、3次元没入型コミュニケーション、3次元没入型インタラクションなどの点群の適用シーンに用いられることができる。
【0027】
図1は、本出願の実施形態に係る点群符号化・復号化システム100を示すブロック図である。図1は一例にすぎず、本出願の実施形態に係る点群符号化・復号化システムは図1に示されるものを含むが、それに限定されない。図1に示されるように、当該点群符号化・復号化システム100は、符号化装置110及び復号化装置120を含む。符号化装置は、点群データを符号化(圧縮と理解されてもよい)してビットストリームを生成し、且つビットストリームを復号化装置に伝送するように構成されている。復号化装置は、符号化装置によって生成されたビットストリームを復号化し、復号された点群データを得るように構成されている。
【0028】
本出願の実施形態に係る符号化装置110は、点群符号化機能を有する装置であると理解されることができ、復号化装置120は、点群復号化機能を有する装置であると理解されることができる。即ち、本出願の実施形態に係る符号化装置110及び復号化装置120は、より広範な装置を含み、例えば、スマートフォン、デスクトップコンピュータ、モバイルコンピューティング装置、ノートブック(例えば、ラップトップ)コンピュータ、タブレットコンピュータ、セットトップボックス(set top box、STB)、テレビ、カメラ、表示装置、デジタルメディアプレーヤ、点群ゲームコンソール、車載コンピュータなどを含む。
【0029】
いくつかの実施形態において、符号化装置110は、符号化された点群データ(例えば、ビットストリーム)をチャネル130を介して復号化装置120に伝送することができる。チャネル130は、符号化された点群データを符号化装置110から復号化装置120に伝送することができる1つ又は複数の媒体及び/又は装置を含むことができる。
【0030】
一例において、チャネル130は、符号化装置110が符号化された点群データをリアルタイムで復号化装置120に直接に送信することを可能にする1つ又は複数の通信媒体を含む。この例では、符号化装置110は、通信規格に従って符号化された点群データを変調し、変調された点群データを復号化装置120に送信することができる。通信媒体は、無線周波数スペクトルなどの無線通信媒体を含む。選択的に、通信媒体は、1つ又は複数の物理的伝送線路などの有線通信媒体含むこともできる。
【0031】
別の例において、チャネル130は記憶媒体を含む。当該記憶媒体は、符号化装置110によって符号化された点群データを記憶することができる。記憶媒体は、様々なローカルにアクセス可能なデータ記憶媒体を含み、例えば、光ディスク、デジタル多用途ディスク(digital versatile disc、DVD)、フラッシュメモリなどが挙げられる。この例では、復号化装置120は、当該記憶媒体から符号化された点群データを取得することができる。
【0032】
別の例において、チャネル130はストレージサーバを含むことができ、当該ストレージサーバは、符号化装置110によって符号化された点群データを記憶することができる。この例では、復号化装置120は、当該ストレージサーバに記憶されている、符号化された点群データを当該ストレージサーバからダウンロードすることができる。選択的に、当該ストレージサーバは、符号化された点群データを記憶し、且つ当該符号化された点群データを復号化装置120に送信することができ、復号化装置120の例としては、ウェブサーバ(例えば、ウェブサイト用)、ファイル転送プロトコル(file transfer protocol、FTP)サーバなどが挙げられる。
【0033】
いくつかの実施形態において、符号化装置110は、点群符号器112及び出力インタフェース113を含む。出力インタフェース113は、変調器/復調器(モデム)及び/又は送信器を含むことができる。
【0034】
いくつかの実施形態において、符号化装置110は、点群符号器112及び出力インタフェース113に加えて、点群ソース(point cloud source)111を含むことができる。
【0035】
点群ソース111は、点群収集装置(例えば、スキャナ)、点群アーカイブ(point cloud archive)、点群入力インターフェース、及びコンピュータグラフィクスシステム(computer graphics system)のうちの少なくとも1つを含むことができる。点群入力インターフェースは、点群コンテンツプロバイダから点群データを受信ように構成されており、コンピュータグラフィックスシステムは、点群データを生成するように構成されている。
【0036】
点群符号器112は、点群ソース111からの点群データを符号化してビットストリームを生成する。点群符号器112は、符号化された点群データを、出力インターフェース113を介して復号化装置120に直接に伝送する。符号化された点群データは、後続に復号化装置120で読み取られるように、記憶媒体又はストレージサーバに記憶されることもできる。
【0037】
いくつかの実施形態において、復号化装置120は、入力インタフェース121及び点群復号器122を含む。
【0038】
いくつかの実施形態において、復号化装置120は、入力インタフェース121及び点群復号器122に加えて、表示装置123を含むことができる。
【0039】
入力インターフェース121は、受信器及び/又はモデムを含む。入力インターフェース121は、チャネル130を介して符号化された点群データを受信することができる。
【0040】
点群復号器122は、符号化された点群データを復号化することにより、復号化された点群データを取得し、且つ復号化された点群データを表示装置123に伝送するように構成されている。
【0041】
表示装置123は、復号化された点群データを表示する。表示装置123は、復号化装置120に内蔵されてもよく、又は、復号化装置120の外部に設けられてもよい。表示装置123は、多種の表示装置を含むことができ、例えば、液晶ディスプレイ(liquid crystal display、LCD)、プラズマディスプレイ(plasma display)、有機発光ダイオード(organic light emitting diode、OLED)ディスプレイ、又は他の種類の表示装置が挙げられる。
【0042】
また、図1は一例にすぎず、本出願の実施形態の技術的解決策は図1に限定されるものではなく、例えば、本出願の技術は、片側の点群符号化又は片側の点群復号化にも適用可能である。
【0043】
現在の点群符号器は、動画像専門家グループ(moving picture experts group、MPEG)によって提供される、幾何に基づいた点群圧縮(geometry point cloud compression、G-PCC)符号化・復号化フレームワーク、又はビデオに基づいた点群圧縮(video point cloud compression、V-PCC)符号化・復号化フレームワークを採用してもよく、オーディオビデオ符号化規格(audio video standard、AVS)によって提供されるAVS-PCC符号化・復号化フレームワークを採用してもよい。G-PCC及びAVS-PCCはいずれも静的且つ疎な点群に対するものであり、それらの符号化フレームワークはほぼ同じである。G-PCC符号化・復号化フレームワークは、第一種類の静的な点群及び第三の種類の動的に取得された点群の圧縮に用いられることができ、V-PCC符号化・復号化フレームワークは、第二の種類の動的な点群の圧縮に用いられることができる。G-PCC符号化・復号化フレームワークは、点群符号器・復号器TMC13とも呼ばれ、V-PCC符号化・復号化フレームワークは、点群符号器・復号器TMC2とも呼ばれる。
【0044】
以下、G-PCC符号化・復号化フレームワークを例として、本出願の実施形態に適用可能な点群符号器及び点群復号器について説明する。
【0045】
図2は、本出願の実施形態に係る点群符号器200を示すブロック図である。
【0046】
上記から分かるように、点群における点は、点の位置情報及び点の属性情報を含むことができるため、点群における点の符号化は主に位置符号化及び属性符号化を含む。いくつかの例において、点群における点の位置情報は幾何情報とも呼ばれ、それに応じて、点群における点の位置符号化は幾何符号化と呼ばれてもよい。
【0047】
位置符号化のプロセスは、点群における点に対して座標変換や量子化・重複点除去などの前処理を行うことと、次に、前処理された点群を幾何符号化し、例えば、八分木を構築し、構築された八分木に基づいて幾何符号化を行うことにより幾何ビットストリームを形成することと、を含む。同時に、構築された八分木から出力された位置情報に基づいて、点群データにおける各点の位置情報を再構成し、各点の位置情報の再構成値を得る。
【0048】
属性符号化プロセスは、入力点群の位置情報の再構成情報及び属性情報の真値を与え、3つの予測モードのうちの1つを選択して点群予測を行い、予測された結果を量子化し、算術符号化を行うことにより、属性ビットストリームを形成することを含む。
【0049】
図2に示されるように、位置符号化は、座標変換(coordinate transform)ユニット201、量子化・重複点除去(quantization and repetition point removal)ユニット202、八分木分析(octree analysis)ユニット203、幾何再構成(geometry reconstruction)ユニット204、及び第一算術符号化(first arithmetic encoding)ユニット205によって実現され得る。
【0050】
座標変換ユニット201は、点群における点のワールド座標を相対座標に変換するために用いられることができる。例えば、点の幾何座標からxyz座標軸の最小値をそれぞれ減算すること(直流除去操作に相当する)により、点群における点の座標をワールド座標から相対座標に変換することを実現する。
【0051】
量子化・重複点除去ユニット202は、量子化により座標の数を減らすことができ、量子化後、元の異なる点に同じ座標が与えられる可能性があるため、重複点を重複除外操作により削除することができる。例えば、同じ量子化位置及び異なる属性情報を有する複数の点を属性変換により1つの点にマージすることができる。本出願のいくつかの実施形態において、量子化・重複点除去ユニット202は、選択可能なユニットモジュールである。
【0052】
八分木分析ユニット203は、量子化された点の位置情報を八分木(octree)符号化方式で符号化することができる。例えば、点群を八分木の形式で分割することで、点の位置は八分木の点の位置と一対一で対応することができ、八分木にノードがある位置を統計し、そのフラグ(flag)を1として記し、幾何符号化を行う。
【0053】
幾何再構成ユニット204は、八分木分析ユニット203から出力された位置情報に基づいて位置再構成を行うことにより、点群データにおける各点の位置情報の再構成値を得ることができる。
【0054】
第一算術符号化ユニット205は、エントロピー符号化方式を利用して、八分木分析ユニット203から出力された位置情報に対して算術符号化を行うことができ、即ち、八分木分析ユニット103から出力された位置情報を利用して算術符号化方式で幾何ビットストリーム(geometry bitstream)を生成する。幾何ビットストリームは、幾何コードストリームと呼ばれてもよい。
【0055】
属性符号化は、色空間変換(color transform)ユニット210、属性変換(attribute transfer)ユニット211、RAHT(region adaptive hierarchical transform)ユニット212、予測変換(predicting transform)ユニット213、及びリフティング変換(lifting transform)ユニット214、係数量子化(coefficient quantization)ユニット215及び第二算術符号化ユニット216によって実現され得る。
【0056】
なお、点群符号器200は、図2に示されるものより多くの、より少ない、又は異なる機能コンポーネントを含むことができる。
【0057】
色空間変換ユニット210は、点群における点のRGB色空間をYCbCrフォーマット又は他のフォーマットに変換するために用いられることができる。
【0058】
属性変換ユニット211は、属性の歪みを最小にするように、点群における点の属性情報を変換するために用いられることができる。例えば、属性変換ユニット211は、点の属性情報の真値(actual value)を取得するために用いられることができる。例えば、属性情報は、点の色情報であってもよい。
【0059】
属性変換ユニット211の変換により点の属性情報のオリジナル値が得られた後、任意の予測ユニットを選択して、点群における点を予測することができる。予測ユニットは、RAHTユニット212、予測変換ユニット213、及びリフティング変換ユニット214を含むことができる。
【0060】
換言すれば、RAHTユニット212、予測変換ユニット213、及びリフティング変換ユニット214のいずれかは、点群における点の属性情報を予測して点の属性情報の予測値を取得し、さらに、点の属性情報の予測値に基づいて点の属性情報の残差値を取得するために用いられることができる。例えば、点の属性情報の残差値は、点の属性情報のオリジナル値から点の属性情報の予測値を差し引いた値であってもよい。
【0061】
本出願の1つの実施形態において、予測変換ユニット213は、詳細度(level of detail、LOD)を生成するために用いられることができる。LODの生成プロセスは、点群における点の位置情報に基づいて点と点の間のユークリッド距離を取得することと、ユークリッド距離に基づいて点を異なる詳細表現層(detail representation layer)(細分化レベル(refinement level)とも呼ばれる)に分割することとを含む。1つの実施形態において、ユークリッド距離を順位付けした後、異なる範囲にあるユークリッド距離に対応する点を異なる詳細表現層に分割することができる。例えば、1つの点を任意に選んで第一詳細表現層とする。そして、残りの点とその点との間のユークリッド距離を計算し、ユークリッド距離が第一閾値を満たす点を第二詳細表現層に分類する。第二詳細表現層における点の質量中心を取得し、第一詳細表現層及び第二詳細表現層以外の点と該質量中心との間のユークリッド距離を計算し、ユークリッド距離が第二閾値を満たす点を第三詳細表現層に分類する。すべての点を詳細表現層に分類するまで、上記の操作を繰り返す。ユークリッド距離の閾値を調整することにより、各LOD層における点の数が増えていくようにすることができる。LOD層の分割方法としては、他の方法が採用されてもよく、本出願では、それについては限定されない。
【0062】
なお、点群を1つ又は複数の詳細表現層に直接に分割することができ、点群をまず複数の点群スライス(slice)に分割し、次に、各点群スライスを1つ又は複数のLOD層に分割することもできる。
【0063】
例えば、点群を複数の点群スライスに分割することができ、各点群スライスにおける点の数は55万~110万であることができる。各点群スライスはそれぞれ単独の点群と見なされることができる。各点群スライスは複数の詳細表現層に分割されることができ、各詳細表現層は複数の点を含む。1つの実施形態において、点と点の間のユークリッド距離に応じて、詳細表現層の分割を行うことができる。
【0064】
量子化ユニット215は、点の属性情報の残差値を量子化するために用いられることができる。例えば、量子化ユニット215と予測変換ユニット213とが接続されている場合、量子化ユニットは、予測変換ユニット213から出力された点の属性情報の残差値を量子化するために用いられることができる。
【0065】
例えば、予測変換ユニット213から出力された点の属性情報の残差値を量子化ステップサイズで量子化することにより、システム性能の向上を図る。
【0066】
第二算術符号化ユニット216は、ゼロランレングス符号化(zero run length coding)を利用して点の属性情報の残差値をエントロピー符号化することにより、属性ビットストリームを得ることができる。属性ビットストリームは、ビットストリーム情報であってもよい。
【0067】
図3は、本出願の実施形態に係る復号器300を示すブロック図である。
【0068】
図3に示されるように、復号器300は、符号化装置から点群のビットストリームを取得し、ビットストリームを解析することによって点群における点の位置情報及び属性情報を取得することができる。点群の復号化は、位置復号化及び属性復号化を含む。
【0069】
位置復号化のプロセスは、幾何ビットストリームに対して算術復号化を行うことと、八分木を構築した後に統合を行い、点の位置情報を再構成することにより、点の位置情報の再構成情報を得ることと、点の位置情報の再構成情報に対して座標変換を行うことにより点の位置情報を得ることとを含む。点の位置情報は、点の幾何情報と呼ばれることもできる。
【0070】
属性復号化のプロセスは、属性ビットストリームを解析することにより、点群における点の属性情報の残差値を得ることと、点の属性情報の残差値に対して逆量子化を行うことにより、逆量子化後の点の属性情報の残差値を得ることと、位置復号化中に得られた点の位置情報の再構成情報に基づいて、RAHT、予測変換、リフティング変換という3つの予測モードのうちの1つを選択して点群予測を行うことにより予測値を得ることと、予測値と残差値とを加算することにより点の属性情報の再構成値を得ることと、点の属性情報の再構成値に対して色空間逆変換を行うことにより、復号化された点群を得ることと、を含む。
【0071】
図3に示されるように、位置復号化は、第一算術復号化(first arithmetic decoding)ユニット301、八分木合成(octree synthesization)ユニット302、幾何再構成ユニット303、及び座標逆変換(coordinate inverse transform)ユニット304により実現され得る。
【0072】
属性復号化は、第二算術復号化ユニット310、逆量子化(inverse quantization)ユニット311、RAHTユニット312、予測変換ユニット313、リフティング変換ユニット314、及び色空間逆変換(color inverse transform unit)ユニット315によって実現され得る。
【0073】
なお、圧縮解除は圧縮の逆過程であり、同様に、点群復号器300における各ユニットの機能については、点群符号器200における対応のユニットの機能を参照することができる。点群復号器300は、図3に示されるものより多くの、より少ない、又は異なる機能コンポーネントを含むことができる。
【0074】
例えば、復号器300において、点群における点と点の間のユークリッド距離に応じて点群を複数のLODに分割し、次に、LODにおける点の属性情報を順次復号化することができる。例えば、ゼロランレングス符号化技術におけるゼロの数(zero_cnt)を計算し、zero_cntに基づいて残差値を復号化し、次に、復号器200において、すべての点が復号化されるまで、復号化された残差値に基づいて逆量子化を行い、逆量子化後の残差値と、現在点の予測値とを加算することにより当該点の再構成値を得ることができる。現在点はLODにおける後続点の最近の近傍点とされ、現在点の再構成値を利用して後続点の属性情報が予測される。
【0075】
上記図2から分かるように、点群符号器200は、機能の角度から、主に位置符号化モジュール及び属性符号化モジュールという2つの部分を含む。位置符号化モジュールは、点群の位置情報の符号化を実現して、幾何ビットストリームを形成するよう構成されている。属性符号化モジュールは、点群の属性情報の符号化を実現して、属性ビットストリームを形成するよう構成されている。本出願は主に属性情報の符号化に関する。以下、図4を参照しながら、本出願に係る点群符号器における属性符号化モジュールについて紹介する。
【0076】
図4は、本出願の実施形態に係る属性符号化モジュール400を示す一部のブロック図である。当該属性符号化モジュール400は、上記図2に示された点群符号器200における、属性情報の符号化を実現するためのユニットであると理解されることができる。図4に示されるように、当該属性符号化モジュール400は、前処理ユニット410、残差ユニット420、量子化ユニット430、予測ユニット440、逆量子化ユニット450、再構成ユニット460、フィルタリングユニット470、復号化バッファ(decoding buffer)ユニット480、及び符号化ユニット490を備える。なお、属性符号化モジュール400は、より多くの、より少ない、又は異なる機能コンポーネントを備えることもできることに留意されたい。
【0077】
いくつかの実施形態において、前処理ユニット410は、図2に示された色空間変換ユニット210及び属性変換ユニット211を含むことができる。
【0078】
いくつかの実施形態において、量子化ユニット430は、上記図2における係数量子化ユニット215であると理解されてもよく、符号化ユニット490は、上記図2における第二算術符号化ユニット216であると理解されてもよい。
【0079】
いくつかの実施形態において、予測ユニット440は、図2に示されたRAHTユニット212、予測変換ユニット213、及びリフティング変換ユニット214を含むことができる。予測ユニット440は、具体的に、点群における点の位置情報の再構成情報を取得し、点の位置情報の再構成情報に基づいて、RAHTユニット212、予測変換ユニット213、及びリフティング変換ユニット214のうちのいずれか1つを選択して点群における点の属性情報を予測することにより、点の属性情報の予測値を取得するよう構成されている。
【0080】
残差ユニット420は、点群における点の属性情報のオリジナル値及び属性情報の再構成値に基づいて、点群における点の属性情報の残差値を得ることができる。例えば、点の属性情報のオリジナル値から属性情報の再構成値を差し引くことで、点の属性情報の残差値を得る。
【0081】
量子化ユニット430は、属性情報の残差値を量子化することができ、具体的に、量子化ユニット430は、点群に関連付けられた量子化パラメータ(quantization parameter、QP)値に基づいて点の属性情報の残差値を量子化することができる。点群符号器は、点群に関連付けられたQP値を調整することにより、点に応用される量子化の度合いを調整することができる。
【0082】
逆量子化ユニット450は、量子化された属性情報の残差値にそれぞれ逆量子化を応用することにより、量子化された属性情報の残差値から属性情報の残差値を再構成することができる。
【0083】
再構成ユニット460は、再構成された属性情報の残差値を、予測ユニット440によって生成された予測値に加算することにより、点群における点の属性情報の再構成値を取得することができる。
【0084】
フィルタリングユニット470は、再構成操作におけるノイズを除去又は低減することができる。
【0085】
復号化バッファユニット480は、点群における点の属性情報の再構成値を記憶することができる。予測ユニット440は、点の属性情報の再構成値を利用して他の点の属性情報を予測することができる。
【0086】
上記図3から分かるように、点群復号器300は、機能の角度から、主に位置復号化モジュール及び属性復号化モジュールという2つの部分を含む。位置復号化モジュールは、点群の幾何ビットストリームの復号化を実現して、点の位置情報を得るよう構成されている。属性復号化モジュールは、点群の属性ビットストリームの復号化を実現して、点群の属性情報を得るよう構成されている。以下、図5を参照しながら、本出願に係る点群復号器における属性復号化モジュールについて紹介する。
【0087】
図5は、本出願の実施形態に係る属性復号化モジュール500を示す一部のブロック図である。当該属性復号化モジュール500は、上記図3に示された点群復号器300における、属性ビットストリームの復号化を実現するためのユニットであると理解されることができる。図5に示されるように、当該属性復号化モジュール500は、復号化ユニット510、予測ユニット520、逆量子化ユニット530、再構成ユニット540、フィルタリングユニット550及び復号化バッファユニット560を備える。なお、属性復号化モジュール500は、より多くの、より少ない、又は異なる機能コンポーネントを備えることもできることに留意されたい。
【0088】
属性復号化モジュール500は、属性ビットストリームを受信することができる。復号化ユニット510は、属性ビットストリームを解析することにより属性ビットストリームからシンタックス要素(syntax element)を抽出することができる。属性ビットストリームの解析の一部として、復号化ユニット510は、属性ビットストリームにおける、符号化されたシンタックス要素を解析することができる。予測ユニット520、逆量子化ユニット530、再構成ユニット540、及びフィルタリングユニット550は、属性ビットストリームから抽出されたシンタックス要素に基づいて属性情報を復号化することができる。
【0089】
いくつかの実施形態において、予測ユニット520は、ビットストリームから解析された1つ又は複数のシンタックス要素に基づいて点の予測モードを特定し、特定された予測モードを利用して点の属性情報を予測することができる。
【0090】
逆量子化ユニット530は、点群における点に関連付けられた量子化された属性情報の残差値を逆量子化(即ち、脱量子化)することにより、点の属性情報の残差値を得ることができる。逆量子化ユニット530は、点群に関連付けられたQP値を利用して、量子化の度合いを特定することができる。
【0091】
再構成ユニット540は、点群における点の属性情報の残差値及び点群における点の属性情報の予測値を利用して、点群における点の属性情報を再構成する。例えば、再構成ユニット540は、点群における点の属性情報の残差値を点の属性情報の予測値に加算することにより、点の属性情報の再構成値を得ることができる。
【0092】
フィルタリングユニット550は、再構成操作におけるノイズを除去又は低減することができる。
【0093】
属性復号化モジュール500は、点群における点の属性情報の再構成値を復号化バッファユニット560に記憶することができる。属性復号化モジュール500は、復号化バッファユニット560における属性情報の再構成値を参照点として後続の予測に用いることができ、又は、属性情報の再構成値を表示装置に伝送して提示することができる。
【0094】
点群の属性情報の符号化・復号化の基本的な流れは以下の通りである。符号化側では、点群データの属性情報を前処理することにより、点群における点の属性情報のオリジナル値を得る。予測ユニット410は、点群における点の位置情報の再構成値に基づいて、上記3つの予測モードのうちの1つを選択して点群における点の属性情報を予測することにより、属性情報の予測値を得る。残差ユニット420は、点群における点の属性情報のオリジナル値と属性情報の予測値とに基づいて属性情報の残差値を計算し、即ち、点群における点の属性情報のオリジナル値と属性情報の予測値との差を点群における点の属性情報の残差値とする。量子化ユニット430は当該残差値を量子化し、それにより、人間の目に敏感ではない情報が除去され、視覚的な冗長性が解消されることができる。符号化ユニット490は、量子化ユニット430によって出力された、量子化された属性情報の残差値を受信し、量子化された属性情報の残差値を符号化して、属性ビットストリームを出力することができる。
【0095】
また、逆量子化ユニット450は、量子化ユニット430によって出力された、量子化された属性情報の残差値を受信し、量子化された属性情報の残差値を逆量子化することにより、点群における点の属性情報の残差値を得ることができる。再構成ユニット460は、逆量子化ユニット450によって出力された点群における点の属性情報の残差値と、予測ユニット410によって出力された点群における点の属性情報の予測値とを取得し、点群における点の属性情報の残差値と予測値とを加算することにより点の属性情報の再構成値を取得する。点の属性情報の再構成値は、フィルタリングユニット470によってフィルタリングされた後、復号化バッファユニット480内にバッファリングされ、他の点の後続の予測プロセスに用いられる。
【0096】
復号化側では、復号化ユニット510は、属性ビットストリームを解析することにより、点群における点の量子化された属性情報の残差値、予測情報、量子化係数などを得ることができる。予測ユニット520は、予測情報に基づいて点群における点の属性情報を予測することにより、点の属性情報の予測値を生成する。逆量子化ユニット530は、属性ビットストリームから得られた量子化係数を利用して、点の量子化された属性情報の残差値を逆量子化することにより、点の属性情報の残差値を得る。再構成ユニット440は、点の属性情報の予測値と残差値とを加算することにより、点の属性情報の再構成値を得る。フィルタリングユニット550は、点の属性情報の再構成値をフィルタリングすることにより、復号化された属性情報を得る。
【0097】
なお、属性情報を符号化する際に符号化側によって特定された予測、量子化、符号化、フィルタリングなどのモード情報又はパラメータ情報は、必要に応じて属性ビットストリームに持ち込まれる。復号化側は、属性ビットストリームを解析し、且つ既存情報を分析することにより、符号化側と同じ予測、量子化、符号化、フィルタリングなどのモード情報又はパラメータ情報を特定する。それによって、符号化側で得られる属性情報の再構成値と、復号化側で得られる属性情報の再構成値とが同じであることを確保する。
【0098】
上記は、G-PCC符号化・復号化フレームワークに基づいた点群符号器・復号器の基本的な流れである。技術の発展に伴い、当該フレームワーク又は流れの一部のモジュール又はステップが最適化される可能性があり、本出願は、G-PCC符号化・復号化フレームワークに基づいた点群符号器・復号器の基本的な流れに適用されるが、当該フレームワーク又は流れに限定されない。
【0099】
以上、本出願の実施形態に係る点群符号化システム、点群符号器、点群復号器について紹介した。それに基づいて、本出願の実施形態に係る技術的解決策を、具体的な実施形態と合わせて以下に詳細に説明する。
【0100】
次に、図6を参照しながら符号化側について説明する。
【0101】
図6は、本出願の実施形態に係る点群符号化方法600を示すフローチャートである。本出願の実施形態は、図1図2及び図4に示された点群符号器に適用される。図6に示されるように、本出願の実施形態に係る方法は以下の内容を含む。
【0102】
S601:点群における点の幾何情報及び属性情報を取得する。
【0103】
点群は複数の点を含み、各点は点の幾何情報及び点の属性情報を含むことができる。点の幾何情報は、点の位置情報と呼ばれることもでき、点の位置情報は、点の3次元座標情報であってもよい。点の属性情報は、色情報及び/又は反射率などを含むことができる。
【0104】
一例において、点群符号器は、得られた点群における点のオリジナル属性情報を、点の属性情報のオリジナル値とすることができる。
【0105】
別の例において、図2に示されるように、点群符号器は、点群における点のオリジナル属性情報を取得した後、当該オリジナル属性情報に対して色空間変換を行い、例えば、点のRGB色空間をYCbCrフォーマット又は他のフォーマットに変換する。色空間変換が行われた点に対して属性変換を行うことで、属性の歪みを最小にし、点の属性情報のオリジナル値を得る。
【0106】
S602:点群における点の幾何情報に基づいて、点群における点の属性情報の予測値を特定する。
【0107】
例えば、点群における点の幾何情報を符号化することにより、点群における点の幾何情報の再構成値を得る。点群における点の幾何情報の再構成値に基づいて、点群における点の属性情報の予測値を特定する。
【0108】
なお、点群符号器は、点群における点の幾何情報の符号化を完了した後、点群における点の属性情報を符号化する。図2を参照すると、幾何情報を符号化するプロセスにおいて、第一算術符号化ユニット205は、八分木ユニット203によって処理された点の幾何情報を符号化することにより幾何ビットストリームを形成し、幾何再構成ユニット204は、八分木ユニット203によって処理された点の幾何情報を再構成することにより幾何情報の再構成値を取得する。予測ユニットは、幾何再構成ユニット204によって出力された幾何情報の再構成値を得ることができる。
【0109】
例えば、点群における点の幾何情報の再構成値に基づいて、点群における点を並び替えることにより、並び替えられた点群を得る。例えば、点群における点の幾何情報の再構成値に基づいて点のモートンコード(Morton code)を特定し、モートンコードに基づいて点群における点を並び替えて点のモットン順序(Morton order)を得る。並び替えられた点群における1つの目標点に対して、属性情報が符号化された点から当該目標点の少なくとも1つの近傍点を取得し、当該少なくとも1つの近傍点の属性情報の再構成値に基づいて、当該目標点の属性情報の予測値を予測する。
【0110】
なお、目標点の少なくとも1つの近傍点の属性情報の再構成値に基づいて、当該目標点の属性情報の予測値を予測する方式は、以下のいくつかを含むが、これらに限定されない。
【0111】
方式1では、少なくとも1つの近傍点の属性情報の再構成値の平均値を、当該目標点の属性情報の予測値とする。
【0112】
方式2では、少なくとも1つの近傍点がK個の近傍点であると仮定し、K個の近傍点の各々の属性情報の再構成値を目標点の予測参照値とすることにより、K個の予測参照値を得る。また、K個の近傍点の属性情報の再構成値の平均値を目標点のもう1つの予測参照値とすることで、目標点は合計で(K+1)個の予測参照値を有するようになる。この(K+1)個の予測参照値の各々に対応するレート歪み最適化(rate distortion optimized、RDO)コストを計算し、RDOコストが最小である予測参照値を当該目標点の属性情報の予測値とする。
【0113】
S603:点群における点の属性情報の予測値に基づいて、点群における点の属性情報の残差値を特定する。
【0114】
例えば、点群における点の属性情報のオリジナル値と属性情報の予測値との差を、点群における点の属性情報の残差値として特定する。
【0115】
例えば、点群における点については、上記ステップに基づいて、当該点の属性情報の予測値及び属性情報のオリジナル値を取得することができ、当該点の属性情報のオリジナル値と属性情報の予測値との差を、当該点の属性情報の残差値とする。
【0116】
例えば、下記数1に基づいて、点の属性情報の残差値を特定する。
【数1】
attrResidualは属性情報の残差値であり、attrValueは属性情報のオリジナル値であり、attrPredValueは属性情報の予測値である。
【0117】
S604:第一符号化プロセスを利用して点群における点の属性情報の残差値を処理する。第一符号化プロセスでは、点群における少なくとも1つの点の属性情報の残差値を可逆符号化する。
【0118】
図4を参照すると、現時点では、属性情報を符号化するプロセスにおいて、残差ユニット420は、点群における点の属性情報のオリジナル値及び属性情報の予測値に基づいて、属性情報の残差値を計算することができる。量子化ユニット430は当該残差値を量子化し、それにより、人間の目に敏感ではない情報が除去され、視覚的な冗長性が解消されることができる。逆量子化ユニット450は、量子化ユニット430によって出力された、量子化された属性情報の残差値を受信し、量子化された属性情報の残差値を逆量子化し、点群における点の属性情報の残差値を得ることができる。再構成ユニット460は、逆量子化ユニット450によって出力された点群における点の属性情報の残差値と、予測ユニット410によって出力された点群における点の属性情報の予測値とを取得し、点群における点の属性情報の残差値と予測値とを加算することにより点の属性情報の再構成値を取得する。点の属性情報の再構成値は、復号化バッファユニット480内にバッファリングされ、他の点の後続の予測プロセスに用いられる。
【0119】
上記から分かるように、現時点では、属性情報を符号化するプロセスにおいて、点の属性情報の残差値を量子化する。しかし、量子化によって属性情報の再構成値に誤差が生じ、後続の属性情報の予測精度がさらに低下するため、属性情報の全体の符号化効果が低下してしまう。当該技術的課題を解決するために、本出願では、第一符号化プロセスを利用して点群における点の属性情報の残差値を処理する。即ち、点群における少なくとも1つの点の属性情報の残差値を可逆符号化することによって、属性情報の再構成値に対する量子化の影響を低減し、属性ビットストリームのサイズに大きな影響をもたらさずに属性情報の予測精度をさらに向上させ、属性情報の符号化効果を向上させる。
【0120】
なお、本出願において、点の属性情報の残差値を可逆符号化することは、点の属性情報の残差値を量子化しないことともいえる。
【0121】
属性情報の残差値が可逆符号化される点の数は、本出願では限定されない。例えば、点群における一部の点の属性情報の残差値を量子化し、一部の点の属性情報の残差値を量子化しない(即ち、可逆符号化する)。又は、点群におけるすべての点の属性情報の残差値を量子化しない(即ち、可逆符号化する)。
【0122】
一例において、属性情報の残差値が可逆符号化される少なくとも1つの点は、N個の点であってもよい。
【0123】
選択的に、当該Nは2の整数倍であり、例えば、点群における2つ、4つ、16個又は24個の点の属性情報の残差値を可逆符号化する。
【0124】
選択的に、N個の点は、点群における任意のN個の点であることができ、例えば、並び替えられた点群における連続的なN個の点であってもよく、任意に選択されたN個の点であってもよく、指定されたN個の点であってもよく、又は、予め設定された点選択間隔に基づいて選択されたN個の点であってもよい。点選択間隔は、不均一な間隔であってもよい。
【0125】
選択的に、N個の点における隣接する2つの点ごとの間の間隔が等しい。例えば、点群は1200個の点を含み、Nが24であると仮定し、24個の点における隣接する2つの点ごとの間の間隔が等しく、その間隔がいずれも50個の点である。
【0126】
いくつかの実施形態において、予め設定された間隔に基づいて、点群における、予め設定された間隔を隔てた点の属性情報の残差値を可逆符号化する。例えば、点群が1200個の点を含み、予め設定された間隔が10個の点であれば、並び替えられた点群における10個の点という間隔を隔てて点の属性情報の残差値を可逆符号化する。選択的に、1200個の点のうち1番目の点を、属性情報の残差値が量子化されない1番目の点とし、10個の点という間隔を隔て、11番目の点を、属性情報の残差値が量子化されない2番目の点とし、このように順次類推する。選択的に、1200個の点群のうちの11番目の点を、属性情報の残差値が可逆符号化される1番目の点とし、10個の点という間隔を隔て、21番目の点を、属性情報の残差値が可逆符号化される2番目の点とし、このように順次類推する。
【0127】
実際の応用では、以下の方式に基づいてS604を実現することができる。
【0128】
方式1では、点群における点の属性情報の残差値を量子化するプロセスにおいて、属性情報の残差値が可逆符号化される少なくとも1つの点をスキップする。
【0129】
方式2では、属性情報の残差値が可逆符号化される少なくとも1つの点の量子化ステップサイズを1に設定する。
【0130】
例えば、現時点では、下記数2に基づいて、点の属性情報の残差値を量子化する。
【数2】
attrResidualQuantは量子化された属性情報の残差値であり、Qstepは量子化ステップサイズである。
【0131】
当該方式では、属性情報の残差値が可逆符号化される点については、その量子化ステップサイズを1に設定することができ、即ち、Qstep=1である。
【0132】
方式3では、属性情報の残差値が可逆符号化される少なくとも1つの点のQPを目標値に設定する。目標値は、量子化ステップサイズが1である際の対応のQP値である。
【0133】
量子化ステップサイズはQP値から計算されるため、QP値は通常、プロファイルにより予め設定される。それに基づいて、QPを、量子化ステップサイズが1である際の対応のQP値に設定することができる。
【0134】
現在、MPEGによって提供されるテストプラットフォームTMC13v5(test model for category 1&3 version 5)は、LODに基づいた属性情報の符号化方式を採用している。以下、図7を参照しながら、本出願の実施形態に採用される属性情報の予測方式がLODに基づいた予測方式である場合の、本出願の属性情報の符号化方法について説明する。
【0135】
図7は、本出願の実施形態に係る点群符号化方法700を示すフローチャートである。
【0136】
S701:点群における点の幾何情報及び属性情報を取得する。
【0137】
S701の具体的な実施プロセスは、S601の具体的な実施プロセスとほぼ同じである。それについては、S601の説明を参照することができ、ここでは繰り返さない。
【0138】
S702:点群における点の幾何情報に基づいて、点群に対してLOD分割を行うことにより、点群の複数の詳細表現層を得る。各詳細表現層に少なくとも1つの点が含まれている。
【0139】
一例において、点群における点の幾何情報に基づいて点のモートンコードを取得し、モートンコードに従って並べ替えることにより点群のモートン順序(Morton order)を取得する。点群のモートン順序に従ってLOD分割を行う。
【0140】
別の例において、点群における点の幾何情報に基づいて点群を並び替えることにより、点群のオリジナル順序を得る。点群のオリジナル順序に従ってLOD分割を行う。
【0141】
並び替えられた点群に対してLOD分割を行い、例えば、並び替えられた点群から1つの点を任意に選択して第一詳細表現層とする。次に、幾何情報に基づいて、残りの点とその点との間のユークリッド距離を計算し、ユークリッド距離が第一閾値を満たす点を第二詳細表現層に分類する。第二詳細表現層における点の質量中心を取得し、第一詳細表現層及び第二詳細表現層以外の点と該質量中心との間のユークリッド距離を計算し、ユークリッド距離が第二閾値を満たす点を第三詳細表現層に分類する。すべての点を詳細表現層に分類するまで、上記の操作を繰り返す。各詳細表現層における点は、点の属性情報の再構成値の大きさに応じて当該詳細表現層で並べ替えられる。
【0142】
なお、上記LOD分割の方式は例示にすぎず、LOD分割は他の方式を採用してもよく、それにつては、本出願では限定されない。
【0143】
図8は、一部の点群のLOD分割を示す概略図である。図8は上部に、オリジナル点群における10個の点、p0、p2、......、p9を図示している。その10個の点の幾何情報に基づいて、10個の点を並び替え、点p0、p2、......、p9のオリジナル順序を得る。点p0、p2、......、p9のオリジナル順序に従って、点p0、p2、......、p9に対してLOD分割を行い、互いに重ならない3つの詳細表現層を得る。例えば、第一詳細表現層R0は、p0、p5、p4及びp2を含み、第二詳細表現層R1は、p1、p6及びp3を含み、第三詳細表現層R2は、p9、p8及びp7を含む。第一詳細表現層R0は、L0と表記される第一LOD層を構成し、第一LOD層及び第二詳細表現層R1は、L1と表記される第二LOD層を構成し、第二LOD層及び第三詳細表現層R2は、L2と表記される第三LOD層を構成する。LOD層に含まれる点の数は、層ごとに増加する。
【0144】
図8を参照すると、LOD分割から得られた複数の詳細表現層を、層数の昇順に従って並び替えることにより、点群のLOD順序を得ることができる。いくつかの実施形態において、複数の詳細表現層を層数の降順に従って並び替えることにより、点群のLOD順序を得ることもできる。
【0145】
S703:点群の複数の詳細表現層に基づいて、点群における点の属性情報の予測値を特定する。
【0146】
例えば、層数の昇順に従って点群の複数の詳細表現層を並び替えることにより、点群のLOD順序を取得し、点群のLOD順序に従って、点群における点の属性情報の予測値を特定する。
【0147】
いくつかの実施形態において、点群における、符号化されようとする1つの目標点を例として説明し、S703は以下いくつかの方式を含むが、これらに限定されない。
【0148】
方式1では、点群のLOD順序に従って、点群における符号化済みの点から目標点の少なくとも1つの近傍点を取得し、例えば、k近傍(k-nearest neighbors、KNN)アルゴリズムに基づいて、点群における符号化済みの点から当該目標点の3つの最近傍点を探し、これら3つの最近傍点の属性情報の再構成値の加重平均値を目標点の属性情報の予測値とする。
【0149】
方式2では、点群のLOD順序に従って、点群における符号化済みの点から目標点の少なくとも1つの近傍点を取得し、例えば、KNNアルゴリズムに基づいて、点群における符号化済みの点から当該目標点の3つの最近傍点を探し、これら3つの最近傍点の各々の属性情報の再構成値を目標点の予測参照値とし、3つの予測参照値を得る。また、3つの近傍点の属性情報の再構成値の平均値を目標点の別の予測参照値とする。このようにして、目標点は合計で(3+1)個の予測参照値を有するようになる。この(3+1)個の予測参照値の各々に対応するRDOコストを計算し、RDOコストが最小である予測参照値を当該目標点の属性情報の予測値とする。
【0150】
一例において、RDOコストを特定する際に、近傍点と目標点との間の距離(例えば、ユークリッド距離)の逆数を、当該近傍点の重みとすることができる。
【0151】
いくつかの実施形態において、表1に基づいて、上記(3+1)個の予測参照値に対応する予測インデックスを特定することができる。
【0152】
【表1】
【0153】
例えば、目標点が図8における点p2であることを例として、点p2に最も近い3つの近傍点はp4、p5及びp1である。p4は、目標点p2の3つの近傍点のうち、p2に最も近い点であり、第一近傍点(即ち、1st nearest point)と表記され、表1に示されるように、その対応の予測インデックスは1である。p5は、目標点p2の3つの近傍点のうち、p4の次に目標点p2に近い点であり、第二近傍点(即ち、2nd nearest point)と表記され、表1に示されるように、その対応の予測インデックスは2である。p1は、目標点p2の3つの近傍点のうち、目標点p2から最も遠い点であり、第三近傍点(即ち、3rd nearest point)と表記され、表1に示されるように、その対応の予測インデックスは3である。表1に示されるように、p4、p5、及びp1の属性情報の再構成値の加重平均値に対応する予測インデックスは0である。
【0154】
上記方法によれば、p4の属性情報の再構成値、p5の属性情報の再構成値、p1の属性情報の再構成値、及びp4、p5、p1の属性情報の再構成値の平均値という(3+1)個の予測参照値の各々に対応するRDOコストを計算し、RDOコストが最小である予測参照値を当該目標点の属性情報の予測値とする。例えば、RDOコストが最小である予測参照値は、点p5の属性情報の再構成値である。
【0155】
選択的に、点群符号器は、点p5に対応する予測インデックス2を、後続に形成される属性ビットストリームに持ち込むことができる。このようにして、復号化側は、当該属性ビットストリームを直接に解析して予測インデックス2を得ることができ、予測インデックス2に対応する点p5の属性情報の再構成値を利用して点p2の属性情報を予測することにより、点p2の属性情報の予測値を得ることができる。
【0156】
S704:点群における点の属性情報の予測値及び属性情報のオリジナル値に基づいて、点群における点の属性情報の残差値を特定する。例えば、点群における1つの目標点を例として、当該目標点の属性情報のオリジナル値と予測値との差を当該目標点の属性情報の残差値として特定する。
【0157】
S705:複数の詳細表現層のうちの少なくとも1つの詳細表現層における少なくとも1つの点の属性情報の残差値を可逆符号化する。
【0158】
いくつかの実施形態において、S705は以下を含むことができる。複数の詳細表現層のうちの1つの詳細表現層における少なくとも1つの点の属性情報の残差値を可逆符号化する。又は、複数の詳細表現層のうちの一部の詳細表現層における少なくとも1つの点の属性情報の残差値を可逆符号化し、複数の詳細表現層のうちの一部の詳細表現層における各点の属性情報の残差値を量子化する。又は、複数の詳細表現層のうちの各々における少なくとも1つの点の属性情報の残差値を可逆符号化する。
【0159】
いくつかの実施形態において、S705は、S705-A1、S705-A2、及びS705-A3を含む。
【0160】
S705-A1:複数の詳細表現層における、含まれる点の総数が第一の予め設定された値以下である少なくとも1つの第一種類の詳細表現層と、含まれる点の総数が第一の予め設定された値より大きい少なくとも1つの第二種類の詳細表現層とを取得する。第一の予め設定された値の具体的な値は、実際のニーズに応じて特定され、本出願では限定されない。
【0161】
S705-A2:第一種類の詳細表現層におけるすべての点の属性情報の残差値を可逆符号化する。
【0162】
S705-A3:第二種類の詳細表現層における少なくとも1つの点の属性情報の残差値を可逆符号化する。
【0163】
上記から分かるように、複数の詳細表現層のうちの各層に含まれる点の数は、同じであってもよく、異なっていてもよい。それに基づいて、複数の詳細表現層のうちの各々に含まれる点の総数に応じて、複数の詳細表現層を第一種類の詳細表現層及び第二種類の詳細表現層に分割する。第一種類の詳細表現層に含まれる点の総数が第一の予め設定された値以下であり、第二種類の詳細表現層に含まれる点の総数が第一の予め設定された値より大きい。例えば、点群に対してLOD分割を行うことにより、14個の詳細表現層を得る。層数の昇順に従って、詳細表現層に含まれる点の数は順に、1、6、28、114、424、1734、10000.......であると仮定する。第一の予め設定された値が24であると仮定し、図9に示されるように、14個の詳細表現層のうちの最初の2つの詳細表現層(即ち、1つの点を含む第一詳細表現層及び6つの点を含む第二詳細表現層)を第一種類の詳細表現層に分類して、2つの第一種類の詳細表現層を取得し、14個のうちの残りの12の詳細表現層(即ち、28個の点を含む第三詳細表現層と、第三詳細表現層の後の他の詳細表現層)を第二種類の詳細表現層に分類して、12の第二種類の詳細表現層を得る。
【0164】
第一種類の詳細表現層におけるすべての点の属性情報の残差値を量子化しない。例えば、14個の詳細表現層のうちの最初の2つの詳細表現層におけるすべての点の属性情報の残差値を可逆符号化する。
【0165】
第二種類の詳細表現層における少なくとも1つの点の属性情報の残差値を量子化しない。例えば、14個の詳細表現層のうちの後の12個の各層における少なくとも1つの点の属性情報の残差値を可逆符号化する。属性情報の残差値が可逆符号化される点を選択する際に、異なる第二種類の詳細表現層は、異なるスキップ量子化(skip quantization)点選択方式を採用してもよく、例えば、各第二種類の詳細表現層は異なる点選択方式を有する。選択的に、異なる第二種類の詳細表現層は、同じスキップ量子化点選択方式を採用してもよく、例えば、各第二種類の詳細表現層は、同じ点選択方式を有する。
【0166】
いくつかの実施形態において、符号化側と復号化側との一致を保つために、符号化側は、第一種類の詳細表現層及び第二種類の詳細表現層の関連情報を属性ビットストリームに持ち込むことができる。このように、復号化側は、属性ビットストリームを解析して、第一種類の詳細表現層及び第二種類の詳細表現層の関連情報を取得し、解析で取得された第一種類の詳細表現層及び第二種類の詳細表現層の関連情報に基づいて、点の属性情報を再構成することができる。
【0167】
いくつかの実施形態において、各第二種類の詳細表現層における、属性情報の残差値が可逆符号化される点の数が同じである場合、S705-A3はS705-A3-1を含む。
【0168】
S705-A3-1:第二種類の詳細表現層におけるM個の点の属性情報の残差値を可逆符号化する。Mは2の正の整数倍であり、例えば、2、4、24、32などである。
【0169】
選択的に、同一の第二種類の詳細表現層におけるM個の点における隣接する2つの点の間の間隔が等しい。例えば、第二種類の詳細表現層1は200個の点を含み、第二種類の詳細表現層2は300個の点を含む。Mが10に等しいと仮定し、第二種類の詳細表現層1における20個の点の属性情報の残差値が可逆符号化され、20個の点はそれぞれ順に、1番目の点、11番目の点、21番目の点、31番目の点、.....181番目の点、191番目の点であり、属性情報の残差値が可逆符号化される、隣接する2つの点の間の間隔が10個の点である。第二種類の詳細表現層2における30個の点の属性情報の残差値が可逆符号化され、30個の点はそれぞれ順に、1番目の点、11番目の点、21番目の点、31番目の点、......、281番目の点、291番目の点であり、属性情報の残差値が可逆符号化される、隣接する2つの点の間の間隔が10個の点である。
【0170】
いくつかの実施形態において、以下のプログラムに基づいて、符号化側の属性パラメータセットにMを追加することにより、符号化パラメータを介して、各第二種類の詳細表現層における、量子化されない等間隔の点の具体的な数を設定することができる。
【表2】
aps_equal_intervals_unquantized_numは、各第二種類の詳細表現層における、量子化されない等間隔の点の数を示し、例えば、24である。
【0171】
いくつかの実施形態において、少なくとも1つの第二種類の詳細表現層はL個の第二種類の詳細表現層を含み、異なる第二種類の詳細表現層における、属性情報の残差値が可逆符号化される点の数が異なる場合、S705-A3は、S705-A3-2及びS705-A3-3を含む。
【0172】
S705-A3-2:P個の第二種類の詳細表現層のうちの各々における第一の数の点の属性情報の残差値を可逆符号化する。
【0173】
S705-A3-3:Q個の第二種類の詳細表現層のうちの各々における第二の数の点の属性情報の残差値を可逆符号化する。
【0174】
Lは2以上の正の整数であり、P、Qはいずれも正の整数であり、且つPとQとの合計はL以下であり、P個の第二種類の詳細表現層とQ個の第二種類の詳細表現層は重ならず、第一の数と第二の数は異なる。
【0175】
P個の第二種類の詳細表現層は、L個の第二種類の詳細表現層のうちの任意のP個の第二種類の詳細表現層であることができ、これらP個の第二種類の詳細表現層は、連続的な第二種類の詳細表現層であってもよく、非連続的な第二種類の詳細表現層であってもよい。
【0176】
Q個の第二種類の詳細表現層は、L個の第二種類の詳細表現層のうちのP個の第二種類の詳細表現層以外の任意のQ個の第二種類の詳細表現層であることができ、これらQ個の第二種類の詳細表現層は、連続的な第二種類の詳細表現層であってもよく、非連続的な第二種類の詳細表現層であってもよい。
【0177】
例えば、図9に示されるように、Lは12に等しく、この12個の第二種類の詳細表現層からP(例えば、P=7)個の第二種類の詳細表現層を任意に選択し、残りの7個の第二種類の詳細表現層からQ(例えば、Q=7)個の第二種類の詳細表現層を任意に選択する。
【0178】
一例において、P個の第二種類の詳細表現層は、L個の第二種類の詳細表現層のうち前のP個の第二種類の詳細表現層である。
【0179】
一例において、Q個の第二種類の詳細表現層は、L個の第二種類の詳細表現層のうちの後のQ個の第二種類の詳細表現層である。
【0180】
図9を引き続き参照すると、12個の第二種類の詳細表現層のうちの前のP(例えば、P=7)個の第二種類の詳細表現層をP個の第二種類の詳細表現層とし、12個の第二種類の詳細表現層のうちの後のQ(例えば、Q=7)個の第二種類の詳細表現層をQ個の第二種類の詳細表現層とする。P個の第二種類の詳細表現層はそれぞれ連続であり、Q個の第二種類の詳細表現層はそれぞれ連続である。
【0181】
いくつかの実施形態において、図9に示されるように、点群の複数の詳細表現層が14個の詳細表現層を含む場合、Pは7又は8であることができる。
【0182】
一例において、P個の第二種類の詳細表現層のうちの最後の第二種類の詳細表現層は、Q個の第二種類の詳細表現層のうちの1番目の第二種類の詳細表現層に隣接する。例えば、図9に示されるように、P=7、Q=7と仮定すると、P個の第二種類の詳細表現層のうちの最後の第二種類の詳細表現層は、7番目の詳細表現層であり、Q個の第二種類の詳細表現層のうちの1番目の第二種類の詳細表現層は8番目の詳細表現層であり、7番目の詳細表現層は8番目の詳細表現層に隣接する。
【0183】
上記方法に基づいて、L個の第二種類の詳細表現層を、P個の第二種類の詳細表現層及びQ個の第二種類の詳細表現層に分割する。P個の第二種類の詳細表現層の各々に対して、当該第二種類の詳細表現層における第一の数の点の属性情報の残差値を量子化しない。Q個の第二種類の詳細表現層の各々に対して、当該第二種類の詳細表現層における第二の数の点の属性情報の残差値を量子化しない。
【0184】
P個の第二種類の詳細表現層がQ個の第二種類の詳細表現層の前に位置する場合、第一の数は第二の数より大きく、例えば、第一の数は24、32、又は64であり、対応する第二の数は8、16、又は32であることができる。属性情報の予測プロセスにおいて、例えば、図8に示されるように、層数の昇順に従って複数の詳細表現層を並び替えることにより、点群のLOD順序を取得し、点群のLOD順序に従って、属性情報を符号化する。予測プロセスにおいて、LOD順序で上位に並び替えられた点が後続の予測プロセスにおいて参照点として用いられる可能性が高い。そこで、属性情報の再構成値に対する量子化の影響を低減するために、上位に並び替えられたP個の第二種類の詳細表現層における多くの点の属性情報の残差値を量子化しない。冗長性を解消するために、下位に並び替えられたQ個の第二種類の詳細表現層における少ない点の属性情報の残差値を量子化しない。
【0185】
いくつかの実施形態において、第一の数は第二の数の正の整数倍であり、例えば、第一の数は第二の数の3倍又は2倍であり、例えば、第一の数は24であり、第二の数は8である。
【0186】
一例において、P個の第二種類の詳細表現層のうちの各々における第一の数の点における隣接する2つの点の間の間隔が等しい。
【0187】
一例において、Q個の第二種類の詳細表現層のうちの各々における第二の数の点における隣接する2つの点の間の間隔が等しい。
【0188】
上記方法を採用することにより、異なる詳細表現層における異なる数の点の属性情報の残差値が可逆符号化された後、以下のS706及びS707が実行される。なお、S706及びS707の実行順序が限定されず、S706はS707の前、S707の後、又はS707と同時に実行されることができる。本出願では、それについては限定されない。
【0189】
S706:目標点の属性情報の残差値及び属性情報の予測値に基づいて、目標点の属性情報の再構成値を特定する。目標点は、点群における、属性情報の残差値が可逆符号化される点である。
【0190】
目標点の属性情報の残差値が量子化されていないため、再構成プロセスにおいて、目標点の属性情報の残差値を逆量子化する必要がなく、目標点の属性情報の残差値及び予測値に基づいて、目標点の属性情報の再構成値を直接に特定することができる。
【0191】
例えば、下記数4に基づいて、目標点の属性情報の再構成値を特定する。
【数4】
reconstructedColorは目標点の属性情報の再構成値であり、目標点の色属性情報の再構成値とも呼ばれ、attrPredValueは目標点の属性情報の予測値であり、attrResidualは目標点の属性情報の残差値である。attrResidualは下記数5に基づいて得られることができる。
【数5】
attrValueは属性情報のオリジナル値である。
【0192】
S707:属性ビットストリームを生成する。当該属性ビットストリームは第一情報を含み、第一情報は、属性情報の残差値が可逆符号化される点を指示するために用いられる。
【0193】
いくつかの実施形態において、第一情報は、属性情報の残差値が可逆符号化される点のフラグ情報を含む。点群に、属性情報の残差値が可逆符号化される100個の点が含まれる場合、100個の点のフラグ情報は、属性ビットストリームに持ち込まれる。復号化側は、属性ビットストリームを解析して、属性情報の残差値が可逆符号化される点のフラグ情報とそれらの点の属性情報の残差値とを得た後、当該フラグ情報に対応する点の属性情報の残差値を逆量子化せず、それらの点の属性情報の残差値を直接に利用して属性情報を再構成し、それによって、符号化側と一致するようにする。
【0194】
いくつかの実施形態において、第一情報は、属性情報の残差値が可逆符号化される点の総数を含み、例えば、上記Nを含む。
【0195】
いくつかの実施形態において、L個の第二種類の詳細表現層のうちの各層に含まれる、属性情報の残差値が可逆符号化される点の数が同じであり、且つそれらの点が等間隔に並んでいる場合、第一情報は、各第二種類の詳細表現層における、属性情報の残差値が可逆符号化される等間隔の点の具体的な数(num)を含み、即ち、属性ビットストリームにnumが持ち込まれる。
【0196】
この例では、第二種類の詳細表現層における、属性情報の残差値が可逆符号化される1番目の点が第二種類の詳細表現層における1番目の点ではない場合、第一情報は、属性情報の残差値が可逆符号化される1番目の点のフラグ情報をさらに持ち込む必要がある。
【0197】
いくつかの実施形態において、P個の第二種類の詳細表現層及びQ個の第二種類の詳細表現層における、可逆符号化される点がいずれも等間隔に並んでいる場合、第一情報は、第一の数と、第二の数と、P個の第二種類の詳細表現層及びQ個の第二種類の詳細表現層の分割情報と、をさらに含む。
【0198】
この例では、P個の第二種類の詳細表現層のうちの最後の第二種類の詳細表現層がQ個の第二種類の詳細表現層のうちの1番目の第二種類の詳細表現層に隣接する場合、分割情報は、Q個の第二種類の詳細表現層のうちの1番目の第二種類の詳細表現層のフラグ情報、又は、P個の第二種類の詳細表現層のうちの最後の第二種類の詳細表現層のフラグ情報、又は、P及び/もしくはQをさらに含む。このように、復号化側は、それらの情報に基づいて、L個の第二種類の詳細表現層からP個の第二種類の詳細表現層及びQ個の第二種類の詳細表現層を特定し、さらに、P個の第二種類の詳細表現層のうちの各層における第一の数の等間隔の点の属性情報の残差値を可逆符号化し、Q個の第二種類の詳細表現層のうちの各層における第二の数の等間隔の点の属性情報の残差値を可逆符号化することができる。
【0199】
この例において、第一情報は、各第二種類の詳細表現層における、属性情報の残差値が可逆符号化される1番目の点のフラグ情報をさらに含むことができる。
【0200】
本出願の技術的解決策はG-PCC参照ソフトウェアTMC13 V11.0で実現された後、ジェネラルテスト設定CTC CYなどのテスト条件で、MPEGによって要求される一部の点群テストシリーズ(cat1-A及びcat1-B)をテストする。テストの結果は下記表1に示されている。
【表3】
【0201】
cat1-A点群シリーズにおける点は、色属性情報と、反射率属性情報などの他の属性情報とを含み、cat1-B点群シリーズにおける点は、色属性情報を含む。BD-AttrRateは、ビデオ符号化アルゴリズムの性能を評価する主要なパラメータの1つであり、従来のアルゴリズムと比べて、新しいアルゴリズム(即ち、本出願の技術的解決策)によって符号化されたビデオのビットレート及びピーク信号対雑音比(peak signal-to-noise ratio、PSNR)の変化、即ち、同じPSNRである場合の、従来のアルゴリズムに対する新しいアルゴリズムのビットレートの変化を示す。「-」は、性能の向上を示し、例えば、ビットレート及びPSNRの性能の向上を示す。表1に示されるように、cat1-A点群シリーズでは、従来技術と比べて、本出願の技術的解決策を採用することにより、輝度コンポーネントでは0.8%、彩度コンポーネントCbでは4.1%、彩度コンポーネントCrでは5.4%の性能向上が見られる。「平均値」は、cat1-A点群シリーズ及びcat1-B点群シリーズの性能向上の平均値を示す。
【0202】
以上、本出願の実施形態に係る点群符号化方法を説明した。それに基づいて、復号化側について、本出願に係る点群復号化方法を以下に説明する。
【0203】
図10は、本出願の実施形態に係る点群復号化方法800を示すフローチャートである。図10に示されるように、本出願の実施形態に係る方法は以下の内容を含む。
【0204】
S801:点群のビットストリームを復号化することにより、点群における点の幾何情報を特定する。
【0205】
なお、点群における点の幾何情報の復号化を完了した後、属性情報の復号化を実行する。幾何ビットストリームの復号化を完了した後、点群における点の幾何情報を得ることができる。
【0206】
S802:点群における点の幾何情報に基づいて、点群における点の属性情報の予測値を特定する。
【0207】
具体的に、点群における点の幾何情報を復号化することにより、点群における点の幾何情報の再構成値を取得し、点群における点の幾何情報の再構成値に基づいて、点群における点の属性情報の予測値を特定する。なお、S802の具体的な実現プロセスについては、S602の記載を参照することができ、ここでは繰り返さない。
【0208】
S803:点群のビットストリームを復号化することにより、点群における点の属性情報の残差値を得る。残差値は、属性情報の残差値が可逆符号化されると特定された少なくとも1つの点の残差値を含む。
【0209】
いくつかの実施形態において、S803の復号化プロセスは、点群における点の属性情報の残差情報を可逆復号化することにより、点群における点の属性情報の残差値を得ることと呼ぶことができる。点の属性情報の残差値を可逆復号化することは、点の属性情報の残差値を量子化しないこと、又は、点の属性情報の残差値をスケーリング(scaling)しないことと呼ぶこともできる。点の属性情報の残差値に対する量子化は、点の属性情報の残差値に対するスケーリングとも呼ばれる。
【0210】
いくつかの実施形態において、S803は、以下のS803-A1~S803-A3を含む。
【0211】
S803-A1:点群のビットストリームを復号化することにより、属性情報の残差値が可逆符号化されると特定された点を指示するために用いられる第一情報を得る。
【0212】
点群の属性ビットストリームを復号化することにより、点群における点の属性情報の残差情報及び第一情報を得ることができる。当該第一情報は、属性情報の残差値が可逆符号化される(又は、量子化されていない)と特定され点を指示するために用いられる。
【0213】
一例において、第一情報は、属性情報の残差値が可逆符号化されると特定された点のフラグ情報を含む。例えば、符号化側は、異なる点選択モードを採用して、属性情報の残差値が量子化されない点を選択し、対応する第一情報は、属性情報の残差値が量子化されていない点の点選択モードの番号又はインデックスを含むことができる。
【0214】
別の例において、第一情報は、属性情報の残差値が可逆符号化されると特定された点の総数を含む。
【0215】
S803-A2:点群のビットストリームを復号化することにより、点群における復号対象点の属性情報の残差情報を取得し、第一情報に基づいて、点群における復号対象点の属性情報の残差情報が可逆符号化されるか否かを特定する。
【0216】
S803-A3:復号対象点の属性情報の残差情報が可逆符号化されると特定する場合、復号対象点の属性情報の残差情報を復号対象点の属性情報の残差値とする。
【0217】
S803-A4:復号対象点の属性情報の残差情報が量子化されると特定する場合、逆量子化(即ち、スケーリング)後の復号対象点の属性情報の残差情報を復号対象点の属性情報の残差値とする。
【0218】
いくつかの実施形態において、S803-A2では、第一情報に持ち込まれる情報が異なる場合、復号対象点の属性情報の残差情報が可逆符号化されるか否かを特定する方式が異なる。なお、具体的な実現プロセスは、以下のようないくつかのケースを含むが、これらに限定されない。
【0219】
ケース1において、第一情報はNを含み、Nは、点群における、属性情報の残差値が可逆符号化されると特定された点の総数であり、Nは2の整数倍である。選択的に、N個の点における隣接する2つの点ごとの間の間隔が等しい。
【0220】
このケースでは、S803-A2は、S803-A21を含む。
【0221】
S803-A21:復号対象点がN個の点のうちの1つの点であると特定する場合、復号対象点の属性情報の残差情報が可逆符号化されると特定する。例えば、点群における点の幾何情報に基づいて点群における点を並び替え、並び替えられた点群を得る。並び替えられた点群に対して、点の総数及びNの値に基づいて、N個の点における隣接する2つの点の間の間隔を特定し、当該間隔に基づいて、復号対象点がN個の点のうちの1つであるか否かを判断する。例えば、間隔は10であり、復号対象点は並び替えられた点群における21番目の点であり、点群における1番目の点から、10個の点を隔てた点は属性情報の残差値が可逆符号化されると特定された点であり、即ち、順に、1番目の点、11番目の点、21番目の点......である。さらに、復号対象点は、属性情報の残差情報が可逆符号化されると特定された点であると特定される。
【0222】
ケース2において、第一情報は予め設定された間隔を含み、当該予め設定された間隔は、点群における可逆符号化されると特定された、隣接する2つの点の間の間隔である。
【0223】
このケースでは、S803-A2は、S803-A22を含む。
【0224】
S803-A22:予め設定された間隔に基づいて、復号対象点と属性情報の残差値が可逆符号化されると特定された前の点との間の間隔が予め設定された間隔に等しいと特定する場合、復号対象点の属性情報の残差情報が可逆符号化されると特定する。
【0225】
いくつかの実施形態において、復号対象点の属性情報の残差情報が可逆符号化されると特定する場合、以下の方式で復号対象点の属性情報の残差を逆量子化しない。即ち、S803-A3は以下の方式で実現されることができる。
【0226】
方式1では、点群における点の属性情報の残差情報を逆量子化するプロセスにおいて、当該復号対象点をスキップする。
【0227】
方式2では、当該復号対象点の逆量子化ステップサイズを1に設定する。
【0228】
方式3では、当該復号対象点のQPを目標値に設定する。目標値は逆量子化ステップサイズが1である際の対応のQP値である。
【0229】
S804:点群における点の属性情報の予測値及び残差値に基づいて、点群における点の属性情報の再構成値を特定する。
【0230】
点群における1つの復号対象点を例として、復号対象点の属性情報の残差値が符号化側で可逆符号化されると特定する場合、当該復号対象点の属性情報の残差情報が復号化側で可逆復号化されると特定する。即ち、下記数6を利用して、復号対象点の属性情報の再構成値を特定する。
【数6】
reconstructedColorは復号対象点の属性情報の再構成値であり、復号対象点の色属性情報の再構成値とも呼ばれ、attrPredValueは復号対象点の属性情報の予測値であり、attrResidualは復号対象点の属性情報の残差値である。
【0231】
復号対象点の属性情報の残差値が符号化側で量子化されると特定する場合、当該復号対象点の属性情報の残差情報が復号化側で逆量子化されると特定する。即ち、下記数7を利用して、復号対象点の属性情報の再構成値を特定する。
【数7】
Qstepは、量子化ステップサイズである。
【0232】
図11は、本出願の実施形態に係る点群復号化方法900を示すフローチャートである。図11に示されるように、本出願の実施形態に係る方法は、以下の内容を含む。
【0233】
S901:幾何ビットストリームを復号化することにより、点群における点の幾何情報を特定する。
【0234】
S902:点群における点の幾何情報に基づいて、点群に対してLOD分割を行うことにより、点群の複数の詳細表現層を得る。各詳細表現層に少なくとも1つの点が含まれている。
【0235】
S903:属性ビットストリームを復号化することにより、属性情報の残差値が可逆符号化されると特定された点を指示するために用いられる第一情報を得る。
【0236】
S904:点群における復号対象点の幾何情報及び複数の詳細表現層に基づいて、復号対象点の属性情報の予測値を特定する。例えば、複数の詳細表現層に基づいて、点群における点を並び替え、LOD順を取得し、復号対象点の幾何情報に基づいて、当該LOD順において、復号対象点の復号化された少なくとも1つの近傍点を取得し、復号化された少なくとも1つの近傍点の属性情報の再構成値に基づいて当該復号対象点の属性情報の予測値を特定する。
【0237】
S905:属性ビットストリームを復号化することにより、復号対象点の属性情報の残差情報を得る。第一情報に基づいて、復号対象点の属性情報の残差情報が可逆符号化されるか否かを特定する。
【0238】
本ステップでは、第一情報に持ち込まれる情報が異なる場合、実現方式も異なる。具体的な実現プロセスには、以下のいくつかのケースを含むが、これらに限定されない。
【0239】
ケース1では、第一情報が第一の予め設定された値を含む場合、第一の予め設定された値は、含まれる点の総数が第一の予め設定された値以下である詳細表現層を第一種類の詳細表現層に分類し、含まれる点の総数が第一の予め設定された値より大きい詳細表現層を第二種類の詳細表現層に分類することを指示するために用いられる。
【0240】
このケースでは、S905は、S905-C1及びS905-C2を含む。
【0241】
S905-C2:第一の予め設定された値に基づいて、複数の詳細表現層における、含まれる点の総数が第一の予め設定された値以下である少なくとも1つの第一種類の詳細表現層と、含まれる点の総数が第一の予め設定された値より大きい少なくとも1つの第二種類の詳細表現層とを取得する。
【0242】
S905-C3:復号対象点が第一種類の詳細表現層に属する場合、復号対象点の属性情報の残差情報が可逆符号化されると特定する。
【0243】
ケース4では、第一情報はMを含み、Mは、1つの第二種類の詳細表現層における、属性情報の残差値が可逆符号化されると特定された点の数であり、2の正の整数倍である。選択的に、M個の点における隣接する2つの点の間の間隔が等しい。
【0244】
このケースでは、S905はS905-D1を含む。
【0245】
S905-D1:復号対象点がM個の点のうちの1つの点である場合、復号対象点の属性情報の残差情報が可逆符号化されると特定する。
【0246】
ケース5では、少なくとも1つの第二種類の詳細表現層はL個の第二種類の詳細表現層を含み、第一情報は第一の数と、第二の数と、P個の第二種類の詳細表現層及びQ個の第二種類の詳細表現層の分割情報とを含む。第一の数は、P個の第二種類の詳細表現層のうちの各層における、属性情報の残差値が可逆符号化されると特定された点の数であり、第二の数は、Q個の第二種類の詳細表現層のうちの各層における、属性情報の残差値が可逆符号化されると特定された点の数である。
【0247】
一例において、第一の数は第二の数より大きく、例えば、第一の数は24であり、第二の数は8である。
【0248】
一例において、第一の数は、第二の数の正の整数倍である。例えば、第一の数は第二の数の2倍であり、例えば、第一の数は24であり、第二の数は12である。又は、第一の数は第二の数の3倍であり、例えば、第一の数は24であり、第二の数は8である。
【0249】
一例において、第一の数の点における隣接する2つの点の間の間隔が等しい。
【0250】
一例において、第二の数の点における隣接する2つの点の間の間隔が等しい。
【0251】
このケースでは、S905は、S905-E1及びS905-E2を含む。
【0252】
S905-E1:復号対象点がP個の第二種類の詳細表現層における、属性情報の残差値が可逆符号化されると特定された第一の数の点のうちの1つの点であると特定する場合、復号対象点の属性情報の残差情報が可逆符号化されると特定する。
【0253】
S905-E2:復号対象点がQ個の第二種類の詳細表現層における、属性情報の残差値が可逆符号化されると特定された第二の数の点のうちの1つの点であると特定する場合、復号対象点の属性情報の残差情報が可逆符号化されると特定する。
【0254】
Lは2以上の正の整数であり、P、Qは正の整数であり、且つPとQとの合計はL以下であり、P個の第二種類の詳細表現層とQ個の第二種類の詳細表現層は重ならず、第一の数と第二の数は異なる。
【0255】
一例において、P個の第二種類の詳細表現層は、L個の第二種類の詳細表現層のうちの前のP個の第二種類の詳細表現層である。
【0256】
一例において、Q個の第二種類の詳細表現層は、L個の第二種類の詳細表現層のうちの後のQ個の第二種類の詳細表現層である。
【0257】
一例において、P個の第二種類の詳細表現層のうちの最後の第二種類の詳細表現層は、Q個の第二種類の詳細表現層のうちの1番目の第二種類の詳細表現層に隣接する。
【0258】
この例において、分割情報は、Q個の第二種類の詳細表現層のうちの1番目の第二種類の詳細表現層のフラグ情報、又は、P個の第二種類の詳細表現層のうちの最後の第二種類の詳細表現層のフラグ情報を含むことができる。
【0259】
いくつかの実施形態において、第一情報は、第二種類の詳細表現層における、属性情報の残差値が可逆符号化されると特定された1番目の点のフラグ情報をさらに含む。
【0260】
S906:復号対象点の属性情報の残差情報が可逆符号化されると特定する場合、復号対象点の属性情報の残差情報を復号対象点の属性情報の残差値とする。復号対象点の属性情報の残差情報が非可逆符号化される(即ち、量子化される)と特定する場合、逆量子化後の復号対象点の属性情報の残差情報を復号対象点の属性情報の残差値とする。
【0261】
S907:復号対象点の属性情報の予測値及び残差値に基づいて、復号対象点の属性情報の再構成値を特定する。
【0262】
なお、図6図7図10及び図11は、本出願の単なる例示であり、本出願を限定するものと解釈されるべきではない。
【0263】
以上、添付図面を参照しながら本出願の好適な実施形態について詳細に説明したが、本出願は上記実施形態の詳細な内容に限定されるものではなく、本出願の技術的思想の範囲内において、本出願の技術的解決策に様々な簡単な変更を加えることが可能であり、それらの簡単な変更はいずれも本出願の保護範囲に属する。例えば、上記具体的な実施形態で述べられた各具体的な技術的特徴は、矛盾のない場合、いかなる適当な手段により組み合わせてもよく、不要な重複を避けるために、本出願では様々な可能な組合せについて改めて説明しない。また、例えば、本出願の様々な異なる実施形態間において、本出願の思想に反しない限り、いかなる組合せであっても本出願に開示されるものとみなされるべきである。
【0264】
なお、本出願の様々な方法実施形態において、上記各プロセスのシーケンス番号の大きさは、実行順序を意味するものではないことを理解されたい。各プロセスの実行順序は、その機能及び内部論理によって確定されるべきであり、本出願の実施態様の実施プロセスに対するいかなる制限を構成すべきではない。本出願の実施形態では、用語「及び/又は」(及び/もしくは)は単に関連対象の関連関係を説明するものであり、3種類の関係が存在することを示す。例えば、A及び/又はBの場合は、Aのみが存在すること、AとBが同時に存在すること、Bのみが存在することという3つの状況を示す。また、本明細書では、符号「/」は一般的に前後の関連対象が「又は」の関係にあることを示す。
【0265】
以上、図6図11を参照しながら、本出願の方法実施形態について詳細に説明した。以下、図12図14を参照しながら、本出願の装置実施形態について詳細に説明する。
【0266】
図12は、本出願の実施形態に係る点群符号器10を示すブロック図である。
【0267】
図12に示されるように、点群符号器10は取得ユニット11、予測ユニット12、残差ユニット13及び符号化ユニット14を備える。
【0268】
取得ユニット11は、点群における点の幾何情報及び属性情報を取得するように構成されている。予測ユニット12は、点群における点の幾何情報に基づいて、点群における点の属性情報の予測値を特定するように構成されている。例えば、予測ユニット12は、点群における点の幾何情報を符号化することにより、点群における点の幾何情報の再構成値を得、点群における点の幾何情報の再構成値に基づいて、点群における点の属性情報の予測値を特定するように構成されている。残差ユニット13は、点群における点の属性情報の予測値に基づいて、点群における点の属性情報の残差値を特定するように構成されている。例えば、残差ユニット13は、点群における点の属性情報のオリジナル値と属性情報の予測値との差を、点群における点の属性情報の残差値として特定するように構成されている。符号化ユニット14は、第一符号化プロセスを利用して点群における点の属性情報の残差値を処理するように構成されている。第一符号化プロセスでは、点群における少なくとも1つの点の属性情報の残差値が可逆符号化される。
【0269】
いくつかの実施形態において、符号化ユニット14は、点群における少なくとも1つの点の属性情報の残差値を可逆符号化するように構成されている。
【0270】
いくつかの実施形態において、少なくとも1つの点はN個の点を含む。
【0271】
選択的に、Nは2の整数倍である。
【0272】
選択的に、N個の点における隣接する2つの点ごとの間の間隔が等しい。
【0273】
いくつかの実施形態において、符号化ユニット14は具体的に、予め設定された間隔に基づいて、点群における、予め設定された間隔を隔てた点の属性情報の残差値を可逆符号化するように構成されている。
【0274】
いくつかの実施形態において、符号化ユニット14は具体的に、点群における点の幾何情報に基づいて、点群に対してLOD分割を行うことにより、点群の複数の詳細表現層を得るように構成されている。各詳細表現層に少なくとも1つの点が含まれている。符号化ユニット14は、複数の詳細表現層のうちの少なくとも1つの詳細表現層における少なくとも1つの点の属性情報の残差値を可逆符号化するように構成されている。
【0275】
いくつかの実施形態において、符号化ユニット14は具体的に、複数の詳細表現層における、含まれる点の総数が第一の予め設定された値以下である少なくとも1つの第一種類の詳細表現層と、含まれる点の総数が第一の予め設定された値より大きい少なくとも1つの第二種類の詳細表現層とを取得し、第一種類の詳細表現層におけるすべての点の属性情報の残差値を可逆符号化し、第二種類の詳細表現層における少なくとも1つの点の属性情報の残差値を可逆符号化するように構成されている。
【0276】
いくつかの実施形態において、符号化ユニット14は具体的に、第二種類の詳細表現層におけるM個の点の属性情報の残差値を可逆符号化するように構成されている。Mは2の正の整数倍である。
【0277】
いくつかの実施形態において、少なくとも1つの第二種類の詳細表現層はL個の第二種類の詳細表現層を含む。符号化ユニット14は具体的に、P個の第二種類の詳細表現層のうちの各々における第一の数の点の属性情報の残差値を可逆符号化し、Q個の第二種類の詳細表現層のうちの各々における第二の数の点の属性情報の残差値を可逆符号化するように構成されている。Lは2以上の正の整数であり、P、Qは正の整数であり、且つPとQとの合計はL以下であり、P個の第二種類の詳細表現層とQ個の第二種類の詳細表現層は重ならず、第一の数と第二の数は異なる。
【0278】
いくつかの実施形態において、P個の第二種類の詳細表現層は、L個の第二種類の詳細表現層のうちの前のP個の第二種類の詳細表現層である。
【0279】
いくつかの実施形態において、Q個の第二種類の詳細表現層は、L個の第二種類の詳細表現層のうちの後のQ個の第二種類の詳細表現層である。
【0280】
いくつかの実施形態において、P個の第二種類の詳細表現層のうちの最後の第二種類の詳細表現層は、Q個の第二種類の詳細表現層のうちの1番目の第二種類の詳細表現層に隣接する。
【0281】
選択的に、第一の数は第二の数より大きい。
【0282】
選択的に、第一の数は、第二の数の正の整数倍である。
【0283】
選択的に、第一の数の点における隣接する2つの点ごとの間の間隔が等しい。
【0284】
選択的に、第二の数の点における隣接する2つの点ごとの間の間隔が等しい。
【0285】
いくつかの実施形態において、点群符号器10は、再構成ユニット15をさらに備える。再構成ユニット15は具体的に、目標点の属性情報の残差値及び属性情報の予測値に基づいて、目標点の属性情報の再構成値を特定するように構成されている。目標点は、点群における、属性情報の残差値が可逆符号化される点である。
【0286】
いくつかの実施形態において、再構成ユニット15は具体的に、reconstructedColor=attrResidual+attrPredValueという式に基づいて、目標点の属性情報の再構成値を特定するように構成されている。reconstructedColorは目標点の属性情報の再構成値であり、attrResidualは目標点の属性情報の残差値であり、attrPredValueは目標点の属性情報の予測値である。
【0287】
いくつかの実施形態において、符号化ユニット14は、ビットストリームを生成するように構成されている。ビットストリームは第一情報を含み、第一情報は、属性情報の残差値が可逆符号化される点を指示するために用いられる。
【0288】
いくつかの実施形態において、第一情報は、属性情報の残差値が可逆符号化される点のフラグ情報を含む。
【0289】
いくつかの実施形態において、第一情報は、属性情報の残差値が可逆符号化される点の数を含む。
【0290】
いくつかの実施形態において、第一情報は、第一の数と、第二の数と、P個の第二種類の詳細表現層及びQ個の第二種類の詳細表現層の分割情報と、を含む。
【0291】
いくつかの実施形態において、P個の第二種類の詳細表現層のうちの最後の第二種類の詳細表現層がQ個の第二種類の詳細表現層のうちの1番目の第二種類の詳細表現層に隣接する場合、分割情報は、Q個の第二種類の詳細表現層のうちの1番目の第二種類の詳細表現層のフラグ情報、又は、P個の第二種類の詳細表現層のうちの最後の第二種類の詳細表現層のフラグ情報をさらに含む。
【0292】
いくつかの実施形態において、第一情報は、第二種類の詳細表現層における、属性情報の残差値が可逆符号化される1番目の点のフラグ情報をさらに含む。
【0293】
いくつかの実施形態において、符号化ユニット14は具体的に、点群における点の属性情報の残差値を量子化するプロセスにおいて、属性情報の残差値が可逆符号化される少なくとも1つの点をスキップし、又は、属性情報の残差値が可逆符号化される少なくとも1つの点の量子化ステップサイズを1に設定し、又は、属性情報の残差値が可逆符号化される少なくとも1つの点のQPを目標値に設定するように構成されている。目標値は、量子化ステップサイズが1である際の対応のQP値である。
【0294】
いくつかの実施形態において、第一情報は、第一の予め設定された値をさらに含む。
【0295】
なお、装置実施形態と方法実施形態は互いに対応することができ、装置実施形態の類似の説明については、方法実施形態を参照することができる。重複を避けるため、ここではその説明を省略する。具体的に、図12に示された点群符号器10は、本出願の実施形態における方法を実行することが可能であり、また、点群符号器10における各ユニットの上記及び他の操作及び/又は機能はそれぞれ、方法600及び700などの各々における対応のプロセスを実現するために用いられる。簡潔のため、ここでの説明を省略する。
【0296】
図13は、本出願の実施形態に係る点群復号器20を示すブロック図である。
【0297】
図13に示されるように、当該点群復号器20は復号化ユニット21、予測ユニット22、特定ユニット23及び再構成ユニット24を備える。
【0298】
復号化ユニット21は、点群のビットストリームを復号化することにより、点群における点の幾何情報を特定するように構成されている。予測ユニット22は、点群における点の幾何情報に基づいて、点群における点の属性情報の予測値を特定するように構成されている。特定ユニット23は、点群のビットストリームを復号化することにより、点群における点の属性情報の残差値を得るように構成されている。残差値は、属性情報の残差値が可逆符号化されると特定された少なくとも1つの点の残差値を含む。再構成ユニット24は、点群における点の属性情報の予測値及び残差値に基づいて、点群における点の属性情報の再構成値を特定するように構成されている。
【0299】
いくつかの実施形態において、特定ユニット23は具体的に、点群のビットストリームを復号化することにより、属性情報の残差値が可逆符号化されると特定された点を指示するために用いられる第一情報を得、点群のビットストリームを復号化することにより、点群における復号対象点の属性情報の残差情報を得、第一情報に基づいて、点群における復号対象点の属性情報の残差情報が可逆符号化されるか否かを特定し、復号対象点の属性情報の残差情報が可逆符号化されると特定する場合、復号対象点の属性情報の残差情報を復号対象点の属性情報の残差値とし、復号対象点の属性情報の残差情報が非可逆符号化されると特定する場合、逆量子化後の復号対象点の属性情報の残差情報を復号対象点の属性情報の残差値とするように構成されている。
【0300】
いくつかの実施形態において、第一情報はNを含み、Nは、点群における、属性情報の残差値が可逆符号化されると特定された点の総数である。
【0301】
選択的に、Nは2の整数倍である。
【0302】
選択的に、N個の点における隣接する2つの点ごとの間の間隔が等しい。
【0303】
いくつかの実施形態において、特定ユニット23は具体的に、復号対象点がN個の点のうちの1つの点であると特定する場合、復号対象点の属性情報の残差情報が可逆符号化されると特定するように構成されている。
【0304】
いくつかの実施形態において、特定ユニット23は具体的に、第一情報が予め設定された間隔を含む場合、予め設定された間隔に基づいて、復号対象点と属性情報の残差値が可逆符号化されると特定された前の点との間の間隔が予め設定された間隔に等しいと特定すれば、復号対象点の属性情報の残差情報が可逆符号化されると特定するように構成されている。
【0305】
いくつかの実施形態において、特定ユニット23はさらに、点群における点の幾何情報に基づいて、点群に対してLOD分割を行うことにより、点群の複数の詳細表現層を得るように構成されている。各詳細表現層に少なくとも1つの点が含まれている。
【0306】
いくつかの実施形態において、第一情報が第一の予め設定された値を含む場合、特定ユニット23は具体的に、第一の予め設定された値に基づいて、複数の詳細表現層における、含まれる点の総数が第一の予め設定された値以下である少なくとも1つの第一種類の詳細表現層と、含まれる点の総数が第一の予め設定された値より大きい少なくとも1つの第二種類の詳細表現層とを取得し、復号対象点が第一種類の詳細表現層に属する場合、復号対象点の属性情報の残差情報が可逆符号化されると特定するように構成されている。
【0307】
いくつかの実施形態において、第一情報がMを含み、Mが、第二種類の詳細表現層における、属性情報の残差値が可逆符号化されると特定された点の数であり、且つMが2の正の整数倍である場合、特定ユニット23は具体的に、復号対象点がM個の点のうちの1つの点である場合、復号対象点の属性情報の残差情報が可逆符号化されると特定するように構成されている。
【0308】
いくつかの実施形態において、少なくとも1つの第二種類の詳細表現層はL個の第二種類の詳細表現層を含む。第一情報が第一の数と、第二の数と、P個の第二種類の詳細表現層及びQ個の第二種類の詳細表現層の分割情報とを含む場合、特定ユニット23は具体的に、分割情報に基づいて、L個の第二種類の詳細表現層を分割することにより、P個の第二種類の詳細表現層及びQ個の第二種類の詳細表現層を得、復号対象点がP個の第二種類の詳細表現層における、属性情報の残差値が可逆符号化されると特定された第一の数の点のうちの1つの点であると特定する場合、復号対象点の属性情報の残差情報が可逆符号化されると特定し、復号対象点がQ個の第二種類の詳細表現層における、属性情報の残差値が可逆符号化されると特定された第二の数の点のうちの1つの点であると特定する場合、復号対象点の属性情報の残差情報が可逆符号化されると特定するように構成されている。Lは2以上の正の整数であり、P、Qは正の整数であり、且つPとQとの合計はL以下であり、P個の第二種類の詳細表現層とQ個の第二種類の詳細表現層は重ならず、第一の数と第二の数は異なる。
【0309】
選択的に、P個の第二種類の詳細表現層は、L個の第二種類の詳細表現層のうちの前のP個の第二種類の詳細表現層である。
【0310】
選択的に、Q個の第二種類の詳細表現層は、L個の第二種類の詳細表現層のうちの後のQ個の第二種類の詳細表現層である。
【0311】
選択的に、P個の第二種類の詳細表現層のうちの最後の第二種類の詳細表現層は、Q個の第二種類の詳細表現層のうちの1番目の第二種類の詳細表現層に隣接する。
【0312】
選択的に、P個の第二種類の詳細表現層のうちの最後の第二種類の詳細表現層がQ個の第二種類の詳細表現層のうちの1番目の第二種類の詳細表現層に隣接する場合、分割情報は、Q個の第二種類の詳細表現層のうちの1番目の第二種類の詳細表現層のフラグ情報、又は、P個の第二種類の詳細表現層のうちの最後の第二種類の詳細表現層のフラグ情報をさらに含む。
【0313】
選択的に、第一情報は、第二種類の詳細表現層における、属性情報の残差値が可逆符号化されると特定された1番目の点のフラグ情報をさらに含む。
【0314】
選択的に、第一情報は、属性情報の残差値が可逆符号化されると特定された点のフラグ情報をさらに含む。
【0315】
選択的に、第一の数は第二の数より大きい。
【0316】
選択的に、第一の数は、第二の数の正の整数倍である。
【0317】
選択的に、第一の数の点における隣接する2つの点ごとの間の間隔が等しい。
【0318】
選択的に、第二の数の点における隣接する2つの点ごとの間の間隔が等しい。
【0319】
いくつかの実施形態において、再構成ユニット24は具体的に、復号対象点の属性情報の予測値と残差値との合計を、復号対象点の属性情報の再構成値として特定するように構成されている。
【0320】
いくつかの実施形態において、再構成ユニット24は具体的に、reconstructedColor=attrResidual+attrPredValueという式に基づいて、復号対象点の属性情報の再構成値を特定するように構成されている。reconstructedColorは復号対象点の属性情報の再構成値であり、attrResidualは復号対象点の属性情報の残差値であり、attrPredValueは復号対象点の属性情報の予測値である。
【0321】
いくつかの実施形態において、特定ユニット23は具体的に、点群における点の属性情報の残差値を逆量子化するプロセスにおいて、復号対象点をスキップし、又は、復号対象点の逆量子化ステップサイズを1に設定し、又は、復号対象点のQPを目標値に設定するように構成されている。目標値は逆量子化ステップサイズが1である際の対応のQP値である。
【0322】
なお、装置実施形態と方法実施形態は互いに対応することができ、装置実施形態の類似の説明については、方法実施形態を参照することができる。重複を避けるため、ここではその説明を省略する。具体的に、図20に示される点群復号器20は、本出願の実施形態における方法800及び/又は900を実行する主体に対応してもよい。また、点群復号器20における各ユニットの上記及び他の操作及び/又は機能はそれぞれ、方法800及び/又は900などの各々における対応のプロセスを実現するために用いられる。簡潔のため、ここでの説明を省略する。
【0323】
以上、図面を参照しながら、本出願の実施形態の装置及びシステムについて機能ユニットの角度から説明した。当該機能ユニットは、ハードウェア形態によって実現されてもよく、ソフトウェア形態の命令によって実現されてもよく、ハードウェアとソフトウェアモジュールの組み合わせによって実現されてもよい。具体的に、本出願の実施形態における方法実施形態の各ステップは、プロセッサにおけるハードウェアの集積論理回路(integrated logic circuit)又はソフトウェア形態の命令によって完成されることができる。本出願の実施形態に開示された方法のステップは、直接にハードウェア復号化プロセッサによって実行且つ完成されることができ、又は復号化プロセッサにおけるハードウェアとソフトウェアモジュールの組み合わせによって実行且つ完成されることができる。選択的に、ソフトウェアは、ランダムアクセスメモリ、フラッシュメモリ、読み取り専用メモリ、プログラム可能な読み取り専用メモリ、電気的に消去可能なプログラム可能なメモリ、レジスタなど本技術分野におけるマチュアな記憶媒体に位置することができる。記憶媒体はメモリに位置する。プロセッサは、メモリにおける情報を読み取り、プロセッサのハードウェアとともに上記方法実施形態のステップを完成する。
【0324】
図14は、本出願の実施形態に係る電子機器30を示すブロック図である。
【0325】
図14に示されるように、当該電子機器30は、本出願の実施形態に記載の点群符号器であってもよく、又は、点群復号器であってもよい。当該電子機器30は、メモリ33及びプロセッサ32を備えることができる。当該メモリ33は、コンピュータプログラム34を記憶し、且つ当該コンピュータプログラム34を当該プロセッサ32に伝送するために用いられる。換言すれば、当該プロセッサ32は、メモリ33からコンピュータプログラム34を呼び出して実行することにより、本出願の実施形態における方法を実現することができる。
【0326】
例えば、当該プロセッサ32は、当該コンピュータプログラム34における命令に基づいて、上記方法200のステップを実行するために用いられることができる。
【0327】
本出願のいくつかの実施形態において、当該プロセッサ32は、汎用プロセッサ、デジタル信号プロセッサ(digital signal processor、DSP)、特定用途向け集積回路(application specific integrated circuit、ASIC)、フィールドプログラム可能なゲートアレイ(field programmable gate array、FPGA)又は他のプログラム可能なロジックデバイス、ディスクリートゲート又はトランジスタロジックデバイス、ディスクリートハードウェアコンポーネントなどを含むことができるが、それらに限定されない。
【0328】
本出願のいくつかの実施形態において、当該メモリ33は、揮発性メモリ及び/又は不揮発性メモリを含むが、それらに限定されない。不揮発性メモリは、読み取り専用メモリ(read only memory、ROM)、プログラム可能な読み取り専用メモリ(programmable ROM、PROM)、消去可能なプログラム可能な読み取り専用メモリ(erasable PROM、EPROM)、電気的に消去可能なプログラム可能な読み取り専用メモリ(electrically EPROM、EEPROM)、又はフラッシュメモリ(flash memory)であることができる。揮発性メモリは、外部高速キャッシュとして機能するランダムアクセスメモリ(random access memory、RAM)であることができる。例示的であるが限定的ではない例として、様々なRAMが利用可能であり、例えば、スタティックランダムアクセスメモリ(static RAM、SRAM)、ダイナミックランダムアクセスメモリ(dynamic RAM、DRAM)、同期ダイナミックランダムアクセスメモリ(synchronous DRAM、SDRAM)、ダブルデータレート同期ダイナミックランダムアクセスメモリ(double data rate SDRAM、DDRSDRAM)、強化された同期ダイナミックランダムアクセスメモリ(enhanced SDRAM、ESDRAM)、同期リンクダイナミックランダムアクセスメモリ(synch-link DRAM、SLDRAM)、ダイレクトランバスランダムアクセスメモリ(dierct rambus RAM、DRRAM)が挙げられる。
【0329】
本出願のいくつかの実施形態において、当該コンピュータプログラム34は、1つ又は複数のユニットに分割され、当該1つ又は複数のユニットは当該メモリ33に記憶されており、当該プロセッサ32によって実行されることにより、本出願に係る方法を完成する。当該1つ又は複数のユニットは、特定の機能を果たすことが可能な一連のコンピュータプログラム命令セグメントであってもよく、当該命令セグメントは、当該電子機器30における当該コンピュータプログラム34の実行プロセスを記述するために用いられる。
【0330】
図14に示されるように、当該電子機器30は、トランシーバー33をさらに備えることができる。当該トランシーバー33は、当該プロセッサ32又はメモリ33に接続可能である。
【0331】
プロセッサ32は、当該トランシーバー33が他のデバイスと通信するように制御することができる。具体的に、トランシーバー33は、他のデバイスに情報やデータを送信することができ、又は他のデバイスによって送信された情報やデータを受信することができる。トランシーバー33は送信機及び受信機を含むことができる。トランシーバー33は、アンテナをさらに含むことができる。アンテナの数は一つ又は複数であることができる。
【0332】
なお、電子機器30における各コンポーネントはバスシステムを介して接続される。バスシステムはデータバス以外に、電力バス、制御バス及びステータス信号バスをさらに含む。
【0333】
図15は、本出願の実施形態に係る点群符号化・復号化システム40を示すブロック図である。
【0334】
図15に示されるように、当該点群符号化・復号化システム40は、点群符号器41及び点群復号器42を含むことができる。点群符号器41は、本出願の実施形態に係る点群符号化方法を実行するために用いられ、点群復号器42は、本出願の実施形態に係る点群復号化方法を実行するために用いられる。
【0335】
本出願において、コンピュータ記憶媒体がさらに提供される。コンピュータ記憶媒体にはコンピュータプログラムが記憶されている。当該コンピュータプログラムはコンピュータによって実行されるとき、当該コンピュータに、上記方法実施形態における方法を実行させる、ことを可能にする。又は、本出願の実施形態において、命令を含むコンピュータプログラム製品が提供される。当該命令はコンピュータによって実行されるとき、コンピュータに、上記方法実施形態における方法を実行させる。
【0336】
ソフトウェアによって実現される場合、上記実施形態の全部又は一部は、コンピュータプログラム製品の形式で実現されることができる。当該コンピュータプログラム製品は、一つ又は複数のコンピュータ命令を含む。コンピュータプログラム命令がコンピュータでロードされ且つ実行されるとき、本出願の実施形態のプロセス又は機能の全部又は一部が生成される。当該コンピュータは、汎用コンピュータ、専用コンピュータ、コンピュータネットワーク又は他のプログラム可能な装置であることができる。当該コンピュータ命令は、コンピュータ可読記憶媒体に記憶され、又は一つのコンピュータ可読記憶媒体から別のコンピュータ可読記憶媒体に伝送されることができる。例えば、当該コンピュータ命令は、一つのウェブサイト、コンピュータ、サーバ又はデータセンターから有線(例えば、同軸ケーブル、光ファイバー、デジタル加入者線(digital subscriber line、DSL)など)又は無線(例えば、赤外線、無線、マイクロ波など)で別のウェブサイト、コンピュータ、サーバ又はデータセンターに伝送されることができる。当該コンピュータ可読記憶媒体は、コンピュータがアクセスできる任意の利用可能な媒体であることができ、又はサーバ、データセンターなどのような一つ又は複数の利用可能な媒体が統合されたデータ記憶装置であることができる。利用可能な媒体は、磁気媒体(例えば、フロッピーディスク、ハードディスク又は磁気テープ)、光学媒体(例えば、デジタルビデオディスク(digital versatile disc、DVD))、又は半導体媒体(例えば、ソリッドステートディスク(solid state disk、SSD))などであることができる。
【0337】
本明細書に開示された実施形態に記載される各例示的なユニット及びアルゴリズム操作と結びつけて、本出願が電子ハードウェア、又はコンピュータソフトウェアと電子ハードウェアとの組み合わせにより実現され得ることは、当業者が意識することができる。これらの機能が、ハードウェアにより実行されるかソフトウェアにより実行されるかについては、技術的解決策の特定応用や設計の制限条件などによって決められる。当業者は、特定応用ごとに異なる方法を使用して記載される機能を実現できるが、これらの実現は、本出願の範囲を超えると見なされるべきではない。
【0338】
本出願に係るいくつかの実施形態において、開示されるシステム、装置、方法は、他の形態により実現され得ると理解されるべきである。例えば、上記装置の実施形態は、例示的なものに過ぎない。例えば、ユニットの分割はロジック機能の分割に過ぎず、実際に実現される場合に、別の分割形態を有してもよい。例えば、複数のユニット又はコンポーネントを組み合わせ、又は別のシステムに集積させ、又はその若干の特徴を無視し、又は実行しなくてもよい。さらに、示される又は検討される相互間の結合や直接結合や通信接続は、いくつかのインタフェース、装置、又はユニットによる間接結合や通信接続であってもよく、電気、機械又は他の形態であってもよい。
【0339】
分離コンポーネントとして説明されたユニットは、物理的に分離してもよく、分離しなくてもよい。ユニットとして表示されるコンポーネントは、物理的なユニットであってもよく、物理的なユニットではなくてもよい。即ち、一つの場所に位置してもよく、複数のネットワークユニットに配置されてもよい。実際のニーズに応じて一部又は全部のユニットを選択して本実施形態の技術的解決策の目的を実現することができる。例えば、本出願の各実施形態に係る各機能ユニットは、1つの処理ユニットに集積されてもよく、各ユニットは単独に物理的に存在してもよく、2つ以上のユニットは1つのユニットに集積されてもよい。
【0340】
上記内容は、ただ本出願の具体的な実施形態であり、本出願の保護範囲はそれに限定されない。当業者が本出願に開示された技術範囲内で容易に想到し得る変更又は置換はすべて本出願の保護範囲内に含まれるべきである。従って、本出願の保護範囲は特許請求の保護範囲に準じるべきである。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
【手続補正書】
【提出日】2023-11-24
【手続補正1】
【補正対象書類名】明細書
【補正対象項目名】0007
【補正方法】変更
【補正の内容】
【0007】
第二様態において、本出願の実施形態では、点群復号化方法が提供される。当該方法は以下の内容を含む。点群のビットストリームを復号化することにより、点群における点の幾何情報を特定する。点群における点の幾何情報に基づいて、点群における点の属性情報の予測値を特定する。点群のビットストリームを復号化することにより、点群における点の属性情報の残差値を得る。残差値は、属性情報の残差値が可逆符号化されると特定された少なくとも1つの点の残差値を含む。点群における点の属性情報の予測値及び残差値に基づいて、点群における点の属性情報の再構成値を特定する。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】0064
【補正方法】変更
【補正の内容】
【0064】
係数量子化ユニット215は、点の属性情報の残差値を量子化するために用いられることができる。例えば、係数量子化ユニット215と予測変換ユニット213とが接続されている場合、係数量子化ユニットは、予測変換ユニット213から出力された点の属性情報の残差値を量子化するために用いられることができる。
【手続補正3】
【補正対象書類名】明細書
【補正対象項目名】0074
【補正方法】変更
【補正の内容】
【0074】
例えば、復号器300において、点群における点と点の間のユークリッド距離に応じて点群を複数のLODに分割し、次に、LODにおける点の属性情報を順次復号化することができる。例えば、ゼロランレングス符号化技術におけるゼロの数(zero_cnt)を計算し、zero_cntに基づいて残差値を復号化し、次に、復号器300において、すべての点が復号化されるまで、復号化された残差値に基づいて逆量子化を行い、逆量子化後の残差値と、現在点の予測値とを加算することにより当該点の再構成値を得ることができる。現在点はLODにおける後続点の最近の近傍点とされ、現在点の再構成値を利用して後続点の属性情報が予測される。
【手続補正4】
【補正対象書類名】明細書
【補正対象項目名】0094
【補正方法】変更
【補正の内容】
【0094】
点群の属性情報の符号化・復号化の基本的な流れは以下の通りである。符号化側では、点群データの属性情報を前処理することにより、点群における点の属性情報のオリジナル値を得る。予測ユニット440は、点群における点の位置情報の再構成値に基づいて、上記3つの予測モードのうちの1つを選択して点群における点の属性情報を予測することにより、属性情報の予測値を得る。残差ユニット420は、点群における点の属性情報のオリジナル値と属性情報の予測値とに基づいて属性情報の残差値を計算し、即ち、点群における点の属性情報のオリジナル値と属性情報の予測値との差を点群における点の属性情報の残差値とする。量子化ユニット430は当該残差値を量子化し、それにより、人間の目に敏感ではない情報が除去され、視覚的な冗長性が解消されることができる。符号化ユニット490は、量子化ユニット430によって出力された、量子化された属性情報の残差値を受信し、量子化された属性情報の残差値を符号化して、属性ビットストリームを出力することができる。
【手続補正5】
【補正対象書類名】明細書
【補正対象項目名】0095
【補正方法】変更
【補正の内容】
【0095】
また、逆量子化ユニット450は、量子化ユニット430によって出力された、量子化された属性情報の残差値を受信し、量子化された属性情報の残差値を逆量子化することにより、点群における点の属性情報の残差値を得ることができる。再構成ユニット460は、逆量子化ユニット450によって出力された点群における点の属性情報の残差値と、予測ユニット440によって出力された点群における点の属性情報の予測値とを取得し、点群における点の属性情報の残差値と予測値とを加算することにより点の属性情報の再構成値を取得する。点の属性情報の再構成値は、フィルタリングユニット470によってフィルタリングされた後、復号化バッファユニット480内にバッファリングされ、他の点の後続の予測プロセスに用いられる。
【手続補正6】
【補正対象書類名】明細書
【補正対象項目名】0096
【補正方法】変更
【補正の内容】
【0096】
復号化側では、復号化ユニット510は、属性ビットストリームを解析することにより、点群における点の量子化された属性情報の残差値、予測情報、量子化係数などを得ることができる。予測ユニット520は、予測情報に基づいて点群における点の属性情報を予測することにより、点の属性情報の予測値を生成する。逆量子化ユニット530は、属性ビットストリームから得られた量子化係数を利用して、点の量子化された属性情報の残差値を逆量子化することにより、点の属性情報の残差値を得る。再構成ユニット540は、点の属性情報の予測値と残差値とを加算することにより、点の属性情報の再構成値を得る。フィルタリングユニット550は、点の属性情報の再構成値をフィルタリングすることにより、復号化された属性情報を得る。
【手続補正7】
【補正対象書類名】明細書
【補正対象項目名】0108
【補正方法】変更
【補正の内容】
【0108】
なお、点群符号器は、点群における点の幾何情報の符号化を完了した後、点群における点の属性情報を符号化する。図2を参照すると、幾何情報を符号化するプロセスにおいて、第一算術符号化ユニット205は、八分木分析ユニット203によって処理された点の幾何情報を符号化することにより幾何ビットストリームを形成し、幾何再構成ユニット204は、八分木分析ユニット203によって処理された点の幾何情報を再構成することにより幾何情報の再構成値を取得する。予測ユニットは、幾何再構成ユニット204によって出力された幾何情報の再構成値を得ることができる。
【手続補正8】
【補正対象書類名】明細書
【補正対象項目名】0118
【補正方法】変更
【補正の内容】
【0118】
図4を参照すると、現時点では、属性情報を符号化するプロセスにおいて、残差ユニット420は、点群における点の属性情報のオリジナル値及び属性情報の予測値に基づいて、属性情報の残差値を計算することができる。量子化ユニット430は当該残差値を量子化し、それにより、人間の目に敏感ではない情報が除去され、視覚的な冗長性が解消されることができる。逆量子化ユニット450は、量子化ユニット430によって出力された、量子化された属性情報の残差値を受信し、量子化された属性情報の残差値を逆量子化し、点群における点の属性情報の残差値を得ることができる。再構成ユニット460は、逆量子化ユニット450によって出力された点群における点の属性情報の残差値と、予測ユニット440によって出力された点群における点の属性情報の予測値とを取得し、点群における点の属性情報の残差値と予測値とを加算することにより点の属性情報の再構成値を取得する。点の属性情報の再構成値は、復号化バッファユニット480内にバッファリングされ、他の点の後続の予測プロセスに用いられる。
【手続補正9】
【補正対象書類名】明細書
【補正対象項目名】0126
【補正方法】変更
【補正の内容】
【0126】
いくつかの実施形態において、予め設定された間隔に基づいて、点群における、予め設定された間隔を隔てた点の属性情報の残差値を可逆符号化する。例えば、点群が1200個の点を含み、予め設定された間隔が個の点であれば、並び替えられた点群における個の点という間隔を隔てて点の属性情報の残差値を可逆符号化する。選択的に、1200個の点のうち1番目の点を、属性情報の残差値が量子化されない1番目の点とし、個の点という間隔を隔て、11番目の点を、属性情報の残差値が量子化されない2番目の点とし、このように順次類推する。選択的に、1200個の点群のうちの11番目の点を、属性情報の残差値が可逆符号化される1番目の点とし、個の点という間隔を隔て、21番目の点を、属性情報の残差値が可逆符号化される2番目の点とし、このように順次類推する。
【手続補正10】
【補正対象書類名】明細書
【補正対象項目名】0169
【補正方法】変更
【補正の内容】
【0169】
選択的に、同一の第二種類の詳細表現層におけるM個の点における隣接する2つの点の間の間隔が等しい。例えば、第二種類の詳細表現層1は200個の点を含み、第二種類の詳細表現層2は300個の点を含む。間隔に等しいと仮定し、第二種類の詳細表現層1における20個の点の属性情報の残差値が可逆符号化され、20個の点はそれぞれ順に、1番目の点、11番目の点、21番目の点、31番目の点、.....181番目の点、191番目の点であり、属性情報の残差値が可逆符号化される、隣接する2つの点の間の間隔が個の点である。第二種類の詳細表現層2における30個の点の属性情報の残差値が可逆符号化され、30個の点はそれぞれ順に、1番目の点、11番目の点、21番目の点、31番目の点、......、281番目の点、291番目の点であり、属性情報の残差値が可逆符号化される、隣接する2つの点の間の間隔が個の点である。
【手続補正11】
【補正対象書類名】明細書
【補正対象項目名】0177
【補正方法】変更
【補正の内容】
【0177】
例えば、図9に示されるように、Lは12に等しく、この12個の第二種類の詳細表現層からP(例えば、P=7)個の第二種類の詳細表現層を任意に選択し、残りの個の第二種類の詳細表現層からQ(例えば、Q=)個の第二種類の詳細表現層を任意に選択する。
【手続補正12】
【補正対象書類名】明細書
【補正対象項目名】0180
【補正方法】変更
【補正の内容】
【0180】
図9を引き続き参照すると、12個の第二種類の詳細表現層のうちの前のP(例えば、P=7)個の第二種類の詳細表現層をP個の第二種類の詳細表現層とし、12個の第二種類の詳細表現層のうちの後のQ(例えば、Q=)個の第二種類の詳細表現層をQ個の第二種類の詳細表現層とする。P個の第二種類の詳細表現層はそれぞれ連続であり、Q個の第二種類の詳細表現層はそれぞれ連続である。
【手続補正13】
【補正対象書類名】明細書
【補正対象項目名】0182
【補正方法】変更
【補正の内容】
【0182】
一例において、P個の第二種類の詳細表現層のうちの最後の第二種類の詳細表現層は、Q個の第二種類の詳細表現層のうちの1番目の第二種類の詳細表現層に隣接する。例えば、図9に示されるように、P=7、Q=と仮定すると、P個の第二種類の詳細表現層のうちの最後の第二種類の詳細表現層は、番目の詳細表現層であり、Q個の第二種類の詳細表現層のうちの1番目の第二種類の詳細表現層は10番目の詳細表現層であり、番目の詳細表現層は10番目の詳細表現層に隣接する。
【手続補正14】
【補正対象書類名】明細書
【補正対象項目名】0191
【補正方法】変更
【補正の内容】
【0191】
例えば、下記数に基づいて、目標点の属性情報の再構成値を特定する。
【数3】
reconstructedColorは目標点の属性情報の再構成値であり、目標点の色属性情報の再構成値とも呼ばれ、attrPredValueは目標点の属性情報の予測値であり、attrResidualは目標点の属性情報の残差値である。attrResidualは下記数に基づいて得られることができる。
【数4】
【手続補正15】
【補正対象書類名】明細書
【補正対象項目名】0221
【補正方法】変更
【補正の内容】
【0221】
S803-A21:復号対象点がN個の点のうちの1つの点であると特定する場合、復号対象点の属性情報の残差情報が可逆符号化されると特定する。例えば、点群における点の幾何情報に基づいて点群における点を並び替え、並び替えられた点群を得る。並び替えられた点群に対して、点の総数及びNの値に基づいて、N個の点における隣接する2つの点の間の間隔を特定し、当該間隔に基づいて、復号対象点がN個の点のうちの1つであるか否かを判断する。例えば、間隔はであり、復号対象点は並び替えられた点群における21番目の点であり、点群における1番目の点から、個の点を隔てた点は属性情報の残差値が可逆符号化されると特定された点であり、即ち、順に、1番目の点、11番目の点、21番目の点......である。さらに、復号対象点は、属性情報の残差情報が可逆符号化されると特定された点であると特定される。
【手続補正16】
【補正対象書類名】明細書
【補正対象項目名】0230
【補正方法】変更
【補正の内容】
【0230】
点群における1つの復号対象点を例として、復号対象点の属性情報の残差値が符号化側で可逆符号化されると特定する場合、当該復号対象点の属性情報の残差情報が復号化側で可逆復号化されると特定する。即ち、下記数を利用して、復号対象点の属性情報の再構成値を特定する。
【数5】
reconstructedColorは復号対象点の属性情報の再構成値であり、復号対象点の色属性情報の再構成値とも呼ばれ、attrPredValueは復号対象点の属性情報の予測値であり、attrResidualは復号対象点の属性情報の残差値である。
【手続補正17】
【補正対象書類名】明細書
【補正対象項目名】0231
【補正方法】変更
【補正の内容】
【0231】
復号対象点の属性情報の残差値が符号化側で量子化されると特定する場合、当該復号対象点の属性情報の残差情報が復号化側で逆量子化されると特定する。即ち、下記数を利用して、復号対象点の属性情報の再構成値を特定する。
【数6】
【手続補正18】
【補正対象書類名】明細書
【補正対象項目名】0239
【補正方法】変更
【補正の内容】
【0239】
ケースでは、第一情報が第一の予め設定された値を含む場合、第一の予め設定された値は、含まれる点の総数が第一の予め設定された値以下である詳細表現層を第一種類の詳細表現層に分類し、含まれる点の総数が第一の予め設定された値より大きい詳細表現層を第二種類の詳細表現層に分類することを指示するために用いられる。
【手続補正19】
【補正対象書類名】明細書
【補正対象項目名】0322
【補正方法】変更
【補正の内容】
【0322】
なお、装置実施形態と方法実施形態は互いに対応することができ、装置実施形態の類似の説明については、方法実施形態を参照することができる。重複を避けるため、ここではその説明を省略する。具体的に、図13に示される点群復号器20は、本出願の実施形態における方法800及び/又は900を実行する主体に対応してもよい。また、点群復号器20における各ユニットの上記及び他の操作及び/又は機能はそれぞれ、方法800及び/又は900などの各々における対応のプロセスを実現するために用いられる。簡潔のため、ここでの説明を省略する。
【手続補正20】
【補正対象書類名】明細書
【補正対象項目名】0325
【補正方法】変更
【補正の内容】
【0325】
図14に示されるように、当該電子機器30は、本出願の実施形態に記載の点群符号器であってもよく、又は、点群復号器であってもよい。当該電子機器30は、メモリ31及びプロセッサ32を備えることができる。当該メモリ31は、コンピュータプログラム34を記憶し、且つ当該コンピュータプログラム34を当該プロセッサ32に伝送するために用いられる。換言すれば、当該プロセッサ32は、メモリ31からコンピュータプログラム34を呼び出して実行することにより、本出願の実施形態における方法を実現することができる。
【手続補正21】
【補正対象書類名】明細書
【補正対象項目名】0328
【補正方法】変更
【補正の内容】
【0328】
本出願のいくつかの実施形態において、当該メモリ31は、揮発性メモリ及び/又は不揮発性メモリを含むが、それらに限定されない。不揮発性メモリは、読み取り専用メモリ(read only memory、ROM)、プログラム可能な読み取り専用メモリ(programmable ROM、PROM)、消去可能なプログラム可能な読み取り専用メモリ(erasable PROM、EPROM)、電気的に消去可能なプログラム可能な読み取り専用メモリ(electrically EPROM、EEPROM)、又はフラッシュメモリ(flash memory)であることができる。揮発性メモリは、外部高速キャッシュとして機能するランダムアクセスメモリ(random access memory、RAM)であることができる。例示的であるが限定的ではない例として、様々なRAMが利用可能であり、例えば、スタティックランダムアクセスメモリ(static RAM、SRAM)、ダイナミックランダムアクセスメモリ(dynamic RAM、DRAM)、同期ダイナミックランダムアクセスメモリ(synchronous DRAM、SDRAM)、ダブルデータレート同期ダイナミックランダムアクセスメモリ(double data rate SDRAM、DDRSDRAM)、強化された同期ダイナミックランダムアクセスメモリ(enhanced SDRAM、ESDRAM)、同期リンクダイナミックランダムアクセスメモリ(synch-link DRAM、SLDRAM)、ダイレクトランバスランダムアクセスメモリ(dierct rambus RAM、DRRAM)が挙げられる。
【手続補正22】
【補正対象書類名】明細書
【補正対象項目名】0329
【補正方法】変更
【補正の内容】
【0329】
本出願のいくつかの実施形態において、当該コンピュータプログラム34は、1つ又は複数のユニットに分割され、当該1つ又は複数のユニットは当該メモリ31に記憶されており、当該プロセッサ32によって実行されることにより、本出願に係る方法を完成する。当該1つ又は複数のユニットは、特定の機能を果たすことが可能な一連のコンピュータプログラム命令セグメントであってもよく、当該命令セグメントは、当該電子機器30における当該コンピュータプログラム34の実行プロセスを記述するために用いられる。
【手続補正23】
【補正対象書類名】明細書
【補正対象項目名】0330
【補正方法】変更
【補正の内容】
【0330】
図14に示されるように、当該電子機器30は、トランシーバー33をさらに備えることができる。当該トランシーバー33は、当該プロセッサ32又はメモリ31に接続可能である。
【手続補正24】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
点群符号化方法であって、
点群における点の幾何情報及び属性情報を取得することと、
前記点群における点の幾何情報に基づいて、前記点群における点の属性情報の予測値を特定することと、
前記点群における点の属性情報の予測値に基づいて、前記点群における点の属性情報の残差値を特定することと、
第一符号化プロセスを利用して前記点群における点の属性情報の残差値を処理することと、を含み、
前記第一符号化プロセスでは、前記点群における少なくとも1つの点の属性情報の残差値を可逆符号化する、
ことを特徴とする点群符号化方法。
【請求項2】
前記点群符号化方法は、前記点群における点の幾何情報に基づいて、前記点群に対して詳細度(LOD)分割を行うことにより、前記点群の複数の詳細表現層を得ることをさらに含み、各詳細表現層に少なくとも1つの点が含まれており、
前記点群における少なくとも1つの点の属性情報の残差値を可逆符号化することは、
前記複数の詳細表現層のうちの少なくとも1つの詳細表現層における少なくとも1つの点の属性情報の残差値を可逆符号化することを含む、
ことを特徴とする請求項1に記載の点群符号化方法。
【請求項3】
前記複数の詳細表現層のうちの少なくとも1つの詳細表現層における少なくとも1つの点の属性情報の残差値を可逆符号化することは、
前記複数の詳細表現層における、含まれる点の総数が第一の予め設定された値以下である少なくとも1つの第一種類の詳細表現層と、含まれる点の総数が前記第一の予め設定された値より大きい少なくとも1つの第二種類の詳細表現層とを取得することと、
前記第一種類の詳細表現層におけるすべての点の属性情報の残差値を可逆符号化することと、
前記第二種類の詳細表現層における少なくとも1つの点の属性情報の残差値を可逆符号化することと、を含む、
ことを特徴とする請求項に記載の点群符号化方法。
【請求項4】
前記点群符号化方法は、ビットストリームを生成することをさらに含み、
前記ビットストリームは第一情報を含み、第一情報は、属性情報の残差値が可逆符号化される点を指示するために用いられる、
ことを特徴とする請求項に記載の点群符号化方法。
【請求項5】
前記点群における少なくとも1つの点の属性情報の残差値を可逆符号化することは、
前記点群における点の属性情報の残差値を量子化するプロセスにおいて、属性情報の残差値が可逆符号化される前記少なくとも1つの点をスキップすること、又は、
前記属性情報の残差値が可逆符号化される前記少なくとも1つの点の量子化ステップサイズを1に設定すること、又は、
前記属性情報の残差値が可逆符号化される前記少なくとも1つの点の量子化パラメータ(QP)を目標値に設定すること、を含み、
前記目標値は、量子化ステップサイズが1である際の対応のQP値である、
ことを特徴とする請求項1~のいずれか一項に記載の点群符号化方法。
【請求項6】
点群復号化方法であって、
点群のビットストリームを復号化することにより、点群における点の幾何情報を特定することと、
前記点群における点の幾何情報に基づいて、前記点群における点の属性情報の予測値を特定することと、
前記点群のビットストリームを復号化することにより、前記点群における点の属性情報の残差値を得ることと、
前記点群における点の属性情報の予測値及び残差値に基づいて、前記点群における点の属性情報の再構成値を特定することと、を含み、
前記残差値は、属性情報の残差値が可逆符号化されると特定された少なくとも1つの点の残差値を含む、
ことを特徴とする点群復号化方法。
【請求項7】
前記点群のビットストリームを復号化することにより、前記点群における点の属性情報の残差値を得ることは、
前記点群のビットストリームを復号化することにより、属性情報の残差値が可逆符号化されると特定された点を指示するために用いられる第一情報を得ることと、
前記点群のビットストリームを復号化することにより、点群における復号対象点の属性情報の残差情報を得ることと、
前記第一情報に基づいて、前記点群における復号対象点の属性情報の残差情報が可逆符号化されるか否かを特定することと、
前記復号対象点の属性情報の残差情報が可逆符号化されると特定する場合、前記復号対象点の属性情報の残差情報を前記復号対象点の属性情報の残差値とすることと、
前記復号対象点の属性情報の残差情報が非可逆符号化されると特定する場合、逆量子化後の前記復号対象点の属性情報の残差情報を前記復号対象点の属性情報の残差値とすることと、を含む、
ことを特徴とする請求項に記載の点群復号化方法。
【請求項8】
前記第一情報はNを含み、前記Nは、前記点群における、属性情報の残差値が可逆符号化されると特定された点の総数であ
記Nは2の整数倍であ又は、
記N個の点における隣接する2つの点ごとの間の間隔が等しい、
ことを特徴とする請求項に記載の点群復号化方法。
【請求項9】
前記第一情報が予め設定された間隔を含む場合、前記第一情報に基づいて、前記復号対象点の属性情報の残差情報が可逆符号化されるか否かを特定することは、
前記予め設定された間隔に基づいて、前記復号対象点と属性情報の残差値が可逆符号化されると特定された前の点との間の間隔が前記予め設定された間隔に等しいと特定する場合、前記復号対象点の属性情報の残差情報が可逆符号化されると特定することを含む、
ことを特徴とする請求項に記載の点群復号化方法。
【請求項10】
前記点群復号化方法は、前記点群における点の幾何情報に基づいて、前記点群に対して詳細度(LOD)分割を行うことにより、前記点群の複数の詳細表現層を得ることをさらに含み、各詳細表現層に少なくとも1つの点が含まれている、
ことを特徴とする請求項に記載の点群復号化方法。
【請求項11】
前記第一情報が第一の予め設定された値を含む場合、前記第一情報に基づいて、前記復号対象点の属性情報の残差情報が可逆符号化されるか否かを特定することは、
前記第一の予め設定された値に基づいて、前記複数の詳細表現層における、含まれる点の総数が前記第一の予め設定された値以下である少なくとも1つの第一種類の詳細表現層と、含まれる点の総数が前記第一の予め設定された値より大きい少なくとも1つの第二種類の詳細表現層とを取得することと、
前記復号対象点が前記第一種類の詳細表現層に属する場合、前記復号対象点の属性情報の残差情報が可逆符号化されると特定することと、を含む、
ことを特徴とする請求項10に記載の点群復号化方法。
【請求項12】
前記第一情報がMを含み、前記Mが、1つの前記第二種類の詳細表現層における、属性情報の残差値が可逆符号化されると特定された点の数であり、且つ前記Mが2の正の整数倍である場合、前記第一情報に基づいて、前記復号対象点の属性情報の残差情報が可逆符号化されるか否かを特定することは、
前記復号対象点が前記M個の点のうちの1つの点である場合、前記復号対象点の属性情報の残差情報が可逆符号化されると特定することと、を含む、
ことを特徴とする請求項11に記載の点群復号化方法。
【請求項13】
前記少なくとも1つの第二種類の詳細表現層はL個の第二種類の詳細表現層を含み、前記Lは2以上の正の整数であり、
前記第一情報が第一の数と、第二の数と、P個の第二種類の詳細表現層及びQ個の第二種類の詳細表現層の分割情報とを含む場合、前記第一情報に基づいて、前記復号対象点の属性情報の残差情報が可逆符号化されるか否かを特定することは、
前記分割情報に基づいて、前記L個の第二種類の詳細表現層を分割することにより、前記P個の第二種類の詳細表現層及び前記Q個の第二種類の詳細表現層を得ることと、
前記復号対象点が前記P個の第二種類の詳細表現層における、属性情報の残差値が可逆符号化されると特定された第一の数の点のうちの1つの点であると特定する場合、前記復号対象点の属性情報の残差情報が可逆符号化されると特定することと、
前記復号対象点が前記Q個の第二種類の詳細表現層における、属性情報の残差値が可逆符号化されると特定された第二の数の点のうちの1つの点であると特定する場合、前記復号対象点の属性情報の残差情報が可逆符号化されると特定することと、を含み、
前記P、Qは正の整数であり、且つ前記Pと前記Qとの合計は前記L以下であり、前記P個の第二種類の詳細表現層と前記Q個の第二種類の詳細表現層は重ならず、前記第一の数と前記第二の数は異なる、
ことを特徴とする請求項11に記載の点群復号化方法。
【請求項14】
前記P個の第二種類の詳細表現層は、前記L個の第二種類の詳細表現層のうちの前のP個の第二種類の詳細表現層であ又は、
記Q個の第二種類の詳細表現層は、前記L個の第二種類の詳細表現層のうちの後のQ個の第二種類の詳細表現層である、
ことを特徴とする請求項13に記載の点群復号化方法。
【請求項15】
点群復号器であって、復号化ユニット、予測ユニット、特定ユニット及び再構成ユニットを備え、
前記復号化ユニットは、点群のビットストリームを復号化することにより、点群における点の幾何情報を特定するように構成されており、
前記予測ユニットは、前記点群における点の幾何情報に基づいて、前記点群における点の属性情報の予測値を特定するように構成されており、
前記特定ユニットは、前記点群のビットストリームを復号化することにより、前記点群における点の属性情報の残差値を得るように構成されており、前記残差値は、属性情報の残差値が可逆符号化されると特定された少なくとも1つの点の残差値を含み、
前記再構成ユニットは、前記点群における点の属性情報の予測値及び残差値に基づいて、前記点群における点の属性情報の再構成値を特定するように構成されている、
ことを特徴とする点群復号器。
【国際調査報告】