▶ グァンドン オッポ モバイル テレコミュニケーションズ コーポレーション リミテッドの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-08-10
(45)【発行日】2023-08-21
(54)【発明の名称】変換方法、逆変換方法、エンコーダ、デコーダ及び記憶媒体
(51)【国際特許分類】
G06T 7/00 20170101AFI20230814BHJP
H04N 19/597 20140101ALI20230814BHJP
【ＦＩ】
G06T7/00 C
H04N19/597
【請求項の数】
15
(21)【出願番号】P 2021578138
(86)(22)【出願日】2019-06-30
(65)【公表番号】
(43)【公表日】2022-09-16
(86)【国際出願番号】 CN2019094105
(87)【国際公開番号】W WO2021000205
(87)【国際公開日】2021-01-07
【審査請求日】2022-05-23
(73)【特許権者】
【識別番号】516227559
【氏名又は名称】オッポ広東移動通信有限公司
【氏名又は名称原語表記】ＧＵＡＮＧＤＯＮＧ ＯＰＰＯ ＭＯＢＩＬＥ ＴＥＬＥＣＯＭＭＵＮＩＣＡＴＩＯＮＳ ＣＯＲＰ．， ＬＴＤ．
【住所又は居所原語表記】Ｎｏ． １８ Ｈａｉｂｉｎ Ｒｏａｄ，Ｗｕｓｈａ， Ｃｈａｎｇ’ａｎ，Ｄｏｎｇｇｕａｎ， Ｇｕａｎｇｄｏｎｇ ５２３８６０ Ｃｈｉｎａ
(74)【代理人】
【識別番号】100091487
【弁理士】
【氏名又は名称】中村 行孝
(74)【代理人】
【識別番号】100120031
【弁理士】
【氏名又は名称】宮嶋 学
(74)【代理人】
【識別番号】100107582
【弁理士】
【氏名又は名称】関根 毅
(74)【代理人】
【識別番号】100152205
【弁理士】
【氏名又は名称】吉田 昌司
(74)【代理人】
【識別番号】100137523
【弁理士】
【氏名又は名称】出口 智也
(74)【代理人】
【識別番号】100120385
【弁理士】
【氏名又は名称】鈴木 健之
(72)【発明者】
【氏名】チャン、ウェイ
(72)【発明者】
【氏名】ヤン、フーチョン
(72)【発明者】
【氏名】ワン、シューアイ
(72)【発明者】
【氏名】マー、イェンチュオ
(72)【発明者】
【氏名】フオ、チュンイェン
(72)【発明者】
【氏名】チャン、スーチュン
【審査官】小池 正彦
(56)【参考文献】
【文献】国際公開第２０１９／１０３００９（ＷＯ，Ａ１）
【文献】米国特許出願公開第２０１７／０３４１２２（ＵＳ，Ａ１）
【文献】米国特許出願公開第２０１７／０３４７１００（ＵＳ，Ａ１）
【文献】特表２０１５－５１３７１９（ＪＰ，Ａ）
【文献】G-PCC codec description v2，MPEG 125-Marrakesh，N18189，ISO/IEC JCT1/SC29/WG11，2019年01月18日，https://mpeg.chiariglione.org/standards/mpeg-i/geometry-based-point-cloud-compression/g-pcc-codec-description-v2
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００
Ｈ０４Ｎ １９／５９７
(57)【特許請求の範囲】
【請求項1】
エンコーダに適用される変換方法であって、符号化対象点群における符号化対象点の三次元空間からなる３つの座標面での３つの二次元投影面を決定することと、
前記３つの二次元投影面に基づいて各座標面の投影面積を統計することと、
前記投影面積に基づいて変換順序を決定することと、を含む変換方法。
【請求項2】
前記投影面積に基づいて変換順序を決定した後、前記方法は更に、前記変換順序に基づいて領域適応階層変換（ＲＡＨＴ）変換を行うことと、
前記変換順序を符号化して、ビットストリームに書き込むことと、を含む請求項１に記載の方法。
【請求項3】
符号化対象点群における符号化対象点の三次元空間からなる３つの座標面での３つの二次元投影面を決定することは、所定の立方体辺長に基づいて前記符号化対象点群を少なくとも１つの立方体サブブロックに分割することと、
前記少なくとも１つの立方体サブブロックのうちの各立方体サブブロックにおける符号化対象ボクセル点の三次元空間からなる３つの座標面での３つの二次元投影面を決定し、前記符号化対象ボクセル点は前記符号化対象点を示すことと、を含み、
前記３つの二次元投影面に基づいて各座標面の投影面積を統計することは、
前記３つの二次元投影面に基づいて前記各立方体サブブロックに対応する各座標面の投影面積を統計することを含み、
前記方法は更に、
前記符号化対象点群における符号化対象点を中心として前記少なくとも１つの立方体サブブロックを構築することを含む請求項１又は２に記載の方法。
【請求項4】
前記投影面積に基づいて変換順序を決定することは、前記各立方体サブブロックに対応する各座標面の投影面積を降順でソートし、各座標軸面に垂直する座標軸の順序を各立方体サブブロックの変換順序として決定することを含み、
前記方法は更に、
前記各立方体サブブロックの変換順序に従って前記各立方体サブブロックの符号化対象ボクセル点に対してＲＡＨＴ変換を行って、各立方体サブブロックのサブボクセル点を取得することと、
前記各立方体サブブロックに対応する各座標面の投影面積に基づいて、各座標面に対応する投影面積絶対値の和を統計することと、
前記投影面積絶対値の和を降順でソートして、前記変換順序を取得することと、
前記変換順序に従って各立方体サブブロックのサブボクセル点に対してＲＡＨＴ変換を行うことと、
前記各立方体サブブロックの変換順序を符号化して、ビットストリームに書き込むことと、を含む請求項３に記載の方法。
【請求項5】
前記各立方体サブブロックの変換順序に従って前記各立方体サブブロックの符号化対象ボクセル点に対してＲＡＨＴ変換を行って、各立方体サブブロックのサブボクセル点を取得した後、且つ前記変換順序に従って各立方体サブブロックのサブボクセル点に対してＲＡＨＴ変換を行う前に、前記方法は更に、前記各立方体サブブロックに対応する変換順序に基づいて、各立方体サブブロックに対応する主投影方向を取得することと、
各立方体サブブロックに対応する主投影方向に基づいて各座標成分の主投影方向の数を統計することと、
前記各座標成分の主投影方向の数を降順でソートして、前記変換順序を取得することと、を含む請求項４に記載の方法。
【請求項6】
各立方体サブブロックに対応する主投影方向に基づいて各座標成分の主投影方向の数を統計することは、前記各立方体サブブロックに対応する主投影方向から所定比率のサブ立方体サブブロックに対応する主投影方向を選択することと、
前記サブ立方体サブブロックに対応する主投影方向に基づいて前記各座標成分の主投影方向の数を統計することと、を含む請求項５に記載の方法。
【請求項7】
前記投影面積に基づいて変換順序を決定することは、前記投影面積がＮｕｍ（ｘｏｙ）＞Ｎｕｍ（ｙｏｚ）＞Ｎｕｍ（ｚｏｘ）である場合、変換順序がｙｘｚであることを決定し、
前記投影面積がＮｕｍ（ｘｏｙ）＞Ｎｕｍ（ｚｏｘ）＞Ｎｕｍ（ｙｏｚ）である場合、変換順序がｘｙｚであることを決定し、
前記投影面積がＮｕｍ（ｙｏｚ）＞Ｎｕｍ（ｘｏｙ）＞Ｎｕｍ（ｚｏｘ）である場合、変換順序がｙｚｘであることを決定し、
前記投影面積がＮｕｍ（ｙｏｚ）＞Ｎｕｍ（ｚｏｘ）＞Ｎｕｍ（ｘｏｙ）である場合、変換順序がｚｙｘであることを決定し、
前記投影面積がＮｕｍ（ｚｏｘ）＞Ｎｕｍ（ｙｏｚ）＞Ｎｕｍ（ｘｏｙ）である場合、変換順序がｚｘｙであることを決定し、
前記投影面積がＮｕｍ（ｚｏｘ）＞Ｎｕｍ（ｘｏｙ）＞Ｎｕｍ（ｙｏｚ）である場合、変換順序がｘｚｙであることを決定することを含む請求項１に記載の方法。
【請求項8】
復号化に適用される逆変換方法であって、ビットストリームから変換順序を解析することと、
復号化の時、前記変換順序に基づいて領域適応階層変換（ＲＡＨＴ）逆変換を行うことと、を含む逆変換方法。
【請求項9】
前記ビットストリームは属性情報を含む請求項８に記載の方法。
【請求項10】
前記変換順序は座標軸の順序である請求項８に記載の方法。
【請求項11】
復号化の時、点群における各点をモートンコードでソートし、点群におけるすべての点をモートンコードでソートした後の順序に基づいて、ＲＡＨＴ逆変換を行うことを更に含む請求項８に記載の方法。
【請求項12】
各点の重み値を１とする請求項１１に記載の方法。
【請求項13】
重みに基づいて、属性値に対してＲＡＨＴ逆変換を行う請求項１２に記載の方法。
【請求項14】
エンコーダであって、符号化対象点群における符号化対象点の三次元空間からなる３つの座標面での３つの二次元投影面を決定するように構成される決定部と、
前記３つの二次元投影面に基づいて各座標面の投影面積を統計するように構成される取得部と、を備え、
前記決定部は更に、前記投影面積に基づいて変換順序を決定するように構成されるエンコーダ。
【請求項15】
デコーダであって、ビットストリームから変換順序を解析するように構成される解析部と、
復号化の時、前記変換順序に基づいて領域適応階層変換（ＲＡＨＴ）逆変換を行うように構成される復号化部と、を備えるデコーダ。
【発明の詳細な説明】
【技術分野】
【0001】
本願の実施例はビデオコーデックの技術分野に関し、特に変換方法、逆変換方法、エンコーダ、デコーダ及び記憶媒体に関する。
【背景技術】
【0002】
幾何ベースの点群圧縮（Ｇ－ＰＣＣ、Ｇｅｏｍｅｔｒｙ－ｂａｓｅｄ Ｐｏｉｎｔ Ｃｌｏｕｄ Ｃｏｍｐｒｅｓｓｉｏｎ）エンコーダフレームにおいて、点群の幾何情報及び各点群に対応する属性情報は別々に符号化されるのである。幾何符号化が完了した後、幾何情報を再構築するが、属性情報の符号化は再構築された幾何情報に依存する。
【0003】
現在、属性情報の符号化は主にカラー情報の符号化である。まず、カラー情報をＲＧＢカラー空間からＹＵＶカラー空間に変換する。次に、再構築された幾何情報を利用して点群を改めて着色し、符号化されていない属性情報を再構築された幾何情報に対応させる。カラー情報の符号化において、主に２つの変換方法があり、一方としては詳細レベル（ＬＯＤ、Ｌｅｖｅｌ ｏｆ Ｄｅｔａｉｌ）分割に依存する距離に基づくアップ変換であり、他方としては直接に行われる領域適応階層変換（ＲＡＨＴ、Ｒｅｇｉｏｎ Ａｄａｐｔｉｖｅ Ｈｉｅｒａｒｃｈａｌ Ｔｒａｎｓｆｏｒｍ）であり、この２つの方法はいずれもカラー情報を空間領域から周波数領域に変換し、変換により高周波係数及び低周波係数を取得し、最後に係数を量子化して符号化し、バイナリビットストリームを生成する。ＲＡＨＴ変換は点群データに対して８分木分割を行って取得した階層構造を基に行われるのであり、８分木の最下層から最上層まで変換し、各層における各ノードを繰り返しトラバーザルする。各ノードのＲＡＨＴ変換はいずれも変換順序に従って三次元座標のｘ、ｙ及びｚ方向において順次行われる。
【0004】
ところが、異なる点群は異なる空間分布を有するため、ＲＡＨＴ変換を行うとき、一定の変換順序に従って取得した変換係数は依然として情報冗長性が比較的に高く、それによって符号化効率が比較的に低い。
【発明の概要】
【発明が解決しようとする課題】
【0005】
本願の実施例は変換方法、逆変換方法、エンコーダ、デコーダ及び記憶媒体を提供し、変換により取得される変換係数の冗長度を減少させ、符号化効率を向上させることができる。
【課題を解決するための手段】
【0006】
本願の実施例の技術案は以下のように実現され得る。
【0007】
第１態様では、本願の実施例は変換方法を提供し、エンコーダに適用され、
符号化対象点群における符号化対象点の法線ベクトルを決定することと、
前記符号化対象点の法線ベクトルに基づいて法線ベクトルの各座標成分の総和を統計することと、
前記法線ベクトルの各座標成分の総和に基づいて変換順序を決定することと、を含む。
符号化対象点群における符号化対象点の法線ベクトルを決定することと、
前記符号化対象点の法線ベクトルに基づいて法線ベクトルの各座標成分の総和を統計することと、
前記法線ベクトルの各座標成分の総和に基づいて変換順序を決定することと、を含む。
【0008】
第２態様では、本願の実施例は更に変換方法を提供し、エンコーダに適用され、
符号化対象点群における符号化対象点の三次元空間からなる３つの座標面での３つの二次元投影面を決定することと、
前記３つの二次元投影面に基づいて各座標面の投影面積を統計することと、
前記投影面積に基づいて変換順序を決定することと、を含む。
符号化対象点群における符号化対象点の三次元空間からなる３つの座標面での３つの二次元投影面を決定することと、
前記３つの二次元投影面に基づいて各座標面の投影面積を統計することと、
前記投影面積に基づいて変換順序を決定することと、を含む。
【0009】
第３態様では、本願の実施例は更に逆変換方法を提供し、
属性ビットストリームから変換順序を解析することと、
復号化の時、前記変換順序に基づいて領域適応階層変換（ＲＡＨＴ）逆変換を行うことと、を含む。
属性ビットストリームから変換順序を解析することと、
復号化の時、前記変換順序に基づいて領域適応階層変換（ＲＡＨＴ）逆変換を行うことと、を含む。
【0010】
第４態様では、本願の実施例はエンコーダを提供し、
符号化対象点群における符号化対象点の法線ベクトルを決定するように構成される決定部と、
前記符号化対象点の法線ベクトルに基づいて法線ベクトルの各座標成分の総和を統計するように構成される取得部と、を備え、
前記決定部は更に、前記法線ベクトルの各座標成分の総和に基づいて変換順序を決定するように構成される。
符号化対象点群における符号化対象点の法線ベクトルを決定するように構成される決定部と、
前記符号化対象点の法線ベクトルに基づいて法線ベクトルの各座標成分の総和を統計するように構成される取得部と、を備え、
前記決定部は更に、前記法線ベクトルの各座標成分の総和に基づいて変換順序を決定するように構成される。
【0011】
第５態様では、本願の実施例は更にエンコーダを提供し、
符号化対象点群における符号化対象点の三次元空間からなる３つの座標面での３つの二次元投影面を決定するように構成される決定部と、
前記３つの二次元投影面に基づいて各座標面の投影面積を統計するように構成される取得部と、を備え、
前記決定部は更に、前記投影面積に基づいて変換順序を決定するように構成される。
符号化対象点群における符号化対象点の三次元空間からなる３つの座標面での３つの二次元投影面を決定するように構成される決定部と、
前記３つの二次元投影面に基づいて各座標面の投影面積を統計するように構成される取得部と、を備え、
前記決定部は更に、前記投影面積に基づいて変換順序を決定するように構成される。
【0012】
第６態様では、本願の実施例はデコーダを提供し、
属性ビットストリームから変換順序を解析するように構成される解析部と、
復号化の時、前記変換順序に基づいて領域適応階層変換（ＲＡＨＴ）逆変換を行うように構成される復号化部と、を備える。
属性ビットストリームから変換順序を解析するように構成される解析部と、
復号化の時、前記変換順序に基づいて領域適応階層変換（ＲＡＨＴ）逆変換を行うように構成される復号化部と、を備える。
【0013】
第７態様では、本願の実施例は更にエンコーダを提供し、
実行可能命令を記憶するための第１メモリと、
前記第１メモリに記憶される実行可能命令を実行するとき、第１態様に記載の方法又は第２態様に記載の方法を実現するための第１プロセッサと、を備える。
実行可能命令を記憶するための第１メモリと、
前記第１メモリに記憶される実行可能命令を実行するとき、第１態様に記載の方法又は第２態様に記載の方法を実現するための第１プロセッサと、を備える。
【0014】
第８態様では、本願の実施例は更にデコーダを提供し、
実行可能命令を記憶するための第２メモリと、
前記第２メモリに記憶される実行可能命令を実行するとき、第３態様に記載の方法を実現するための第２プロセッサと、を備える。
実行可能命令を記憶するための第２メモリと、
前記第２メモリに記憶される実行可能命令を実行するとき、第３態様に記載の方法を実現するための第２プロセッサと、を備える。
【0015】
第９態様では、本願の実施例はコンピュータ可読記憶媒体を提供し、符号化に適用され、実行可能命令が記憶され、実行可能命令は、第１プロセッサにより実行されるとき、第１態様に記載の方法又は第２態様に記載の方法を実現することに用いられる。
【0016】
第１０態様では、本願の実施例はコンピュータ可読記憶媒体を提供し、デコーダに適用され、実行可能命令が記憶され、実行可能命令は、第２プロセッサにより実行されるとき、第３態様に記載の方法を実現することに用いられる。
【発明の効果】
【0017】
本願の実施例に係る変換方法、逆変換方法、エンコーダ、デコーダ及び記憶媒体では、符号化対象点群における符号化対象点の法線ベクトルを決定することと、符号化対象点の法線ベクトルに基づいて法線ベクトルの各座標成分の総和を統計することと、法線ベクトルの各座標成分の総和に基づいて変換順序を決定することと、を含む。上記技術案を用いることにより、エンコーダが属性符号化を行う過程において、ＲＡＨＴ変換の実現に対して、符号化対象点の法線ベクトルにより各座標成分の法線ベクトルの各座標成分の総和を統計し、最終的に法線ベクトルの各座標成分の総和に基づいてＲＡＨＴ変換を行う変換順序を決定するのである。そうすると、法線ベクトル蓄積を考慮した上で、特徴が顕著である方向における変換を優先的に行い、変換により取得された変換係数の冗長度を減少させ、コーデック効率を向上させる目的を実現する。
【図面の簡単な説明】
【0018】
【発明を実施するための形態】
【0019】
本願の実施例の特徴及び技術的内容をより詳しく理解するために、以下に図面を参照しながら本願の実施例の実現を詳しく説明し、添付の図面は参照・説明のためのものに過ぎず、本願の実施例を制限するためのものではない。
【0020】
本願の実施例では、点群Ｇ－ＰＣＣエンコーダフレームにおいて、三次元画像モデルに入力される点群に対してｓｌｉｃｅ分割を行った後、各ｓｌｉｃｅを独立して符号化する。
【0021】
図１に示されるＧ－ＰＣＣ符号化プロセスのブロック図において、点群エンコーダに適用され、符号化対象の点群データについては、まずｓｌｉｃｅ分割により点群データを複数のｓｌｉｃｅに分割する。各ｓｌｉｃｅにおいて、点群の幾何情報及び各点群に対応する属性情報は別々に符号化されるのである。幾何符号化過程において、幾何情報に対して座標変換を行い、点群をすべて１つのｂｏｕｎｄｉｎｇ ｂｏｘ（バウンディングボックス）に含ませ、次に量子化し、この量子化は主に拡大縮小の役割を果たし、量子化して整数を取ることにより、一部の点群の幾何情報を同じにし、そうすると、パラメータに基づいて重複点を削除するかどうかを決定し、量子化及び重複点の削除過程は更にボクセル化過程と称される。次に、ｂｏｕｎｄｉｎｇ ｂｏｘに対して８分木分割を行う。８分木に基づく幾何情報符号化プロセスにおいて、バウンディングボックスを８つのサブ立方体に８等分し、空ではない（点群における点を含む）サブ立方体を８等分し続け、分割により取得された葉ノードが１ｘ１ｘ１の単位立方体になると分割を停止し、葉ノードにおける点を算術符号化して、バイナリの幾何ビットストリームを生成する。ｔｒｉｓｏｕｐ（ｔｒｉａｎｇｌｅ ｓｏｕｐ、三角形スープ）に基づく幾何情報符号化過程において、同様にまず８分木分割を行う必要があるが、８分木に基づく幾何情報符号化と違って、該ｔｒｉｓｏｕｐは点群を辺長１ｘ１ｘ１の単位立方体に段階的に分割する必要がなく、ｂｌｏｃｋ（サブブロック）の辺長がＷになると分割を停止し、各ｂｌｏｃｋにおける点群の分布により形成された表面に基づいて、該表面とｂｌｏｃｋの１２個の辺とにより形成された多くとも１２個のｖｅｒｔｅｘ（交点）を取得し、ｖｅｒｔｅｘを算術符号化して（交点に基づいて表面フィッティングを行って）、バイナリの幾何ビットストリームを生成する。Ｖｅｒｔｅｘは更に幾何再構築過程の実現に使用され、再構築された幾何情報は点群の属性を符号化する際に使用される。
【0022】
属性符号化過程において、幾何符号化が完了し、幾何情報を再構築した後、カラー変換し、カラー情報（即ち属性情報）をＲＧＢカラー空間からＹＵＶカラー空間に変換する。次に、再構築された幾何情報を利用して点群を改めて着色し、符号化されていない属性情報を再構築された幾何情報に対応させる。カラー情報符号化過程において、主に２つの変換方法があり、一方としては詳細レベル（ＬＯＤ、Ｌｅｖｅｌ ｏｆ Ｄｅｔａｉｌ）分割に依存する距離に基づくアップ変換であり、他方としては直接に領域適応階層変換（ＲＡＨＴ、Ｒｅｇｉｏｎ Ａｄａｐｔｉｖｅ Ｈｉｅｒａｒｃｈａｌ Ｔｒａｎｓｆｏｒｍ）を行う変換であり、この２つの方法はいずれもカラー情報を空間領域から周波数領域に変換し、変換により高周波係数及び低周波係数を取得し、最後に係数を量子化し（即ち量子化係数）、最後に、８分木分割及び表面フィッティング後の幾何符号化データと量子化係数処理後の属性符号化データとをｓｌｉｃｅ合成した後、各ｂｌｏｃｋのｖｅｒｔｅｘ座標を順次符号化（即ち算術符号化）して、バイナリの属性ビットストリームを生成する。
【0023】
図２に示されるＧ－ＰＣＣ復号化プロセスのブロック図において、点群デコーダに適用される。デコーダはバイナリビットストリームを取得し、バイナリビットストリームにおける幾何ビットストリーム及び属性ビットストリームをそれぞれ独立して復号化する。幾何ビットストリームを復号化するとき、算術復号化－８分木複合－表面フィッティング－幾何再構築－逆座標変換により点群の幾何情報を取得し、属性ビットストリームを復号化するとき、算術復号化－逆量子化－ＬＯＤに基づく逆アップ又はＲＡＨＴに基づく逆変換－逆カラー変換により点群の属性情報を取得し、幾何情報及び属性情報に基づいて符号化対象の点群データの三次元画像モデルを復元する。
【0024】
【0025】
【0026】
図３Ａには８＊８の画像の各画素の空間コードを示し、００００００から１１１１１１まで、一次元バイナリ数で、ｘ、ｙ値の０～７での位置座標を符号化する。バイナリ座標値を交差して、バイナリｚ値図を取得する。数値方向に沿ってｚ字型を接続して、再帰するｚ字型の曲線を生成する。図面では、各位置に接続順序に従ってｚ値が置かれる。実際に、上記図面はｚ方向に反復してなるものであり、００～１１（図面全体に１つのｚがある）から、更に００００～１１１１（前のｚの各点に１つのｚを置く）から、更に００００００～１１１１１１（前のｚの各点に１つのｚを置く）から１回あたりに２ビット追加して、再帰していく。
【0027】
例示的に、図３Ｂには２ｘ２、４ｘ４、８ｘ８及び１６ｘ１６空間符号化順序を示し、そこから分かるように、モートンコードの符号化順序は空間ｚ順序に従って実現されるのである。
【0028】
３次元の場合は、その再帰過程は図４Ａ及び図４Ｂに示され、座標の交差が実現され、全体的に行われているのは座標値を絶えず分散させることである。ｘ｜（ｙ＜＜１）｜（ｚ＜＜２）であり、即ち各座標値が分散し、各ビットが順次交差し、まずはｚで次にはｙで最後にはｘである。復号化過程は即ちアグリゲーション過程である。
【0029】
ＲＡＨＴ変換は点群データに対して８分木分割を行って取得した階層構造を基に行われるのであり、８分木の最下層からスタートして、階層に分けて変換される。図５に示すように、８分木分割が終了した後にボクセルブロック１（即ち、図５におけるカラー深さが交錯する３種類の幾何体であり、各ブロックがいずれも点群における点を表す）を取得する。最下層からＲＡＨＴ変換を行い、変換順序ｘｙｚを例とし、下記図５に示すように、まずｘ方向に沿ってＲＡＨＴ変換を行う。ｘ方向に隣接するボクセルブロックが存在する場合、両方をＲＡＨＴして、隣接する２点の属性値の平均（ＤＣ係数）及び詳細（ＡＣ係数）を取得する。取得されたＤＣ係数は親ノードのボクセルブロック２の属性情報として存在し、そして次の層のＲＡＨＴ変換を行うが、ＡＣ係数は保留され、最後の符号化に使用される。隣接点が存在しない場合、該ボクセルブロックの属性値を直接に第２層の親ノードに伝達する。第２層のＲＡＨＴ変換のとき、ｙ方向に沿って行われ、ｙ方向に隣接するボクセルブロックが存在する場合、両方をＲＡＨＴして、隣接する２点の属性値の平均（ＤＣ係数）及び詳細（ＡＣ係数）を取得する。その後、第３層のＲＡＨＴ変換はｚ方向に沿って行われ、そしてカラー深さが交錯する３種類の親ノードボクセルブロック３を８分木における次の層のサブノードとして取得し、更に、点群全体に１つの親ノードのみが存在するまでｘ、ｙ、ｚ方向に沿ってＲＡＨＴ変換を繰り返し行う。
【0030】
実際に点群における点のトラバーザルを行うとき、ソートされた点群のモートンコードを利用して行われ、そうすると、図示の８分木における隣接点の結合を容易にする。
【0031】
【0032】
本願の実施例では、ＲＡＨＴ変換の具体的なステップについては、
（１）、点群における点の属性値を第１層ＤＣ係数とし、且つそれらの重みをすべて１に設定し、ＲＡＨＴ変換をスタートする。
（２）、この層のＤＣ係数及びＡＣ係数を対応のインデックスに基づいて次の層の両親層、親ノードに書き込み、ＡＣ係数がなければ書き込まない。
（３）、モートンコードでソートした後のインデックスに従って、インデックスに対応するＤＣ係数をトラバーザルする。
（４）、すべてのＤＣ係数に対応するモートンコードを右へ１ビット移動し、このとき、各ＤＣ係数のモートンコードはその親ノードのモートンコードを示す。
（５）、図６に示すように、２つのＤＣ係数のモートンコードが同じであるかどうかを判断し、同じである場合、同じ親ノードにおいて、両方がＲＡＨＴを行い、取得されたＤＣ係数を次の層の親ノードのＤＣ係数に書き込み、ＡＣ係数を次の層の最後のＤＣ係数に書き込んで２つのＤＣ係数の総和の重みを親ノードのＤＣ係数に与えることを示し、異なる場合、このＤＣ係数及びその重みを直接に次の層に書き込む。
（６）、ある層に１つのみのＤＣ係数が存在するまで、２）～５）を繰り返す。
（７）、最後に、ＤＣ係数を量子化して、この層のＤＣ係数及びＡＣ係数の属性値を符号化する。
（１）、点群における点の属性値を第１層ＤＣ係数とし、且つそれらの重みをすべて１に設定し、ＲＡＨＴ変換をスタートする。
（２）、この層のＤＣ係数及びＡＣ係数を対応のインデックスに基づいて次の層の両親層、親ノードに書き込み、ＡＣ係数がなければ書き込まない。
（３）、モートンコードでソートした後のインデックスに従って、インデックスに対応するＤＣ係数をトラバーザルする。
（４）、すべてのＤＣ係数に対応するモートンコードを右へ１ビット移動し、このとき、各ＤＣ係数のモートンコードはその親ノードのモートンコードを示す。
（５）、図６に示すように、２つのＤＣ係数のモートンコードが同じであるかどうかを判断し、同じである場合、同じ親ノードにおいて、両方がＲＡＨＴを行い、取得されたＤＣ係数を次の層の親ノードのＤＣ係数に書き込み、ＡＣ係数を次の層の最後のＤＣ係数に書き込んで２つのＤＣ係数の総和の重みを親ノードのＤＣ係数に与えることを示し、異なる場合、このＤＣ係数及びその重みを直接に次の層に書き込む。
（６）、ある層に１つのみのＤＣ係数が存在するまで、２）～５）を繰り返す。
（７）、最後に、ＤＣ係数を量子化して、この層のＤＣ係数及びＡＣ係数の属性値を符号化する。
【0033】
それに対応して、デコーダブロック図において、ＲＡＨＴの変換順序はＲＡＨＴ逆変換にも使用される必要がある。
【0034】
以下、ＲＡＨＴの復号化過程について説明する。
【0035】
ＲＡＨＴ復号化過程はＲＡＨＴ符号化過程の逆変換であり、符号化過程と同じように、逆変換の前に、まず点群において各点のモートンコードを計算して、各点のモートンコードＭを取得した後、点群における点を昇順でソートして、各点の重み値を１に設定し、ＲＡＨＴ逆過程はモートンコードでソートした後の順序に従って点群におけるすべての点をトラバーザルする。
【0036】
ＲＡＨＴ変換は階層的に行われるのであり、最下層から点群における隣接点を１層ずつ判断し、重みに基づいて属性値に対してＲＡＨＴ変換を行う。ところが、ＲＡＨＴ逆変換過程は最上層からスタートし、上から下までＲＡＨＴの逆変換を行うのであり、従って、ＲＡＨＴ逆変換の前に各層の重み情報を取得する必要がある。
【0037】
逆ＲＡＨＴ変換を行う前に、取得されたモートンコード情報を利用して最下層から符号化側における、各層のＲＡＨＴ隣接ノードに対する判断を１回行うことにより、各層の重み情報及びＡＣ係数の対応位置を取得することができ、１つの層のＲＡＨＴを行うたびに、対応のモートンコードを左へ１ビット移動する。重み情報及び各層のノードに対応するモートンコード情報をｂｕｆｆｅｒに記録し、その後の使用に備える。
【0038】
ＲＡＨＴ逆変換を行うとき、最上層からスタートし、各層のモートンコード情報に基づいて隣接ノードの判断を行い、取得された重み情報及び復号化により取得された属性情報を利用してＲＡＨＴの逆変換を行う。図７に示すように、ＲＡＨＴ逆変換は第ｋ＋１層から第ｋ層までの過程に相当する。隣接ノードを判断して分かった場合、トラバーザルされたＤＣ係数及び対応のＡＣ係数を取ってＲＡＨＴの逆変換を行う。
【0039】
【0040】
上記説明される背景に基づいて、以下に本願の実施例に係る各変換方法を説明し、主にエンコーダフレームにおいてＲＡＨＴ変換の時の変換順序を決定する方式の相違についてであり、エンコーダ（点群エンコーダ）に適用される。
【0041】
図８Ａに示すように、本願の実施例は変換方法を提供し、該方法は、
符号化対象点群における符号化対象点の法線ベクトルを決定するＳ１０１と、
符号化対象点の法線ベクトルに基づいて法線ベクトルの各座標成分の総和を統計するＳ１０２と、
法線ベクトルの各座標成分の総和に基づいて変換順序を決定するＳ１０３と、を含んでもよい。
符号化対象点群における符号化対象点の法線ベクトルを決定するＳ１０１と、
符号化対象点の法線ベクトルに基づいて法線ベクトルの各座標成分の総和を統計するＳ１０２と、
法線ベクトルの各座標成分の総和に基づいて変換順序を決定するＳ１０３と、を含んでもよい。
【0042】
【0043】
本願の実施例に係る変換方法は点群空間の分布及び表面方向のＲＡＨＴ変換方法を考慮し、固定した変換順序を用いることなく、ＲＡＨＴ変換を行う前に変換対象ブロック及び所定隣接領域範囲内に含まれる点群の空間分布状況を分析し、該分析により取得された結果に基づいてＲＡＨＴ変換順序を決定し、これにより、より優れた符号化性能を得る。
【0044】
本願の実施例では、符号化対象点群は本願の符号化対象点群の符号化対象オブジェクトに対する点群データであり、１つの符号化対象点群について、それがＮ個の点即ちＮ個の符号化対象点を含んでもよい。Ｎは１以上である。エンコーダは符号化対象点群における符号化対象点の法線ベクトルを決定することにより、符号化対象点の法線ベクトルに基づいて三次元空間における法線ベクトルの各座標成分の総和を統計することができ、ここの法線ベクトルの各座標成分の総和は符号化対象点群の三次元空間における主な分布が集中しているという特徴を示す。異なる点群が異なる空間分布を有するため、ＲＡＨＴ変換を行う前に、エンコーダは各符号化対象点群自体の空間分布特性に対して、それ自体の分布特徴に適合する変換順序を決定することができ、そうすると、エンコーダは変換順序に従ってＲＡＨＴ変換を行い、その取得される変換係数は冗長性が低く、それによって符号化効率を向上させることができる。
【0045】
なお、本願の実施例では、各符号化対象点群の変換順序の決定は異なる可能性があるため、変換順序が決定されたとき、エンコーダは符号化過程において変換順序を属性ビットストリームに書き込む必要がある。例えば、この順序を３ビットのビットストリームによりデコーダに伝送することができ、それによってデコーダは復号化の時に直接にＲＡＨＴの変換順序を解析することができる。
【0046】
本願の実施例では、符号化対象点は符号化対象点群における複数のオブジェクトであり、エンコーダは各符号化対象点の法線ベクトルに基づいて、複数の符号化対象点のｘ座標成分でのｘ軸法線ベクトルの各座標成分の総和、複数の符号化対象点のｙ座標成分でのｙ軸法線ベクトルの各座標成分の総和、及び複数の符号化対象点のｚ座標成分でのｚ軸法線ベクトルの各座標成分の総和を統計し、次に、ｘ軸法線ベクトルの各座標成分の総和、ｙ軸法線ベクトルの各座標成分の総和及びｚ軸法線ベクトルの各座標成分の総和の分布の密集又は分布の大小に基づいて、密集度又は法線ベクトル蓄積が比較的に多い順序を決定することができ、これにより、変換順序を取得し、変換順序は多いから少ない量の順の法線ベクトル分布順序に対応する。
【0047】
本願の実施例では、変換順序の決定方式は、エンコーダが符号化対象点の法線ベクトルに基づいて法線ベクトルの各座標成分の絶対値の和を統計し、絶対値の和が法線ベクトルの各座標成分の総和を示し、そして絶対値の和を降順でソートし、変換順序を決定する、ということである。
【0048】
なお、本願の実施例では、エンコーダが法線ベクトルの各座標成分の絶対値の和を統計することについての実現は、まず各座標成分のすべての法線ベクトルを統計し、次に正規化後に絶対値の和を求める、ということであり、本願の実施例の法線ベクトルはいずれも正規化後の法線ベクトルを用いて使用されるのである。
【0049】
【0050】
【0051】
理解されるように、エンコーダは法線ベクトル推定方法を用いて各点の法線ベクトル情報を取得する。取得された異なる方向の法線ベクトルの総和に基づいて、ＲＡＨＴ変換方向の順序を判断し、即ち、符号化対象点群の空間分布状況を分析することにより、符号化対象点群に対して法線ベクトルの予測及び各方向に沿って和を求める計算を行ってＲＡＨＴ変換順序を取得し、Ｇ－ＰＣＣ属性符号化部の符号化効率及び符号化性能を改善する。
【0052】
本願のいくつかの実施例では、図８Ｂ、図９に示すように、Ｓ１０１の具体的な実現は、
符号化対象点群の属性情報を取得するＳ１０１１と、
符号化対象点群の属性情報に符号化対象点の法線ベクトルが存在するかどうかを判断するＳ１０１２と、
存在する場合、直接に符号化対象点の法線ベクトルを取得するＳ１０１３と、
存在しない場合、符号化対象点の所定隣接領域範囲内の隣接領域点の幾何情報に基づいて符号化対象点の法線ベクトルを決定するＳ１０１４と、を含む。
符号化対象点群の属性情報を取得するＳ１０１１と、
符号化対象点群の属性情報に符号化対象点の法線ベクトルが存在するかどうかを判断するＳ１０１２と、
存在する場合、直接に符号化対象点の法線ベクトルを取得するＳ１０１３と、
存在しない場合、符号化対象点の所定隣接領域範囲内の隣接領域点の幾何情報に基づいて符号化対象点の法線ベクトルを決定するＳ１０１４と、を含む。
【0053】
本願の実施例では、エンコーダは属性符号化を行うとき、符号化対象点群のヘッダ情報により属性情報を取得することができ、且つここの属性情報は点のカラー情報及び追加の法線ベクトル情報を含んでもよい。即ち、本願の実施例では、符号化対象点群における符号化対象点に対して、エンコーダが解析してできた属性情報には、いくつかの符号化対象点群における符号化対象点の法線ベクトルが含まれる可能性があり、全て含まれる可能性もあるし、一部含まれる可能性もあるし、全て含まれない可能性もある。これらの状況に対して、エンコーダは取得された符号化対象点群の属性情報を検出し、各符号化対象点に対して、符号化対象点群の属性情報にこの符号化対象点の法線ベクトルが存在するかどうかを判断することができる。存在する場合、直接に属性情報から符号化対象点の法線ベクトルを取得し、それと同時に、エンコーダは符号化対象点群の幾何情報を取得することができ、即ち符号化対象点の空間座標情報を取得する。存在しない場合、符号化対象点の所定隣接領域範囲内の隣接領域点の幾何情報に基づいて符号化対象点の法線ベクトルを決定する。
【0054】
即ち、属性情報から自体に対応する法線ベクトルを見つけない符号化対象点は、法線ベクトル推定を行うことにより取得する必要がある。
【0055】
【0056】
【0057】
【0058】
なお、符号化対象点群自体が各点の法線ベクトルを含まない場合、法線ベクトル推定の方法を用いて各点の法線ベクトル情報を計算する。取得された異なる方向の法線ベクトルの総和に基づいてＲＡＨＴ変換順序を判断する。
【0059】
本願のいくつかの実施例では、幾何情報は空間座標情報を含み、それ自体に各点の法線ベクトルが含まれない点群に対して、エンコーダは所定隣接領域範囲内の符号化対象点に最も近い少なくとも１つの隣接領域点を取得し、少なくとも１つの隣接領域点の幾何情報を取得し、少なくとも１つの隣接領域点の幾何情報及び所定のフィッティング曲面方程式に基づいて、少なくとも１つの隣接領域点からフィッティング平面までの少なくとも１つの距離を決定し、少なくとも１つの距離の二乗和の最小化に基づいて所定のフィッティング曲面方程式に対応するシステム特徴ベクトルを取得し、システム特徴ベクトルを符号化対象点の法線ベクトルとする。
【0060】
本願のいくつかの実施例では、エンコーダは更に、符号化対象点の所定隣接領域範囲内の隣接領域点の属性情報に基づいて符号化対象点の法線ベクトルを決定する。例えば、属性情報に少なくとも１つの隣接領域点の法線ベクトルが含まれる場合、エンコーダは属性情報から少なくとも１つの隣接領域点の法線ベクトルを取得し、更に少なくとも１つの隣接領域点の法線ベクトルに基づいて符号化対象点の法線ベクトルを決定することができる。
【0061】
なお、エンコーダは属性情報から１つの隣接領域点の法線ベクトルのみを見つけた場合、この隣接領域点の法線ベクトルを符号化対象点の法線ベクトルとして決定し、エンコーダは属性情報から複数の隣接領域点の法線ベクトルのみを見つけた場合、この複数の隣接領域点の法線ベクトルの平均値を符号化対象点の法線ベクトルとして決定する。
【0062】
理解されるように、エンコーダは各点の法線方向を利用して点群空間分布を求めることができ、その目的はいずれも、ＲＡＨＴのＸ、Ｙ、Ｚの３つの方向に沿う最適なＲＡＨＴ変換順序を決定し、ＡＣ変換係数の分布を最適化し、ＡＣ係数の冗長性をなくし、それにより符号化効率を向上させることである。
【0063】
図１１に示すように、本願の実施例は変換方法を提供し、該方法は以下を含んでもよい。
【0064】
Ｓ２０１、符号化対象点群の属性情報を取得する。
【0065】
Ｓ２０２、符号化対象点群の属性情報に符号化対象点の法線ベクトルが存在するかどうかを判断する。
【0066】
Ｓ２０３、存在する場合、直接に符号化対象点の法線ベクトルを取得する。
【0067】
なお、ここのＳ２０１～Ｓ２０３の実現は上記実施例におけるＳ１０１１～Ｓ１０１３の実現の説明と同様であり、ここで詳細な説明は省略する。
【0068】
Ｓ２０４、存在しない場合、モートンコードの順序に従って符号化対象点群をトラバーザルし、所定隣接領域範囲内の符号化対象点に最も近い少なくとも１つの隣接領域点を選択する。
【0069】
Ｓ２０５、少なくとも１つの隣接領域点の幾何情報を取得する。
【0070】
Ｓ２０６、少なくとも１つの隣接領域点の幾何情報及び所定のフィッティング曲面方程式に基づいて、少なくとも１つの隣接領域点からフィッティング平面までの少なくとも１つの距離を決定する。
【0071】
Ｓ２０７、少なくとも１つの距離の二乗和の最小化に基づいて所定のフィッティング曲面方程式に対応するシステム特徴ベクトルを取得し、システム特徴ベクトルを符号化対象点の法線ベクトルとする。
【0072】
本願の実施例では、それ自体に各点の法線ベクトルが含まれない点群に対して採用し得る法線ベクトル推定方法は、局所的に表面フィッティングされるＰＣＡ主成分分析法に基づいて法線ベクトルを取得する方法であり、更にＳＶＤ法線ベクトル推定方法を用いてもよい。
【0073】
所定のフィッティング曲面方程式は原点を通らない平面方程式と、原点を通る平面方程式とを含む。エンコーダが採用する所定のフィッティング曲面方程式が原点を通らない平面方程式である場合、ＰＣＡ主成分分析法による法線ベクトルの推定を実現する。エンコーダが採用する所定のフィッティング曲面方程式が原点を通る平面方程式である場合、ＳＶＤ法による線ベクトル推定を実現する。
【0074】
ＰＣＡ主成分分析法においては、符号化対象点群における各符号化対象点の法線ベクトル推定を行うとき、該点の所定隣接領域範囲内の他の点の空間座標情報、即ち隣接領域点の空間座標情報を利用する必要があるが、隣接領域点の空間座標情報は幾何情報から取得され得る。高速のＫ近隣サーチ方法を用いて符号化対象点群に対して各点のモートンコードを計算し、符号化対象点群における符号化対象点のモートンコードを昇順でソートして、モートンコードの順序を取得し、モートンコードの順序に従って各点に対してソートされる周りの一定範囲点内（所定隣接領域範囲内）で最も近いＫ個の点を選択してそのＫ最近隣点とする。
【0075】
なお、所定隣接領域範囲については本願の実施例は制限せず、実際の設定範囲を基準とする。少なくとも１つの隣接領域点Ｋの選択は異なってもよく、Ｋが小さければ小さいほど、計算の複雑度が小さくなるとともに、取得された法線ベクトルの誤差が大きくなる。Ｋが大きければ大きいほど、法線方向を求める計算の複雑度が大きくなるが、求めた法線方向の誤差が比較的に小さい。
【0076】
【0077】
【0078】
【0079】
【0080】
【0081】
このような主成分分析法ＰＣＡによって、符号化対象点群におけるすべての符号化対象点の法線ベクトルを取得した後、Ｘ、Ｙ、Ｚの各方向のすべての法線ベクトル投影の絶対値の和を求め、次にその和を求めて得た値を降順でソートして、変換順序を取得する。
【0082】
【0083】
【0084】
【0085】
【0086】
【0087】
理解されるように、エンコーダはフィッティング曲線をできる限り平面に接近させることにより、原点を通る平面及び原点を通らない平面等の方式で法線ベクトルの推定を行うことを提案し、法線ベクトル推定を各状況においていずれも正確に実行させ、法線ベクトルの推定精度を向上させ、更に変換順序の最適性を向上させ、最終的に符号化性能を向上させる。
【0088】
Ｓ２０８、符号化対象点の法線ベクトルに基づいて法線ベクトルの各座標成分の総和を統計する。
【0089】
Ｓ２０９、法線ベクトルの各座標成分の総和に基づいて変換順序を決定する。
【0090】
Ｓ２１０、変換順序に従って変換を行う。
【0091】
Ｓ２１１、変換順序を符号化して、属性ビットストリームに書き込む。
【0092】
なお、ここのＳ２０８～Ｓ２１１の実現過程は前述のＳ１０２～１０５の実現過程と同様であり、ここで詳細な説明は省略する。
【0093】
本願のいくつかの実施例では、図１２に示すように、Ｓ２０４の実現との置換可能な実現はＳ２１４である。
【0094】
Ｓ２１４、存在しない場合、空間距離に基づいて符号化対象点群をトラバーザルし、所定隣接領域範囲内の符号化対象点に最も近い少なくとも１つの隣接領域点を選択する。
【0095】
本願の実施例では、それ自体に各点の法線ベクトルが含まれない点群に対して、エンコーダはＫ近隣サーチを行うとき、空間距離に基づくサーチ方法を用いて空間距離的に最も近いＫ近隣接領域点（少なくとも１つの隣接領域点）を見つけてもよい。各点の隣接領域点を正確に見つけるために、符号化対象点群におけるすべての点をトラバーザルしてＫ近隣のサーチを行ってもよい。
【0096】
詳しくは、符号化対象点群におけるすべての点をトラバーザルし、すべての点と現在符号化対象点との空間距離を決定し、その中から空間距離が最も小さい１つ又は複数の点を見つければ、Ｋ近隣接領域点を決定することができる。
【0097】
本願のいくつかの実施例では、図１３に示すように、Ｓ２０４の実現との置換可能な実現はＳ２１５～Ｓ２１６である。
【0098】
Ｓ２１５、存在しない場合、符号化対象点群に対してＫ－Ｄ木分割を行って、階層構造を取得する。
【0099】
Ｓ２１６、階層構造をトラバーザルして、符号化対象点と同じ階層に属する点を少なくとも１つの隣接領域点として取得する。
【0100】
本願の実施例では、それ自体に各点の法線ベクトルが含まれない点群に対して、多次元２分木（Ｋ－Ｄ、Ｋ－ｄｉｍｅｎｓｉｏｎ ｂｉｎａｒｙ ｔｒｅｅ）に基づいてトラバーザルし、それによって隣接領域点をサーチする。
【0101】
本願の実施例では、エンコーダは符号化対象点群に対してＫ－Ｄ木分割を行って、階層構造を取得する。即ち、エンコーダは点群における点に対してまずＫ－Ｄ木の分割を行い、即ちまずｘ方向に沿って点群における点を座標の大小順序でソートし、そして中間点の１番目の根ノードの座標を見つけて、点群を同じ点数の２つの部分の中央値に分割して、その後、順に異なる座標軸（ｘ、ｙ、ｚの順序）の２つの葉ノードに沿って点群を分割し、点数がＰ（Ｐは整数である）を越えない最後の層まで分割して、階層構造を取得する。階層構造をトラバーザルして、符号化対象点と同じ階層に属する点を少なくとも１つの隣接領域点として取得し、即ちサブ木の単位で法線ベクトルの計算を行う。
【0102】
理解されるように、Ｋ－Ｄ分割を用いる場合、各ノードはいずれも符号化対象点であり、８分木の親ノードが結合後の点であるのに比べて、直接に符号化対象点を判断し、そうすると、変換順序を取得する方式はより正確であり、符号化精度を向上させる。
【0103】
図１４に示すように、本願の実施例は変換方法を提供し、該方法は以下を含んでもよい。
【0104】
Ｓ３０１、符号化対象点群から特徴点を選択する。
【0105】
Ｓ３０２、特徴点に対して法線ベクトル推定を行って、特徴点の法線ベクトルを取得する。
【0106】
Ｓ３０３、符号化対象点と空間距離的に符号化対象点に最も近い隣接領域点とが連続するかどうかを判断する。
【0107】
Ｓ３０４、連続し且つ隣接領域点が特徴点に属する場合、隣接領域点の法線ベクトルを符号化対象点の法線ベクトルとする。
【0108】
Ｓ３０５、連続しない場合、符号化対象点の所定隣接領域範囲内の隣接領域点の幾何情報に基づいて符号化対象点の法線ベクトルを決定する。
【0109】
本願の実施例では、エンコーダは更に、まず符号化対象点群からいくつかの点を特徴点として選択し、まず前述した実施例における法線ベクトル推定方法により各特徴点の法線ベクトルを計算してもよく、そうすると、他の符号化対象点の法線ベクトルの決定を行うとき、エンコーダは空間距離的に最も近い隣接領域点が連続するかどうかを判断した後、連続する場合には、隣接領域点法線ベクトルを用いて現在符号化対象点を示すことができることを示し、連続しない場合、現在符号化対象点と連続する隣接領域点が存在しないことを示し、そこで直接に前述した実施例の法線ベクトル推定方法に基づいて取得する。しかしながら、隣接領域点を見つけることができ、且つ隣接領域点が特徴点に属する場合、隣接領域点の法線ベクトルは既に分かったものであり、エンコーダは隣接領域点の法線ベクトルを符号化対象点の法線ベクトルとすることができる。
【0110】
なお、エンコーダはモートンコードの順序に従って所定隣接領域範囲内でバックトレースし、符号化対象点と空間距離的に符号化対象点に最も近い隣接領域点とが連続するかどうかを判断するのである。
【0111】
なお、ここのＳ３０４～３０５の実現は前述の実施例におけるＳ１０１３～Ｓ１０１４の実現の説明と同様であり、ここで詳細な説明は省略する。
【0112】
理解されるように、エンコーダは符号化対象点に空間的に最も近い隣接領域及びモートンコードも連続する隣接領域をサーチすることができ、符号化順序の近接を確保するだけではなく、空間実際位置の近接も確保し、そうすると、隣接領域点の法線ベクトルで符号化対象点を正確に示すことができ、法線ベクトルの推定精度を向上させ、更に変換順序の最適性を向上させ、最終的に符号化性能を向上させる。
【0113】
Ｓ３０６、符号化対象点の法線ベクトルに基づいて法線ベクトルの各座標成分の総和を統計する。
【0114】
Ｓ３０７、法線ベクトルの各座標成分の総和に基づいて変換順序を決定する。
【0115】
Ｓ３０８、変換順序に従ってＲＡＨＴ変換を行う。
【0116】
Ｓ３０９、変換順序を符号化して、属性ビットストリームに書き込む。
【0117】
なお、ここのＳ３０６～３０９の実現は前述の実施例におけるＳ１０２～Ｓ１０５の実現の説明と同様であり、ここで詳細な説明は省略する。
【0118】
図１５に示すように、本願の実施例は変換方法を提供し、該方法は、
符号化対象点群に対して所定ブロック分割を行って、ｎ個の所定ブロックを取得するＳ４０１と、
ｎ個の所定ブロックのうちの各所定ブロックにおける符号化対象点の法線ベクトルを決定するＳ４０２と、
符号化対象点の法線ベクトルに基づいて各所定ブロックにおける法線ベクトルの各座標成分の総和を統計するＳ４０３と、
各所定ブロックに対応する法線ベクトルの各座標成分の総和に基づいて、各所定ブロックに対応する変換順序を決定するＳ４０４と、
変換順序に従って各所定ブロックに対してＲＡＨＴ変換を行うＳ４０５と、
各所定ブロックに対応する変換順序を符号化して、属性ビットストリームに書き込むＳ４０６と、を含んでもよい。
符号化対象点群に対して所定ブロック分割を行って、ｎ個の所定ブロックを取得するＳ４０１と、
ｎ個の所定ブロックのうちの各所定ブロックにおける符号化対象点の法線ベクトルを決定するＳ４０２と、
符号化対象点の法線ベクトルに基づいて各所定ブロックにおける法線ベクトルの各座標成分の総和を統計するＳ４０３と、
各所定ブロックに対応する法線ベクトルの各座標成分の総和に基づいて、各所定ブロックに対応する変換順序を決定するＳ４０４と、
変換順序に従って各所定ブロックに対してＲＡＨＴ変換を行うＳ４０５と、
各所定ブロックに対応する変換順序を符号化して、属性ビットストリームに書き込むＳ４０６と、を含んでもよい。
【0119】
本願の実施例では、エンコーダは所定ブロック分割を行って、ｎ個の所定ブロックを取得し、ｎ個の所定ブロックのうちの各所定ブロックにおける符号化対象点の法線ベクトルを決定し、１つの所定ブロックを単位として、符号化対象点の法線ベクトルに基づいて、各所定ブロックにおける法線ベクトルの各座標成分の総和を統計し、更に各所定ブロックに対応する法線ベクトルの各座標成分の総和に基づいて各所定ブロックに対応する変換順序を決定し、直接に各所定ブロック及びその各所定ブロックに対応する変換順序に対して、それぞれ各所定ブロックに対してＲＡＨＴ変換を行い、各所定ブロックに対応する変換順序を符号化して、属性ビットストリームに書き込むことができる。
【0120】
なお、点群属性のＲＡＨＴ変換を行うとき、符号化対象点群を分割し、分割により取得された異なる領域に対応する異なる点群に対して、それぞれＲＡＨＴの３つの方向における順序の判断を行うことができる。具体的な領域分割方式は異なってもよく、本例では、ｓｌｉｃｅ分割スキームを用い、即ちＭＰＥＧ Ｇ－ＰＣＣにおける点群ｓｌｉｃｅ分割方法に基づいて、点群を異なるｓｌｉｃｅ（即ち所定ブロック）に分割し、各ｓｌｉｃｅに含まれる点群を更に法線ベクトル推定方法でＲＡＨＴ変換方向順序の判断を１回行い、即ち異なるｓｌｉｃｅが異なるＲＡＨＴ変換順序を用いる可能性がある。
【0121】
例えば、所定ブロックはｓｌｉｃｅより小さく且つ８分木の葉ノードより大きなｂｌｏｃｋ等であってもよく、本願の実施例は制限しない。
【0122】
理解されるように、ｓｌｉｃｅ分割を用いる場合、各ｓｌｉｃｅに基づいて符号化を並行して行うことができ、耐障害機能及び符号化速度も向上する。
【0123】
図１６Ａに示すように、本願の実施例は変換方法を提供し、該方法は、
符号化対象点群における符号化対象点の三次元空間からなる３つの座標面での３つの二次元投影面を決定するＳ６０１と、
３つの二次元投影面に基づいて各座標面の投影面積を統計するＳ６０２と、
投影面積に基づいて変換順序を決定するＳ６０３と、を含んでもよい。
符号化対象点群における符号化対象点の三次元空間からなる３つの座標面での３つの二次元投影面を決定するＳ６０１と、
３つの二次元投影面に基づいて各座標面の投影面積を統計するＳ６０２と、
投影面積に基づいて変換順序を決定するＳ６０３と、を含んでもよい。
【0124】
【0125】
本願の実施例では、エンコーダは三次元点群（即ち符号化対象点群）における各点（符号化対象点）をそれぞれ三次元空間からなる３つの座標面（Ｘ、Ｙ、Ｚ座標軸からなる３つの面）、即ちＸｏＹ平面、ＹｏＺ平面及びＸｏＺ平面に投影して、最終的に符号化対象点の３つの二次元投影、即ち３つの二次元投影面を取得する。エンコーダは各二次元投影面の面積を計算し、各座標面の投影面積を統計し、ここの投影面積は符号化対象点群の三次元空間における主な分布が集中しているという特徴を表す。投影面積に基づいて変換順序を決定する。異なる点群が異なる空間分布を有するため、ＲＡＨＴ変換を行う前に、エンコーダは各符号化対象点群自体の空間分布特性に対して、その自体の分布特徴に適する変換順序を決定することができ、そうすると、エンコーダが変換順序に従って行ったＲＡＨＴ変換では、取得した変換係数は冗長性が低く、更に符号化効率を向上させることができる。
【0126】
なお、本願の実施例では、投影面積に基づいて変換順序を決定することは、各投影面上の投影点の数を統計し、投影面の数が多ければ多いほど、変換順序が優先されるという原則に従って、ＲＡＨＴの変換順序を決定することであってもよい。
【0127】
理解されるように、異なる点群が異なる空間分布を有するため、ＲＡＨＴ変換を行う前に、エンコーダは各符号化対象点群自体の空間分布特性に対して、その自体の分布特徴に適する変換順序を決定することができ、そうすると、エンコーダが変換順序に従って行ったＲＡＨＴ変換では、取得した変換係数は冗長性が低く、更に符号化効率を向上させることができる。
【0128】
なお、本願の実施例では、決定された各符号化対象点群の変換順序は異なる可能性があるため、変換順序が決定されたとき、エンコーダは符号化過程において変換順序を属性ビットストリームに書き込む必要がある。例えば、この順序を３ビットのビットストリームによりデコーダに伝送することができ、そうすると、デコーダは復号化の時に直接にＲＡＨＴの変換順序を解析することができる。
【0129】
本願の実施例では、投影面の面積は各投影平面上の投影点の個数で示されてもよい。
【0130】
例示的に、平面ＸｏＹ上の投影点数をＮｕｍ（ｘｏｙ）と記し、平面ＹｏＺ上の投影点数をＮｕｍ（ｙｏｚ）と記し、平面ＺｏＸ上の投影点数をＮｕｍ（ｚｏｘ）と記す。投影面積がＮｕｍ（ｘｏｙ）＞Ｎｕｍ（ｙｏｚ）＞Ｎｕｍ（ｚｏｘ）である場合、変換順序がｙｘｚであることを決定し、投影面積がＮｕｍ（ｘｏｙ）＞Ｎｕｍ（ｚｏｘ）＞Ｎｕｍ（ｙｏｚ）である場合、変換順序がｘｙｚであることを決定し、投影面積がＮｕｍ（ｙｏｚ）＞Ｎｕｍ（ｘｏｙ）＞Ｎｕｍ（ｚｏｘ）である場合、変換順序がｙｚｘであることを決定し、投影面積がＮｕｍ（ｙｏｚ）＞Ｎｕｍ（ｚｏｘ）＞Ｎｕｍ（ｘｏｙ）である場合、変換順序がｚｙｘであることを決定し、投影面積がＮｕｍ（ｚｏｘ）＞Ｎｕｍ（ｙｏｚ）＞Ｎｕｍ（ｘｏｙ）である場合、変換順序がｚｘｙであることを決定し、投影面積がＮｕｍ（ｚｏｘ）＞Ｎｕｍ（ｘｏｙ）＞Ｎｕｍ（ｙｏｚ）である場合、変換順序がｘｚｙであることを決定する。
【0131】
図１７に示すように、本願の実施例は変換方法を提供し、該方法は以下を含んでもよい。
【0132】
Ｓ７０１、所定の立方体辺長に基づいて符号化対象点群を少なくとも１つの立方体サブブロックに分割する。
【0133】
Ｓ７０２、少なくとも１つの立方体サブブロックのうちの各立方体サブブロックにおける符号化対象ボクセル点の三次元空間からなる３つの座標面での３つの二次元投影面を決定、符号化対象ボクセル点は符号化対象点を示す。
【0134】
Ｓ７０３、３つの二次元投影面に基づいて各立方体サブブロックに対応する各座標面の投影面積を統計する。
【0135】
Ｓ７０４、各立方体サブブロックに対応する各座標面の投影面積を降順でソートし、各座標軸面に垂直する座標軸の順序を各立方体サブブロックの変換順序として決定する。
【0136】
Ｓ７０５、各立方体サブブロックの変換順序に従ってＲＡＨＴ変換を行う。
【0137】
Ｓ７０６、各立方体サブブロックの変換順序を符号化して、属性ビットストリームに書き込む。
【0138】
本願の実施例では、エンコーダは符号化対象点群の位置する空間に対してｂｌｏｃｋ分割を行って、ｎ個のｂｌｏｃｋを取得することができる。各ｂｌｏｃｋのｘ、ｙ、ｚの３つの座標軸のうちの２つごとからなる平面上の投影サイズ又は投影面積を用いてＲＡＨＴの変換順序を判断する。
【0139】
なお、ＲＡＨＴ変換は点群データ（符号化対象点群）に対して８分木分割を行って取得した階層構造を基に行われるのであり、８分木の最下層からスタートして、階層に分けて変換される。エンコーダが符号化対象点群の位置する空間でｂｌｏｃｋ分割を行ってｎ個のｂｌｏｃｋを取得する実現過程は図１８に示され、エンコーダは点群を８分木の方式で若干の同じサイズのＮｘＮｘＮのｂｌｏｃｋに分割し、ここで、Ｎは固定値に設定され又は異なる点群に基づいてそれぞれ設定されてもよく、本願の実施例は制限しない。即ち、各ｂｌｏｃｋはボクセル点（ｖｏｘｅｌ）とも称されるボクセルをＮｘＮｘＮ個含む。ボクセルの単位は１であり、符号化対象点群における１つの符号化対象点を示す。
【0140】
本願の実施例では、エンコーダは少なくとも１つの立方体サブブロックのうちの各立方体サブブロックにおける符号化対象ボクセル点の三次元空間からなる３つの座標面での３つの二次元投影面を決定し、符号化対象ボクセル点は符号化対象点を示し、３つの二次元投影面に基づいて各立方体サブブロックに対応する各座標面の投影面積を統計し、更に各立方体サブブロックに対応する各座標面の投影面積を降順でソートし、各座標軸面に垂直する座標軸の順序を各立方体サブブロックの変換順序として決定し、各立方体サブブロックの変換順序に従ってＲＡＨＴ変換を行い、各立方体サブブロックに対応する変換順序を符号化して、属性ビットストリームに書き込む。
【0141】
例示的に、各ｂｌｏｃｋにおいて、エンコーダはそのＸｏＹ、ＸｏＺ及びＹｏＺ平面での投影面積を計算し、エンコーダは３つの投影面における投影総数を統計し、投影総数を投影面積として見なし、投影面積を降順でソートした後、該投影面に垂直する座標軸方向の順序をｂｌｏｃｋにおけるＲＡＨＴ変換の順序とし、ＸｏＹ投影面積がＸｏＺ投影面積より大きく、ＸｏＺ投影面積がＹｏＺ投影面積より大きい場合、投影面積の順序はＸｏＹ、ＸｏＺ及びＹｏＺであり、そうすると、該投影面に垂直する座標軸方向における投ＸｏＹにおける投影面の座標軸方向はｚであり、該投影面に垂直する座標軸方向ＸｏＺにおける投影面の座標軸方向 はｙであり、該投影面に垂直する座標軸方向ＹｏＺにおける投影面の座標軸方向はｘであり、そうすると、ＸｏＹ、ＸｏＺ及びＹｏＺの順序に従って決定した変換順序はｚｙｘである。
【0142】
なお、点群属性のＲＡＨＴ変換を行うとき、符号化対象点群を分割し、分割により取得された異なる領域に対応する異なる点群に対して、それぞれＲＡＨＴの３つの方向における順序の判断を行うことができる。具体的な領域分割方式は異なってもよく、本例では、ｂｌｏｃｋ分割スキームを用い、即ちＭＰＥＧ Ｇ－ＰＣＣにおける点群ｂｌｏｃｋ分割方法に基づいて点群をｂｌｏｃｋに分割し、各ｂｌｏｃｋに含まれる点群を更に投影面積統計の方法でＲＡＨＴ変換順序の判断を１回行い、即ち異なるｂｌｏｃｋは異なるＲＡＨＴ変換順序を使用する可能性がある。
【0143】
例えば、分割のサイズはｓｌｉｃｅ等であってもよく、本願の実施例は制限しない。
【0144】
Ｓ７０７、各立方体サブブロックの変換順序に従って各立方体サブブロックの符号化対象ボクセル点に対してＲＡＨＴ変換を行って、各立方体サブブロックのサブボクセル点を取得する。
【0145】
Ｓ７０８、各立方体サブブロックに対応する各座標面の投影面積に基づいて、各座標面に対応する投影面積絶対値の和を統計する。
【0146】
Ｓ７０９、投影面積絶対値の和を降順でソートして、変換順序を取得する。
【0147】
Ｓ７１０、変換順序に従って各立方体サブブロックのサブボクセル点に対してＲＡＨＴ変換を行う。
【0148】
Ｓ７１１、各立方体サブブロックの変換順序を符号化して、属性ビットストリームに書き込む。
【0149】
本願の実施例では、エンコーダは各立方体サブブロックの変換順序を決定した後、エンコーダは各立方体サブブロックの変換順序に従って各立方体サブブロックの符号化対象ボクセル点に対してＲＡＨＴ変換を行って、各立方体サブブロックのサブボクセル点を取得し、各立方体サブブロックに対応する各座標面の投影面積に基づいて、各座標面に対応する投影面積絶対値の和を統計し、投影面積絶対値の和を降順でソートして、変換順序を取得し、最後に、変換順序に従って各立方体サブブロックのサブボクセル点に対してＲＡＨＴ変換を行うことができる。
【0150】
即ち、エンコーダは各ｂｌｏｃｋの変換順序を取得した後、この変換順序に従って１つのｂｌｏｃｋ内部のＲＡＨＴ変換を行って、各立方体サブブロックのサブボクセル点を取得し、ｂｌｏｃｋにおけるＲＡＨＴ変換が終了した後、すべてのｂｌｏｃｋにおける各方向の投影面積の和を求めて降順でソートして、総ＲＡＨＴ変換順序を取得し、次に、この総ＲＡＨＴ変換順序に従って、取得された各立方体サブブロックのサブボクセル点に対してＲＡＨＴ変換を行い、最終的に各立方体サブブロックの変換順序を符号化して属性ビットストリームに書き込む必要があり、それによってデコーダが復号化の時に使用することに備える。
【0151】
理解されるように、符号化対象点の投影面積により各座標成分の投影面積を統計し、最終的には各座標成分の投影面積のサイズに基づいてソートし、ＲＡＨＴ変換を行う変換順序を決定する。そうすると、投影面積の蓄積即ち空間分布特性を考慮した上で、特徴が顕著である方向における変換を優先的に行い、変換により取得された変換係数の冗長度を減少させ、コーデック効率を向上させる目的を実現する。
【0152】
本願のいくつかの実施例では、図１９に示すように、Ｓ７０７の後で、Ｓ７１０の前に、該方法は更に、
各立方体サブブロックに対応する変換順序に基づいて、各立方体サブブロックに対応する主投影方向を取得するＳ７１２と、
各立方体サブブロックに対応する主投影方向に基づいて各座標成分の主投影方向の数を統計するＳ７１３と、
各座標成分の主投影方向の数を降順でソートして、変換順序を取得するＳ７１４と、を含む。
各立方体サブブロックに対応する変換順序に基づいて、各立方体サブブロックに対応する主投影方向を取得するＳ７１２と、
各立方体サブブロックに対応する主投影方向に基づいて各座標成分の主投影方向の数を統計するＳ７１３と、
各座標成分の主投影方向の数を降順でソートして、変換順序を取得するＳ７１４と、を含む。
【0153】
本願の実施例では、エンコーダが各ｂｌｏｃｋの変換順序を判断する方式は更に、各立方体サブブロックの変換順序に従って各立方体サブブロックの符号化対象ボクセル点に対してＲＡＨＴ変換を行って、各立方体サブブロックのサブボクセル点を取得した後、各立方体サブブロックの変換順序における主投影方向を取得し、各立方体サブブロックの主投影方向に基づいて各座標成分の主投影方向の数を統計し、各座標成分の主投影方向の数を降順でソートして、変換順序を取得する、ということであってもよく、該変換順序に従って符号化対象点群全体に対してＲＡＨＴ変換を行うことができる。
【0154】
なお、本願の実施例では、各立方体サブブロックに対応する主投影方向は、各立方体サブブロックに対応する変換順序における１番目の座標方向である。
【0155】
例示的に、エンコーダが符号化対象点群を３つのｂｌｏｃｋに分割すると仮定する。ｂｌｏｃｋ１の変換順序はｘｙｚであり、ｂｌｏｃｋ２の変換順序はｚｙｘであり、ｂｌｏｃｋ３の変換順序はｚｘｙであり、そうすると、エンコーダはｂｌｏｃｋ１の主投影方向がｘであり、ｂｌｏｃｋ２の主投影方向がｚであり、ｂｌｏｃｋ３の主投影方向がｚであることを取得し、３つの主投影方向を取得した後、各立方体サブブロックに対応する主投影方向に基づいて統計したｘ分の主投影方向の数は１であり、統計したｙ分の主投影方向の数は０であり、統計したｚ分の主投影方向の数は２であり、２＞１＞０であるため、各座標成分の主投影方向の数を降順でソートして取得した変換順序はｚｘｙである。
【0156】
図２０に示すように、Ｓ７１３の実現過程は、
各立方体サブブロックに対応する主投影方向から所定比率のサブ立方体サブブロックに対応する主投影方向を選択するＳ７１３１と、
サブ立方体サブブロックに対応する主投影方向に基づいて各座標成分の主投影方向の数を統計するＳ７１３２と、を含んでもよい。
各立方体サブブロックに対応する主投影方向から所定比率のサブ立方体サブブロックに対応する主投影方向を選択するＳ７１３１と、
サブ立方体サブブロックに対応する主投影方向に基づいて各座標成分の主投影方向の数を統計するＳ７１３２と、を含んでもよい。
【0157】
本願の実施例では、エンコーダは符号化対象点群の位置する空間をＮ個のｂｌｏｃｋに分割し、Ｎ個のｂｌｏｃｋから所定比率のサブ立方体ブロックを選択し、サブ立方体サブブロックに対応する主投影方向を用いて各座標成分の主投影方向の数を統計し、更に変換順序を取得することができる。
【0158】
所定比率は１０％であってもよく、これは実際のニーズ及び設計に応じて決定されるものであり、本願の実施例は制限しない。
【0159】
例示的に、エンコーダは符号化対象点群の位置する空間を１００個のｂｌｏｃｋに分割し、主投影方向が１００個あり、所定比率が１０％である場合、エンコーダは１００個のｂｌｏｃｋから１０個のｂｌｏｃｋを選択して、その三次元主投影方向に基づいて、各座標成分の主投影方向の数を統計することができる。
【0160】
理解されるように、一部のｂｌｏｃｋを用いて統計することにより、処理速度を向上させ、演算量を低減させる。
【0161】
図２１に示すように、本願のいくつかの実施例では、Ｓ７０２の前に、方法は更に、
符号化対象点群における符号化対象点を中心として少なくとも１つの立方体サブブロックを構築するＳ７１５を含む。
符号化対象点群における符号化対象点を中心として少なくとも１つの立方体サブブロックを構築するＳ７１５を含む。
【0162】
本願の実施例では、エンコーダが符号化対象点群の位置する空間に対してブロック分割を行う方式は更に、各符号化対象点を中心又は中心軸として用いて、各符号化対象点をボクセル中心とする長さＮｘＮｘＮボクセルの立方体サブブロックを構築することであってもよい。
【0163】
これの、直接にｂｌｏｃｋ分割を行う方式との相違点は、各ｂｌｏｃｋにおけるボクセルブロックはｂｌｏｃｋを中心として分割されるものであり、各ボクセルにおける点の分布は点がどのボクセルに位置するかによって決定される、ということである。そして、ここの立方体サブブロックにおける各ボクセルの分割は各符号化対象点を中心として単位１で分割するものであり、ボクセルとボクセルとの間に重複が存在する可能性がある。
【0164】
本願の実施例では、よりよいＲＡＨＴ変換順序の決定方法を用いることにより再構築された点群に性能ゲインを与えることができる。下記表１に示すように、再構築された点群のＰＳＮＲが低下し、且つＢＤ－ｒａｔｅも著しく向上する。（ＰＳＮＲは画像を評価する客観的基準であり、ＰＳＮＲが大きければ大きいほど、画像の品質が高くなる。ＢＤ－ｒａｔｅは性能の高低を評価するパラメータであり、ＢＤ－ｒａｔｅが負数である場合は性能が高くなることを示し、これを基に、ＢＤ－ｒａｔｅの絶対値が大きければ大きいほど、性能ゲインが大きくなる。）
【0165】
【表1】
【0166】
表１から分かるように、４つの点群に対して、それぞれ異なる変換順序を用いてＲＡＨＴ変換を行って取得したＡｖｅｒａｇｅ平均ゲインはいずれも顕著であり、エンコーダの性能が大幅に向上する。
【0167】
理解されるように、このような実現手段では、各ボクセルが符号化対象点を中心とするため、取得したボクセルの投影面積を符号化対象点の投影面積とすると、より正確である。
【0168】
前述した背景に基づいて、以下に本願の実施例に係る変換方法を説明し、主にデコーダフレームにおいてＲＡＨＴ逆変換を行う際に変換順序を取得する過程に対するものであり、デコーダ（点群デコーダ）に適用される。
【0169】
図２２に示すように、本願の実施例は逆変換方法を提供し、デコーダに適用され、
属性ビットストリームから変換順序を解析するＳ８０１と、
復号化の時、変換順序に従ってＲＡＨＴ逆変換を行うＳ８０２と、を含む。
属性ビットストリームから変換順序を解析するＳ８０１と、
復号化の時、変換順序に従ってＲＡＨＴ逆変換を行うＳ８０２と、を含む。
【0170】
本願の実施例では、符号化ビットストリームがデコーダに伝送されると、該デコーダは符号化ビットストリームにおける属性ビットストリームから変換順序を解析することができ、そうすると、デコーダがＲＡＨＴ逆変換を行うとき、変換順序を使用して実現することができる。
【0171】
理解されるように、エンコーダは符号化対象点群の空間分布特徴に基づいて、各符号化対象点群に対応する最適なＲＡＨＴ変換の変換順序を決定する。そうすると、法線ベクトル蓄積を考慮した上で、特徴が顕著である方向における変換を優先的に行い、変換により取得された変換係数の冗長度を減少させ、コーデック効率を向上させる目的を実現し、各符号化対象点群に対応する変換順序が異なる可能性があるため、符号化の時に変換順序も符号化して属性ビットストリームに書き込む必要があり、デコーダが復号化してＲＡＨＴ逆変換を行う際に使用することに備える。
【0172】
前述した実施例の実現に基づいて、図２３に示すように、本願の実施例はエンコーダ１を提供し、
符号化対象点群における符号化対象点の法線ベクトルを決定するように構成される決定部１０と、
前記符号化対象点の法線ベクトルに基づいて法線ベクトルの各座標成分の総和を統計するように構成される取得部１１と、を備え、
前記決定部１０は更に、前記法線ベクトルの各座標成分の総和に基づいて変換順序を決定するように構成される。
符号化対象点群における符号化対象点の法線ベクトルを決定するように構成される決定部１０と、
前記符号化対象点の法線ベクトルに基づいて法線ベクトルの各座標成分の総和を統計するように構成される取得部１１と、を備え、
前記決定部１０は更に、前記法線ベクトルの各座標成分の総和に基づいて変換順序を決定するように構成される。
【0173】
本願のいくつかの実施例では、前記エンコーダは更に変換部及び符号化部を備える。
【0174】
前記変換部１２は、変換順序に従ってＲＡＨＴ変換を行うように構成され、
前記符号化部１３は、前記変換順序を符号化して属性ビットストリームに書き込むように構成される。
前記符号化部１３は、前記変換順序を符号化して属性ビットストリームに書き込むように構成される。
【0175】
本願のいくつかの実施例では、前記エンコーダは更に判断部１４を備え、
前記取得部１１は更に、符号化対象点群の属性情報を取得するように構成され、
前記判断部１４は更に、前記符号化対象点群の属性情報に前記符号化対象点の法線ベクトルが存在するかどうかを判断するように構成され、
前記取得部１１は更に、存在する場合、直接に前記符号化対象点の法線ベクトルを取得するように構成され、
前記決定部１０は更に、存在しない場合、前記符号化対象点の所定隣接領域範囲内の隣接領域点の属性情報に基づいて前記符号化対象点の法線ベクトルを決定するように構成される。
前記取得部１１は更に、符号化対象点群の属性情報を取得するように構成され、
前記判断部１４は更に、前記符号化対象点群の属性情報に前記符号化対象点の法線ベクトルが存在するかどうかを判断するように構成され、
前記取得部１１は更に、存在する場合、直接に前記符号化対象点の法線ベクトルを取得するように構成され、
前記決定部１０は更に、存在しない場合、前記符号化対象点の所定隣接領域範囲内の隣接領域点の属性情報に基づいて前記符号化対象点の法線ベクトルを決定するように構成される。
【0176】
本願のいくつかの実施例では、前記取得部１１は更に、前記所定隣接領域範囲内の前記符号化対象点に最も近い少なくとも１つの隣接領域点を取得し、前記少なくとも１つの隣接領域点の幾何情報を取得するように構成され、
前記決定部１０は更に、前記少なくとも１つの隣接領域点の幾何情報及び所定のフィッティング曲面方程式に基づいて、前記少なくとも１つの隣接領域点からフィッティング平面までの少なくとも１つの距離を決定するように構成され、
前記取得部１１は更に、前記少なくとも１つの距離の二乗和の最小化に基づいて前記所定のフィッティング曲面方程式に対応するシステム特徴ベクトルを取得し、前記システム特徴ベクトルを前記符号化対象点の法線ベクトルとするように構成される。
前記決定部１０は更に、前記少なくとも１つの隣接領域点の幾何情報及び所定のフィッティング曲面方程式に基づいて、前記少なくとも１つの隣接領域点からフィッティング平面までの少なくとも１つの距離を決定するように構成され、
前記取得部１１は更に、前記少なくとも１つの距離の二乗和の最小化に基づいて前記所定のフィッティング曲面方程式に対応するシステム特徴ベクトルを取得し、前記システム特徴ベクトルを前記符号化対象点の法線ベクトルとするように構成される。
【0177】
本願のいくつかの実施例では、前記所定のフィッティング曲面方程式は、原点を通らない平面方程式と、原点を通る平面方程式とを含む。
【0178】
本願のいくつかの実施例では、前記取得部１１は更に、モートンコードの順序に従って前記符号化対象点群をトラバーザルし、所定隣接領域範囲内の前記符号化対象点に最も近い前記少なくとも１つの隣接領域点を選択するように構成される。
本願のいくつかの実施例では、前記取得部１１は更に、空間距離に基づいて前記符号化対象点群をトラバーザルし、所定隣接領域範囲内の前記符号化対象点に最も近い前記少なくとも１つの隣接領域点を選択するように構成される。
本願のいくつかの実施例では、前記取得部１１は更に、前記所定隣接領域範囲内の前記符号化対象点に最も近い少なくとも１つの隣接領域点を取得した後、前記少なくとも１つの隣接領域点の法線ベクトルを取得し、前記特徴点に対して法線ベクトル推定を行って、前記特徴点の法線ベクトルを取得するように構成される。
本願のいくつかの実施例では、前記取得部１１は更に、空間距離に基づいて前記符号化対象点群をトラバーザルし、所定隣接領域範囲内の前記符号化対象点に最も近い前記少なくとも１つの隣接領域点を選択するように構成される。
本願のいくつかの実施例では、前記取得部１１は更に、前記所定隣接領域範囲内の前記符号化対象点に最も近い少なくとも１つの隣接領域点を取得した後、前記少なくとも１つの隣接領域点の法線ベクトルを取得し、前記特徴点に対して法線ベクトル推定を行って、前記特徴点の法線ベクトルを取得するように構成される。
【0179】
本願のいくつかの実施例では、前記エンコーダは更に判断部１４を備え、
前記決定部１０は更に、前記符号化対象点群から特徴点を選択し、前記特徴点に対して法線ベクトル推定を行って、前記特徴点の法線ベクトルを取得するように構成され、
前記判断部１４は、前記符号化対象点と空間距離的に前記符号化対象点に最も近い隣接領域点とが連続するかどうかを判断するように構成され、
前記決定部１０は更に、連続し且つ前記隣接領域点が前記特徴点に属する場合、隣接領域点の法線ベクトルを前記符号化対象点の法線ベクトルとし、連続しない場合、前記符号化対象点の所定隣接領域範囲内の隣接領域点の幾何情報に基づいて前記符号化対象点の法線ベクトルを決定するように構成される。
前記決定部１０は更に、前記符号化対象点群から特徴点を選択し、前記特徴点に対して法線ベクトル推定を行って、前記特徴点の法線ベクトルを取得するように構成され、
前記判断部１４は、前記符号化対象点と空間距離的に前記符号化対象点に最も近い隣接領域点とが連続するかどうかを判断するように構成され、
前記決定部１０は更に、連続し且つ前記隣接領域点が前記特徴点に属する場合、隣接領域点の法線ベクトルを前記符号化対象点の法線ベクトルとし、連続しない場合、前記符号化対象点の所定隣接領域範囲内の隣接領域点の幾何情報に基づいて前記符号化対象点の法線ベクトルを決定するように構成される。
【0180】
本願のいくつかの実施例では、前記判断部１４は更に、モートンコードの順序に従って所定隣接領域範囲内でバックトレースし、前記符号化対象点と空間距離的に前記符号化対象点に最も近い隣接領域点とが連続するかどうかを判断するように構成される。
【0181】
本願のいくつかの実施例では、前記取得部１１は更に、前記符号化対象点群に対して所定ブロック分割を行って、ｎ個の所定ブロックを取得するように構成され、
前記決定部１０は更に、前記ｎ個の所定ブロックのうちの各所定ブロックにおける符号化対象点の法線ベクトルを決定するように構成され、
前記取得部１１は更に、前記符号化対象点の法線ベクトルに基づいて各所定ブロックにおける法線ベクトルの各座標成分の総和を統計するように構成される。
前記決定部１０は更に、前記ｎ個の所定ブロックのうちの各所定ブロックにおける符号化対象点の法線ベクトルを決定するように構成され、
前記取得部１１は更に、前記符号化対象点の法線ベクトルに基づいて各所定ブロックにおける法線ベクトルの各座標成分の総和を統計するように構成される。
【0182】
本願のいくつかの実施例では、前記決定部１０は更に、前記各所定ブロックに対応する前記法線ベクトルの各座標成分の総和に基づいて、前記各所定ブロックに対応する変換順序を決定するように構成される。
【0183】
本願のいくつかの実施例では、前記取得部１１は更に、前記符号化対象点の法線ベクトルに基づいて法線ベクトルの各座標成分の絶対値の和を統計するように構成され、前記絶対値の和は前記法線ベクトルの各座標成分の総和を示す。
本願のいくつかの実施例では、前記決定部１０は更に、前記絶対値の和を降順でソートして、前記変換順序を決定するように構成される。
本願のいくつかの実施例では、前記決定部１０は更に、前記絶対値の和を降順でソートして、前記変換順序を決定するように構成される。
【0184】
本願の実施例は更にエンコーダ１を提供し、
符号化対象点群における符号化対象点の三次元空間からなる３つの座標面での３つの二次元投影面を決定するように構成される決定部１０と、
前記３つの二次元投影面に基づいて各座標面の投影面積を統計するように構成される取得部１１と、を備え、
前記決定部１０は更に、前記投影面積に基づいて変換順序を決定するように構成される。
符号化対象点群における符号化対象点の三次元空間からなる３つの座標面での３つの二次元投影面を決定するように構成される決定部１０と、
前記３つの二次元投影面に基づいて各座標面の投影面積を統計するように構成される取得部１１と、を備え、
前記決定部１０は更に、前記投影面積に基づいて変換順序を決定するように構成される。
【0185】
本願のいくつかの実施例では、前記エンコーダは更に変換部及び符号化部を備える。
【0186】
前記変換部１２は、変換順序に従ってＲＡＨＴ変換を行うように構成され、
前記符号化部１３は、前記変換順序を符号化して、属性ビットストリームに書き込むように構成される。
前記符号化部１３は、前記変換順序を符号化して、属性ビットストリームに書き込むように構成される。
【0187】
本願のいくつかの実施例では、前記取得部１１は更に、所定の立方体辺長に基づいて前記符号化対象点群を少なくとも１つの立方体サブブロックに分割し、前記少なくとも１つの立方体サブブロックのうちの各立方体サブブロックにおける符号化対象ボクセル点の三次元空間からなる３つの座標面での３つの二次元投影面を決定し、前記符号化対象ボクセル点は前記符号化対象点を示し、前記３つの二次元投影面に基づいて前記各立方体サブブロックに対応する各座標面の投影面積を統計するように構成される。
【0188】
本願のいくつかの実施例では、前記決定部１０は更に、前記各立方体サブブロックに対応する各座標面の投影面積を降順でソートし、各座標軸面に垂直する座標軸の順序を各立方体サブブロックの変換順序として決定するように構成される。
【0189】
本願のいくつかの実施例では、前記変換部１２は更に、前記各立方体サブブロックに対応する各座標面の投影面積を降順でソートし、各座標軸面に垂直する座標軸の順序を各立方体サブブロックの変換順序として決定した後、前記各立方体サブブロックの変換順序に従って前記各立方体サブブロックの符号化対象ボクセル点に対してＲＡＨＴ変換を行って、各立方体サブブロックのサブボクセル点を取得するように構成され、
前記取得部１１は更に、前記各立方体サブブロックに対応する各座標面の投影面積に基づいて、各座標面に対応する投影面積絶対値の和を統計し、前記投影面積絶対値の和を降順でソートして、前記変換順序を取得するように構成され、
前記変換部１２は更に、前記変換順序に従って各立方体サブブロックのサブボクセル点に対してＲＡＨＴ変換を行うように構成され、
前記符号化部１３は更に、前記各立方体サブブロックの変換順序を符号化して属性ビットストリームに書き込むように構成される。
前記取得部１１は更に、前記各立方体サブブロックに対応する各座標面の投影面積に基づいて、各座標面に対応する投影面積絶対値の和を統計し、前記投影面積絶対値の和を降順でソートして、前記変換順序を取得するように構成され、
前記変換部１２は更に、前記変換順序に従って各立方体サブブロックのサブボクセル点に対してＲＡＨＴ変換を行うように構成され、
前記符号化部１３は更に、前記各立方体サブブロックの変換順序を符号化して属性ビットストリームに書き込むように構成される。
【0190】
本願のいくつかの実施例では、前記取得部１１は更に、前記各立方体サブブロックの変換順序に従って前記各立方体サブブロックの符号化対象ボクセル点に対してＲＡＨＴ変換を行って、各立方体サブブロックのサブボクセル点を取得した後、且つ前記変換順序に従って各立方体サブブロックのサブボクセル点に対してＲＡＨＴ変換を行う前に、前記各立方体サブブロックに対応する変換順序に基づいて、各立方体サブブロックに対応する主投影方向を取得し、各立方体サブブロックに対応する主投影方向に基づいて各座標成分の主投影方向の数を統計し、前記各座標成分の主投影方向の数を降順でソートして、前記変換順序を取得するように構成される。
【0191】
本願のいくつかの実施例では、前記取得部１１は更に、前記各立方体サブブロックに対応する主投影方向から所定比率のサブ立方体サブブロックに対応する主投影方向を選択し、前記サブ立方体サブブロックに対応する主投影方向に基づいて前記各座標成分の主投影方向の数を統計するように構成される。
【0192】
本願のいくつかの実施例では、前記取得部１１は更に、前記少なくとも１つの立方体サブブロックのうちの各立方体サブブロックにおける符号化対象ボクセル点の三次元空間からなる３つの座標面での３つの二次元投影面を決定する前に、前記符号化対象点群における符号化対象点を中心として前記少なくとも１つの立方体サブブロックを構築するように構成される。
【0193】
本願のいくつかの実施例では、前記決定部１０は更に、前記投影面積がＮｕｍ（ｘｏｙ）＞Ｎｕｍ（ｙｏｚ）＞Ｎｕｍ（ｚｏｘ）である場合、変換順序がｙｘｚであることを決定し、前記投影面積がＮｕｍ（ｘｏｙ）＞Ｎｕｍ（ｚｏｘ）＞Ｎｕｍ（ｙｏｚ）である場合、変換順序がｘｙｚであることを決定し、前記投影面積がＮｕｍ（ｙｏｚ）＞Ｎｕｍ（ｘｏｙ）＞Ｎｕｍ（ｚｏｘ）である場合、変換順序がｙｚｘであることを決定し、前記投影面積がＮｕｍ（ｙｏｚ）＞Ｎｕｍ（ｚｏｘ）＞Ｎｕｍ（ｘｏｙ）である場合、変換順序がｚｙｘであることを決定し、前記投影面積がＮｕｍ（ｚｏｘ）＞Ｎｕｍ（ｙｏｚ）＞Ｎｕｍ（ｘｏｙ）である場合、変換順序がｚｘｙであることを決定し、前記投影面積がＮｕｍ（ｚｏｘ）＞Ｎｕｍ（ｘｏｙ）＞Ｎｕｍ（ｙｏｚ）である場合、変換順序がｘｚｙであることを決定するように構成される。
【0194】
実際の応用では、図２４に示すように、本願の実施例は更にエンコーダを提供し、
実行可能命令を記憶するための第１メモリ１５と、
前記第１メモリ１５に記憶される実行可能命令を実行するとき、エンコーダ側の変換方法を実現するための第１プロセッサ１６と、を備える。
実行可能命令を記憶するための第１メモリ１５と、
前記第１メモリ１５に記憶される実行可能命令を実行するとき、エンコーダ側の変換方法を実現するための第１プロセッサ１６と、を備える。
【0195】
プロセッサはソフトウェア、ハードウェア、ファームウェア又はそれらの組み合わせにより実現されてもよく、回路、単一又は複数の特定用途向け集積回路（ＡＳＩＣ、ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔｓ）、単一又は複数の汎用集積回路、単一又は複数のマイクロプロセッサ、単一又は複数のプログラマブルロジックデバイス、又は上記回路又はデバイスの組み合わせ、又は他の適切な回路又はデバイスを使用することができ、これにより、該プロセッサは上記実施例における変換方法の対応ステップを実行することができる。
【0196】
本願の実施例はコンピュータ可読記憶媒体を提供し、実行可能命令が記憶され、実行可能命令は、第１プロセッサにより実行されるとき、エンコーダ側の変換方法を実現することに用いられる。
【0197】
本願の実施例の各構成部分は１つの処理ユニットに統合されてもよく、各ユニットは独立して物理的に存在してもよく、２つ以上のユニットが１つのユニットに統合されてもよい。上記統合されたユニットはハードウェアの形式で実現されてもよく、ソフトウェア機能モジュールの形式で実現されてもよい。
【0198】
前記統合されたユニットはソフトウェア機能モジュールの形式で実現され、独立した製品として販売又は使用されるときは、１つのコンピュータ可読記憶媒体に記憶されてもよい。このような理解に基づいて、本実施例の技術案の本質的又は従来技術に貢献する部分、又は該技術案の全部又は一部はソフトウェア製品の形式で具現されてもよい。該コンピュータソフトウェア製品は、１台のコンピュータ装置（パーソナルコンピュータ、サーバ又はネットワーク装置等であってもよい）又はｐｒｏｃｅｓｓｏｒ（プロセッサ）に本実施例に記載の方法の全部又は一部のステップを実行させるための若干の命令を含む１つの記憶媒体に記憶される。そして、上記記憶媒体は磁気ランダムアクセスメモリ（ＦＲＡＭ、ｆｅｒｒｏｍａｇｎｅｔｉｃ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、読み出し専用メモリ（ＲＯＭ、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、プログラム可能読み出し専用メモリ（ＰＲＯＭ、Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、消去可能プログラム可能読み出し専用メモリ（ＥＰＲＯＭ、Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、電気的消去可能プログラム可能読み出し専用メモリ（ＥＥＰＲＯＭ、Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ（Ｆｌａｓｈ Ｍｅｍｏｒｙ）、磁気表面メモリ、光ディスク、又は読み出し専用光ディスク（ＣＤ－ＲＯＭ、Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）等のプログラムコードを記憶できる様々な媒体を含み、本開示の実施例は制限しない。
【0199】
図２５に示すように、本願の実施例はデコーダ２を提供し、
属性ビットストリームから変換順序を解析するように構成される解析部２０と、
復号化の時、前記変換順序に基づいてＲＡＨＴ逆変換を行うように構成される復号化部２１と、を備える。
属性ビットストリームから変換順序を解析するように構成される解析部２０と、
復号化の時、前記変換順序に基づいてＲＡＨＴ逆変換を行うように構成される復号化部２１と、を備える。
【0200】
実際の応用では、図２６に示すように、本願の実施例は更にデコーダを提供し、
実行可能命令を記憶するための第２メモリ２２と、
前記第２メモリ２２に記憶される実行可能命令を実行するとき、デコーダ側の変換方法を実現するための第２プロセッサ２３と、を備える。
実行可能命令を記憶するための第２メモリ２２と、
前記第２メモリ２２に記憶される実行可能命令を実行するとき、デコーダ側の変換方法を実現するための第２プロセッサ２３と、を備える。
【0201】
本願の実施例はコンピュータ可読記憶媒体を提供し、実行可能命令が記憶され、実行可能命令は、第２プロセッサにより実行されるとき、デコーダ側の変換方法を実現することに用いられる。
【0202】
理解されるように、エンコーダは属性符号化を行う過程において、ＲＡＨＴ変換の実現に対して、符号化対象点の法線ベクトルにより法線ベクトルの各座標成分の総和を統計し、最終的に法線ベクトルの各座標成分の総和に基づいてＲＡＨＴ変換を行う変換順序を決定する。そうすると、法線ベクトル蓄積を考慮した上で、特徴が顕著である方向における変換を優先的に行い、変換により取得された変換係数の冗長度を減少させ、コーデック効率を向上させる目的を実現する。
【産業上の利用可能性】
【0203】
本願の実施例は変換方法、エンコーダ、デコーダ及びコンピュータ可読記憶媒体を提供し、符号化対象点群における符号化対象点の法線ベクトルを決定することと、符号化対象点の法線ベクトルに基づいて法線ベクトルの各座標成分の総和を統計することと、法線ベクトルの各座標成分の総和に基づいて変換順序を決定することと、変換順序に従ってＲＡＨＴ変換を行うことと、変換順序を符号化して属性ビットストリームに書き込むことと、を含む。エンコーダは属性符号化を行う過程において、ＲＡＨＴ変換の実現に対して、符号化対象点の法線ベクトルにより法線ベクトルの各座標成分の総和を統計し、最終的に法線ベクトルの各座標成分の総和に基づいてＲＡＨＴ変換を行う変換順序を決定する。そうすると、法線ベクトル蓄積を考慮した上で、特徴が顕著である方向における変換を優先的に行い、変換により取得された変換係数の冗長度を減少させ、コーデック効率を向上させる目的を実現する。
【図1】
【図2】
【図3A】
【図3B】
【図4A】
【図4B】
【図5】
【図6】
【図7】
【図8A】
【図8B】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16A】
【図16B】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】