(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2025-01-17
(54)【発明の名称】点群コーディング方法、装置、及び媒体
(51)【国際特許分類】
G06T 9/40 20060101AFI20250109BHJP
【FI】
G06T9/40
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2024540828
(86)(22)【出願日】2023-01-03
(85)【翻訳文提出日】2024-09-03
(86)【国際出願番号】 CN2023070232
(87)【国際公開番号】W WO2023131132
(87)【国際公開日】2023-07-13
(31)【優先権主張番号】PCT/CN2022/070122
(32)【優先日】2022-01-04
(33)【優先権主張国・地域又は機関】CN
(81)【指定国・地域】
(71)【出願人】
【識別番号】520476341
【氏名又は名称】北京字節跳動網絡技術有限公司
【氏名又は名称原語表記】Beijing Bytedance Network Technology Co., Ltd.
【住所又は居所原語表記】Room B-0035, 2/F, No.3 Building, No.30, Shixing Road, Shijingshan District Beijing 100041 China
(71)【出願人】
【識別番号】520477474
【氏名又は名称】バイトダンス インコーポレイテッド
【氏名又は名称原語表記】BYTEDANCE INC.
【住所又は居所原語表記】12655 West Jefferson Boulevard, Sixth Floor, Suite No. 137 Los Angeles, California 90066 United States of America
(74)【代理人】
【識別番号】110004381
【氏名又は名称】弁理士法人ITOH
(72)【発明者】
【氏名】シュイ,インジャン
(72)【発明者】
【氏名】ワン,ウェンイ
(72)【発明者】
【氏名】ジャン,カイ
(72)【発明者】
【氏名】ジャン,リ
(57)【要約】
本開示の実施形態は、点群コーディングのための方案を提供する。点群コーディング方法を提案する。前記方法は、点群シーケンスの現在の点群(PC)サンプルと前記点群シーケンスのビットストリームとの間の変換中、前記現在のPCサンプル内の現在の点について、複数の探索範囲に基づいて、前記現在のPCサンプルの参照PCサンプルのセット内の少なくとも1つの近傍点を決定するステップと、前記少なくとも1つの近傍点に基づいて、前記変換を実行するステップと、前記参照PCサンプルのセットは、第1参照PCサンプルと、前記第1参照PCサンプルと異なる第2参照PCサンプルとを含み、前記複数の探索範囲は、前記第1参照PCサンプルに対する第1探索範囲と、前記第1探索範囲と異なる、前記第2参照PCサンプルに対する第2探索範囲とを含む。
【選択図】
図4
【特許請求の範囲】
【請求項1】
点群コーディング方法であって、
点群シーケンスの現在の点群(PC)サンプルと前記点群シーケンスのビットストリームとの間の変換中、前記現在のPCサンプル内の現在の点について、複数の探索範囲に基づいて、前記現在のPCサンプルの参照PCサンプルのセット内の少なくとも1つの近傍点を決定するステップと、
前記少なくとも1つの近傍点に基づいて、前記変換を実行するステップと、を含み、
前記参照PCサンプルのセットは、第1参照PCサンプルと、前記第1参照PCサンプルと異なる第2参照PCサンプルとを含み、前記複数の探索範囲は、前記第1参照PCサンプルに対する第1探索範囲と、前記第1探索範囲と異なる、前記第2参照PCサンプルに対する第2探索範囲とを含む、方法。
【請求項2】
前記複数の探索範囲のうちの、前記現在のPCサンプルの属性イントラ予測に対する探索範囲は、複数の探索範囲のうちの、前記現在のPCサンプルの属性インター予測に対する探索範囲と異なる、
請求項1に記載の方法。
【請求項3】
前記複数の探索範囲のうちの、前記現在のPCサンプルの属性イントラ予測に対する探索範囲は、前記複数の探索範囲のうちの、前記現在のPCサンプルの属性インター予測に対する探索範囲と同じである、
請求項1に記載の方法。
【請求項4】
属性イントラ予測及び属性インター予測は、前記現在のPCサンプルに対して実行され、前記属性イントラ予測は、前記点群シーケンスの更なるPCサンプルに対して実行され、前記属性インター予測は、前記更なるPCサンプルに対して実行されず、前記現在のPCサンプルの前記属性イントラ予測に対する探索範囲は、前記更なるPCサンプルの前記属性イントラ予測に対する探索範囲と異なる、
請求項1に記載の方法。
【請求項5】
前記複数の探索範囲は、エンコーダ又はデコーダで決定される、
請求項1~4のいずれか1項に記載の方法。
【請求項6】
前記現在のPCサンプルは、前記現在の点と異なる更なる点を含み、前記現在の点に対する前記現在のPCサンプル内の探索範囲は、前記更なる点に対する前記現在のPCサンプル内の探索範囲と異なる、
請求項1~5のいずれか1項に記載の方法。
【請求項7】
前記現在のPCサンプルは、前記現在の点と異なる更なる点を含み、前記参照PCサンプルのセットは、第1参照PCサンプルを含み、前記現在の点に対する前記第1参照PCサンプル内の探索範囲は、前記更なる点に対する前記第1参照PCサンプル内の探索範囲と異なる、
請求項1~6のいずれか1項に記載の方法。
【請求項8】
前記現在のPCサンプルは、前記現在の点と異なる更なる点を含み、前記現在の点に対する前記現在のPCサンプル内の探索範囲は、前記更なる点に対する前記現在のPCサンプル内の探索範囲と同じである、
請求項1~5のいずれか1項に記載の方法。
【請求項9】
前記現在のPCサンプルは、前記現在の点と異なる更なる点を含み、前記参照PCサンプルのセットは、第1参照PCサンプルを含み、前記現在の点に対する前記第1参照PCサンプル内の探索範囲は、前記更なる点に対する前記第1参照PCサンプル内の探索範囲と同じである、
請求項1~5、8のいずれか1項に記載の方法。
【請求項10】
前記現在の点は、前記現在のPCサンプルの第1詳細レベル(LOD)内にあり、前記現在のPCサンプルは、前記第1LODと異なる第2LOD内の更なる点を含み、前記現在の点に対する前記現在のPCサンプル内の探索範囲は、前記更なる点に対する前記現在のPCサンプル内の探索範囲と異なる、
請求項1~9のいずれか1項に記載の方法。
【請求項11】
前記現在の点は、前記現在のPCサンプルの第1LOD内にあり、前記現在のPCサンプルは、前記第1LODと異なる第2LOD内の更なる点を含み、前記参照PCサンプルのセットは、第1参照PCサンプルを含み、前記現在の点に対する前記第1参照PCサンプル内の探索範囲は、前記更なる点に対する前記第1参照PCサンプル内の探索範囲と異なる、
請求項1~10のいずれか1項に記載の方法。
【請求項12】
前記現在の点は、前記現在のPCサンプルの第1LOD内にあり、前記現在のPCサンプルは、前記第1LODと異なる第2LOD内の更なる点を含み、前記現在の点に対する前記現在のPCサンプル内の探索範囲は、前記更なる点に対する前記現在のPCサンプル内の探索範囲と同じである、
請求項1~9のいずれか1項に記載の方法。
【請求項13】
前記現在の点は、前記現在のPCサンプルの第1LOD内にあり、前記現在のPCサンプルは、前記第1LODと異なる第2LOD内の更なる点を含み、前記参照PCサンプルのセットは、第1参照PCサンプルを含み、前記現在の点に対する前記第1参照PCサンプル内の探索範囲は、前記更なる点に対する前記第1参照PCサンプル内の探索範囲と同じである、
請求項1~9、12のいずれか1項に記載の方法。
【請求項14】
前記現在の点は、前記現在のPCサンプルの第1リファインレベル内にあり、前記現在のPCサンプルは、前記第1リファインレベルよりも低いリファインレベル内の第1点、及び前記第1リファインレベルよりも高いリファインレベル内の第2点を含み、
前記現在の点に対する前記現在のPCサンプル内の探索範囲、
前記第1点に対する前記現在のPCサンプル内の探索範囲、又は、
前記第2点に対する前記現在のPCサンプル内の探索範囲のうち、少なくとも2つは、互いに異なる、
請求項1~9のいずれか1項に記載の方法。
【請求項15】
前記現在の点は、前記現在のPCサンプルの第1リファインレベル内にあり、前記現在のPCサンプルは、前記第1リファインレベルよりも低いリファインレベル内の第1点、及び前記第1リファインレベルよりも高いリファインレベル内の第2点を含み、前記参照PCサンプルのセットは、第1参照PCサンプルを含み、
前記現在の点に対する前記第1参照PCサンプル内の探索範囲、
前記第1点に対する前記第1参照PCサンプル内の探索範囲、又は、
前記第2点に対する前記第1参照PCサンプル内の探索範囲のうち、少なくとも2つは、互いに異なる、
請求項1~9、14のいずれか1項に記載の方法。
【請求項16】
前記現在の点は、前記現在のPCサンプルの第1リファインレベル内にあり、前記現在のPCサンプルは、前記第1リファインレベルよりも低いリファインレベル内の第1点、及び前記第1リファインレベルよりも高いリファインレベル内の第2点を含み、
前記現在の点に対する前記現在のPCサンプル内の探索範囲、
前記第1点に対する前記現在のPCサンプル内の探索範囲、又は、
前記第2点に対する前記現在のPCサンプル内の探索範囲のうち、少なくとも2つは、同じである、
請求項1~9のいずれか1項に記載の方法。
【請求項17】
前記現在の点は、前記現在のPCサンプルの第1リファインレベル内にあり、前記現在のPCサンプルは、前記第1リファインレベルよりも低いリファインレベル内の第1点、及び前記第1リファインレベルよりも高いリファインレベル内の第2点を含み、前記参照PCサンプルのセットは、第1参照PCサンプルを含み、
前記現在の点に対する前記第1参照PCサンプル内の探索範囲、
前記第1点に対する前記第1参照PCサンプル内の探索範囲、又は、
前記第2点に対する前記第1参照PCサンプル内の探索範囲のうち、少なくとも2つは、同じである、
請求項1~9、16のいずれか1項に記載の方法。
【請求項18】
前記現在の点は、前記現在のPCサンプルの第1スライス内にあり、前記現在のPCサンプルは、前記第1スライスと異なる第2スライス内の更なる点を含み、前記現在の点に対する前記現在のPCサンプル内の探索範囲は、前記更なる点に対する前記現在のPCサンプル内の探索範囲と異なる、
請求項1~17のいずれか1項に記載の方法。
【請求項19】
前記現在の点は、前記現在のPCサンプルの第1スライス内にあり、前記現在のPCサンプルは、前記第1スライスと異なる第2スライス内の更なる点を含み、前記参照PCサンプルのセットは、第1参照PCサンプルを含み、前記現在の点に対する前記第1参照PCサンプル内の探索範囲は、前記更なる点に対する前記第1参照PCサンプル内の探索範囲と異なる、
請求項1~18のいずれか1項に記載の方法。
【請求項20】
前記現在の点は、前記現在のPCサンプルの第1スライス内にあり、前記現在のPCサンプルは、前記第1スライスと異なる第2スライス内の更なる点を含み、前記現在の点に対する前記現在のPCサンプル内の探索範囲は、前記更なる点に対する前記現在のPCサンプル内の探索範囲と同じである、
請求項1~17のいずれか1項に記載の方法。
【請求項21】
前記現在の点は、前記現在のPCサンプルの第1スライス内にあり、前記現在のPCサンプルは、前記第1スライスと異なる第2スライス内の更なる点を含み、前記参照PCサンプルのセットは、第1参照PCサンプルを含み、前記現在の点に対する前記第1参照PCサンプル内の探索範囲は、前記更なる点に対する前記第1参照PCサンプル内の探索範囲と同じである、
請求項1~17、20のいずれか1項に記載の方法。
【請求項22】
前記現在の点は、前記現在のPCサンプルの第1タイル内にあり、前記現在のPCサンプルは、前記第1タイルと異なる第2タイル内の更なる点を含み、前記現在の点に対する前記現在のPCサンプル内の探索範囲は、前記更なる点に対する前記現在のPCサンプル内の探索範囲と異なる、
請求項1~17のいずれか1項に記載の方法。
【請求項23】
前記現在の点は、前記現在のPCサンプルの第1タイル内にあり、前記現在のPCサンプルは、前記第1タイルと異なる第2タイル内の更なる点を含み、前記参照PCサンプルのセットは、第1参照PCサンプルを含み、前記現在の点に対する前記第1参照PCサンプル内の探索範囲は、前記更なる点に対する前記第1参照PCサンプル内の探索範囲と異なる、
請求項1~17、22のいずれか1項に記載の方法。
【請求項24】
前記現在の点は、前記現在のPCサンプルの第1タイル内にあり、前記現在のPCサンプルは、前記第1タイルと異なる第2タイル内の更なる点を含み、前記現在の点に対する前記現在のPCサンプル内の探索範囲は、前記更なる点に対する前記現在のPCサンプル内の探索範囲と同じである、
請求項1~17のいずれか1項に記載の方法。
【請求項25】
前記現在の点は、前記現在のPCサンプルの第1タイル内にあり、前記現在のPCサンプルは、前記第1タイルと異なる第2タイル内の更なる点を含み、前記参照PCサンプルのセットは、第1参照PCサンプルを含み、前記現在の点に対する前記第1参照PCサンプル内の探索範囲は、前記更なる点に対する前記第1参照PCサンプル内の探索範囲と同じである、
請求項1~17、24のいずれか1項に記載の方法。
【請求項26】
PCサンプルは、点群フレーム又は点群フレーム内のサブ領域である、
請求項1~25のいずれか1項に記載の方法。
【請求項27】
前記少なくとも1つの近傍点は、前記現在の点の少なくとも1つの最近傍点を含む、
請求項1~26のいずれか1項に記載の方法。
【請求項28】
前記変換は、前記現在のPCサンプルを前記ビットストリームに符号化することを含む、
請求項1~27のいずれか1項に記載の方法。
【請求項29】
前記変換は、前記ビットストリームから前記現在のPCサンプルを復号することを含む、
請求項1~27のいずれか1項に記載の方法。
【請求項30】
点群シーケンスの現在のフレームと前記点群シーケンスのビットストリームとの間の変換中、第1座標系に基づいて前記現在のフレーム内の現在の点に対して属性インター予測を実行することで、前記現在の点の予測属性値を取得するステップと、
前記予測属性値に基づいて、前記変換を実行するステップと、を含み、
前記現在の点のジオメトリ情報は、前記第1座標系と異なる第2座標系で表れる、
点群コーディング方法。
【請求項31】
前記第1座標系又は前記第2座標系は、
球面座標系、
円筒座標系、
カーテシアン座標系、又は、
ユークリッド座標系、のいずれかである、
請求項30に記載の方法。
【請求項32】
前記現在のフレームのジオメトリ情報に含まれる座標を、前記第2座標系から前記第1座標系に変換するステップ、又は、
前記現在のフレームの少なくとも1つの参照フレームのジオメトリ情報に含まれる座標を、前記第2座標系から前記第1座標系に変換するステップ、をさらに含む、
請求項30又は31に記載の方法。
【請求項33】
前記座標の前記変換は、ジオメトリコーディングの後に実行される、
請求項32に記載の方法。
【請求項34】
前記座標の前記変換は、属性コーディングの前に実行される、
請求項32又は33に記載の方法。
【請求項35】
前記座標の前記変換は、エンコーダ及びデコーダで実行される、
請求項32~34のいずれか1項に記載の方法。
【請求項36】
前記現在のフレームの前記ジオメトリ情報に含まれる前記座標は、前記座標の前記変換中にスケーリングされる、
請求項32~35のいずれか1項に記載の方法。
【請求項37】
前記少なくとも1つの参照フレームの前記ジオメトリ情報に含まれる前記座標は、前記座標の前記変換中にスケーリングされる、
請求項32~36のいずれか1項に記載の方法。
【請求項38】
前記現在のフレームの前記ジオメトリ情報に含まれる前記座標は、前記座標の前記変換の後にスケーリングされる、
請求項32~35のいずれか1項に記載の方法。
【請求項39】
前記少なくとも1つの参照フレームの前記ジオメトリ情報に含まれる前記座標は、前記座標の前記変換の後にスケーリングされる、
請求項32~35、38のいずれか1項に記載の方法。
【請求項40】
前記現在のフレームの前記ジオメトリ情報に含まれる前記座標は、前記座標の前記変換中に変換される、
請求項32~35のいずれか1項に記載の方法。
【請求項41】
前記少なくとも1つの参照フレームの前記ジオメトリ情報に含まれる前記座標は、前記座標の前記変換中に変換される、
請求項32~35、40のいずれか1項に記載の方法。
【請求項42】
前記現在のフレームの前記ジオメトリ情報に含まれる前記座標は、前記座標の前記変換の後に変換される、
請求項32~35のいずれか1項に記載の方法。
【請求項43】
前記少なくとも1つの参照フレームの前記ジオメトリ情報に含まれる前記座標は、前記座標の前記変換の後に変換される、
請求項32~35、40のいずれか1項に記載の方法。
【請求項44】
点群シーケンスの現在のフレームと前記点群シーケンスの更なるフレームとの間のフレーム距離に基づいて、前記点群シーケンスの前記現在のフレームと前記点群シーケンスのビットストリームとの間の変換を実行するステップを含み、
前記フレーム距離は、タイムスタンプ順での前記現在のフレームと前記更なるフレームとの間の距離に比例する、
点群コーディング方法。
【請求項45】
前記タイムスタンプ順は、前記点群シーケンスのフレームのレンダリング順である、
請求項44に記載の方法。
【請求項46】
前記タイムスタンプ順は、前記点群シーケンスのフレームの収集順である、
請求項44に記載の方法。
【請求項47】
前記現在のフレームは、前記タイムスタンプ順に従って前記点群シーケンスにおけるM番目のフレームであり、前記更なるフレームは、前記タイムスタンプ順に従って前記点群シーケンスにおけるN番目のフレームであり、M及びNは、それぞれ非負の整数であり、前記フレーム距離は、MとNとの差、又はMとNとの差の絶対値に比例する、
請求項44~46のいずれか1項に記載の方法。
【請求項48】
前記現在のフレームとそれ自体との間のフレーム距離は、所定の値である、
請求項44~47のいずれか1項に記載の方法。
【請求項49】
前記所定の値は、0である、
請求項48に記載の方法。
【請求項50】
前記更なるフレームは、前記現在のフレームの参照フレームであり、前記現在のフレームと前記参照フレームとの間の前記フレーム距離は、エンコーダ又はデコーダで決定される、
請求項44~49のいずれか1項に記載の方法。
【請求項51】
前記更なるフレームは、前記現在のフレームの参照フレームであり、前記現在のフレームと前記参照フレームとの間の前記フレーム距離は、前記ビットストリーム内で示される、
請求項44~49のいずれか1項に記載の方法。
【請求項52】
前記フレーム距離は、固定長コーディング、単項コーディング、又は、切り捨て単項コーディングのうちの1つでコーディングされる、
請求項51に記載の方法。
【請求項53】
前記フレーム距離は、予測的にコーディングされる、
請求項51に記載の方法。
【請求項54】
指示は、前記現在のフレームの前記ビットストリーム内で示され、前記指示は、前記タイムスタンプ順での現在のフレームの位置を示す、
請求項44~53のいずれか1項に記載の方法。
【請求項55】
前記更なるフレームは、前記現在のフレームの少なくとも1つの参照フレームの1つであり、
前記変換を実行するステップは、
前記現在のフレーム内の現在の点について、前記現在のフレームと前記少なくとも1つの参照フレームとの間の少なくとも1つのフレーム距離に基づいて、前記現在の点の少なくとも1つの近傍点を決定するステップと、
前記少なくとも1つの近傍点に基づいて、前記変換を実行するステップと、を含む、
請求項44~54のいずれか1項に記載の方法。
【請求項56】
前記少なくとも1つの近傍点は、前記現在の点の少なくとも1つの最近傍点を含む、
請求項55に記載の方法。
【請求項57】
前記少なくとも1つの参照フレームは、第1点を有する第1参照フレームを含み、前記現在の点と前記第1点との間の第1ジオメトリック距離は、前記現在のフレームと前記第1参照フレームとの間の第1フレーム距離に依存する、
請求項55又は56に記載の方法。
【請求項58】
前記少なくとも1つの参照フレームは、第2点を有する第2参照フレームをさらに含み、前記第1フレーム距離は、前記現在のフレームと前記第2参照フレームとの間の第2フレーム距離よりも小さく、前記第1ジオメトリック距離は、前記現在の点と前記第2点との間の第2ジオメトリック距離よりも小さい、
請求項57に記載の方法。
【請求項59】
前記第1ジオメトリック距離は、前記第1フレーム距離及び前記現在の点と前記第1点との間の初期ジオメトリック距離に基づいて決定され、前記初期ジオメトリック距離は、前記現在の点と前記第1点とのジオメトリック位置の間のメトリックに基づいて決定される、
請求項57又は58に記載の方法。
【請求項60】
前記第1ジオメトリック距離は、前記第1フレーム距離と前記初期ジオメトリック距離との和である、
請求項59に記載の方法。
【請求項61】
前記メトリックは、
ユークリッド距離,
マンハッタン距離、又は、
チェビシェフ距離のうちの1つである、
請求項59又は60に記載の方法。
【請求項62】
前記更なるフレームは、前記現在のフレームの少なくとも1つの参照フレームの1つであり、
前記変換を実行するステップは、
前記現在のフレームと前記少なくとも1つの参照フレームとの間の少なくとも1つのフレーム距離に基づいて、前記現在のフレーム内の現在の点の少なくとも1つの近傍点の少なくとも1つの重みを決定するステップと、
前記少なくとも1つの重みに基づいて、前記変換を実行するステップと、を含む、
請求項44~54のいずれか1項に記載の方法。
【請求項63】
前記少なくとも1つの近傍点は、前記現在の点の少なくとも1つの最近傍点を含む、
請求項62に記載の方法。
【請求項64】
前記少なくとも1つの近傍点は、前記少なくとも1つの参照フレームの第1参照フレーム内の第1近傍点を含み、前記第1近傍点の重みは、前記現在のフレームと前記第1参照フレームとの間の第1フレーム距離に依存する、
請求項62又は63に記載の方法。
【請求項65】
前記少なくとも1つの近傍点は、前記少なくとも1つの参照フレームの第2参照フレーム内の第2近傍点をさらに含み、前記第1フレーム距離は、前記現在のフレームと前記第2参照フレームとの間の第2フレーム距離よりも小さく、前記第1近傍点の前記重みは、前記第2近傍点の重みよりも小さい、
請求項64に記載の方法。
【請求項66】
前記第1近傍点の前記重みは、前記第1フレーム距離及び前記第1近傍点に対して生成された元の重みに基づいて決定される、
請求項64又は65に記載の方法。
【請求項67】
前記第1近傍点の前記重みは、前記第1フレーム距離と前記生成された元の重みとの和である、
請求項66に記載の方法。
【請求項68】
前記変換は、前記現在のフレームを前記ビットストリームに符号化することを含む、
請求項30~67のいずれか1項に記載の方法。
【請求項69】
前記変換は、前記ビットストリームから前記現在のフレームを復号することを含む、
請求項30~67のいずれか1項に記載の方法。
【請求項70】
プロセッサと命令を備える非一時的なメモリとを含む、点群データを処理する装置であって、
前記命令は、前記プロセッサによって実行されると、前記プロセッサに請求項1~69のいずれか1項に記載の方法を実行させる、装置。
【請求項71】
プロセッサに請求項1~69のいずれか1項に記載の方法を実行させる命令を記憶する、
非一時的なコンピュータ可読記憶媒体。
【請求項72】
点群処理装置によって実行される方法で生成される、点群シーケンスのビットストリームを記憶する非一時的なコンピュータ可読記録媒体であって、前記方法は、
前記点群シーケンスの現在の点群(PC)サンプル内の現在の点について、複数の探索範囲に基づいて、前記現在のPCサンプルの参照PCサンプルのセット内の少なくとも1つの近傍点を決定するステップと、
前記少なくとも1つの近傍点に基づいて前記ビットストリームを生成するステップと、を含み、
前記参照PCサンプルのセットは、第1参照PCサンプルと、前記第1参照PCサンプルと異なる第2参照PCサンプルとを含み、前記複数の探索範囲は、前記第1参照PCサンプルに対する第1探索範囲と、前記第1探索範囲と異なる、前記第2参照PCサンプルに対する第2探索範囲とを含む、
非一時的なコンピュータ可読記録媒体。
【請求項73】
点群シーケンスのビットストリームを記憶する方法であって、
前記点群シーケンスの現在の点群(PC)サンプル内の現在の点について、複数の探索範囲に基づいて、前記現在のPCサンプルの参照PCサンプルのセット内の少なくとも1つの近傍点を決定するステップと、
前記少なくとも1つの近傍点に基づいて前記ビットストリームを生成するステップと、
前記ビットストリームを非一時的なコンピュータ可読記録媒体内に記憶するステップと、を含み、
前記参照PCサンプルのセットは、第1参照PCサンプルと、前記第1参照PCサンプルと異なる第2参照PCサンプルとを含み、前記複数の探索範囲は、前記第1参照PCサンプルに対する第1探索範囲と、前記第1探索範囲と異なる、前記第2参照PCサンプルに対する第2探索範囲とを含む、方法。
【請求項74】
点群処理装置によって実行される方法で生成される、点群シーケンスのビットストリームを記憶する非一時的なコンピュータ可読記録媒体であって、前記方法は、
第1座標系に基づいて、前記点群シーケンスの現在のフレーム内の現在の点に対して属性インター予測を実行することで、前記現在の点の予測属性値を取得するステップと、
前記予測属性値に基づいて前記ビットストリームを生成するステップと、を含み、
前記現在の点のジオメトリ情報は、前記第1座標系と異なる第2座標系で表れる、
非一時的なコンピュータ可読記録媒体。
【請求項75】
点群シーケンスのビットストリームを記憶する方法であって、
第1座標系に基づいて、前記点群シーケンスの現在のフレーム内の現在の点に対して属性インター予測を実行することで、前記現在の点の予測属性値を取得するステップと、
前記予測属性値に基づいて前記ビットストリームを生成するステップと、
前記ビットストリームを非一時的なコンピュータ可読記録媒体内に記憶するステップと、
を含み、
前記現在の点のジオメトリ情報は、前記第1座標系と異なる第2座標系で表れる、方法。
【請求項76】
点群処理装置によって実行される方法で生成される、点群シーケンスのビットストリームを記憶する非一時的なコンピュータ可読記録媒体であって、前記方法は、
点群シーケンスの現在のフレームと前記点群シーケンスの更なるフレームとの間のフレーム距離に基づいて、前記点群シーケンスの前記現在のフレームと前記ビットストリームとの間の変換を実行するステップ、を含み、
前記フレーム距離は、タイムスタンプ順での前記現在のフレームと前記更なるフレームとの間の距離に比例する、
非一時的なコンピュータ可読記録媒体。
【請求項77】
点群シーケンスのビットストリームを記憶する方法であって、
点群シーケンスの現在のフレームと前記点群シーケンスの更なるフレームとの間のフレーム距離に基づいて、前記点群シーケンスの前記現在のフレームと前記ビットストリームとの間の変換を実行するステップと、
前記ビットストリームを非一時的なコンピュータ可読記録媒体内に記憶するステップと、を含み、
前記フレーム距離は、タイムスタンプ順での前記現在のフレームと前記更なるフレームとの間の距離に比例する、方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示の実施形態は、概して、点群コーディング技術に関し、より具体的には、点群属性コーディングのインター予測に関する。
【背景技術】
【0002】
点群は、三次元(3D)平面内の個々のデータ点の集合であり、各点はX、Y、Z軸上に設定された座標を持つ。したがって、点群は、三次元空間の物理的コンテンツを表すことに使用されることができる。点群は、拡張現実から自動運転車まで幅広い没入型アプリケーションの3Dビジュアルデータを表現する有望な方法であると判明している。
【0003】
点群コーディング規格は、主によく知られているMPEG組織の発展を通じて進化してきた。MPEGは、Moving Picture Experts Groupの略であり、マルチメディアを扱う主な標準化グループの1つである。2017年において、MPEG 3Dグラフィックスコーディンググループ(3DG)は、点群コーディング規格の開発を開始する発表募集(CFP)書類を発行した。最終的な規格は2つのクラスの方案を含むようになる。ビデオベースの点群圧縮(V-PCC又はVPCC)は、点が比較的均一に分布される点集合に適する。ジオメトリベースの点群圧縮(G-PCC又はGPCC)は、より疎な分布に適する。しかし、従来の点群コーディング技術のコーディング効率は、一般的に更なる改善が期待されている。
【発明の概要】
【0004】
本開示の実施形態は、点群コーディングの方案を提供する。
【0005】
第1態様では、点群コーディング方法を提案する。前記方法は、点群シーケンスの現在の点群(PC)サンプルと前記点群シーケンスのビットストリームとの間の変換中、前記現在のPCサンプル内の現在の点について、複数の探索範囲に基づいて、前記現在のPCサンプルの参照PCサンプルのセット内の少なくとも1つの近傍点を決定するステップと、前記少なくとも1つの近傍点に基づいて、前記変換を実行するステップと、を含み、前記参照PCサンプルのセットは、第1参照PCサンプルと、前記第1参照PCサンプルと異なる第2参照PCサンプルとを含み、前記複数の探索範囲は、前記第1参照PCサンプルに対する第1探索範囲と、前記第1探索範囲と異なる、前記第2参照PCサンプルに対する第2探索範囲とを含む。
【0006】
本開示の第1態様による方法によれば、異なる参照PCサンプルに使用される探索範囲は異なる。前記異なる参照PCサンプルに使用される探索範囲が同じである変換方案に比べて、提案した方法は、近傍点の探索の効率を有利に向上させることができるため、点群コーディングの効率を向上させることができる。
【0007】
第2態様では、もう1つの点群コーディング方法を提案する。前記方法は、点群シーケンスの現在のフレームと前記点群シーケンスのビットストリームとの間の変換中、第1座標系に基づいて前記現在のフレーム内の現在の点に対して属性インター予測を実行することで、前記現在の点の予測属性値を取得するステップと、前記予測属性値に基づいて、前記変換を実行するステップと、含み、前記現在の点のジオメトリ情報は、前記第1座標系と異なる第2座標系で表れる。
【0008】
本開示の第2態様による方法によれば、属性インター予測は、ジオメトリ情報が表れる座標系と異なる座標系に基づいて実行される。これらの2つの座標系が同じである変換方案に比べて、提案した方法は、属性インター予測の効率を有利に向上させることができるため、点群コーディングの効率を向上させることができる。
【0009】
第3態様では、もう1つの点群コーディング方法を提案する。前記方法は、点群シーケンスの現在のフレームと前記点群シーケンスの更なるフレームとの間のフレーム距離に基づいて、前記現在のフレームと前記点群シーケンスのビットストリームとの間の変換を実行するステップを含み、前記フレーム距離は、タイムスタンプ順での前記現在のフレームと前記更なるフレームとの間の距離に比例する。
【0010】
本開示の第3態様による方法によれば、フレーム距離は、変換中に利用される。このような機能を欠く変換方案と比べて、提案した方法は、点群コーディングの効率を有利に向上させることができる。
【0011】
第4態様では、点群データを処理する装置を提案する。前記点群データを処理する装置は、プロセッサと、命令が記憶される非一時的メモリとを含む。前記命令は、前記プロセッサによって実行されると、前記プロセッサに本開示の第1態様、第2態様又は第3態様による方法を実行させる。
【0012】
第5態様では、非一時的なコンピュータ可読記憶媒体を提案する。前記非一時的なコンピュータ可読記憶媒体は、プロセッサに本開示の第1態様、第2態様又は第3態様による方法を実行させる命令を記憶する。
【0013】
第6態様では、非一時的なコンピュータ可読記録媒体を提案する。非一時的なコンピュータ可読記録媒体は、点群処理装置によって実行される方法で生成される、点群シーケンスのビットストリームを記憶する。前記方法は、前記点群シーケンスの現在の点群(PC)サンプル内の現在の点について、複数の探索範囲に基づいて、前記現在のPCサンプルの参照PCサンプルのセット内の少なくとも1つの近傍点を決定するステップと、前記少なくとも1つの近傍点に基づいて前記ビットストリームを生成するステップと、を含み、前記参照PCサンプルのセットは、第1参照PCサンプルと、前記第1参照PCサンプルと異なる第2参照PCサンプルとを含み、前記複数の探索範囲は、前記第1参照PCサンプルに対する第1探索範囲と、前記第1探索範囲と異なる、前記第2参照PCサンプルに対する第2探索範囲と、を含む。
【0014】
第7態様では、点群シーケンスのビットストリームを記憶する方法を提案する。前記方法は、前記点群シーケンスの現在の点群(PC)サンプル内の現在の点について、複数の探索範囲に基づいて、前記現在のPCサンプルの参照PCサンプルのセット内の少なくとも1つの近傍点を決定するステップと、前記少なくとも1つの近傍点に基づいて前記ビットストリームを生成するステップと、及び前記ビットストリームを非一時的なコンピュータ可読記録媒体内に記憶するステップと、を含み、前記参照PCサンプルのセットは、第1参照PCサンプルと、前記第1参照PCサンプルと異なる第2参照PCサンプルとを含み、前記複数の探索範囲は、前記第1参照PCサンプルに対する第1探索範囲と、前記第1探索範囲と異なる、前記第2参照PCサンプルに対する第2探索範囲とを含む。
【0015】
第8態様では、もう1つの非一時的なコンピュータ可読記録媒体を提案する。前記非一時的なコンピュータ可読記録媒体は、点群処理装置によって実行される方法で生成される、点群シーケンスのビットストリームを記憶する。前記方法は、第1座標系に基づいて、前記群シーケンスの現在のフレーム内の現在の点に対して属性インター予測を実行することで、前記現在の点の予測属性値を取得するステップと、前記予測属性値に基づいて前記ビットストリームを生成するステップと、を含み、前記現在の点のジオメトリ情報は、前記第1座標系と異なる第2座標系で表れる。
【0016】
第9態様では、もう1つの点群シーケンスのビットストリームを記憶する方法を提案する。前記方法は、第1座標系に基づいて、前記群シーケンスの現在のフレーム内の現在の点に対して属性インター予測を実行することで、前記現在の点の予測属性値を取得するステップと、前記予測属性値に基づいて前記ビットストリームを生成するステップと、前記ビットストリームを非一時的なコンピュータ可読記録媒体内に記憶するステップと、を含み、前記現在の点のジオメトリ情報は、前記第1座標系と異なる第2座標系で表れる。
【0017】
第10態様では、もう1つの非一時的なコンピュータ可読記録媒体を提案する。前記非一時的なコンピュータ可読記録媒体は、点群処理装置によって実行される方法で生成される、点群シーケンスのビットストリームを記憶する。前記方法は、点群シーケンスの現在のフレームと前記点群シーケンスの更なるフレームとの間のフレーム距離に基づいて、前記点群シーケンスの前記現在のフレームと前記ビットストリームとの間の変換を実行するステップと、を含み、前記フレーム距離は、タイムスタンプ順での前記現在のフレームと前記更なるフレームとの間の距離に比例する。
【0018】
第11態様では、もう1つの点群シーケンスのビットストリームを記憶する方法を提案する。前記方法は、点群シーケンスの現在のフレームと前記点群シーケンスの更なるフレームとの間のフレーム距離に基づいて、前記点群シーケンスの前記現在のフレームと前記ビットストリームとの間の変換を実行するステップと、前記ビットストリームを非一時的なコンピュータ可読記録媒体内に記憶するステップと、を含み、前記フレーム距離は、タイムスタンプ順での前記現在のフレームと前記更なるフレームとの間の距離に比例する。
【0019】
この発明の概要は、以下の詳細な説明でさらに記述される概念の選択を簡略化した形で紹介するために提供される。この発明の概要は、請求される技術的事項の主な特徴又は本質的な特徴を特定することを意図したものではなく、また、請求される技術的事項の範囲を制限するために使用されることを意図したものでもない。
【図面の簡単な説明】
【0020】
添付の図面を参照した以下の詳細な説明を通じて、本開示の例示的な実施形態の上記及び他の目的、特徴、及び利点がより明らかになるであろう。本開示の例示的な実施形態では、同じ参照番号は、通常、同じコンポーネントを指す。
【0021】
【
図1】本開示の技術を利用できる例示的な点群コーディングシステムを示すブロック図である。
【0022】
【
図2】本開示のいくつかの実施形態による例示的な点群エンコーダを示すブロック図である。
【0023】
【
図3】本開示のいくつかの実施形態による例示的な点群デコーダを示すブロック図である。
【0024】
【
図4】本開示のいくつかの実施形態による点群コーディング方法のフローチャートを示す。
【0025】
【
図5】本開示のいくつかの実施形態による他の点群コーディング方法のフローチャートを示す。
【0026】
【
図6】本開示のいくつかの実施形態による他の点群コーディング方法のフローチャートを示す。
【0027】
【
図7】本開示の様々な実施形態を実施できるコンピューティングデバイスのブロック図を示す。
【0028】
図面の全体にわたって、同じ又は類似の参照番号は、通常、同じ又は類似の要素を指す。
【発明を実施するための形態】
【0029】
以下、いくつかの実施形態を参照しながら本開示の原理を説明する。これらの実施形態は、例示の目的で、かつ、当業者が本開示を理解して実施することに寄与するために記載されるにすぎず、本開示の範囲に関していかなる限定も示唆しないと理解すべきである。本明細書に記載の開示は、以下に記載する方法以外にも、様々な方法で実施することができる。
【0030】
以下の説明及び特許請求の範囲において、別段の定義がない限り、本明細書で使用されるすべての技術用語及び科学用語は、本開示が属する技術分野の当業者によって一般に理解されるものと同じ意味を有する。
【0031】
本開示における「一つの実施形態」、「一実施形態」、「例示的な実施形態」などへの言及は、記載される実施形態が、特定の特徴、構造、又は特性を含み得ることを示すが、必ずしもすべての実施形態が、特定の特徴、構造、又は特性を含むとは限らない。また、そのような語句は、必ずしも同じ実施形態を指しているわけではない。さらに、特定の特徴、構造、又は特性が、例示的な実施形態に関連して説明される場合、明示的に記載されているかどうかにかかわらず、他の実施形態に関連して、そのような特徴、構造、又は特性に影響を与えることは、当業者の知識の範囲内であることが指摘される。
【0032】
「第1」及び「第2」などの用語は、本明細書では、様々な要素を説明するために使用され得るが、これらの要素は、これらの用語によって限定されるべきではないことを理解すべきである。これらの用語は、ある要素を別の要素と区別するためにのみ使用されている。例えば、例示的な実施形態の範囲から逸脱することなく、第1の要素が第2の要素と呼ばれ得る。同様に、第2の要素が第1の要素と呼ばれ得る。本明細書で使用される「及び/又は」という用語には、列挙された用語の1つ又は複数のあらゆる組み合わせが含まれる。
【0033】
本明細書で使用される用語は、特定の実施形態を説明することのみを目的としており、例示的な実施形態を限定することを意図したものではない。本明細書で使用されるように、単数形「a(1つの)」、「an(1つの)」、及び「the(その)」は、文脈上明らかに別段の指示がない限り、複数形も含むものとする。「含む」、「備える」、「有する」、「持つ」、「含む」、及び/又は「包含する」という用語は、本明細書で使用される場合、記載された特徴、要素、及び/又は、コンポーネントなど、の存在を特定するが、1つ又は複数の他の特徴、要素、コンポーネント、及び/又は、それらの組み合わせの存在又は追加を排除するものではないことが、さらに理解されるであろう。
【0034】
例示的な環境
図1は、本開示の技術を利用できる例示的な点群コーディングシステム100を示すブロック図である。図示されるように、点群コーディングシステム100はソースデバイス110及び宛先デバイス120を含み得る。ソースデバイス110は点群符号化デバイスとも呼ばれることができ、宛先デバイス120は点群復号デバイスとも呼ばれることができる。動作中、ソースデバイス110は符号化された点群データを生成するように構成されることができ、宛先デバイス120はソースデバイス110により生成された符号化の点群データを復号するように構成されることができる。本開示の技術は、概して、点群データのコーディング(符号化及び/又は復号)、即ち、点群圧縮のサポートを対象とする。コーディングは、点群データの圧縮及び/又は解凍に効果的であり得る。
【0035】
ソースデバイス100及び宛先デバイス120は、デスクトップコンピュータ、ノートブック(即ち、ラップトップ)コンピュータ、タブレットコンピュータ、セットトップボックス、スマートフォン及びモバイルフォンなどの電話機、テレビ、カメラ、ディスプレイデバイス、デジタルメディアプレーヤー、ビデオゲームコンソール、ビデオストリーミングデバイス、地上車両又は海洋車両、宇宙船、航空機、ロボット、LIDARデバイス、衛星、拡張現実デバイスなど含む幅広いデバイスのいずれかを含み得る。いくつかの場合に、ソースデバイス100及び宛先デバイス120は、無線通信用に装備され得る。
【0036】
ソースデバイス100は、データソース112、メモリ114、GPCCエンコーダ116、及び入力/出力(I/O)インターフェース118を含み得る。宛先デバイス120は、入力/出力(I/O)インターフェース128、GPCCデコーダ126、メモリ124、及びデータコンシューマー122を含み得る。本開示によれば、ソースデバイス100のGPCCエンコーダ116及び宛先デバイス120のGPCCデコーダ126は、点群コーディングに関連する本開示の技術を適用するように構成され得る。したがって、ソースデバイス100は符号化デバイスの一例を表し、宛先デバイス120は復号デバイスの一例を表す。他の例では、ソースデバイス100及び宛先デバイス120は他のコンポーネント及び配置を含み得る。例えば、ソースデバイス100は、内部ソース又は外部ソースからデータ(例えば、点群データ)を受信し得る。同様に、宛先デバイス120は、本デバイス内にデータコンシューマーを含まず、外部のデータコンシューマーとインターフェースし得る。
【0037】
概して、データソース112は、点群データ(即ち、符号化されていない生点群データ)のソースを表し、点群データの連続した一連の「フレーム」を、フレームの点群データを符号化するGPCCエンコーダ116へ提供し得る。いくつかの例では、データソース112は点群データを生成する。ソースデバイス100のデータソース112は、例えば、1つ又は複数のビデオカメラ、以前に捕捉された点群データを格納するアーカイブ、3Dスキャナ又はLIDAR(Light Detection And Ranging)デバイス、及び/又は、データコンテンツプロバイダーから点群データを受信するためのデータフィードインターフェースなど、様々なカメラ又はセンサのいずれかのような点群キャプチャデバイスを含み得る。したがって、いくつかの例では、データソース112は、LIDAR装置からの信号に基づいて点群データを生成し得る。代替的又は追加的に、点群データは、スキャナ、カメラ、センサ又は他のデータからコンピュータにより生成されてもよい。例えば、データソース112は、点群データを生成してもよく、又は、ライブ点群データ、アーカイブされた点群データ、及びコンピュータにより生成された点群データの組み合わせを作成してもよい。いずれの場合にも、GPCCエンコーダ116は捕捉された点群データ、事前捕捉された点群データ、又はコンピュータにより生成された点群データを符号化する。GPCCエンコーダ116は、点群データのフレームを、受信順(「表示順」と呼ばれることもがる)からコーディングするためのコーディング順に並べ替え得る。GPCCエンコーダ116は符号化された点群データを含む1つ又は複数のビットストリームを生成し得る。そして、ソースデバイス100は、例えば、宛先デバイス120のI/Oインターフェース128による受信及び/又は取得のために、I/Oインターフェース118を介して符号化された点群データを出力する。符号化された点群データはI/Oインターフェース118を介してネットワーク130Aを通じて宛先デバイス120へ直接送信され得る。符号化された点群データは、宛先デバイス120によってアクセスされるように記憶媒体/サーバ130Bに記憶され得る。
【0038】
ソースデバイス100のメモリ114及び宛先デバイス120のメモリ124は汎用メモリを表し得る。いくつかの例では、メモリ114及びメモリ124は、生点群データ、例えば、データソース112からの生点群データ及びGPCCデコーダ126からの復号された生点群データを格納することができる。追加的又は代替的に、メモリ114及びメモリ124は、例えばGPCCエンコーダ116及びGPCCデコーダ126のそれぞれによって実行可能なソフトウェア命令を格納してもよい。この例では、メモリ114及びメモリ124はGPCCエンコーダ116及びGPCCデコーダ126と別個に示されているが、GPCCエンコーダ116及びGPCCデコーダ126は機能上同様又は同等の目的で内部メモリを含み得ると理解すべきである。さらに、メモリ114及びメモリ124は、符号化された点群データ(例えばGPCCエンコーダ116からの出力、及びGPCCデコーダ126への入力)を格納し得る。いくつかの例では、メモリ114及びメモリ124の一部は、例えば、生点群データ、復号された点群データ、及び/又は符号化された点群データを格納するために1つ又は複数のバッファとして割り当てられ得る。例えば、メモリ114及びメモリ124は、点群データを格納し得る。
【0039】
I/Oインターフェース118及びI/Oインターフェース128は、無線送信機/受信機、モデム、有線ネットワーキングコンポーネント(例えば、イーサネットカード)、様々なIEEE802.11規格のいずれかに従って動作する無線通信コンポーネント、又は他の物理的コンポーネントを表し得る。I/Oインターフェース118及びI/Oインターフェース128が無線コンポーネントを含む例では、I/Oインターフェース118及びI/Oインターフェース128は、4G、4G-LTE(Long-Term Evolution)、LTEアドバンスト、5Gなどのようなセルラー通信規格に従って、符号化された点群データなどのデータを送信するように構成され得る。I/Oインターフェース118が無線送信機を含むいくつかの例では、I/Oインターフェース118及びI/Oインターフェース128は、IEEE802.11仕様などの他の無線規格に従って、符号化された点群データなどのデータを送信するように構成され得る。いくつかの例では、ソースデバイス100及び/又は宛先デバイス120は、それぞれのSoC(system-on-a-chip)デバイスを含み得る。例えば、ソースデバイス100は、GPCCエンコーダ116及び/又はI/Oインターフェース118に起因する機能を実行するSoCデバイスを含み得、宛先デバイス120は、GPCCデコーダ126及び/又はI/Oインターフェース128に起因する機能を実行するSoCデバイスを含み得る。
【0040】
本開示の技術は、自動運転車の間の通信、スキャナ、カメラ、センサ、ローカル又はリモートサーバなどの処理デバイスとの間の通信、地理的マッピング、又は他の応用などの様々な応用のいずれかをサポートする符号化及び復号に適用されることができる。
【0041】
宛先デバイス120のI/Oインターフェース128は、ソースデバイス110から符号化されたビットストリームを受信する。符号化されたビットストリームは、点群を表す値を有する構文要素などのシグナリング情報を含み、当該シグナリング情報は、GPCCエンコーダ116によって定義され、GPCCデコーダ126によっても使用される。データコンシューマー122は復号されたデータを使用する。例えば、データコンシューマー122は、復号された点群データを使用して物理的オブジェクトの位置を決定し得る。いくつかの例では、データコンシューマー122は、点群データに基づいて画像を表示するためのディスプレイを含み得る。
【0042】
GPCCエンコーダ116及びGPCCデコーダ126は、それぞれ、1つ又は複数のマイクロプロセッサ、DSP(digital signal processor)、ASIC(application specific integrated circuit)、FPGA(field programmable gate array)、ディスクリートロジック、ソフトウェア、ハードウェア、ファームウェア又はそれらの組み合わせなどの様々な適切なエンコーダ及び/又はデコーダ回路のいずれかとして実装され得る。当該技術が部分的にソフトウェアで実装される場合、デバイスは、適切な非一時的なコンピュータ可読媒体にソフトウェア用の命令を格納し、そして、1つ又は複数のプロセッサを使用してハードウェアで命令を実行することで、本開示の技術を実行し得る。GPCCエンコーダ116及びGPCCデコーダ126の各々は、1つ又は複数のエンコーダ又はデコーダに含まされてよく、どちらがそれぞれのデバイス内の複合エンコーダ/デコーダ(コーデック))の一部として集積されてもよい。GPCCエンコーダ116及び/又はGPCCデコーダ126を含むデバイスは、1つ又は複数の集積回路、マイクロプロセッサ、及び/又は他のタイプのデバイスを含み得る。
【0043】
GPCCエンコーダ116及びGPCCデコーダ126は、ビデオ点群圧縮(VPCC)規格又はジオメトリ点群圧縮(GPCC)規格などのコーディング規格に従って動作し得る。本開示は、データを符号化又は復号する処理を含むフレームのコーディング(例えば、符号化及び復号)を指す場合がある。符号化されたビットストリームは、通常、コーディング決定(例えば、コーディングモード)を表す構文要素の一連の値を含む。
【0044】
点群は、3D空間内の点集合を含み、点に関連付けられる属性を有する。属性は、R、G、BやY、Cb、Crなどの色情報、反射率情報、又は他の属性であり得る。点群は、LIDARセンサ及び3Dスキャナなどの様々なカメラやセンサによって取得される場合がり、コンピュータで生成される場合もある。点群データは、建築(造形)、グラフィックス(視覚化及びアニメーション用の3Dモデル)、及び自動車産業(ナビゲーションに使用されるLIDARセンサ)を含む様々な応用に使用されるが、これらに限定されない。
【0045】
図2は、本開示のいくつかの実施形態による、
図1に示すシステム100内のGPCCエンコーダ116の一例であり得るGPCCエンコーダ200の一例を示すブロック図である。
図3は、本開示のいくつかの実施形態による、
図1に示すシステム100内のGPCCデコーダ126の一例であり得るGPCCデコーダ300の一例を示すブロック図である。
【0046】
GPCCエンコーダ200及びGPCCデコーダ300の両方において、点群位置は最初にコーディングされる。属性コーディングは、復号されたジオメトリに依存する。
図2及び
図3において、領域適応階層変換(RAHT)ユニット218、表面近似解析ユニット212、RAHTユニット314及び表面近似合成ユニット310は、カテゴリ1のデータに通常使用されるオプションである。LOD(Level of Detail)生成ユニット220、リフティングユニット222、LOD生成ユニット316及び逆リフティングユニット318は、カテゴリ3のデータに通常使用されるオプションである。他のすべてのユニットはカテゴリ1とカテゴリ3との間で共通される。
【0047】
カテゴリ3のデータの場合に、圧縮されたジオメトリは、典型的に、ルートから個々のボクセルのリーフレベルで至る八分木として表される。カテゴリ1のデータの場合に、圧縮されたジオメトリは、典型的に、プルーニングされた八分木(即ち、ルートからボクセルよりも大きいブロックのリーフレベルまでの八分木)とプルーニングされた八分木の各リーフ内の表面を近似するモデルによって現れる。このようにして、カテゴリ1及び3のデータの両方は八分木のコーディングメカニズムを共有するが、カテゴリ1のデータは、それに加えて表面モデルを使用して各リーフ内のボクセルを近似し得る。使用される表面モデルは、ブロックごとに1~10個の三角形を含む三角形分割であり、三角形スープが生成される。カテゴリ1のジオメトリコーデックは、Trisoupジオメトリコーデックとして知られており、カテゴリ3ジオメトリのコーデックは、八分木ジオメトリコーデックとして知られている。
【0048】
図2の例では、GPCCエンコーダ200は、座標変換ユニット202、色変換ユニット204、ボクセル化ユニット206、属性転送ユニット208、八分木解析ユニット210、表面近似解析ユニット212、算術符号化ユニット214、ジオメトリ再構成ユニット216、RAHTユニット218、LOD生成ユニット220、リフティングユニット222、係数量子化ユニット224、及び算術符号化ユニット226を含み得る。
【0049】
図2の例に示されるように、GPCCエンコーダ200は、位置のセット及び属性のセットを受信し得る。位置は、点群における点の座標を含み得る。属性は、点群における点に関連付けられた色など、点群における点に関する情報を含み得る。
【0050】
座標変換ユニット202は、座標を初期領域から変換領域に変換するために、点の座標に変換を適用し得る。本開示は、変換された座標を変換座標と呼ぶことがある。色変換ユニット204は、属性の色情報を異なる領域に変換するために変換を適用し得る。例えば、色変換ユニット204は、色情報をRGB色空間からYCbCr色空間に変換し得る。
【0051】
さらに、
図2の例では、ボクセル化ユニット206は、変換座標をボクセル化し得る。変換座標のボクセル化は、量子化すること及び点群のいくつかの点を除去するステップを含み得る。言い換えれば、点群の複数の点は、単一の「ボクセル」内に包含されることができ、単一の「ボクセル」は、それ以降いくつかの観点において1つの点として扱われ得る。さらに、八分木解析ユニット210は、ボクセル化された変換座標に基づいて八分木を生成し得る。さらに、
図2の例では、表面近似解析ユニット212は、点を解析して点セットの表面表現潜在的に決定し得る。算術符号化ユニット214は、表面近似解析ユニット212によって決定された八分木及び/又は表面の情報を表す構文要素に対して算術符号化を実行し得る。GPCCエンコーダ200は、ジオメトリビットストリーム内でこれらの構文要素を出力し得る。
【0052】
ジオメトリ再構成ユニット216は、八分木、表面近似解析ユニット212によって決定された表面を示すデータ、及び/又は他の情報に基づいて、点群における点の変換座標を再構成し得る。ジオメトリ再構成ユニット216によって再構成された変換座標の数は、ボクセル化及び表面近似のため、点群の点の元の数と異なることがある。本開示では、得られる点を再構成された点と呼ぶことがある。属性転送ユニット208は、点群の元の点の属性を点群データの再構成された点に転送し得る。
【0053】
さらに、RAHTユニット218は、再構成された点の属性にRAHTコーディングを適用し得る。代替的又は追加的に、LOD生成ユニット220及びリフティングユニット222は、それぞれ、再構成された点の属性にLOD処理及びリフティングを適用してもよい。RAHTユニット218及びリフティングユニット222は、属性に基づいて係数を生成し得る。係数量子化ユニット224は、RAHTユニット218又はリフティングユニット222によって生成された係数を量子化し得る。算術符号化ユニット226は、量子化された係数を表す構文要素に対して算術コーディングを適用し得る。GPCCエンコーダ200は、属性ビットストリーム内でこれらの構文要素を出力し得る。
【0054】
図3の例では、GPCCデコーダ300は、ジオメトリ算術復号ユニット302、属性算術復号ユニット304、八分木合成ユニット306、逆量子化ユニット308、表面近似合成ユニット310、ジオメトリ再構成ユニット312、RAHTユニット314、LOD生成ユニット316、逆リフティングユニット318、座標逆変換ユニット320、及び色逆変換ユニット322を含み得る。
【0055】
GPCCデコーダ300は、ジオメトリビットストリーム及び属性ビットストリームを取得し得る。デコーダ300のジオメトリ算術復号ユニット302は、算術復号(例えば、CABAC又は他のタイプの算術復号)をジオメトリビットストリーム内の構文要素に適用し得る。同様に、属性算術復号ユニット304は、算術復号を属性ビットストリーム内の構文要素に適用し得る。
【0056】
八分木合成ユニット306は、ジオメトリビットストリームからパースされた構文要素に基づいて八分を合成し得る。表面近似がジオメトリビットストリームにおいて使用される事例では、表面近似合成ユニット310は、ジオメトリビットストリームからパースされた構文要素及び八分木に基づいて表面モデルを決定し得る。
【0057】
さらに、ジオメトリ再構成ユニット312は、点群の点の座標を決定するために再構成を実行し得る。座標逆変換ユニット320は、再構成された座標に逆変換して、点群の点の再構成された座標(位置)を変換領域から初期領域に戻して変換し得る。
【0058】
さらに、
図3の例では、逆量子化ユニット308は、属性値を逆量子化し得る。属性値は、(例えば、属性算術復号ユニット304によって復号された構文要素を含む)属性ビットストリームから取得された構文要素に基づくものであり得る。
【0059】
属性値がどのように符号化されるかに応じて、RAHTユニット314は、RAHTコーディングを実行して、逆量子化された属性値に基づいて点群の点についての色値を決定し得る。代替的に、LOD生成ユニット316及び逆リフティングユニット318は、詳細レベルで基づく技法を使用して点群の点についての色値を決定してもよい。
【0060】
さらに、
図3の例では、色逆変換ユニット322は、色値に逆色変換を適用し得る。逆色変換は、エンコーダ200の色変換ユニット204によって適用された色変換の逆であり得る。例えば、色変換ユニット204は、色情報をRGB色空間からYCbCr色空間に変換し得る。よって、色逆変換ユニット322は、色情報をYCbCr色空間からRGB色空間に変換し得る。
【0061】
図2及び
図3の様々なユニットは、エンコーダ200及びデコーダ300によって実施される動作の理解を支援するために示されている。ユニットは、固定機能回路、プログラマブル回路、又はそれらの組合せとして実装され得る。固定機能回路は、特定の機能を提供する回路を指し、実施され得る動作に関してあらかじめ設定される。プログラマブル回路は、様々なタスクを実施するとともに、実施され得る動作においてフレキシブルな機能を提供するようにプログラミングされることができる回路を指す。例えば、プログラマブル回路は、ソフトウェア又はファームウェアの命令によって定義された態様でプログラマブル回路を動作させるソフトウェア又はファームウェアを実行し得る。固定機能回路は、(例えば、パラメータを受信する、又は、パラメータを出力するために)ソフトウェア命令を実行し得るが、固定機能回路が実施する動作のタイプは、概して不変である。いくつかの例では、ユニットのうちの1つ又は複数は、別個の回路ブロック(固定機能またはプログラマブル)であり得、いくつかの例では、ユニットのうちの1つ又は複数は、集積回路であり得る。
【0062】
以下、本開示のいくつかの例示的な実施形態について詳細に説明する。本明細書では、理解を容易にするためにセクション見出しが使用されているが、セクションで開示される実施形態をそのセクションのみに限定するものではないことを理解すべきである。さらに、特定の実施形態が多用途のGPCC又は他の特定の点群コーデックを参照して説明するが、開示技術は、他の点群コーディング技術にも適用可能である。さらに、いくつかの実施形態は、点群コーディングステップを詳細に説明するが、コーディングを元に戻す対応のステップである復号はデコーダによって実施されることが理解されるであろう。
【0063】
1.概要
本開示は、点群コーディング技術に関する。特に、インター予測における点群属性予測に関する。このアイディアは、点群コーディング規格、又は、例えば開発中のジオメトリベースの点群圧縮(G-PCC)の規格外の点群コーディングに個別に又は様々な組み合わせで適用され得る。
【0064】
2.略語
G-PCC ジオメトリベースの点群圧縮
MPEG ムービングピクチャーエクスパーツグループ
3DG 3Dグラフィックスコーディンググループ
CFP 発表募集
V-PCC ビデオベースの点群圧縮
LOD 詳細レベル
CE コア実験
EE 探査実験
inter-EM インター探査モデル
PC 点群
RDO レート歪み最適化
【0065】
3.背景
点群コーディング規格は、主によく知られているMPEG組織の発展を通じて進化してきた。MPEGは、Moving Picture Experts Groupの略であり、マルチメディアを扱う主な標準化グループの1つである。2017年において、MPEG 3Dグラフィックスコーディンググループ(3DG)は、点群コーディング規格の開発を開始する発表募集(CFP)書類を発行した。最終的な規格は2つのクラスの方案を含むようになる。ビデオベースの点群圧縮(V-PCC)は、点が比較的均一に分布される点集合に適する。ジオメトリベースの点群圧縮(G-PCC)は、より疎な分布に適する。
【0066】
G-PCCにおける将来の点群コーディング技術を探索するために、コア実験(CE)13.5及び探査実験(EE)13.2は設立されて、G-PCCにおけるインター予測技術が開発された。それ以来、多くの新のインター予測方法は、MPEGに採用されて、インター探査モデル(inter-EM)と命名された参照ソフトウェアに組み込まれている。
【0067】
1つの点群には、ジオメトリ情報及び属性情報が存在し得る。ジオメトリ情報は、データ点のジオメトリ情報位置を記述するために使用される。属性情報は、テクスチャ、法線ベクトル及び反射などのデータ点のいくつかの詳細を記録するために使用される。点群コーデックは、様々な情報を異なる方法で処理することができる。通常、コーデックには、ジオメトリ情報及び属性情報のコーディング及び復号をそれぞれサポートするオプションのツールが多数ある。
【0068】
3.1 属性イントラ予測
G-PCCでは、ジオメトリ情報を使用して属性イントラ予測を実行する2つの属性コーディング方法が提案されている。
【0069】
3.1.1 予測変換
予測変換は、補間的階層最近傍予測方法であり、通常、疎らな点群コンテンツに使用される。まず、詳細レベル(LOD)構造は生成される。次に、最近傍点は、LOD構造に基づいて探索される。そして、属性予測は、探索結果に基づいて実行される。
【0070】
3.1.1.1 LOD生成
LOD生成プロセスでは、ジオメトリ情報は、「詳細レベル」のセットを定義する点群の階層構造を構築するためにレバレッジされる。階層構造は、属性を効率的に予測するために活用される。プログレッシブ送信及びスケーラブルレンダリングなどの高度な機能を提供することを可能にする。LOD生成プロセスは、ユーザにより定義された、LOD番号を示すパラメータLに従って、点群の点をリファインレベルのセット(点セット)R0、R1、・・・、RL-1に再編成する。そして、点群の点の属性は、R0からRL-1まで符号化される。詳細lのレベルLODlは、リファインメントレベルR0、R1、・・・、Rlの和集合をとることで取得されることができる。
LODl=R0∪R1∪・・・∪Rl (3-1)
【0071】
3.1.1.2 点分布を考慮した最近傍探索
G-PCCでは、2つの近傍リストであるリスト1及びリスト2は、現在の点の3つの近似最近傍点を探索するために構築される。リスト1は、LODベースの近似最近傍探索アルゴリズムによって取得された3つの近似最近傍点を含む。リスト2は、リスト1の更新の時にドロップされた3つの点を含む。
【0072】
点分布情報を考慮して、厳密な反対と緩やかな反対の概念を定義する。現在の点(x,y,z)との相対位置に従って、すべての最近傍点(x_n,y_n,z_n)は、方向インデックスdirIdxに割り当てられる。方向インデックスdirIdxに従って、厳密な反対と緩やかな反対は、表3-1のように定義される。
【表1】
最終的な近傍リストは、リスト2内の点を利用して厳密な反対の適格性チェック及び緩やかな反対の適格性チェックでリスト1を更新することで、生成される。十分な近傍点が存在しないことに起因して、最終のリスト1の点数は3未満になる可能性があり、近傍プルーニングプロセスは実行されることに注意すべきである。
【0073】
3.1.1.3 属性予測
リスト1を取得した後、複数の予測子候補は、リスト1に基づいて作成される。各予測子候補には1つのインデックスが割り当てられる。そして、リスト1内の点の属性の変動は、計算される。変動が閾値よりも小さい場合に、加重平均値は、現在の点の属性を予測するために使用される。それ以外の場合、最適な予測子は、レート歪み最適化(RDO)手順を適用することで選択される。
【0074】
3.1.2 リフティング変換
リフティング変換は、通常、密な点群コンテンツに使用され、予測変換方法の上に構築される。リフティング変換と予測変換との主な違いは、更新演算子及び適応量子化ストラテジにある。リフティング変換では、各点は、影響の重み値に関連付けられる。比較的低いLOD内の点はより頻繁に使用され、比較的高い重み値が割り当てられる。影響の重みは、量子化プロセスで使用される。
【0075】
3.2 属性インター予測
inter-EMでは、いくつかのインター予測ツールは、属性インターコーディングを実行するために提案される。現在のフレーム及び1つ前のフレーム内の最近傍点を記憶するためのリスト1が1つ存在する。リスト内の点の属性は、予測子候補を生成するとともに、イントラフレームコーディングと同様な方法で現在の点の予測値を取得するために使用される。
【0076】
まず、現在のフレーム及び参照フレーム内の点は、モートンコードに基づいて並び替えられる。各点は、モートン順序を示すために、モートンインデックスに関連付けられる。
【0077】
そして、各点について、最近傍探索は、現在のフレーム及び参照フレーム内で実行される。探索範囲を制御するパラメータSearch_Rangeが1つ存在する。
【0078】
a)現在のフレームでは、モートン順序での現在の点の前のSearch_Range点はトラバースされる。
【0079】
b)参照フレームでは、探索中心は、参照フレーム内の同じモートンインデックスを有する点である。探索中心よりも前の前のSearch_Range点、探索中心よりも後の後続のSearch_Range点、及び、探索中心点は、探索される。
【0080】
最近傍探索は、探索された点から現在の点までのユークリッド距離に基づくものである。3つの最も近い点は選択されてリスト1内に記憶される。参照フレームからの点の重みが現在のフレームからの点よりも低くあるべきであることに注意すべきである。
【0081】
最後に、複数の予測子候補は、リスト1に基づいて作成され、予測属性値は、イントラコーディングと同様な方法で生成される。
【0082】
4.問題点
点群属性インター予測の既存の設計は、以下のような問題がある:
1.現在のinter-EMでは、参照フレーム内の探索中心は、同じモートンインデックスを有する点である。しかしながら、現在のフレーム及び参照フレーム内の並べ替えられた点の間に厳密な対応関係はない。場合によって、同じモートンインデックスを有する点は、そのジオメトリック位置が非常に異なることがあり、これに起因して、正確ではない探索及び予測結果になる。
2.現在のinter-EMでは、最近傍探索は、ユークリッド距離に基づいて実行される。ユークリッド距離の計算は、非常に複雑であるため、符号化及び復号の全体的な複雑さに影響する。
3.現在のinter-EMでは、現在のフレーム及び参照フレーム内の探索範囲は、同じである。しかしながら、現在のフレーム内の点及び異なるプレーム内の点は、現在の点に対して異なる影響を与える。同じ探索範囲を使用すると、予測効率が制限される。
【0083】
5.詳細な解決方案
上記の問題及び言及していない他のいくつかの問題を解決するために、以下のように要約される方法を開示する。解決方案は、一般的な概念を説明するための例として考慮されるべきであり、狭く解釈されるべきではない。さらに、これらの解決方案は、任意の態様で組み合わせて適用することもできる。
【0084】
以下の説明では、リスト1は、最近傍点を記憶するリストであり得る。
【0085】
1)少なくとも1つの探索中心が属性インター予測内の最近傍探索のために導出され得ることを提案する。
a.一例では、最近傍探索は、探索対象の特定のフレーム内で実行され得る。
i.一例では、探索対象の特定のフレームは、現在のフレームであり得る。
ii.一例では、探索対象の特定のフレームは、他のフレームであり得る。
iii.一例では、探索対象の特定のフレームは、前記現在のフレームの参照フレームであり得る。
b.一例では、探索対象の特定のフレーム内の点は、最近傍探索の実行の前に並び替えられる。
i.一例では、並び替えは、点のモートンコード、ヒルベルトコード又は他の変換されたコードに基づいて実行され得る。
ii.一例では、並び替えは、点の極座標に基づいて実行され得る。
iii.一例では、並び替えは、点の球面座標に基づいて実行され得る。
iv.一例では、並び替えは、点の円筒座標に基づいて実行され得る。
v.一例では、並び替えは、レーダの走査順に基づいて実行され得る。
vi.一例では、探索は、点の順序(並べ替えられ得る)に従って実施される。
c.一例では、探索対象の特定のフレームに対して1つの探索中心が存在し得る。
i.一例では、並び替え順での探索中心よりも前の前の点及び探索中心は、探索され得る。
ii.一例では、並び替え順での探索中心よりも後の後続の点及び探索中心は、探索され得る。
iii.一例では、並び替え順での探索中心よりも前の前の点、探索中心、及び並び替え順での探索中心よりも後の後続の点は、探索され得る。
d.一例では、探索中心は、探索対象のフレーム内のジオメトリック位置にある近似最近点であり得る。
i.一例では、探索中心は、探索対象のフレーム内のすべての点又は一部の点から選択され得る。
ii.一例では、探索中心は、現在の点から最も近い距離を有する点であり得る。
(1)距離は、ユークリッド距離、マンハッタン距離、チェビシェフ距離などであり得る。
iii.一例では、探索中心は、現在の点から近似最近距離を有する点であり得る。
(1)探索中心は、探索対象のフレーム内の一部の点から選択され得る。
(2)距離は、ユークリッド距離、マンハッタン距離、チェビシェフ距離などであり得る。
iv.一例では、探索中心は、変換されたコード上で現在の点から最も近い距離を有する点であり得る。
(1)距離は、変換されたコード上の差異であり得る。
(2)変換されたコードは、モートンコード、ヒルベルトコードなどであり得る。
v.一例では、探索中心は、変換されたコード上で現在の点からほぼ最も近い距離を有する点であり得る。
(1)探索中心は、探索対象のフレーム内の一部の点から選択され得る。
(2)一例では、一部の点は、その変換されたコードが現在の点の変換されたコードよりも大きい点であり得る。
(3)一例では、一部の点は、その変換されたコードが現在の点の変換されたコードよりも小さい点であり得る。
(4)距離は、変換されたコード上の差異であり得る。
(5)変換されたコードは、モートンコード、ヒルベルトコードなどであり得る。
e.一例では、複数(例えば、N個など)の探索中心は、導出され得る。
i.又は、さらに、探索は、1つ又は複数の探索中心から実施され得る。
ii.一例では、N個の探索中心は、現在の点からNの最も近い距離を有するN個の点であり得る。
iii.一例では、N個の探索中心は、変換されたコード上で現在の点からNの最も近い距離を有するN個の点であり得る。
【0086】
2)異なる方向及び/又は異なるフレームでの異なる探索範囲を使用することを提案する。
a.一例では、探索対象の1つのフレームに対して、少なくとも1つの探索範囲が存在し得る。
i.一例では、探索される必要のある探索中心よりも前の点の数を示す探索範囲が1つ存在し得る。
ii.一例では、探索される必要のある探索中心よりも後の点の数を示す探索範囲が1つ存在し得る。
iii.一例では、探索される必要のある探索中心よりも前の点の数及び探索中心よりも後の数の両方を示す探索範囲が1つ存在し得る。
b.一例では、現在のフレーム及び参照フレームの探索範囲は異なり得る。
c.一例では、異なる参照フレームの探索範囲は、異なり得る。
d.一例では、属性イントラ予測及び属性インター予測の探索範囲は異なり得る。
e.一例では、属性イントラ予測及び属性インター予測の探索範囲は同じであり得る。
f.一例では、属性インター予測を利用するフレームの属性イントラ予測の探索範囲は、属性イントラ予測のみを利用するフレームの属性イントラ予測の探索範囲と異なり得る。
g.一例では、探索範囲はエンコーダで導出され得る。
h.一例では、探索範囲はデコーダで導出され得る。
i.一例では、現在のフレーム及び/又は参照フレーム内の異なるコード化点の探索範囲は異なり得る。
j.一例では、現在のフレーム及び/又は参照フレーム内の異なるコード化点の探索範囲は同じであり得る。
k.一例では、現在のフレーム及び/又は参照フレーム内の異なるLODの探索範囲は異なり得る。
l.一例では、現在のフレーム及び/又は参照フレーム内の異なるLODの探索範囲は同じであり得る。
m.一例では、現在のフレーム及び/又は参照フレーム内の現在のリファインレベル、比較的低いLOD及び比較的高いLODの間の探索範囲は異なり得る。
n.一例では、現在のフレーム及び/又は参照フレーム内の現在のリファインレベル、比較的低いLOD及び比較的高いLODの間の探索範囲は同じであり得る。
o.一例では、現在のフレーム及び/又は参照フレーム内の異なるスライス/タイルの探索範囲は異なり得る。
p.一例では、現在のフレーム及び/又は参照フレーム内の異なるスライス/タイルの探索範囲は同じであり得る。
【0087】
3)探索範囲を示す指示をコーディングすることで、デコーダに探索範囲をシグナリングすることを提案する。
a.一例では、少なくとも1つの指示は、探索範囲を示すためにデコーダにシグナリングされ得る。
i.一例では、指示は、コーデックがすべての点に対して最近傍探索を実行する場合に、事前定義される信号であり得る。
ii.一例では、指示は、探索範囲がいくつかの事前定義される探索範囲から選択される場合に、いくつかの事前定義される信号から選択され得る。
iii.一例では、指示は、探索範囲の値であり得る。
iv.一例では、指示は、探索範囲の事前定義される数学的変換(例えば、対数、平方根など)であり得る。
b.一例では、指示は、固定長コーディング、単項コーディング、切り捨て単項コーディングなどコーディングされ得る。
c.一例では、指示は、予測的にコーディングされ得る
【0088】
4)異なるジオメトリック距離は、属性インター予測内の最近傍探索及び近傍重み生成に使用され得る。
a.一例では、少なくとも1つの点は、現在のフレーム及び参照フレーム内で最近傍探索を実行することでリスト1に記憶され得る。
i.一例では、選択された点は、現在の点から最も近いジオメトリック距離(例えば、ユークリッド距離、マンハッタン距離、チェビシェフ距離など)を有する点であり得る。
ii.一例では、選択された点は、探索中心及び探索範囲によって定義される探索された点からのものであり得る。
b.一例では、リスト1内の各点のジオメトリック距離は、近傍重み生成に使用され得る。
c.一例では、最近傍探索及び近傍重み生成のプロセスは、異なるジオメトリック距離を使用し得る。
i.一例では、各探索された点のマンハッタン距離は、最近傍探索に使用され得、リスト1内の各点のユークリッド距離は、近傍重み生成に使用され得る。
【0089】
5)一例では、属性インター予測は、異なる座標系内で実行され得る。
a.一例では、座標系は、球面座標系、円筒座標系、カーテシアン座標系、ユークリッド座標系などであり得る。
b.一例では、ジオメトリ情報が特定の座標系で表れる場合に、属性インター予測は、他の座標系内で実行され得る。
c.一例では、現在のフレームのジオメトリ情報に対して座標系変換が行われ得る。
d.一例では、参照フレームに対して座標系変換が行われ得る。
e.一例では、座標系変換は、ジオメトリコーディングの後、及び/又は属性コーディングの前に実行され得る。
f.一例では、座標系変換はエンコーダ及びデコーダで実行され得る。
g.一例では、現在のフレーム及び/又は参照フレームの変換された座標系はスケーリングされ得る。
h.又は、現在のフレーム及び/又は参照フレームの変換された座標系内のジオメトリ情報座標はスケーリングされ得る。
i.一例では、現在のフレーム及び/又は参照フレームの変換された座標系は、変換され得る。
j.又は、現在のフレーム及び/又は参照フレームの変換された座標系内のジオメトリ情報座標は、変換され得る。
【0090】
6)フレーム距離は、タイムスタンプ順での2つのフレームの距離に比例し得る。
a.一例では、タイムスタンプ順は、フレームのレンダリング順であり得る。
b.一例では、タイムスタンプ順は、フレームの収集順であり得る。
c.一例では、M番目のフレームとN番目のフレームとの間のフレーム距離はM-N、又は、N-M、又は、|M-N|に比例し得る。
d.一例では、1つのフレームとそれ自体との間のフレーム距離は0であり得る。
e.一例では、現在のフレームと参照フレームとの間のフレーム距離はエンコーダで導出され得る。
f.一例では、現在のフレームと参照フレームとの間のフレーム距離はデコーダで導出され得る。
g.又は、現在のフレームと参照フレームとの間のフレーム距離は、デコーダにシグナリングされ得る。
i.一例では、フレーム距離は、固定長コーディング、単項コーディング、切り捨て単項コーディングなどでコーディングされ得る。
ii.一例では、フレーム距離は予測的にコーディングされ得る。
h.タイムスタンプ順指示はフレームに対してシグナリングされ得る。
【0091】
7)フレーム距離は最近傍探索で使用され得る。
a.一例では、最近傍探索におけるジオメトリック距離は、参照フレームと現在のフレームとの間のフレーム距離に依存し得る。
b.一例では、フレーム距離の近い1つの参照フレーム内の参照点のジオメトリック距離は、フレーム距離の遠い1つの参照フレームよりも高い。
i.一例では、1つの参照フレーム内の参照点ジオメトリック距離は、フレーム距離と元のジオメトリック距離の和であり得る。
【0092】
8)フレーム距離は、近傍重み生成に使用され得る。
a.一例では、生成された近傍重みは、参照フレームと現在のフレームとの間のフレーム距離に依存し得る。
b.一例では、フレーム距離の近い1つの参照フレーム内の参照点の生成された近傍重みは、フレーム距離の遠い1つの参照フレームよりも高い。
i.一例では、1つの参照フレーム内の参照点の生成された近傍重みは、フレーム距離と元の生成された近傍重みの和であり得る。
【0093】
9)属性インター予測の前に動き補償を参照フレームに適用することを提案する。
a.一例では、参照フレームに動き補償がある。
b.一例では、動き補償は、属性インター予測の前に参照フレームに適用され得る。
c.一例では、動き補償付きの参照フレームは、属性インター予測に使用され得る。
d.一例では、動き補償なしの参照フレームは、属性インター予測に使用され得る。
e.一例では、動き補償が適用されるか否かを示す指示は、デコーダにシグナリングされ得る。
i.一例では、指示は、固定長コーディング、単項コーディング、切り捨て単項コーディングなどでコーディングされ得る。
ii.一例では、指示は、予測的にコーディングされ得る。
【0094】
10)補償された動きを使用して、属性インター予測が適用される否かを決定することを提案する。
a.一例では、属性インター予測は、ジオメトリ情報移動が制限された参照フレームにのみ適用され得る。
b.一例では、ジオメトリ情報移動は、補償された動きで示され得る。
c.一例では、補償された動きは、並進及び回転から構成され得る。
d.一例では、並進は、動き行列/ベクトルで記録され得る。
e.一例では、回転は、回転行列/ベクトルで記録され得る。
f.一例では、回転は、オイラー角/四元数/回転角で記録され得る。
g.一例では、補償された動きは、剛体の動き又は非剛体の動きであり得る。
h.一例では、補償された動きは、行列で記録され得る。
i.一例では、補償された動きが補償された動き閾値よりも小さいと、属性インター予測は参照フレームに適用され得る。
j.又は、並進が並進閾値よりも小さいと、属性インター予測は参照フレームに適用され得る。
k.又は、回転が回転閾値よりも小さいと、属性インター予測は参照フレームに適用され得る。
l.一例では、閾値は、事前定義された値であり得る。
m.又は、閾値は、デコーダにシグナリングされ得る。
i.一例では、閾値は、固定長コーディング、単項コーディング、切り捨て単項コーディングなどコーディングされ得る。
ii.一例では、閾値は予測的にコーディングされ得る。
【0095】
11)属性インター予測が1つの参照フレームに適用される否かをシグナリングすることを提案する。
a.一例では、属性インター予測が1つの参照フレームに適用される否かを示す指示が1つあり得る。
b.一例では、指示は、エンコーダで導出され得る。
c.一例では、指示は、デコーダにシグナリングされ得る。
i.一例では、指示は、固定長コーディング、単項コーディング、切り捨て単項コーディングなどでコーディングされ得る。
ii.一例では、指示は、予測的にコーディングされ得る。
【0096】
12)属性インター予測内で属性補償を実行することを提案する。
a.一例では、補償属性値は、最近傍探索結果及び補償されたパラメータに基づいて導出され得る。
b.一例では、補償されたパラメータは、1つの点群クラスタ内の点に対して固定され得る。
i.一例では、点群クラスタは、連続するM個の点であり得る。
c.一例では、補償されたパラメータは、エンコーダで導出され得る。
d.一例では、補償されたパラメータは、インター最近傍の属性値及び点群クラスタより前のN個の前のコード化された点の再構成された値に基づいて導出され得る。
e.又は、補償されたパラメータは、予測値及び点群クラスタよりも前のN個の前のコード化された点の再構成された値に基づいて導出され得る。
f.一例では、補償されたパラメータは、デコーダで導出され得る。
g.又は、補償されたパラメータは、デコーダにシグナリングされ得る。
i.一例では、補償されたパラメータは、固定長コーディング、単項コーディング、切り捨て単項コーディングなどでコーディングされ得る。
ii.一例では、補償されたパラメータは予測的にコーディングされ得る。
【0097】
13)参照フレームの異なるLOD内の点は、属性インター予測内で探索され得る。
a.一例では、参照フレーム内の点は、1つ又は複数のLODに分割され得る。
b.一例では、現在のフレーム内の点は、1つ又は複数のLODに分割され得る。
c.一例では、各点のLODを指すLODレベルが存在し得る。
d.一例では、現在の点について、参照フレーム内の同じLODレベルを有する点は探索されることで、最近傍探索が実行され得る。
e.一例では、現在の点について、参照フレーム内の比較的低いLODレベルを有する点が探索されることで、最近傍探索は実行され得る。
f.一例では、現在の点について、参照フレーム内の比較的高いLODレベルを有する点が探索されることで、最近傍探索は実行され得る。
g.一例では、現在の点について、参照フレーム内のすべてのLODレベルの点が探索されることで、最近傍探索は実行され得る。
h.一例では、すべてのLOD内の点が探索されるか否かを示す指示は、デコーダにシグナリングされ得る。
i.一例では、指示は、固定長コーディング、単項コーディング、切り捨て単項コーディングなどでコーディングされ得る。
ii.一例では、指示は、は予測的にコーディングされ得る
i.一例では、同じLOD内の点のみが探索されるか否かを示す指示は、デコーダにシグナリングされ得る。
i.一例では、指示は、例えば、すべてのLOD内の点が探索されるか否かに従って条件付きでシグナリングされ得る。
ii.一例では、指示は、固定長コーディング、単項コーディング、切り捨て単項コーディングなどでコーディングされ得る。
iii.一例では、指示は、予測的にコーディングされ得る
【0098】
14)複数のリストを使用して異なるフレーム内に探索結果を記憶し、すべてのリストを組み合わせることで予測子リストを生成することを提案する。
a.一例では、現在のフレーム内に探索結果を記憶する第1リスト(リスト1など)が存在し得る。
b.一例では、各参照フレーム内に探索結果を記憶する第2リスト(リスト2など)が存在し得る。
c.一例では、現在のフレーム内の最近傍探索は、リスト1のみを変更し得る。
d.一例では、1つの参照フレーム内の最近傍探索は、対応するリストのみを変更し得る。
e.一例では、すべてのリスト内の点の情報は、予測子リストを生成するために使用され得る。
【0099】
15)上記した「フレーム」は、例えば、フレーム内のサブ領域などの他のプロセス単位で置き換えられ得る。
【0100】
16)上記した方法は、G-PCC内の他のコーディングモデル、又は、最近傍探索法以外の他の探索法にも適用され得る。
【0101】
6.実施形態
本実施形態は、どのようにマンハッタン距離を使用して属性インター予測での最近傍探索を実行するかの一例を説明する。この例では、参照フレーム内の探索中心は、最も近いモートンコードを有する点に設定される。現在のフレーム及び参照フレームの両方の探索範囲は、128に設定される。
【0102】
各フレームについて、参照フレームは、1つ前のフレームであり、属性インター予測は、エンコーダ及びデコーダで実行される。
【0103】
まず、現在のフレーム及び参照フレーム内の点は、並べ替えられる。各点のモートンコードは計算され、1つのフレーム内の点は、モートンコード順に基づいて並べ替えられる。
【0104】
次に、現在のフレーム内の各点について、現在のフレーム及び参照フレーム内の3つの近似最近傍点は、探索されてリスト1内に記憶される。最近傍点が現在のフレームからのものであるか否かを示すフラグが3つ存在する。
a.現在のフレームの探索中心は、現在の点である。探索中心よりも前の128個の点は、モートンコード順でトラバースされる。マンハッタン距離が最も近い点は、トラバースされた点から最大3つが選択される。リスト1内の各点の位置、フラグ及びインデックスは記録される。2点(x1,y1,z1)と(x2,y2,z2)とのマンハッタン距離dは、次の式で計算される:
d=|x1-x2|+|y1-y2|+|z1-z2| (6-1)
b.参照フレームの探索中心は、参照フレーム内の現在の点に最も近いモートンコードを有する点である。モートンコード順での探索中心よりも前の128個の点、モートンコード順での探索中心よりも後の128個の点、及び探索中心は、トラバースされる。トラバースされた点のマンハッタン距離がリスト1内の点よりも近い場合に、当該リスト1は、トラバースされた点をリスト1内に挿入し、マンハッタン距離をリスト1内のマンハッタン距離が最も高い点を削除することで更新される。リスト1内の各点の位置、フラグ及びインデックスは、記録される。
【0105】
さらに、現在のフレーム内の各点について、予測子はリスト1内の点の情報に基づいて生成され、予測値は生成される。
a.リスト1内の各点に対して1つの重み値がある。リスト1内の各点の計算された距離は、当該点から現在の点までのユークリッド距離に基づいて計算される。参照フレームからの点の計算された距離には1を加算すべきである。リスト1内の各点に対する重み値は、計算された距離の逆数である。2点(x
1,y
1,z
1)と(x
2,y
2,z
2)とのユークリッド距離dは、次の式で計算される:
【数1】
b.リスト1内の各点の属性は、インデックスに基づいて取得される。
c.リスト1内の点の属性の変動は、計算される。
d.変動が閾値よりも小さい場合、加重平均値は、現在の点の属性を予測するために使用される。
e.それ以外の場合、最適な予測子は、RDO手順を適用することで選択される。予測子の候補リストは、リスト1内の点の加重平均値及び属性値を含む。RDOプロセスの結果は、デコーダにシグナリングされる。デコーダでは、予測値は、シグナリングされたRDO結果に基づいて生成される。
【0106】
最後、現在のフレーム内の各点について、現在のフレームの属性と予測属性値との間の残差は、コード化されてデコーダにシグナリングされる。
【0107】
以下、点群属性コーディングのインター予測に関する本開示の実施形態の更なる詳細について説明する。本開示の実施形態は、一般的な概念を説明するための例として考慮されるべきであり、狭く解釈されるべきではない。さらに、これらの実施形態は、任意の態様で組み合わせて適用することもできる。
【0108】
本明細書で使用される場合、「点群シーケンス」という用語は、1つ又は複数の点群のシーケンスを指し得る。「点群フレーム」又は「フレーム」という用語は、点群シーケンス内の点群を指し得る。「点群(PC)サンプル」という用語は、点群フレーム、点群フレーム内のサブ領域などを指し得る。
【0109】
図4は、本開示のいくつかの実施形態による点群コーディング方法400のフローチャートを示す。方法400は、点群シーケンスの現在のPCサンプルと点群シーケンスのビットストリームとの間の変換中に実施され得る。
図4に示されるように、方法400は、現在のPCサンプル内の現在の点について、複数の探索範囲に基づいて現在のPCサンプルの参照PCサンプルのセット内で少なくとも1つの近傍点を決定する402で開始する。
【0110】
いくつかの実施形態では、参照PCサンプルのセットは、第1参照PCサンプル及び第1参照PCサンプルと異なる第2参照PCサンプルを含む。複数の探索範囲は、第1参照PCサンプルに対する第1探索範囲及び第2参照PCサンプルに対する第2探索範囲を含む。第1探索範囲は、第2探索範囲と異なる。つまり、異なる参照PCサンプルに使用される探索範囲は異なる。いくつかの実施形態では、少なくとも1つの近傍点は、現在の点の少なくとも1つの最近傍点であり得る。いくつかの実施形態では、複数の探索範囲は、エンコーダで決定され得る。又は、複数の探索範囲は、デコーダで決定され得る。
【0111】
限定ではなく例として、第1参照PCサンプルは、現在のPCサンプルの直前にあり得、第2参照PCは、第1参照PCサンプルよりも前にあり得る。第1探索範囲は、第2探索範囲よりも大きい。上記の例は、単に説明を目的として記載されたものであること理解すべきである。本開示の範囲は、これに限定されない。
【0112】
404で、少なくとも1つの近傍点に基づいて変換を実行する。いくつかの実施形態では、変換は、現在のPCサンプルをビットストリームに符号化するステップを含み得る。代替的又は追加的に、変換は、ビットストリームから現在のPCサンプルを復号するステップを含み得る。
【0113】
上記を踏まえて、異なる参照PCサンプルに使用される探索範囲は異なる。異なる参照PCサンプルに使用される探索範囲が同じである変換方案に比べて、提案した方法は、近傍点探索の効率を有利に向上させることができるため、点群コーディングの効率を向上させることができる。
【0114】
いくつかの実施形態では、複数の探索範囲のうちの、現在のPCサンプルの属性イントラ予測に対する探索範囲は、複数の探索範囲のうちの、現在のPCサンプルの属性インター予測に対する探索範囲と異なり得る。又は、複数の探索範囲のうちの、現在のPCサンプルの属性イントラ予測に対する探索範囲は複数の探索範囲のうちの、現在のPCサンプルの属性インター予測に対する探索範囲と同じであり得る。
【0115】
いくつかの実施形態では、属性イントラ予測及び属性インター予測は、現在のPCサンプルに対して実行され得る。属性イントラ予測は、点群シーケンスの更なるPCサンプルに対して実行され得、属性インター予測は、更なるPCサンプルに対して実行されない。このような場合には、現在のPCサンプルの属性イントラ予測に対する探索範囲は、更なるPCサンプルの属性イントラ予測に対する探索範囲と異なり得る。
【0116】
いくつかの実施形態では、現在のPCサンプルは、現在の点と異なる更なる点を含み得る。現在の点に対する現在のPCサンプル内の探索範囲は、更なる点に対する現在のPCサンプル内の探索範囲と異なり得る。又は、現在の点に対する現在のPCサンプル内の探索範囲は、更なる点に対する現在のPCサンプル内の探索範囲と同じであり得る。いくつかの代替的又は追加的な実施形態では、参照PCサンプルのセットは、第1参照PCサンプルを含み得、第1参照PCサンプル内の探索範囲は、更なる点に対する第1参照PCサンプル内の探索範囲と異なり得る。又は、第1参照PCサンプル内の探索範囲は、更なる点に対する第1参照PCサンプル内の探索範囲と同じであり得る。
【0117】
いくつかの実施形態では、現在の点は、現在のPCサンプルの第1詳細レベル(LOD)内にあり得る。現在のPCサンプルは、第1LODと異なる第2LOD内の更なる点を含み得る。現在の点に対する現在のPCサンプル内の探索範囲は、更なる点に対する現在のPCサンプル内の探索範囲と異なり得る。又は、現在の点に対する現在のPCサンプル内の探索範囲は、更なる点に対する現在のPCサンプル内の探索範囲と同じであり得る。いくつかの代替的又は追加的な実施形態では、参照PCサンプルのセットは、第1参照PCサンプルを含み、第1参照PCサンプル内の探索範囲は、更なる点に対する第1参照PCサンプル内の探索範囲と異なり得る。又は、第1参照PCサンプル内の探索範囲は、更なる点に対する第1参照PCサンプル内の探索範囲と同じであり得る。
【0118】
いくつかの実施形態では、現在の点は、現在のPCサンプルの第1リファインレベルにあり得る。現在のPCサンプルは、第1リファインレベルよりも低いリファインレベル内の第1点及び第1リファインレベルよりも高いリファインレベル内の第2点を含み得る。現在の点に対する現在のPCサンプル内の探索範囲、第1点に対する現在のPCサンプル内の探索範囲、又は、第2点に対する現在のPCサンプル内の探索範囲のうち、少なくとも2つは、互いに異なり得る。又は、現在の点に対する現在のPCサンプル内の探索範囲、第1点に対する現在のPCサンプル内の探索範囲、又は、第2点に対する現在のPCサンプル内の探索範囲のうち、少なくとも2つは、同じであり得る。いくつかの追加的又は代替的な実施形態では、参照PCサンプルのセットは、第1参照PCサンプルを含み、第1参照PCサンプル内の探索範囲、第1点に対する第1参照PCサンプル内の探索範囲、又は、第2点に対する第1参照PCサンプル内の探索範囲のうち、少なくとも2つは、互いに異なり得る。又は、第1参照PCサンプル内の探索範囲、第1点に対する第1参照PCサンプル内の探索範囲、又は、第2点に対する第1参照PCサンプル内の探索範囲のうち、少なくとも2つは、同じであり得る。
【0119】
いくつかの実施形態では、現在の点は、現在のPCサンプルの第1スライス内にあり得る。現在のPCサンプルは、第1スライスと異なる第2スライス内の更なる点を含み得る。現在の点に対する現在のPCサンプル内の探索範囲は、更なる点に対する現在のPCサンプル内の探索範囲と異なり得る。又は、現在の点に対する現在のPCサンプル内の探索範囲は、更なる点に対する現在のPCサンプル内の探索範囲と同じであり得る。いくつかの代替的又は追加的な実施形態では、参照PCサンプルのセットは、第1参照PCサンプルを含み、第1参照PCサンプル内の探索範囲は、更なる点に対する第1参照PCサンプル内の探索範囲と異なり得る。又は、第1参照PCサンプル内の探索範囲は、更なる点に対する第1参照PCサンプル内の探索範囲と同じであり得る。
【0120】
いくつかの実施形態では、現在の点は、現在のPCサンプルの第1タイル内にあり得る。現在のPCサンプルは、第1タイルと異なる第2タイル内の更なる点を含み得る。現在の点に対する現在のPCサンプル内の探索範囲は、更なる点に対する現在のPCサンプル内の探索範囲と異なり得る。又は、現在の点に対する現在のPCサンプル内の探索範囲は、更なる点に対する現在のPCサンプル内の探索範囲と同じであり得る。いくつかの代替的又は追加的な実施形態では、参照PCサンプルのセットは、第1参照PCサンプルを含み、第1参照PCサンプル内の探索範囲は、更なる点に対する第1参照PCサンプル内の探索範囲と異なり得る。又は、第1参照PCサンプル内の探索範囲は、更なる点に対する第1参照PCサンプル内の探索範囲と同じであり得る。
【0121】
本発明の実施形態によれば、非一時的なコンピュータ可読記録媒体を提案する。点群シーケンスのビットストリームは、非一時的なコンピュータ可読記録媒体内に記憶される。ビットストリームは、点群処理装置によって実行される方法で生成されることができる。当該方法によれば、点群シーケンスの現在のPCサンプル内の現在の点について、少なくとも1つの近傍点は、複数の探索範囲に基づいて、現在のPCサンプルの参照PCサンプルのセット内で決定される。参照PCサンプルのセットは、第1参照PCサンプル及び第1参照PCサンプルと異なる第2参照PCサンプルを含む。複数の探索範囲は、第1参照PCサンプルに対する第1探索範囲及び第2参照PCサンプルに対する第2探索範囲を含む。第1探索範囲は、第2探索範囲と異なる。さらに、ビットストリームは、少なくとも1つの近傍点に基づいて生成される。
【0122】
本発明の実施形態によれば、点群シーケンスのビットストリームを記憶する方法を提案する。当該方法では、点群シーケンスの現在のPCサンプル内の現在の点について、少なくとも1つの近傍点は、複数の探索範囲に基づいて、現在のPCサンプルの参照PCサンプルのセット内で決定される。参照PCサンプルのセットは、第1参照PCサンプル及び第1参照PCサンプルと異なる第2参照PCサンプルを含む。複数の探索範囲は、第1参照PCサンプルに対する第1探索範囲及び第2参照PCサンプルに対する第2探索範囲を含む。第1探索範囲は、第2探索範囲と異なる。さらに、ビットストリームは、少なくとも1つの近傍点に基づいて生成され、ビットストリームは、非一時的なコンピュータ可読記録媒体内に記憶される。
【0123】
図5は、本開示のいくつかの実施形態による他の点群コーディング方法500のフローチャートを示す。方法500は、点群シーケンスの現在のフレームと点群シーケンスのビットストリームとの間の変換中に実施され得る。
図5に示されるように、方法500は、第1座標系に基づいて、現在のフレーム内の現在の点に対して属性インター予測を実行することで現在の点の予測属性値を取得する502で開始する。現在の点のジオメトリ情報は、第1座標系と異なる第2座標系内で表れる。限定ではなく例として、現在の点のジオメトリ情報は、カーテシアン座標系内で表れ得、属性インター予測は、円筒座標系に基づいて現在の点に対して実行される。上記の例は、単に説明を目的として記載されたものであること理解すべきである。本開示の範囲は、これに限定されない。
【0124】
504で、予測属性値に基づいて変換を実行する。いくつかの実施形態では、変換は、現在のPCサンプルをビットストリームに符号化するステップを含み得る。代替的又は追加的に、変換は、ビットストリームから現在のPCサンプルを復号するステップを含み得る。
【0125】
上記を踏まえて、属性インター予測は、ジオメトリ情報が表れる座標系と異なる座標系に基づいて実行される。これらの2つの座標系が同じである変換方案に比べて、提案した方法は、属性インター予測の効率を有利に向上させることができるため、点群コーディングの効率を向上させることができる。
【0126】
いくつかの実施形態では、第1座標系又は第2座標系は、球面座標系、円筒座標系、カーテシアン座標系、ユークリッド座標系などであり得る。
【0127】
いくつかの実施形態では、現在のフレームのジオメトリ情報に含まれる座標は、第2座標系から第1座標系に変換され得る。追加的に又は選択的に、現在のフレームの少なくとも1つの参照フレームのジオメトリ情報に含まれる座標は、第2座標系から第1座標系に変換され得る。一例では、座標の変換は、ジオメトリコーディングの後に実行され得る。別の例では、座標の変換は、属性コーディングの前に実行され得る。いくつかの実施形態では、座標の変換は、エンコーダ及びデコーダで実行され得る。
【0128】
いくつかの実施形態では、現在のフレームのジオメトリ情報に含まれる座標は、座標の変換中にスケーリングされ得る。代替的又は追加的に、少なくとも1つの参照フレームのジオメトリ情報に含まれる座標は、座標の変換中にスケーリングされ得る。いくつかの代替実施形態では、現在のフレームのジオメトリ情報に含まれる座標は、座標の変換の後にスケーリングされ得る。代替的又は追加的に、少なくとも1つの参照フレームのジオメトリ情報に含まれる座標は、座標の変換の後にスケーリングされ得る。
【0129】
いくつかの実施形態では、現在のフレームのジオメトリ情報に含まれる座標は、座標の変換中に変換され得る。代替的又は追加的に、少なくとも1つの参照フレームのジオメトリ情報に含まれる座標は、座標の変換中に変換され得る。いくつかの代替実施形態では、現在のフレームのジオメトリ情報に含まれる座標は、座標の変換の後に変換され得る。代替的又は追加的に、少なくとも1つの参照フレームのジオメトリ情報に含まれる座標は、座標の変換の後に変換され得る。
【0130】
本発明の実施形態によれば、非一時的なコンピュータ可読記録媒体を提案する。点群シーケンスのビットストリームは、非一時的なコンピュータ可読記録媒体内に記憶される。ビットストリームは、点群処理装置によって実行される方法で生成されることができる。当該方法によれば、第1座標系に基づいて、現在の点に対して属性インター予測を実行することで、点群シーケンスの現在のフレーム内の現在の点の予測属性値を取得する。現在の点のジオメトリ情報は、第1座標系と異なる第2座標系内で表れる。さらに、ビットストリームは、予測属性値に基づいて生成される。
【0131】
本発明の実施形態によれば、点群シーケンスのビットストリームを記憶する方法を提案する。当該方法では、第1座標系に基づいて、現在の点に対して属性インター予測を実行することで、点群シーケンスの現在のフレーム内の現在の点の予測属性値を取得する。現在の点のジオメトリ情報は、第1座標系と異なる第2座標系内で表れる。さらに、ビットストリームは、予測属性値に基づいて生成され、ビットストリームは、非一時的なコンピュータ可読記録媒体内に記憶される。
【0132】
図6は、本開示のいくつかの実施形態による点群コーディング方法600の他のフローチャートを示す。
図6に示されるように、602で、点群シーケンスの現在のフレームと点群シーケンスの更なるフレームとの間のフレーム距離に基づいて、現在のフレームと点群シーケンスのビットストリームとの間の変換を実行する。いくつかの実施形態では、現在のフレームは、602での変換中にビットストリームに符号化され得る。追加的に又は選択的に、現在のフレームは、602での変換中にビットストリームから復号され得る。
【0133】
いくつかの実施形態では、フレーム距離は、タイムスタンプ順での現在のフレームと更なるフレームとの間の距離に比例する。限定ではなく例として、現在のフレームは、タイムスタンプ順に従って点群シーケンスにおけるM番目のフレームであり、更なるフレームは、タイムスタンプ順に従って点群シーケンスにおけるN番目のフレームであり得る。M及びNは、それぞれ非負の整数である。この場合、フレーム距離は、MとNとの差、(M-N、又は、N-Mなど)又はMとNとの差の絶対値(即ち、|M-N|)に比例する。いくつかの実施形態では、現在のフレームとそれ自体との間のフレーム距離は、所定の値である。例えば、所定の値は、0である。上記の例は、単に説明を目的として記載されたものであること理解すべきである。本開示の範囲は、これに限定されない。
【0134】
上記を踏まえて、フレーム距離は、変換中に利用される。このような機能を欠く変換方案と比べて、提案した方法は、点群コーディングの効率を有利に向上させることができる。
【0135】
いくつかの実施形態では、タイムスタンプ順は、点群シーケンスのフレームのレンダリング順であり得る。又は、タイムスタンプ順は、点群シーケンスのフレームの収集順であり得る。
【0136】
いくつかの実施形態では、更なるフレームは、現在のフレームの参照フレームであり得る。現在のフレームと参照フレームとの間のフレーム距離は、エンコーダ又はデコーダで決定され得る。追加的に又は選択的に、現在のフレームと参照フレームとの間のフレーム距離は、ビットストリーム内で示され得る。一例では、フレーム距離は、固定長コーディング、単項コーディング、切り捨て単項コーディングなどでコーディングされ得る。別の例では、フレーム距離は予測的にコーディングされ得る。
【0137】
いくつかの実施形態では、指示は、現在のフレームのビットストリーム内で示され得る。指示は、タイムスタンプ順での現在のフレームの位置を示す。
【0138】
いくつかの実施形態では、更なるフレームは、現在のフレームの少なくとも1つの参照フレームの1つであり得る。604で、現在のフレーム内の現在の点について、現在の点の少なくとも1つの近傍点は、現在のフレームと少なくとも1つの参照フレームとの間の少なくとも1つのフレーム距離に基づいて決定される。さらに、変換は、少なくとも1つの近傍点に基づいて実行される。限定ではなく例として、少なくとも1つの近傍点は、現在の点の少なくとも1つの最近傍点を含み得る。
【0139】
いくつかの実施形態では、少なくとも1つの参照フレームは、第1点を有する第1参照フレームを含み得る。現在の点と第1点との間の第1ジオメトリック距離は、現在のフレームと第1参照フレームとの間の第1フレーム距離に依存し得る。追加的に、少なくとも1つの参照フレームは、第2点を有する第2参照フレームをさらに含み得る。第1フレーム距離は、現在のフレームと第2参照フレームとの間の第2フレーム距離よりも小さく、第1ジオメトリック距離は、現在の点と第2点との間の第2ジオメトリック距離よりも小さい。一例では、第1ジオメトリック距離は、第1フレーム距離、及び現在の点と第1点との間の初期ジオメトリック距離に基づいて決定され得る。初期ジオメトリック距離は、現在の点と第1点とのジオメトリック位置の間のメトリックに基づいて決定され得る。メトリックは、ユークリッド距離、マンハッタン距離、チェビシェフ距離などであり得る。限定ではなく例として、第1ジオメトリック距離は、第1フレーム距離と初期ジオメトリック距離との和であり得る。
【0140】
いくつかの実施形態では、更なるフレームは、現在のフレームの少なくとも1つの参照フレームの1つである。604で、現在のフレーム内の現在の点の少なくとも1つの近傍点について、現在のフレームと少なくとも1つの参照フレームとの間の少なくとも1つのフレーム距離に基づいて少なくとも1つの重みを決定し得る。さらに、少なくとも1つの重みに基づいて変換を実行し得る。一例では、少なくとも1つの近傍点は、現在の点の少なくとも1つの最近傍点を含み得る。
【0141】
いくつかの実施形態では、少なくとも1つの近傍点は、少なくとも1つの参照フレームの第1参照フレーム内の第1近傍点を含み得る。第1近傍点の重みは、現在のフレームと第1参照フレームとの間の第1フレーム距離に依存し得る。追加的に、少なくとも1つの近傍点は、少なくとも1つの参照フレームの第2参照フレーム内の第2近傍点をさらに含み得る。第1フレーム距離は、現在のフレームと第2参照フレームとの間の第2フレーム距離よりも小さく、第1近傍点の重みは第2近傍点の重みよりも小さい。例えば、第1近傍点の重みは、第1フレーム距離及び第1近傍点に対して生成された元の重みに基づいて決定され得る。限定ではなく例として、第1近傍点の重みは、第1フレーム距離と生成された元の重みとの和であり得る。
【0142】
本発明の実施形態によれば、非一時的なコンピュータ可読記録媒体を提案する。点群シーケンスのビットストリームは、非一時的なコンピュータ可読記録媒体内に記憶される。ビットストリームは、点群処理装置によって実行される方法で生成されることができる。当該方法によれば、点群シーケンスの現在のフレームとビットストリームとの変換は、現在のフレームと点群シーケンスの更なるフレームとの間のフレーム距離に基づいて実行される。フレーム距離は、タイムスタンプ順での現在のフレームと更なるフレームとの間の距離に比例する。
【0143】
本発明の実施形態によれば、点群シーケンスのビットストリームを記憶する方法を提案する。当該方法では、点群シーケンスの現在のフレームとビットストリームとの変換は、現在のフレームと点群シーケンスの更なるフレームとの間のフレーム距離に基づいて実行される。フレーム距離は、タイムスタンプ順での現在のフレームと更なるフレームとの間の距離に比例する。さらに、ビットストリームは、非一時的なコンピュータ可読記録媒体内に記憶される。
【0144】
本開示の実施形態は、以下の条項を考慮して説明することができ、その特徴は任意の合理的な態様で組み合わせることができる。
条項1.点群コーディング方法であって、点群シーケンスの現在の点群(PC)サンプルと前記点群シーケンスのビットストリームとの間の変換中、前記現在のPCサンプル内の現在の点について、複数の探索範囲に基づいて、前記現在のPCサンプルの参照PCサンプルのセット内の少なくとも1つの近傍点を決定するステップと、前記少なくとも1つの近傍点に基づいて、前記変換を実行するステップと、を含み、前記参照PCサンプルのセットは、第1参照PCサンプルと、前記第1参照PCサンプルと異なる第2参照PCサンプルとを含み、前記複数の探索範囲は、前記第1参照PCサンプルに対する第1探索範囲と、前記第1探索範囲と異なる、前記第2参照PCサンプルに対する第2探索範囲とを含む、方法。
【0145】
条項2.前記複数の探索範囲のうちの、前記現在のPCサンプルの属性イントラ予測に対する探索範囲は、複数の探索範囲のうちの、前記現在のPCサンプルの属性インター予測に対する探索範囲と異なる、条項1に記載の方法。
【0146】
条項3.前記複数の探索範囲のうちの、前記現在のPCサンプルの属性イントラ予測に対する探索範囲は、前記複数の探索範囲のうちの、前記現在のPCサンプルの属性インター予測に対する探索範囲と同じである、条項1に記載の方法。
【0147】
条項4.属性イントラ予測及び属性インター予測は、前記現在のPCサンプルに対して実行され、前記属性イントラ予測は、前記点群シーケンスの更なるPCサンプルに対して実行され、前記属性インター予測は、前記更なるPCサンプルに対して実行されず、前記現在のPCサンプルの前記属性イントラ予測に対する探索範囲は、前記更なるPCサンプルの前記属性イントラ予測に対する探索範囲と異なる、条項1に記載の方法。
【0148】
条項5.前記複数の探索範囲は、エンコーダ又はデコーダで決定される、条項1~4のいずれか1項に記載の方法。
【0149】
条項6.前記現在のPCサンプルは、前記現在の点と異なる更なる点を含み、前記現在の点に対する前記現在のPCサンプル内の探索範囲は、前記更なる点に対する前記現在のPCサンプル内の探索範囲と異なる、条項1~5のいずれか1項に記載の方法。
【0150】
条項7.前記現在のPCサンプルは、前記現在の点と異なる更なる点を含み、前記参照PCサンプルのセットは、第1参照PCサンプルを含み、前記現在の点に対する前記第1参照PCサンプル内の探索範囲は、前記更なる点に対する前記第1参照PCサンプル内の探索範囲と異なる、条項1~6のいずれか1項に記載の方法。
【0151】
条項8.前記現在のPCサンプルは、前記現在の点と異なる更なる点を含み、前記現在の点に対する前記現在のPCサンプル内の探索範囲は、前記更なる点に対する前記現在のPCサンプル内の探索範囲と同じである、条項1~5のいずれか1項に記載の方法。
【0152】
条項9.前記現在のPCサンプルは、前記現在の点と異なる更なる点を含み、前記参照PCサンプルのセットは、第1参照PCサンプルを含み、前記現在の点に対する前記第1参照PCサンプル内の探索範囲は、前記更なる点に対する前記第1参照PCサンプル内の探索範囲と同じである、条項1~5、8のいずれか1項に記載の方法。
【0153】
条項10.前記現在の点は、前記現在のPCサンプルの第1詳細レベル(LOD)内にあり、前記現在のPCサンプルは、前記第1LODと異なる第2LOD内の更なる点を含み、前記現在の点に対する前記現在のPCサンプル内の探索範囲は、前記更なる点に対する前記現在のPCサンプル内の探索範囲と異なる、条項1~9のいずれか1項に記載の方法。
【0154】
条項11.前記現在の点は、前記現在のPCサンプルの第1LOD内にあり、前記現在のPCサンプルは、前記第1LODと異なる第2LOD内の更なる点を含み、前記参照PCサンプルのセットは、第1参照PCサンプルを含み、前記現在の点に対する前記第1参照PCサンプル内の探索範囲は、前記更なる点に対する前記第1参照PCサンプル内の探索範囲と異なる、条項1~10のいずれか1項に記載の方法。
【0155】
条項12.前記現在の点は、前記現在のPCサンプルの第1LOD内にあり、前記現在のPCサンプルは、前記第1LODと異なる第2LOD内の更なる点を含み、前記現在の点に対する前記現在のPCサンプル内の探索範囲は、前記更なる点に対する前記現在のPCサンプル内の探索範囲と同じである、条項1~9のいずれか1項に記載の方法。
【0156】
条項13.前記現在の点は、前記現在のPCサンプルの第1LOD内にあり、前記現在のPCサンプルは、前記第1LODと異なる第2LOD内の更なる点を含み、前記参照PCサンプルのセットは、第1参照PCサンプルを含み、前記現在の点に対する前記第1参照PCサンプル内の探索範囲は、前記更なる点に対する前記第1参照PCサンプル内の探索範囲と同じである、条項1~9、12のいずれか1項に記載の方法。
【0157】
条項14.前記現在の点は、前記現在のPCサンプルの第1リファインレベル内にあり、前記現在のPCサンプルは、前記第1リファインレベルよりも低いリファインレベル内の第1点、及び前記第1リファインレベルよりも高いリファインレベル内の第2点を含み、前記現在の点に対する前記現在のPCサンプル内の探索範囲、前記第1点に対する前記現在のPCサンプル内の探索範囲、又は、前記第2点に対する前記現在のPCサンプル内の探索範囲のうち、少なくとも2つは、互いに異なる、条項1~9のいずれか1項に記載の方法。
【0158】
条項15.前記現在の点は、前記現在のPCサンプルの第1リファインレベル内にあり、前記現在のPCサンプルは、前記第1リファインレベルよりも低いリファインレベル内の第1点、及び前記第1リファインレベルよりも高いリファインレベル内の第2点を含み、前記参照PCサンプルのセットは、第1参照PCサンプルを含み、前記現在の点に対する前記第1参照PCサンプル内の探索範囲、前記第1点に対する前記第1参照PCサンプル内の探索範囲、又は、前記第2点に対する前記第1参照PCサンプル内の探索範囲のうち、少なくとも2つは、互いに異なる、条項1~9、14のいずれか1項に記載の方法。
【0159】
条項16.前記現在の点は、前記現在のPCサンプルの第1リファインレベル内にあり、前記現在のPCサンプルは、前記第1リファインレベルよりも低いリファインレベル内の第1点、及び前記第1リファインレベルよりも高いリファインレベル内の第2点を含み、前記現在の点に対する前記現在のPCサンプル内の探索範囲、前記第1点に対する前記現在のPCサンプル内の探索範囲、又は、前記第2点に対する前記現在のPCサンプル内の探索範囲のうち、少なくとも2つは、同じである、条項1~9のいずれか1項に記載の方法。
【0160】
条項17.前記現在の点は、前記現在のPCサンプルの第1リファインレベル内にあり、前記現在のPCサンプルは、前記第1リファインレベルよりも低いリファインレベル内の第1点、及び前記第1リファインレベルよりも高いリファインレベル内の第2点を含み、前記参照PCサンプルのセットは、第1参照PCサンプルを含み、前記現在の点に対する前記第1参照PCサンプル内の探索範囲、前記第1点に対する前記第1参照PCサンプル内の探索範囲、又は、前記第2点に対する前記第1参照PCサンプル内の探索範囲のうち、少なくとも2つは、同じである、条項1~9、16のいずれか1項に記載の方法。
【0161】
条項18.前記現在の点は、前記現在のPCサンプルの第1スライス内にあり、前記現在のPCサンプルは、前記第1スライスと異なる第2スライス内の更なる点を含み、前記現在の点に対する前記現在のPCサンプル内の探索範囲は、前記更なる点に対する前記現在のPCサンプル内の探索範囲と異なる、条項1~17のいずれか1項に記載の方法。
【0162】
条項19.前記現在の点は、前記現在のPCサンプルの第1スライス内にあり、前記現在のPCサンプルは、前記第1スライスと異なる第2スライス内の更なる点を含み、前記参照PCサンプルのセットは、第1参照PCサンプルを含み、前記現在の点に対する前記第1参照PCサンプル内の探索範囲は、前記更なる点に対する前記第1参照PCサンプル内の探索範囲と異なる、条項1~18のいずれか1項に記載の方法。
【0163】
条項20.前記現在の点は、前記現在のPCサンプルの第1スライス内にあり、前記現在のPCサンプルは、前記第1スライスと異なる第2スライス内の更なる点を含み、前記現在の点に対する前記現在のPCサンプル内の探索範囲は、前記更なる点に対する前記現在のPCサンプル内の探索範囲と同じである、条項1~17のいずれか1項に記載の方法。
【0164】
条項21.前記現在の点は、前記現在のPCサンプルの第1スライス内にあり、前記現在のPCサンプルは、前記第1スライスと異なる第2スライス内の更なる点を含み、前記参照PCサンプルのセットは、第1参照PCサンプルを含み、前記現在の点に対する前記第1参照PCサンプル内の探索範囲は、前記更なる点に対する前記第1参照PCサンプル内の探索範囲と同じである、条項1~17、20のいずれか1項に記載の方法。
【0165】
条項22.前記現在の点は、前記現在のPCサンプルの第1タイル内にあり、前記現在のPCサンプルは、前記第1タイルと異なる第2タイル内の更なる点を含み、前記現在の点に対する前記現在のPCサンプル内の探索範囲は、前記更なる点に対する前記現在のPCサンプル内の探索範囲と異なる、条項1~17のいずれか1項に記載の方法。
【0166】
条項23.前記現在の点は、前記現在のPCサンプルの第1タイル内にあり、前記現在のPCサンプルは、前記第1タイルと異なる第2タイル内の更なる点を含み、前記参照PCサンプルのセットは、第1参照PCサンプルを含み、前記現在の点に対する前記第1参照PCサンプル内の探索範囲は、前記更なる点に対する前記第1参照PCサンプル内の探索範囲と異なる、条項1~17、22のいずれか1項に記載の方法。
【0167】
条項24.前記現在の点は、前記現在のPCサンプルの第1タイル内にあり、前記現在のPCサンプルは、前記第1タイルと異なる第2タイル内の更なる点を含み、前記現在の点に対する前記現在のPCサンプル内の探索範囲は、前記更なる点に対する前記現在のPCサンプル内の探索範囲と同じである、条項1~17のいずれか1項に記載の方法。
【0168】
条項25.前記現在の点は、前記現在のPCサンプルの第1タイル内にあり、前記現在のPCサンプルは、前記第1タイルと異なる第2タイル内の更なる点を含み、前記参照PCサンプルのセットは、第1参照PCサンプルを含み、前記現在の点に対する前記第1参照PCサンプル内の探索範囲は、前記更なる点に対する前記第1参照PCサンプル内の探索範囲と同じである、条項1~17、24のいずれか1項に記載の方法。
【0169】
条項26.PCサンプルは、点群フレーム又は点群フレーム内のサブ領域である、条項1~25のいずれか1項に記載の方法。
【0170】
条項27.前記少なくとも1つの近傍点は、前記現在の点の少なくとも1つの最近傍点を含む、条項1~26のいずれか1項に記載の方法。
【0171】
条項28.前記変換は、前記現在のPCサンプルを前記ビットストリームに符号化することを含む、条項1~27のいずれか1項に記載の方法。
【0172】
条項29.前記変換は、前記ビットストリームから前記現在のPCサンプルを復号することを含む、条項1~27のいずれか1項に記載の方法。
【0173】
条項30.点群シーケンスの現在のフレームと前記点群シーケンスのビットストリームとの間の変換中、第1座標系に基づいて前記現在のフレーム内の現在の点に対して属性インター予測を実行することで、前記現在の点の予測属性値を取得するステップと、前記予測属性値に基づいて、前記変換を実行するステップと、を含み、前記現在の点のジオメトリ情報は、前記第1座標系と異なる第2座標系で表れる、点群コーディング方法。
【0174】
条項31.前記第1座標系又は前記第2座標系は、球面座標系、円筒座標系、カーテシアン座標系、又は、ユークリッド座標系、のいずれかである、条項30に記載の方法。
【0175】
条項32.前記現在のフレームのジオメトリ情報に含まれる座標を、前記第2座標系から前記第1座標系に変換するステップ、又は、前記現在のフレームの少なくとも1つの参照フレームのジオメトリ情報に含まれる座標を、前記第2座標系から前記第1座標系に変換するステップ、をさらに含む、条項30又は31に記載の方法。
【0176】
条項33.前記座標の前記変換は、ジオメトリコーディングの後に実行される、条項32に記載の方法。
【0177】
条項34.前記座標の前記変換は、属性コーディングの前に実行される、条項32又は33に記載の方法。
【0178】
条項35.前記座標の前記変換は、エンコーダ及びデコーダで実行される、条項32~34のいずれか1項に記載の方法。
【0179】
条項36.前記現在のフレームの前記ジオメトリ情報に含まれる前記座標は、前記座標の前記変換中にスケーリングされる、条項32~35のいずれか1項に記載の方法。
【0180】
条項37.前記少なくとも1つの参照フレームの前記ジオメトリ情報に含まれる前記座標は、前記座標の前記変換中にスケーリングされる、条項32~36のいずれか1項に記載の方法。
【0181】
条項38.前記現在のフレームの前記ジオメトリ情報に含まれる前記座標は、前記座標の前記変換の後にスケーリングされる、条項32~35のいずれか1項に記載の方法。
【0182】
条項39.前記少なくとも1つの参照フレームの前記ジオメトリ情報に含まれる前記座標は、前記座標の前記変換の後にスケーリングされる、条項32~35、38のいずれか1項に記載の方法。
【0183】
条項40.前記現在のフレームの前記ジオメトリ情報に含まれる前記座標は、前記座標の前記変換中に変換される、条項32~35のいずれか1項に記載の方法。
【0184】
条項41.前記少なくとも1つの参照フレームの前記ジオメトリ情報に含まれる前記座標は、前記座標の前記変換中に変換される、条項32~35、40のいずれか1項に記載の方法。
【0185】
条項42.前記現在のフレームの前記ジオメトリ情報に含まれる前記座標は、前記座標の前記変換の後に変換される、条項32~35のいずれか1項に記載の方法。
【0186】
条項43.前記少なくとも1つの参照フレームの前記ジオメトリ情報に含まれる前記座標は、前記座標の前記変換の後に変換される、条項32~35、40のいずれか1項に記載の方法。
【0187】
条項44.点群シーケンスの現在のフレームと前記点群シーケンスの更なるフレームとの間のフレーム距離に基づいて、前記点群シーケンスの前記現在のフレームと前記点群シーケンスのビットストリームとの間の変換を実行するステップを含み、前記フレーム距離は、タイムスタンプ順での前記現在のフレームと前記更なるフレームとの間の距離に比例する、点群コーディング方法。
【0188】
条項45.前記タイムスタンプ順は、前記点群シーケンスのフレームのレンダリング順である、条項44に記載の方法。
【0189】
条項46.前記タイムスタンプ順は、前記点群シーケンスのフレームの収集順である.条項44に記載の方法。
【0190】
条項47.前記現在のフレームは、前記タイムスタンプ順に従って前記点群シーケンスにおけるM番目のフレームであり、前記更なるフレームは、前記タイムスタンプ順に従って前記点群シーケンスにおけるN番目のフレームであり、M及びNは、それぞれ非負の整数であり、前記フレーム距離は、MとNとの差、又はMとNとの差の絶対値に比例する、条項44~46のいずれか1項に記載の方法。
【0191】
条項48.前記現在のフレームとそれ自体との間のフレーム距離は、所定の値である、条項44~47のいずれか1項に記載の方法。
【0192】
条項49.前記所定の値は、0である、条項48に記載の方法。
【0193】
条項50.前記更なるフレームは、前記現在のフレームの参照フレームであり、前記現在のフレームと前記参照フレームとの間の前記フレーム距離は、エンコーダ又はデコーダで決定される、条項44~49のいずれか1項に記載の方法。
【0194】
条項51.前記更なるフレームは、前記現在のフレームの参照フレームであり、前記現在のフレームと前記参照フレームとの間の前記フレーム距離は、前記ビットストリーム内で示される、条項44~49のいずれか1項に記載の方法。
【0195】
条項52.前記フレーム距離は、固定長コーディング、単項コーディング、又は、切り捨て単項コーディングのうちの1つでコーディングされる、条項51に記載の方法。
【0196】
条項53.前記フレーム距離は、予測的にコーディングされる、条項51に記載の方法。
【0197】
条項54.指示は、前記現在のフレームの前記ビットストリーム内で示され、前記指示は、前記タイムスタンプ順での現在のフレームの位置を示す、条項44~53のいずれか1項に記載の方法。
【0198】
条項55.前記更なるフレームは、前記現在のフレームの少なくとも1つの参照フレームの1つであり、前記変換を実行するステップは、前記現在のフレーム内の現在の点について、前記現在のフレームと前記少なくとも1つの参照フレームとの間の少なくとも1つのフレーム距離に基づいて、前記現在の点の少なくとも1つの近傍点を決定するステップと、前記少なくとも1つの近傍点に基づいて、前記変換を実行するステップと、を含む、条項44~54のいずれか1項に記載の方法。
【0199】
条項56.前記少なくとも1つの近傍点は、前記現在の点の少なくとも1つの最近傍点を含む、条項55に記載の方法。
【0200】
条項57.前記少なくとも1つの参照フレームは、第1点を有する第1参照フレームを含み、前記現在の点と前記第1点との間の第1ジオメトリック距離は、前記現在のフレームと前記第1参照フレームとの間の第1フレーム距離に依存する、条項55又は56に記載の方法。
【0201】
条項58.前記少なくとも1つの参照フレームは、第2点を有する第2参照フレームをさらに含み前記第1フレーム距離は、前記現在のフレームと前記第2参照フレームとの間の第2フレーム距離よりも小さく、前記第1ジオメトリック距離は、前記現在の点と前記第2点との間の第2ジオメトリック距離よりも小さい、条項57に記載の方法。
【0202】
条項59.前記第1ジオメトリック距離は、前記第1フレーム距離及び前記現在の点と前記第1点との間の初期ジオメトリック距離に基づいて決定され、前記初期ジオメトリック距離は、前記現在の点と前記第1点とのジオメトリック位置の間のメトリックに基づいて決定される、条項57又は58に記載の方法。
【0203】
条項60.前記第1ジオメトリック距離は、前記第1フレーム距離と前記初期ジオメトリック距離との和である、条項59に記載の方法。
【0204】
条項61.前記メトリックは、ユークリッド距離,マンハッタン距離、又は、チェビシェフ距離のうちの1つである、条項59又は60に記載の方法。
【0205】
条項62.前記更なるフレームは、前記現在のフレームの少なくとも1つの参照フレームの1つであり、前記変換を実行するステップは、前記現在のフレームと前記少なくとも1つの参照フレームとの間の少なくとも1つのフレーム距離に基づいて、前記現在のフレーム内の現在の点の少なくとも1つの近傍点の少なくとも1つの重みを決定するステップと、前記少なくとも1つの重みに基づいて、前記変換を実行するステップと、を含む、条項44~54のいずれか1項に記載の方法。
【0206】
条項63.前記少なくとも1つの近傍点は、前記現在の点の少なくとも1つの最近傍点を含む、条項62に記載の方法。
【0207】
条項64.前記少なくとも1つの近傍点は、前記少なくとも1つの参照フレームの第1参照フレーム内の第1近傍点を含み、前記第1近傍点の重みは、前記現在のフレームと前記第1参照フレームとの間の 第1フレーム距離に依存する、条項62又は63に記載の方法。
【0208】
条項65.前記少なくとも1つの近傍点は、前記少なくとも1つの参照フレームの第2参照フレーム内の第2近傍点をさらに含み、前記第1フレーム距離は、前記現在のフレームと前記第2参照フレームとの間の第2フレーム距離よりも小さく、前記第1近傍点の前記重みは、前記第2近傍点の重みよりも小さい、条項64に記載の方法。
【0209】
条項66.前記第1近傍点の前記重みは、前記第1フレーム距離及び前記第1近傍点に対して生成された元の重みに基づいて決定される、条項64又は65に記載の方法。
【0210】
条項67.前記第1近傍点の前記重みは、前記第1フレーム距離と前記生成された元の重みとの和である、条項66に記載の方法。
【0211】
条項68.前記変換は、前記現在のフレームを前記ビットストリームに符号化することを含む、条項30~67のいずれか1項に記載の方法。
【0212】
条項69.前記変換は、前記ビットストリームから前記現在のフレームを復号することを含む、条項30~67のいずれか1項に記載の方法。
【0213】
条項70.プロセッサと命令を備える非一時的なメモリとを含む、点群データを処理する装置であって、前記命令は、前記プロセッサによって実行されると、前記プロセッサに条項1-69のいずれか1項に記載の方法を実行させる、装置。
【0214】
条項71.プロセッサに条項1-69のいずれか1項に記載の方法を実行させる命令を記憶する、非一時的なコンピュータ可読記憶媒体。
【0215】
条項72.点群処理装置によって実行される方法で生成される、点群シーケンスのビットストリームを記憶する非一時的なコンピュータ可読記録媒体であって、前記方法は、前記点群シーケンスの現在の点群(PC)サンプル内の現在の点について、複数の探索範囲に基づいて、前記現在のPCサンプルの参照PCサンプルのセット内の少なくとも1つの近傍点を決定するステップと、前記少なくとも1つの近傍点に基づいて前記ビットストリームを生成するステップと、を含み、前記参照PCサンプルのセットは、第1参照PCサンプルと、前記第1参照PCサンプルと異なる第2参照PCサンプルとを含み、前記複数の探索範囲は、前記第1参照PCサンプルに対する第1探索範囲と、前記第1探索範囲と異なる、前記第2参照PCサンプルに対する第2探索範囲とを含む、非一時的なコンピュータ可読記録媒体。
【0216】
条項73.点群シーケンスのビットストリームを記憶する方法であって、前記点群シーケンスの現在の点群(PC)サンプル内の現在の点について、複数の探索範囲に基づいて、前記現在のPCサンプルの参照PCサンプルのセット内の少なくとも1つの近傍点を決定するステップと、前記少なくとも1つの近傍点に基づいて前記ビットストリームを生成するステップと、前記ビットストリームを非一時的なコンピュータ可読記録媒体内に記憶するステップと、を含み、前記参照PCサンプルのセットは、第1参照PCサンプルと、前記第1参照PCサンプルと異なる第2参照PCサンプルとを含み、前記複数の探索範囲は、前記第1参照PCサンプルに対する第1探索範囲と、前記第1探索範囲と異なる、前記第2参照PCサンプルに対する第2探索範囲とを含む、方法。
【0217】
条項74.点群処理装置によって実行される方法で生成される、点群シーケンスのビットストリームを記憶する非一時的なコンピュータ可読記録媒体であって、前記方法は、第1座標系に基づいて、前記群シーケンスの現在のフレーム内の現在の点に対して属性インター予測を実行することで、前記現在の点の予測属性値を取得するステップと、前記予測属性値に基づいて前記ビットストリームを生成するステップと、を含み、前記現在の点のジオメトリ情報は、前記第1座標系と異なる第2座標系で表れる、非一時的なコンピュータ可読記録媒体。
【0218】
条項75.点群シーケンスのビットストリームを記憶する方法であって、第1座標系に基づいて、前記群シーケンスの現在のフレーム内の現在の点に対して属性インター予測を実行することで、前記現在の点の予測属性値を取得するステップと、前記予測属性値に基づいて前記ビットストリームを生成するステップと、 前記ビットストリームを非一時的なコンピュータ可読記録媒体内に記憶するステップと、を含み、前記現在の点のジオメトリ情報は、前記第1座標系と異なる第2座標系で表れる、方法。
【0219】
条項76.点群処理装置によって実行される方法で生成される、点群シーケンスのビットストリームを記憶する非一時的なコンピュータ可読記録媒体であって、前記方法は、点群シーケンスの現在のフレームと前記点群シーケンスの更なるフレームとの間のフレーム距離に基づいて、前記点群シーケンスの前記現在のフレームと前記ビットストリームとの間の変換を実行するステップと、を含み、前記フレーム距離は、タイムスタンプ順での前記現在のフレームと前記更なるフレームとの間の距離に比例する、非一時的なコンピュータ可読記録媒体。
【0220】
条項77.点群シーケンスのビットストリームを記憶する方法であって、点群シーケンスの現在のフレームと前記点群シーケンスの更なるフレームとの間のフレーム距離に基づいて、前記点群シーケンスの前記現在のフレームと前記ビットストリームとの間の変換を実行するステップと、前記ビットストリームを非一時的なコンピュータ可読記録媒体内に記憶するステップと、を含み、前記フレーム距離は、タイムスタンプ順での前記現在のフレームと前記更なるフレームとの間の距離に比例する、方法。
【0221】
例示的なデバイス
図7は、本開示の様々な実施形態を実施できるコンピューティングデバイス700のブロック図を示す。コンピューティングデバイス700は、ソースデバイス110(或いは、GPCCエンコーダ116又は200)又は宛先デバイス120(或いは、GPCCデコーダ126又は300)として実施されるか、又は、それに含まれ得る。
【0222】
図7に示されるコンピューティングデバイス700は、単に説明を目的としたものであり、本開示の実施形態の機能及び範囲をいかなる態様でも制限することを示唆するものではないことが理解されるだろう。
【0223】
図7に示すように、コンピューティングデバイス700は、汎用コンピューティングデバイス700を含む。コンピューティングデバイス700は、少なくとも1つ又は複数のプロセッサ又は処理ユニット710と、メモリ720と、記憶ユニット730と、1つ又は複数の通信ユニット740と、1つ又は複数の入力デバイス750と、1つ又は複数の出力デバイス760と、を含み得る。
【0224】
いくつかの実施形態では、コンピューティングデバイス700は、コンピューティング能力を有する任意のユーザ端末又はサーバ端末として実施され得る。サーバ端末は、サービスプロバイダが提供するサーバや大規模コンピューティングデバイスなどであり得る。ユーザ端末は、例えば、携帯電話、ステーション、ユニット、デバイス、マルチメディアコンピュータ、マルチメディアタブレット、インターネットノード、コミュニケータ、デスクトップコンピュータ、ラップトップコンピュータ、ノートブックコンピュータ、ネットブックコンピュータ、タブレットコンピュータ、パーソナルコミュニケーションシステム(PCS)デバイス、パーソナルナビゲーションデバイス、携帯情報端末(PDA)、オーディオ/GPCCプレーヤー、デジタルカメラ/GPCCカメラ、測位デバイス、テレビ受信機、ラジオ放送受信機、電子ブックデバイス、ゲームデバイス、又は、それらの任意の組み合わせ(これらのデバイスのアクセサリ及び周辺機器、又は、それらの任意の組み合わせを含む)を含む、任意のタイプの移動端末、固定端末、又は、携帯端末であり得る。コンピューティングデバイス700は、ユーザに対する任意のタイプのインターフェース(「ウェアラブル」回路など)をサポートできることが考えられる。
【0225】
処理ユニット710は、物理又は仮想プロセッサであり、メモリ720に格納されたプログラムに基づいて様々なプロセスを実施し得る。マルチプロセッサシステムでは、コンピューティングデバイス700の並列処理能力を向上させるために、複数の処理ユニットが、コンピュータ実行可能命令を並列に実行する。処理ユニット710は、中央処理ユニット(CPU)、マイクロプロセッサ、コントローラ、又はマイクロコントローラと呼ばれ得る。
【0226】
コンピューティングデバイス700は、通常、様々なコンピュータ記憶媒体を含む。このような媒体は、揮発性及び不揮発性媒体、又は、取り外し可能及び取り外し不可能な媒体を含むが、これらに限定されない、コンピューティングデバイス700によってアクセス可能な任意の媒体であり得る。メモリ720は、揮発性メモリ(例えば、レジスタ、キャッシュ、ランダムアクセスメモリ(RAM))、不揮発性メモリ(例えば、読み取り専用メモリ(ROM)、電気的に消去可能なプログラム可能な読み取り専用メモリ(EEPROM)、フラッシュ メモリ)、又は、それらの任意の組み合わせであり得る。記憶ユニット730は、任意の取り外し可能又は取り外し不可能な媒体であり、情報及び/又はデータを記憶するために使用でき、コンピューティングデバイス700でアクセスできる、メモリ、フラッシュメモリドライブ、磁気ディスク、又は別の他の媒体などの機械可読媒体を含み得る。
【0227】
コンピューティングデバイス700は、追加の取り外し可能/取り外し不可能、揮発性/不揮発性メモリ媒体をさらに含み得る。なお、
図7には示していないが、着脱可能な不揮発性磁気ディスクの読み書きを行う磁気ディスクドライブや、着脱可能な不揮発性光ディスクの読み書きを行う光ディスクドライブを提供することが可能である。このような場合、各ドライブは、1つ又は複数のデータ媒体インターフェースを介して、バス(図示せず)に接続され得る。
【0228】
通信ユニット740は、通信媒体を介して、更なるコンピューティングデバイスと通信する。さらに、コンピューティングデバイス700内のコンポーネントの機能は、通信接続を介して通信できる単一のコンピューティングクラスタ又は複数のコンピューティングマシンによって実施することができる。したがって、コンピューティングデバイス700は、1つ又は複数の他のサーバ、ネットワーク化されたパーソナルコンピュータ(PC)、又は、更なる一般的なネットワークノードとの論理接続を使用して、ネットワーク化された環境で動作することができる。
【0229】
入力デバイス750は、マウス、キーボード、トラッキングボール、音声入力デバイスなどの様々な入力デバイスのうちの1つ又は複数であり得る。出力デバイス760は、ディスプレイ、スピーカ、プリンタなどの様々な出力デバイスのうちの1つ又は複数であり得る。通信ユニット740によって、コンピューティングデバイス700は、記憶デバイス及び表示デバイスなどの1つ又は複数の外部デバイス(図示せず)とさらに通信することができ、1つ又は複数のデバイスにより、ユーザがコンピューティングデバイス700と対話可能にするか、又は、必要に応じて、任意のデバイス(ネットワークカード、モデムなど)により、コンピューティングデバイス700が1つ又は複数の他のコンピューティングデバイスと通信可能にする。このような通信は、入出力(I/O)インターフェース(図示せず)を介して、実行できる。
【0230】
いくつかの実施形態では、単一のデバイスに統合される代わりに、コンピューティングデバイス700のいくつかの又はすべてのコンポーネントが、クラウドコンピューティングアーキテクチャに配置され得る。クラウドコンピューティングアーキテクチャでは、コンポーネントは遠隔的に提供され、連携して本開示で説明される機能を実施し得る。いくつかの実施形態では、クラウドコンピューティングは、コンピューティング、ソフトウェア、データアクセス及びストレージサービスを提供し、これらのサービスを提供するシステム又はハードウェアの物理的な位置又は構成をエンドユーザが認識する必要はない。様々な実施形態において、クラウドコンピューティングは、適切なプロトコルを使用して、広域ネットワーク(インターネットなど)を介して、サービスを提供する。例えば、クラウドコンピューティングプロバイダーは、Webブラウザ又はその他のコンピューティングコンポーネントを通じてアクセスできる、広域ネットワーク経由でアプリケーションを提供する。クラウドコンピューティングアーキテクチャのソフトウェア又はコンポーネント及び対応するデータは、遠隔地にあるサーバに保存され得る。クラウドコンピューティング環境におけるコンピューティングリソースは、リモートデータセンターの場所に併合又は分散され得る。クラウドコンピューティングインフラストラクチャは、ユーザにとって単一のアクセスポイントとして動作するが、共有データセンターを通じて、サービスを提供し得る。したがって、クラウドコンピューティングアーキテクチャを使用して、本明細書で説明されるコンポーネント及び機能を、遠隔地にあるサービスプロバイダから提供し得る。代替形態として、それらは、従来のサーバから提供されるか、又は、クライアントデバイスに直接又はその他の方法でインストールされ得る。
【0231】
コンピューティングデバイス700は、本開示の実施形態において、点群符号化/復号を実施するために使用され得る。メモリ720は、1つ又は複数のプログラム命令を有する1つ又は複数の点群コーディングモジュール725を含み得る。これらのモジュールは、本明細書で説明される様々な実施形態の機能を実行するように、処理ユニット710によって、アクセス可能かつ実行可能である。
【0232】
点群符号化を実行する例示的な実施形態では、入力デバイス750は、符号化される点群データを、入力770として受信し得る。点群データは、例えば、点群コーディングモジュール725によって処理されて、符号化されたビットストリームを生成し得る。符号化されたビットストリームは、出力デバイス760を介して、出力780として提供され得る。
【0233】
点群復号を実行する例示的な実施形態では、入力デバイス750は、符号化されたビットストリームを、入力770として受信し得る。符号化されたビットストリームは、例えば、点群コーディングモジュール725によって処理されて、復号された点群データを生成し得る。復号されたGPCCデータは、出力デバイス760を介して、出力780として提供され得る。
【0234】
本開示は、その好ましい実施形態を参照して、特に、図示及び説明されたが、添付の特許請求の範囲によって定義される本出願の精神及び範囲から逸脱することなく、形態及び詳細における様々な変更を行うことができることが当業者には理解されるであろう。このような変形は、本出願の範囲に含まれるものとする。したがって、本出願の実施形態に関する前述の説明は、限定することを意図したものではない。
【手続補正書】
【提出日】2024-09-10
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
点群シーケンスの現在のフレームと前記点群シーケンスのビットストリームとの間の変換中、第1座標系に基づいて前記現在のフレーム内の現在の点に対して属性インター予測を実行することで、前記現在の点の予測属性値を取得するステップと、
前記予測属性値に基づいて、前記変換を実行するステップと、を含み、
ジオメトリコーディング用の前記現在の点のジオメトリ情報は、前記第1座標系と異なる第2座標系で表れる、
点群コーディング方法。
【請求項2】
前記第1座標系又は前記第2座標系は、
球面座標系、
円筒座標系、
カーテシアン座標系、又は、
ユークリッド座標系、のいずれかである、
請求項
1に記載の方法。
【請求項3】
ジオメトリコーディング用の前記現在のフレームのジオメトリ情報に含まれる座標を、前記第2座標系から前記第1座標系に変換するステップ、又は、
ジオメトリコーディング用の前記現在のフレームの少なくとも1つの参照フレームのジオメトリ情報に含まれる座標を、前記第2座標系から前記第1座標系に変換するステップ、をさらに含む、
請求項
1に記載の方法。
【請求項4】
前記座標の前記変換は、ジオメトリコーディングの後に実行され、
及び/又は
前記座標の前記変換は、属性コーディングの前に実行される、
請求項
3に記載の方法。
【請求項5】
前記座標の前記変換は、エンコーダ及びデコーダで実行される、
請求項
3に記載の方法。
【請求項6】
前記現在のフレームの前記ジオメトリ情報に含まれる前記座標は、前記座標の前記変換中にスケーリングされ、
及び/又は
前記少なくとも1つの参照フレームの前記ジオメトリ情報に含まれる前記座標は、前記座標の前記変換中にスケーリングされる、
請求項
3に記載の方法。
【請求項7】
前記現在のフレームは現在のポイントを含み、当該方法は、
前記現在のフレームと前記
現在のフレームの少なくとも1つの参照フレームとの間の少なくとも1つのフレーム距離に基づいて、前記
現在の点の少なくとも1つの近傍点
に対する少なくとも1つの重みを決定するステップ
、を含む、
請求項
1に記載の方法。
【請求項8】
前記少なくとも1つの近傍点は、前記現在の点の少なくとも1つの最近傍点を含む、
請求項
7に記載の方法。
【請求項9】
前記少なくとも1つの近傍点は、前記少なくとも1つの参照フレームのうちの第1参照フレーム内の第1近傍点を含み、前記第1近傍点の重みは、前記現在のフレームと前記第1参照フレームとの間の第1フレーム距離に依存する、
請求項
7に記載の方法。
【請求項10】
前記少なくとも1つの近傍点は、前記少なくとも1つの参照フレームのうちの第2参照フレーム内の第2近傍点をさらに含み、前記第1フレーム距離は、前記現在のフレームと前記第2参照フレームとの間の第2フレーム距離よりも小さく、前記第1近傍点の前記重みは、前記第2近傍点の重みよりも小さい、
請求項
9に記載の方法。
【請求項11】
前記第1近傍点の前記重みは、前記第1フレーム距離及び前記第1近傍点に対して生成された元の重み
との合計に基づいて決定される、
請求項
9に記載の方法。
【請求項12】
前記現在のフレームと前記点群シーケンスの更なるフレームとの間のフレーム距離は、タイムスタンプ順で前記現在のフレームと前記更なるフレームとの間の距離に比例する、
請求項1に記載の方法。
【請求項13】
属性インター予測が前記現在のフレームに対して実行される場合、前記現在のフレームの属性イントラ予測の検索範囲は、前記現在のフレームの属性インター予測の検索範囲と同じであり、及び
前記属性インター予測が前記現在のフレームに対して実行されない場合、前記現在のフレームの属性イントラ予測の検索範囲は、前記現在のフレームの属性インター予測の検索範囲と異なることが許容される、
請求項1に記載の方法。
【請求項14】
属性イントラ予測と属性インター予測の両方が、前記現在のフレームに対して実行される場合、第1の検索範囲が前記現在のフレームの前記属性イントラ予測に使用され、及び
前記属性インター予測が前記現在のフレームに対して実行され、前記属性イントラ予測が前記現在のフレームに対して実行されない場合、第2の検索範囲が前記現在のフレームの前記属性イントラ予測に使用され、前記第2の検索範囲は前記第1の検索範囲と異なっていてもよい、
請求項1に記載の方法。
【請求項15】
前記現在のフレームは現在の点を含み、
属性インター予測が、前記現在のフレームに対して行われる場合、前記現在の点とは異なる詳細レベル(LOD)の点から前記現在の点の隣接点を検索する検索範囲は、前記現在の点と同じLODの点から前記現在の点の隣接点を検索する検索範囲と同じであり、及び
前記現在のフレームに対して属性インター予測が行われない場合、前記現在の点とは異なるLODの点から前記現在の点の隣接点を検索する検索範囲は、前記現在の点と同じLODの点から前記現在の点の隣接点を検索する検索範囲と異なっていてもよい、
請求項1に記載の方法。
【請求項16】
前記現在のフレームは現在の点を含み、前記現在の点の隣接点を検索する検索範囲は、エンコーダ又はデコーダで決定される、
請求項1に記載の方法。
【請求項17】
前記変換は、前記現在のフレームを前記ビットストリームに符号化する
ステップを含む
か、又は
前記変換は、前記ビットストリームから前記現在のフレームを復号するステップを含む、
請求項
1に記載の方法。
【請求項18】
プロセッサと命令を備える非一時的なメモリとを含む、点群データを処理する装置であって、
前記命令は、前記プロセッサによって実行されると、前記プロセッサに請求項1~
17のいずれか1項に記載の方法を実行させる、装置。
【請求項19】
プロセッサに請求項1~
17のいずれか1項に記載の方法を実行させる命令を記憶する、
非一時的なコンピュータ可読記憶媒体。
【請求項20】
点群シーケンスのビットストリームを記憶する方法であって、
第1座標系に基づいて、前記点群シーケンスの現在のフレーム内の現在の点に対して属性インター予測を実行することで、前記現在の点の予測属性値を取得するステップと、
前記予測属性値に基づいて前記ビットストリームを生成するステップと、
前記ビットストリームを非一時的なコンピュータ可読記録媒体内に記憶するステップと、
を含み、
ジオメトリコーディング用の前記現在の点のジオメトリ情報は、前記第1座標系と異なる第2座標系で表れる、方法。
【国際調査報告】