特表2024-513708三次元点群の伝送方法、受信方法、伝送装置、受信装置及び記憶媒体
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-03-27
(54)【発明の名称】三次元点群の伝送方法、受信方法、伝送装置、受信装置及び記憶媒体
(51)【国際特許分類】
H04N 21/2362 20110101AFI20240319BHJP
G06T 9/00 20060101ALI20240319BHJP
H04N 21/434 20110101ALI20240319BHJP
【ＦＩ】
H04N21/2362
G06T9/00
H04N21/434
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2023556867
(86)(22)【出願日】2022-05-13
(85)【翻訳文提出日】2023-09-14
(86)【国際出願番号】 CN2022092632
(87)【国際公開番号】W WO2022194309
(87)【国際公開日】2022-09-22
(31)【優先権主張番号】202110653948.7
(32)【優先日】2021-06-11
(33)【優先権主張国・地域又は機関】CN
(31)【優先権主張番号】202110277373.3
(32)【優先日】2021-03-15
(33)【優先権主張国・地域又は機関】CN
(31)【優先権主張番号】202110441806.4
(32)【優先日】2021-04-23
(33)【優先権主張国・地域又は機関】CN
(81)【指定国・地域】
(71)【出願人】
【識別番号】507190994
【氏名又は名称】上海交通大学
【氏名又は名称原語表記】ＳＨＡＮＧＨＡＩ ＪＩＡＯ ＴＯＮＧ ＵＮＩＶＥＲＳＩＴＹ
【住所又は居所原語表記】８００ Ｄｏｎｇｃｈｕａｎ Ｒｄ．，Ｍｉｎｈａｎｇ Ｄｉｓｔｒｉｃｔ，Ｓｈａｎｇｈａｉ，２００２４０，Ｐ．Ｒ．ＣＨＩＮＡ
(74)【代理人】
【識別番号】110002952
【氏名又は名称】弁理士法人鷲田国際特許事務所
(72)【発明者】
【氏名】徐▲異▼凌
(72)【発明者】
【氏名】▲張▼▲ギョク▼杰
(72)【発明者】
【氏名】高▲リン▼遥
【テーマコード（参考）】
5C164
【Ｆターム（参考）】
5C164MB13S
5C164MB43S
5C164SB15P
5C164SB41S
5C164UB11P
5C164YA21
(57)【要約】
本出願は、三次元点群の伝送、受信の方法、装置及び媒体を提供し、該伝送方法は、原始点群の点群データを解析し、伝送対象である点群の空間領域の品質レベルを決定するステップと、伝送対象である点群の空間領域の品質レベルに基づいて、伝送対象である点群の空間領域における点群データを選択してメディアコードストリームを生成するステップと、選択された前記伝送対象である点群の空間領域における点群データに基づいて伝送対象である点群の空間領域の品質指示情報を決定し、伝送対象である点群の空間領域の品質指示情報をメディアコードストリームに書き込むステップと、メディアコードストリームを伝送するステップと、を含む。
【選択図】図１
【選択図】図１
【特許請求の範囲】
【請求項1】
原始点群の点群データを解析し、伝送対象である点群の空間領域の品質レベルを決定することと、前記伝送対象である点群の空間領域の品質レベルに基づいて、前記伝送対象である点群の空間領域における点群データを選択してメディアコードストリームを生成することと、
選択された前記伝送対象である点群の空間領域における点群データに基づいて前記伝送対象である点群の空間領域の品質指示情報を決定し、前記伝送対象である点群の空間領域の品質指示情報を前記メディアコードストリームに書き込むことと、
前記メディアコードストリームを伝送することと、を含み、
前記原始点群が異なる空間領域、異なる品質レベルの点群データにより構成され、前記伝送対象である点群の空間領域は少なくとも１つであり、各空間領域は少なくとも１つの品質レベルの点群データを含み、前記伝送対象である点群の空間領域の品質指示情報は前記伝送対象である点群の空間領域の品質レベルを含む、三次元点群の伝送方法。
【請求項2】
前記各空間領域は少なくとも１つのコンポーネントトラックグループを含み、１つのコンポーネントトラックグループは少なくとも１つのコンポーネントトラックを含み、前記各コンポーネントトラックは少なくとも１つのタイプの点群データを含み、各タイプの点群データは少なくとも１つの品質レベルを含み、前記伝送対象である点群の空間領域の品質レベルを決定することは、前記伝送対象である点群の各空間領域の各コンポーネントトラックグループのうちのコンポーネントトラックの品質レベルを決定することと、
前記伝送対象である点群の各空間領域における各コンポーネントトラックグループのジョイント品質レベルを決定することと、を含み、
前記各コンポーネントトラックグループのジョイント品質レベルは各前記コンポーネントトラックグループに含まれる各コンポーネントトラックの品質レベルを含み、各コンポーネントトラックの品質レベルが各コンポーネントトラックに含まれる少なくとも１つのタイプの点群データの品質レベルに基づいて決定される、請求項１に記載の三次元点群の伝送方法。
【請求項3】
前記伝送対象である点群の空間領域の品質指示情報を決定した後に、前記伝送対象である点群の空間領域の品質指示情報に基づいて、前記伝送対象である点群の指示属性識別を決定することと、
前記伝送対象である点群の指示属性識別を前記メディアコードストリームに書き込むことと、をさらに含み、
前記伝送対象である点群の指示属性識別は、前記伝送対象である点群が異なる空間領域、異なる品質レベルの点群データにより構成されるか否か、前記伝送対象である点群に含まれる空間領域、のうちの少なくとも１つを指示するために用いられる、請求項１に記載の三次元点群の伝送方法。
【請求項4】
前記伝送対象である点群の空間領域の品質レベルに基づいて、伝送対象である点群の空間領域における点群データを選択してメディアコードストリームを生成することは、前記伝送対象である点群の空間領域における各コンポーネントトラックグループのジョイント品質レベルに基づいて、前記伝送対象である点群の空間領域における各コンポーネントトラックグループに含まれるコンポーネントトラックの点群データを選択し、前記伝送対象である点群の空間領域の各コンポーネントトラックグループの点群データを形成して、メディアコードストリームを生成することを含む、請求項２に記載の三次元点群の伝送方法。
【請求項5】
前記伝送対象である点群の空間領域の品質指示情報は、空間領域の数、空間領域の識別、空間領域の位置、空間領域の次元、空間領域のサイズ、空間領域のコンポーネントトラックの数、空間領域のコンポーネントトラックの識別、空間領域のコンポーネントトラックグループのタイプ、空間領域のコンポーネントトラックグループの数、空間領域のコンポーネントトラックグループの識別、のうちの少なくとも１つをさらに含む、請求項１に記載の三次元点群の伝送方法。
【請求項6】
受信されたメディアコードストリームから伝送対象である点群の空間領域の品質指示情報を解析することと、前記伝送対象である点群の空間領域の品質指示情報に基づいて、前記メディアコードストリームをデコードし、前記伝送対象である点群の点群データを得ることと、
前記伝送対象である点群の点群データをレンダリングすることと、を含み、
前記点群データは前記伝送対象である点群のうちの異なる空間領域、異なる品質レベルの点群データであり、前記空間領域の品質指示情報は空間領域の品質レベルを含む、三次元点群の受信方法。
【請求項7】
前記受信されたメディアコードストリームから伝送対象である点群の空間領域の品質指示情報を解析する前に、受信されたメディアコードストリームから前記伝送対象である点群の指示属性識別を解析し、前記伝送対象である点群の指示属性識別に基づいて前記伝送対象である点群が異なる空間領域の点群データにより構成されるか否かを判断することをさらに含む、請求項６に記載の三次元点群の受信方法。
【請求項8】
原始点群の点群データを解析するように構成される点群解析モジュールと、伝送対象である点群の空間領域の品質レベルを決定するように構成される品質レベル確認モジュールと、
前記伝送対象である点群の空間領域の前記品質レベルに基づいて、前記伝送対象である点群の空間領域における点群データを選択してメディアコードストリームを生成するように構成される点群データ選択モジュールと、
選択された前記伝送対象である点群の空間領域における点群データに基づいて前記伝送対象である点群の空間領域の品質指示情報を決定するように構成される品質指示情報確認モジュールと、
前記伝送対象である点群の空間領域の品質指示情報を、前記メディアコードストリームに書き込むように構成されるカプセル化モジュールと、
前記メディアコードストリームを伝送するように構成される伝送モジュールと、を含み、
前記原始点群が異なる空間領域、異なる品質レベルの点群データにより構成され、前記伝送対象である点群の空間領域は少なくとも１つであり、各空間領域は少なくとも１つの品質レベルの点群データを含み、前記伝送対象である点群の空間領域の品質指示情報は前記伝送対象である点群の空間領域の品質レベルを含む、三次元点群の伝送装置。
【請求項9】
前記伝送対象である点群の空間領域の品質指示情報に基づいて、前記伝送対象である点群の指示属性識別を決定するように構成される属性記述モジュールと、前記伝送対象である点群の指示属性識別を、前記メディアコードストリームに書き込むようにさらに構成される前記カプセル化モジュールと、をさらに含む、請求項８に記載の三次元点群の伝送装置。
【請求項10】
受信されたメディアコードストリームから伝送対象である点群の空間領域の品質指示情報を解析するように構成される品質指示情報解析モジュールと、前記伝送対象である点群の空間領域の品質指示情報に基づいて、前記メディアコードストリームをデコードし、前記伝送対象である点群の点群データを得るように構成されるデコードモジュールと、
前記伝送対象である点群の点群データをレンダリングするように構成されるレンダリングモジュールと、を含み、
前記点群データは前記伝送対象である点群のうちの異なる空間領域、異なる品質レベルの点群データであり、前記空間領域の品質指示情報は空間領域の品質レベルを含む、三次元点群の受信装置。
【請求項11】
受信されたメディアコードストリームから前記伝送対象である点群の指示属性識別を解析し、前記伝送対象である点群の指示属性識別に基づいて前記伝送対象である点群が異なる空間領域の点群データにより構成されるか否かを判断するように構成される識別解析モジュールをさらに含む、請求項１０に記載の三次元点群の受信装置。
【請求項12】
コンピュータ読取可能な記憶媒体であって、前記コンピュータ読取可能な記憶媒体にコンピュータプログラムが記憶され、前記コンピュータプログラムがプロセッサにより実行されると、請求項１～５のいずれか一項に記載の三次元点群の伝送方法及び請求項６～７のいずれか一項に記載の三次元点群の受信方法を実現する、コンピュータ読取可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本出願は、２０２１年３月１５日に中国特許庁に提出され、出願番号２０２１１０２７７３７３．３で受け付けられた中国特許出願、２０２１年４月２３日に中国特許庁に提出され、出願番号２０２１１０４４１８０６．４で受け付けられた中国特許出願、２０２１年６月１１日に中国特許庁に提出され、出願番号２０２１１０６５３９４８．７で受け付けられた中国特許出願の優先権を主張するものであり、該出願のすべての内容が引用により本出願に援用される。
【0002】
本出願は、マルチメディアの技術分野に関し、例えば、三次元点群の伝送方法、受信方法、伝送装置、受信装置及び記憶媒体に関する。
【背景技術】
【0003】
情報技術の急速な発展に伴い、文字、画像、従来のビデオに基づく消費モデルは成熟しつつあり、より高いリアリティ、より高いインタラクティブ性、より多様な視覚通信を提供することが発展のホットスポットになってきている。視覚通信は正確にレンダリングされた三次元点群、６自由度の全方位体験、虚実結合リアルタイムインタラクティブなどの技術手段を通じて、ユーザに、時間、地域、現実条件に制限されず、臨場感ある実体験を提供するとともに、さらに新規アプリケーションに無限の空間をもたらしている。
【0004】
視覚メディアデータの生成、伝送、処理及び提示などの面では、従来のメディアデータと大きく異なり、視覚メディアデータはより複雑で多様である。ユーザの提示ニーズを満たすために、対応するデータ記述方法も広く注目されている。三次元スキャン技術及びシステムは日々成熟しているため、三次元点群データは学術界及び工業界で広く注目されている。
【0005】
三次元点群は空間中の一連の点の幾何であり、スキャンされた物体表面の各点の１組の三次元座標情報、及びテクスチャ、材質、色、占有図、法線ベクトル、反射強度、特徴などの複数の属性情報を記録している。三次元点群データは実際の物体の幾何学的記述であり、新しい三次元モデルデータフォーマットであり、視覚通信シーンにおける表現情報の主要な担体として、視覚メディアサービスにおける静的な実物及びシーンを効果的に表現するだけでなく、正確な立体モデルをリアルタイムにレンダリングし、動的な実物又はシーン情報をリアルに記述することができる。そのため、三次元点群データはユーザに虚実結合、リアルタイムインタラクティブな没入型消費体験をもたらすことができる。
【0006】
現在、三次元点群データをどのように記憶し伝送するかについては、一定の研究が行われているが、現在、伝送時には三次元点群の複数の空間領域に対して、通常同じ品質で伝送され、品質の点群によって対応するデータ量は異なる。低品質の点群を採用すると、全体の感知品質に影響を与える。高品質の点群を採用すると、伝送する必要があるデータ量が非常に大きくなる。関連技術における三次元点群データのカプセル化、伝送には欠陥がある。
【発明の概要】
【課題を解決するための手段】
【0007】
本出願は、三次元点群の伝送方法、受信方法、伝送装置、受信装置及び記憶媒体を提供する。
【0008】
本出願に係る三次元点群の伝送方法によれば、
原始点群の点群データを解析し、伝送対象である点群の空間領域の品質レベルを決定することと、
前記伝送対象である点群の空間領域の品質レベルに基づいて、前記伝送対象である点群の空間領域における点群データを選択してメディアコードストリームを生成することと、
選択された前記伝送対象である点群の空間領域における点群データに基づいて前記伝送対象である点群の空間領域の品質指示情報を決定し、前記伝送対象である点群の空間領域の品質指示情報を前記メディアコードストリームに書き込むことと、
前記メディアコードストリームを伝送することと、を含み、
前記原始点群が異なる空間領域、異なる品質レベルの点群データにより構成され、前記伝送対象である点群の空間領域は少なくとも１つであり、各空間領域は少なくとも１つの品質レベルの点群データを含み、前記伝送対象である点群の空間領域の品質指示情報は前記伝送対象である点群の空間領域の品質レベルを含む。
原始点群の点群データを解析し、伝送対象である点群の空間領域の品質レベルを決定することと、
前記伝送対象である点群の空間領域の品質レベルに基づいて、前記伝送対象である点群の空間領域における点群データを選択してメディアコードストリームを生成することと、
選択された前記伝送対象である点群の空間領域における点群データに基づいて前記伝送対象である点群の空間領域の品質指示情報を決定し、前記伝送対象である点群の空間領域の品質指示情報を前記メディアコードストリームに書き込むことと、
前記メディアコードストリームを伝送することと、を含み、
前記原始点群が異なる空間領域、異なる品質レベルの点群データにより構成され、前記伝送対象である点群の空間領域は少なくとも１つであり、各空間領域は少なくとも１つの品質レベルの点群データを含み、前記伝送対象である点群の空間領域の品質指示情報は前記伝送対象である点群の空間領域の品質レベルを含む。
【0009】
本出願に係る三次元点群の受信方法によれば、
受信されたメディアコードストリームから伝送対象である点群の空間領域の品質指示情報を解析することと、
前記伝送対象である点群の空間領域の品質指示情報に基づいて、前記メディアコードストリームをデコードし、前記伝送対象である点群の点群データを得ることと、
前記伝送対象である点群の点群データをレンダリングすることと、を含み、
前記点群データは前記伝送対象である点群のうちの異なる空間領域、異なる品質レベルの点群データであり、前記空間領域の品質指示情報は空間領域の品質レベルを含む。
受信されたメディアコードストリームから伝送対象である点群の空間領域の品質指示情報を解析することと、
前記伝送対象である点群の空間領域の品質指示情報に基づいて、前記メディアコードストリームをデコードし、前記伝送対象である点群の点群データを得ることと、
前記伝送対象である点群の点群データをレンダリングすることと、を含み、
前記点群データは前記伝送対象である点群のうちの異なる空間領域、異なる品質レベルの点群データであり、前記空間領域の品質指示情報は空間領域の品質レベルを含む。
【0010】
本出願に係る三次元点群の伝送装置によれば、
原始点群の点群データを解析するように構成される点群解析モジュールと、
前記伝送対象である点群の空間領域の品質レベルを決定するように構成される品質レベル確認モジュールと、
前記伝送対象である点群の空間領域の前記品質レベルに基づいて、前記伝送対象である点群の空間領域における点群データを選択してメディアコードストリームを生成するように構成される点群データ選択モジュールと、
選択された前記伝送対象である点群の空間領域における点群データに基づいて前記伝送対象である点群の空間領域の品質指示情報を決定するように構成される品質指示情報確認モジュールと、
前記伝送対象である点群の空間領域の品質指示情報を、前記メディアコードストリームに書き込むように構成されるカプセル化モジュールと、
前記メディアコードストリームを伝送するように構成される伝送モジュールと、を含み、
前記原始点群が異なる空間領域、異なる品質レベルの点群データにより構成され、前記伝送対象である点群の空間領域は少なくとも１つであり、各空間領域は少なくとも１つの品質レベルの点群データを含み、前記伝送対象である点群の空間領域の品質指示情報は前記伝送対象である点群の空間領域の品質レベルを含む。
原始点群の点群データを解析するように構成される点群解析モジュールと、
前記伝送対象である点群の空間領域の品質レベルを決定するように構成される品質レベル確認モジュールと、
前記伝送対象である点群の空間領域の前記品質レベルに基づいて、前記伝送対象である点群の空間領域における点群データを選択してメディアコードストリームを生成するように構成される点群データ選択モジュールと、
選択された前記伝送対象である点群の空間領域における点群データに基づいて前記伝送対象である点群の空間領域の品質指示情報を決定するように構成される品質指示情報確認モジュールと、
前記伝送対象である点群の空間領域の品質指示情報を、前記メディアコードストリームに書き込むように構成されるカプセル化モジュールと、
前記メディアコードストリームを伝送するように構成される伝送モジュールと、を含み、
前記原始点群が異なる空間領域、異なる品質レベルの点群データにより構成され、前記伝送対象である点群の空間領域は少なくとも１つであり、各空間領域は少なくとも１つの品質レベルの点群データを含み、前記伝送対象である点群の空間領域の品質指示情報は前記伝送対象である点群の空間領域の品質レベルを含む。
【0011】
本出願に係る三次元点群の受信装置によれば、
受信されたメディアコードストリームから伝送対象である点群の空間領域の品質指示情報を解析するように構成される品質指示情報解析モジュールと、
前記伝送対象である点群の空間領域の品質指示情報に基づいて、メディアコードストリームをデコードし、前記伝送対象である点群の点群データを得るように構成されるデコードモジュールと、
前記伝送対象である点群の点群データをレンダリングするように構成されるレンダリングモジュールと、を含み、
前記点群データは前記伝送対象である点群のうちの異なる空間領域、異なる品質レベルの点群データであり、前記空間領域の品質指示情報は空間領域の品質レベルを含む。
受信されたメディアコードストリームから伝送対象である点群の空間領域の品質指示情報を解析するように構成される品質指示情報解析モジュールと、
前記伝送対象である点群の空間領域の品質指示情報に基づいて、メディアコードストリームをデコードし、前記伝送対象である点群の点群データを得るように構成されるデコードモジュールと、
前記伝送対象である点群の点群データをレンダリングするように構成されるレンダリングモジュールと、を含み、
前記点群データは前記伝送対象である点群のうちの異なる空間領域、異なる品質レベルの点群データであり、前記空間領域の品質指示情報は空間領域の品質レベルを含む。
【0012】
本出願に係るコンピュータ読取可能な記憶媒体によれば、前記コンピュータ読取可能な記憶媒体にコンピュータプログラムが記憶され、前記コンピュータプログラムがプロセッサにより実行されると、上記伝送方法及び／又は上記の受信方法を実現する。
【図面の簡単な説明】
【0013】
【図1】本出願一実施例に係る三次元点群の伝送方法のフローチャートである。
【図2】本出願一実施例に係る三次元点群の受信方法のフローチャートである。
【図3】本出願一実施例に係る三次元点群のカプセル化方法及び消費のフローチャートである。
【図4】本出願一実施例に係る三次元点群の記述方法のフローチャートである。
【図5】本出願一実施例に係る三次元点群データの異なる空間領域での品質レベル設定の模式図である。
【図6】本出願一実施例に係る三次元点群の伝送装置の構造模式図である。
【図7】本出願一実施例に係る三次元点群の受信装置の構造模式図である。
【発明を実施するための形態】
【0014】
図１に示すのは点群伝送方法のフロー図であり、サーバ側に適用されることができる。ここで、原始点群は異なる空間領域、異なる品質レベルの点群データにより構成され、各空間領域は少なくとも１つの品質レベルの点群データを含み、前記空間領域の品質指示情報は空間領域の品質レベルの情報を含む。原始点群の点群データを解析した後に、原始点群の各空間領域にどの品質レベルの点群データが存在するかを決定することができる。空間領域の区画は原始点群に含まれる点群データの固有属性に関連するので、原始点群と伝送対象である点群との空間領域の区画は一致する。ユーザの要求情報（例えばユーザ位置、視野角など）に基づいて、原始点群の複数の空間領域から伝送用の関連空間領域を伝送対象である点群の空間領域として選択し、伝送対象である点群の空間領域の品質レベルを確認し、そして、伝送対象である点群の空間領域から対応する品質レベルの点群データを伝送対象である点群の空間領域の点群データとして選択することができる。
【0015】
本出願一実施例に係る三次元点群の伝送方法は以下のステップを含む。
【0016】
Ｓ１１０において、原始点群の点群データを解析し、伝送対象である点群の空間領域の品質レベルを決定する。このステップは点群解析モジュール及び品質レベル確認モジュールで実行される。
【0017】
Ｓ１２０において、前記伝送対象である点群の空間領域の品質レベルに基づいて、伝送対象である点群の空間領域における点群データを選択してメディアコードストリームを生成する。このステップは点群データ選択モジュールで実行される。
【0018】
Ｓ１３０において、選択された前記伝送対象である点群の空間領域における点群データに基づいて前記伝送対象である点群の空間領域の品質指示情報を決定し、前記伝送対象である点群の空間領域の品質指示情報を前記メディアコードストリームに書き込む。このステップは品質指示情報確認モジュール及びカプセル化モジュールで実行される。
【0019】
Ｓ１４０において、前記メディアコードストリームを伝送する。このステップは伝送モジュールで実行される。
【0020】
一実施例において、前記各空間領域は少なくとも１つのコンポーネントトラックグループを含み、１つのコンポーネントトラックグループは少なくとも１つのコンポーネントトラックを含み、前記各コンポーネントトラックは少なくとも１つのタイプの点群データを含み、各タイプの点群データは少なくとも１つの品質レベルを含み、前記した伝送対象である点群の空間領域の品質レベルを決定することは、
前記伝送対象である点群の各空間領域の各コンポーネントトラックグループのうちのコンポーネントトラックの品質レベルを決定することと、
前記伝送対象である点群の各空間領域における各コンポーネントトラックグループのジョイント品質レベルを決定することと、を含み、
前記各コンポーネントトラックグループのジョイント品質レベルは各前記コンポーネントトラックグループに含まれる各コンポーネントトラックの品質レベルを含み、各コンポーネントトラックの品質レベルが各コンポーネントトラックに含まれる少なくとも１つのタイプの点群データの品質レベルに基づいて決定される。
前記伝送対象である点群の各空間領域の各コンポーネントトラックグループのうちのコンポーネントトラックの品質レベルを決定することと、
前記伝送対象である点群の各空間領域における各コンポーネントトラックグループのジョイント品質レベルを決定することと、を含み、
前記各コンポーネントトラックグループのジョイント品質レベルは各前記コンポーネントトラックグループに含まれる各コンポーネントトラックの品質レベルを含み、各コンポーネントトラックの品質レベルが各コンポーネントトラックに含まれる少なくとも１つのタイプの点群データの品質レベルに基づいて決定される。
【0021】
一実施例において、前記した前記伝送対象である点群の空間領域の品質指示情報を決定した後に、
前記伝送対象である点群の空間領域の品質指示情報に基づいて、前記伝送対象である点群の指示属性識別を決定することと、
前記伝送対象である点群の指示属性識別を前記メディアコードストリームに書き込むことと、をさらに含み、
前記伝送対象である点群の指示属性識別は、前記伝送対象である点群が異なる空間領域、異なる品質レベルの点群データにより構成されるか否か、前記伝送対象である点群に含まれる空間領域、のうちの少なくとも１つを指示するために用いられる。
前記伝送対象である点群の空間領域の品質指示情報に基づいて、前記伝送対象である点群の指示属性識別を決定することと、
前記伝送対象である点群の指示属性識別を前記メディアコードストリームに書き込むことと、をさらに含み、
前記伝送対象である点群の指示属性識別は、前記伝送対象である点群が異なる空間領域、異なる品質レベルの点群データにより構成されるか否か、前記伝送対象である点群に含まれる空間領域、のうちの少なくとも１つを指示するために用いられる。
【0022】
一実施例において、前記した前記伝送対象である点群の空間領域の品質レベルに基づいて、伝送対象である点群の空間領域における点群データを選択してメディアコードストリームを生成することは、
前記伝送対象である点群の空間領域における各コンポーネントトラックグループのジョイント品質レベルに基づいて、前記伝送対象である点群の空間領域における各コンポーネントトラックグループに含まれるコンポーネントトラックの点群データを選択し、前記伝送対象である点群の空間領域の各コンポーネントトラックグループの点群データを形成して、メディアコードストリームを生成することを含む。
前記伝送対象である点群の空間領域における各コンポーネントトラックグループのジョイント品質レベルに基づいて、前記伝送対象である点群の空間領域における各コンポーネントトラックグループに含まれるコンポーネントトラックの点群データを選択し、前記伝送対象である点群の空間領域の各コンポーネントトラックグループの点群データを形成して、メディアコードストリームを生成することを含む。
【0023】
一実施例において、前記伝送対象である点群の空間領域の品質指示情報は、
空間領域の数、空間領域の識別、空間領域の位置、空間領域の次元、空間領域のサイズ、空間領域のコンポーネントトラックの数、空間領域のコンポーネントトラックの識別、空間領域のコンポーネントトラックグループのタイプ、空間領域のコンポーネントトラックグループの数、空間領域のコンポーネントトラックグループの識別、のうちの少なくとも１つをさらに含む。
空間領域の数、空間領域の識別、空間領域の位置、空間領域の次元、空間領域のサイズ、空間領域のコンポーネントトラックの数、空間領域のコンポーネントトラックの識別、空間領域のコンポーネントトラックグループのタイプ、空間領域のコンポーネントトラックグループの数、空間領域のコンポーネントトラックグループの識別、のうちの少なくとも１つをさらに含む。
【0024】
一実施例において、前記伝送対象である点群の空間領域の品質指示情報が、原始点群の対応する空間領域から選択された点群データに基づいて決定される。
【0025】
図２は本出願一実施例に係る三次元点群の受信方法のフローチャートであり、ユーザ側に適用されることができる。そのうち、前記点群データは前記伝送対象である点群のうちの異なる空間領域、異なる品質レベルの点群データであり、前記空間領域の品質指示情報は空間領域の品質レベルを含む。前記方法は以下のステップを含む。
【0026】
Ｓ２１０において、受信されたメディアコードストリームから伝送対象である点群の空間領域の品質指示情報を解析する。このステップは品質指示情報解析モジュールで実行される。
【0027】
Ｓ２２０において、前記伝送対象である点群の空間領域の品質指示情報に基づいて、前記メディアコードストリームをデコードし、前記伝送対象である点群の点群データを得る。このステップはデコードモジュールで実行される。
【0028】
Ｓ２３０において、前記伝送対象である点群の点群データをレンダリングする。このステップはレンダリングモジュールで実行される。
【0029】
一実施例において、前記した受信されたメディアコードストリームから伝送対象である点群の空間領域の品質指示情報を解析する前に、
受信されたメディアコードストリームから前記伝送対象である点群の指示属性識別を解析し、前記伝送対象である点群の指示属性識別に基づいて前記伝送対象である点群が異なる空間領域の点群データにより構成されるか否かを判断することをさらに含む。
受信されたメディアコードストリームから前記伝送対象である点群の指示属性識別を解析し、前記伝送対象である点群の指示属性識別に基づいて前記伝送対象である点群が異なる空間領域の点群データにより構成されるか否かを判断することをさらに含む。
【0030】
一実施例において、受信された伝送点群が異なる空間領域の点群データにより構成されるという判断結果に基づいて、伝送対象である点群の空間領域の品質指示情報を解析し、前記伝送対象である点群の指示属性識別及び／又は空間領域の品質指示情報に基づいて、メディアコードストリームをデコードし、
受信された伝送点群が１つの空間領域の点群データにより構成されるという判断結果に基づいて、前記伝送対象である点群の指示属性識別に基づいて、メディアコードストリームをデコードする。
受信された伝送点群が１つの空間領域の点群データにより構成されるという判断結果に基づいて、前記伝送対象である点群の指示属性識別に基づいて、メディアコードストリームをデコードする。
【0031】
図６は本出願一実施例に係る三次元点群の伝送装置６００の構造模式図である。該伝送装置６００は、
原始点群の点群データを解析するように構成される点群解析モジュール６１０と、
前記伝送対象である点群の空間領域の品質レベルを決定するように構成される品質レベル確認モジュール６２０と、
前記伝送対象である点群の空間領域の前記品質レベルに基づいて、前記伝送対象である点群の空間領域における点群データを選択してメディアコードストリームを生成するように構成される点群データ選択モジュール６３０と、
前記伝送対象である点群の空間領域の品質指示情報を決定するように構成される品質指示情報確認モジュール６４０と、
前記伝送対象である点群の空間領域の品質指示情報を、前記メディアコードストリームに書き込むように構成されるカプセル化モジュール６５０と、
メディアコードストリームを伝送するように構成される伝送モジュール６６０と、
前記原始点群が異なる空間領域、異なる品質レベルの点群データにより構成され、前記伝送対象である点群の空間領域は少なくとも１つであり、各空間領域は少なくとも１つの品質レベルの点群データを含み、前記伝送対象である点群の空間領域の品質指示情報は前記伝送対象である点群の空間領域の品質レベルを含む。
原始点群の点群データを解析するように構成される点群解析モジュール６１０と、
前記伝送対象である点群の空間領域の品質レベルを決定するように構成される品質レベル確認モジュール６２０と、
前記伝送対象である点群の空間領域の前記品質レベルに基づいて、前記伝送対象である点群の空間領域における点群データを選択してメディアコードストリームを生成するように構成される点群データ選択モジュール６３０と、
前記伝送対象である点群の空間領域の品質指示情報を決定するように構成される品質指示情報確認モジュール６４０と、
前記伝送対象である点群の空間領域の品質指示情報を、前記メディアコードストリームに書き込むように構成されるカプセル化モジュール６５０と、
メディアコードストリームを伝送するように構成される伝送モジュール６６０と、
前記原始点群が異なる空間領域、異なる品質レベルの点群データにより構成され、前記伝送対象である点群の空間領域は少なくとも１つであり、各空間領域は少なくとも１つの品質レベルの点群データを含み、前記伝送対象である点群の空間領域の品質指示情報は前記伝送対象である点群の空間領域の品質レベルを含む。
【0032】
一実施例において、伝送装置は、前記伝送対象である点群の空間領域の品質指示情報に基づいて、前記伝送対象である点群の指示属性識別を決定するように構成される属性記述モジュールと、
前記伝送対象である点群の指示属性識別を、前記メディアコードストリームに書き込むようにさらに構成される前記カプセル化モジュール６６０と、をさらに含む。
前記伝送対象である点群の指示属性識別を、前記メディアコードストリームに書き込むようにさらに構成される前記カプセル化モジュール６６０と、をさらに含む。
【0033】
図７は本出願一実施例に係る三次元点群の受信装置７００の構造模式図である。該受信装置７００は、
受信されたメディアコードストリームから伝送対象である点群の空間領域の品質指示情報を解析するように構成される品質レベル指示情報モジュール７１０と、
前記伝送対象である点群の空間領域の品質指示情報に基づいて、前記メディアコードストリームをデコードし、前記伝送対象である点群の点群データを得るように構成されるデコードモジュール７２０と、
前記伝送対象である点群の点群データをレンダリングするように構成されるレンダリングモジュール７３０と、を含み、
前記点群データは前記伝送対象である点群のうちの異なる空間領域、異なる品質レベルの点群データであり、前記空間領域の品質指示情報は空間領域の品質レベルを含む。
受信されたメディアコードストリームから伝送対象である点群の空間領域の品質指示情報を解析するように構成される品質レベル指示情報モジュール７１０と、
前記伝送対象である点群の空間領域の品質指示情報に基づいて、前記メディアコードストリームをデコードし、前記伝送対象である点群の点群データを得るように構成されるデコードモジュール７２０と、
前記伝送対象である点群の点群データをレンダリングするように構成されるレンダリングモジュール７３０と、を含み、
前記点群データは前記伝送対象である点群のうちの異なる空間領域、異なる品質レベルの点群データであり、前記空間領域の品質指示情報は空間領域の品質レベルを含む。
【0034】
一実施例において、受信装置７００は、受信されたメディアコードストリームから前記伝送対象である点群の指示属性識別を解析し、前記伝送対象である点群の指示属性識別に基づいて前記伝送対象である点群が異なる空間領域の点群データにより構成されるか否かを判断するように構成される識別解析モジュールをさらに含む。
【0035】
本出願一実施例は、コンピュータプログラムが記憶され、前記コンピュータプログラムがプロセッサにより実行されると、上記実施例に記載の伝送方法及び／上記実施例に記載の受信方法を実現する、コンピュータ読取可能な記憶媒体を提供する。コンピュータ読取可能な記憶媒体は非一時的なコンピュータ読取可能な記憶媒体であってもよい。
【0036】
図３は本出願一実施例に係る三次元点群カプセル化方法及び消費のフローチャートである。このカプセル化方法及び消費の過程は以下のステップを含む。
【0037】
Ｓ３１０において、伝送側は伝送対象である点群の空間領域の品質指示情報を決定する。
【0038】
Ｓ３２０において、伝送側は空間領域の品質指示情報を選択された伝送対象である点群の点群データにより生成されたメディアコードストリームに書き込む。
【0039】
Ｓ３３０において、伝送側は空間領域の品質指示情報に従って前記メディアコードストリームを受信側に送信する。
【0040】
Ｓ３４０において、受信側は上記メディアコードストリームを読み込んで解析し、レンダリングする。
【0041】
図４は本出願一実施例に係る三次元点群記述方法のフローチャートである。該記述方法は、以下のステップを含む。
【0042】
Ｓ４１０において、サーバ側は原始点群のうちの点群データを解析する。
【0043】
Ｓ４２０において、サーバ側は解析結果に基づいて伝送対象である点群の指示属性識別を決定し、指示属性識別をメディアコードストリームに書き込む。
【0044】
Ｓ４３０において、サーバ側はメディアコードストリームをユーザ側に送信する。
【0045】
本出願一実施例に係る三次元点群の伝送方法は、点群解析ステップ、空間領域の品質レベル決定ステップ、点群データ選択ステップ、品質指示情報決定ステップ、属性記述ステップ、カプセル化ステップ、伝送ステップを主に含む。
【0046】
一、点群解析モジュールで実行される点群解析ステップ。
【0047】
原始点群の点群データを解析し、１つの原始点群はいくつかの空間領域により構成されてもよいし、１つの空間領域だけで構成されてもよい。各空間領域には、いくつかの品質レベルの点群データが存在してもよいし、１つの品質レベルの点群データだけ存在してもよい。
【0048】
二、点群解析モジュールで実行される空間領域の品質レベル決定ステップ。
【0049】
１つの原始点群が異なる空間領域、異なる品質レベルの点群データにより構成される場合に、本ステップを実行する。原始点群の数は１つであってもよく、複数であってもよく、各原始点群は異なる品質レベルの点群データにより構成される。図５に示すように、異なる空間領域の点群データをそれぞれ高品質、中品質及び低品質の３つの品質レベルに分ける。点群データの品質レベルの数は、具体的なニーズに応じて設定され、上記３つに限定されない。図５には、１つの例示的な状況のみを示しており、ここで、上層の２つの空間領域の品質レベルは高品質であり、中層の２つの空間領域の品質レベルは中品質であり、下層の２つの空間領域の品質レベルは低品質である。他の実施例において、各層の空間領域の品質レベルは変わってもよい。
【0050】
点群データは、幾何、占有図、特徴、属性、補助、色、テクスチャ、材質、法線ベクトル、反射強度などの複数のタイプに分けられる。１つのコンポーネントトラックは１つ又は複数のタイプの点群データにより構成され、１つの空間領域において、異なるコンポーネントトラックの組み合わせにより、複数のコンポーネントトラックグループを形成でき、１つのコンポーネントトラックグループは通常該空間領域のうちの１つの再生可能なデータストリームに対応する。伝送側（送信側）において、通常レンダリング再生のために１つのコンポーネントトラックグループを受信側に送信するだけでよく、異なる品質レベルの点群データを選択することにより、該空間領域内の異なるコンポーネントトラックを形成することができ、該空間領域における伝送用のコンポーネントトラックグループをリアルタイムで更新又は置換する。そのため、点群データを選択する前提はまず空間領域の品質レベルを決定することであり、空間領域の品質レベルを決定するキーポイントは該空間領域におけるコンポーネントトラックグループのジョイント品質レベルを決定することであり、空間領域におけるコンポーネントトラックグループのジョイント品質レベルは該コンポーネントトラックグループを構成する各コンポーネントトラックの品質レベルを含む。
【0051】
空間領域の品質レベルを決定することは、コンポーネントトラックグループのうちの各コンポーネントトラックの品質レベルを決定するステップと、空間領域における該コンポーネントトラックグループのジョイント品質レベルを決定するステップとを含む。２つのサブステップは前後の順序の区別がなく、各コンポーネントトラックの品質レベル及びコンポーネントトラックグループのジョイント品質レベルのうちの一方が決定されれば、他方も決定されることになる。
【0052】
原始点群が１つだけの場合、該原始点群の各空間領域の品質レベルを決定する。原始点群が複数ある場合、各原始点群に対してそれぞれその空間領域の品質レベルを決定する。
【0053】
１つの例示的な実施形態において、ユーザは移動時に頭部の動作を伴い、ユーザの位置及びユーザの視野角は絶えず変化する。ユーザ側又はサーバ側はユーザ位置及び視野角などの情報に基づいて、各空間領域の品質レベルを決定して、点群データを選択する。ユーザフィードバック情報にはユーザ位置及び／又は視野角などを指示するための要求情報が含まれてもよい。
【0054】
１つの例示的な実施形態において、各空間領域の品質レベルを確認する時に、視野角中心位置に対応する空間領域を高い品質レベルとし、視野角エッジ位置に対応する空間領域を低い品質レベルとする。例えば、１人の人物の三次元点群モデルに対して、ユーザの視野角は絶えず変化しており、ユーザの視野角が頭部などの人物の上半身領域に集中する場合、人物対応領域を高品質領域とし、残りの領域を中又は低品質領域とすることができる。同様に、ユーザの視野角が靴などの人物の下半身領域に集中する場合、人物対応領域を高品質領域とし、残りの領域を中又は低品質領域とすることができる。
【0055】
１つの例示的な実施形態において、各空間領域の品質レベルを確認する時に、ユーザが注目する位置に対応する空間領域を高い品質レベルとし、残りの空間領域を低い品質レベルとする。例えば、仮想現実博物館などの大型シーンの三次元点群モデルに対して、ユーザは展示エリア内で周囲の三次元点群シーン及び付近の三次元点群物体と相互作用することができ、ユーザの視野角が注目する展示エリアは絶えず変化しており、この時にユーザが注目する展示エリアを高品質領域とし、残りの領域を中または低品質領域とする。ユーザフィードバック情報には、ユーザが注目する位置及び／又は情報を指示するための要求情報が含まれてもよい。
【0056】
三、点群データ選択モジュールで実行される点群データ選択ステップ。
【0057】
空間領域のコンポーネントトラックグループのジョイント品質レベル及び／又は各コンポーネントトラックの品質レベルに基づいて、各コンポーネントトラックの点群データを選択し、空間領域のコンポーネントトラックグループの点群データを形成し、メディアコードストリームを生成する。
【0058】
１つの例示的な実施形態において、各原始点群を異なる空間領域に分け、空間領域のコンポーネントトラックグループのジョイント品質レベル及び／又は各コンポーネントトラックの品質レベルに基づいて、該空間領域のコンポーネントトラックグループの点群データを選択し、メディアコードストリームを生成する。
【0059】
１つの例示的な実施形態において、各原始点群が複数の空間領域に予め分けられ、各空間領域内のコンポーネントトラックグループに対して、異なるジョイント品質レベルに従ってそれぞれエンコードする。例えば、点群データが３つの品質レベルに分かれている場合、各原始点群の空間領域内で、コンポーネントトラックはそれぞれ高品質、中品質及び低品質の点群データを選択する。各コンポーネントトラックの異なる組み合わせにより、空間領域内のコンポーネントトラックグループには複数の異なるジョイント品質レベルがあり、それぞれ異なるコンポーネントトラックグループを予めエンコードする。空間領域のコンポーネントトラックグループのジョイント品質レベルを決定した後に、予めエンコードしたコンポーネントトラックグループのメディアコードストリームを直接選択すればよい。
【0060】
１つの空間領域における１つのコンポーネントトラックグループのメディアコードストリームのみを伝送する必要がある時に、該コンポーネントトラックグループのメディアコードストリームを該空間領域のメディアコードストリームとする。１つの空間領域における複数のコンポーネントトラックグループのメディアコードストリームを伝送する必要がある時に、該複数のコンポーネントトラックグループのメディアコードストリームを該空間領域のメディアコードストリームとする。
【0061】
原始点群が１つだけの場合、該原始点群の各空間領域のメディアコードストリームをまとめて、該原始点群のメディアコードストリームを形成する。原始点群が複数ある場合、各原始点群に対してそれぞれその各空間領域のメディアコードストリームをまとめて、複数の原始点群のメディアコードストリームを形成する。
【0062】
四、品質指示情報確認モジュールで実行される品質指示情報決定ステップ。点群データを選択した後に、選択した点群データを指示するための空間領域の品質指示情報を生成する必要がある。品質レベルの情報（空間領域のコンポーネントトラックグループのジョイント品質レベル、コンポーネントトラックの品質レベル）以外に、品質指示情報は、空間領域の数、空間領域の識別、空間領域の位置、空間領域の次元、空間領域のサイズ、空間領域のコンポーネントトラックの数、空間領域のコンポーネントトラックの識別、空間領域のコンポーネントトラックグループのタイプ、空間領域のコンポーネントトラックグループの数、空間領域のコンポーネントトラックグループの識別、空間領域次元が識別されているか否かの識別子、のうちの任意の１つ又は複数をさらに含む。
【0063】
原始点群が１つだけの場合、該原始点群の各空間領域の品質指示情報を決定する。原始点群が複数ある場合、各原始点群に対してそれぞれその各空間領域の品質指示情報を決定する。
【0064】
１つの例示的な実施形態において、１つの原始点群を異なる空間領域に分ける時に、空間領域の数を決定する。１つの原始点群の空間領域の数は、該原始点群に含まれる点群データの品質レベルの数に比べて、同じであってもよく、異なってもよい。前者の場合、空間領域ごとに品質レベルが異なる。後者の場合、複数の空間領域は同一品質レベルと確認されてもよい。
【0065】
１つの例示的な実施形態において、１つの原始点群を異なる空間領域に分ける時に、空間領域の位置を決定する。三次元座標により表されてもよい。
【0066】
１つの例示的な実施形態において、１つの原始点群を異なる空間領域に分ける時に、空間領域の次元を決定する。１つの空間領域ユニットは１つの点群データであってもよく、１つの直方体、円柱体又は球体の空間領域であってもよい。
【0067】
１つの例示的な実施形態において、１つの原始点群を異なる空間領域に分ける時に、空間領域のサイズを決定する。各空間領域は、サイズが同じであってもよく、サイズが異なるように配置されてもよい。
【0068】
１つの例示的な実施形態において、１つの原始点群を異なる空間領域に分ける時に、空間領域のサイズを決定する。複数の空間領域は互いに重なってもよく、重ならないように配置されてもよい。
【0069】
追加された関連フィールド又は文字は以下の通りであってもよい。
ｒｅｇｉｏｎ＿ｑｕａｌｉｔｙ＿ｒａｎｋｉｎｇ：点群における１つの空間領域の品質レベルを指示する。
Ｃｏｍｐｏｎｅｎｔ＿ｔｒａｃｋ＿ｑｕａｌｉｔｙ＿ｒａｎｋｉｎｇ：点群における１つの空間領域のコンポーネントトラックグループ内の全てのコンポーネントトラックのジョイント品質レベルを指示する。
ｎｕｍ＿ｒｅｇｉｏｎｓ点群における三次元空間領域の数を指示する。
ｎｕｍ＿ｐａｃｋｅｄ＿ｔｒａｃｋ空間領域のコンポーネントトラックの数を指示する。
ｐａｃｋｅｄ＿ｔｒａｃｋ＿ｉｄ空間領域のコンポーネントトラック識別を指示する。
ｎｕｍ＿ｔｒａｃｋ＿ｇｒｏｕｐｓ空間領域のコンポーネントトラックグループの数を指示する。
ｃｏｍｐｏｎｅｎｔ＿ｔｒａｃｋ＿ｇｒｏｕｐ＿ｉｄ空間領域のコンポーネントトラックグループの識別を指示する。
３ＤｓｐａｔｉａｌＲｅｇｉｏｎＳｔｒｕｃｔ：単一の原始点群のうちの１つの点又は１つの空間領域を指示し、アンカー点のｘ、ｙ、ｚ座標及び領域範囲を指示するｃｕｂｏｉｄ＿ｄｘ、ｃｕｂｏｉｄ＿ｄｙ、ｃｕｂｏｉｄ＿ｄｚを含み、含まれたフィールドは、以下の通りである。
ｄｉｍｅｎｓｉｏｎｓ＿ｉｎｃｌｕｄｅｄ＿ｆｌａｇ：１つの空間領域次元が既に識別されているか否かを指示する識別子であり、空間領域の次元は同様な３ｄ＿ｒｅｇｉｏｎ＿ｉｄを有する１番目の３ＤＳｐａｔｉａｌＲｅｇｉｏｎＳｔｒｕｃｔインスタンスの次元と同様であり（例えば、前のサンプル又はＶ３ＣＳｐａｔｉａｌＲｅｇｉｏｎｓＢｏｘにおいて）、そして、該空間領域の次元は既に少なくとも１つの３ＤＳｐａｔｉａｌＲｅｇｉｏｎＳｔｒｕｃｔインスタンスで明確に指摘された場合、ｄｉｍｅｎｓｉｏｎｓ＿ｉｎｃｌｕｄｅｄ＿ｆｌａｇを０とすべきである。
３ｄ＿ｒｅｇｉｏｎ＿ｉｄ：空間領域の識別子。
ａｎｃｈｏｒ：デカルト座標系における３Ｄ空間領域アンカーとしての１つの３Ｄ点を指示し、３ＤＰｏｉｎｔ（）で指示される。
３ＤＰｏｉｎｔ（）に含まれるフィールドは、以下の通りである。
ｘ、ｚ、ｙ：デカルト座標系における１つの３Ｄ点のｘ、ｚ、ｙ座標値を指示する。
ＣｕｂｏｉｄＲｅｇｉｏｎＳｔｒｕｃｔ（）：デカルト座標系における１つの直方体領域を指示し、その中に含まれるフィールドは、以下の通りである。
ｂｂ＿ｄｘ、ｂｂ＿ｄｙ、ｂｂ＿ｄｚ：デカルト座標系における１つの３Ｄ空間領域がアンカー点に対するｘ、ｙ、ｚ軸での延在である。
ｒｅｇｉｏｎ＿ｑｕａｌｉｔｙ＿ｒａｎｋｉｎｇ：点群における１つの空間領域の品質レベルを指示する。
Ｃｏｍｐｏｎｅｎｔ＿ｔｒａｃｋ＿ｑｕａｌｉｔｙ＿ｒａｎｋｉｎｇ：点群における１つの空間領域のコンポーネントトラックグループ内の全てのコンポーネントトラックのジョイント品質レベルを指示する。
ｎｕｍ＿ｒｅｇｉｏｎｓ点群における三次元空間領域の数を指示する。
ｎｕｍ＿ｐａｃｋｅｄ＿ｔｒａｃｋ空間領域のコンポーネントトラックの数を指示する。
ｐａｃｋｅｄ＿ｔｒａｃｋ＿ｉｄ空間領域のコンポーネントトラック識別を指示する。
ｎｕｍ＿ｔｒａｃｋ＿ｇｒｏｕｐｓ空間領域のコンポーネントトラックグループの数を指示する。
ｃｏｍｐｏｎｅｎｔ＿ｔｒａｃｋ＿ｇｒｏｕｐ＿ｉｄ空間領域のコンポーネントトラックグループの識別を指示する。
３ＤｓｐａｔｉａｌＲｅｇｉｏｎＳｔｒｕｃｔ：単一の原始点群のうちの１つの点又は１つの空間領域を指示し、アンカー点のｘ、ｙ、ｚ座標及び領域範囲を指示するｃｕｂｏｉｄ＿ｄｘ、ｃｕｂｏｉｄ＿ｄｙ、ｃｕｂｏｉｄ＿ｄｚを含み、含まれたフィールドは、以下の通りである。
ｄｉｍｅｎｓｉｏｎｓ＿ｉｎｃｌｕｄｅｄ＿ｆｌａｇ：１つの空間領域次元が既に識別されているか否かを指示する識別子であり、空間領域の次元は同様な３ｄ＿ｒｅｇｉｏｎ＿ｉｄを有する１番目の３ＤＳｐａｔｉａｌＲｅｇｉｏｎＳｔｒｕｃｔインスタンスの次元と同様であり（例えば、前のサンプル又はＶ３ＣＳｐａｔｉａｌＲｅｇｉｏｎｓＢｏｘにおいて）、そして、該空間領域の次元は既に少なくとも１つの３ＤＳｐａｔｉａｌＲｅｇｉｏｎＳｔｒｕｃｔインスタンスで明確に指摘された場合、ｄｉｍｅｎｓｉｏｎｓ＿ｉｎｃｌｕｄｅｄ＿ｆｌａｇを０とすべきである。
３ｄ＿ｒｅｇｉｏｎ＿ｉｄ：空間領域の識別子。
ａｎｃｈｏｒ：デカルト座標系における３Ｄ空間領域アンカーとしての１つの３Ｄ点を指示し、３ＤＰｏｉｎｔ（）で指示される。
３ＤＰｏｉｎｔ（）に含まれるフィールドは、以下の通りである。
ｘ、ｚ、ｙ：デカルト座標系における１つの３Ｄ点のｘ、ｚ、ｙ座標値を指示する。
ＣｕｂｏｉｄＲｅｇｉｏｎＳｔｒｕｃｔ（）：デカルト座標系における１つの直方体領域を指示し、その中に含まれるフィールドは、以下の通りである。
ｂｂ＿ｄｘ、ｂｂ＿ｄｙ、ｂｂ＿ｄｚ：デカルト座標系における１つの３Ｄ空間領域がアンカー点に対するｘ、ｙ、ｚ軸での延在である。
【0070】
説明の便宜上、上記１組の指示情報記述を引用するが、例示が実施される時は、他の情報であってもよい。
【0071】
例示的に、１つの実現方式は、以下の通りである。
aligned(8) class V3CSpatialRegionsBox extends FullBox('vpsr', 0 ,0) {
bit(1) all_tiles_in_single_track_flag;
bit(7) reserved = 0;
unsigned int(16) num_regions;
for (i=0; i < num_regions; i++) {
unsigned int(8) region_quality_ranking;
3dSpatialRegionStruct(1);
if (all_tiles_in_single_track_flag) {
unsigned int(8) num_track_groups;
for (j=0; j < num_track_groups; j++) {
unsigned int(8) component_quality_ranking;
unsigned int(32) component_track_group_id;
unsigned int(8) num_tiles;
for (k=0; k < num_tiles; k++) {
unsigned int(16) tile_id;
}
}
} else {
unsigned int(8) num_tile_tracks;
for (j=0; j < num_tile_tracks; j++) {
unsigned int(32) tile_track_id;
}
}
}
aligned(8) class V3CSpatialRegionsBox extends FullBox('vpsr', 0 ,0) {
bit(1) all_tiles_in_single_track_flag;
bit(7) reserved = 0;
unsigned int(16) num_regions;
for (i=0; i < num_regions; i++) {
unsigned int(8) region_quality_ranking;
3dSpatialRegionStruct(1);
if (all_tiles_in_single_track_flag) {
unsigned int(8) num_track_groups;
for (j=0; j < num_track_groups; j++) {
unsigned int(8) component_quality_ranking;
unsigned int(32) component_track_group_id;
unsigned int(8) num_tiles;
for (k=0; k < num_tiles; k++) {
unsigned int(16) tile_id;
}
}
} else {
unsigned int(8) num_tile_tracks;
for (j=0; j < num_tile_tracks; j++) {
unsigned int(32) tile_track_id;
}
}
}
【0072】
例示的に、もう１つの実現方式は、以下の通りである。
aligned(8) class V3CSpatialRegionsBox extends FullBox('vpsr',0,0) {
unsigned int(16) num_regions;
for (i=0; i < num_regions; i++) {
3DSpatialRegionStruct(1);
unsigned int(8) region_quality_ranking;
unsigned int(8) num_track_groups;
for (j=0; j < num_track_groups; j++) {
unsigned int(32) track_group_id;
unsigned int(8) component_quality_ranking;
unsigned int(16) nal_group_id;
}
unsigned int(8) num_objects;
unsigned int(8) obj_idx_length;
for (j=0; j < num_objects; j++)
unsigned int(obj_idx_length * 8) soi_object_idx;
}
}
}
aligned(8) class V3CSpatialRegionsBox extends FullBox('vpsr',0,0) {
unsigned int(16) num_regions;
for (i=0; i < num_regions; i++) {
3DSpatialRegionStruct(1);
unsigned int(8) region_quality_ranking;
unsigned int(8) num_track_groups;
for (j=0; j < num_track_groups; j++) {
unsigned int(32) track_group_id;
unsigned int(8) component_quality_ranking;
unsigned int(16) nal_group_id;
}
unsigned int(8) num_objects;
unsigned int(8) obj_idx_length;
for (j=0; j < num_objects; j++)
unsigned int(obj_idx_length * 8) soi_object_idx;
}
}
}
【0073】
本出願の例示が実施される時に、前記ｒｅｇｉｏｎ＿ｑｕａｌｉｔｙ＿ｒａｎｋｉｎｇ及びｃｏｍｐｏｎｅｎｔ＿ｑｕａｌｉｔｙ＿ｒａｎｋｉｎｇ、のうちの一方のみを使用し、又は両方を使用してもよい。
【0074】
本出願の例示が実施される時に、上記１つ又は複数の例示的な実施形態を選択して組み合わせて実施することができる。
【0075】
五、属性記述モジュールで実行される属性記述ステップ。
【0076】
点群データを選択した後に、選択された点群が異なる空間領域、異なる品質レベルの点群データにより構成されるか否かを指示するための指示属性識別を生成する必要がある。異なる品質レベルは、（１）１つのコンポーネントトラックに含まれる異なるタイプの点群データには異なる品質レベルが存在する場合、（２）１つのコンポーネントトラックグループに含まれるコンポーネントトラックの点群データには異なる品質レベルが存在する場合、（３）１つの空間領域の複数のコンポーネントトラックグループが異なるジョイント品質レベルを有する場合、のうちの１つ又は複数の組み合わせを含む。
【0077】
１つの例示的な実施形態において、選択された伝送対象である点群が異なる空間領域の点群データにより構成される場合、該伝送対象である点群が異なる品質レベルの点群データにより構成されるか否かにかかわらず、該伝送対象である点群の指示属性識別に１つの値を付与する。選択された伝送対象である点群が１つの空間領域の点群データのみにより構成される場合、該伝送対象である点群の指示属性識別に別の値を付与する。
【0078】
１つの例示的な実施形態において、異なる空間領域、異なる品質レベルの点群データが存在する点群の指示属性識別をｖ３ｃ＿ｓｒｑｒとする。伝送シグナリングには、ニーズに応じて以下のような１つ又は複数のフィールドを適切に追加してもよい。
Ｖ３Ｃ＿ｉｎｆｏｒｍａｔｉｏｎ＿ｄｅｓｃｒｉｐｔｏｒ（）：点群内容の記述子を表す。
ｄｅｓｃｒｉｐｔｏｒ＿ｔａｇ：記述子のタイプを表す。
ｄｅｓｃｒｉｐｔｏｒ＿ｌｅｎｇｔｈ：該フィールドの次のバイトからｄｅｓｃｒｉｐｔｏｒの最後のバイトまでのバイト長さを指定する。
ｖ３ｃ＿ｓｒｐｒ＿ｆｌａｇ：異なる領域における点群データの品質が異なる点群が存在することを表す。
Ｖ３ＣｓｐａｔｉａｌＲｅｇｉｏｎｓＢｏｘ：点群における空間領域を指示する。
具体的には、下記の表に示すとおりである。
Ｖ３Ｃ＿ｉｎｆｏｒｍａｔｉｏｎ＿ｄｅｓｃｒｉｐｔｏｒ（）：点群内容の記述子を表す。
ｄｅｓｃｒｉｐｔｏｒ＿ｔａｇ：記述子のタイプを表す。
ｄｅｓｃｒｉｐｔｏｒ＿ｌｅｎｇｔｈ：該フィールドの次のバイトからｄｅｓｃｒｉｐｔｏｒの最後のバイトまでのバイト長さを指定する。
ｖ３ｃ＿ｓｒｐｒ＿ｆｌａｇ：異なる領域における点群データの品質が異なる点群が存在することを表す。
Ｖ３ＣｓｐａｔｉａｌＲｅｇｉｏｎｓＢｏｘ：点群における空間領域を指示する。
具体的には、下記の表に示すとおりである。
【表1】
【0079】
１つの原始点群が異なる空間領域、異なる品質レベルの点群データにより構成される場合、ｖ３ｃ＿ｓｒｐｒ＿ｆｌａｇを１とし、Ｖ３ＣＳｐａｔｉａｌＲｅｇｉｏｎＢｏｘで各空間領域を指示した。１つの原始点群が異なる空間領域、１つの品質レベルの点群データにより構成される場合、ｖ３ｃ＿ｓｒｐｒ＿ｆｌａｇを１とし、Ｖ３ＣＳｐａｔｉａｌＲｅｇｉｏｎＢｏｘで各空間領域を指示した。そうでない場合、ｖ３ｃ＿ｓｒｐｒ＿ｆｌａｇを０とする。
【0080】
１つの伝送対象である点群が１つの指示属性識別に対応し、該伝送対象である点群の指示属性識別を該伝送対象である点群により形成されたメディアコードストリームに書き込む。
【0081】
六、カプセル化モジュールで実行されるカプセル化ステップ。
【0082】
伝送対象である点群の空間領域の品質指示情報及び／又は指示属性識別を伝送対象である点群の空間領域から選択された点群データにより形成されたメディアコードストリームに書き込む。
【0083】
伝送対象である点群の空間領域の品質指示情報を伝送対象である点群の空間領域に対応するメディアコードストリームに書き込み、１つの伝送対象である点群の各空間領域に対応するメディアコードストリームをまとめて配置し、該伝送対象である点群のメディアコードストリームを形成する。そのうち、指示属性識別は該点群のメディアコードストリームに書き込んでもよく、空間領域の品質指示情報に統一的に存在してもよい。
【0084】
決定された関連点群は１つの伝送対象である点群だけの場合、空間領域の品質指示情報及び／又は指示属性識別を対応する空間領域から選択された点群データにより形成されたメディアコードストリームに書き込む。決定された関連点群は複数の伝送対象である点群である場合、各伝送対象である点群に対してそれぞれ上記カプセル化のステップを行う。
【0085】
七、伝送モジュールで実行される伝送ステップ。
【0086】
メディアコードストリームを受信側に伝送する。
【0087】
伝送方法に対応して、受信側は三次元点群の受信方法を実行し、以下のステップを含む。
受信されたメディアコードストリームから点群の指示属性識別を解析し、受信された点群が異なる空間領域の点群データにより構成されるか否かを判断し、このステップは識別解析モジュールで実行される。
判断結果が「はい」である場合、該伝送対象である点群の各空間領域の品質指示情報を解析し、このステップは品質指示情報解析モジュールで実行される。
点群の指示属性識別及び／又は各空間領域の品質指示情報と結び付けて、メディアコードストリームをデコードし、点群データを得て、このステップはデコードモジュールで実行される。
デコードした点群データをレンダリング及び提示し、このステップはレンダリングモジュールで実行される。
受信されたメディアコードストリームから点群の指示属性識別を解析し、受信された点群が異なる空間領域の点群データにより構成されるか否かを判断し、このステップは識別解析モジュールで実行される。
判断結果が「はい」である場合、該伝送対象である点群の各空間領域の品質指示情報を解析し、このステップは品質指示情報解析モジュールで実行される。
点群の指示属性識別及び／又は各空間領域の品質指示情報と結び付けて、メディアコードストリームをデコードし、点群データを得て、このステップはデコードモジュールで実行される。
デコードした点群データをレンダリング及び提示し、このステップはレンダリングモジュールで実行される。
【0088】
ユーザ側がデータコードストリームをデカプセル化し、受信された点群の異なる空間領域に重なり部分がある場合、空間領域の品質指示情報に基づいて重なり部分に対して高品質の点群データを選択してレンダリングする。
【0089】
人の目は視野範囲内で一定角度内の情報にしか敏感ではないため、ユーザが点群メディアファイルを消費する時に、低関心度領域の点群品質の低下は、全体の感知品質に影響を与えない。通常異なる品質の点群に対応するデータ量も異なり、高品質の点群に対応するデータ量もより大きい。そのため、三次元点群メディアデータのカプセル化情報を拡張することにより、三次元点群の異なる領域に異なる品質レベル情報を割り当て、品質レベル情報に基づいてエンコード過程において異なる品質の点群データを得て、異なる領域における品質が異なる点群データの伝送の目的に達し、最終的に伝送過程におけるデータ量を有効的に減少させ、伝送過程における帯域幅リソースを節約することができる。
【0090】
当業者には、本出願が提供するシステム及びその複数の装置、モジュール、ユニットを純粋なコンピュータ読み取り可能なプログラムコード方式で実現する以外に、当然方法ステップに対して論理プログラミングを行うことにより、本出願が提供するシステム及びその複数の装置、モジュール、ユニットを論理ゲート、スイッチ、専用集積回路、プログラマブルロジックコントローラや組み込みマイクロコントローラなどの形式で同じ機能を実現することができるということが知られている。よって、本出願が提供するシステム及びその複数の装置、モジュール、ユニットはハードウェア部品と見なされてもよく、その中に含まれる様々な機能を実現するための装置、モジュール、ユニットはハードウェア部品内の構造と見なされてもよく、複数の機能を実現するための装置、モジュール、ユニットは、方法を実現するソフトウェアモジュールであってもよいし、ハードウェア部品内の構造であってもよいと見なされてもよい。
【0091】
本出願の技術方案は、三次元点群メディアデータのカプセル化情報を拡張し、シグナリングには点群の指示属性識別及び各空間領域の品質指示情報が加えられ、ユーザ側は空間領域の品質指示情報に基づいて重なり空間領域に対して高い品質の点群データを選択してレンダリングすることができる。本出願に係る方法及び装置は、伝送過程における点群データ量を減少させることができる。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【手続補正書】
【提出日】2023-09-14
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
原始点群の点群データを解析し、伝送対象である点群の空間領域の品質レベルを決定することと、前記伝送対象である点群の空間領域の品質レベルに基づいて、前記伝送対象である点群の空間領域における点群データを選択してメディアコードストリームを生成することと、
選択された前記伝送対象である点群の空間領域における点群データに基づいて前記伝送対象である点群の空間領域の品質指示情報を決定し、前記伝送対象である点群の空間領域の品質指示情報を前記メディアコードストリームに書き込むことと、
前記メディアコードストリームを伝送することと、を含み、
前記原始点群が異なる空間領域、異なる品質レベルの点群データにより構成され、前記伝送対象である点群の空間領域は少なくとも１つであり、各空間領域は少なくとも１つの品質レベルの点群データを含み、前記伝送対象である点群の空間領域の品質指示情報は前記伝送対象である点群の空間領域の品質レベルを含む、三次元点群の伝送方法。
【請求項2】
前記各空間領域は少なくとも１つのコンポーネントトラックグループを含み、１つのコンポーネントトラックグループは少なくとも１つのコンポーネントトラックを含み、前記各コンポーネントトラックは少なくとも１つのタイプの点群データを含み、各タイプの点群データは少なくとも１つの品質レベルを含み、前記伝送対象である点群の空間領域の品質レベルを決定することは、前記伝送対象である点群の各空間領域の各コンポーネントトラックグループのうちのコンポーネントトラックの品質レベルを決定することと、
前記伝送対象である点群の各空間領域における各コンポーネントトラックグループのジョイント品質レベルを決定することと、を含み、
前記各コンポーネントトラックグループのジョイント品質レベルは各前記コンポーネントトラックグループに含まれる各コンポーネントトラックの品質レベルによって決定され、各コンポーネントトラックの品質レベルが各コンポーネントトラックに含まれる少なくとも１つのタイプの点群データの品質レベルに基づいて決定される、請求項１に記載の三次元点群の伝送方法。
【請求項3】
前記伝送対象である点群の空間領域の品質指示情報を決定した後に、前記伝送対象である点群の空間領域の品質指示情報に基づいて、前記伝送対象である点群の指示属性識別を決定することと、
前記伝送対象である点群の指示属性識別を前記メディアコードストリームに書き込むことと、をさらに含み、
前記伝送対象である点群の指示属性識別は、前記伝送対象である点群が異なる空間領域、異なる品質レベルの点群データにより構成されるか否か、前記伝送対象である点群に含まれる空間領域、のうちの少なくとも１つを指示するために用いられる、請求項１に記載の三次元点群の伝送方法。
【請求項4】
前記伝送対象である点群の空間領域の品質レベルに基づいて、伝送対象である点群の空間領域における点群データを選択してメディアコードストリームを生成することは、前記伝送対象である点群の空間領域における各コンポーネントトラックグループのジョイント品質レベルに基づいて、前記伝送対象である点群の空間領域における各コンポーネントトラックグループに含まれるコンポーネントトラックの点群データを選択し、前記伝送対象である点群の空間領域の各コンポーネントトラックグループの点群データを形成して、メディアコードストリームを生成することを含む、請求項２に記載の三次元点群の伝送方法。
【請求項5】
前記伝送対象である点群の空間領域の品質指示情報は、空間領域の数、空間領域の識別、空間領域の位置、空間領域の次元、空間領域のサイズ、空間領域のコンポーネントトラックの数、空間領域のコンポーネントトラックの識別、空間領域のコンポーネントトラックグループのタイプ、空間領域のコンポーネントトラックグループの数、空間領域のコンポーネントトラックグループの識別、のうちの少なくとも１つをさらに含む、請求項１に記載の三次元点群の伝送方法。
【請求項6】
受信されたメディアコードストリームから伝送対象である点群の空間領域の品質指示情報を解析することと、前記伝送対象である点群の空間領域の品質指示情報に基づいて、前記メディアコードストリームをデコードし、前記伝送対象である点群の点群データを得ることと、
前記伝送対象である点群の点群データをレンダリングすることと、を含み、
前記点群データは前記伝送対象である点群のうちの異なる空間領域、異なる品質レベルの点群データであり、前記空間領域の品質指示情報は空間領域の品質レベルを含む、三次元点群の受信方法。
【請求項7】
前記受信されたメディアコードストリームから伝送対象である点群の空間領域の品質指示情報を解析する前に、受信されたメディアコードストリームから前記伝送対象である点群の指示属性識別を解析し、前記伝送対象である点群の指示属性識別に基づいて前記伝送対象である点群が異なる空間領域の点群データにより構成されるか否かを判断することをさらに含む、請求項６に記載の三次元点群の受信方法。
【請求項8】
原始点群の点群データを解析するように構成される点群解析モジュールと、伝送対象である点群の空間領域の品質レベルを決定するように構成される品質レベル確認モジュールと、
前記伝送対象である点群の空間領域の前記品質レベルに基づいて、前記伝送対象である点群の空間領域における点群データを選択してメディアコードストリームを生成するように構成される点群データ選択モジュールと、
選択された前記伝送対象である点群の空間領域における点群データに基づいて前記伝送対象である点群の空間領域の品質指示情報を決定するように構成される品質指示情報確認モジュールと、
前記伝送対象である点群の空間領域の品質指示情報を、前記メディアコードストリームに書き込むように構成されるカプセル化モジュールと、
前記メディアコードストリームを伝送するように構成される伝送モジュールと、を含み、
前記原始点群が異なる空間領域、異なる品質レベルの点群データにより構成され、前記伝送対象である点群の空間領域は少なくとも１つであり、各空間領域は少なくとも１つの品質レベルの点群データを含み、前記伝送対象である点群の空間領域の品質指示情報は前記伝送対象である点群の空間領域の品質レベルを含む、三次元点群の伝送装置。
【請求項9】
前記伝送対象である点群の空間領域の品質指示情報に基づいて、前記伝送対象である点群の指示属性識別を決定するように構成される属性記述モジュールと、前記伝送対象である点群の指示属性識別を、前記メディアコードストリームに書き込むようにさらに構成される前記カプセル化モジュールと、をさらに含む、請求項８に記載の三次元点群の伝送装置。
【請求項10】
受信されたメディアコードストリームから伝送対象である点群の空間領域の品質指示情報を解析するように構成される品質指示情報解析モジュールと、前記伝送対象である点群の空間領域の品質指示情報に基づいて、前記メディアコードストリームをデコードし、前記伝送対象である点群の点群データを得るように構成されるデコードモジュールと、
前記伝送対象である点群の点群データをレンダリングするように構成されるレンダリングモジュールと、を含み、
前記点群データは前記伝送対象である点群のうちの異なる空間領域、異なる品質レベルの点群データであり、前記空間領域の品質指示情報は空間領域の品質レベルを含む、三次元点群の受信装置。
【請求項11】
受信されたメディアコードストリームから前記伝送対象である点群の指示属性識別を解析し、前記伝送対象である点群の指示属性識別に基づいて前記伝送対象である点群が異なる空間領域の点群データにより構成されるか否かを判断するように構成される識別解析モジュールをさらに含む、請求項１０に記載の三次元点群の受信装置。
【請求項12】
コンピュータ読取可能な記憶媒体であって、前記コンピュータ読取可能な記憶媒体にコンピュータプログラムが記憶され、前記コンピュータプログラムがプロセッサにより実行されると、請求項１～５のいずれか一項に記載の三次元点群の伝送方法または請求項６～７のいずれか一項に記載の三次元点群の受信方法を実現する、コンピュータ読取可能な記憶媒体。
【国際調査報告】