(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-12-05
(54)【発明の名称】非時系列ポイントクラウドメディアの処理方法、装置、機器、及びコンピュータプログラム
(51)【国際特許分類】
H04N 21/2668 20110101AFI20231128BHJP
H04N 21/462 20110101ALI20231128BHJP
H04N 21/4728 20110101ALI20231128BHJP
【FI】
H04N21/2668
H04N21/462
H04N21/4728
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2023530295
(86)(22)【出願日】2021-11-17
(85)【翻訳文提出日】2023-05-18
(86)【国際出願番号】 CN2021131037
(87)【国際公開番号】W WO2022111343
(87)【国際公開日】2022-06-02
(31)【優先権主張番号】202011347626.1
(32)【優先日】2020-11-26
(33)【優先権主張国・地域又は機関】CN
(81)【指定国・地域】
(71)【出願人】
【識別番号】517392436
【氏名又は名称】▲騰▼▲訊▼科技(深▲セン▼)有限公司
(74)【代理人】
【識別番号】100110364
【氏名又は名称】実広 信哉
(74)【代理人】
【識別番号】100150197
【氏名又は名称】松尾 直樹
(72)【発明者】
【氏名】胡 ▲穎▼
【テーマコード(参考)】
5C164
【Fターム(参考)】
5C164FA06
5C164MB43S
5C164SA26S
5C164SB08S
5C164SC05P
5C164UB10S
5C164UC21P
5C164UD44P
(57)【要約】
本願は、非時系列ポイントクラウドメディアの処理方法、装置、機器、及び記憶媒体を提供しており、該方法は、GPCC符号化方式によって静的な物体の非時系列ポイントクラウドデータに対して処理を行い、GPCCビットストリームを得るステップと、GPCCビットストリームに対してカプセル化を行い、少なくとも1つのGPCC領域のアイテムを生成するステップと、少なくとも1つのGPCC領域のアイテムに対してカプセル化を行い、静的な物体の少なくとも1つの非時系列ポイントクラウドメディアを生成するステップと、少なくとも1つの非時系列ポイントクラウドメディアのMPDシグナリングを送信するステップと、ビデオ再生機器が送信した第1要求メッセージを受信するステップと、第1非時系列ポイントクラウドメディアを送信するステップと、を含み、GPCC領域のアイテムは、GPCC領域に対応する三次元3D空間領域のGPCC成分を表すことに用いられ、非時系列ポイントクラウドメディアは、静的な物体の識別子を含み、それによってユーザーは、同一の静的な物体の非時系列ポイントクラウドメディアを複数回に分け、且つ意図的に要求することができ、それによってユーザーの体験感を向上させる。
【特許請求の範囲】
【請求項1】
ビデオ制作機器により実行される、非時系列ポイントクラウドメディアの処理方法であって、前記方法は、
静的な物体の非時系列ポイントクラウドデータを取得するステップと、
幾何学的モデルに基づくポイントクラウド圧縮GPCC符号化方式によって前記非時系列ポイントクラウドデータに対して処理を行い、GPCCビットストリームを得るステップと、
前記GPCCビットストリームに対してカプセル化を行い、少なくとも1つのGPCC領域のアイテムを生成するステップであって、前記GPCC領域のアイテムは、前記GPCC領域に対応する三次元3D空間領域のGPCC成分を表すことに用いられる、ステップと、
前記少なくとも1つのGPCC領域のアイテムに対してカプセル化を行い、前記静的な物体の少なくとも1つの非時系列ポイントクラウドメディアを生成するステップであって、前記非時系列ポイントクラウドメディアは、前記静的な物体の識別子を含む、ステップと、
ビデオ再生機器に前記少なくとも1つの非時系列ポイントクラウドメディアのメディア提示記述MPDシグナリングを送信するステップと、
前記ビデオ再生機器が前記MPDシグナリングに基づいて送信した第1要求メッセージを受信するステップであって、前記第1要求メッセージは、前記少なくとも1つの非時系列ポイントクラウドメディアのうちの第1非時系列ポイントクラウドメディアを要求することに用いられる、ステップと、
前記第1要求メッセージに基づいて、前記ビデオ再生機器に前記第1非時系列ポイントクラウドメディアを送信するステップと、を含む、非時系列ポイントクラウドメディアの処理方法。
【請求項2】
ターゲットGPCC領域のアイテムは、3D空間領域のアイテム属性を含み、前記3D空間領域のアイテム属性は、第1識別子と第2識別子とを含み、
前記ターゲットGPCC領域は、前記少なくとも1つのGPCC領域のうちの1つのGPCC領域であり、前記第1識別子は、前記ターゲットGPCC領域に対応するターゲット3D空間領域が複数のサブ空間領域に分割されるか否かを識別することに用いられ、前記第2識別子は、前記ターゲットGPCC領域がGPCC tile符号化方式を採用するか否かを識別することに用いられる、請求項1に記載の方法。
【請求項3】
もし前記ターゲットGPCC領域に対応するターゲット3D空間領域が複数のサブ空間領域に分割されるなら、前記3D空間領域のアイテム属性は、前記複数のサブ空間領域のそれぞれの情報と前記ターゲット3D空間領域の情報とをさらに含む、請求項2に記載の方法。
【請求項4】
前記複数のサブ空間領域のうちのいずれか1つのサブ空間領域に対しては、前記サブ空間領域の情報は、前記サブ空間領域の識別子と、前記サブ空間領域の位置情報と、前記ターゲットGPCC領域がGPCC tile符号化を採用するときに、前記サブ空間領域におけるtile識別子と、のうちの少なくとも1つを含み、
前記ターゲット3D空間領域の情報は、前記ターゲット3D空間領域の識別子と、前記ターゲット3D空間領域の位置情報と、前記ターゲット3D空間領域に含まれるサブ空間領域の数量と、のうちの少なくとも1つを含む、請求項3に記載の方法。
【請求項5】
もし前記ターゲットGPCC領域に対応するターゲット3D空間領域が複数のサブ空間領域に分割されるなら、前記3D空間領域のアイテム属性は、第3識別子をさらに含み、
前記第3識別子の取り得る値が第1数値、又は空であるときに、前記ターゲットGPCC領域に対応するアイテムが前記ビデオ再生機器により初期に提示されるアイテムである場合、前記ターゲット3D空間領域、及び前記ターゲット3D空間領域のサブ空間領域に対しては、前記ビデオ再生機器に前記ターゲット3D空間領域が初期に提示されることを表し、
前記第3識別子の取り得る値が第2数値であるときに、前記ターゲットGPCC領域に対応するアイテムが前記ビデオ再生機器により初期に提示されるアイテムである場合、前記ターゲット3D空間領域、及び前記ターゲット3D空間領域のサブ空間領域に対しては、前記ビデオ再生機器に、前記ターゲット3D空間領域における前記第2数値に対応したサブ空間領域が初期に提示されることを表す、請求項2~4のいずれか一項に記載の方法。
【請求項6】
もし前記ターゲットGPCC領域に対応するターゲット3D空間領域が複数のサブ空間領域に分割されていないなら、前記3D空間領域のアイテム属性は、前記ターゲット3D空間領域の情報をさらに含む、請求項2に記載の方法。
【請求項7】
前記ターゲット3D空間領域の情報は、前記ターゲット3D空間領域の識別子と、前記ターゲット3D空間領域の位置情報と、前記ターゲットGPCC領域がGPCC tile符号化を採用するときに、前記ターゲット3D空間領域におけるtile識別子と、のうちの少なくとも1つを含む、請求項6に記載の方法。
【請求項8】
前記少なくとも1つのGPCC領域のアイテムに対してカプセル化を行い、前記静的な物体の少なくとも1つの非時系列ポイントクラウドメディアを生成する前記ステップは、
もし前記少なくとも1つのGPCC領域のアイテムが1つであるなら、1つのGPCC領域のアイテムを1つの非時系列ポイントクラウドメディアとしてカプセル化するステップと、
もし前記少なくとも1つのGPCC領域のアイテムがN個であるなら、N個のGPCC領域のアイテムをM個の非時系列ポイントクラウドメディアとしてカプセル化するステップと、を含み、
Nは1より大きい整数であり、1≦M≦Nであり、Mは整数である、請求項1~4のいずれか一項に記載の方法。
【請求項9】
第2非時系列ポイントクラウドメディアは、GPCCアイテムグループボックスを含み、
前記第2非時系列ポイントクラウドメディアは、前記少なくとも1つの非時系列ポイントクラウドメディアのうちの、複数のGPCC領域のアイテムを含むいずれか1つの非時系列ポイントクラウドメディアであり、前記GPCCアイテムグループボックスは、前記複数のGPCC領域のアイテムを関連付けることに用いられる、請求項1~4のいずれか一項に記載の方法。
【請求項10】
前記GPCCアイテムグループボックスは、第4識別子を含み、
前記第4識別子は、前記複数のGPCC領域のアイテムのうちの、前記ビデオ再生機器に初期に提示されるアイテムの識別子である、請求項9に記載の方法。
【請求項11】
前記GPCCアイテムグループボックスは、第5識別子を含み、
もし前記第5識別子の取り得る値が第3数値であるなら、前記複数のGPCC領域のアイテムが前記静的な物体の完全なGPCCフレームを構成することを表し、
もし前記第5識別子の取り得る値が第4数値であるなら、前記複数のGPCC領域のアイテムが前記静的な物体の一部のGPCCフレームを構成することを表す、請求項9に記載の方法。
【請求項12】
前記GPCCアイテムグループボックスは、前記複数のGPCC領域が構成したGPCC領域の位置情報を含む、請求項9に記載の方法。
【請求項13】
前記第1要求メッセージに基づいて、前記ビデオ再生機器に前記第1非時系列ポイントクラウドメディアを送信する前記ステップの後、前記方法は、
前記ビデオ再生機器が前記静的な物体の識別子に基づき送信した第2要求メッセージを受信するステップであって、前記第2要求メッセージは、前記少なくとも1つの非時系列ポイントクラウドメディアのうちの第3非時系列ポイントクラウドメディアを要求することに用いられる、ステップと、
前記第2要求メッセージに基づいて、前記ビデオ再生機器に前記第3非時系列ポイントクラウドメディアを送信するステップと、をさらに含む、請求項1~4のいずれか一項に記載の方法。
【請求項14】
ビデオ再生機器により実行される、非時系列ポイントクラウドメディアの処理方法であって、前記方法は、
少なくとも1つの非時系列ポイントクラウドメディアのMPDシグナリングを受信するステップであって、前記非時系列ポイントクラウドメディアは、静的な物体の識別子を含む、ステップと、
前記MPDシグナリングに基づいてビデオ制作機器に第1要求メッセージを送信するステップであって、前記第1要求メッセージは、前記少なくとも1つの非時系列ポイントクラウドメディアのうちの第1非時系列ポイントクラウドメディアを要求することに用いられる、ステップと、
前記ビデオ制作機器から前記第1非時系列ポイントクラウドメディアを受信するステップと、
前記第1非時系列ポイントクラウドメディアを再生するステップと、を含み、
前記少なくとも1つの非時系列ポイントクラウドメディアは、少なくとも1つのポイントクラウド圧縮GPCC領域のアイテムに対してカプセル化を行って生成して得られたものであり、前記少なくとも1つのGPCC領域のアイテムは、GPCCビットストリームに対してカプセル化を行って生成されたものであり、前記GPCCビットストリームは、GPCC符号化方式によって静的な物体の非時系列ポイントクラウドデータに対して処理を行って得られたものであり、
前記少なくとも1つのGPCC領域のアイテムのうちのいずれか1つのGPCC領域のアイテムに対しては、前記GPCC領域のアイテムは、前記GPCC領域に対応する3D空間領域のGPCC成分を表すことに用いられる、非時系列ポイントクラウドメディアの処理方法。
【請求項15】
ターゲットGPCC領域のアイテムは、3D空間領域のアイテム属性を含み、前記3D空間領域のアイテム属性は、第1識別子と第2識別子とを含み、
前記ターゲットGPCC領域は、前記少なくとも1つのGPCC領域のうちの1つのGPCC領域であり、前記第1識別子は、前記ターゲットGPCC領域に対応するターゲット3D空間領域が複数のサブ空間領域に分割されるか否かを識別することに用いられ、前記第2識別子は、前記ターゲットGPCC領域がGPCC tile符号化方式を採用するか否かを識別することに用いられる、請求項14に記載の方法。
【請求項16】
もし前記ターゲットGPCC領域に対応するターゲット3D空間領域が複数のサブ空間領域に分割されるなら、前記3D空間領域のアイテム属性は、前記複数のサブ空間領域のそれぞれの情報と前記ターゲット3D空間領域の情報とをさらに含む、請求項15に記載の方法。
【請求項17】
前記複数のサブ空間領域のうちのいずれか1つのサブ空間領域に対しては、前記サブ空間領域の情報は、前記サブ空間領域の識別子と、前記サブ空間領域の位置情報と、前記ターゲットGPCC領域がGPCC tile符号化を採用するときに、前記サブ空間領域におけるtile識別子と、のうちの少なくとも1つを含み、
前記ターゲット3D空間領域の情報は、前記ターゲット3D空間領域の識別子と、前記ターゲット3D空間領域の位置情報と、前記ターゲット3D空間領域に含まれるサブ空間領域の数量と、のうちの少なくとも1つを含む、請求項16に記載の方法。
【請求項18】
もし前記ターゲットGPCC領域に対応するターゲット3D空間領域が複数のサブ空間領域に分割されるなら、前記3D空間領域のアイテム属性は、第3識別子をさらに含み、
前記第3識別子の取り得る値が第1数値、又は空であるときに、前記ターゲットGPCC領域に対応するアイテムが前記ビデオ再生機器により初期に提示されるアイテムである場合、前記ターゲット3D空間領域、及び前記ターゲット3D空間領域のサブ空間領域に対しては、前記ビデオ再生機器に前記ターゲット3D空間領域が初期に提示されることを表し、
前記第3識別子の取り得る値が第2数値であるときに、前記ターゲットGPCC領域に対応するアイテムが前記ビデオ再生機器により初期に提示されるアイテムである場合、前記ターゲット3D空間領域、及び前記ターゲット3D空間領域のサブ空間領域に対しては、前記ビデオ再生機器に、前記ターゲット3D空間領域における前記第2数値に対応したサブ空間領域が初期に提示されることを表す、請求項15~17のいずれか一項に記載の方法。
【請求項19】
もし前記ターゲットGPCC領域に対応するターゲット3D空間領域が複数のサブ空間領域に分割されていないなら、前記3D空間領域のアイテム属性は、前記ターゲット3D空間領域の情報をさらに含む、請求項15に記載の方法。
【請求項20】
前記ターゲット3D空間領域の情報は、前記ターゲット3D空間領域の識別子と、前記ターゲット3D空間領域の位置情報と、前記ターゲットGPCC領域がGPCC tile符号化を採用するときに、前記ターゲット3D空間領域におけるtile識別子と、のうちの少なくとも1つを含む、請求項19に記載の方法。
【請求項21】
もし前記少なくとも1つのGPCC領域のアイテムが1つであるなら、1つのGPCC領域のアイテムは、1つの非時系列ポイントクラウドメディアとしてカプセル化され、
もし前記少なくとも1つのGPCC領域のアイテムがN個であるなら、N個のGPCC領域のアイテムは、M個の非時系列ポイントクラウドメディアとしてカプセル化され、
Nは1より大きい整数であり、1≦M≦Nであり、Mは整数である、請求項14~17のいずれか一項に記載の方法。
【請求項22】
第2非時系列ポイントクラウドメディアは、GPCCアイテムグループボックスを含み、
前記第2非時系列ポイントクラウドメディアは、前記少なくとも1つの非時系列ポイントクラウドメディアのうちの、複数のGPCC領域のアイテムを含むいずれか1つの非時系列ポイントクラウドメディアであり、前記GPCCアイテムグループボックスは、前記複数のGPCC領域のアイテムを関連付けることに用いられる、請求項14~17のいずれか一項に記載の方法。
【請求項23】
前記GPCCアイテムグループボックスは、第4識別子を含み、
前記第4識別子は、前記複数のGPCC領域のアイテムのうちの、前記ビデオ再生機器に初期に提示されるアイテムの識別子である、請求項22に記載の方法。
【請求項24】
前記GPCCアイテムグループボックスは、第5識別子を含み、
もし前記第5識別子の取り得る値が第3数値であるなら、前記複数のGPCC領域のアイテムが前記静的な物体の完全なGPCCフレームを構成することを表し、
もし前記第5識別子の取り得る値が第4数値であるなら、前記複数のGPCC領域のアイテムが前記静的な物体の一部のGPCCフレームを構成することを表す、請求項22に記載の方法。
【請求項25】
前記GPCCアイテムグループボックスは、前記複数のGPCC領域が構成したGPCC領域の位置情報を含む、請求項22に記載の方法。
【請求項26】
前記ビデオ制作機器から前記第1非時系列ポイントクラウドメディアを受信する前記ステップの後、前記方法は、
前記MPDシグナリングに基づいて、前記静的な物体の識別子に基づきビデオ制作機器に第2要求メッセージを送信するステップであって、前記第2要求メッセージは、前記少なくとも1つの非時系列ポイントクラウドメディアのうちの第3非時系列ポイントクラウドメディアを要求することに用いられる、ステップと、
前記ビデオ制作機器から前記第3非時系列ポイントクラウドメディアを受信するステップと、
前記第3非時系列ポイントクラウドメディアを再生するステップと、をさらに含む、請求項14~17のいずれか一項に記載の方法。
【請求項27】
非時系列ポイントクラウドメディアの処理装置であって、処理ユニットと通信ユニットとを含み、
前記処理ユニットは、
静的な物体の非時系列ポイントクラウドデータを取得することと、
GPCC符号化方式によって前記非時系列ポイントクラウドデータに対して処理を行い、GPCCビットストリームを得ることと、
前記GPCCビットストリームに対してカプセル化を行い、少なくとも1つのGPCC領域のアイテムを生成することであって、前記GPCC領域のアイテムは、前記GPCC領域に対応する三次元3D空間領域のGPCC成分を表すことに用いられる、ことと、
前記少なくとも1つのGPCC領域のアイテムに対してカプセル化を行い、前記静的な物体の少なくとも1つの非時系列ポイントクラウドメディアを生成することであって、前記非時系列ポイントクラウドメディアは、前記静的な物体の識別子を含む、ことと、
ビデオ再生機器に前記少なくとも1つの非時系列ポイントクラウドメディアのMPDシグナリングを送信することと、に用いられ、
前記通信ユニットは、
前記ビデオ再生機器が前記MPDシグナリングに基づいて送信した第1要求メッセージを受信することであって、前記第1要求メッセージは、前記少なくとも1つの非時系列ポイントクラウドメディアのうちの第1非時系列ポイントクラウドメディアを要求することに用いられる、ことと、
前記第1要求メッセージに基づいて、前記ビデオ再生機器に前記第1非時系列ポイントクラウドメディアを送信することと、に用いられる、非時系列ポイントクラウドメディアの処理装置。
【請求項28】
非時系列ポイントクラウドメディアの処理装置であって、処理ユニットと通信ユニットとを含み、
前記通信ユニットは、
少なくとも1つの非時系列ポイントクラウドメディアのMPDシグナリングを受信することであって、前記非時系列ポイントクラウドメディアは、静的な物体の識別子を含む、ことと、
前記MPDシグナリングに基づいてビデオ制作機器に第1要求メッセージを送信することであって、前記第1要求メッセージは、前記少なくとも1つの非時系列ポイントクラウドメディアのうちの第1非時系列ポイントクラウドメディアを要求することに用いられる、ことと、
前記ビデオ制作機器から前記第1非時系列ポイントクラウドメディアを受信することと、に用いられ、
前記処理ユニットは、前記第1非時系列ポイントクラウドメディアを再生することに用いられ、
前記少なくとも1つの非時系列ポイントクラウドメディアは、少なくとも1つのポイントクラウド圧縮GPCC領域のアイテムに対してカプセル化を行って生成して得られたものであり、前記少なくとも1つのGPCC領域のアイテムは、GPCCビットストリームに対してカプセル化を行って生成されたものであり、前記GPCCビットストリームは、GPCC符号化方式によって静的な物体の非時系列ポイントクラウドデータに対して処理を行って得られたものであり、
前記少なくとも1つのGPCC領域のアイテムのうちのいずれか1つのGPCC領域のアイテムに対しては、前記GPCC領域のアイテムは、前記GPCC領域に対応する3D空間領域のGPCC成分を表すことに用いられる、非時系列ポイントクラウドメディアの処理装置。
【請求項29】
ビデオ制作機器であって、
プロセッサとメモリとを含み、前記メモリは、コンピュータプログラムを記憶することに用いられ、前記プロセッサは、前記メモリにおいて記憶されるコンピュータプログラムを呼び出して作動させることで、請求項1~13のうちのいずれか一項に記載の方法を実行することに用いられる、ビデオ制作機器。
【請求項30】
ビデオ再生機器であって、
プロセッサとメモリとを含み、前記メモリは、コンピュータプログラムを記憶することに用いられ、前記プロセッサは、前記メモリにおいて記憶されるコンピュータプログラムを呼び出して作動させることで、請求項14~26のうちのいずれか一項に記載の方法を実行することに用いられる、ビデオ再生機器。
【請求項31】
コンピュータ可読記憶媒体であって、コンピュータプログラムを記憶することに用いられ、前記コンピュータプログラムは、コンピュータに請求項1~13のうちのいずれか一項に記載の方法を実行させ、又は請求項14~26のうちのいずれか一項に記載の方法を実行させる、コンピュータ可読記憶媒体。
【請求項32】
命令を含むコンピュータプログラム製品であって、コンピュータにおいて作動するときに、前記コンピュータに請求項1~13のうちのいずれか一項に記載の方法を実行させる、又は請求項14~26のうちのいずれか一項に記載の方法を実行させる、コンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【0001】
本願の実施例は、コンピュータの技術分野に関し、特に非時系列ポイントクラウドメディアに関する。
【0002】
本願は、2020年11月26日に中国特許庁に提出され、出願番号が第202011347626.1号であり、出願の名称が「非時系列ポイントクラウドメディアの処理方法、装置、機器、及び記憶媒体」である中国特許出願の優先権を主張し、その全部の内容は、引用によって本願に組み込まれている。
【背景技術】
【0003】
現状では、多くの方式によって物体のポイントクラウドデータを取得でき、ビデオ制作機器は、ポイントクラウドデータを、ポイントクラウドメディア、すなわちポイントクラウドメディアファイルの形式でビデオ再生機器に伝送することで、ビデオ再生機器にポイントクラウドメディアを再生させることができる。
【0004】
なお、同一の物体のポイントクラウドデータに対しては、異なるポイントクラウドメディアとしてカプセル化することができ、例えば、あるポイントクラウドメディアは、該物体のポイントクラウドメディア全体であるが、あるポイントクラウドメディアは、該物体のポイントクラウドメディアの一部のみである。
【発明の概要】
【発明が解決しようとする課題】
【0005】
本願は、非時系列ポイントクラウドメディアの処理方法、装置、機器、及び記憶媒体を提供することにより、ユーザーは、同一の静的な物体の非時系列ポイントクラウドメディアを複数回に分け、且つ意図的に要求することができ、それによって処理効率とユーザーの体験感とを向上させる。
【課題を解決するための手段】
【0006】
一態様では、本願は、非時系列ポイントクラウドメディアの処理方法を提供し、前記方法は、ビデオ制作機器により実行され、前記方法は、静的な物体の非時系列ポイントクラウドデータを取得するステップと、GPCC符号化方式によって非時系列ポイントクラウドデータに対して処理を行い、GPCCビットストリームを得るステップと、GPCCビットストリームに対してカプセル化を行い、少なくとも1つのGPCC領域のアイテムを生成するステップであって、前記GPCC領域のアイテムは、前記GPCC領域に対応する三次元3D空間領域のGPCC成分を表すことに用いられる、ステップと、少なくとも1つのGPCC領域のアイテムに対してカプセル化を行い、静的な物体の少なくとも1つの非時系列ポイントクラウドメディアを生成するステップであって、前記非時系列ポイントクラウドメディアは、前記静的な物体の識別子を含む、ステップと、ビデオ再生機器に少なくとも1つの非時系列ポイントクラウドメディアのMPDシグナリングを送信するステップと、ビデオ再生機器が前記MPDシグナリングに基づいて送信した第1要求メッセージを受信するステップであって、前記第1要求メッセージは、前記少なくとも1つの非時系列ポイントクラウドメディアのうちの第1非時系列ポイントクラウドメディアを要求することに用いられる、ステップと、第1要求メッセージに基づいて、ビデオ再生機器に第1非時系列ポイントクラウドメディアを送信するステップと、を含む。
【0007】
別の態様では、本願は、非時系列ポイントクラウドメディアの処理方法を提供し、前記方法は、ビデオ再生機器により実行され、前記方法は、少なくとも1つの非時系列ポイントクラウドメディアのMPDシグナリングを受信するステップであって、前記非時系列ポイントクラウドメディアは、前記静的な物体の識別子を含む、ステップと、前記MPDシグナリングに基づいてビデオ制作機器に第1要求メッセージを送信するステップであって、前記第1要求メッセージは、前記少なくとも1つの非時系列ポイントクラウドメディアのうちの第1非時系列ポイントクラウドメディアを要求することに用いられる、ステップと、前記ビデオ制作機器から第1非時系列ポイントクラウドメディアを受信するステップと、第1非時系列ポイントクラウドメディアを再生するステップと、を含み、少なくとも1つの非時系列ポイントクラウドメディアは、少なくとも1つのポイントクラウド圧縮GPCC領域のアイテムに対してカプセル化を行って生成して得られたものであり、前記少なくとも1つのGPCC領域のアイテムは、GPCCビットストリームに対してカプセル化を行って生成されたものであり、前記GPCCビットストリームは、GPCC符号化方式によって静的な物体の非時系列ポイントクラウドデータに対して処理を行って得られたものであり、少なくとも1つのGPCC領域のアイテムのうちのいずれか1つのGPCC領域のアイテムに対しては、GPCC領域のアイテムは、GPCC領域に対応する3D空間領域のGPCC成分を表すことに用いられる。
【0008】
別の態様では、本願は、非時系列ポイントクラウドメディアの処理装置を提供し、処理ユニットと通信ユニットとを含み、処理ユニットは、静的な物体の非時系列ポイントクラウドデータを取得することと、GPCC符号化方式によって非時系列ポイントクラウドデータに対して処理を行い、GPCCビットストリームを得ることと、GPCCビットストリームに対してカプセル化を行い、少なくとも1つのGPCC領域のアイテムを生成することであって、前記GPCC領域のアイテムは、前記GPCC領域に対応する三次元3D空間領域のGPCC成分を表すことに用いられる、ことと、少なくとも1つのGPCC領域のアイテムに対してカプセル化を行い、静的な物体の少なくとも1つの非時系列ポイントクラウドメディアを生成することであって、前記非時系列ポイントクラウドメディアは、前記静的な物体の識別子を含む、ことと、ビデオ再生機器に少なくとも1つの非時系列ポイントクラウドメディアのMPDシグナリングを送信することと、に用いられ、通信ユニットは、ビデオ再生機器が前記MPDシグナリングに基づいて送信した第1要求メッセージを受信することであって、前記第1要求メッセージは、前記少なくとも1つの非時系列ポイントクラウドメディアのうちの第1非時系列ポイントクラウドメディアを要求することに用いられる、ことと、第1要求メッセージに基づいて、ビデオ再生機器に第1非時系列ポイントクラウドメディアを送信することと、に用いられる。
【0009】
別の態様では、本願は、非時系列ポイントクラウドメディアの処理装置を提供し、処理ユニットと通信ユニットとを含み、通信ユニットは、少なくとも1つの非時系列ポイントクラウドメディアのMPDシグナリングを受信することであって、前記非時系列ポイントクラウドメディアは、前記静的な物体の識別子を含む、ことと、前記MPDシグナリングに基づいてビデオ制作機器に第1要求メッセージを送信することであって、前記第1要求メッセージは、前記少なくとも1つの非時系列ポイントクラウドメディアのうちの第1非時系列ポイントクラウドメディアを要求することに用いられる、ことと、前記ビデオ制作機器から第1非時系列ポイントクラウドメディアを受信することと、に用いられ、処理ユニットは、第1非時系列ポイントクラウドメディアを再生することに用いられ、少なくとも1つの非時系列ポイントクラウドメディアは、少なくとも1つのポイントクラウド圧縮GPCC領域のアイテムに対してカプセル化を行って生成して得られたものであり、前記少なくとも1つのGPCC領域のアイテムは、GPCCビットストリームに対してカプセル化を行って生成されたものであり、前記GPCCビットストリームは、GPCC符号化方式によって静的な物体の非時系列ポイントクラウドデータに対して処理を行って得られたものであり、少なくとも1つのGPCC領域のアイテムのうちのいずれか1つのGPCC領域のアイテムに対しては、GPCC領域のアイテムは、GPCC領域に対応する3D空間領域のGPCC成分を表すことに用いられる。
【0010】
さらに別の態様では、ビデオ制作機器を提供しており、プロセッサとメモリとを含み、該メモリは、コンピュータプログラムを記憶することに用いられ、該プロセッサは、該メモリにおいて記憶されるコンピュータプログラムを呼び出して作動させることで、以上の態様の方法を実行することに用いられる。
【0011】
さらに別の態様では、ビデオ再生機器を提供しており、プロセッサとメモリとを含み、該メモリは、コンピュータプログラムを記憶することに用いられ、該プロセッサは、該メモリにおいて記憶されるコンピュータプログラムを呼び出して作動させることで、以上の態様の方法を実行することに用いられる。
【0012】
さらに別の態様では、コンピュータ可読記憶媒体を提供しており、コンピュータプログラムを記憶することに用いられ、該コンピュータプログラムは、コンピュータに以上の態様の方法を実行させる。
【0013】
さらに別の態様では、本願の実施例は、命令を含むコンピュータプログラム製品を提供しており、それは、コンピュータにおいて作動するときに、前記コンピュータに以上の態様の方法を実行させる。
【発明の効果】
【0014】
以上より、本願において、ビデオ制作機器は、非時系列ポイントクラウドメディアをカプセル化するときに、静的な物体の識別子を非時系列ポイントクラウドメディアの中に運ぶことができ、それにより、ユーザーは、同一の静的な物体の非時系列ポイントクラウドメディアを複数回に分け、且つ意図的に要求することができ、それによってユーザーの体験感を向上させる。
【0015】
更には、本願において、GPCC領域のアイテムに対応する3D空間領域を複数のサブ空間領域に分割することができ、GPCC tileの独立した符号化・復号の特性と併せることで、ユーザーが非時系列ポイントクラウドメディアを復号して提示する効率をより高くし、時間遅延をより少なくすることができる。
【0016】
また更には、ビデオ制作機器は、複数のGPCC領域のアイテムに対して柔軟な組み合わせを行うことで、異なる非時系列ポイントクラウドメディアを形成することができ、非時系列ポイントクラウドメディアは、完全なGPCCフレームを構成することができ、一部のGPCCフレームを構成することもできる。それによってビデオ制作の柔軟性を向上させることができる。
【図面の簡単な説明】
【0017】
【
図1】本願の1つの例示的な実施例が提供する非時系列ポイントクラウドメディアの処理システムのアーキテクチャ模式図を示している。
【
図2A】本願の1つの例示的な実施例が提供する非時系列ポイントクラウドメディアの処理アーキテクチャのアーキテクチャ模式図を示している。
【
図2B】本願の1つの例示的な実施例が提供するサンプルの構造模式図を示している。
【
図2C】本願の1つの例示的な実施例が提供する複数のファイルトラックを含むコンテナの構造模式図を示している。
【
図2D】本願の別の例示的な実施例が提供するサンプルの構造模式図を示している。
【
図3】本願の実施例が提供する非時系列ポイントクラウドメディアの処理方法の対話フローチャートを示している。
【
図4A】本願の実施例が提供するポイントクラウドメディアのカプセル化模式図を示している。
【
図4B】本願の実施例が提供する別のポイントクラウドメディアのカプセル化模式図を示している。
【
図5】本願の実施例が提供する非時系列ポイントクラウドメディアの処理装置500の模式図を示している。
【
図6】本願の実施例が提供する非時系列ポイントクラウドメディアの処理装置600の模式図を示している。
【
図7】本願の実施例が提供するビデオ制作機器700の模式的なブロック図を示している。
【
図8】本願の実施例が提供するビデオ再生機器800の模式的なブロック図を示している。
【0018】
以下、本願の実施例における図面と併せて、本願の実施例における技術的解決手段に対して明確で、完全な記述を行う。明らかなように、記述される実施例は、単に本願の一部の実施例であり、全部の実施例ではない。本願における実施例に基づき、当業者が創造的な労働を必要としない前提において獲得するすべてのその他の実施例は、いずれも本願の保護範囲に属する。
【発明を実施するための形態】
【0019】
説明する必要がある点として、本願の明細書、特許請求の範囲、及び上記図面における用語「第1」、及び「第2」等は、類似する対象を区別することに用いられ、必ずしも特定の順序、又は優先順位を記述することに用いられない。理解すべきであるように、このように使用されるデータは、適切な状況下で交換でき、それによってここで記述される本願の実施例は、ここで図示され、又は記述される順序の以外のもので実施されてもよい。この他、用語「含む」、「有する」、及びそれらの何らの変形は、非排他的な包含をカバーすることを意図し、例えば、一連のステップ、又はユニットを含む過程、方法、システム、製品、又はサーバは、必ずしも明確に示されるそれらのステップ、又はユニットに限定されず、明確に示されていないか、又はこれらの過程、方法、製品、又は機器に対して固有のその他のステップ、又はユニットを含んでもよい。
【0020】
本願の技術的解決手段を紹介する前に、以下、まず本願の関連する知識に対して紹介を行う。
【0021】
いわゆるポイントクラウド(Point Cloud)とは、空間において不規則に分布し、三次元物体、又は三次元シーンの空間構造、及び表面属性を表現する1グループの離散ポイントセットを指す。ポイントクラウドデータ(Point Cloud Data)は、ポイントクラウドの具体的な記録形式であり、ポイントクラウドにおける各々のポイントのポイントクラウドデータは、幾何学的情報(すなわち三次元位置情報)と属性情報とを含んでもよい。ここで、ポイントクラウドにおける各々のポイントの幾何学的情報とは、該ポイントのデカルト三次元座標データを指し、ポイントクラウドにおける各々のポイントの属性情報は、色情報、材質情報、及びレーザ反射強度情報の少なくとも1つを含んでもよいが、これらに限定されない。通常、ポイントクラウドにおける各々のポイントは、全て同じ数量の属性情報を有し、例えば、ポイントクラウドにおける各々のポイントは、全て色情報とレーザ反射強度との二種の属性情報を有するか、又はポイントクラウドにおける各々のポイントは、全て色情報、材質情報、及びレーザ反射強度情報の三種の属性情報を有する。
【0022】
科学技術の進歩、及び発展に伴い、現状では、既に比較的低いコストで、比較的短い時間周期内に多くの高精度なポイントクラウドデータを獲得することができる。ポイントクラウドデータの取得手段は、以下の少なくとも1つを含んでもよいが、これらに限定されない。(1)コンピュータ機器によって生成される。コンピュータ機器は、仮想三次元物体、及び仮想三次元シーンに基づいてポイントクラウドデータを生成することができる。(2)3D(3-Dimension、三次元)レーザ走査によって取得される。3Dレーザ走査によって静的な現実世界の三次元物体、又は三次元シーンのポイントクラウドデータを取得することができ、毎秒数百万のポイントクラウドデータを取得することができる。(3)3D撮影測定によって取得される。3D撮影機器(すなわち1グループのビデオカメラ、又は複数のレンズとセンサとを有するビデオカメラ機器)によって現実世界の視覚シーンに対して収集を行うことで、現実世界の視覚シーンのポイントクラウドデータを取得し、3D撮影によって動的な現実世界の三次元物体、又は三次元シーンのポイントクラウドデータを獲得することができる。(4)医療機器によって生体組織器官のポイントクラウドデータを取得する。医療分野では、磁気共振イメージング(Magnetic Resonance Imaging、MRI)、コンピュータ断層撮影(Computed Tomography、CT)、及び電磁位置決め情報等の医療機器によって生体組織器官のポイントクラウドデータを取得することができる。
【0023】
いわゆるポイントクラウドメディアとは、ポイントクラウドデータにより形成されたポイントクラウドメディアファイルを指し、ポイントクラウドメディアは、複数のメディアフレームを含み、ポイントクラウドメディアにおける各々のメディアフレームは、ポイントクラウドデータからなる。ポイントクラウドメディアは、三次元物体、又は三次元シーンの空間構造、及び表面属性を柔軟に容易に表現することができる。従って、仮想現実(Virtual Reality、VR)ゲーム、コンピュータ支援設計(Computer Aided Design、CAD)、地理情報システム(Geography Information System、GIS)、自動ナビゲーションシステム(Autonomous Navigation System、ANS)、デジタル文化遺産、自由視点ブロードキャスト、三次元没入型テレプレゼンス、及び生体組織器官の三次元再構成等の項目において幅広く応用されている。
【0024】
いわゆる非時系列ポイントクラウドメディアは、同一の静的な物体に対するものであり、すなわち、同一の静的な物体に対して、それに対応するポイントクラウドメディアは、非時系列である。
【0025】
上記の記述に基づき、
図1に参照されるように、
図1は、本願の1つの例示的な実施例が提供する非時系列ポイントクラウドメディアの処理システムのアーキテクチャ模式図を示している。該非時系列ポイントクラウドメディアの処理システム10は、ビデオ再生機器101とビデオ制作機器102とを含む。ここで、ビデオ制作機器とは、非時系列ポイントクラウドメディアの提供者(例えば、非時系列ポイントクラウドメディアのコンテンツ制作者)が使用するコンピュータ機器を指し、該コンピュータ機器は、端末(例えば、パーソナルコンピュータ(Personal Computer、PC)、スマート移動機器(例えばスマートフォン)等)、及びサーバ等であってもよい。ビデオ再生機器とは、非時系列ポイントクラウドメディアの使用者(例えばユーザー)が使用するコンピュータ機器を指し、該コンピュータ機器は、端末(例えばPC)、スマート移動機器(例えばスマートフォン)、及びVR機器(例えば、VRヘルメット、及びVRメガネ)等)であってもよい。ビデオ制作機器とビデオ再生機器とは、有線通信、又は無線通信の方式によって直接、又は間接的に接続されてもよく、本願の実施例は、ここで制限しない。
【0026】
図2Aは、本願の1つの例示的な実施例が提供する非時系列ポイントクラウドメディアの処理アーキテクチャのアーキテクチャ模式図を示しており、以下、
図1に示される非時系列ポイントクラウドメディアの処理システムと、
図2Aに示される非時系列ポイントクラウドメディアの処理アーキテクチャとを併せて、本願の実施例が提供する非時系列ポイントクラウドメディアの処理手段に対して紹介を行う。非時系列ポイントクラウドメディアの処理過程は、ビデオ制作機器側の処理過程、及びビデオ再生機器側の処理過程を含み、具体的な処理過程は、以下のとおりである。
【0027】
1、ビデオ制作機器側の処理過程
【0028】
(1)ポイントクラウドデータの取得過程
【0029】
一実現形態において、ポイントクラウドデータの取得方式から見れば、ポイントクラウドデータの取得方式は、キャプチャ機器によって実世界の視覚シーンを収集してポイントクラウドデータを取得すること、及びコンピュータ機器によって生成されること、という二種の方式に分けられてもよい。一実現形態において、キャプチャ機器は、ビデオ制作機器において設置されたハードウェアコンポーネントであってもよく、例えば、キャプチャ機器は、端末のカメラ、及びセンサ等である。キャプチャ機器は、コンテンツ制作機器と接続されるハードウェア装置であってもよく、例えば、サーバと接続されるカメラ等である。キャプチャ機器は、ビデオ制作機器にポイントクラウドデータの取得サービスを提供することに用いられ、キャプチャ機器は、撮像機器、センサ機器、及び走査機器のいずれか一種を含んでもよいが、これらには限定されない。ここで、撮像機器は、普通のカメラ、立体カメラ、及びライトフィールドカメラ等を含んでもよく、センサ機器は、レーザ機器、及びレーダー機器等を含んでもよく、走査機器は、3Dレーザ走査機器等を含んでもよい。キャプチャ機器の数量は、複数であってもよく、これらのキャプチャ機器は、現実空間におけるいくつかの特定の位置に配備されることで、該空間内の異なる角度のポイントクラウドデータを同時にキャプチャし、キャプチャされたポイントクラウドデータは、時間的にも空間的にも同期を維持する。別の実現形態において、コンピュータ機器は、仮想三次元物体、及び仮想三次元シーンに基づいて、ポイントクラウドデータを生成することができる。ポイントクラウドデータの取得方式が異なるため、異なる方式によって取得されたポイントクラウドデータに対応する圧縮符号化方式も、相違点を有する可能性がある。
【0030】
(2)ポイントクラウドデータの符号化、及びカプセル化過程
【0031】
一実現形態において、ビデオ制作機器は、幾何学に基づいたポイントクラウド圧縮(Geometry-Based Point Cloud Compression、GPCC)符号化方式、又は従来のビデオ符号化に基づいたポイントクラウド圧縮(Video-BasedPointCloudCompression、VPCC)符号化方式を採用して、取得されたポイントクラウドデータに対して符号化処理を行い、ポイントクラウドデータのGPCCビットストリーム、又はVPCCビットストリームを得る。
【0032】
一実現形態において、GPCC符号化方式を例とすると、ビデオ制作機器は、ファイルトラックを採用して符号化後のポイントクラウドデータのGPCCビットストリームに対してカプセル化を行う。いわゆるファイルトラックとは、符号化後のポイントクラウドデータのGPCCビットストリームのカプセル化コンテナを指し、GPCCビットストリームは、単一のファイルトラックにおいてカプセル化されてもよく、GPCCビットストリームは、複数のファイルトラックにおいてカプセル化されてもよい。GPCCビットストリームが単一のファイルトラックにおいてカプセル化される具体的な状況、及びGPCCビットストリームが複数のファイルトラックにおいてカプセル化される具体的な状況は、以下のとおりである。
【0033】
1.GPCCビットストリームは、単一のファイルトラックにおいてカプセル化される。GPCCビットストリームが単一のファイルトラックにおいて伝送されるときに、GPCCビットストリームが単一のファイルトラックの伝送規則に基づいて宣言、且つ表示を行うことを求める。単一のファイルトラックにおいてカプセル化されるGPCCビットストリームは、更なる処理を行う必要がなく、国際標準化機構ベースメディアファイルフォーマット(International Organization for Standardization Base Media File Format、ISOBMFF)によってカプセル化を行うことができる。具体的に、単一のファイルトラックにおいてカプセル化される各々のサンプル(Sample)は、全て1つ又は複数のGPCCコンポーネントを含み、該GPCCコンポーネントは、GPCC成分とも呼ばれ、該GPCC成分は、GPCC幾何学的成分、又はGPCC属性成分であってもよい。いわゆるサンプルとは、1つ又は複数のポイントクラウドのカプセル化構造の集合を指し、つまり、各々のサンプルは、1つ又は複数のタイプ-長さ-値のバイトストリームフォーマット(Type-Length-Value ByteStream Format、TLV)カプセル化構造からなる。
図2Bは、本願の1つの例示的な実施例が提供する一種のサンプルの構造模式図を示しており、
図2Bに示されるように、単一のファイルトラックの伝送を行うときに、該ファイルトラックにおけるサンプルは、GPCCパラメータセットTLV、幾何学的ビットストリームTLV、及び属性ビットストリームTLVからなり、該サンプルは、単一のファイルトラックにおいてカプセル化される。
【0034】
2.GPCCビットストリームは、複数のファイルトラックにおいてカプセル化される。符号化されたGPCC幾何学的ビットストリームと符号化されたGPCC属性ビットストリームとが異なるファイルトラックにおいて伝送されるときに、ファイルトラックにおける各々のサンプルは、全て少なくとも1つのTLVカプセル化構造を含む。該TLVカプセル化構造において単一のGPCC成分データを携えており、且つTLVカプセル化構造において、符号化されたGPCC幾何学的ビットストリームと符号化されたGPCC属性ビットストリームが同時には含まれない。
図2Cは、本願の1つの例示的な実施例が提供する複数のファイルトラックを含むコンテナの構造模式図を示している。
図2Cに示されるように、ファイルトラック1において伝送されるカプセル化パケット1は、符号化されたGPCC幾何学的ビットストリームを含み、符号化されたGPCC属性ビットストリームは含まず、ファイルトラック2において伝送されるカプセル化パケット2は、符号化されたGPCC属性ビットストリームを含み、符号化されたGPCC幾何学的ビットストリームは含まない。ビデオ再生機器が復号するときに、まず符号化されたGPCC幾何学的ビットストリームに対して復号を行うべきであり、符号化されたGPCC属性ビットストリームの復号は復号後の幾何学的情報により決まるため、異なるGPCC成分ビットストリームを単独のファイルトラックの中にカプセル化する。それにより、ビデオ再生機器は、符号化されたGPCC属性ビットストリームの前に、符号化されたGPCC幾何学的ビットストリームが搭載されているファイルトラックにアクセスすることができる。
図2Dは、本願の別の例示的な実施例が提供する一種のサンプルの構造模式図を示している。
図2Dに示されるように、複数のファイルトラックの伝送を行うときに、符号化されたGPCC幾何学的ビットストリーム、及び符号化されたGPCC属性ビットストリームは、異なるファイルトラックにおいて伝送され、該ファイルトラックにおけるサンプルは、GPCCパラメータセットTLV、及び幾何学的ビットストリームTLVからなり、サンプルにおいて属性ビットストリームTLVが含まれず、該サンプルは、複数のファイルトラックのうちのいずれか1つのファイルトラックにおいてカプセル化される。
【0035】
一実現形態において、取得されたポイントクラウドデータは、ビデオ制作機器により符号化されてカプセル化された後に、非時系列ポイントクラウドメディアを形成する。該非時系列ポイントクラウドメディアは、物体のメディアファイル全体であってもよく、物体のメディアセグメントであってもよい。また、ビデオ制作機器は、非時系列ポイントクラウドメディアのファイルフォーマットの要件に従って、メディア提示記述情報(すなわち記述シグナリングファイル)(Media presentation description、MPD)を採用して該非時系列ポイントクラウドメディアのカプセル化ファイルのメタデータを記録する。ここでのメタデータは、非時系列ポイントクラウドメディアの提示に関連する情報に対する総称であり、該メタデータは、非時系列ポイントクラウドメディアに対する記述情報、ウィンドウに対する記述情報、及び非時系列ポイントクラウドメディアの提示に関連するシグナリング情報等を含んでもよい。ビデオ制作機器は、MPDをビデオ再生機器に配布することにより、ビデオ再生機器が該MPDにおける関連する記述情報に基づいてポイントクラウドメディアを要求して取得する。具体的には、ポイントクラウドメディア、及びMPDは、伝送メカニズム(例えば、動的適応ストリームメディア伝送(Dynamic Adaptive Streaming over HTTP、DASH)、及びスマートメディア伝送(Smart Media Transport、SMT))によって、ビデオ制作機器によりビデオ再生機器に配布される。
【0036】
2、ビデオ再生機器側のデータ処理過程
【0037】
(1)ポイントクラウドデータのカプセル化解除、及び復号の過程
【0038】
一実現形態において、ビデオ再生機器は、ビデオ制作機器が配布したMPDシグナリングによって非時系列ポイントクラウドメディアを取得することができる。ビデオ再生機器端末のファイルカプセル化解除の過程は、ビデオ制作機器端末のファイルカプセル化過程と逆であり、ビデオ再生機器は、非時系列ポイントクラウドメディアのファイルフォーマットの要件に従って非時系列ポイントクラウドメディアのカプセル化ファイルに対してカプセル化解除を行い、符号化されたビットストリーム(すなわちGPCCビットストリーム、又はVPCCビットストリーム)を得る。ビデオ再生機器端末の復号過程は、ビデオ制作機器端末の符号化過程と逆であり、ビデオ再生機器は、符号化されたビットストリームに対して復号を行い、ポイントクラウドデータを復元する。
【0039】
(2)ポイントクラウドデータのレンダリング過程
【0040】
一実現形態において、ビデオ再生機器は、MPDにおけるレンダリング、及びウィンドウに関連するメタデータに基づいて、GPCCビットストリームを復号して得られたポイントクラウドデータに対してレンダリングを行い、レンダリングが完了すると、ポイントクラウドデータに対応する視覚シーンに対する提示を実現する。
【0041】
理解できるように、本願の実施例に記述される非時系列ポイントクラウドメディアの処理システムは、本願の実施例の技術的解決手段をより明確に説明するためのものであり、本願の実施例が提供する技術的解決手段に対する限定を構成しない。当業者が認識しているように、システムアーキテクチャの進展、及び新たな業務シーンの登場に伴って、本願の実施例が提供する技術的解決手段は、類似する技術的課題に対して、同様に適用される。
【0042】
以上のように、同一の物体のポイントクラウドデータに対しては、異なるポイントクラウドメディアとしてカプセル化することができ、例えば、あるポイントクラウドメディアは、該物体のポイントクラウドメディア全体であり、あるポイントクラウドメディアは、該物体のポイントクラウドメディアの一部である。これに基づき、ユーザーは、異なるポイントクラウドメディアを再生することを要求することができるが、ユーザーは、要求するときに、異なるポイントクラウドメディアが同一の物体のポイントクラウドメディアであるか否かを認識しておらず、それにより盲目的に要求するという問題をもたらしてしまう。静的な物体の非時系列ポイントクラウドメディアに対しても、この問題は存在する。
【0043】
上記の技術的課題を解決するために、本願は、非時系列ポイントクラウドメディアが静的な物体の識別子を携えていることによって、ユーザーが同一の静的な物体の非時系列ポイントクラウドメディアを複数回に分けて、意図的に要求することができる。
【0044】
以下、本願の技術的解決手段を詳細に述べる。
【0045】
図3は、本願の実施例が提供する非時系列ポイントクラウドメディアの処理方法の対話フローチャートであり、該方法の実行主体は、ビデオ制作機器、及びビデオ再生機器であり、
図3に示されるように、該方法は、下記のステップS301~S308を含む。
【0046】
S301:ビデオ制作機器は、静的な物体の非時系列ポイントクラウドデータを取得する。
【0047】
S302:ビデオ制作機器は、GPCC符号化方式によって非時系列ポイントクラウドデータに対して処理を行い、GPCCビットストリームを得る。
【0048】
S303:ビデオ制作機器は、GPCCビットストリームに対してカプセル化を行い、少なくとも1つのGPCC領域のアイテムを生成する。
【0049】
S304:ビデオ制作機器は、少なくとも1つのGPCC領域のアイテムに対してカプセル化を行い、静的な物体の少なくとも1つの非時系列ポイントクラウドメディアを生成し、各々の非時系列ポイントクラウドメディアは、静的な物体の識別子を含む。
【0050】
S305:ビデオ制作機器は、ビデオ再生機器に少なくとも1つの非時系列ポイントクラウドメディアのMPDシグナリングを送信する。
【0051】
S306:ビデオ再生機器は、第1要求メッセージを送信する。
【0052】
ここで、第1要求メッセージは、ビデオ再生機器がMPDシグナリングに基づいて送信したものであり、上記第1要求メッセージは、上記少なくとも1つの非時系列ポイントクラウドメディアのうちの第1非時系列ポイントクラウドメディアを要求することに用いられる。
【0053】
S307:ビデオ制作機器は、第1要求メッセージに基づいて、ビデオ再生機器に第1非時系列ポイントクラウドメディアを送信する。
【0054】
S308:ビデオ再生機器は、第1非時系列ポイントクラウドメディアを再生する。
【0055】
理解すべきであるように、如何に静的な物体の非時系列ポイントクラウドデータを取得し、及びGPCCビットストリームを得るかについては、上記の関連する知識を参照することができるため、本願では、これに対して再度詳細に説明しない。
【0056】
ここで、少なくとも1つのGPCC領域のアイテム(Item)のうちのいずれか1つのGPCC領域のアイテムに対しては、GPCC領域のアイテムは、GPCC領域に対応する3D空間領域のGPCC成分を表すことに用いられる。
【0057】
各々のGPCC領域は、上記静的な物体の1つの3D空間領域に対応し、該3D空間領域は、静的な物体の3D空間領域の全体、又は一部であってもよい。
【0058】
以上のように、GPCC成分は、GPCCコンポーネントとも呼ばれ、該GPCC成分は、GPCC幾何学的成分、又は属性成分であってもよい。
【0059】
理解すべきであるように、ビデオ制作機器側では、以下のコードによって静的な物体の識別子を定義することができる。
【0060】
aligned(8) class ObjectInfoProperty extends ItemProperty(’obif’) {
unsigned int(32) object_ID; }
【0061】
ここで、ObjectInfoPropertyは、アイテムに対応する内容の属性を指示し、GPCC幾何学的成分と属性成分とは、いずれも該属性を含んでもよい。もしGPCC幾何学的成分のみが該属性を含むなら、該GPCC幾何学的成分に関連付けられるすべての属性成分のObjectInfoPropertyは、それと同じである。
【0062】
object_IDは、静的な物体の識別子を指示し、同一の静的な物体の異なるGPCC領域のアイテムは、そのobject_IDが同じである。
【0063】
選択可能に、上記静的な物体の識別子は、ポイントクラウドメディアにおけるGPCC幾何学的成分に関連するアイテム中に携えられており、ポイントクラウドメディアにおけるGPCC属性成分に関連するアイテム中に携えられており、又はポイントクラウドメディアにおけるGPCC幾何学的成分に関連するアイテム、及びGPCC属性成分に関連するアイテム中に携えられるようにしてもよく、本願は、これを制限しない。
【0064】
例示的に、
図4Aは、本願の実施例が提供するポイントクラウドメディアのカプセル化模式図である。
図4Aに示されるように、該ポイントクラウドメディアは、GPCC幾何学的成分に関連するアイテム、及びGPCC属性成分に関連するアイテムを含む。ここで、該ポイントクラウドメディアにおけるGPCCアイテムグループボックスによって、これらのアイテムを関連付けることができる。
図4Aに示されるように、GPCC幾何学的成分に関連するアイテムに、GPCC属性成分に関連するアイテムが関連付けられている。ここで、GPCC幾何学的成分に関連するアイテムは、例えば、GPCC構成(GPCC Configuration)、3D空間領域属性(3D spatial region、又はItemSpatialInfoProperty)、及び静的な物体の識別子のアイテム属性を含んでもよい。GPCC属性成分に関連するアイテムは、例えば、GPCC構成(GPCC Configuration)、及び静的な物体の識別子等のアイテム属性を含んでもよい。
【0065】
選択可能に、GPCC構成は、対応するアイテムを復号するために必要なデコーダの構成情報、及び各々のGPCC成分に関連する情報を指示しているが、これらに限定されない。
【0066】
なお、GPCC属性成分に関連するアイテムは、3D空間領域属性を含んでもよく、本願は、これを制限しない。
【0067】
例示的に、
図4Bは、本願の実施例が提供する別のポイントクラウドメディアのカプセル化模式図である。
図4Bと
図4Aとの相違点は、
図4Bにおいては、該ポイントクラウドメディアが1つのGPCC幾何学的成分に関連するアイテムを含み、且つ該アイテムが2つのGPCC属性成分に関連するアイテムに関連付けられることである。他のGPCC幾何学的成分に関連するアイテムに含まれる各属性、及びGPCC属性成分に関連するアイテムに含まれる各属性については、
図4Aを参照することができるため、本願は、これに対して再度詳細に説明しない。
【0068】
理解すべきであるように、上記静的な物体の識別子は、各々のGPCC領域のアイテムに対応して含まれる属性中に携えられていることに限定されない。
【0069】
理解すべきであるように、上記MPDシグナリングは、本願の上記の関連する知識を参照することができるため、本願は、これに対して再度詳細に説明しない。
【0070】
選択可能に、上記少なくとも1つの非時系列ポイントクラウドメディアのうちのいずれか1つの非時系列ポイントクラウドメディアに対しては、該非時系列ポイントクラウドメディアは、上記静的な物体のポイントクラウドメディアの全体、又は一部であってもよい。
【0071】
理解すべきであるように、ビデオ再生機器は、上記MPDシグナリングに基づいて第1要求メッセージを送信することで、第1非時系列ポイントクラウドメディアを要求することができる。
【0072】
以上より、本願において、ビデオ制作機器は、非時系列ポイントクラウドメディアをカプセル化するときに、静的な物体の識別子を非時系列ポイントクラウドメディア中に携えることができ、それにより、ユーザーは、同一の静的な物体の非時系列ポイントクラウドメディアを複数回に分けて、且つ意図的に要求することができるため、それによってユーザーの体験感を向上させる。
【0073】
関連する技術において、各々のGPCC領域のアイテムは、1つの3D空間領域のみに対応しているが、本願においては、該3D空間領域に対して更なる分割を行うことができる。これに基づき、本願は、非時系列ポイントクラウドメディアにおけるアイテム属性、及びMPDシグナリングに対して相応な更新を行っており、具体的には以下のとおりである。
【0074】
選択可能に、ターゲットGPCC領域のアイテムは、3D空間領域のアイテム属性を含み、3D空間領域のアイテム属性は、第1識別子と第2識別子とを含む。ここで、ターゲットGPCC領域は、少なくとも1つのGPCC領域のうちの1つのGPCC領域である。第1識別子(Sub_region_contained)は、ターゲットGPCC領域に対応するターゲット3D空間領域が複数のサブ空間領域に分割されるか否かを識別することに用いられる。第2識別子(tile_id_present)は、ターゲットGPCC領域がGPCC tile符号化方式を採用するか否かを識別することに用いられる。
【0075】
例示的に、Sub_region_contained=0であるときに、ターゲットGPCC領域に対応するターゲット3D空間領域が複数のサブ空間領域に分割されていないことを表しており、Sub_region_contained=1であるときに、ターゲットGPCC領域に対応するターゲット3D空間領域が複数のサブ空間領域に分割されたことを表している。
【0076】
例示的に、tile_id_present=0であるときに、ターゲットGPCC領域がGPCC tile符号化方式を採用していないことを表す。tile_id_present=1であるときに、ターゲットGPCC領域がGPCC tile符号化方式を採用したことを表す。
【0077】
理解すべきであるように、Sub_region_contained=1であるときに、tile_id_present=1であり、すなわち、ターゲットGPCC領域に対応するターゲット3D空間領域が複数のサブ空間領域に分割されたときに、ビデオ制作端末は、GPCC tile符号化方式を採用しなければならない。
【0078】
選択可能に、もしターゲットGPCC領域に対応するターゲット3D空間領域が複数のサブ空間領域に分割されるなら、3D空間領域のアイテム属性は、複数のサブ空間領域のそれぞれの情報とターゲット3D空間領域の情報とをさらに含むが、これらに限定されない。
【0079】
選択可能に、複数のサブ空間領域のうちのいずれか1つのサブ空間領域に対しては、サブ空間領域の情報は、サブ空間領域の識別子と、サブ空間領域の位置情報と、ターゲットGPCC領域がGPCC tile符号化を採用するときに、サブ空間領域におけるtile(ブロック)識別子と、のうちの少なくとも1つを含むが、これらに限定されない。
【0080】
選択可能に、サブ空間領域の位置情報は、該サブ空間領域の1つのアンカーポイントの位置情報、並びに該サブ空間領域のそれぞれX軸、Y軸、及びZ軸に沿った長さを含むが、これらに限定されない。又はサブ空間領域の位置情報は、該サブ空間領域の2つのアンカーポイントの位置情報を含むが、これに限定されない。
【0081】
選択可能に、ターゲット3D空間領域の情報は、ターゲット3D空間領域の識別子と、ターゲット3D空間領域の位置情報と、ターゲット3D空間領域に含まれるサブ空間領域の数量と、のうちの少なくとも1つを含むが、これらに限定されない。
【0082】
選択可能に、ターゲット3D空間領域の位置情報は、該ターゲット3D空間領域の1つのアンカーポイントの位置情報、並びに該ターゲット3D空間領域のそれぞれX軸、Y軸、及びZ軸に沿った長さを含むが、これらに限定されない。又はターゲット3D空間領域の位置情報は、該ターゲット3D空間領域の2つのアンカーポイントの位置情報を含むが、これに限定されない。
【0083】
選択可能に、もしターゲットGPCC領域に対応するターゲット3D空間領域が複数のサブ空間領域に分割されるなら、3D空間領域のアイテム属性は、第3識別子(initial_region_id)をさらに含む。第3識別子の取り得る値が第1数値、又は空であるときに、ターゲットGPCC領域に対応するアイテムがビデオ再生機器により初期に提示されるアイテムである場合、ターゲット3D空間領域、及びターゲット3D空間領域のサブ空間領域に対しては、ビデオ再生機器にターゲット3D空間領域が初期に提示されることを表す。第3識別子の取り得る値が第2数値であるときに、ターゲットGPCC領域に対応するアイテムがビデオ再生機器により初期に提示されるアイテムである場合、ターゲット3D空間領域、及びターゲット3D空間領域のサブ空間領域に対しては、ビデオ再生機器に、ターゲット3D空間領域における第2数値に対応したサブ空間領域が初期に提示されることを表す。
【0084】
選択可能に、上記第1数値は、0であり、第2数値は、ターゲット3D空間領域において初期に提示する必要があるサブ空間領域の識別子である。
【0085】
選択可能に、もしターゲットGPCC領域に対応するターゲット3D空間領域が複数のサブ空間領域に分割されていないなら、3D空間領域のアイテム属性は、ターゲット3D空間領域の情報をさらに含む。選択可能に、ターゲット3D空間領域の情報は、ターゲット3D空間領域の識別子と、ターゲット3D空間領域の位置情報と、ターゲットGPCC領域がGPCC tile符号化を採用するときに、ターゲット3D空間領域におけるtile識別子と、のうちの少なくとも1つを含むが、これらに限定されない。
【0086】
理解すべきであるように、ターゲット3D空間領域の位置情報の状況については、上記内容におけるターゲット3D空間領域の位置情報の解釈を参照することができるため、本願は、これに対して再度詳細に説明しない。
【0087】
以下、コードの形式で本願の非時系列ポイントクラウドメディアにおけるアイテム属性に対する更新状況を説明する。
【0088】
aligned(8) class ItemSpatialInfoProperty extends ItemProperty(’gpis’) {
unsigned int(1) sub_region_contained;
unsigned int(1) tile_id_present;
bit(6) reserved;
3DSpatialRegionStruct(1);
unsigned int(16) inital_region_id;
if(sub_region_contained == 1){
unsigned int(8) num_sub_regions;
for(int i=0; i<num_sub_regions; i++){
3DSpatialRegionStruct(1)
unsigned int(8) num_tiles;
for(int j=0; j<num_tiles; j++)
unsigned int(16) tile_id;
}
}
else{
if(tile_id_present == 1){
unsigned int(8) num_tiles;
for(int j=0; j<num_tiles; j++)
unsigned int(16) tile_id;
}
}
}
aligned(8) class 3DSpatialRegionStruct(dimension_included)
{
unsigned int(16) 3d_region_id;
unsinged int(16) anchor_x;
unsinged int(16) anchor_y;
unsinged int(16) anchor_z;
if (dimension_included)
{
unsinged int(16) region_dx;
unsinged int(16) region_dy;
unsinged int(16) region_dz;
}
}
【0089】
ここで、各フィールドセマンティクスは、以下のとおりである。
【0090】
ItemSpatialInfoPropertyは、GPCC領域のアイテムの3D空間領域属性を表す。もし該アイテムが幾何学的成分に対応するアイテムであるなら、該属性を含まなければならず、もしアイテムが属性成分に対応するアイテムであるなら、該3D空間領域属性を含まなくてもよい。
【0091】
sub_region_containedの取り得る値が1であることは、3D空間領域の内部が更に複数のサブ空間領域に分割することができることを表し、該フィールドの取り得る値が1であるときに、tile_id_presentの取り得る値は、1でなければならない。該sub_region_containedの取り得る値が0であることは、3D空間内に更なるサブ空間領域の分割がないことを表す。
【0092】
tile_id_presentの取り得る値が1であるということは、該非時系列ポイントクラウドデータがGPCC tile符号化を採用し、且つ該非時系列ポイントクラウドに対応するtile idが本属性において与えられることを表す。
【0093】
inital_region_idは、現在のアイテムが初期に消費されるか、又は再生されるアイテムであるときに、該アイテムの全体の空間内部に初期に提示される空間領域のIDを表す。もし該フィールドの取り得る値が0であるか、又は該フィールドが存在しないなら、該アイテムが初期に提示される領域は、全体の3D空間領域である。もし該フィールドの取り得る値がサブ空間領域の識別子であるなら、該アイテムが初期に提示される領域は、該識別子に対応するサブ空間領域である。
【0094】
3DSpatialRegionStructは、3D空間領域を表し、ItemSpatialInfoPropertyにおける1番目の3DSpatialRegionStructは、ItemSpatialInfoPropertyの対応するアイテムに対応する3D空間領域を指示し、他の3DSpatialRegionStructは、該アイテムに対応する3D空間領域における各サブ空間領域を指示する。
【0095】
num_sub_regionsは、該アイテムに対応する3D空間領域内に分割されたサブ空間領域の数を指示する。
【0096】
num_tilesは、該アイテムに対応する3D空間領域におけるtileの数量、又はそのサブ空間領域に対応するtileの数量を指示する。
【0097】
tile_idは、GPCC tileの識別子を指示する。
【0098】
anchor_x、anchor_y、及びanchor_zは、それぞれ3D空間領域、又は該領域のサブ空間領域のアンカーポイントのx、y、及びz座標を表す。
【0099】
region_dx、region_dy、及びregion_dzは、それぞれ3D空間領域、又は該領域のサブ空間領域のそれぞれX軸、Y軸、及びZ軸に沿った長さを表す。
【0100】
以上より、本願において、3D空間領域を複数のサブ空間領域に分割することができ、GPCC tileの独立した符号化・復号の特性と併せることで、ユーザーが非時系列ポイントクラウドメディアを復号して提示する効率をより高くし、時間遅延をより少なくすることができる。
【0101】
以上のように、ビデオ制作機器は、少なくとも1つのGPCC領域のアイテムに対してカプセル化を行い、静的な物体の少なくとも1つの非時系列ポイントクラウドメディアを生成することができる。ここで、もし少なくとも1つのGPCC領域のアイテムが1つであるなら、1つのGPCC領域のアイテムを1つの非時系列ポイントクラウドメディアとしてカプセル化する。もし少なくとも1つのGPCC領域のアイテムがN個であるなら、N個のGPCC領域のアイテムをM個の非時系列ポイントクラウドメディアとしてカプセル化する。ここで、Nは1より大きい整数であり、Mの取り得る値の範囲は、[1,N]であり、Mは整数である。例えば、もし少なくとも1つのGPCC領域のアイテムがN個であるなら、N個のGPCC領域のアイテムを1つの非時系列ポイントクラウドメディアとしてカプセル化することができる。該カプセル化の状況において、1つの非時系列ポイントクラウドメディアは、N個のアイテムを含むか、又はN個の非時系列ポイントクラウドメディアとしてカプセル化し、該カプセル化の状況において、各々の非時系列ポイントクラウドメディアは、1つのアイテムを含む。
【0102】
以下、第2非時系列ポイントクラウドメディアにおけるフィールドを説明する。ここで、第2非時系列ポイントクラウドメディアは、少なくとも1つの非時系列ポイントクラウドメディアのうちの、複数のGPCC領域のアイテムを含むいずれか1つの非時系列ポイントクラウドメディアである。
【0103】
選択可能に、第2非時系列ポイントクラウドメディアは、
GPCCアイテムグループボックス(GPCCItemGroupBox)を含む。ここで、GPCCアイテムグループボックスは、複数のGPCC領域のアイテムを関連付けることに用いられ、
図4A、及び4Bに示されるとおりである。
【0104】
選択可能に、該GPCCアイテムグループボックスは、複数のGPCC領域のアイテムの識別子を含む。
【0105】
選択可能に、GPCCアイテムグループボックスは、第4識別子(initial_item_ID)を含む。ここで、第4識別子は、複数のGPCC領域のアイテムのうちの、ビデオ再生機器に初期に提示されるアイテムの識別子である。
【0106】
選択可能に、GPCCアイテムグループボックスは、第5識別子(partial_item_flag)を含む。もし第5識別子の取り得る値が第3数値であるなら、複数のGPCC領域のアイテムが静的な物体の完全なGPCCフレームを構成することを表す。もし第5識別子の取り得る値が第4数値であるなら、複数のGPCC領域のアイテムが静的な物体の一部のGPCCフレームを構成することを表す。
【0107】
選択可能に、該第3数値は、0であってもよく、第4数値は、1であってもよいが、これらに限定されない。
【0108】
選択可能に、GPCCアイテムグループボックスは、複数のGPCC領域が構成したGPCC領域の位置情報を含む。
【0109】
例示的に、もし複数のGPCC領域がR1とR2との2つの領域であるなら、GPCCアイテムグループボックスは、R1+R2領域の位置情報を含む。
【0110】
以下、コードで上記GPCCアイテムグループボックスにおける各フィールドを説明する。
【0111】
aligned(8) class GPCCItemGroupBox
extends EntityToGroupBox(’gcig’) {
unsigned int(16) initial_item_ID;
unsigned int(1) partial_item_flag;
bit(7) reserved;
if(partial_item_flag == 1){
3DSpatialRegionStruct(1);
}
}
【0112】
GPCCItemGroupBoxに含まれるアイテムは、同一の静的な物体に属するアイテムであり、提示して消費されるときに関連付けの関係が存在するアイテムである。該GPCCItemGroupBoxにおいて含まれるすべてのアイテムは、1つの完全なGPCCフレームを構成する可能性があり、また1つのGPCCフレームの一部を構成する可能性もある。
【0113】
initial_item_IDは、1つのアイテムグループ内に、初期に消費されるアイテムの識別子を指示する。
【0114】
説明する必要がある点として、該initial_item_IDは、現在のアイテムグループがユーザーにより初回に要求されるアイテムグループであるときのみに有効であり、例えば、同一の静的な物体が2つのポイントクラウドメディアに対応し、それぞれF1、及びF2であり、ユーザーが1回目にF1を要求するときに、F1内のアイテムグループにおけるinitial_item_IDは、有効であり、2回目に要求されるF2に対して、その内部のinitial_item_IDは、無効である。
【0115】
partial_item_flagの取り得る値が0であるときに、GPCCItemGroupBoxに含まれるすべてのアイテム、及びそれに関連付けられるアイテムが1つの完全なGPCCフレームを構成することを表しており、取り得る値が1であるときに、GPCCItemGroupBoxに含まれるすべてのアイテム、及びそれに関連付けられるアイテムが一部のGPCCフレームのみを構成することを表す。
【0116】
本願で提案される技術をサポートするために、対応するシグナリングメッセージを拡張する必要があり、MPDシグナリングを例とすると、以下のように拡張する。
【0117】
GPCCアイテム記述子は、GPCC アイテムに関連する要素と属性とを記述することに用いられ、該記述子は、1つのSupplementalProperty要素である。
【0118】
その@schemeIdUri属性は、「urn:mpeg:mpegI:gpcc:2020:gpsr」に等しい。該記述子は、Adaptation Set階層、又はRepresentation階層に位置してもよい。
【0119】
ここで、Representation:DASHにおいて、1つ又は複数のメディア成分の組み合わせであり、例えば、ある解像度のビデオファイルは、1つのRepresentation(記述)と見なすことができる。
【0120】
Adaptation Sets:DASHにおいて、1つ又は複数のビデオストリームの集合であり、1つのAdaptation Setsにおいて複数のRepresentationが含まれてもよい。
【0121】
【0122】
以上より、本願において、ビデオ制作機器は、複数のGPCC領域のアイテムに対して柔軟な組み合わせを行うことで、異なる非時系列ポイントクラウドメディアを形成することができる。ここで、非時系列ポイントクラウドメディアは、完全なGPCCフレームを構成することができ、一部のGPCCフレームを構成することもできる。それによってビデオ制作の柔軟性を向上させることができる。更には、1つの非時系列ポイントクラウドメディアが複数のGPCC領域のアイテムを含むときに、ビデオ制作機器は、さらに、初期に提示されるアイテムを向上させることができる。
【0123】
以下、下記の実施例によって前述した
図3に対応する実施例に対して例を挙げて説明する。
【0124】
ビデオ制作機器が、ある静的な物体の非時系列ポイントクラウドデータを取得しているとすると該非時系列ポイントクラウドデータがビデオ制作機器端末において4つのバージョンのポイントクラウドメディア、すなわち全部の非時系列ポイントクラウドデータに対応するポイントクラウドメディアF0、及び一部の非時系列ポイントクラウドデータに対応するポイントクラウドメディアF1~F3が存在する。ここで、F1~F3がそれぞれ3D空間領域R1~R3に対応すると仮定する。これに基づけば、F0~F3のポイントクラウドメディアのカプセル化内容は、以下のとおりである。
【0125】
F0:ObjectInfoProperty:object_ID=10;
ItemSpatialInfoProperty:sub_region_contained=1;tile_id_present=1
inital_region_id=1001;
R0:3d_region_id = 100,anchor=(0,0,0),region=(200,200,200)
num_sub_regions = 3;
SR1:3d_region_id = 1001,anchor=(0,0,0),region=(100,100,200);
num_tiles = 1,tile_id[]=(1);
SR2:3d_region_id = 1002,anchor=(100,0,0),region=(100,100,200);
num_tiles = 1,tile_id[]=(2);
SR3:3d_region_id = 1003,anchor=(0,100,0),region=(200,100,200);
num_tiles = 2,tile_id[]=(3,4);
F1:ObjectInfoProperty:object_ID=10;
ItemSpatialInfoProperty:sub_region_contained=0;tile_id_present=1;
inital_region_id=0;
R1:3d_region_id = 101,anchor=(0,0,0),region=(100,100,200);
num_tiles = 1,tile_id[]=(1);
F2:ObjectInfoProperty:object_ID=10;
ItemSpatialInfoProperty:sub_region_contained=0;tile_id_present=1
inital_region_id=0;
R2:3d_region_id = 102,anchor=(100,0,0),region=(100,100,200);
num_tiles = 1,tile_id[]=(2);
F3:ObjectInfoProperty:object_ID=10;
ItemSpatialInfoProperty:sub_region_contained=0;tile_id_present=1;inital_region_id=0;
R3:3d_region_id = 103,anchor=(0,100,0),region=(200,100,200);
num_tiles = 2,tile_id[]=(3,4);
【0126】
更には、ビデオ制作機器は、F0~F3のMPDシグナリングをユーザーに送信し、ここでのObject_ID、空間領域、サブ空間領域、及びtile識別子情報は、ファイルカプセル化と同じであるため、ここで再度詳細に説明しない。
【0127】
ユーザーU1のネットワーク条件はよく、データ伝送の時間遅延が少ないため、F0を要求することができる。ユーザーU2のネットワーク条件は比較的悪く、データ伝送の時間遅延が比較的多いため、F1を要求することができる。
【0128】
ビデオ制作機器は、ユーザーU1に対応するビデオ再生機器にF0を伝送し、ユーザーU2に対応するビデオ再生機器にF1を伝送する。
【0129】
ユーザーU1に対応するビデオ再生機器がF0を受信すると、初期の視聴領域は、SR1領域であり、対応するtile IDは、1である。U1は、復号して消費するときに、全体のコードストリームの中からtile’1’を単独で復号し、直接消費して提示することができるため、全体のファイルを復号した後に提示する必要がなく、復号効率を向上させ、レンダリング、及び提示に必要な時間を低減させる。U1が消費を続けてSR2領域を視聴するときに、対応するtile IDは2であり、この場合、全体のコードストリームにおけるtile’2’に対応する部分を直接復号して提示と消費とを行う。
【0130】
ユーザーU2に対応するビデオ再生機器がF1を受信すると、F1を復号して消費を行い、かつユーザーが次に消費する可能性がある領域に基づいて、MPDファイルにおける情報、すなわちObject_ID、及び空間領域情報と併せて、F2、又はF3を早めに要求してキャッシュを行う。
【0131】
つまり、ビデオ制作機器がビデオ再生機器に第1非時系列ポイントクラウドメディアを送信した後に、ビデオ再生機器は、さらに、ユーザーの消費ニーズ、及び可能な消費領域等の状況に基づき、ビデオ制作機器に同一の静的な物体の非時系列ポイントクラウドメディアを意図的に再び要求することができる。
【0132】
1つの可能な実現形態において、S307:上記第1要求メッセージに基づいて、上記ビデオ再生機器に上記第1非時系列ポイントクラウドメディアを送信するステップの後、上記方法は、
上記ビデオ再生機器が上記静的な物体の識別子に基づき送信した第2要求メッセージを受信するステップであって、上記第2要求メッセージは、上記少なくとも1つの非時系列ポイントクラウドメディアのうちの第3非時系列ポイントクラウドメディアを要求することに用いられる、ステップと、上記第2要求メッセージに基づいて、上記ビデオ再生機器に上記第3非時系列ポイントクラウドメディアを送信するステップと、をさらに含む。
【0133】
ビデオ再生機器は、前述で取得したポイントクラウドメディアにおける静的な物体の識別子によって、該静的な物体に対応するその他のポイントクラウドメディアを再び取得する必要があるときに、該静的な物体の識別子に基づき、同一の静的な物体のポイントクラウドメディアを適宜に複数回に分けて要求することができる。
【0134】
ビデオ制作機器がある静的な物体の非時系列ポイントクラウドデータを取得しており、該非時系列ポイントクラウドデータがビデオ制作機器端末において2つのバージョンのポイントクラウドメディア、すなわちF1、及びF2が存在し、F1においてitem1~item2が含まれており、F2においてitem3~item4が含まれていると仮定する。
【0135】
F1、及びF2のポイントクラウドメディアのカプセル化内容は、以下のとおりである。
【0136】
F1:
item1:ObjectInfoProperty:object_ID=10;item_ID = 101
ItemSpatialInfoProperty:sub_region_contained=0;tile_id_present=1
inital_region_id=0;
R1:3d_region_id = 1001,anchor=(0,0,0),region=(100,100,200);
num_tiles = 1,tile_id[]=(1);
item2:ObjectInfoProperty:object_ID=10;item_ID = 102
ItemSpatialInfoProperty:sub_region_contained=0;tile_id_present=1
inital_region_id=0;
R2:3d_region_id = 1002,anchor=(100,0,0),region=(100,100,200);
num_tiles = 1,tile_id[]=(2);
GPCCItemGroupBox:
initial_item_ID = 101; partial_item_flag=1;
R1+ R2:3d_region_id = 0001,anchor=(0,0,0),region=(200,100,200);
F2:
item3:ObjectInfoProperty:object_ID=10;item_ID = 103
ItemSpatialInfoProperty:sub_region_contained=0;tile_id_present=1
inital_region_id=0;
R3:3d_region_id = 1003,anchor=(0,100,0),region=(100,100,200);
num_tiles = 1,tile_id[]=(3);
item4:ObjectInfoProperty:object_ID=10;item_ID = 104
ItemSpatialInfoProperty:sub_region_contained=0;tile_id_present=1
inital_region_id=0;
R4:3d_region_id = 1004,anchor=(100,100,0),region=(100,100,200);
num_tiles = 1,tile_id[]=(4);
GPCCItemGroupBox:
initial_item_ID = 103; partial_item_flag=1;
R3+ R4:3d_region_id = 0002,anchor=(0,100,0),region=(200,100,200);
【0137】
ビデオ制作機器は、F1~F2のMPDシグナリングをユーザーに送信する。ここでのObject_ID、空間領域、及びtile ID情報は、ポイントクラウドメディアのカプセル化と同じであり、ここで再度詳細に説明しない。
【0138】
ユーザーU1は、F1の消費を要求し、ユーザーU2は、F2の消費を要求する。
【0139】
ビデオ制作機器は、それぞれユーザーU1に対応するビデオ再生機器にF1を伝送し、かつユーザーU2に対応するビデオ再生機器にF2を伝送する。
【0140】
U1に対応するビデオ再生機器がF1を受信すると、初期にitem1を視聴し、item1の初期視聴領域はitem1の全体の視聴空間である。従って、U1は、item1全体を消費する。F1においてitem1、及びitem2が含まれており、それぞれtile1、及びtile2に対応するため、U1は、item1を消費するときに、tile1に対応する一部のコードストリームを直接復号して提示することができる。もしU1が消費し続けてitem2領域を視聴するときに、対応するtile IDが2であるなら、全体のコードストリームにおけるtile’2’に対応する部分を直接復号して提示と消費とを行う。もしU1が消費し続けてitem3に対応する領域を視聴する必要があるなら、MPDファイルに基づいてF2を要求する。F2を受信すると、ユーザーが視聴する領域に基づいて提示と消費とを直接行い、F2における初期消費itemの情報、及び初期視聴領域の情報を判断しなくなる。
【0141】
U2に対応するビデオ再生機器がF2を受信すると、初期にitem3を視聴し、item3の初期視聴領域はitem3の全体の視聴空間である。従って、U2は、item3全体を消費する。F2においてはitem3、及びitem4が含まれており、それぞれtile3、及びtile4に対応するため、U2は、item3を消費するときに、tile3に対応する一部のコードストリームを直接復号して提示することができる。
【0142】
図5は、本願の実施例が提供する非時系列ポイントクラウドメディアの処理装置500の模式図であり、該装置500は、処理ユニット510と通信ユニット520とを含む。処理ユニット510は、静的な物体の非時系列ポイントクラウドデータを取得することと、GPCC符号化方式によって非時系列ポイントクラウドデータに対して処理を行い、GPCCビットストリームを得ることと、GPCCビットストリームに対してカプセル化を行い、少なくとも1つのGPCC領域のアイテムを生成することであって、上記GPCC領域のアイテムは、上記GPCC領域に対応する三次元3D空間領域のGPCC成分を表すことに用いられる、ことと、少なくとも1つのGPCC領域のアイテムに対してカプセル化を行い、静的な物体の少なくとも1つの非時系列ポイントクラウドメディアを生成することであって、上記非時系列ポイントクラウドメディアは、上記静的な物体の識別子を含む、ことと、ビデオ再生機器に少なくとも1つの非時系列ポイントクラウドメディアのMPDシグナリングを送信することと、に用いられる。通信ユニット520は、ビデオ再生機器が上記MPDシグナリングに基づいて送信した第1要求メッセージを受信することであって、上記第1要求メッセージは、上記少なくとも1つの非時系列ポイントクラウドメディアのうちの第1非時系列ポイントクラウドメディアを要求することに用いられる、ことと、第1要求メッセージに基づいて、ビデオ再生機器に第1非時系列ポイントクラウドメディアを送信することと、に用いられる。
【0143】
選択可能に、ターゲットGPCC領域のアイテムは、3D空間領域のアイテム属性を含み、3D空間領域のアイテム属性は、第1識別子と第2識別子とを含む。ここで、ターゲットGPCC領域は、少なくとも1つのGPCC領域のうちの1つのGPCC領域である。第1識別子は、ターゲットGPCC領域に対応するターゲット3D空間領域が複数のサブ空間領域に分割されるか否かを識別することに用いられる。第2識別子は、ターゲットGPCC領域がGPCC tile符号化方式を採用するか否かを識別することに用いられる。
【0144】
選択可能に、もしターゲットGPCC領域に対応するターゲット3D空間領域が複数のサブ空間領域に分割されるなら、3D空間領域のアイテム属性は、複数のサブ空間領域のそれぞれの情報とターゲット3D空間領域の情報とをさらに含む。
【0145】
選択可能に、複数のサブ空間領域のうちのいずれか1つのサブ空間領域に対しては、サブ空間領域の情報は、サブ空間領域の識別子と、サブ空間領域の位置情報と、ターゲットGPCC領域がGPCC tile符号化を採用するときに、サブ空間領域におけるtile識別子と、のうちの少なくとも1つを含む。ターゲット3D空間領域の情報は、ターゲット3D空間領域の識別子と、ターゲット3D空間領域の位置情報と、ターゲット3D空間領域に含まれるサブ空間領域の数量と、のうちの少なくとも1つを含む。
【0146】
選択可能に、もしターゲットGPCC領域に対応するターゲット3D空間領域が複数のサブ空間領域に分割されるなら、3D空間領域のアイテム属性は、第3識別子をさらに含む。第3識別子の取り得る値が第1数値、又は空であるときに、ターゲットGPCC領域に対応するアイテムがビデオ再生機器により初期に提示されるアイテムである場合、ターゲット3D空間領域、及びターゲット3D空間領域のサブ空間領域に対しては、ビデオ再生機器にターゲット3D空間領域が初期に提示されることを表す。第3識別子の取り得る値が第2数値であるときに、ターゲットGPCC領域に対応するアイテムがビデオ再生機器により初期に提示されるアイテムである場合、ターゲット3D空間領域、及びターゲット3D空間領域のサブ空間領域に対しては、ビデオ再生機器に、ターゲット3D空間領域における第2数値に対応したサブ空間領域が初期に提示されることを表す。
【0147】
選択可能に、もしターゲットGPCC領域に対応するターゲット3D空間領域が複数のサブ空間領域に分割されていないなら、3D空間領域のアイテム属性は、ターゲット3D空間領域の情報をさらに含む。
【0148】
選択可能に、ターゲット3D空間領域の情報は、ターゲット3D空間領域の識別子と、ターゲット3D空間領域の位置情報と、ターゲットGPCC領域がGPCC tile符号化を採用するときに、ターゲット3D空間領域におけるtile識別子と、のうちの少なくとも1つを含む。
【0149】
選択可能に、処理ユニット510は、具体的には、もし少なくとも1つのGPCC領域のアイテムが1つであるなら、1つのGPCC領域のアイテムを1つの非時系列ポイントクラウドメディアとしてカプセル化することと、もし少なくとも1つのGPCC領域のアイテムがN個であるなら、N個のGPCC領域のアイテムをM個の非時系列ポイントクラウドメディアとしてカプセル化することと、に用いられる。ここで、Nは1より大きい整数であり、1≦M≦Nであり、Mは整数である。
【0150】
選択可能に、第2非時系列ポイントクラウドメディアは、GPCCアイテムグループボックスを含む。ここで、第2非時系列ポイントクラウドメディアは、少なくとも1つの非時系列ポイントクラウドメディアのうちの、複数のGPCC領域のアイテムを含むいずれか1つの非時系列ポイントクラウドメディアであり、GPCCアイテムグループボックスは、複数のGPCC領域のアイテムを関連付けることに用いられる。
【0151】
選択可能に、GPCCアイテムグループボックスは、第4識別子を含む。ここで、第4識別子は、複数のGPCC領域のアイテムのうちの、ビデオ再生機器に初期に提示されるアイテムの識別子である。
【0152】
選択可能に、GPCCアイテムグループボックスは、第5識別子を含む。もし第5識別子の取り得る値が第3数値であるなら、複数のGPCC領域のアイテムが静的な物体の完全なGPCCフレームを構成することを表す。もし第5識別子の取り得る値が第4数値であるなら、複数のGPCC領域のアイテムが静的な物体の一部のGPCCフレームを構成することを表す。
【0153】
選択可能に、GPCCアイテムグループボックスは、複数のGPCC領域が構成したGPCC領域の位置情報を含む。
【0154】
選択可能に、通信ユニット520は、さらに、ビデオ再生機器が上記静的な物体の識別子に基づき送信した第2要求メッセージを受信することであって、上記第2要求メッセージは、上記少なくとも1つの非時系列ポイントクラウドメディアのうちの第3非時系列ポイントクラウドメディアを要求することに用いられる、ことと、第2要求メッセージに基づいて、ビデオ再生機器に第3非時系列ポイントクラウドメディアを送信することと、に用いられる。
【0155】
理解すべきであるように、装置の実施例と方法の実施例とは、相互に対応することができるため、類似する記述は、方法の実施例を参照することができる。重複を回避するために、ここで再度詳細に説明しない。具体的には、
図5に示される装置500は、ビデオ制作機器に対応する方法の実施例を実行することができ、且つ装置500における各モジュールの前述の、及びその他の操作及び/又は機能は、それぞれビデオ制作機器に対応する方法の実施例を実現するためのものであり、簡潔にするために、ここでは再度詳細に説明しない。
【0156】
上記においては、図面と併せて機能モジュールの観点から本願の実施例の装置500を記述している。理解すべきであるように、該機能モジュールは、ハードウェアの形式によって実現されてもよく、ソフトウェア形式の命令によって実現されてもよく、さらにハードウェアとソフトウェアモジュールとの組み合わせによって実現されてもよい。具体的に、本願の実施例における方法の実施例の各ステップは、プロセッサにおけるハードウェアである集積論理回路、及び/又はソフトウェア形式の命令によって完了されてもよく、本願の実施例と併せて開示された方法のステップは、ハードウェアであるデコーダにより実行されることで直接実現されてもよく、又はデコーダにおけるハードウェアとソフトウェアモジュールとの組み合わせで実行されてもよい。選択可能に、ソフトウェアモジュールは、ランダムメモリ、フラッシュメモリ、読み出し専用メモリ、プログラマブル読み出し専用メモリ、電気的消去可能プログラマブルメモリ、及びレジスタ等の本分野の成熟した記憶媒体の中に位置してもよい。該記憶媒体は、メモリに位置し、プロセッサは、メモリにおける情報を読み出し、そのハードウェアと併せて上記方法の実施例におけるステップを完了する。
【0157】
図6は、本願の実施例が提供する非時系列ポイントクラウドメディアの処理装置600の模式図であり、該装置600は、処理ユニット610と通信ユニット620とを含む。通信ユニット620は、少なくとも1つの非時系列ポイントクラウドメディアのMPDシグナリングを受信することであって、上記非時系列ポイントクラウドメディアは、上記静的な物体の識別子を含む、ことと、上記MPDシグナリングに基づいてビデオ制作機器に第1要求メッセージを送信することであって、上記第1要求メッセージは、上記少なくとも1つの非時系列ポイントクラウドメディアのうちの第1非時系列ポイントクラウドメディアを要求することに用いられる、ことと、上記ビデオ制作機器から第1非時系列ポイントクラウドメディアを受信することと、に用いられる。処理ユニット610は、第1非時系列ポイントクラウドメディアを再生することに用いられる。ここで、少なくとも1つの非時系列ポイントクラウドメディアは、少なくとも1つのポイントクラウド圧縮GPCC領域のアイテムに対してカプセル化を行って生成して得られたものであり、上記少なくとも1つのGPCC領域のアイテムは、GPCCビットストリームに対してカプセル化を行って生成されたものであり、上記GPCCビットストリームは、GPCC符号化方式によって静的な物体の非時系列ポイントクラウドデータに対して処理を行って得られたものである。少なくとも1つのGPCC領域のアイテムのうちのいずれか1つのGPCC領域のアイテムに対しては、GPCC領域のアイテムは、GPCC領域に対応する3D空間領域のGPCC成分を表すことに用いられる。
【0158】
選択可能に、ターゲットGPCC領域のアイテムは、3D空間領域のアイテム属性を含み、3D空間領域のアイテム属性は、第1識別子と第2識別子とを含む。ここで、ターゲットGPCC領域は、少なくとも1つのGPCC領域のうちの1つのGPCC領域である。第1識別子は、ターゲットGPCC領域に対応するターゲット3D空間領域が複数のサブ空間領域に分割されるか否かを識別することに用いられる。第2識別子は、ターゲットGPCC領域がGPCC tile符号化方式を採用するか否かを識別することに用いられる。
【0159】
選択可能に、もしターゲットGPCC領域に対応するターゲット3D空間領域が複数のサブ空間領域に分割されるなら、3D空間領域のアイテム属性は、複数のサブ空間領域のそれぞれの情報とターゲット3D空間領域の情報とをさらに含む。
【0160】
選択可能に、複数のサブ空間領域のうちのいずれか1つのサブ空間領域に対しては、サブ空間領域の情報は、サブ空間領域の識別子と、サブ空間領域の位置情報と、ターゲットGPCC領域がGPCC tile符号化を採用するときに、サブ空間領域におけるtile識別子と、のうちの少なくとも1つを含む。ターゲット3D空間領域の情報は、ターゲット3D空間領域の識別子と、ターゲット3D空間領域の位置情報と、ターゲット3D空間領域に含まれるサブ空間領域の数量と、のうちの少なくとも1つを含む。
【0161】
選択可能に、もしターゲットGPCC領域に対応するターゲット3D空間領域が複数のサブ空間領域に分割されるなら、3D空間領域のアイテム属性は、第3識別子をさらに含む。第3識別子の取り得る値が第1数値、又は空であるときに、ターゲットGPCC領域に対応するアイテムがビデオ再生機器により初期に提示されるアイテムである場合、ターゲット3D空間領域、及びターゲット3D空間領域のサブ空間領域に対しては、ビデオ再生機器にターゲット3D空間領域が初期に提示されることを表す。第3識別子の取り得る値が第2数値であるときに、ターゲットGPCC領域に対応するアイテムがビデオ再生機器により初期に提示されるアイテムである場合、ターゲット3D空間領域、及びターゲット3D空間領域のサブ空間領域に対しては、ビデオ再生機器に、ターゲット3D空間領域における第2数値に対応したサブ空間領域が初期に提示されることを表す。
【0162】
選択可能に、もしターゲットGPCC領域に対応するターゲット3D空間領域が複数のサブ空間領域に分割されていないなら、3D空間領域のアイテム属性は、ターゲット3D空間領域の情報をさらに含む。
【0163】
選択可能に、ターゲット3D空間領域の情報は、ターゲット3D空間領域の識別子と、ターゲット3D空間領域の位置情報と、ターゲットGPCC領域がGPCC tile符号化を採用するときに、ターゲット3D空間領域におけるtile識別子と、のうちの少なくとも1つを含む。
【0164】
選択可能に、もし少なくとも1つのGPCC領域のアイテムが1つであるなら、1つのGPCC領域のアイテムは、1つの非時系列ポイントクラウドメディアとしてカプセル化される。もし少なくとも1つのGPCC領域のアイテムがN個であるなら、N個のGPCC領域のアイテムは、M個の非時系列ポイントクラウドメディアとしてカプセル化される。ここで、Nは1より大きい整数であり、1≦M≦Nであり、Mは整数である。
【0165】
選択可能に、第2非時系列ポイントクラウドメディアは、GPCCアイテムグループボックスを含む。ここで、第2非時系列ポイントクラウドメディアは、少なくとも1つの非時系列ポイントクラウドメディアのうちの、複数のGPCC領域のアイテムを含むいずれか1つの非時系列ポイントクラウドメディアである。GPCCアイテムグループボックスは、複数のGPCC領域のアイテムを関連付けることに用いられる。
【0166】
選択可能に、GPCCアイテムグループボックスは、第4識別子を含む。ここで、第4識別子は、複数のGPCC領域のアイテムのうちの、ビデオ再生機器に初期に提示されるアイテムの識別子である。
【0167】
選択可能に、GPCCアイテムグループボックスは、第5識別子を含む。もし第5識別子の取り得る値が第3数値であるなら、複数のGPCC領域のアイテムが静的な物体の完全なGPCCフレームを構成することを表す。もし第5識別子の取り得る値が第4数値であるなら、複数のGPCC領域のアイテムが静的な物体の一部のGPCCフレームを構成することを表す。
【0168】
選択可能に、GPCCアイテムグループボックスは、複数のGPCC領域が構成したGPCC領域の位置情報を含む。
【0169】
選択可能に、通信ユニット620は、さらに、MPDシグナリングに基づいて、ビデオ制作機器に第2要求メッセージを送信することと、第2非時系列ポイントクラウドメディアを受信することと、に用いられる。
【0170】
選択可能に、処理ユニット610は、さらに、第2非時系列ポイントクラウドメディアを再生することに用いられる。
【0171】
理解すべきであるように、装置の実施例と方法の実施例とは、相互に対応することができ、類似する記述は、方法の実施例を参照することができる。重複を回避するために、ここでは再度詳細に説明しない。具体的には、
図6に示される装置600は、ビデオ再生機器に対応する方法の実施例を実行することができ、且つ装置600における各モジュールの前述の、及びその他の操作及び/又は機能は、それぞれビデオ再生機器に対応する方法の実施例を実現するためのものであり、簡潔にするために、ここで再度詳細に説明しない。
【0172】
上記において図面と併せて機能モジュールの観点から本願の実施例の装置600を記述している。理解すべきであるように、該機能モジュールは、ハードウェアの形式によって実現されてもよく、ソフトウェア形式の命令によって実現されてもよく、さらにハードウェアとソフトウェアモジュールとの組み合わせによって実現されてもよい。具体的には、本願の実施例における方法の実施例の各ステップは、プロセッサにおけるハードウェアである集積論理回路、及び/又はソフトウェア形式の命令によって完了されてもよく、本願の実施例と併せて開示された方法のステップは、ハードウェアであるデコーダにより実行されることで直接実現されてもよく、又はデコーダにおけるハードウェアとソフトウェアモジュールとの組み合わせで実行されてもよい。選択可能に、ソフトウェアモジュールは、ランダムメモリ、フラッシュメモリ、読み出し専用メモリ、プログラマブル読み出し専用メモリ、電気的消去可能プログラマブルメモリ、及びレジスタ等の本分野の成熟した記憶媒体の中に位置してもよい。該記憶媒体は、メモリに位置し、プロセッサは、メモリにおける情報を読み出し、そのハードウェアと併せて上記方法の実施例におけるステップを完了する。
【0173】
実施例8
【0174】
図7は、本願の実施例が提供するビデオ制作機器700の模式的なブロック図である。
【0175】
図7に示されるように、該ビデオ制作機器700は、
メモリ710とプロセッサ720とを含んでもよく、該メモリ710は、コンピュータプログラムを記憶し、かつ該プログラムコードを該プロセッサ720に伝送することに用いられる。換言すれば、該プロセッサ720は、メモリ710の中からコンピュータプログラムを呼び出して作動させることで、本願の実施例における方法を実現することができる。
【0176】
例えば、該プロセッサ720は、該コンピュータプログラムにおける命令に基づいて上記方法の実施例を実行することに用いることができる。
【0177】
本願のいくつかの実施例において、該プロセッサ720は、
汎用プロセッサ、デジタル信号プロセッサ(Digital Signal Processor、DSP)、特定用途向け集積回路(Application Specific Integrated Circuit、ASIC)、フィールドプログラマブルゲートアレイ(Field Programmable Gate Array、FPGA)又はその他のプログラマブル論理デバイス、個別ゲート又はトランジスタ論理デバイス、及び個別ハードウェアコンポーネント等を含んでもよいが、これらに限定されない。
【0178】
本願のいくつかの実施例において、該メモリ710は、
揮発性メモリ、及び/又は不揮発性メモリを含むが、これらに限定されない。ここで、不揮発性メモリは、読み出し専用メモリ(Read-Only Memory、ROM)、プログラマブル読み出し専用メモリ(Programmable ROM、PROM)、消去可能プログラマブル読み出し専用メモリ(Erasable PROM、EPROM)、電気的消去可能プログラマブル読み出し専用メモリ(Electrically EPROM、EEPROM)、又はフラッシュメモリであってもよい。揮発性メモリは、ランダムアクセスメモリ(Random Access Memory、RAM)であってもよく、それは、外部キャッシュとして用いられる。制限的でなく例示的な説明によって、多くの形式のRAMが利用可能である。例えば、スタティックランダムアクセスメモリ(Static RAM、SRAM)、ダイナミックランダムアクセスメモリ(Dynamic RAM、DRAM)、同期ダイナミックランダムアクセスメモリ(Synchronous DRAM、SDRAM)、ダブルデータレート同期ダイナミックランダムアクセスメモリ(Double Data Rate SDRAM、DDR SDRAM)、拡張型同期ダイナミックランダムアクセスメモリ(Enhanced SDRAM、ESDRAM)、同期接続ダイナミックランダムアクセスメモリ(synch link DRAM、SLDRAM)、及びダイレクトラムバスランダムアクセスメモリ(Direct Rambus RAM、DR RAM)である。
【0179】
本願のいくつかの実施例において、該コンピュータプログラムは、1つ又は複数のモジュールに分けられてもよく、該1つ又は複数のモジュールは、該メモリ710において記憶され、かつ該プロセッサ720により実行されることで、本願が提供する方法を完了する。該1つ又は複数のモジュールは、特定の機能を完了できる一連のコンピュータプログラム命令セグメントであってもよく、該命令セグメントは、該コンピュータプログラムの該ビデオ制作機器における実行過程を記述することに用いられる。
【0180】
図7に示されるように、該ビデオ制作機器は、
送受信機730をさらに含んでもよく、該送受信機730は、該プロセッサ720、又はメモリ710に接続されてもよい。
【0181】
ここで、プロセッサ720は、該送受信機730とその他の機器との通信を制御することができ、具体的には、その他の機器に情報、又はデータを送信し、又はその他の機器が送信した情報、又はデータを受信することができる。送受信機730は、送信機、及び受信機を含んでもよい。送受信機730は、アンテナをさらに含んでもよく、アンテナの数量は、1つ又は複数であってもよい。
【0182】
理解すべきであるように、該ビデオ制作機器における各コンポーネントは、バスシステムを介して連結され、ここで、バスシステムは、データバスを含む以外に、電源バス、制御バス、及び状態信号バスをさらに含む。
【0183】
実施例9
【0184】
図8は、本願の実施例が提供するビデオ再生機器800の模式的なブロック図である。
【0185】
図8に示されるように、該ビデオ再生機器800は、
メモリ810とプロセッサ820とを含んでもよく、該メモリ810は、コンピュータプログラムを記憶し、かつ該プログラムコードを該プロセッサ820に伝送することに用いられる。換言すれば、該プロセッサ820は、メモリ810の中からコンピュータプログラムを呼び出して作動させることで、本願の実施例における方法を実現することができる。
【0186】
例えば、該プロセッサ820は、該コンピュータプログラムにおける命令に基づいて上記方法の実施例を実行することに用いることができる。
【0187】
本願のいくつかの実施例において、該プロセッサ820は、
汎用プロセッサ、DSP、ASIC、FPGA又はその他のプログラマブル論理デバイス、個別ゲート又はトランジスタ論理デバイス、及び個別ハードウェアコンポーネント等を含んでもよいが、これらに限定されない。
【0188】
本願のいくつかの実施例において、該メモリ810は、
揮発性メモリ、及び/又は不揮発性メモリを含むが、これらに限定されない。ここで、不揮発性メモリは、ROM、PROM、EPROM、EEPROM、又はフラッシュメモリであってもよい。揮発性メモリは、RAMであってもよく、それは、外部キャッシュとして用いられる。制限的でなく例示的な説明によって、多くの形式のRAMが利用可能である。例えば、SRAM、DRAM、SDRAM、DDR SDRAM、ESDRAM、SLDRAM、及びDR RAMである。
【0189】
本願のいくつかの実施例において、該コンピュータプログラムは、1つ又は複数のモジュールに分けられてもよく、該1つ又は複数のモジュールは、該メモリ810において記憶され、かつ該プロセッサ820により実行されることで、本願が提供する方法を完了する。該1つ又は複数のモジュールは、特定の機能を完了できる一連のコンピュータプログラム命令セグメントであってもよく、該命令セグメントは、該コンピュータプログラムの該ビデオ再生機器における実行過程を記述することに用いられる。
【0190】
図8に示されるように、該ビデオ再生機器は、
送受信機830をさらに含んでもよく、該送受信機830は、該プロセッサ820、又はメモリ810に接続されてもよい。
【0191】
ここで、プロセッサ820は、該送受信機830とその他の機器との通信を制御することができ、具体的に、その他の機器に情報、又はデータを送信し、又はその他の機器が送信した情報、又はデータを受信することができる。送受信機830は、送信機、及び受信機を含んでもよい。送受信機830は、アンテナをさらに含んでもよく、アンテナの数量は、1つ又は複数であってもよい。
【0192】
理解すべきであるように、該ビデオ再生機器における各コンポーネントは、バスシステムを介して連結され、ここで、バスシステムは、データバスを含む以外に、電源バス、制御バス、及び状態信号バスをさらに含む。
【0193】
本願は、さらにコンピュータ記憶媒体を提供しており、それにおいてコンピュータプログラムが記憶されており、該コンピュータプログラムは、コンピュータにより実行されるときに、該コンピュータに上記方法の実施例の方法を実行させることができる。又は、本願の実施例は、さらに、命令を含むコンピュータプログラム製品を提供し、該命令がコンピュータにより実行されるときに、コンピュータに上記方法の実施例の方法を実行させる。
【0194】
ソフトウェアを使用して実現するときに、全部、又は部分的にコンピュータプログラム製品の形式で実現されてもよい。該コンピュータプログラム製品は、1つ又は複数のコンピュータ命令を含む。コンピュータにおいて該コンピュータプログラム命令をロードして実行するときに、本願の実施例に係る該プロセス、又は機能を全部又は部分的に生成する。該コンピュータは、汎用コンピュータ、専用コンピュータ、コンピュータネットワーク、又はその他のプログラマブル装置であってもよい。該コンピュータ命令は、コンピュータ可読記憶媒体において記憶されてもよく、又は1つのコンピュータ可読記憶媒体から別のコンピュータ可読記憶媒体に伝送されてもよく、例えば、該コンピュータ命令は、1つのウエブサイト、コンピュータ、サーバ、又はデータセンターから有線(例えば、同軸ケーブル、光ファイバー、及びデジタル加入者線(digital subscriber line、DSL))、又は無線(例えば、赤外線、無線、及びマイクロ波等)の方式によって別のウエブサイト、コンピュータ、サーバ、又はデータセンターに伝送を行うことができる。該コンピュータ可読記憶媒体は、コンピュータがアクセスできる何らの利用可能な媒体であってもよく、又は1つ又は複数の利用可能な媒体を含んで集積したサーバ、及びデータセンター等のデータ記憶機器であってもよい。該利用可能な媒体は、磁気媒体(例えばフロッピーディスク、ハードディスク、及び磁気テープ)、光学媒体(例えば、デジタルビデオディスク(digital video disc、DVD))、又は半導体媒体(例えば、ソリッドステートディスク(solid state disk、SSD))等であってもよい。
【0195】
当業者が理解できるように、本明細書において開示されている実施例と併せて記述された各例示的なモジュール、及びアルゴリズムステップは、電子ハードウェア、又はコンピュータソフトウェアと電子ハードウェアとの併せで実現されてもよい。これらの機能が果たしてハードウェアそれともソフトウェアの方式で実行されるかは、技術的解決手段の特定の応用、及び設計制約条件により決まる。当業者は、各々の特定の応用に対して異なる方法を使用して、記述される機能を実現することができるが、このような実現は、本願の範囲を超えるものと見なしてはならない。
【0196】
本願が提供する幾つかの実施例において、理解すべきであるように、開示されているシステム、装置、及び方法は、その他の方式によって実現されてもよい。例えば、以上に記述される装置の実施例は、単に例示的なものであり、例えば、該モジュールの分割は、単に論理的な機能の分割であり、実際に実現するときに他の分割方式を有してもよく、例えば、複数のモジュール、又はコンポーネントは、併せてもよく、又は別のシステムに集積されてもよく、又はいくつかの特徴を無視し、又は実行しなくてもよい。また、表示、又は検討される相互の間のカップリング、又は直接カップリング、又は通信接続は、いくつかのインタフェース、装置、又はモジュールによる間接的なカップリング、又は通信接続であってもよく、電気的、機械的、又はその他の形式のものであってもよい。
【0197】
別々の部材として説明されるモジュールは、物理的に分離されるものであってもよく、そうではないものであってもよく、モジュールとして表示される部材は、物理モジュールであってもよく、そうではないものであってもよく、すなわち、1つの場所に位置してもよく、又は複数のネットワークユニットに分布してもよい。実際の需要に応じて、そのうちの一部、又は全部のモジュールを選択して本実施例の解決手段の目的を実現することができる。例えば、本願の各実施例における各機能モジュールは、1つの処理モジュールにおいて集積されてもよく、各モジュールが単独で物理的に存在してもよく、2つ又は2つ以上のモジュールが1つのモジュールにおいて集積されてもよい。
【0198】
以上は、本願の具体的な実施形態に過ぎず、本願の保護範囲は、これに限定されず、当業者が本願に開示されている技術範囲内に、容易に想到し得る変化や置換は、全て本願の保護範囲内に含まれるべきである。従って、本願の保護範囲は、該請求項の保護範囲に準じるべきである。
【符号の説明】
【0199】
101 ビデオ再生機器
102 ビデオ制作機器
500 処理装置
510 処理ユニット
520 通信ユニット
600 処理装置
610 処理ユニット
620 通信ユニット
700 ビデオ制作機器
710 メモリ
720 プロセッサ
730 送受信機
800 ビデオ再生機器
810 メモリ
820 プロセッサ
830 送受信機
【手続補正書】
【提出日】2023-05-18
【手続補正2】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
ビデオ制作機器により実行される、非時系列ポイントクラウドメディアの処理方法であって、前記方法は、
静的な物体の非時系列ポイントクラウドデータを取得するステップと、
幾何学的モデルに基づくポイントクラウド圧縮GPCC符号化方式によって前記非時系列ポイントクラウドデータに対して処理を行い、GPCCビットストリームを得るステップと、
前記GPCCビットストリームに対してカプセル化を行い、少なくとも1つのGPCC領域のアイテムを生成するステップであって、前記GPCC領域のアイテムは、前記GPCC領域に対応する三次元3D空間領域のGPCC成分を表すことに用いられる、ステップと、
前記少なくとも1つのGPCC領域のアイテムに対してカプセル化を行い、前記静的な物体の少なくとも1つの非時系列ポイントクラウドメディアを生成するステップであって、前記非時系列ポイントクラウドメディアは、前記静的な物体の識別子を含む、ステップと、
ビデオ再生機器に前記少なくとも1つの非時系列ポイントクラウドメディアのメディア提示記述MPDシグナリングを送信するステップと、
前記ビデオ再生機器が前記MPDシグナリングに基づいて送信した第1要求メッセージを受信するステップであって、前記第1要求メッセージは、前記少なくとも1つの非時系列ポイントクラウドメディアのうちの第1非時系列ポイントクラウドメディアを要求することに用いられる、ステップと、
前記第1要求メッセージに基づいて、前記ビデオ再生機器に前記第1非時系列ポイントクラウドメディアを送信するステップと、を含む、非時系列ポイントクラウドメディアの処理方法。
【請求項2】
ターゲットGPCC領域のアイテムは、3D空間領域のアイテム属性を含み、前記3D空間領域のアイテム属性は、第1識別子と第2識別子とを含み、
前記ターゲットGPCC領域は、前記少なくとも1つのGPCC領域のうちの1つのGPCC領域であり、前記第1識別子は、前記ターゲットGPCC領域に対応するターゲット3D空間領域が複数のサブ空間領域に分割されるか否かを識別することに用いられ、前記第2識別子は、前記ターゲットGPCC領域がGPCC tile符号化方式を採用するか否かを識別することに用いられる、請求項1に記載の方法。
【請求項3】
もし前記ターゲットGPCC領域に対応するターゲット3D空間領域が複数のサブ空間領域に分割されるなら、前記3D空間領域のアイテム属性は、前記複数のサブ空間領域のそれぞれの情報と前記ターゲット3D空間領域の情報とをさらに含む、請求項2に記載の方法。
【請求項4】
前記複数のサブ空間領域のうちのいずれか1つのサブ空間領域に対しては、前記サブ空間領域の情報は、前記サブ空間領域の識別子と、前記サブ空間領域の位置情報と、前記ターゲットGPCC領域がGPCC tile符号化を採用するとき
の前記サブ空間領域におけるtile識別子と、のうちの少なくとも1つを含み、
前記ターゲット3D空間領域の情報は、前記ターゲット3D空間領域の識別子と、前記ターゲット3D空間領域の位置情報と、前記ターゲット3D空間領域に含まれるサブ空間領域の数量と、のうちの少なくとも1つを含む、請求項3に記載の方法。
【請求項5】
もし前記ターゲットGPCC領域に対応するターゲット3D空間領域が複数のサブ空間領域に分割されるなら、前記3D空間領域のアイテム属性は、第3識別子をさらに含み、
前記第3識別子の取り得る値が第1数値、又は空であるときに、前記ターゲットGPCC領域に対応するアイテムが前記ビデオ再生機器により初期に提示されるアイテムである場合、前記ターゲット3D空間領域、及び前記ターゲット3D空間領域のサブ空間領域に対しては、前記ビデオ再生機器に前記ターゲット3D空間領域が初期に提示されることを表し、
前記第3識別子の取り得る値が第2数値であるときに、前記ターゲットGPCC領域に対応するアイテムが前記ビデオ再生機器により初期に提示されるアイテムである場合、前記ターゲット3D空間領域、及び前記ターゲット3D空間領域のサブ空間領域に対しては、前記ビデオ再生機器に、前記ターゲット3D空間領域における前記第2数値に対応したサブ空間領域が初期に提示されることを表す、請求項2~4のいずれか一項に記載の方法。
【請求項6】
もし前記ターゲットGPCC領域に対応するターゲット3D空間領域が複数のサブ空間領域に分割されていないなら、前記3D空間領域のアイテム属性は、前記ターゲット3D空間領域の情報をさらに含む、請求項2に記載の方法。
【請求項7】
前記ターゲット3D空間領域の情報は、前記ターゲット3D空間領域の識別子と、前記ターゲット3D空間領域の位置情報と、前記ターゲットGPCC領域がGPCC tile符号化を採用するとき
の前記ターゲット3D空間領域におけるtile識別子と、のうちの少なくとも1つを含む、請求項6に記載の方法。
【請求項8】
前記少なくとも1つのGPCC領域のアイテムに対してカプセル化を行い、前記静的な物体の少なくとも1つの非時系列ポイントクラウドメディアを生成する前記ステップは、
もし前記少なくとも1つのGPCC領域のアイテムが1つであるなら、1つのGPCC領域のアイテムを1つの非時系列ポイントクラウドメディアとしてカプセル化するステップと、
もし前記少なくとも1つのGPCC領域のアイテムがN個であるなら、N個のGPCC領域のアイテムをM個の非時系列ポイントクラウドメディアとしてカプセル化するステップと、を含み、
Nは1より大きい整数であり、1≦M≦Nであり、Mは整数である、請求項1~4のいずれか一項に記載の方法。
【請求項9】
第2非時系列ポイントクラウドメディアは、GPCCアイテムグループボックスを含み、
前記第2非時系列ポイントクラウドメディアは、前記少なくとも1つの非時系列ポイントクラウドメディアのうちの、複数のGPCC領域のアイテムを含むいずれか1つの非時系列ポイントクラウドメディアであり、前記GPCCアイテムグループボックスは、前記複数のGPCC領域のアイテムを関連付けることに用いられる、請求項1~4のいずれか一項に記載の方法。
【請求項10】
前記GPCCアイテムグループボックスは、第4識別子を含み、
前記第4識別子は、前記複数のGPCC領域のアイテムのうちの、前記ビデオ再生機器に初期に提示されるアイテムの識別子である、請求項9に記載の方法。
【請求項11】
前記GPCCアイテムグループボックスは、第5識別子を含み、
もし前記第5識別子の取り得る値が第3数値であるなら、前記複数のGPCC領域のアイテムが前記静的な物体の完全なGPCCフレームを構成することを表し、
もし前記第5識別子の取り得る値が第4数値であるなら、前記複数のGPCC領域のアイテムが前記静的な物体の一部のGPCCフレームを構成することを表す、請求項9に記載の方法。
【請求項12】
前記GPCCアイテムグループボックスは、前記複数のGPCC領域が構成したGPCC領域の位置情報を含む、請求項9に記載の方法。
【請求項13】
前記第1要求メッセージに基づいて、前記ビデオ再生機器に前記第1非時系列ポイントクラウドメディアを送信する前記ステップの後、前記方法は、
前記ビデオ再生機器が前記静的な物体の識別子に基づき送信した第2要求メッセージを受信するステップであって、前記第2要求メッセージは、前記少なくとも1つの非時系列ポイントクラウドメディアのうちの第3非時系列ポイントクラウドメディアを要求することに用いられる、ステップと、
前記第2要求メッセージに基づいて、前記ビデオ再生機器に前記第3非時系列ポイントクラウドメディアを送信するステップと、をさらに含む、請求項1~4のいずれか一項に記載の方法。
【請求項14】
ビデオ再生機器により実行される、非時系列ポイントクラウドメディアの処理方法であって、前記方法は、
少なくとも1つの非時系列ポイントクラウドメディアのMPDシグナリングを受信するステップであって、前記非時系列ポイントクラウドメディアは、静的な物体の識別子を含む、ステップと、
前記MPDシグナリングに基づいてビデオ制作機器に第1要求メッセージを送信するステップであって、前記第1要求メッセージは、前記少なくとも1つの非時系列ポイントクラウドメディアのうちの第1非時系列ポイントクラウドメディアを要求することに用いられる、ステップと、
前記ビデオ制作機器から前記第1非時系列ポイントクラウドメディアを受信するステップと、
前記第1非時系列ポイントクラウドメディアを再生するステップと、を含み、
前記少なくとも1つの非時系列ポイントクラウドメディアは、少なくとも1つのポイントクラウド圧縮GPCC領域のアイテムに対してカプセル化を行って生成して得られたものであり、前記少なくとも1つのGPCC領域のアイテムは、GPCCビットストリームに対してカプセル化を行って生成されたものであり、前記GPCCビットストリームは、GPCC符号化方式によって静的な物体の非時系列ポイントクラウドデータに対して処理を行って得られたものであり、
前記少なくとも1つのGPCC領域のアイテムのうちのいずれか1つのGPCC領域のアイテムに対しては、前記GPCC領域のアイテムは、前記GPCC領域に対応する3D空間領域のGPCC成分を表すことに用いられる、非時系列ポイントクラウドメディアの処理方法。
【請求項15】
ターゲットGPCC領域のアイテムは、3D空間領域のアイテム属性を含み、前記3D空間領域のアイテム属性は、第1識別子と第2識別子とを含み、
前記ターゲットGPCC領域は、前記少なくとも1つのGPCC領域のうちの1つのGPCC領域であり、前記第1識別子は、前記ターゲットGPCC領域に対応するターゲット3D空間領域が複数のサブ空間領域に分割されるか否かを識別することに用いられ、前記第2識別子は、前記ターゲットGPCC領域がGPCC tile符号化方式を採用するか否かを識別することに用いられる、請求項14に記載の方法。
【請求項16】
もし前記ターゲットGPCC領域に対応するターゲット3D空間領域が複数のサブ空間領域に分割されるなら、前記3D空間領域のアイテム属性は、前記複数のサブ空間領域のそれぞれの情報と前記ターゲット3D空間領域の情報とをさらに含む、請求項15に記載の方法。
【請求項17】
前記複数のサブ空間領域のうちのいずれか1つのサブ空間領域に対しては、前記サブ空間領域の情報は、前記サブ空間領域の識別子と、前記サブ空間領域の位置情報と、前記ターゲットGPCC領域がGPCC tile符号化を採用するとき
の前記サブ空間領域におけるtile識別子と、のうちの少なくとも1つを含み、
前記ターゲット3D空間領域の情報は、前記ターゲット3D空間領域の識別子と、前記ターゲット3D空間領域の位置情報と、前記ターゲット3D空間領域に含まれるサブ空間領域の数量と、のうちの少なくとも1つを含む、請求項16に記載の方法。
【請求項18】
もし前記ターゲットGPCC領域に対応するターゲット3D空間領域が複数のサブ空間領域に分割されるなら、前記3D空間領域のアイテム属性は、第3識別子をさらに含み、
前記第3識別子の取り得る値が第1数値、又は空であるときに、前記ターゲットGPCC領域に対応するアイテムが前記ビデオ再生機器により初期に提示されるアイテムである場合、前記ターゲット3D空間領域、及び前記ターゲット3D空間領域のサブ空間領域に対しては、前記ビデオ再生機器に前記ターゲット3D空間領域が初期に提示されることを表し、
前記第3識別子の取り得る値が第2数値であるときに、前記ターゲットGPCC領域に対応するアイテムが前記ビデオ再生機器により初期に提示されるアイテムである場合、前記ターゲット3D空間領域、及び前記ターゲット3D空間領域のサブ空間領域に対しては、前記ビデオ再生機器に、前記ターゲット3D空間領域における前記第2数値に対応したサブ空間領域が初期に提示されることを表す、請求項15~17のいずれか一項に記載の方法。
【請求項19】
もし前記ターゲットGPCC領域に対応するターゲット3D空間領域が複数のサブ空間領域に分割されていないなら、前記3D空間領域のアイテム属性は、前記ターゲット3D空間領域の情報をさらに含む、請求項15に記載の方法。
【請求項20】
前記ターゲット3D空間領域の情報は、前記ターゲット3D空間領域の識別子と、前記ターゲット3D空間領域の位置情報と、前記ターゲットGPCC領域がGPCC tile符号化を採用するとき
の前記ターゲット3D空間領域におけるtile識別子と、のうちの少なくとも1つを含む、請求項19に記載の方法。
【請求項21】
もし前記少なくとも1つのGPCC領域のアイテムが1つであるなら、1つのGPCC領域のアイテムは、1つの非時系列ポイントクラウドメディアとしてカプセル化され、
もし前記少なくとも1つのGPCC領域のアイテムがN個であるなら、N個のGPCC領域のアイテムは、M個の非時系列ポイントクラウドメディアとしてカプセル化され、
Nは1より大きい整数であり、1≦M≦Nであり、Mは整数である、請求項14~17のいずれか一項に記載の方法。
【請求項22】
第2非時系列ポイントクラウドメディアは、GPCCアイテムグループボックスを含み、
前記第2非時系列ポイントクラウドメディアは、前記少なくとも1つの非時系列ポイントクラウドメディアのうちの、複数のGPCC領域のアイテムを含むいずれか1つの非時系列ポイントクラウドメディアであり、前記GPCCアイテムグループボックスは、前記複数のGPCC領域のアイテムを関連付けることに用いられる、請求項14~17のいずれか一項に記載の方法。
【請求項23】
前記GPCCアイテムグループボックスは、第4識別子を含み、
前記第4識別子は、前記複数のGPCC領域のアイテムのうちの、前記ビデオ再生機器に初期に提示されるアイテムの識別子である、請求項22に記載の方法。
【請求項24】
前記GPCCアイテムグループボックスは、第5識別子を含み、
もし前記第5識別子の取り得る値が第3数値であるなら、前記複数のGPCC領域のアイテムが前記静的な物体の完全なGPCCフレームを構成することを表し、
もし前記第5識別子の取り得る値が第4数値であるなら、前記複数のGPCC領域のアイテムが前記静的な物体の一部のGPCCフレームを構成することを表す、請求項22に記載の方法。
【請求項25】
前記GPCCアイテムグループボックスは、前記複数のGPCC領域が構成したGPCC領域の位置情報を含む、請求項22に記載の方法。
【請求項26】
前記ビデオ制作機器から前記第1非時系列ポイントクラウドメディアを受信する前記ステップの後、前記方法は、
前記MPDシグナリングに基づいて、前記静的な物体の識別子に基づきビデオ制作機器に第2要求メッセージを送信するステップであって、前記第2要求メッセージは、前記少なくとも1つの非時系列ポイントクラウドメディアのうちの第3非時系列ポイントクラウドメディアを要求することに用いられる、ステップと、
前記ビデオ制作機器から前記第3非時系列ポイントクラウドメディアを受信するステップと、
前記第3非時系列ポイントクラウドメディアを再生するステップと、をさらに含む、請求項14~17のいずれか一項に記載の方法。
【請求項27】
非時系列ポイントクラウドメディアの処理装置であって、処理ユニットと通信ユニットとを含み、
前記処理ユニットは、
静的な物体の非時系列ポイントクラウドデータを取得することと、
GPCC符号化方式によって前記非時系列ポイントクラウドデータに対して処理を行い、GPCCビットストリームを得ることと、
前記GPCCビットストリームに対してカプセル化を行い、少なくとも1つのGPCC領域のアイテムを生成することであって、前記GPCC領域のアイテムは、前記GPCC領域に対応する三次元3D空間領域のGPCC成分を表すことに用いられる、ことと、
前記少なくとも1つのGPCC領域のアイテムに対してカプセル化を行い、前記静的な物体の少なくとも1つの非時系列ポイントクラウドメディアを生成することであって、前記非時系列ポイントクラウドメディアは、前記静的な物体の識別子を含む、ことと、
ビデオ再生機器に前記少なくとも1つの非時系列ポイントクラウドメディアのMPDシグナリングを送信することと、に用いられ、
前記通信ユニットは、
前記ビデオ再生機器が前記MPDシグナリングに基づいて送信した第1要求メッセージを受信することであって、前記第1要求メッセージは、前記少なくとも1つの非時系列ポイントクラウドメディアのうちの第1非時系列ポイントクラウドメディアを要求することに用いられる、ことと、
前記第1要求メッセージに基づいて、前記ビデオ再生機器に前記第1非時系列ポイントクラウドメディアを送信することと、に用いられる、非時系列ポイントクラウドメディアの処理装置。
【請求項28】
非時系列ポイントクラウドメディアの処理装置であって、処理ユニットと通信ユニットとを含み、
前記通信ユニットは、
少なくとも1つの非時系列ポイントクラウドメディアのMPDシグナリングを受信することであって、前記非時系列ポイントクラウドメディアは、静的な物体の識別子を含む、ことと、
前記MPDシグナリングに基づいてビデオ制作機器に第1要求メッセージを送信することであって、前記第1要求メッセージは、前記少なくとも1つの非時系列ポイントクラウドメディアのうちの第1非時系列ポイントクラウドメディアを要求することに用いられる、ことと、
前記ビデオ制作機器から前記第1非時系列ポイントクラウドメディアを受信することと、に用いられ、
前記処理ユニットは、前記第1非時系列ポイントクラウドメディアを再生することに用いられ、
前記少なくとも1つの非時系列ポイントクラウドメディアは、少なくとも1つのポイントクラウド圧縮GPCC領域のアイテムに対してカプセル化を行って生成して得られたものであり、前記少なくとも1つのGPCC領域のアイテムは、GPCCビットストリームに対してカプセル化を行って生成されたものであり、前記GPCCビットストリームは、GPCC符号化方式によって静的な物体の非時系列ポイントクラウドデータに対して処理を行って得られたものであり、
前記少なくとも1つのGPCC領域のアイテムのうちのいずれか1つのGPCC領域のアイテムに対しては、前記GPCC領域のアイテムは、前記GPCC領域に対応する3D空間領域のGPCC成分を表すことに用いられる、非時系列ポイントクラウドメディアの処理装置。
【請求項29】
ビデオ制作機器であって、
プロセッサとメモリとを含み、前記メモリは、コンピュータプログラムを記憶することに用いられ、前記プロセッサは、前記メモリにおいて記憶されるコンピュータプログラムを呼び出して作動させることで、請求項1~13のうちのいずれか一項に記載の方法を実行することに用いられる、ビデオ制作機器。
【請求項30】
ビデオ再生機器であって、
プロセッサとメモリとを含み、前記メモリは、コンピュータプログラムを記憶することに用いられ、前記プロセッサは、前記メモリにおいて記憶されるコンピュータプログラムを呼び出して作動させることで、請求項14~26のうちのいずれか一項に記載の方法を実行することに用いられる、ビデオ再生機器。
【請求項31】
コンピュータプログラ
ムであって
、コンピュータに請求項1~13のうちのいずれか一項に記載の方法を実行させる、又は請求項14~26のうちのいずれか一項に記載の方法を実行させる、コンピュータプログラ
ム。
【国際調査報告】