特表 2024-506623 ポイントクラウド符号化・復号方法、装置、コンピュータ可読媒体、及び電子機器

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-02-14

(54)【発明の名称】ポイントクラウド符号化・復号方法、装置、コンピュータ可読媒体、及び電子機器

(51)【国際特許分類】

   H04N 19/12 20140101AFI20240206BHJP

   H04N 21/434 20110101ALI20240206BHJP

   H04N 21/435 20110101ALI20240206BHJP

   H04N 21/438 20110101ALI20240206BHJP

   H04N 19/172 20140101ALI20240206BHJP

   H04N 19/164 20140101ALI20240206BHJP

【ＦＩ】

H04N19/12

H04N21/434

H04N21/435

H04N21/438

H04N19/172

H04N19/164

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023547868

(86)(22)【出願日】2022-02-16

(85)【翻訳文提出日】2023-08-08

(86)【国際出願番号】 CN2022076405

(87)【国際公開番号】W WO2022206200

(87)【国際公開日】2022-10-06

(31)【優先権主張番号】202110351657.2

(32)【優先日】2021-03-31

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

(71)【出願人】

【識別番号】517392436

【氏名又は名称】▲騰▼▲訊▼科技（深▲セン▼）有限公司

【氏名又は名称原語表記】ＴＥＮＣＥＮＴ ＴＥＣＨＮＯＬＯＧＹ （ＳＨＥＮＺＨＥＮ） ＣＯＭＰＡＮＹ ＬＩＭＩＴＥＤ

【住所又は居所原語表記】３５／Ｆ，Ｔｅｎｃｅｎｔ Ｂｕｉｌｄｉｎｇ，Ｋｅｊｉｚｈｏｎｇｙｉ Ｒｏａｄ，Ｍｉｄｗｅｓｔ Ｄｉｓｔｒｉｃｔ ｏｆ Ｈｉ－ｔｅｃｈ Ｐａｒｋ，Ｎａｎｓｈａｎ Ｄｉｓｔｒｉｃｔ， Ｓｈｅｎｚｈｅｎ，Ｇｕａｎｇｄｏｎｇ ５１８０５７，ＣＨＩＮＡ

(74)【代理人】

【識別番号】100110364

【弁理士】

【氏名又は名称】実広 信哉

(74)【代理人】

【識別番号】100150197

【弁理士】

【氏名又は名称】松尾 直樹

(72)【発明者】

【氏名】胡 ▲穎▼

【テーマコード（参考）】

5C159

5C164

【Ｆターム（参考）】

5C159PP04

5C159RC11

5C159TA17

5C159TB01

5C159TC18

5C159TC21

5C159TC45

5C159UA02

5C159UA05

5C164MB13S

5C164MB41S

5C164SB11S

5C164UB10P

5C164UB11P

5C164UB23P

(57)【要約】

本願は、コンピュータ、及び通信技術分野に属し、具体的にポイントクラウド符号化・復号方法、ポイントクラウド符号化・復号装置、コンピュータ可読媒体、及び電子機器に関する。本願の実施例におけるポイントクラウド復号方法は、データソースにより伝送されたポイントクラウドファイルを受信するステップであって、前記ポイントクラウドファイルは、少なくとも１つのポイントクラウドメディアトラックを含む、ステップと、前記少なくとも１つのポイントクラウドメディアトラックのファイルカプセル化情報を解析して、前記ファイルカプセル化情報が携えている品質指示情報を獲得するステップであって、前記品質指示情報は、前記少なくとも１つのポイントクラウドメディアトラックのポイントクラウド品質を表すことに用いられる、ステップと、前記ファイルカプセル化情報が携えている品質指示情報に基づき、前記ポイントクラウドファイルの中から、指定されたポイントクラウド品質を有するポイントクラウドメディアトラックを選び、且つ復号するステップと、を含む。

【特許請求の範囲】

【請求項1】

ポイントクラウド復号方法であって、
データソースにより伝送されたポイントクラウドファイルを受信するステップであって、前記ポイントクラウドファイルは、少なくとも１つのポイントクラウドメディアトラックを含む、ステップと、
前記少なくとも１つのポイントクラウドメディアトラックのファイルカプセル化情報を解析して、前記ファイルカプセル化情報が携えている品質指示情報を獲得するステップであって、前記品質指示情報は、前記少なくとも１つのポイントクラウドメディアトラックのポイントクラウド品質を表すことに用いられる、ステップと、
前記ファイルカプセル化情報が携えている品質指示情報に基づき、前記ポイントクラウドファイルの中から、指定されたポイントクラウド品質を有するポイントクラウドメディアトラックを選び、且つ復号するステップと、を含む、ことを特徴とするポイントクラウド復号方法。

【請求項2】

データソースにより伝送されたポイントクラウドファイルを受信するステップは、
データソースから送信された、ポイントクラウドデータを伝送することに用いられるストリームメディアシグナリングを受信するステップと、
前記ストリームメディアシグナリングを解析して、前記ストリームメディアシグナリングが携えている少なくとも二種の選択可能な品質指示情報を獲得するステップと、
前記少なくとも二種の品質指示情報のうちから選択された品質指示情報に基づき、前記データソースにデータ伝送要求を送信するステップと、
前記データソースにより伝送された、前記データ伝送要求に対応するポイントクラウドファイルを受信するステップと、を含む、ことを特徴とする請求項１に記載のポイントクラウド復号方法。

【請求項3】

前記少なくとも二種の品質指示情報のうちから選択された品質指示情報に基づき、前記データソースにデータ伝送要求を送信するステップは、
前記データソースとデータ伝送を行うネットワーク帯域幅を決定するステップと、
前記ネットワーク帯域幅と前記ストリームメディアシグナリングが携えている少なくとも二種の品質指示情報とに対してマッチング検出を行うことで、前記ネットワーク帯域幅とマッチングするターゲットポイントクラウド品質を選ぶステップと、
前記データソースに前記ターゲットポイントクラウド品質に基づき生成されたデータ伝送要求を送信するステップと、を含む、ことを特徴とする請求項２に記載のポイントクラウド復号方法。

【請求項4】

前記少なくとも１つのポイントクラウドメディアトラックのファイルカプセル化情報を解析して、前記ファイルカプセル化情報が携えている品質指示情報を獲得するステップは、
前記少なくとも１つのポイントクラウドメディアトラックのファイルカプセル化情報を解析することで、前記ポイントクラウドメディアトラックの品質パラメータに関連する少なくとも１つの品質指示フィールドを決定するステップと、
前記少なくとも１つの品質指示フィールドの数値に基づき、前記ポイントクラウドメディアファイルの品質指示情報を決定するステップと、を含む、ことを特徴とする請求項１～３のいずれか一項に記載のポイントクラウド復号方法。

【請求項5】

前記品質指示フィールドは、ポイントクラウドビットストリームのフレームレートを表し、前記品質指示フィールドの数値は、長さが８バイトである１つの符号なし整数である、ことを特徴とする請求項４に記載のポイントクラウド復号方法。

【請求項6】

前記品質指示情報は、品質真値、品質等価値、及び品質レベルのうちの少なくとも一種を含み、前記品質真値は、前記品質パラメータのパラメータ数値であり、前記品質等価値は、前記品質パラメータのパラメータ数値と予め設定された単位品質パラメータとを比較して獲得した単位品質パラメータの数量であり、前記品質レベルは、前記品質パラメータのパラメータ数値範囲を表すことに用いられるレベル情報である、ことを特徴とする請求項４に記載のポイントクラウド復号方法。

【請求項7】

前記品質指示フィールドは、ポイントクラウドビットストリームのビットレートを表し、前記品質指示フィールドの数値は、長さが３２バイトである１つの符号なし整数である、ことを特徴とする請求項４に記載のポイントクラウド復号方法。

【請求項8】

ポイントクラウド符号化方法であって、
異なる符号化標準に応じて伝送対象のポイントクラウドデータに対して符号化処理を行って、同じポイントクラウドコンテンツを有し、且つ異なるポイントクラウド品質を有するポイントクラウドビットストリームを獲得するステップと、
前記符号化標準に基づき前記ポイントクラウドビットストリームの中に前記ポイントクラウド品質を表すことに用いられる品質指示情報を充填するステップと、
前記ポイントクラウドビットストリームをポイントクラウドメディアトラックとしてカプセル化し、且つ前記ポイントクラウドメディアトラックの中に前記ポイントクラウドビットストリームに対応する品質指示情報を充填するステップと、を含む、ことを特徴とするポイントクラウド符号化方法。

【請求項9】

前記ポイントクラウドビットストリームをポイントクラウドメディアトラックとしてカプセル化するステップの後、前記方法は、
ポイントクラウドデータを伝送することに用いられるストリームメディアシグナリングを生成するステップと、
前記ストリームメディアシグナリングの中に各前記ポイントクラウドビットストリームに対応する品質指示情報を充填するステップと、
データ受信側に前記ストリームメディアシグナリングを送信するステップと、をさらに含む、ことを特徴とする請求項８に記載のポイントクラウド符号化方法。

【請求項10】

データ受信側に前記ストリームメディアシグナリングを送信するステップの後、前記方法は、
前記データ受信側から送信された、前記ストリームメディアシグナリングに基づいて生成されたデータ伝送要求を受信するステップと、
前記データ伝送要求に基づき、前記データ受信側にポイントクラウドファイルを伝送するステップであって、前記ポイントクラウドファイルは、同じポイントクラウドコンテンツを有し、且つ異なるポイントクラウド品質を有するポイントクラウドメディアトラックを含む、ステップと、をさらに含む、ことを特徴とする請求項９に記載のポイントクラウド符号化方法。

【請求項11】

前記符号化標準に基づき前記ポイントクラウドビットストリームの中に前記ポイントクラウド品質を表すことに用いられる品質指示情報を充填するステップは、
前記符号化標準に基づき前記ポイントクラウドビットストリームの品質パラメータのパラメータ数値を決定し、且つ前記ポイントクラウドビットストリームにおいて前記品質パラメータに対応する品質指示フィールドを決定するステップと、
前記品質パラメータのパラメータ数値に基づき前記ポイントクラウド品質を表すことに用いられる品質指示情報を決定するステップと、
前記品質パラメータと前記品質指示フィールドとの対応関係に基づき、前記品質指示情報を前記品質指示フィールドに充填するステップと、を含む、ことを特徴とする請求項８～１０のいずれか一項に記載のポイントクラウド符号化方法。

【請求項12】

前記ポイントクラウドメディアトラックの中に前記ポイントクラウドビットストリームに対応する品質指示情報を充填するステップは、
前記ポイントクラウドメディアトラックのファイルカプセル化情報において前記品質指示情報に対応する品質指示フィールドを決定するステップと、
前記ポイントクラウドビットストリームに対応する品質指示情報を前記ファイルカプセル化情報における品質指示フィールドに充填するステップと、を含む、ことを特徴とする請求項８～１０のいずれか一項に記載のポイントクラウド復号方法。

【請求項13】

ポイントクラウド復号装置であって、
データソースにより伝送されたポイントクラウドファイルを受信するように構成される受信モジュールであって、前記ポイントクラウドファイルは、少なくとも１つのポイントクラウドメディアトラックを含む、受信モジュールと、
前記少なくとも１つのポイントクラウドメディアトラックのファイルカプセル化情報を解析して、前記ファイルカプセル化情報が携えている品質指示情報を獲得するように構成される解析モジュールであって、前記品質指示情報は、前記少なくとも１つのポイントクラウドメディアトラックのポイントクラウド品質を表すことに用いられる、解析モジュールと、
前記ファイルカプセル化情報が携えている品質指示情報に基づき、前記ポイントクラウドファイルの中から、指定されたポイントクラウド品質を有するポイントクラウドメディアトラックを選び、且つ復号するように構成される復号モジュールと、を含む、ことを特徴とするポイントクラウド復号装置。

【請求項14】

ポイントクラウド符号化装置であって、
異なる符号化標準に応じて伝送対象のポイントクラウドデータに対して符号化処理を行って、同じポイントクラウドコンテンツを有し、且つ異なるポイントクラウド品質を有するポイントクラウドビットストリームを獲得するように構成される符号化モジュールと、
前記符号化標準に基づき前記ポイントクラウドビットストリームの中に前記ポイントクラウド品質を表すことに用いられる品質指示情報を充填するように構成される充填モジュールと、
前記ポイントクラウドビットストリームをポイントクラウドメディアトラックとしてカプセル化し、且つ前記ポイントクラウドメディアトラックの中に前記ポイントクラウドビットストリームに対応する品質指示情報を充填するように構成されるカプセル化モジュールと、を含む、ことを特徴とするポイントクラウド符号化装置。

【請求項15】

コンピュータ可読媒体であって、コンピュータプログラムが記憶されており、該コンピュータプログラムは、プロセッサにより実行されるときに、請求項１～１２のいずれか一項に記載の方法を実現する、コンピュータ可読媒体。

【請求項16】

電子機器であって、
プロセッサと、
前記プロセッサの実行可能な命令を記憶することに用いられるメモリと、を含み、
前記プロセッサは、前記実行可能な命令を実行することにより請求項１～１２のいずれか一項に記載の方法を実行するように構成される、ことを特徴とする電子機器。

【発明の詳細な説明】

【技術分野】

【0001】

本願は、コンピュータ、及び通信技術分野に属し、具体的にポイントクラウド符号化・復号方法、ポイントクラウド符号化・復号装置、コンピュータ可読媒体、及び電子機器に関する。

【0002】

本願は、２０２１年３月３１日に提出された、出願番号が第２０２１１０３５１６５７．２号号であり、発明の名称が「ポイントクラウド符号化・復号方法、装置、コンピュータ可読媒体、及び電子機器」である中国特許出願の優先権を主張する。

【背景技術】

【0003】

ポイントクラウドは、空間において不規則に分布し、三次元物体、又はシーンの空間構造、及び表面属性を表現する一群の離散ポイントセットである。ポイントクラウド収集機器によって大規模なポイントクラウドデータを取得した後に、ポイントクラウドデータを符号化してカプセル化することでユーザーに伝送して提示することができる。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本願の実施例は、ポイントクラウド符号化・復号方法、ポイントクラウド符号化・復号装置、コンピュータ可読媒体、及び電子機器を提供する。

【課題を解決するための手段】

【0005】

本願の実施例の一態様によれば、ポイントクラウド復号方法を提供し、該方法は、データソースにより伝送されたポイントクラウドファイルを受信するステップであって、前記ポイントクラウドファイルは、少なくとも１つのポイントクラウドメディアトラックを含む、ステップと、前記少なくとも１つのポイントクラウドメディアトラックのファイルカプセル化情報を解析して、前記ファイルカプセル化情報が携えている品質指示情報を獲得するステップであって、前記品質指示情報は、前記少なくとも１つのポイントクラウドメディアトラックのポイントクラウド品質を表すことに用いられる、ステップと、前記ファイルカプセル化情報が携えている品質指示情報に基づき、前記ポイントクラウドファイルの中から、指定されたポイントクラウド品質を有するポイントクラウドメディアトラックを選び、且つ復号するステップと、を含む。

【0006】

本願の実施例の一態様によれば、ポイントクラウド復号装置を提供し、該装置は、データソースにより伝送されたポイントクラウドファイルを受信するように構成される受信モジュールであって、前記ポイントクラウドファイルは、少なくとも１つのポイントクラウドメディアトラックを含む、受信モジュールと、前記少なくとも１つのポイントクラウドメディアトラックのファイルカプセル化情報を解析して、前記ファイルカプセル化情報が携えている品質指示情報を獲得するように構成される解析モジュールであって、前記品質指示情報は、前記少なくとも１つのポイントクラウドメディアトラックのポイントクラウド品質を表すことに用いられる、解析モジュールと、前記ファイルカプセル化情報が携えている品質指示情報に基づき、前記ポイントクラウドファイルの中から、指定されたポイントクラウド品質を有するポイントクラウドメディアトラックを選び、且つ復号するように構成される復号モジュールと、を含む。

【0007】

本願のいくつかの実施例において、以上の技術的解決手段に基づいて、前記受信モジュールは、データソースから送信された、ポイントクラウドデータを伝送することに用いられるストリームメディアシグナリングを受信するように構成されるシグナリング受信ユニットと、前記ストリームメディアシグナリングを解析して、前記ストリームメディアシグナリングが携えている少なくとも二種の選択可能な品質指示情報を獲得するように構成されるシグナリング解析ユニットと、前記少なくとも二種の品質指示情報のうちから選択された品質指示情報に基づき、前記データソースにデータ伝送要求を送信するように構成される要求送信ユニットと、前記データソースにより伝送された、前記データ伝送要求に対応するポイントクラウドファイルを受信するように構成されるファイル受信ユニットと、を含む。

【0008】

本願のいくつかの実施例において、以上の技術的解決手段に基づいて、前記要求送信ユニットは、前記データソースとデータ伝送を行うネットワーク帯域幅を決定するように構成される帯域幅取得サブユニットと、前記ネットワーク帯域幅と前記ストリームメディアシグナリングが携えている少なくとも二種の品質指示情報とに対してマッチング検出を行うことで、前記ネットワーク帯域幅とマッチングするターゲットポイントクラウド品質を選ぶように構成される帯域幅マッチングサブユニットと、前記データソースに前記ターゲットポイントクラウド品質に基づき生成されたデータ伝送要求を送信するように構成される要求送信サブユニットと、を含む。

【0009】

本願のいくつかの実施例において、以上の技術的解決手段に基づいて、前記解析モジュールは、前記少なくとも１つのポイントクラウドメディアトラックのファイルカプセル化情報を解析することで、前記ポイントクラウドメディアトラックの品質パラメータに関連する少なくとも１つの品質指示フィールドを決定するように構成される情報解析ユニットと、前記少なくとも１つの品質指示フィールドの数値に基づき、前記ポイントクラウドメディアファイルの品質指示情報を決定するように構成される情報決定ユニットと、を含む。

【0010】

本願のいくつかの実施例において、以上の技術的解決手段に基づいて、前記品質指示情報は、品質真値、品質等価値、及び品質レベルのうちの少なくとも一種を含み、前記品質真値は、前記品質パラメータのパラメータ数値であり、前記品質等価値は、前記品質パラメータのパラメータ数値と予め設定された単位品質パラメータとを比較して獲得した単位品質パラメータの数量であり、前記品質レベルは、前記品質パラメータのパラメータ数値範囲を表すことに用いられるレベル情報である。

【0011】

本願のいくつかの実施例において、以上の技術的解決手段に基づいて、前記品質パラメータは、ポイントクラウドビットストリームのビットレート、及びフレームレートのうちの少なくとも一種を含む。

【0012】

本願の実施例の一態様によれば、ポイントクラウド符号化方法を提供し、該方法は、異なる符号化標準に応じて伝送対象のポイントクラウドデータに対して符号化処理を行って、同じポイントクラウドコンテンツを有し、且つ異なるポイントクラウド品質を有するポイントクラウドビットストリームを獲得するステップと、前記符号化標準に基づき前記ポイントクラウドビットストリームの中に前記ポイントクラウド品質を表すことに用いられる品質指示情報を充填するステップと、前記ポイントクラウドビットストリームをポイントクラウドメディアトラックとしてカプセル化し、且つ前記ポイントクラウドメディアトラックの中に前記ポイントクラウドビットストリームに対応する品質指示情報を充填するステップと、を含む。

【0013】

本願の実施例の一態様によれば、ポイントクラウド符号化装置を提供し、該装置は、異なる符号化標準に応じて伝送対象のポイントクラウドデータに対して符号化処理を行って、同じポイントクラウドコンテンツを有し、且つ異なるポイントクラウド品質を有するポイントクラウドビットストリームを獲得するように構成される符号化モジュールと、前記符号化標準に基づき前記ポイントクラウドビットストリームの中に前記ポイントクラウド品質を表すことに用いられる品質指示情報を充填するように構成される充填モジュールと、前記ポイントクラウドビットストリームをポイントクラウドメディアトラックとしてカプセル化し、且つ前記ポイントクラウドメディアトラックの中に前記ポイントクラウドビットストリームに対応する品質指示情報を充填するように構成されるカプセル化モジュールと、を含む。

【0014】

本願のいくつかの実施例において、以上の技術的解決手段に基づいて、前記ポイントクラウド符号化装置は、ポイントクラウドデータを伝送することに用いられるストリームメディアシグナリングを生成するように構成されるシグナリング生成モジュールと、前記ストリームメディアシグナリングの中に各前記ポイントクラウドビットストリームに対応する品質指示情報を充填するように構成されるシグナリング充填モジュールと、データ受信側に前記ストリームメディアシグナリングを送信するように構成されるシグナリング送信モジュールと、をさらに含む。

【0015】

本願のいくつかの実施例において、以上の技術的解決手段に基づいて、前記ポイントクラウド符号化装置は、前記データ受信側から送信された、前記ストリームメディアシグナリングに基づいて生成されたデータ伝送要求を受信するように構成される要求受信モジュールと、前記データ伝送要求に基づき、前記データ受信側にポイントクラウドファイルを伝送するように構成されるファイル伝送モジュールであって、前記ポイントクラウドファイルは、同じポイントクラウドコンテンツを有し、且つ異なるポイントクラウド品質を有するポイントクラウドメディアトラックを含む、ファイル伝送モジュールと、をさらに含む。

【0016】

本願のいくつかの実施例において、以上の技術的解決手段に基づいて、前記充填モジュールは、前記符号化標準に基づき前記ポイントクラウドビットストリームの品質パラメータのパラメータ数値を決定し、且つ前記ポイントクラウドビットストリームにおいて前記品質パラメータに対応する品質指示フィールドを決定するように構成される数値決定ユニットと、前記品質パラメータのパラメータ数値に基づき前記ポイントクラウド品質を表すことに用いられる品質指示情報を決定するように構成される第１情報決定ユニットと、前記品質パラメータと前記品質指示フィールドとの対応関係に基づき、前記品質指示情報を前記品質指示フィールドに充填するように構成される第１情報充填ユニットと、を含む。

【0017】

本願のいくつかの実施例において、以上の技術的解決手段に基づいて、前記カプセル化モジュールは、
前記ポイントクラウドメディアトラックのファイルカプセル化情報において前記品質指示情報に対応する品質指示フィールドを決定するように構成される第２情報決定ユニットと、
前記ポイントクラウドビットストリームに対応する品質指示情報を前記ファイルカプセル化情報における品質指示フィールドに充填するように構成される第２情報充填ユニットと、を含む。

【0018】

本願の実施例の一態様によれば、コンピュータ可読媒体を提供し、それにおいてコンピュータプログラムが記憶されており、該コンピュータプログラムは、プロセッサにより実行されるときに、以上の技術的解決手段における方法を実現する。

【0019】

本願の実施例の一態様によれば、電子機器を提供し、該電子機器は、プロセッサと、前記プロセッサの実行可能な命令を記憶することに用いられるメモリと、を含み、前記プロセッサは、前記実行可能な命令を実行することにより以上の技術的解決手段における方法を実行するように構成される。

【0020】

本願の実施例の一態様によれば、コンピュータプログラム製品、又はコンピュータプログラムを提供し、該コンピュータプログラム製品、又はコンピュータプログラムは、コンピュータ命令を含み、該コンピュータ命令は、コンピュータ可読記憶媒体の中に記憶されている。コンピュータ機器のプロセッサは、コンピュータ可読記憶媒体から該コンピュータ命令を読み取り、プロセッサは、該コンピュータ命令を実行し、該コンピュータ機器に以上の技術的解決手段における方法を実行させる。

【0021】

本願の実施例が提供する技術的解決手段において、ポイントクラウドデータ符号化、及びファイルカプセル化の過程においてポイントクラウド品質を表すことに用いられる品質指示情報を付け加えることによって、ポイントクラウドファイル、及び各成分（幾何学、及び属性等）の品質レベルを明確に指示することができ、それによりクライアントは、対応するポイントクラウドファイルをより正確に要求することができ、復号して提示するときに、クライアント自体のニーズ、及び性能条件に基づき対応する成分を選択することもできる。

【0022】

理解すべき点としては、以上の一般的な記述、及び下記の細部の記述は、例示的で解釈的なものに過ぎず、本願を制限することができない。

【図面の簡単な説明】

【0023】

【図1】本願の実施例の技術的解決手段を応用することができる例示的なシステムアーキテクチャの模式図を示している。

【図2】ポイントクラウド符号化装置、及びポイントクラウド復号装置のストリーミング伝送環境における置き方式を示している。

【図3】本願の１つの実施例におけるポイントクラウド復号方法のステップフローチャートを示している。

【図4】本願の１つの実施例において複数のトラックでカプセル化される代替可能なグループの模式図を示している。

【図5】本願の１つの実施例においてデータソースからポイントクラウドファイルを受信するステップフローチャートを示している。

【図6】本願の１つの実施例におけるポイントクラウド符号化方法のステップフローチャートを示している。

【図7】本願の１つの実施例におけるＧＰＣＣビットストリームの上位層構文の模式図を示している。

【図8】本願の１つの実施例においてビットレートを品質指示情報としてポイントクラウドデータ伝送を行うステップフローチャートを示している。

【図9】本願の１つの実施例においてフレームレートを品質指示情報としてポイントクラウドデータ伝送を行うステップフローチャートを示している。

【図10】本願の実施例が提供するポイントクラウド復号装置の構造ブロック図を模式的に示している。

【図11】本願の実施例が提供するポイントクラウド符号化装置の構造ブロック図を模式的に示している。

【図12】本願の実施例を実現するために用いられることに適する電子機器のコンピュータシステムの構造ブロック図を模式的に示している。

【発明を実施するための形態】

【0024】

これより、図面を参照して例示的な実施形態をより全面的に記述する。しかしながら、例示的な実施形態は、複数種の形式で実施することができ、且つここで詳述される典型例に制限されると理解されるべきではなく、逆に、これらの実施形態を提供することにより、本願をより全面的で完全にし、且つ例示的な実施形態の発想を当業者に全面的に伝える。

【0025】

また、記述される特徴、構造、又は特性は、何らかの適切な方式で１つ又はそれ以上の実施例の中に組み込むことができる。以下の記述において、多くの具体的な細部を提供し、それにより本願の実施例に対する十分な理解を与える。しかしながら、当業者が理解できるように、特定の細部のうちの１つ又はそれ以上がなくても、本願の技術的解決手段を実施することができ、又はその他の方法、構成要素、装置、及びステップ等を採用することができる。その他の状況において、本願の各態様を曖昧にしないように、公知の方法、装置、実現、又は操作を詳細に示さない、又は記述しない。

【0026】

図面において示されるブロック図は、単に機能エンティティであり、必ずしも物理的に独立したエンティティに対応する必要がない。すなわち、ソフトウェアの形式を採用してこれらの機能エンティティを実現することができ、又は１つ又は複数のハードウェアモジュール、又は集積回路においてこれらの機能エンティティを実現することができ、又は異なるネットワーク、及び／又はプロセッサ装置、及び／又はマイクロコントローラ装置においてこれらの機能エンティティを実現することができる。

【0027】

図面において示されるフローチャートは、例示的な説明に過ぎず、必ずしもあらゆるコンテンツ、及び操作／ステップを含むわけではなく、必ずしも記述される順序で実行するわけではない。たとえば、ある操作／ステップは、さらに分解されてもよく、ある操作／ステップは、合わせられる、又は部分的に合わせられるようにしてもよく、従って、実際の実行順序は、実際の状況に基づき変更する可能性がある。

【0028】

ポイントクラウドは、空間において不規則に分布し、三次元物体、又はシーンの空間構造、及び表面属性を表現する一群の離散ポイントセットである。ポイントクラウドにおける各々のポイントは、少なくとも三次元位置情報を有し、異なる応用シーンに基づき、さらに色、材質、又はその他の情報を有する可能性がある。通常、ポイントクラウドにおける各々のポイントは、いずれも同じ数量の追加属性を有する。ポイントクラウドメディアは、符号化方式の点から、従来のビデオ符号化方式に基づいて圧縮するポイントクラウドメディア（Ｖｉｄｅｏ－ｂａｓｅｄ Ｐｏｉｎｔ Ｃｌｏｕｄ Ｃｏｍｐｒｅｓｓｉｏｎ、ＶＰＣＣ）、及び幾何学的特徴に基づいて圧縮するポイントクラウドメディア（Ｇｅｏｍｅｔｒｙ－ｂａｓｅｄ Ｐｏｉｎｔ Ｃｌｏｕｄ Ｃｏｍｐｒｅｓｓｉｏｎ、ＧＰＣＣ）に分けることができる。ポイントクラウドメディアのファイルカプセル化において、三次元位置情報は、通常、ポイントクラウドファイルの幾何学的コンポーネント（Ｇｅｏｍｅｔｒｙ Ｃｏｍｐｏｎｅｎｔ）と呼ばれ、属性情報は、ポイントクラウドファイルの属性コンポーネント（Ａｔｔｒｉｂｕｔｅ Ｃｏｍｐｏｎｅｎｔ）と呼ばれる。１つのポイントクラウドファイルは、１つの幾何学的コンポーネントのみを有する可能性があるが、１つ又は複数の属性コンポーネントが存在してもよい。

【0029】

ポイントクラウドは、三次元物体、又はシーンの空間構造、及び表面属性を柔軟に容易に表現することができる。したがって、幅広く応用され、その主な応用シーンは、１）機械で感知されるポイントクラウド、例えば自律ナビゲーションシステム、リアルタイムパトロールシステム、地理情報システム、視覚選別ロボット、及び災害救援ロボット、２）人間の目で感知されるポイントクラウド、例えばデジタル文化遺産、自由視点ブロードキャスト、三次元没入型通信、及び三次元没入型インタラクション等のポイントクラウド応用シーンの２種類に大きく分類することができる。

【0030】

ポイントクラウドの取得は、主に、コンピュータによる生成、３Ｄレーザ走査、及び３Ｄ撮影測定等の手段を有する。コンピュータは、仮想三次元物体、及びシーンのポイントクラウドを生成することができる。３Ｄ走査は、静的な現実世界の三次元物体、又はシーンのポイントクラウドを得ることができ、毎秒数百万のポイントクラウドを取得することができる。３Ｄ撮像は、動的な現実世界の三次元物体、又はシーンのポイントクラウドを得ることができ、毎秒数千万のポイントクラウドを取得することができる。また、医療分野では、ＭＲＩ、ＣＴ、及び電磁位置決め情報により、生体組織や器官のポイントクラウドを得ることができる。これらの技術は、ポイントクラウドデータ取得のコスト、及び時間周期を低減させ、データの精度を向上させる。ポイントクラウドデータの取得方式の変革により、多くのポイントクラウドデータの取得が可能になる。大規模なポイントクラウドデータが絶えず蓄積することに伴い、ポイントクラウドデータの効率的な記憶、伝送、配布、共有、及び標準化は、ポイントクラウドの応用のキーポイントとなっている。

【0031】

ポイントクラウドメディアに対して符号化を行った後に、符号化後のデータストリームに対してカプセル化を行い、且つユーザーに伝送する必要がある。それに対応して、ポイントクラウドメディアプレーヤー側では、まず、ポイントクラウドファイルに対してカプセル化解除を行い、次に復号を行い、最後に復号後のデータストリームを提示する必要がある。

【0032】

図１は、本願の実施例の技術的解決手段を応用することができる例示的なシステムアーキテクチャの模式図を示している。

【0033】

図１に示すように、システムアーキテクチャ１００は、複数の端末装置を含み、上記端末装置は、例えばネットワーク１５０を介して互いに通信することができる。例を挙げると、システムアーキテクチャ１００は、ネットワーク１５０を介して互いに接続される第１端末装置１１０と第２端末装置１２０とを含んでもよい。図１の実施例において、第１端末装置１１０と第２端末装置１２０とは、一方向データ伝送を実行する。

【0034】

例を挙げると、第１端末装置１１０は、ポイントクラウドデータ（例えば第１端末装置１１０により収集されたポイントクラウドビットストリーム）に対して符号化を行うことで、ネットワーク１５０を介して第２端末装置１２０に伝送することができ、符号化済みのポイントクラウドデータは、１つ又は複数の符号化済みのポイントクラウドビットストリームの形式で伝送される。第２端末装置１２０は、ネットワーク１５０から符号化済みのポイントクラウドデータを受信し、符号化済みのポイントクラウドデータを復号し、且つ復号済みのポイントクラウドデータを表示することができる。

【0035】

本願の１つの実施例において、システムアーキテクチャ１００は、符号化済みのポイントクラウドデータの双方向伝送を実行する第３端末装置１３０と第４端末装置１４０とを含んでもよく、上記双方向伝送は、例えば、ビデオ会議の期間に発生してもよい。双方向のデータ伝送に対しては、第３端末装置１３０、及び第４端末装置１４０のうちの各々の端末装置は、ポイントクラウドデータ（例えば端末装置により収集されたポイントクラウドビットストリーム）に対して符号化を行うことで、ネットワーク１５０を介して第３端末装置１３０、及び第４端末装置１４０のうちの他方の端末装置に伝送することができる。第３端末装置１３０、及び第４端末装置１４０のうちの各々の端末装置は、さらに第３端末装置１３０、及び第４端末装置１４０のうちの他方の端末装置により伝送された符号化済みのポイントクラウドデータを受信することができ、符号化済みのポイントクラウドデータを復号することで、ポイントクラウドデータを回復することができ、回復されたポイントクラウドデータに基づきアクセス可能な表示装置においてポイントクラウドデータを表示することができる。

【0036】

図１の実施例において、第１端末装置１１０、第２端末装置１２０、第３端末装置１３０、及び第４端末装置１４０は、サーバ、パーソナルコンピュータ、及びスマートフォンであってもよいが、本願に開示されている原理は、これに制限されない。本願に開示されている実施例は、ラップトップコンピュータ、タブレットパソコン、メディアプレーヤー、及び／又は専用ビデオ会議機器に適用する。ネットワーク１５０は、第１端末装置１１０と、第２端末装置１２０と、第３端末装置１３０と、第４端末装置１４０との間に符号化済みのポイントクラウドデータを転送する任意の数ののネットワークを表し、例えば有線、及び／又は無線通信ネットワークを含む。ネットワーク１５０は、回路交換、及び／又はパケット交換チャネルにおいてデータを交換することができる。該ネットワークは、電気通信ネットワーク、ローカルエリアネットワーク、ワイドエリアネットワーク、及び／又はインターネットを含んでもよい。本願の目的のためには、下記において解釈が施されていない限りは、ネットワーク１５０のアーキテクチャ、及びトポロジーは、本願に開示されている操作にとって重要なものではない可能性がある。

【0037】

本願の１つの実施例において、図２は、ポイントクラウド符号化装置、及びポイントクラウド復号装置のストリーミング伝送環境における設置方式を示している。本願に開示されている主題は、例えば、ビデオ会議、デジタルテレビ、並びにＣＤ、ＤＶＤ、及び記憶スティック等を含む、デジタル媒体に圧縮済みのポイントクラウドデータの記憶すること等を含む、ポイントクラウドをサポートするその他のアプリケーションに同様に適用することができる。

【0038】

ストリーミング伝送システムは、収集サブシステム２１３を含んでもよく、収集サブシステム２１３は、デジタルカメラ等のポイントクラウドデータソース２０１を含んでもよく、ポイントクラウドデータソース２０１は、例えば、圧縮されていないポイントクラウドデータ２０２を作成することができる。実施例において、ポイントクラウドデータ２０２は、デジタルカメラにより撮影されたサンプルを含む。符号化済みのポイントクラウドデータ２０４（又は符号化済みのポイントクラウドビットストリーム２０４）と比較して、ポイントクラウドデータ２０２は、太い線として描画されることで高いデータ量のポイントクラウドデータを強調する。ポイントクラウドデータ２０２は、電子装置２２０により処理されてもよく、電子装置２２０は、ビデオソース２０１に連結されたビデオ符号化装置２０３を含む。ビデオ符号化装置２０３は、ハードウェア、ソフトウェア、又はソフトウェアとハードウェアとの組み合わせを含んでもよく、それによって、下記でより詳細に記述される、開示される主題の各態様を実現、又は実施する。ポイントクラウドデータ２０２と比較して、符号化済みのポイントクラウドデータ２０４（又は符号化済みのポイントクラウドビットストリーム２０４）は、細い線として描画されることで比較的低いデータ量の符号化済みのポイントクラウドデータ２０４（又は符号化済みのポイントクラウドビットストリーム２０４）を強調し、ストリーミング伝送サーバ２０５に記憶されて将来使用することができる。１つ又は複数のストリーミング伝送クライアントサブシステム、例えば図２におけるクライアントサブシステム２０６、及びクライアントサブシステム２０８は、ストリーミング伝送サーバ２０５にアクセスすることで、ポイントクラウドデータ２０４のコピーとする符号化済みのポイントクラウドデータ２０７とポイントクラウドデータ２０９とを検索することができる。クライアントサブシステム２０６は、例えば電子装置２３０におけるポイントクラウド復号装置２１０を含んでもよい。ポイントクラウド復号装置２１０は、伝送された符号化済みのポイントクラウドデータのコピー２０７を復号し、且つディスプレイ２１２（例えばディスプレイスクリーン）、又は他の提示装置において提示することができる出力ポイントクラウドデータ２１１を発生させる。いくつかのストリーミング伝送システムにおいて、あるポイントクラウド符号化／圧縮標準に基づき符号化済みのポイントクラウドデータ２０４、ポイントクラウドデータ２０７、及びポイントクラウドデータ２０９（例えばポイントクラウドビットストリーム）に対して符号化を行うことができる。これらの標準の実施例は、ＭＰＥＧによりＧＰＣＣのために開発された標準を含んでもよい。

【0039】

注意すべき点としては、電子装置２２０、及び電子装置２３０は、図面において示されていないその他の部品を含んでもよい。例を挙げると、電子装置２２０は、ポイントクラウド復号装置を含んでもよく、且つ電子装置２３０は、さらにポイントクラウド符号化装置を含んでもよい。

【0040】

以下、具体的な実施形態を併せて本願が提供するポイントクラウド符号化・復号方法、ポイントクラウド符号化・復号装置、コンピュータ可読媒体、及び電子機器等の技術的解決手段を詳細に説明する。

【0041】

図３は、本願の１つの実施例におけるポイントクラウド復号方法のステップフローチャートを示している。該方法は、ポイントクラウドメディアシステムのサーバ、クライアント、及び中間ノード等の部分に応用することができる。本願の実施例は、ポイントクラウド復号装置が取り付けられたクライアント機器が実行するポイントクラウド復号方法を示例とする。図３に示すように、該ポイントクラウド復号方法は、主に以下のステップＳ３１０～ステップＳ３３０を含んでもよい。

【0042】

ステップＳ３１０：データソースにより伝送されたポイントクラウドファイルを受信し、ポイントクラウドファイルは、少なくとも１つのポイントクラウドメディアトラックを含む。

【0043】

本願の実施例に基づき、ステップＳ３１０において、ポイントクラウドファイルは、同じポイントクラウドコンテンツを有し、且つ異なるポイントクラウド品質を有するポイントクラウドメディアトラックを含んでもよい。ポイントクラウドファイルにおいて異なるポイントクラウドメディアトラックと対応する代替可能なグループ（ａｌｔｅｒｎａｔｉｖｅ ｇｒｏｕｐ）がカプセル化され、同じポイントクラウドコンテンツを有し、且つ異なるポイントクラウド品質を有するポイントクラウドメディアトラックは、同一の代替可能なグループ内に分けられてもよい。ＧＰＣＣポイントクラウドデータが単一のトラックでカプセル化されるときに、異なる品質のポイントクラウドコンテンツのトラックは、同一の代替可能なグループに属する。ＧＰＣＣポイントクラウドデータが複数のトラックでカプセル化されるときに、異なる品質のポイントクラウドコンテンツの幾何学的成分トラックは、同一の代替可能なグループに属するが、属性成分トラックは、幾何学的成分トラックにつながることができる。

【0044】

図４は、本願の１つの実施例において複数のトラックでカプセル化される代替可能なグループの模式図を示している。図４に示すように、代替可能なグループ４００において、同じポイントクラウドコンテンツを有する第１ポイントクラウドデータ４１０と第２ポイントクラウドデータ４２０とが含まれる。ここで、第１ポイントクラウドデータ４１０は、ポイントクラウド品質が相対的に高いロスレス圧縮ポイントクラウドデータ（Ｌｏｓｓｌｅｓｓ ｃｏｄｅｄ ＧＰＣＣ）であり、第２ポイントクラウドデータ４２０は、ポイントクラウド品質が相対的に低いロッシー圧縮ポイントクラウドデータ（Ｌｏｓｓｙ ｃｏｄｅｄ ＧＰＣＣ）である。

【0045】

第１ポイントクラウドデータ４１０において、第１幾何学的成分トラック４１１と第１幾何学的成分トラック４１１につながる第１属性成分トラック４１２とが含まれ、第２ポイントクラウドデータ４２０において、第２幾何学的成分トラック４２１と第２幾何学的成分トラック４２１につながる第２属性成分トラック４２２とが含まれる。

【0046】

ステップＳ３２０：少なくとも１つのポイントクラウドメディアトラックのファイルカプセル化情報を解析して、ファイルカプセル化情報が携えている品質指示情報を獲得し、品質指示情報は、少なくとも１つのポイントクラウドメディアトラックのポイントクラウド品質を表すことに用いられる。

【0047】

ファイルカプセル化情報は、ポイントクラウドビットストリームをポイントクラウドファイルとしてカプセル化するときに生成された、ポイントクラウドファイルに関連する復号構成データを記録することに用いられるデータボックスであり、例えば、ＧＰＣＣデコーダ構成記録データボックス（ＧＰＣＣＤｅｃｏｄｅｒＣｏｎｆｉｇｕｒａｔｉｏｎＲｅｃｏｒｄ）であってもよい。

【0048】

本願の１つの実施例において、ファイルカプセル化情報を解析して品質指示情報を獲得する方法は、ポイントクラウドメディアトラックのファイルカプセル化情報を解析することで、ポイントクラウドメディアトラックの品質パラメータと関連する少なくとも１つの品質指示フィールドを決定するステップと、少なくとも１つの品質指示フィールドの数値に基づき、ポイントクラウドメディアファイルの品質指示情報を決定するステップと、を含んでもよい。

【0049】

本願の１つの実施例において、ポイントクラウドメディアトラックの品質パラメータは、ポイントクラウドビットストリームのビットレート、及びフレームレートのうちの少なくとも一種を含んでもよい。その他のいくつかの選択可能な実施形態において、品質パラメータは、解像度、及び画質等の、メディアリソース品質に関連するその他のパラメータをさらに含んでもよい。

【0050】

本願の１つの実施例において、品質指示情報は、品質真値、品質等価値、及び品質レベルのうちの少なくとも一種を含む。

【0051】

品質真値は、品質パラメータのパラメータ数値である。例えば、１つのポイントクラウドメディアトラックの対応するポイントクラウドビットストリームのビットレートが１００００ｂｉｔ／ｓであれば、品質真値１００００を該ポイントクラウドメディアトラックの品質指示情報として決定することができる。また例えば、１つのポイントクラウドメディアトラックの対応するポイントクラウドビットストリームのフレームレートが３０ｆｐｓであれば、品質真値３０を該ポイントクラウドメディアトラックの品質指示情報として決定することができる。

【0052】

品質等価値は、品質パラメータのパラメータ数値と予め設定された単位品質パラメータとを比較して獲得した単位品質パラメータの数量である。例えば、４００ｂｉｔ／ｓを単位品質パラメータとし、１つのポイントクラウドメディアトラックの対応するポイントクラウドビットストリームのビットレートが１００００ｂｉｔ／ｓであるようにすれば、品質等価値１００００／４００＝２５を品質指示情報とすることができる。品質パラメータのパラメータ数値と予め設定された単位品質パラメータとの間の比が小数であるときに、該比を切り上げることで単位品質パラメータの数量を決定することができる。

【0053】

品質レベルは、品質パラメータのパラメータ数値範囲を表すことに用いられるレベル情報である。例えば、パラメータビットレートに対して、複数の異なるビットレート範囲値を予め設定することができ、各々のビットレート範囲値は、１つのビットレートレベルと対応し、該ビットレートレベルは、すなわちポイントクラウド品質を表すことに用いられる品質レベルである。

【0054】

本願の１つの実施例において、ファイルカプセル化情報とするＧＰＣＣデコーダ構成記録データボックスの構文は、以下のとおりである。

【0055】

ａｌｉｇｎｅｄ（８） ｃｌａｓｓ ＧＰＣＣＤｅｃｏｄｅｒＣｏｎｆｉｇｕｒａｔｉｏｎＲｅｃｏｒｄ ｛
ｕｎｓｉｇｎｅｄ ｉｎｔ（８） ｃｏｎｆｉｇｕｒａｔｉｏｎＶｅｒｓｉｏｎ ＝ １；
ｕｎｓｉｇｎｅｄ ｉｎｔ（８） ｐｒｏｆｉｌｅ＿ｉｄｃ；
ｕｎｓｉｇｎｅｄ ｉｎｔ（２４） ｐｒｏｆｉｌｅ＿ｃｏｍｐａｔｉｂｉｌｉｔｙ＿ｆｌａｇｓ；
ｕｎｓｉｇｎｅｄ ｉｎｔ（８） ｌｅｖｅｌ＿ｉｄｃ；
ｕｎｓｉｇｎｅｄ ｉｎｔ（８） ｂｉｔｒａｔｅ；
ｕｎｓｉｇｎｅｄ ｉｎｔ（８） ｆｒａｍｅ＿ｒａｔｅ；
ｕｎｓｉｇｎｅｄ ｉｎｔ（８） ｎｕｍＯｆＳｅｔｕｐＵｎｉｔｓ；
ｆｏｒ （ｉ＝０； ｉ＜ｎｕｍＯｆＳｅｔｕｐＵｎｉｔｓ； ｉ＋＋） ｛
ｔｌｖ＿ｅｎｃａｐｓｕｌａｔｉｏｎ ｓｅｔｕｐＵｎｉｔ； ／／ａｓ ｄｅｆｉｎｅｄ ｉｎ ＩＳＯ／ＩＥＣ ２３０９０－９
｝
／／ ａｄｄｉｔｉｏｎａｌ ｆｉｅｌｄｓ
｝

【0056】

ここで、ｂｉｔｒａｔｅは、ビットレートと対応する品質指示フィールドであり、その数値は、長さが８バイトである１つの符号なし整数であり、ｆｒａｍｅ＿ｒａｔｅは、フレームレートと対応する品質指示フィールドであり、その数値も長さが８バイトである１つの符号なし整数である。品質指示フィールドｆｒａｍｅ＿ｒａｔｅが表すフレームレートは、ある時間領域レベルの平均フレームレートであってもよく、単位は、フレーム／（２５６秒）である。品質指示フィールドｆｒａｍｅ＿ｒａｔｅの値が０であるときには、フレームレートを指定していないことを表し、例えば、平均フレームレートを指定していない。ＧＰＣＣビットストリームに対して、１つのＧＰＣＣ時間領域レベルは、ＧＰＣＣビットストリームにおけるフレームの１つのサブセットであってもよく、該フレームのサブセットから構成されたサブシーケンスのフレームレートは、上記ＧＰＣＣビットストリームの実際のビットストリームシーケンスのフレームレートよりも小さい。各々のＧＰＣＣフレームは、１つの特定の時間領域レベルに関連することができる。ＧＰＣＣビットストリームは、１つ又は複数の時間領域レベルトラックの中に載せられてもよく、又は記憶されてもよい。

【0057】

ステップＳ３３０：ファイルカプセル化情報が携えている品質指示情報に基づき、ポイントクラウドファイルの中から、指定されたポイントクラウド品質を有するポイントクラウドメディアトラックを選び、且つ復号する。

【0058】

各々のポイントクラウドメディアトラックと対応するファイルカプセル化情報は、いずれも該ポイントクラウドメディアトラックの品質指示情報を携えており、該品質指示情報は、明示的な識別方式でポイントクラウドメディアトラックのポイントクラウド品質を識別する。ポイントクラウドファイルがデータソースによりユーザーが位置するデータ受信側に伝送されるときに、データ受信側は、機器性能、及びユーザーのニーズに基づき、指定されたポイントクラウド品質を有するポイントクラウドメディアトラックを復号することができる。

【0059】

本願の１つの実施例において、データ受信側の機器性能を収集し、且つ機器性能とファイルカプセル化情報が携えている品質指示情報とに対してマッチング検出を行うことによって、データ受信側の機器性能とマッチングするポイントクラウド品質を決定し、さらにポイントクラウドファイルの中から、指定されたポイントクラウド品質を有するポイントクラウドメディアトラックを選び、且つ復号することができる。

【0060】

機器性能は、ハードウェア性能、ソフトウェア性能、及びネットワーク性能のうちの少なくとも一種を含んでもよい。ハードウェア性能は、例えば、電子機器の機器型番、プロセッサ型番、メモリ容量、及びディスプレイサイズ等を含んでもよい。ソフトウェア性能は、例えば、データ受信側にインストールされるポイントクラウドデコーダのプログラムバージョンを含んでもよい。ネットワーク性能は、例えば、ネットワーク帯域幅、及びネットワーク伝送状態等を含んでもよい。

【0061】

本願の１つの実施例において、データ受信側により構成された品質選出規則を取得し、且つ品質選出規則とファイルカプセル化情報が携えている品質指示情報とに対してマッチング検出を行い、データ受信側により構成された品質選出規則とマッチングするポイントクラウド品質を決定し、さらにポイントクラウドファイルの中から、指定されたポイントクラウド品質を有するポイントクラウドメディアトラックを選び、且つ復号することができる。

【0062】

品質選出規則は、ユーザーのニーズに基づき構成された、指定されたポイントクラウド品質を有するポイントクラウドデータを選ぶことに用いられる選出規則であってもよく、例えば、ユーザー命令に基づきビットレートが指定値よりも大きい（又はよりも小さい）ポイントクラウドデータを選ぶ。

【0063】

図５は、本願の１つの実施例においてデータソースからポイントクラウドファイルを受信するステップフローチャートを示している。図５に示すように、以上の実施例を基に、ステップＳ３１０におけるデータソースにより伝送されたポイントクラウドファイルを受信するステップは、以下のステップＳ５１０～ステップＳ５４０を含んでもよい。

【0064】

ステップＳ５１０：データソースから送信された、ポイントクラウドデータを伝送することに用いられるストリームメディアシグナリングを受信する。

【0065】

本願の１つの実施例において、ポイントクラウドデータを伝送することに用いられるストリームメディアシグナリングは、ＨＴＴＰに基づく動的適応型ストリーミング（ｄｙｎａｍｉｃ ａｄａｐｔｉｖｅ ｓｔｒｅａｍｉｎｇ ｏｖｅｒ ＨＴＴＰ、ＤＡＳＨ）シグナリングであってもよい。ＤＡＳＨは、適応型ビットレートストリーミング技術であり、該技術により、高品質ストリームメディアは、従来のＨＴＴＰネットワークサーバを介してインターネット伝達を行うことができる。

【0066】

ステップＳ５２０：ストリームメディアシグナリングを解析して、ストリームメディアシグナリングが携えている少なくとも二種の選択可能な品質指示情報を獲得する。

【0067】

ＤＡＳＨシグナリングにおいて、既存のフィールドを利用して選択可能な品質指示情報を記憶することができる。例えば、ＤＡＳＨシグナリングにおけるｂａｎｄｗｉｄｔｈフィールドを利用して複数種の異なるポイントクラウドメディアトラックのビットレートを指示することができ、ＤＡＳＨシグナリングにおけるｆｒａｍｅＲａｔｅフィールドを利用して複数種の異なるポイントクラウドメディアトラックのフレームレートを指示することができる。ＤＡＳＨ技術では、１つ又は複数のメディア成分の組み合わせを１つのＲｅｐｒｅｓｅｎｔａｔｉｏｎとし、例えば、ある解像度のビデオファイルを１つのＲｅｐｒｅｓｅｎｔａｔｉｏｎと見なすことができる。本願の実施例に基づき、ポイントクラウドメディアトラックのメディアファイルをＲｅｐｒｅｓｅｎｔａｔｉｏｎとすることができ、異なるポイントクラウドメディアトラックの品質指示情報は、その対応するＲｅｐｒｅｓｅｎｔａｔｉｏｎのｆｒａｍｅＲａｔｅパラメータ、及び／又はｂａｎｄｗｉｄｔｈパラメータで表されてもよい。

【0068】

ステップＳ５３０：上記少なくとも二種の品質指示情報のうちから選択された品質指示情報に基づき、データソースにデータ伝送要求を送信する。

【0069】

解析により獲得されたストリームメディアシグナリングが携えている品質指示情報に基づき、そのうちの一種又は複数種の品質指示情報をターゲットポイントクラウド品質として選択し、且つさらにデータソースにターゲットポイントクラウド品質と対応するデータ伝送要求を送信することができる。

【0070】

本願の１つの実施例において、データ伝送要求を送信する方法は、データソースとデータ伝送を行うネットワーク帯域幅を決定するステップと、ネットワーク帯域幅とストリームメディアシグナリングが携えている少なくとも二種の品質指示情報とに対してマッチング検出を行うことで、ネットワーク帯域幅とマッチングするターゲットポイントクラウド品質を選ぶステップと、データソースにターゲットポイントクラウド品質に基づき生成されたデータ伝送要求を送信するステップと、を含んでもよい。

【0071】

本願の１つの実施例において、ネットワーク帯域幅が設定された閾値よりも大きいときに、２つ又は２つ以上のターゲットポイントクラウド品質を選ぶことができる。ネットワーク帯域幅が設定された閾値よりも小さく、又はそれに等しいときに、１つのターゲットポイントクラウド品質を選ぶことができる。

【0072】

ステップＳ５４０：データソースにより伝送された、データ伝送要求に対応するポイントクラウドファイルを受信する。

【0073】

品質指示情報に基づきデータソースにターゲットポイントクラウド品質と対応する１つのデータ伝送要求を送信するときに、データソースは、該要求に基づいてデータ受信側に１つの相応なポイントクラウドメディアトラックを伝送することができる。品質指示情報に基づきデータソースにターゲットポイントクラウド品質と対応する複数のデータ伝送要求を送信するときに、データソースは、該要求に基づいてデータ受信側に、異なるポイントクラウド品質を有する複数の相応なポイントクラウドメディアトラックを伝送することができる。

【0074】

図６は、本願の１つの実施例におけるポイントクラウド符号化方法のステップフローチャートを示している。該ポイントクラウド符号化方法は、ポイントクラウドメディアシステムのサーバ、クライアント、及び中間ノード等の部分に応用することができる。本願の実施例は、ポイントクラウド符号化装置が取り付けられたサーバ機器が実行するポイントクラウド符号化方法を例とする。図６に示すように、該ポイントクラウド符号化方法は、主に以下のステップＳ６１０～ステップＳ６３０を含んでもよい。

【0075】

ステップＳ６１０：異なる符号化標準に応じて伝送対象のポイントクラウドデータに対して符号化処理を行って、同じポイントクラウドコンテンツを有し、且つ異なるポイントクラウド品質を有するポイントクラウドビットストリームを獲得する。

【0076】

異なるデータ受信側によるポイントクラウドデータに対する品質ニーズを満たすために、あるポイントクラウドコンテンツのポイントクラウドデータに対しては、複数種の異なる符号化標準に応じて符号化処理を行った後に異なるポイントクラウド品質を有するポイントクラウドビットストリームを獲得することができる。符号化標準は、一種又は複数種の品質パラメータのパラメータ数値を含んでもよく、様々な品質パラメータの異なるパラメータ数値を組み合わせて複数種の異なる符号化標準を形成することができる。例えば、品質パラメータがビットレートとフレームレートとを含むが、ビットレートが二種の異なるビットレート数値Ａ１、及びＡ２を含み、フレームレートも二種の異なるフレームレート数値Ｂ１、及びＢ２を含む場合、これにより、異なる品質パラメータ数値と対応する四種の符号化標準、すなわちＡ１Ｂ１、Ａ１Ｂ２、Ａ２Ｂ１、及びＡ２Ｂ２を決定することができる。

【0077】

ステップＳ６２０：符号化標準に基づきポイントクラウドビットストリームの中にポイントクラウド品質を表すことに用いられる品質指示情報を充填する。

【0078】

本願の１つの実施例において、ポイントクラウドビットストリームに品質指示情報を充填する方法は、符号化標準に基づきポイントクラウドビットストリームの品質パラメータのパラメータ数値を決定し、且つポイントクラウドビットストリームにおいて品質パラメータに対応する品質指示フィールドを決定するステップと、品質パラメータのパラメータ数値に基づきポイントクラウド品質を表すことに用いられる品質指示情報を決定するステップと、品質パラメータと品質指示フィールドとの対応関係に基づき、品質指示情報を品質指示フィールドに充填するステップと、を含んでもよい。ポイントクラウド品質を表す上記品質指示情報は、ポイントクラウドビットストリームにおける上位層構文構造の中、例えばシーケンスパラメータセット構文の中に含まれてもよい。

【0079】

図７は、本願の１つの実施例におけるＧＰＣＣビットストリームの上位層構文の模式図を示している。図７に示すように、ポイントクラウドデータビットストリームのシーケンスパラメータセット構文（Ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ ｓｙｎｔａｘ）において、品質パラメータに対応する複数の品質指示フィールドを有する。ここで、ｂｉｔｒａｔｅフィールドは、ビットレートと対応する品質指示フィールドであり、その数値は、長さが３２バイトである１つの符号なし整数であり、ｆｒａｍｅ＿ｒａｔｅフィールドは、フレームレートと対応する品質指示フィールドであり、その数値は、長さが８バイトである１つの符号なし整数である。

【0080】

本願の１つの実施例において、ポイントクラウドビットストリームの品質パラメータは、ビットレート、及びフレームレートのうちの少なくとも一種を含んでもよい。その他のいくつかの選択可能な実施形態において、品質パラメータは、解像度、及び画質等の、メディアリソース品質に関連するその他のパラメータをさらに含んでもよい。

【0081】

本願の１つの実施例において、品質指示情報は、品質真値、品質等価値、及び品質レベルのうちの少なくとも一種を含む。

【0082】

品質真値は、品質パラメータのパラメータ数値である。例えば、１つのポイントクラウドビットストリームのビットレートが１００００ｂｉｔ／ｓであれば、品質真値１００００を該ポイントクラウドビットストリームの品質指示情報として決定することができる。また例えば、１つのポイントクラウドビットストリームのフレームレートが３０ｆｐｓであれば、品質真値３０を該ポイントクラウドビットストリームの品質指示情報として決定することができる。

【0083】

品質等価値は、品質パラメータのパラメータ数値と予め設定された単位品質パラメータとを比較して獲得した単位品質パラメータの数量である。例えば、４００ｂｉｔ／ｓを単位品質パラメータとし、１つのポイントクラウドビットストリームのビットレートが１００００ｂｉｔ／ｓであるようにすれば、品質等価値１００００／４００＝２５を品質指示情報とすることができる。品質パラメータのパラメータ数値と予め設定された単位品質パラメータとの間の比が小数であるときに、該比を切り上げることで単位品質パラメータの数量を決定することができる。

【0084】

品質レベルは、品質パラメータのパラメータ数値範囲を表すことに用いられるレベル情報である。例えば、パラメータビットレートに対して、複数の異なるビットレート範囲値を予め設定することができ、各々のビットレート範囲値は、１つのビットレートレベルと対応し、該ビットレートレベルは、すなわちポイントクラウド品質を表すことに用いられる品質レベルである。

【0085】

ステップＳ６３０：ポイントクラウドビットストリームをポイントクラウドメディアトラックとしてカプセル化し、且つポイントクラウドメディアトラックの中にポイントクラウドビットストリームに対応する品質指示情報を充填する。

【0086】

各々のポイントクラウドメディアトラックは、いずれもそれと対応するファイルカプセル化情報を有し、該ファイルカプセル化情報は、例えば、ポイントクラウドビットストリームをポイントクラウドファイルとしてカプセル化するときに生成された、ポイントクラウドファイルに関連する復号構成データを記録することに用いられるデータボックスであってもよく、例えば、ＧＰＣＣデコーダ構成記録データボックス（ＧＰＣＣＤｅｃｏｄｅｒＣｏｎｆｉｇｕｒａｔｉｏｎＲｅｃｏｒｄ）であってもよい。ポイントクラウドメディアトラックのファイルカプセル化情報において品質指示情報に対応する品質指示フィールドを決定した後に、ポイントクラウドビットストリームの命令指示情報を引用する方式で、上記ポイントクラウドビットストリームに対応する品質指示情報を上記ファイルカプセル化情報における品質指示フィールドに充填することができる。

【0087】

本願の１つの実施例において、ポイントクラウドビットストリームをポイントクラウドメディアトラックとしてカプセル化した後に、データ伝送ニーズに基づき、ポイントクラウドデータを伝送することに用いられるストリームメディアシグナリングを生成することができ、該ストリームメディアシグナリングは、以上の実施例におけるＤＡＳＨシグナリングであってもよい。ストリームメディアシグナリングの中に、各ポイントクラウドビットストリームに対応する品質指示情報を充填する。充填方式は、ポイントクラウドメディアトラックの品質パラメータ情報に基づきＤＡＳＨシグナリングにおける既存のフィールドに値の充填を行うことであってもよい。次にデータ受信側にストリームメディアシグナリングを送信することにより、データソースとデータ受信側との間にポイントクラウドデータ伝送を行う。

【0088】

本願の１つの実施例において、データ受信側がストリームメディアシグナリングに対して応答を行った後に、データソースは、データ受信側から送信された、ストリームメディアシグナリングに基づいて生成されたデータ伝送要求を受信することができる。データ伝送要求に基づき、データ受信側にポイントクラウドファイルを伝送し、ポイントクラウドファイルは、同じポイントクラウドコンテンツを有し、且つ異なるポイントクラウド品質を有するポイントクラウドメディアトラックを含む。

【0089】

図８は、本願の１つの実施例においてビットレートを品質指示情報としてポイントクラウドデータ伝送を行うステップフローチャートを示している。図８に示すように、サーバは、ポイントクラウドデータを生成するデータソースとされており、サーバとユーザーが位置するクライアントとの間でポイントクラウドデータ伝送を行う方法は、下記のステップＳ８０１～ステップＳ８０６を含んでもよい。

【0090】

ステップＳ８０１：サーバにおけるポイントクラウドコンテンツＡに対して符号化処理を行って、二種の異なるビットレートと対応するポイントクラウドビットストリームＳ１、及びＳ２を獲得し、実際のビットストリームに基づき各ビットストリームにおけるｂｉｔｒａｔｅフィールドを対応して充填する。例えば、ポイントクラウドビットストリームＳ１において、ｂｉｔｒａｔｅ＝１００００を充填し、ポイントクラウドビットストリームＳ２において、ｂｉｔｒａｔｅ＝２００００を充填する。

【0091】

ステップＳ８０２：Ｓ１、及びＳ２をそれぞれ２つの異なるポイントクラウドメディアトラックＴ１、及びＴ２としてカプセル化し、Ｔ１、及びＴ２におけるＧＰＣＣＤｅｃｏｄｅｒＣｏｎｆｉｇｕｒａｔｉｏｎＲｅｃｏｒｄデータボックスのｂｉｔｒａｔｅフィールドを対応して充填する。例えば、ポイントクラウドメディアトラックＴ１のＧＰＣＣＤｅｃｏｄｅｒＣｏｎｆｉｇｕｒａｔｉｏｎＲｅｃｏｒｄデータボックスにおいて、ｂｉｔｒａｔｅ＝１００００を充填し、ポイントクラウドメディアトラックＴ２のＧＰＣＣＤｅｃｏｄｅｒＣｏｎｆｉｇｕｒａｔｉｏｎＲｅｃｏｒｄデータボックスにおいて、ｂｉｔｒａｔｅ＝２００００を充填する。

【0092】

ステップＳ８０３：ＤＡＳＨシグナリングにおける既存のｂａｎｄｗｉｄｔｈフィールドを利用してＴ１、及びＴ２のビットレートを指示し、且つそれぞれＤＡＳＨシグナリングをユーザーが位置するクライアントＣ１、及びＣ２に送信する。

【0093】

ステップＳ８０４：クライアントＣ１、及びＣ２は、ネットワーク帯域幅とＤＡＳＨシグナリングにおける情報とに基づき、ポイントクラウドファイルを要求し、ファイルにおいてＴ１、及びＴ２が含まれる。

【0094】

ステップＳ８０５：サーバは、それぞれクライアントＣ１、及びＣ２にポイントクラウドファイルを伝送する。

【0095】

ステップＳ８０６：クライアントは、ポイントクラウドファイルを受信し、Ｔ１、及びＴ２におけるｂｉｔｒａｔｅフィールド情報、並びに自体の機器能力によって、代替可能なグループにおけるポイントクラウドメディアトラックを選択して復号し、且つ復号後のポイントクラウドデータを提示する。例えば、Ｃ１は、代替可能なグループにおけるＴ１メディアファイルを選択して復号し、且つ提示し、Ｃ２は、代替可能なグループにおけるＴ２メディアファイルを選択して復号し、且つ提示する。

【0096】

本願の実施例において、ユーザーが要求するポイントクラウドファイルにおいて、代替可能なグループ内のあらゆるリソースが含まれ、ポイントクラウドファイルを受信した後に、伝送されたポイントクラウドデータに対して選択的な復号を行うことができる。

【0097】

図９は、本願の１つの実施例においてフレームレートを品質指示情報としてポイントクラウドデータ伝送を行うステップフローチャートを示している。図９に示すように、サーバは、ポイントクラウドデータを生成するデータソースとされ、サーバとユーザーが位置するクライアントとの間でポイントクラウドデータ伝送を行う方法は、下記のステップＳ９０１～ステップＳ９０６を含んでもよい。

【0098】

ステップＳ９０１：サーバにおけるポイントクラウドコンテンツＡに対して符号化処理を行って、二種の異なるビットレートと対応するポイントクラウドビットストリームＳ１、及びＳ２を獲得し、実際のビットストリームに基づき各ビットストリームにおけるｆｒａｍｅ＿ｒａｔｅフィールドを対応して充填する。例えば、ポイントクラウドビットストリームＳ１において、ｆｒａｍｅ＿ｒａｔｅ＝３０を充填し、ポイントクラウドビットストリームＳ２において、ｆｒａｍｅ＿ｒａｔｅ＝６０を充填する。

【0099】

ステップＳ９０２：Ｓ１、及びＳ２をそれぞれ２つの異なるポイントクラウドメディアトラックＴ１、及びＴ２としてカプセル化し、Ｔ１、及びＴ２におけるＧＰＣＣＤｅｃｏｄｅｒＣｏｎｆｉｇｕｒａｔｉｏｎＲｅｃｏｒｄデータボックスのｆｒａｍｅ＿ｒａｔｅフィールドを対応して充填する。例えば、ポイントクラウドメディアトラックＴ１のＧＰＣＣＤｅｃｏｄｅｒＣｏｎｆｉｇｕｒａｔｉｏｎＲｅｃｏｒｄデータボックスにおいて、ｆｒａｍｅ＿ｒａｔｅ＝３０を充填し、ポイントクラウドメディアトラックＴ２のＧＰＣＣＤｅｃｏｄｅｒＣｏｎｆｉｇｕｒａｔｉｏｎＲｅｃｏｒｄデータボックスにおいて、ｆｒａｍｅ＿ｒａｔｅ＝６０を充填する。

【0100】

ステップＳ９０３：ＤＡＳＨシグナリングにおける既存のｆｒａｍｅＲａｔｅフィールドを利用してＴ１、及びＴ２のフレームレートを指示し、且つそれぞれＤＡＳＨシグナリングをユーザーが位置するクライアントＣ１、及びＣ２に送信する。

【0101】

ステップＳ９０４：クライアントＣ１、及びＣ２は、ネットワーク帯域幅とＤＡＳＨシグナリングにおける情報とに基づき、ポイントクラウドファイルを要求する。ここで、Ｃ１が要求するファイルにおいてＴ１、及びＴ２が含まれる。１つの実施例において、Ｃ２が要求するファイルにおいてＴ１のみが含まれる。

【0102】

ステップＳ９０５：サーバは、それぞれクライアントＣ１、及びＣ２にポイントクラウドファイルを伝送する。

【0103】

ステップＳ９０６：クライアントは、ポイントクラウドファイルを受信し、Ｔ１、及びＴ２におけるｆｒａｍｅＲａｔｅフィールド情報、並びに自体の機器能力によって、代替可能なグループにおけるポイントクラウドメディアトラックを選択して復号し、且つ復号後のポイントクラウドデータを提示する。例えば、Ｃ１は、代替可能なグループにおけるＴ２メディアファイルを選択して復号し、且つ提示し、Ｃ２は、代替可能なグループにおけるＴ１メディアファイルを復号し、且つ提示する。

【0104】

本願の実施例において、ユーザーが要求するポイントクラウドファイルにおいて、代替可能なグループ内の一部のリソースのみが含まれてもよく、それによってネットワーク帯域幅を節約する目的を達成してもよい。

【0105】

本願の実施例が提供する技術的解決手段において、ビットストリームレイヤー、及びファイルカプセル化レイヤーのフィールド拡張を含む若干の記述性フィールドをシステム層に付け加えることによって、ポイントクラウドファイル、及び各成分（幾何学、及び属性等）の品質レベルをより明確に指示することができ、それによって、クライアントは、対応するポイントクラウドファイルをより正確に要求することができ、復号して提示するときにクライアント自体のニーズ、及び性能条件に基づき対応する成分を選択することもできる。

【0106】

注意すべき点としては、図面において特定の順序で本願における方法の各ステップを記述したが、これは、該特定の順序に応じてこれらのステップを実行しなければならないこと、又は示された全部のステップを実行しなければ所望する結果を実現することができないことを要する、又は暗示するものではない。追加的には、又は選択肢としては、あるステップを省略し、複数のステップを１つのステップに合わせて実行し、及び／又は１つのステップを複数のステップに分解して実行するようにしてもよい。

【0107】

以下、本願の装置実施例を紹介し、本願の上記実施例におけるポイントクラウド符号化・復号方法を実行することに用いることができる。

【0108】

図１０は、本願の実施例が提供するポイントクラウド復号装置の構造ブロック図を模式的に示している。図１０に示すように、ポイントクラウド復号装置１０００は、データソースにより伝送されたポイントクラウドファイルを受信するように構成される受信モジュール１０１０であって、上記ポイントクラウドファイルは、少なくとも１つのポイントクラウドメディアトラックを含む、受信モジュール１０１０と、上記少なくとも１つのポイントクラウドメディアトラックのファイルカプセル化情報を解析して、上記ファイルカプセル化情報が携えている品質指示情報を獲得するように構成される解析モジュール１０２０であって、上記品質指示情報は、上記少なくとも１つのポイントクラウドメディアトラックのポイントクラウド品質を表すことに用いられる、解析モジュール１０２０と、上記ファイルカプセル化情報が携えている品質指示情報に基づき、上記ポイントクラウドファイルの中から、指定されたポイントクラウド品質を有するポイントクラウドメディアトラックを選び、且つ復号するように構成される復号モジュール１０３０と、を含んでもよい。本願の実施例に基づき、上記受信モジュール１０１０が受信したポイントクラウドファイルは、同じポイントクラウドコンテンツを有し、且つ異なるポイントクラウド品質を有するポイントクラウドメディアトラックを含んでもよい。

【0109】

本願のいくつかの実施例において、以上の技術的解決手段に基づいて、上記受信モジュール１０１０は、データソースから送信された、ポイントクラウドデータを伝送することに用いられるストリームメディアシグナリングを受信するように構成されるシグナリング受信ユニットと、上記ストリームメディアシグナリングを解析して、上記ストリームメディアシグナリングが携えている少なくとも二種の選択可能な品質指示情報を獲得するように構成されるシグナリング解析ユニットと、上記少なくとも二種の品質指示情報のうちから選択された品質指示情報に基づき、上記データソースにデータ伝送要求を送信するように構成される要求送信ユニットと、上記データソースにより伝送された、上記データ伝送要求に対応するポイントクラウドファイルを受信するように構成されるファイル受信ユニットと、を含む。

【0110】

本願のいくつかの実施例において、以上の技術的解決手段に基づいて、上記要求送信ユニットは、上記データソースとデータ伝送を行うネットワーク帯域幅を決定するように構成される帯域幅取得サブユニットと、上記ネットワーク帯域幅と上記ストリームメディアシグナリングが携えている少なくとも二種の品質指示情報とに対してマッチング検出を行うことで、上記ネットワーク帯域幅とマッチングするターゲットポイントクラウド品質を選ぶように構成される帯域幅マッチングサブユニットと、上記データソースに上記ターゲットポイントクラウド品質に基づき生成されたデータ伝送要求を送信するように構成される要求送信サブユニットと、を含む。

【0111】

本願のいくつかの実施例において、以上の技術的解決手段に基づいて、上記解析モジュール１０２０は、上記少なくとも１つのポイントクラウドメディアトラックのファイルカプセル化情報を解析することで、上記ポイントクラウドメディアトラックの品質パラメータに関連する少なくとも１つの品質指示フィールドを決定するように構成される情報解析ユニットと、上記少なくとも１つの品質指示フィールドの数値に基づき、上記ポイントクラウドメディアファイルの品質指示情報を決定するように構成される情報決定ユニットと、を含む。

【0112】

本願のいくつかの実施例において、以上の技術的解決手段に基づいて、上記品質指示情報は、品質真値、品質等価値、及び品質レベルのうちの少なくとも一種を含み、ここで、上記品質真値は、上記品質パラメータのパラメータ数値であり、上記品質等価値は、上記品質パラメータのパラメータ数値と予め設定された単位品質パラメータとを比較して獲得した単位品質パラメータの数量であり、上記品質レベルは、上記品質パラメータのパラメータ数値範囲を表すことに用いられるレベル情報である。

【0113】

本願のいくつかの実施例において、以上の技術的解決手段に基づいて、上記品質パラメータは、ポイントクラウドビットストリームのビットレート、及びフレームレートのうちの少なくとも一種を含む。

【0114】

図１１は、本願の実施例が提供するポイントクラウド符号化装置の構造ブロック図を模式的に示している。図１１に示すように、ポイントクラウド符号化装置１１００は、異なる符号化標準に応じて伝送対象のポイントクラウドデータに対して符号化処理を行って、同じポイントクラウドコンテンツを有し、且つ異なるポイントクラウド品質を有するポイントクラウドビットストリームを獲得するように構成される符号化モジュール１１１０と、上記符号化標準に基づき上記ポイントクラウドビットストリームの中に上記ポイントクラウド品質を表すことに用いられる品質指示情報を充填するように構成される充填モジュール１１２０と、上記ポイントクラウドビットストリームをポイントクラウドメディアトラックとしてカプセル化し、且つ上記ポイントクラウドメディアトラックの中に上記ポイントクラウドビットストリームに対応する品質指示情報を充填するように構成されるカプセル化モジュール１１３０と、を含んでもよい。

【0115】

本願のいくつかの実施例において、以上の技術的解決手段に基づいて、上記ポイントクラウド符号化装置１１００は、ポイントクラウドデータを伝送することに用いられるストリームメディアシグナリングを生成するように構成されるシグナリング生成モジュールと、上記ストリームメディアシグナリングの中に各上記ポイントクラウドビットストリームに対応する品質指示情報を充填するように構成されるシグナリング充填モジュールと、データ受信側に上記ストリームメディアシグナリングを送信するように構成されるシグナリング送信モジュールと、をさらに含む。

【0116】

本願のいくつかの実施例において、以上の技術的解決手段に基づいて、上記ポイントクラウド符号化装置１１００は、上記データ受信側から送信された、上記ストリームメディアシグナリングに基づいて生成されたデータ伝送要求を受信するように構成される要求受信モジュールと、上記データ伝送要求に基づき、上記データ受信側にポイントクラウドファイルを伝送するように構成されるファイル伝送モジュールであって、上記ポイントクラウドファイルは、同じポイントクラウドコンテンツを有し、且つ異なるポイントクラウド品質を有するポイントクラウドメディアトラックを含む、ファイル伝送モジュールと、をさらに含む。

【0117】

本願のいくつかの実施例において、以上の技術的解決手段に基づいて、上記充填モジュール１１２０は、上記符号化標準に基づき上記ポイントクラウドビットストリームの品質パラメータのパラメータ数値を決定し、且つ上記ポイントクラウドビットストリームにおいて上記品質パラメータに対応する品質指示フィールドを決定するように構成される数値決定ユニットと、上記品質パラメータのパラメータ数値に基づき上記ポイントクラウド品質を表すことに用いられる品質指示情報を決定するように構成される第１情報決定ユニットと、上記品質パラメータと上記品質指示フィールドとの対応関係に基づき、上記品質指示情報を上記品質指示フィールドに充填するように構成される第１情報充填ユニットと、を含む。

【0118】

本願のいくつかの実施例において、以上の技術的解決手段に基づいて、上記カプセル化モジュール１１３０は、上記ポイントクラウドメディアトラックのファイルカプセル化情報において上記品質指示情報に対応する品質指示フィールドを決定するように構成される第２情報決定ユニットと、上記ポイントクラウドビットストリームに対応する品質指示情報を上記ファイルカプセル化情報における品質指示フィールドに充填するように構成される第２情報充填ユニットと、を含む。

【0119】

本願の各実施例において提供されたポイントクラウド符号化・復号装置の具体的な細部は、既に対応する方法実施例において詳細に記述されたため、ここでは再度詳細に説明しない。

【0120】

図１２は、本願の実施例を実現することに用いられる電子機器のコンピュータシステムの構造ブロック図を模式的に示している。

【0121】

説明する必要がある点としては、図１２に示される電子機器のコンピュータシステム１２００は、一例に過ぎず、本願の実施例の機能、及び使用範囲に対して何らかの制限をもたらすべきではない。

【0122】

図１２に示すように、コンピュータシステム１２００は、中央プロセッサ１２０１（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、ＣＰＵ）を含み、それは、読み出し専用メモリ１２０２（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ、ＲＯＭ）において記憶されているプログラム、又は記憶部分１２０８からランダムアクセスメモリ１２０３（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＲＡＭ）にロードされたプログラムに基づき、様々な適当なモーション、及び処理を実行することができる。ランダムアクセスメモリ１２０３において、システム操作に必要な様々なプログラム、及びデータがさらに記憶されている。中央プロセッサ１２０１、読み出し専用メモリ１２０２、及びランダムアクセスメモリ１２０３は、バス１２０４を介して互いに結合されている。入力／出力インタフェース１２０５（Ｉｎｐｕｔ／Ｏｕｔｐｕｔインタフェース、すなわちＩ／Ｏインタフェース）もバス１２０４に接続されている。

【0123】

キーボード、及びマウス等を含む入力部分１２０６と、陰極線管（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ、ＣＲＴ）、液晶ディスプレイ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ、ＬＣＤ）等、及びスピーカ等を含む出力部分１２０７と、ハードディスク等を含む記憶部分１２０８と、ローカルエリアネットワークカード、及びモデム等のようなネットワークインタフェースカードを含む通信部分１２０９とは、入力／出力インタフェース１２０５に接続されている。通信部分１２０９は、インターネットのようなネットワークを経由して通信処理を実行する。ドライバ１２１０も必要に応じて入力／出力インタフェース１２０５に接続される。磁気ディスク、光ディスク、光磁気ディスク、及び半導体メモリ等のような取り外し可能な媒体１２１１は、必要に応じてドライバ１２１０に取り付けられ、それによって、それから読み出されたコンピュータプログラムは、必要に応じて記憶部分１２０８にインストールされやすくなる。

【0124】

特に、本願の実施例によれば、各方法フローチャートにおいて記述された過程は、コンピュータソフトウェアプログラムとして実現されてもよい。例えば、本願の実施例は、コンピュータプログラム製品を含み、それは、コンピュータ可読媒体において載せられるコンピュータプログラムを含み、該コンピュータプログラムは、フローチャートに示された方法を実行することに用いられるプログラムコードを含む。このような実施例において、該コンピュータプログラムは、通信部分１２０９によってネットワークからダウンロードしてインストールされ、及び／又は取り外し可能な媒体１２１１からインストールされるようにしてもよい。該コンピュータプログラムは、中央プロセッサ１２０１により実行されるときに、本願のシステムにおいて限定された様々な機能を実行する。

【0125】

説明する必要がある点としては、本願の実施例に示されたコンピュータ可読媒体は、コンピュータ可読信号媒体、又はコンピュータ可読記憶媒体、又は上記両者の任意の組み合わせであってもよい。コンピュータ可読記憶媒体は、例えば、電気、磁気、光、電磁、赤外線、又は半導体のシステム、装置、又はデバイス、又は任意の以上の組み合わせであってもよいが、それらに制限されない。コンピュータ可読記憶媒体のより具体的な例は、１つ又は複数の導線を有する電気的接続、ポータブルコンピュータ磁気ディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能プログラマブル読み出し専用メモリ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ、ＥＰＲＯＭ）、フラッシュメモリ、光ファイバー、ポータブルコンパクト磁気ディスク読み出し専用メモリ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ、ＣＤ－ＲＯＭ）、光記憶デバイス、磁気記憶デバイス、又は上記の任意の適切な組み合わせを含んでもよいが、それらに制限されない。本願において、コンピュータ可読記憶媒体は、プログラムを含む、又は記憶する何らかの有形媒体であってもよく、該プログラムは、命令実行システム、装置、又はデバイスにより使用され、又はそれらと併せて使用されるようにしてもよい。本願において、コンピュータ可読信号媒体は、ベースバンドにおいて、又は搬送波の一部として伝播されるデータ信号を含んでもよく、その中にコンピュータ可読プログラムコードが載せられている。このように伝播されるデータ信号は、複数種の形式を採用することができ、電磁信号、光信号、又は上記任意の適切な組み合わせを含むが、それらに制限されない。コンピュータ可読信号媒体は、さらにコンピュータ可読記憶媒体以外の何らかのコンピュータ可読媒体であってもよく、該コンピュータ可読媒体は、命令実行システム、装置、又はデバイスにより使用され、又はそれらと併せて使用されることに用いられるプログラムを送信、伝播、又は伝送することができる。コンピュータ可読媒体において含まれるプログラムコードは、何らかの適当な媒体で伝送することができ、無線、有線等、又は上記の任意の適切な組み合わせを含むが、それらに制限されない。

【0126】

当業者は、明細書を考慮し、及びここで開示されている発明を実施した後に、本願のその他の実施手段を容易に想到することができる。本願は、本願の何らかの変型、用途、又は適応的な変化をカバーすることを意図し、これらの変型、用途、又は適応的な変化は、本願の一般的な原理に従い、且つ本願に開示されていない本技術分野における公知の常識、又は慣用の技術手段を含む。

【0127】

理解すべき点としては、本願は、上記において記述され、且つ図面において示された正確な構造に限られず、その範囲を逸脱することなく、様々な修正や変更を行うことができる。本願の範囲は、添付の請求項のみにより制限される。

【符号の説明】

【0128】

１１０ 第１端末装置
１２０ 第２端末装置
１３０ 第３端末装置
１４０ 第４端末装置
１５０ ネットワーク
２０１ ポイントクラウドデータソース
２０１ ビデオソース
２０２ ポイントクラウドデータ
２０３ ビデオ符号化装置
２０５ ストリーミング伝送サーバ
２０６ クライアントサブシステム
２０８ クライアントサブシステム
２０９ ポイントクラウドデータ
２１０ ポイントクラウド復号装置
２１１ 出力ポイントクラウドデータ
２１２ ディスプレイ
２１３ 収集サブシステム
２２０ 電子装置
２３０ 電子装置
４００ グループ
４１０ 第１ポイントクラウドデータ
４１１ 第１幾何学的成分トラック
４１２ 第１属性成分トラック
４２０ 第２ポイントクラウドデータ
４２１ 第２幾何学的成分トラック
４２２ 第２属性成分トラック
１０００ ポイントクラウド復号装置
１０１０ 受信モジュール
１０２０ 解析モジュール
１０３０ 復号モジュール
１１００ ポイントクラウド符号化装置
１１１０ 符号化モジュール
１１２０ 充填モジュール
１１３０ カプセル化モジュール
１２００ コンピュータシステム
１２０１ 中央プロセッサ
１２０３ ランダムアクセスメモリ
１２０４ バス
１２０５ 出力インタフェース
１２０６ 入力部分
１２０７ 出力部分
１２０８ 記憶部分
１２０９ 通信部分

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【手続補正書】

【提出日】2023-08-08

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

コンピュータにより実行される、ポイントクラウド復号方法であって、
データソースにより伝送されたポイントクラウドファイルを受信するステップであって、前記ポイントクラウドファイルは、少なくとも１つのポイントクラウドメディアトラックを含む、ステップと、
前記少なくとも１つのポイントクラウドメディアトラックのファイルカプセル化情報を解析して、前記ファイルカプセル化情報が携えている品質指示情報を獲得するステップであって、前記品質指示情報は、前記少なくとも１つのポイントクラウドメディアトラックのポイントクラウド品質を表すことに用いられる、ステップと、
前記ファイルカプセル化情報が携えている品質指示情報に基づき、前記ポイントクラウドファイルの中から、指定されたポイントクラウド品質を有するポイントクラウドメディアトラックを選び、且つ復号するステップと、を含む、ことを特徴とするポイントクラウド復号方法。

【請求項2】

データソースにより伝送されたポイントクラウドファイルを受信するステップは、
データソースから送信された、ポイントクラウドデータを伝送することに用いられるストリームメディアシグナリングを受信するステップと、
前記ストリームメディアシグナリングを解析して、前記ストリームメディアシグナリングが携えている少なくとも二種の選択可能な品質指示情報を獲得するステップと、
前記少なくとも二種の品質指示情報のうちから選択された品質指示情報に基づき、前記データソースにデータ伝送要求を送信するステップと、
前記データソースにより伝送された、前記データ伝送要求に対応するポイントクラウドファイルを受信するステップと、を含む、ことを特徴とする請求項１に記載のポイントクラウド復号方法。

【請求項3】

前記少なくとも二種の品質指示情報のうちから選択された品質指示情報に基づき、前記データソースにデータ伝送要求を送信するステップは、
前記データソースとデータ伝送を行うネットワーク帯域幅を決定するステップと、
前記ネットワーク帯域幅と前記ストリームメディアシグナリングが携えている少なくとも二種の品質指示情報とに対してマッチング検出を行うことで、前記ネットワーク帯域幅とマッチングするターゲットポイントクラウド品質を選ぶステップと、
前記データソースに前記ターゲットポイントクラウド品質に基づき生成されたデータ伝送要求を送信するステップと、を含む、ことを特徴とする請求項２に記載のポイントクラウド復号方法。

【請求項4】

前記少なくとも１つのポイントクラウドメディアトラックのファイルカプセル化情報を解析して、前記ファイルカプセル化情報が携えている品質指示情報を獲得するステップは、
前記少なくとも１つのポイントクラウドメディアトラックのファイルカプセル化情報を解析することで、前記ポイントクラウドメディアトラックの品質パラメータに関連する少なくとも１つの品質指示フィールドを決定するステップと、
前記少なくとも１つの品質指示フィールドの数値に基づき、前記ポイントクラウドメディアファイルの品質指示情報を決定するステップと、を含む、ことを特徴とする請求項１～３のいずれか一項に記載のポイントクラウド復号方法。

【請求項5】

前記品質指示フィールドは、ポイントクラウドビットストリームのフレームレートを表し、前記品質指示フィールドの数値は、長さが８バイトである１つの符号なし整数である、ことを特徴とする請求項４に記載のポイントクラウド復号方法。

【請求項6】

前記品質指示情報は、品質真値、品質等価値、及び品質レベルのうちの少なくとも一種を含み、前記品質真値は、前記品質パラメータのパラメータ数値であり、前記品質等価値は、前記品質パラメータのパラメータ数値と予め設定された単位品質パラメータとを比較して獲得した単位品質パラメータの数量であり、前記品質レベルは、前記品質パラメータのパラメータ数値範囲を表すことに用いられるレベル情報である、ことを特徴とする請求項４に記載のポイントクラウド復号方法。

【請求項7】

前記品質指示フィールドは、ポイントクラウドビットストリームのビットレートを表し、前記品質指示フィールドの数値は、長さが３２バイトである１つの符号なし整数である、ことを特徴とする請求項４に記載のポイントクラウド復号方法。

【請求項8】

コンピュータにより実行される、ポイントクラウド符号化方法であって、
異なる符号化標準に応じて伝送対象のポイントクラウドデータに対して符号化処理を行って、同じポイントクラウドコンテンツを有し、且つ異なるポイントクラウド品質を有するポイントクラウドビットストリームを獲得するステップと、
前記符号化標準に基づき前記ポイントクラウドビットストリームの中に前記ポイントクラウド品質を表すことに用いられる品質指示情報を充填するステップと、
前記ポイントクラウドビットストリームをポイントクラウドメディアトラックとしてカプセル化するステップと、
前記ポイントクラウドメディアトラックの中に前記ポイントクラウドビットストリームに対応する品質指示情報を充填するステップと、を含む、ことを特徴とするポイントクラウド符号化方法。

【請求項9】

前記ポイントクラウドビットストリームをポイントクラウドメディアトラックとしてカプセル化するステップの後、前記方法は、
ポイントクラウドデータを伝送することに用いられるストリームメディアシグナリングを生成するステップと、
前記ストリームメディアシグナリングの中に各前記ポイントクラウドビットストリームに対応する品質指示情報を充填するステップと、
データ受信側に前記ストリームメディアシグナリングを送信するステップと、をさらに含む、ことを特徴とする請求項８に記載のポイントクラウド符号化方法。

【請求項10】

データ受信側に前記ストリームメディアシグナリングを送信するステップの後、前記方法は、
前記データ受信側から送信された、前記ストリームメディアシグナリングに基づいて生成されたデータ伝送要求を受信するステップと、
前記データ伝送要求に基づき、前記データ受信側にポイントクラウドファイルを伝送するステップであって、前記ポイントクラウドファイルは、同じポイントクラウドコンテンツを有し、且つ異なるポイントクラウド品質を有するポイントクラウドメディアトラックを含む、ステップと、をさらに含む、ことを特徴とする請求項９に記載のポイントクラウド符号化方法。

【請求項11】

前記符号化標準に基づき前記ポイントクラウドビットストリームの中に前記ポイントクラウド品質を表すことに用いられる品質指示情報を充填するステップは、
前記符号化標準に基づき前記ポイントクラウドビットストリームの品質パラメータのパラメータ数値を決定し、且つ前記ポイントクラウドビットストリームにおいて前記品質パラメータに対応する品質指示フィールドを決定するステップと、
前記品質パラメータのパラメータ数値に基づき前記ポイントクラウド品質を表すことに用いられる品質指示情報を決定するステップと、
前記品質パラメータと前記品質指示フィールドとの対応関係に基づき、前記品質指示情報を前記品質指示フィールドに充填するステップと、を含む、ことを特徴とする請求項８～１０のいずれか一項に記載のポイントクラウド符号化方法。

【請求項12】

前記ポイントクラウドメディアトラックの中に前記ポイントクラウドビットストリームに対応する品質指示情報を充填するステップは、
前記ポイントクラウドメディアトラックのファイルカプセル化情報において前記品質指示情報に対応する品質指示フィールドを決定するステップと、
前記ポイントクラウドビットストリームに対応する品質指示情報を前記ファイルカプセル化情報における品質指示フィールドに充填するステップと、を含む、ことを特徴とする請求項８～１０のいずれか一項に記載のポイントクラウド復号方法。

【請求項13】

ポイントクラウド復号装置であって、
データソースにより伝送されたポイントクラウドファイルを受信するように構成される受信モジュールであって、前記ポイントクラウドファイルは、少なくとも１つのポイントクラウドメディアトラックを含む、受信モジュールと、
前記少なくとも１つのポイントクラウドメディアトラックのファイルカプセル化情報を解析して、前記ファイルカプセル化情報が携えている品質指示情報を獲得するように構成される解析モジュールであって、前記品質指示情報は、前記少なくとも１つのポイントクラウドメディアトラックのポイントクラウド品質を表すことに用いられる、解析モジュールと、
前記ファイルカプセル化情報が携えている品質指示情報に基づき、前記ポイントクラウドファイルの中から、指定されたポイントクラウド品質を有するポイントクラウドメディアトラックを選び、且つ復号するように構成される復号モジュールと、を含む、ことを特徴とするポイントクラウド復号装置。

【請求項14】

ポイントクラウド符号化装置であって、
異なる符号化標準に応じて伝送対象のポイントクラウドデータに対して符号化処理を行って、同じポイントクラウドコンテンツを有し、且つ異なるポイントクラウド品質を有するポイントクラウドビットストリームを獲得するように構成される符号化モジュールと、
前記符号化標準に基づき前記ポイントクラウドビットストリームの中に前記ポイントクラウド品質を表すことに用いられる品質指示情報を充填するように構成される充填モジュールと、
前記ポイントクラウドビットストリームをポイントクラウドメディアトラックとしてカプセル化し、且つ前記ポイントクラウドメディアトラックの中に前記ポイントクラウドビットストリームに対応する品質指示情報を充填するように構成されるカプセル化モジュールと、を含む、ことを特徴とするポイントクラウド符号化装置。

【請求項15】

コンピュータプログラムであって、プロセッサにより実行されるときに、請求項１～１２のいずれか一項に記載の方法を実現する、コンピュータプログラム。

【請求項16】

電子機器であって、
プロセッサと、
前記プロセッサの実行可能な命令を記憶することに用いられるメモリと、を含み、
前記プロセッサは、前記実行可能な命令を実行することにより請求項１～１２のいずれか一項に記載の方法を実行するように構成される、ことを特徴とする電子機器。

【国際調査報告】