(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-02-28
(54)【発明の名称】点群符号化・復号方法、装置、及び電子機器
(51)【国際特許分類】
H04N 21/44 20110101AFI20240220BHJP
H04N 21/84 20110101ALI20240220BHJP
H04N 19/597 20140101ALI20240220BHJP
【ＦＩ】
H04N21/44
H04N21/84
H04N19/597
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2023552564
(86)(22)【出願日】2022-03-11
(85)【翻訳文提出日】2023-08-30
(86)【国際出願番号】 CN2022080266
(87)【国際公開番号】W WO2022222641
(87)【国際公開日】2022-10-27
(31)【優先権主張番号】202110437255.4
(32)【優先日】2021-04-22
(33)【優先権主張国・地域又は機関】CN
(81)【指定国・地域】
(71)【出願人】
【識別番号】517392436
【氏名又は名称】▲騰▼▲訊▼科技（深▲セン▼）有限公司
【氏名又は名称原語表記】ＴＥＮＣＥＮＴ ＴＥＣＨＮＯＬＯＧＹ （ＳＨＥＮＺＨＥＮ） ＣＯＭＰＡＮＹ ＬＩＭＩＴＥＤ
【住所又は居所原語表記】３５／Ｆ，Ｔｅｎｃｅｎｔ Ｂｕｉｌｄｉｎｇ，Ｋｅｊｉｚｈｏｎｇｙｉ Ｒｏａｄ，Ｍｉｄｗｅｓｔ Ｄｉｓｔｒｉｃｔ ｏｆ Ｈｉ－ｔｅｃｈ Ｐａｒｋ，Ｎａｎｓｈａｎ Ｄｉｓｔｒｉｃｔ， Ｓｈｅｎｚｈｅｎ，Ｇｕａｎｇｄｏｎｇ ５１８０５７，ＣＨＩＮＡ
(74)【代理人】
【識別番号】100110364
【弁理士】
【氏名又は名称】実広 信哉
(74)【代理人】
【識別番号】100150197
【弁理士】
【氏名又は名称】松尾 直樹
(72)【発明者】
【氏名】胡 ▲穎▼
【テーマコード（参考）】
5C159
5C164
【Ｆターム（参考）】
5C159PP03
5C164FA06
5C164MB13P
5C164UB01P
5C164UB23S
(57)【要約】
本願は、コンピュータ、及び通信の技術分野に属し、具体的には点群符号化・復号方法、点群符号化・復号装置、コンピュータ可読媒体、及び電子機器に関する。本願の実施例における点群復号方法は、データソースによって伝送された点群ファイルを受信するステップであって、点群ファイルは、同じ点群コンテンツを有する１つ又は複数の点群メディアトラックを含み、点群ファイルにおいてフレームレートの異なる一部の点群メディアトラックが含まれる、ステップと、１つ又は複数の点群メディアトラックのファイルカプセル化情報を解析して、ファイルカプセル化情報中に持っているフレームレート指示情報を得るステップであって、フレームレート指示情報は、１つ又は複数の点群メディアトラックのフレームレートを指示することに用いられる、ステップと、ファイルカプセル化情報中に持っているフレームレート指示情報に基づいて、点群ファイル中から指定フレームレートを有する点群メディアトラックを選択し、かつ復号するステップと、を含む。
【特許請求の範囲】
【請求項1】
点群復号方法であって、データソースによって伝送された点群ファイルを受信するステップであって、前記点群ファイルは、同じ点群コンテンツを有する１つ又は複数の点群メディアトラックを含み、前記点群ファイルにおいてフレームレートの異なる一部の点群メディアトラックが含まれる、ステップと、
前記１つ又は複数の点群メディアトラックのファイルカプセル化情報を解析して、前記ファイルカプセル化情報中に持っているフレームレート指示情報を得るステップであって、前記フレームレート指示情報は、前記１つ又は複数の点群メディアトラックのフレームレートを指示することに用いられる、ステップと、
前記ファイルカプセル化情報中に持っているフレームレート指示情報に基づいて、前記点群ファイル中から指定フレームレートを有する点群メディアトラックを選択し、かつ復号するステップと、を含む、ことを特徴とする点群復号方法。
【請求項2】
データソースによって伝送された点群ファイルを受信する前記ステップは、データソースによって送信された、点群データを伝送することに用いられるストリームメディアシグナリングを受信するステップと、
前記ストリームメディアシグナリングを解析して、前記ストリームメディアシグナリング中に持っている、トラックグループを識別することに用いられる時間領域階層グループ識別子を得るステップであって、前記トラックグループは、同じ点群コンテンツを有する１つ又は複数の点群メディアトラックを含み、前記トラックグループにおいてフレームレートの異なる一部の点群メディアトラックが含まれる、ステップと、
前記時間領域階層グループ識別子に基づいて、前記データソースに第１データ伝送要求を送信するステップと、
前記データソースによって伝送された、前記第１データ伝送要求と対応する点群ファイルを受信するステップと、を含む、ことを特徴とする請求項１に記載の点群復号方法。
【請求項3】
前記時間領域階層グループ識別子に基づいて、前記データソースに第１データ伝送要求を送信する前記ステップは、前記データソースとデータ伝送を行うネットワーク帯域幅を取得するステップと、
前記時間領域階層グループ識別子に基づいて、前記トラックグループ中から前記ネットワーク帯域幅とマッチングする、ターゲットフレームレートを有する１つ又は複数のターゲット点群メディアトラックを選択するステップと、
前記１つ又は複数のターゲット点群メディアトラックの伝送を要求することに用いられる第１データ伝送要求を前記データソースに送信するステップと、を含む、ことを特徴とする請求項２に記載の点群復号方法。
【請求項4】
前記１つ又は複数の点群メディアトラックのファイルカプセル化情報を解析して、前記ファイルカプセル化情報中に持っているフレームレート指示情報を得るステップは、前記１つ又は複数の点群メディアトラックのファイルカプセル化情報を解析することで、前記１つ又は複数の点群メディアトラックのフレームレートと対応するフレームレート指示フィールドを決定するステップと、
前記フレームレート指示フィールドの値に基づいて、前記１つ又は複数の点群メディアトラックのフレームレート指示情報を決定するステップと、を含む、ことを特徴とする請求項１に記載の点群復号方法。
【請求項5】
前記ファイルカプセル化情報中に持っているフレームレート指示情報に基づいて、前記点群ファイル中から指定フレームレートを有する点群メディアトラックを選択し、かつ復号するステップの後に、前記方法は、表示対象の点群メディアトラックのフレームレートを取得するステップと、
前記ファイルカプセル化情報中に持っているフレームレート指示情報に基づいて、前記点群ファイル中から前記表示対象の点群メディアトラックと同じフレームレートを有する他の点群メディアトラックを選択するステップと、
前記表示対象の点群メディアトラックを前記他の点群メディアトラックに置き換えることで、前記他の点群メディアトラックを復号し、かつ表示するステップと、を更に含む、ことを特徴とする請求項１～４のいずれか一項に記載の点群復号方法。
【請求項6】
前記ファイルカプセル化情報中に持っているフレームレート指示情報に基づいて、前記点群ファイル中から指定フレームレートを有する点群メディアトラックを選択し、かつ復号するステップの後に、前記方法は、表示対象の点群メディアトラックのフレームレートを取得するステップと、
前記ファイルカプセル化情報中に持っているフレームレート指示情報に基づいて、前記点群ファイル中から前記表示対象の点群メディアトラックと同じフレームレートを有する１つ又は複数の他の点群メディアトラックを選択するステップと、
前記１つ又は複数の他の点群メディアトラックを復号し、かつ前記１つ又は複数の他の点群メディアトラックと前記表示対象の点群メディアトラックとを合併して表示するステップと、を更に含む、ことを特徴とする請求項１～４のいずれか一項に記載の点群復号方法。
【請求項7】
前記ファイルカプセル化情報中に持っているフレームレート指示情報に基づいて、前記点群ファイル中から指定フレームレートを有する点群メディアトラックを選択し、かつ復号するステップの後に、前記方法は、表示対象の点群メディアトラックのフレームレートを取得するステップと、
前記データソースに第２データ伝送要求を送信することで、前記データソースによって伝送された補足点群ファイルを受信するステップであって、前記補足点群ファイルは、前記表示対象の点群メディアトラックと同じ点群コンテンツ、及び同じフレームレートを有する他の点群メディアトラックを含む、ステップと、
前記表示対象の点群メディアトラックを前記他の点群メディアトラックに置き換えることで、前記他の点群メディアトラックを復号し、かつ表示するステップと、を更に含む、ことを特徴とする請求項１～４のいずれか一項に記載の点群復号方法。
【請求項8】
前記ファイルカプセル化情報中に持っているフレームレート指示情報に基づいて、前記点群ファイル中から指定フレームレートを有する点群メディアトラックを選択し、かつ復号するステップの後に、前記方法は、表示対象の点群メディアトラックのフレームレートを取得するステップと、
前記データソースに第３データ伝送要求を送信することで、前記データソースによって伝送された補足点群ファイルを受信するステップであって、前記補足点群ファイルは、前記表示対象の点群メディアトラックと同じ点群コンテンツ、及び同じフレームレートを有する１つ又は複数の他の点群メディアトラックを含む、ステップと、
前記１つ又は複数の他の点群メディアトラックを復号し、かつ前記１つ又は複数の他の点群メディアトラックと前記表示対象の点群メディアトラックとを合併して表示するステップと、を更に含む、ことを特徴とする請求項１～４のいずれか一項に記載の点群復号方法。
【請求項9】
点群符号化方法であって、異なる符号化標準に応じて伝送対象の点群データに対して符号化処理を行って、同じ点群コンテンツを有する複数の点群コードストリームを得るステップであって、前記複数の点群コードストリームにおいてフレームレートの異なる一部の点群コードストリームが含まれる、ステップと、
前記複数の点群コードストリームを複数の点群メディアトラックにカプセル化するステップであって、前記複数の点群メディアトラックに前記複数の点群コードストリームと対応するフレームレート指示情報を埋め込み、前記フレームレート指示情報は、前記複数の点群メディアトラックのフレームレートを指示することに用いられる、ステップと、を含む、ことを特徴とする点群符号化方法。
【請求項10】
前記複数の点群コードストリームを複数の点群メディアトラックにカプセル化するステップの後に、前記方法は、点群データを伝送することに用いられるストリームメディアシグナリングを生成するステップと、
前記ストリームメディアシグナリングにトラックグループを識別することに用いられる時間領域階層グループ識別子を埋め込むステップであって、前記トラックグループは、同じ点群コンテンツを有する１つ又は複数の点群メディアトラックを含み、前記トラックグループにおいてフレームレートの異なる一部の点群メディアトラックが含まれる、ステップと、
データ受信側に前記ストリームメディアシグナリングを送信するステップと、を更に含む、ことを特徴とする請求項９に記載の点群符号化方法。
【請求項11】
データ受信側に前記ストリームメディアシグナリングを送信するステップの後に、前記方法は、前記データ受信側によって送信された、前記ストリームメディアシグナリングに基づき生成されたデータ伝送要求を受信するステップと、
前記データ伝送要求に基づいて、前記データ受信側に点群ファイルを伝送するステップであって、前記点群ファイルは、同じ点群コンテンツを有する１つ又は複数の点群メディアトラックを含み、前記点群ファイルにおいてフレームレートの異なる一部の点群メディアトラックが含まれる、ステップと、を更に含む、ことを特徴とする請求項１０に記載の点群符号化方法。
【請求項12】
前記複数の点群メディアトラックに前記複数の点群コードストリームと対応するフレームレート指示情報を埋め込むことは、前記複数の点群メディアトラックのファイルカプセル化情報において前記フレームレート指示情報と対応するフレームレート指示フィールドを決定するステップと、
前記複数の点群コードストリームと対応するフレームレート指示情報を前記ファイルカプセル化情報におけるフレームレート指示フィールドに埋め込むステップと、を含む、ことを特徴とする請求項９～１１のいずれか一項に記載の点群符号化方法。
【請求項13】
点群復号装置であって、データソースによって伝送された点群ファイルを受信するように構成される受信モジュールであって、前記点群ファイルは、同じ点群コンテンツを有する１つ又は複数の点群メディアトラックを含み、前記点群ファイルにおいてフレームレートの異なる一部の点群メディアトラックが含まれる、受信モジュールと、
前記１つ又は複数の点群メディアトラックのファイルカプセル化情報を解析して、前記ファイルカプセル化情報中に持っているフレームレート指示情報を得るように構成される解析モジュールであって、前記フレームレート指示情報は、前記１つ又は複数の点群メディアトラックのフレームレートを指示することに用いられる、解析モジュールと、
前記ファイルカプセル化情報中に持っているフレームレート指示情報に基づいて前記点群ファイル中から指定フレームレートを有する点群メディアトラックを選択し、かつ復号するように構成される復号モジュールと、を含む、ことを特徴とする点群復号装置。
【請求項14】
点群符号化装置であって、異なる符号化標準に応じて伝送対象の点群データに対して符号化処理を行って、同じ点群コンテンツを有する複数の点群コードストリームを得るように構成される符号化モジュールであって、前記複数の点群コードストリームにおいてフレームレートの異なる一部の点群コードストリームが含まれる、符号化モジュールと、
前記複数の点群コードストリームを複数の点群メディアトラックにカプセル化し、かつ前記複数の点群メディアトラックに前記複数の点群コードストリームと対応するフレームレート指示情報を埋め込むように構成されるカプセル化モジュールであって、前記フレームレート指示情報は、前記複数の点群メディアトラックのフレームレートを指示することに用いられる、カプセル化モジュールと、を含む、ことを特徴とする点群符号化装置。
【請求項15】
電子機器であって、プロセッサと、
前記プロセッサの実行可能命令を記憶することに用いられるメモリと、を含み、
前記プロセッサは、前記実行可能命令を実行することによって請求項１～１２のいずれか一項に記載の方法を実行するように構成される、ことを特徴とする電子機器。
【発明の詳細な説明】
【技術分野】
【0001】
本願は、コンピュータ、及び通信の技術分野に属し、具体的には、点群符号化・復号方法、点群符号化・復号装置、コンピュータ可読媒体、及び電子機器に関する。
【0002】
本願は、２０２１年４月２２日に提出された、出願番号が第２０２１１０４３７２５５．４号であり、発明の名称が「点群符号化・復号方法、及び関連機器」である中国特許出願の優先権を主張する。
【背景技術】
【0003】
点群は、空間において不規則に分布する、３次元物体、又はシーンの空間構造、及び表面属性を表現する１つのグループの離散点のセットである。点群収集機器によって大規模な点群データを取得した後に、点群データに対して符号化、及びカプセル化を行うことでユーザに伝送、及び提示することができる。
【発明の概要】
【発明が解決しようとする課題】
【0004】
本願の実施例は、点群符号化・復号方法、点群符号化・復号装置、コンピュータ可読媒体、及び電子機器を提供する。
【0005】
本願の実施例の１つの態様に基づいて、点群復号方法を提供し、該方法は、データソースによって伝送された点群ファイルを受信するステップであって、前記点群ファイルは、同じ点群コンテンツを有する１つ又は複数の点群メディアトラックを含み、前記点群ファイルにおいてフレームレートの異なる一部の点群メディアトラックが含まれる、ステップと、前記１つ又は複数の点群メディアトラックのファイルカプセル化情報を解析して、前記ファイルカプセル化情報中に持っているフレームレート指示情報を得るステップであって、前記フレームレート指示情報は、前記１つ又は複数の点群メディアトラックのフレームレートを指示することに用いられる、ステップと、前記ファイルカプセル化情報中に持っているフレームレート指示情報に基づいて、前記点群ファイル中から指定フレームレートを有する点群メディアトラックを選択し、かつ復号するステップと、を含む。
【0006】
本願の実施例の１つの態様に基づいて、点群復号装置を提供し、該装置は、データソースによって伝送された点群ファイルを受信するように構成される受信モジュールであって、前記点群ファイルは、同じ点群コンテンツを有する１つ又は複数の点群メディアトラックを含み、前記点群ファイルにおいてフレームレートの異なる一部の点群メディアトラックが含まれる、受信モジュールと、前記１つ又は複数の点群メディアトラックのファイルカプセル化情報を解析して、前記ファイルカプセル化情報中に持っているフレームレート指示情報を得るように構成される解析モジュールであって、前記フレームレート指示情報は、前記１つ又は複数の点群メディアトラックのフレームレートを指示することに用いられる、解析モジュールと、前記ファイルカプセル化情報中に持っているフレームレート指示情報に基づいて、前記点群ファイル中から指定フレームレートを有する点群メディアトラックを選択し、かつ復号するように構成される復号モジュールと、を含む。
【0007】
本願のいくつかの実施例において、以上の技術的手段に基づき、前記受信モジュールは、データソースによって送信された、点群データを伝送することに用いられるストリームメディアシグナリングを受信するように構成されるシグナリング受信ユニットと、前記ストリームメディアシグナリングを解析して、前記ストリームメディアシグナリング中に持っている、トラックグループを識別することに用いられる時間領域階層グループ識別子を得るように構成されるシグナリング解析ユニットであって、前記トラックグループは、同じ点群コンテンツを有する１つ又は複数の点群メディアトラックを含み、前記トラックグループにおいてフレームレートの異なる一部の点群メディアトラックが含まれる、シグナリング解析ユニットと、前記時間領域階層グループ識別子に基づいて、前記データソースに第１データ伝送要求を送信するように構成される要求送信ユニットと、前記データソースによって伝送された、前記第１データ伝送要求と対応する点群ファイルを受信するように構成されるファイル受信ユニットと、を含む。
【0008】
本願のいくつかの実施例において、以上の技術的手段に基づき、前記要求送信ユニットは、前記データソースとデータ伝送を行うネットワーク帯域幅を取得するように構成される帯域幅取得サブユニットと、前記時間領域階層グループ識別子に基づいて、前記トラックグループ中から前記ネットワーク帯域幅とマッチングする、ターゲットフレームレートを有する１つ又は複数のターゲット点群メディアトラックを選択するように構成されるトラック選択サブユニットと、前記１つ又は複数のターゲット点群メディアトラックの伝送を要求することに用いられる第１データ伝送要求を前記データソースに送信するように構成される要求送信サブユニットと、を含む。
【0009】
本願のいくつかの実施例において、以上の技術的手段に基づき、前記解析モジュールは、前記１つ又は複数の点群メディアトラックのファイルカプセル化情報を解析することで、前記１つ又は複数の点群メディアトラックのフレームレートと対応するフレームレート指示フィールドを決定するように構成される情報解析ユニットと、前記フレームレート指示フィールドの値に基づいて、前記１つ又は複数の点群メディアトラックのフレームレート指示情報を決定するように構成される情報決定ユニットと、を含む。
【0010】
本願のいくつかの実施例において、以上の技術的手段に基づき、前記点群復号装置は、表示対象の点群メディアトラックのフレームレートを取得するように構成されるフレームレート取得モジュールと、前記ファイルカプセル化情報中に持っているフレームレート指示情報に基づいて、前記点群ファイル中から前記表示対象の点群メディアトラックと同じフレームレートを有する他の点群メディアトラックを選択するように構成されるトラック選択モジュールと、前記表示対象の点群メディアトラックを前記他の点群メディアトラックに置き換えることで、前記他の点群メディアトラックを復号し、かつ表示するように構成される第１置き換えモジュールと、を更に含む。
【0011】
本願のいくつかの実施例において、以上の技術的手段に基づき、前記点群復号装置は、表示対象の点群メディアトラックのフレームレートを取得するように構成されるフレームレート取得モジュールと、前記ファイルカプセル化情報中に持っているフレームレート指示情報に基づいて、前記点群ファイル中から前記表示対象の点群メディアトラックと同じフレームレートを有する１つ又は複数の他の点群メディアトラックを選択するように構成されるトラック選択モジュールと、前記１つ又は複数の他の点群メディアトラックを復号し、かつ前記１つ又は複数の他の点群メディアトラックと前記表示対象の点群メディアトラックとを合併して表示するように構成される第１合併モジュールと、を更に含む。
【0012】
本願のいくつかの実施例において、以上の技術的手段に基づき、前記点群復号装置は、表示対象の点群メディアトラックのフレームレートを取得するように構成されるフレームレート取得モジュールと、前記データソースに第２データ伝送要求を送信することで、前記データソースによって伝送された補足点群ファイルを受信するように構成されるファイル取得モジュールであって、前記補足点群ファイルは、前記表示対象の点群メディアトラックと同じ点群コンテンツ、及び同じフレームレートを有する他の点群メディアトラックを含む、ファイル取得モジュールと、前記表示対象の点群メディアトラックを前記他の点群メディアトラックに置き換えることで、前記他の点群メディアトラックを復号し、かつ表示するように構成される第２置き換えモジュールと、を更に含む。
【0013】
本願のいくつかの実施例において、以上の技術的手段に基づき、前記点群復号装置は、表示対象の点群メディアトラックのフレームレートを取得するように構成されるフレームレート取得モジュールと、前記データソースに第３データ伝送要求を送信することで、前記データソースによって伝送された補足点群ファイルを受信するように構成されるファイル取得モジュールであって、前記補足点群ファイルは、前記表示対象の点群メディアトラックと同じ点群コンテンツ、及び同じフレームレートを有する１つ又は複数の他の点群メディアトラックを含む、ファイル取得モジュールと、前記１つ又は複数の他の点群メディアトラックを復号し、かつ前記１つ又は複数の他の点群メディアトラックと前記表示対象の点群メディアトラックとを合併して表示するように構成される第２合併モジュールと、を更に含む。
【0014】
本願の実施例の１つの態様に基づいて、点群符号化方法を提供し、該方法は、異なる符号化標準に応じて伝送対象の点群データに対して符号化処理を行って、同じ点群コンテンツを有する複数の点群コードストリームを得るステップであって、前記複数の点群コードストリームにおいてフレームレートの異なる一部の点群コードストリームが含まれる、ステップと、前記複数の点群コードストリームを複数の点群メディアトラックにカプセル化するステップであって、前記複数の点群メディアトラックに前記複数の点群コードストリームと対応するフレームレート指示情報を埋め込み、前記フレームレート指示情報は、前記複数の点群メディアトラックのフレームレートを指示することに用いられる、ステップと、を含む。
【0015】
本願の実施例の１つの態様に基づいて、点群符号化装置を提供し、該装置は、異なる符号化標準に応じて伝送対象の点群データに対して符号化処理を行って、同じ点群コンテンツを有する複数の点群コードストリームを得るように構成される符号化モジュールであって、前記複数の点群コードストリームにおいてフレームレートの異なる一部の点群コードストリームが含まれる、符号化モジュールと、前記複数の点群コードストリームを複数の点群メディアトラックにカプセル化し、かつ前記複数の点群メディアトラックに前記複数の点群コードストリームと対応するフレームレート指示情報を埋め込むように構成されるカプセル化モジュールであって、前記フレームレート指示情報は、前記複数の点群メディアトラックのフレームレートを指示することに用いられる、カプセル化モジュールと、を含む。
【0016】
本願のいくつかの実施例において、以上の技術的手段に基づき、前記点群符号化装置は、点群データを伝送することに用いられるストリームメディアシグナリングを生成するように構成されるシグナリング生成モジュールと、前記ストリームメディアシグナリングにトラックグループを識別することに用いられる時間領域階層グループ識別子を埋め込むように構成されるシグナリング埋め込みモジュールであって、前記トラックグループは、同じ点群コンテンツを有する１つ又は複数の点群メディアトラックを含み、前記トラックグループにおいてフレームレートの異なる一部の点群メディアトラックが含まれる、シグナリング埋め込みモジュールと、データ受信側に前記ストリームメディアシグナリングを送信するように構成されるシグナリング送信モジュールと、を更に含む。
【0017】
本願のいくつかの実施例において、以上の技術的手段に基づき、前記点群符号化装置は、前記データ受信側によって送信された、前記ストリームメディアシグナリングに基づき生成されたデータ伝送要求を受信するように構成される要求受信モジュールと、前記データ伝送要求に基づいて、前記データ受信側に点群ファイルを伝送するように構成されるファイル伝送モジュールであって、前記点群ファイルは、同じ点群コンテンツを有する１つ又は複数の点群メディアトラックを含み、前記点群ファイルにおいてフレームレートの異なる一部の点群メディアトラックが含まれる、ファイル伝送モジュールと、を更に含む。
【0018】
本願のいくつかの実施例において、以上の技術的手段に基づき、前記カプセル化モジュールは、前記複数の点群メディアトラックのファイルカプセル化情報において前記フレームレート指示情報と対応するフレームレート指示フィールドを決定するように構成される情報決定ユニットと、前記複数の点群コードストリームと対応するフレームレート指示情報を前記ファイルカプセル化情報におけるフレームレート指示フィールドに埋め込むように構成される情報埋め込みユニットと、を含む。
【0019】
本願の実施例の１つの態様に基づいて、コンピュータ可読媒体を提供し、それにコンピュータプログラムが記憶され、該コンピュータプログラムがプロセッサによって実行されるときに前記技術的手段における方法を実現する。
【0020】
本願の実施例の１つの態様に基づいて、電子機器を提供し、該電子機器はプロセッサと、前記プロセッサの実行可能命令を記憶することに用いられるメモリと、を含み、ここで、前記プロセッサは、前記実行可能命令を実行することによって前記技術的手段における方法を実行するように構成される。
【0021】
本願の実施例の１つの態様に基づいて、コンピュータプログラム製品、又はコンピュータプログラムを提供し、該コンピュータプログラム製品、又はコンピュータプログラムはコンピュータ命令を含み、該コンピュータ命令はコンピュータ可読記憶媒体において記憶される。コンピュータ機器のプロセッサは、コンピュータ可読記憶媒体から該コンピュータ命令を読み取り、プロセッサは、該コンピュータ命令を実行し、該コンピュータ機器に前記技術的手段における方法を実行させる。
【0022】
本願の実施例が提供する技術的手段において、同じフレームレートを有する点群メディアリソース、異なるフレームレートを有する点群メディアリソースを関連付けることにより、点群メディアの時間的な漸進的関係が構築される。このような時間的な漸進的関係に基づき、ユーザは、点群メディアを消費するときに、自分のニーズに基づいて対応する点群メディアファイルを要求することができ、それにより伝送ネットワークの帯域幅を節約し、点群データの符号化・復号の柔軟性を向上させることができる。
【図面の簡単な説明】
【0023】
【図1】本願の実施例の技術的手段を応用することができる例示的なシステムアーキテクチャの模式図を示す。
【図2】点群符号化装置と点群復号装置のストリーミング伝送環境における置き方式を示す。
【図3】本願の１つの実施例における点群復号方法のステップフローチャートを示す。
【図4】本願の１つの実施例におけるマルチトラックでカプセル化された置換可能なグループの模式図を示す。
【図5】本願の１つの実施例におけるデータソースから点群ファイルを受信するステップフローチャートを示す。
【図6】本願の１つの実施例における点群符号化方法のステップフローチャートを示す。
【図7】本願の実施例の１つの応用シーンにおいて点群データの符号化・復号を行うステップフローチャートを示す。
【図8】本願の実施例が提供する点群復号装置の構造ブロック図を模式的に示す。
【図9】本願の実施例が提供する点群符号化装置の構造ブロック図を模式的に示す。
【図10】本願の実施例の電子機器を実現するために用いられるのに適するコンピュータシステムの構造ブロック図を模式的に示す。
【発明を実施するための形態】
【0024】
今から、図面を参照して例示的な実施形態をより全面的に記述する。しかし、例示的な実施形態は複数種の形式で実施されてもよく、且つここで論述される例に限定されると理解されるべきではない。逆に、これらの実施形態を提供することにより、本願をより全面的、かつ完全にし、かつ例示的な実施形態の構想を当業者に全面的に伝達する。
【0025】
この他、記述された特徴、構造、又は特性は任意の適切な方式によって１つ、又はより多くの実施例において結合されてもよい。以下の記述においては、多くの具体的な細部を提供し、それにより本願の実施例に対する十分な理解を与える。しかし、当業者が認識するように、特定の細部のうちの１つ、又はより多くがなくても本願の技術的手段を実践することができる、又はその他の方法、構成要素、装置、ステップなどを採用してもよい。その他の状況において、公知の方法、装置、実現、又は操作を詳細に示さない、又は記述しないことで本願の各態様の曖昧さを回避する。
【0026】
図面において示されるブロック図は機能エンティティに過ぎず、必ずしも物理的に独立したエンティティと対応するものではない。すなわち、ソフトウェアの形式を採用してこれらの機能エンティティを実現してもよく、又は１つ又は複数のハードウェアモジュール、又は集積回路においてこれらの機能エンティティを実現してもよく、又は異なるネットワーク、及び／又はプロセッサ装置、及び／又はマイクロコントローラ装置においてこれらの機能エンティティを実現してもよい。
【0027】
図面において示されるフローチャートは、例示的に説明されるものに過ぎず、必ず以下のすべてのコンテンツ、及び操作／ステップを含むものではなく、記述された順序で実行されることは必須ではない。例えば、ある操作／ステップを分解してもよく、ある操作／ステップを合併、又は部分的に合併してもよく、従って、実際に実行される順序は、実際の状況に基づいて変更される可能性がある。
【0028】
点群は、空間において不規則に分布している、３次元物体、又はシーンの空間構造、及び表面属性を表現する１つのグループの離散点のセットである。点群における各々の点は少なくとも３次元位置情報を有し、応用シーンにおける相違に基づいて、色彩、マテリアル、又は他の情報を有する可能性がある。通常、点群における各々の点はいずれも同じ数の追加属性を有する。点群メディアは、符号化方式において、従来のビデオ符号化方式に基づき圧縮された点群メディア（Ｖｉｄｅｏ－ｂａｓｅｄ Ｐｏｉｎｔ Ｃｌｏｕｄ Ｃｏｍｐｒｅｓｓｉｏｎ 、ＶＰＣＣ）、及び幾何学的特徴に基づき圧縮された点群メディア（Ｇｅｏｍｅｔｒｙ－ｂａｓｅｄ Ｐｏｉｎｔ Ｃｌｏｕｄ Ｃｏｍｐｒｅｓｓｉｏｎ、ＧＰＣＣ）に更に分けられてもよい。点群メディアのファイルカプセル化において、３次元位置情報は通常、点群ファイルの幾何コンポーネント（Ｇｅｏｍｅｔｒｙ Ｃｏｍｐｏｎｅｎｔ）と呼ばれ、属性情報は点群ファイルの属性コンポーネント（Ａｔｔｒｉｂｕｔｅ Ｃｏｍｐｏｎｅｎｔ）と呼ばれる。１つの点群ファイルは、１つのみの幾何コンポーネントを有する可能性があるが、１つ又は複数の属性コンポーネントが存在し得る。
【0029】
点群は、３次元物体、又はシーンの空間構造、及び表面属性を柔軟、かつ容易に表現することができるため、広く応用されており、その主な応用シーンを２つのカテゴリに分類することができる。１）機械感知点群は、例えば自律航法システム、リアルタイムパトロールシステム、地理情報システム、視覚選別ロボット、災害救援ロボットである。２）目感知点群は、例えばデジタル文化遺産、自由視点ブロードキャスト、３次元没入型通信、３次元没入型インタラクションなどの点群応用シーンである。
【0030】
点群の取得は主に、コンピュータによる生成、３Ｄレーザースキャン、３Ｄ撮影測定などの方法を有する。コンピュータは仮想３次元物体、及びシーンの点群を生成することができる。３Ｄスキャンは静的現実世界の３次元物体、又はシーンの点群を獲得することができ、１秒あたりに数百万の点群を取得することができる。３Ｄ撮像は動的現実世界の３次元物体、又はシーンの点群を獲得することができ、１秒あたりに数千万の点群を取得することができる。この他、医学分野では、ＭＲＩ、ＣＴ、電磁測位情報により、生体組織・器官の点群を獲得することができる。これらの技術は点群データの取得コスト、及び時間周期を低減させ、データの精度を向上させる。点群データの取得方式の変革は、大量の点群データの取得を可能にする。大規模な点群データの継続的な蓄積に伴い、点群データの効率的な記憶、伝送、発行、共有、及び標準化は、点群応用の鍵となる。
【0031】
点群メディアを符号化した後に、符号化された後のデータストリームをカプセル化し、かつユーザに伝送する必要がある。これと対応して、点群メディアプレーヤー側では、まず点群ファイルに対してカプセル化解除を行い、次に復号し、最後に復号された後のデータストリームを提示する必要がある。
【0032】
図１は、本願の実施例の技術的手段を応用することができる例示的なシステムアーキテクチャの模式図を示す。
【0033】
図１に示されるように、システムアーキテクチャ１００は、複数の端末装置を含み、上記端末装置は、例えばネットワーク１５０を介して互いに通信することができる。例を挙げて言えば、システムアーキテクチャ１００は、ネットワーク１５０を介して相互接続された第１端末装置１１０と第２端末装置１２０とを含んでもよい。図１の実施例において、第１端末装置１１０と第２端末装置１２０は一方向データ伝送を実行する。
【0034】
例を挙げて言えば、第１端末装置１１０は、点群データ（例えば第１端末装置１１０によって収集された点群コードストリーム）を符号化することで第２端末装置１２０にネットワーク１５０を介して伝送することができる。符号化された点群データは１つ又は複数の符号化された点群コードストリームの形式で伝送され、第２端末装置１２０は、ネットワーク１５０から符号化された点群データを受信し、符号化された点群データを復号し、かつ復号された点群データをディスプレイすることができる。
【0035】
本願の１つの実施例において、システムアーキテクチャ１００は、符号化された点群データの双方向伝送を実行する第３端末装置１３０と第４端末装置１４０とを含んでもよく、上記双方向伝送は、例えばビデオ会議期間に生じ得る。双方向データ伝送について、第３端末装置１３０と第４端末装置１４０のうちの各々の端末装置は、点群データ（例えば端末装置によって収集された点群コードストリーム）を符号化することで、第３端末装置１３０と第４端末装置１４０のうちの他方の端末装置にネットワーク１５０を介して伝送することができる。第３端末装置１３０と第４端末装置１４０のうちの各々の端末装置は、第３端末装置１３０と第４端末装置１４０のうちの他方の端末装置によって伝送された符号化された点群データを受信することができ、且つ符号化された点群データを復号することで点群データを復元することができ、かつ復元された点群データに基づいてアクセスできるディスプレイ装置上に点群データをディスプレイすることができる。
【0036】
図１の実施例において、第１端末装置１１０、第２端末装置１２０、第３端末装置１３０、及び第４端末装置１４０は、サーバ、パーソナルコンピュータ、及びスマートフォンであってもよいが、本願に開示されている原理はこれに限定されない。本願に開示されている実施例は、ラップトップコンピュータ、タブレットパソコン、メディアプレーヤー、及び／又は専用のビデオ会議機器に適用される。ネットワーク１５０は、第１端末装置１１０、第２端末装置１２０、第３端末装置１３０、及び第４端末装置１４０の間で符号化された点群データを転送する任意の個数のネットワークを表し、例えば有線、及び／又は無線通信ネットワークを含む。ネットワーク１５０は、回路交換、及び／又はパケット交換チャネルにおいてデータを交換することができる。該ネットワークは、電気通信ネットワーク、ローカルエリアネットワーク、ワイドエリアネットワーク、及び／又はインターネットを含んでもよい。本願の目的のために、以下に解釈されない限り、ネットワーク１５０のアーキテクチャ、及びトポロジーは、本願に開示されている操作に対して言えば重要ではない可能性がある。
【0037】
本願の１つの実施例において、図２は、点群符号化装置と点群復号装置のストリーミング伝送環境における設置方式を示す。本願に開示された主題は、点群をサポートすることに用いられるその他のアプリケーションに同等に適用することができ、例えばビデオ会議、デジタルテレビ、及びＣＤ、ＤＶＤ、記憶スティックなどを含むデジタル媒体上に圧縮された点群データを記憶することなどを含む。
【0038】
ストリーミング伝送システムは、収集サブシステム２１３を含んでもよく、収集サブシステム２１３は、デジタルカメラなどの点群データソース２０１を含んでもよく、点群データソース２０１は、例えば圧縮されていない点群データ２０２を新規作成することができる。実施例において、点群データ２０２はデジタルカメラによって撮影されたサンプルを含む。符号化された点群データ２０４（又は符号化された点群コードストリーム２０４）と比較して、点群データ２０２は太い線として描画されることで、高データ量の点群データを強調する。点群データ２０２は電子装置２２０によって処理されてもよく、電子装置２２０は、ビデオソース２０１にカップリングされたビデオ符号化装置２０３を含む。ビデオ符号化装置２０３は、ハードウェア、ソフトウェア、又はソフトウェアとハードウェアとの組み合わせを含むことで、以下より詳細に記述される開示された主題の各態様を実現、又は実施することができる。点群データ２０２と比較して、符号化された点群データ２０４（又は符号化された点群コードストリーム２０４）は細い線として描画されることで、比較的低いデータ量の符号化された点群データ２０４（又は符号化された点群コードストリーム２０４）を強調し、これら将来の使用のためにストリーミング伝送サーバ２０５上に記憶されてもよい。１つ又は複数のストリーミング伝送クライアント端末サブシステム、例えば図２におけるクライアント端末サブシステム２０６とクライアント端末サブシステム２０８は、ストリーミング伝送サーバ２０５にアクセスすることで、点群データ２０４のコピーとして符号化された点群データ２０７と点群データ２０９を検索することができる。クライアント端末サブシステム２０６は、例えば電子装置２３０における点群復号装置２１０を含んでもよい。点群復号装置２１０は、符号化された点群データの着信コピー２０７を復号し、且つディスプレイ２１２（例えばディスプレイスクリーン）、又は別の提示装置上に提示できる出力点群データ２１１を発生させる。いくつかのストリーミング伝送システムにおいて、あるいくつかの点群符号化／圧縮標準に基づいて符号化された点群データ２０４、点群データ２０７、及び点群データ２０９（例えば点群コードストリーム）を符号化することができる。これらの標準の実施例はＭＰＥＧによってＧＰＣＣのために開発された標準を含んでもよい。
【0039】
留意すべきであるように、電子装置２２０と電子装置２３０は図において示されていないその他の構成部品を含んでもよい。例を挙げて言えば、電子装置２２０は点群復号装置を含んでもよく、且つ電子装置２３０は点群符号化装置を更に含んでもよい。
【0040】
以下、具体的な実施形態を併せて本願が提供する点群符号化・復号方法、点群符号化・復号装置、コンピュータ可読媒体、及び電子機器などの技術的手段を詳細に説明する。
【0041】
図３は、本願の１つの実施例における点群復号方法のステップフローチャートを示し、該方法は、点群メディアシステムのサーバ、クライアント端末、及び中間ノードなどの段階に応用されてもよく、本願の実施例では、点群復号装置がインストールされたクライアント端末機器によって実行される点群復号方法を例とする。図３に示されるように、該点群復号方法は、主に以下のステップＳ３１０～ステップＳ３３０を含んでもよい。
【0042】
ステップＳ３１０：データソースによって伝送された点群ファイルを受信し、点群ファイルは、同じ点群コンテンツを有する１つ又は複数の点群メディアトラックを含み、点群ファイルにおいてフレームレートの異なる一部の点群メディアトラックが含まれる。
【0043】
本願の１つの実施例において、点群ファイルは、指定フレームレートに対応する１つの点群メディアトラックを個別にカプセル化してもよく、又は、同じか、異なるフレームレートを有する複数の点群メディアトラックをカプセル化してもよい。ここで、複数の点群メディアトラックは１つのトラックグループを形成することができ、トラックグループのコンテンツはシングルトラックカプセル化モードにおける点群メディアトラック（幾何学的成分、及び属性成分を含む）を含んでもよく、又はマルチトラックカプセル化モードにおける幾何学的成分トラックを含んでもよい（属性成分トラックは幾何学的成分トラックでインデックスして得られる）。同じフレームレートの点群メディアトラックを復号、及び表示するときに、相互に代替することができ、且つ同じフレームレートの点群メディアトラックを組み合わせて消費することで、より良好な点群提示効果を達成することができる。
【0044】
本願の１つの実施例において、点群ファイルにおける一部の点群メディアトラックは同じフレームレートを有するが、他の点群メディアトラックは異なるフレームレートを有してもよい。例えば、点群ファイルにおいてｔｒａｃｋ１、ｔｒａｃｋ２、及びｔｒａｃｋ３の３つの点群メディアトラックがカプセル化され、ここでｔｒａｃｋ１のフレームレートは６０ｆｐｓであり、ｔｒａｃｋ２とｔｒａｃｋ３のフレームレートはいずれも３０ｆｐｓである。
【0045】
点群ファイルにおいて異なる点群メディアトラックに対応する置換可能なグループ（ａｌｔｅｒｎａｔｉｖｅ ｇｒｏｕｐ）をカプセル化することができ、同じ点群コンテンツを有し、且つ異なる点群品質を有する点群メディアトラックは同一の置換可能なグループ内に分割されてもよく、点群品質はコードレート、フレームレート、解像度などの、異なる標準に対応する各種の品質パラメータを含んでもよい。
【0046】
ＧＰＣＣ点群データがシングルトラックでカプセル化されるときに、異なる品質の点群コンテンツのトラックは１つの置換可能なグループに属する。ＧＰＣＣ点群データがマルチトラックでカプセル化されるときに、異なる品質の点群コンテンツの幾何学的成分トラックは１つの置換可能なグループに属するが、属性成分トラックは幾何学的成分トラックに関連付けられてもよい。
【0047】
図４は、本願の１つの実施例におけるマルチトラックでカプセル化された置換可能なグループの模式図を示す。図４に示されるように、置換可能なグループ４００においては同じ点群コンテンツを有する第１点群データ４１０と第２点群データ４２０が含まれる。ここで、第１点群データ４１０は点群品質が相対的に比較的高い無損失圧縮点群データ（Ｌｏｓｓｌｅｓｓ ｃｏｄｅｄ ＧＰＣＣ）であり、第２点群データ４２０は点群品質が相対的に比較的低い損失圧縮点群データ（Ｌｏｓｓｙ ｃｏｄｅｄ ＧＰＣＣ）である。
【0048】
第１点群データ４１０においては第１幾何学的成分トラック４１１と第１幾何学的成分トラック４１１に関連付けられた第１属性成分トラック４１２が含まれ、第２点群データ４２０においては第２幾何学的成分トラック４２１と第２幾何学的成分トラック４２１に関連付けられた第２属性成分トラック４２２が含まれる。
【0049】
ステップＳ３２０：１つ又は複数の点群メディアトラックのファイルカプセル化情報を解析して、ファイルカプセル化情報中に持っているフレームレート指示情報を得て、フレームレート指示情報は、１つ又は複数の点群メディアトラックのフレームレートを指示することに用いられる。
【0050】
本願の１つの実施例において、ファイルカプセル化情報を解析して品質指示情報（フレームレート指示情報）を得る方法は、１つ又は複数の点群メディアトラックのファイルカプセル化情報を解析することで、１つ又は複数の点群メディアトラックのフレームレートと対応するフレームレート指示フィールドを決定するステップと、フレームレート指示フィールドの値に基づいて、１つ又は複数の点群メディアトラックのフレームレート指示情報を決定するステップと、を含んでもよい。
【0051】
本願の１つの実施例において、ファイルカプセル化情報は、点群コードストリームを点群メディアトラックにカプセル化するときに生成されたＩＳＯＢＭＦＦ（ＩＳＯベースメディアファイルフォーマット）データボックスであり、ＩＳＯＢＭＦＦの具体的なコンテンツは国際標準ＩＳＯ／ＩＥＣ １４４９６－１２を参照すればよい。
【0052】
本願の１つの実施例において、ファイルカプセル化情報は具体的には、拡張して得られたトラックグループデータボックスＴｒａｃｋＧｒｏｕｐＴｙｐｅＢｏｘとして表現されてもよく、その構文は以下の通りである。
ａｌｉｇｎｅｄ（８） ｃｌａｓｓ ＧＰＣＣＴｅｍｐｏｒａｌＳｃａｌｅＢｏｘ ｅｘｔｅｎｄｓ ＴｒａｃｋＧｒｏｕｐＴｙｐｅＢｏｘ（‘ｇｐｔｓ’） ｛
／／ ｔｒａｃｋ＿ｇｒｏｕｐ＿ｉｄ ｉｓ ｉｎｈｅｒｉｔｅｄ ｆｒｏｍ ＴｒａｃｋＧｒｏｕｐＴｙｐｅＢｏｘ；
ｕｎｓｉｇｎｅｄ ｉｎｔ（８）ｆｒａｍｅ＿ｒａｔｅ；
｝
ここで、ｆｒａｍｅ＿ｒａｔｅは点群ファイルの対応するフレームレートを指示することに用いられるフレームレート指示情報であり、その値は長さが８バイトの１つの符号なし整数である。
ａｌｉｇｎｅｄ（８） ｃｌａｓｓ ＧＰＣＣＴｅｍｐｏｒａｌＳｃａｌｅＢｏｘ ｅｘｔｅｎｄｓ ＴｒａｃｋＧｒｏｕｐＴｙｐｅＢｏｘ（‘ｇｐｔｓ’） ｛
／／ ｔｒａｃｋ＿ｇｒｏｕｐ＿ｉｄ ｉｓ ｉｎｈｅｒｉｔｅｄ ｆｒｏｍ ＴｒａｃｋＧｒｏｕｐＴｙｐｅＢｏｘ；
ｕｎｓｉｇｎｅｄ ｉｎｔ（８）ｆｒａｍｅ＿ｒａｔｅ；
｝
ここで、ｆｒａｍｅ＿ｒａｔｅは点群ファイルの対応するフレームレートを指示することに用いられるフレームレート指示情報であり、その値は長さが８バイトの１つの符号なし整数である。
【0053】
トラックグループデータボックスを拡張することにより、同一のコンテンツ、異なるフレームレートの点群メディアトラックを相互に関連付けることができる。１つのトラックグループに属する点群トラックは以下の条件を満たす。
【0054】
（１）該トラックは、シングルトラックカプセル化モードにおける点群トラック（幾何学的、及び属性成分を含む）、又はマルチトラックカプセル化モードにおける幾何学的成分トラックである（属性成分トラックは幾何学的成分トラックでインデックスして得られる）。
【0055】
（２）同じフレームレートのトラックを復号、及び提示するときに相互に代替することができる。
【0056】
（３）同じフレームレートのトラックを組み合わせて消費することで、より高いフレームレートの提示効果を達成することができる。
【0057】
ステップＳ３３０：ファイルカプセル化情報中に持っているフレームレート指示情報に基づいて、点群ファイル中から指定フレームレートを有する点群メディアトラックを選択し、かつ復号する。
【0058】
各々の点群メディアトラックに対応するファイルカプセル化情報中に、いずれも該点群メディアトラックのフレームレート指示情報を持っており、該フレームレート指示情報は、明示的な識別方式で点群メディアトラックのフレームレートを識別する。点群ファイルがデータソースによってユーザがあるデータ受信側に伝送されるときに、データ受信側は、機器性能、及びユーザのニーズに基づいて指定フレームレートを有する点群メディアトラックを復号することができる。
【0059】
本願の１つの実施例において、データ受信側の機器性能を収集し、かつ機器性能とファイルカプセル化情報中に持っている品質指示情報（フレームレート指示情報）とに対してマッチング検出を行うことにより、データ受信側の機器性能とマッチングするフレームレートを決定し、更に点群ファイル中から指定フレームレートを有する点群メディアトラックを選択し、かつ復号することができる。
【0060】
機器性能はハードウェア性能、ソフトウェア性能、及びネットワーク性能のうちの少なくとも一種を含んでもよい。ハードウェア性能は、例えば電子機器の機器型番、プロセッサ型番、メモリ容量、及びディスプレイサイズなどを含んでもよく、ソフトウェア性能は、例えばデータ受信側によってインストールされた点群デコーダのプログラムバージョンを含んでもよく、ネットワーク性能は、例えばネットワーク帯域幅、及びネットワーク伝送状態などを含んでもよい。
【0061】
本願の１つの実施例において、データ受信側によって配置されたフレームレート選択規則を取得し、かつフレームレート選択規則とファイルカプセル化情報中に持っているフレームレート指示情報とに対してマッチング検出を行い、データ受信側によって配置されたフレームレート選択規則とマッチングするフレームレートを決定し、更に点群ファイル中から指定フレームレートを有する点群メディアトラックを選択し、かつ復号することができる。
【0062】
フレームレート選択規則は、ユーザのニーズに基づいて配置された、指定フレームレートを有する点群データを選択することに用いられる選択規則であってもよく、例えばユーザの命令に基づいてフレームレートが指定された数値よりも大きい（又は小さい）点群データを選択する。
【0063】
図５は、本願の１つの実施例におけるデータソースから点群ファイルを受信するステップフローチャートを示す。図５に示されるように、以上の実施例を基礎として、ステップＳ３１０におけるデータソースによって伝送された点群ファイルを受信するステップは、以下のステップＳ５１０～ステップＳ５４０を含んでもよい。
【0064】
ステップＳ５１０：データソースによって送信された、点群データを伝送することに用いられるストリームメディアシグナリングを受信する。
【0065】
本願の１つの実施例において、点群データを伝送することに用いられるストリームメディアシグナリングは、ＨＴＴＰに基づく動的適応ストリーム（ｄｙｎａｍｉｃ ａｄａｐｔｉｖｅ ｓｔｒｅａｍｉｎｇ ｏｖｅｒ ＨＴＴＰ、ＤＡＳＨ）シグナリングであってもよく、ＤＡＳＨは、一種の適応ビットレートストリーム技術であり、該技術は、高品質のストリームメディアを従来のＨＴＴＰネットワークサーバによってインターネットで伝達することができる。
【0066】
ステップＳ５２０：ストリームメディアシグナリングを解析して、ストリームメディアシグナリング中に持っている、トラックグループを識別することに用いられる時間領域階層グループ識別子を得て、トラックグループは、同じ点群コンテンツを有する１つ又は複数の点群メディアトラックを含み、トラックグループにおいてフレームレートの異なる一部の点群メディアトラックが含まれる。
【0067】
ＤＡＳＨシグナリングにおいて、既存のフィールドを利用して点群メディアトラックのフレームレート指示情報を記憶することができ、例えばＤＡＳＨシグナリングにおけるｆｒａｍｅＲａｔｅフィールドを利用して複数種の異なる点群メディアトラックのフレームレートを指示することができる。
【0068】
本願の１つの実施例において、ファイルカプセル化において１つのｇｐｔｓトラックグループに属するすべてのフレームレートの点群メディアトラックに対しては、ＤＡＳＨシグナリングにおいて１つのグループＩＤを介して識別することができ、例えば、ＧＰＣＣ時間領域階層グループ識別子（ＧＰＣＣＴｅｍｐｏｒａｌＳｃａｌｅＧｒｏｕｐＩｄ）である。該グループＩＤ要素は、適応セットＡｄａｐｔａｔｉｏｎＳｅｔ要素のサブ要素である。ＧＰＣＣＴｅｍｐｏｒａｌＳｃａｌｅＧｒｏｕｐＩｄ要素は、ａｄａｐｔａｔｉｏｎ ｓｅｔ階層に出現し得る、いかなる他の階層にも出現してはならない。表１は、本願の１つの実施例におけるＧＰＣＣ時間領域階層グループＩＤのセマンティクス、及び属性を示す。
【0069】
【表1】
【0070】
ステップＳ５３０：時間領域階層グループ識別子に基づいて、上記データソースにデータ伝送要求を送信する。
【0071】
解析して得られた、ストリームメディアシグナリング中に持っている時間領域階層グループ識別子に基づいて、そのうちの一種、又は複数種のフレームレート指示情報をターゲットフレームレートとして選び、かつ更にターゲットフレームレートに対応するデータ伝送要求をデータソースに送信することができる。該データ伝送要求は、例えば第１データ伝送要求である。
【0072】
本願の１つの実施例において、データ伝送要求を送信する方法は、データソースとデータ伝送を行うネットワーク帯域幅を取得するステップと、時間領域階層グループ識別子に基づいて、トラックグループ中からネットワーク帯域幅とマッチングする、ターゲットフレームレートを有する１つ又は複数のターゲット点群メディアトラックを選択するステップと、ターゲット点群メディアトラックの伝送を要求することに用いられるデータ伝送要求をデータソースに送信するステップと、を含んでもよい。
【0073】
本願の１つの実施例において、ネットワーク帯域幅が設定閾値よりも大きいときに、２つ、又は２つ以上のターゲット点群メディアトラックを選択することができる。ネットワーク帯域幅が設定閾値よりも小さい、又は等しいときに、１つのターゲット点群メディアトラックを選択することができる。
【0074】
ステップＳ５４０：データソースによって伝送された、データ伝送要求と対応する点群ファイルを受信する。
【0075】
時間領域階層グループ識別子に基づいてターゲット点群メディアトラックに対応する１つのデータ伝送要求をデータソースに送信するときに、データソースは、該要求に基づき１つの相応なターゲット点群メディアトラックをデータ受信側に伝送することができる。時間領域階層グループ識別子に基づいてターゲット点群メディアトラックに対応する複数のデータ伝送要求をデータソースに送信するときに、データソースは、該要求に基づき同じフレームレート、又は異なるフレームレートを有する相応な複数のターゲット点群メディアトラックをデータ受信側に伝送することができる。
【0076】
本願の１つの実施例において、同じフレームレートを有する複数の点群メディアファイルを取得することにより、個々の点群メディアファイルを置き換え、又は合併して、点群メディアファイルの表示効果を改善することができる。
【0077】
本願の１つの実施例において、表示対象の点群メディアトラックにおいて選択が失敗する、復号が失敗する、又は復号した後に得られた点群品質が悪いなどの問題が出現したときに、同じフレームレートを有する他の点群メディアトラックを利用してトラック置き換えを行うことができる。例えば、フレームレートがいずれも３０ｆｐｓの、同じ点群コンテンツを有する２つの点群メディアファイルを相互に置き換えることができる。
【0078】
本願の１つの実施例において、データ受信側のネットワーク環境が最適化され、ネットワーク帯域幅が比較的高いときに、同じフレームレートを有する複数の点群メディアトラックのトラック合併を行うことで、点群データの表示フレームレートを向上させることができる。例えば、フレームレートがいずれも３０ｆｐｓの、同じ点群コンテンツを有する２つの点群メディアトラックは、トラック合併を経た後にフレームレートが６０ｆｐｓとなる１つの点群メディアトラックを形成することができ、それによりフレームレートを向上させる方式でより良好な点群メディアファイル表示効果を獲得する。
【0079】
本願の１つの実施例において、点群ファイル中から表示対象の点群メディアトラックを選択し、かつ復号した後に、もし点群ファイルにおいて同じフレームレートを有する他の点群メディアトラックが更に含まれるならば、点群メディアトラックの置き換え方法を実行することができる。すなわち、表示対象の点群メディアトラックのフレームレートを取得し、ファイルカプセル化情報中に持っているフレームレート指示情報に基づいて、点群ファイル中から表示対象の点群メディアトラックと同じフレームレートを有する他の点群メディアトラックを選択し、表示対象の点群メディアトラックを他の点群メディアトラックに置き換えることで、他の点群メディアトラックを復号し、かつ表示する。
【0080】
本願の１つの実施例において、点群ファイル中から表示対象の点群メディアトラックを選択し、かつ復号した後に、もし点群ファイルにおいて同じフレームレートを有する他の点群メディアトラックが更に含まれるならば、点群メディアトラックの合併方法を実行することができ、すなわち、表示対象の点群メディアトラックのフレームレートを取得し、ファイルカプセル化情報中に持っているフレームレート指示情報に基づいて、点群ファイル中から表示対象の点群メディアトラックと同じフレームレートを有する１つ又は複数の他の点群メディアトラックを選択し、１つ又は複数の他の点群メディアトラックを復号し、かつ１つ又は複数の他の点群メディアトラックと表示対象の点群メディアトラックとを合併して表示する。
【0081】
本願の１つの実施例において、点群ファイル中から表示対象の点群メディアトラックを選択し、かつ復号した後に、もし点群ファイルには１つの点群メディアトラックのみがカプセル化されるか、又は点群ファイルにおける他の点群メディアトラックのフレームレートがいずれも表示対象の点群メディアトラックと一致しないならば、点群メディアトラックの置き換え方法を実行することができる。すなわち、表示対象の点群メディアトラックのフレームレートを取得し、データソースにデータ伝送要求（例えば、第２データ伝送要求）を送信することで、データソースによって伝送された補足点群ファイルを受信し、補足点群ファイルは、表示対象の点群メディアトラックと同じ点群コンテンツ、及び同じフレームレートを有する他の点群メディアトラックを含み、表示対象の点群メディアトラックを他の点群メディアトラックに置き換えることで、他の点群メディアトラックを復号し、かつ表示する。
【0082】
本願の１つの実施例において、点群ファイル中から表示対象の点群メディアトラックを選択し、かつ復号した後に、もし点群ファイルには１つの点群メディアトラックのみがカプセル化されるか、又は点群ファイルにおける他の点群メディアトラックのフレームレートがいずれも表示対象の点群メディアトラックと一致しないならば、点群メディアトラックの合併方法を実行することができる。すなわち、表示対象の点群メディアトラックのフレームレートを取得し、データソースにデータ伝送要求（例えば、第３データ伝送要求）を送信することで、データソースによって伝送された補足点群ファイルを送信する。補足点群ファイルは、表示対象の点群メディアトラックと同じ点群コンテンツ、及び同じフレームレートを有する１つ又は複数の他の点群メディアトラックを含み、１つ又は複数の他の点群メディアトラックを復号し、かつ１つ又は複数の他の点群メディアトラックと表示対象の点群メディアトラックとを合併して表示する。
【0083】
図６は、本願の１つの実施例における点群符号化方法のステップフローチャートを示す。該点群符号化方法は、点群メディアシステムのサーバ、クライアント端末、及び中間ノードなどの段階に応用されてもよく、本願の実施例は、点群符号化装置がインストールされたサーバ機器によって実行される点群符号化方法を例とする。図６に示されるように、該点群符号化方法は、主に以下のステップＳ６１０～ステップＳ６２０を含んでもよい。
【0084】
ステップＳ６１０：異なる符号化標準に応じて伝送対象の点群データに対して符号化処理を行って、同じ点群コンテンツを有する複数の点群コードストリームを得て、複数の点群コードストリームにおいてフレームレートの異なる一部の点群コードストリームが含まれる。
【0085】
異なるデータ受信側の点群データに対するフレームレートニーズを満たすために、ある点群コンテンツの点群データに対して、複数種の異なる符号化標準に応じて符号化処理を行った後に、同じフレームレート、又は異なるフレームレートを有する複数の点群コードストリームを得ることができる。符号化標準は、一種又は複数種の品質パラメータのパラメータ値を含んでもよく、各種の品質パラメータの異なるパラメータ値を組み合わせて複数種の異なる符号化標準を形成することができる。例えば、品質パラメータはコードレートとフレームレートを含み、コードレートは２種の異なるコードレート値Ａ１、Ａ２を含み、フレームレートも２種の異なるフレームレート値Ｂ１、Ｂ２を含み、これにより異なる品質パラメータ値に対応する４種の符号化標準Ａ１Ｂ１、Ａ１Ｂ２、Ａ２Ｂ１、及びＡ２Ｂ２を決定することができる。
【0086】
ステップＳ６２０：複数の点群コードストリームを複数の点群メディアトラックにカプセル化し、かつ複数の点群メディアトラックに複数の点群コードストリームと対応するフレームレート指示情報を埋め込む。フレームレート指示情報は、複数の点群メディアトラックのフレームレートを指示することに用いられる。
【0087】
各々の点群メディアトラックは、いずれもそれに対応するファイルカプセル化情報を有し、該ファイルカプセル化情報は、点群コードストリームを点群メディアトラックにカプセル化するときに生成されたＩＳＯＢＭＦＦデータボックスであってもよく、例えば拡張して得られたトラックグループデータボックスＴｒａｃｋＧｒｏｕｐＴｙｐｅＢｏｘであってもよい。点群メディアトラックのファイルカプセル化情報においてフレームレート指示情報と対応するフレームレート指示フィールドを決定した後に、点群コードストリームのフレームレートを引用する方式により、点群コードストリームと対応するフレームレート指示情報をファイルカプセル化情報におけるフレームレート指示フィールドに埋め込むことができる。
【0088】
本願の１つの実施例において、点群コードストリームを点群メディアトラックにカプセル化した後に、データ伝送ニーズに基づいて、点群データを伝送することに用いられるストリームメディアシグナリングを生成することができ、該ストリームメディアシグナリングは以上の実施例におけるＤＡＳＨシグナリングであってもよい。ストリームメディアシグナリングにトラックグループを識別することに用いられる時間領域階層グループ識別子を埋め込み、トラックグループは、同じ点群コンテンツを有する１つ又は複数の点群メディアトラックを含み、トラックグループにおいてはフレームレートの異なる一部の点群メディアトラックが含まれる。次にデータ受信側にストリームメディアシグナリングを送信することで、データソースとデータ受信側との間で点群データ伝送を行う。
【0089】
本願の１つの実施例において、データ受信側がストリームメディアシグナリングに応答した後に、データソースは、データ受信側によって送信された、ストリームメディアシグナリングに基づき生成されたデータ伝送要求を受信することができ、データ伝送要求に基づいて、データ受信側に点群ファイルを伝送する。点群ファイルは、同じ点群コンテンツを有する１つ又は複数の点群メディアトラックを含み、点群ファイルにおいてフレームレートの異なる一部の点群メディアトラックが含まれる。
【0090】
図７は、本願の実施例の１つの応用シーンにおいて点群データの符号化・復号を行うステップフローチャートを示す。図７に示されるように、サーバは点群データを生成するデータソースとして、サーバとユーザがあるクライアント端末との間で点群データの伝送、及び符号化・復号を行う方法は、以下のステップを含んでもよい。
【0091】
ステップＳ７０１：サーバ上の点群コンテンツＡに対して符号化処理を行って、２種の異なるフレームレートに対応する３つの点群コードストリームＳ１、Ｓ２、及びＳ３を得る。例えば、点群コードストリームＳ１のフレームレートは６０ｆｐｓであり、点群コードストリームＳ２のフレームレートは３０ｆｐｓであり、点群コードストリームＳ３のフレームレートも３０ｆｐｓである。
【0092】
ステップＳ７０２：３つの点群コードストリームを相互に関連付けられた３つの点群メディアトラックＴｒａｃｋ１、Ｔｒａｃｋ２、及びＴｒａｃｋ３にそれぞれカプセル化し、各々の点群メディアトラックのフレームレート指示情報を対応させて埋め込む。例えば、トラックグループデータボックスに、点群メディアトラックＴｒａｃｋ１のフレームレート指示フィールドをｆｒａｍｅ＿ｒａｔｅ＝６０として埋め込み、点群メディアトラックＴｒａｃｋ２のフレームレート指示フィールドをｆｒａｍｅ＿ｒａｔｅ＝３０として埋め込み、点群メディアトラックＴｒａｃｋ３のフレームレート指示フィールドをｆｒａｍｅ＿ｒａｔｅ＝３０として埋め込む。
【0093】
ステップＳ７０３：ＤＡＳＨシグナリングにおけるｆｒａｍｅＲａｔｅフィールドを利用して個々の点群メディアトラックのフレームレートを示し、ＤＡＳＨシグナリングにおける時間領域階層グループ識別子ＧＰＣＣＴｅｍｐｏｒａｌＳｃａｌｅＧｒｏｕｐＩｄを利用して複数の点群メディアトラックからなるトラックグループを示し、ＤＡＳＨシグナリングをユーザがあるクライアント端末Ｃ１とＣ２に送信する。
【0094】
ステップＳ７０４：クライアント端末Ｃ１とＣ２は、ネットワーク帯域幅とＤＡＳＨシグナリングにおける情報に基づいて、点群ファイルを要求する。ここで、Ｃ１によって要求された点群ファイルにおいては点群メディアトラックＴｒａｃｋ１が含まれ、Ｃ２によって要求された点群ファイルにおいては点群メディアトラックＴｒａｃｋ２が含まれる。
【0095】
ステップＳ７０５：サーバは、それぞれクライアント端末Ｃ１とＣ２に点群ファイルを伝送する。サーバがクライアント端末Ｃ１に伝送した点群ファイルにおいては点群メディアトラックＴｒａｃｋ１が含まれ、クライアント端末Ｃ２に伝送した点群ファイルにおいて点群メディアトラックＴｒａｃｋ２が含まれる。
【0096】
ステップＳ７０６：クライアント端末は、点群ファイルを受信し、Ｔｒａｃｋ１とＴｒａｃｋ２におけるｆｒａｍｅＲａｔｅフィールド情報により相応な点群メディアトラックを復号し、かつ表示する。
【0097】
クライアント端末Ｃ２のネットワーク状態が好転した後に、更に点群メディアトラックＴｒａｃｋ３を要求することができ、点群メディアトラックＴｒａｃｋ２を点群メディアトラックＴｒａｃｋ３と共に提示して消費を行い、それによりフレームレートが６０ｆｐｓとなる点群表示効果を達成する。
【0098】
本願の実施例が提供する技術的手段において、同じフレームレートを有する点群メディアリソース、及び異なるフレームレートを有する点群メディアリソースを関連付けることにより、点群メディアの時間的な漸進的関係が構築される。このような時間的な漸進的関係に基づき、ユーザは、点群メディアを消費するときに、自分のニーズに基づいて対応する点群メディアファイルを要求し、それにより伝送帯域幅を節約することができる。
【0099】
留意すべきであるように、図面において特定の順序で本願における方法の個々のステップが記述されているが、これは、所望の結果を実現するには該特定の順序に応じてこれらのステップを実行する必要があるか、又は示された全部のステップを実行する必要があることを要求、又は暗示するものではない。追加的に、又は選択可能に、あるいくつかのステップを省略し、複数のステップを１つのステップに合併して実行し、及び／又は１つのステップを複数のステップに分解して実行するなどのようにしてもよい。
【0100】
以下、本願の上記実施例における点群符号化・復号方法を実行することに用いることができる、本願の装置実施例を紹介する。
【0101】
図８は、本願の１つの実施例における点群復号装置の構造ブロック図を示す。図８に示されるように、点群復号装置８００は主に、データソースによって伝送された点群ファイルを受信するように構成される受信モジュール８１０であって、上記点群ファイルは、同じ点群コンテンツを有する１つ又は複数の点群メディアトラックを含み、上記点群ファイルにおいてフレームレートの異なる一部の点群メディアトラックが含まれる、受信モジュール８１０と、上記１つ又は複数の点群メディアトラックのファイルカプセル化情報を解析して、上記ファイルカプセル化情報中に持っているフレームレート指示情報を得るように構成される解析モジュール８２０であって、上記フレームレート指示情報は、上記１つ又は複数の点群メディアトラックのフレームレートを指示することに用いられる、解析モジュール８２０と、上記ファイルカプセル化情報中に持っているフレームレート指示情報に基づいて、上記点群ファイル中から指定フレームレートを有する点群メディアトラックを選択し、かつ復号するように構成される復号モジュール８３０と、を含んでもよい。
【0102】
本願のいくつかの実施例において、以上の各実施例に基づき、上記受信モジュール８１０は、データソースによって送信された、点群データを伝送することに用いられるストリームメディアシグナリングを受信するように構成されるシグナリング受信ユニットと、上記ストリームメディアシグナリングを解析して、上記ストリームメディアシグナリング中に持っている、トラックグループを識別することに用いられる時間領域階層グループ識別子を得るように構成されるシグナリング解析ユニットであって、上記トラックグループは、同じ点群コンテンツを有する１つ又は複数の点群メディアトラックを含み、上記トラックグループにおいてフレームレートの異なる一部の点群メディアトラックが含まれる、シグナリング解析ユニットと、上記時間領域階層グループ識別子に基づいて、上記データソースに第１データ伝送要求を送信するように構成される要求送信ユニットと、上記データソースによって伝送された、上記第１データ伝送要求と対応する点群ファイルを受信するように構成されるファイル受信ユニットと、を含む。
【0103】
本願のいくつかの実施例において、以上の各実施例に基づき、上記要求送信ユニットは、上記データソースとデータ伝送を行うネットワーク帯域幅を取得するように構成される帯域幅取得サブユニットと、上記時間領域階層グループ識別子に基づいて、上記トラックグループ中から上記ネットワーク帯域幅とマッチングする、ターゲットフレームレートを有する１つ又は複数のターゲット点群メディアトラックを選択するように構成されるトラック選択サブユニットと、上記１つ又は複数のターゲット点群メディアトラックの伝送を要求することに用いられる第１データ伝送要求を上記データソースに送信するように構成される要求送信サブユニットと、を含む。
【0104】
本願のいくつかの実施例において、以上の各実施例に基づき、上記解析モジュール８２０は、上記１つ又は複数の点群メディアトラックのファイルカプセル化情報を解析することで、上記１つ又は複数の点群メディアトラックのフレームレートと対応するフレームレート指示フィールドを決定するように構成される情報解析ユニットと、上記フレームレート指示フィールドの値に基づいて、上記１つ又は複数の点群メディアトラックのフレームレート指示情報を決定するように構成される情報決定ユニットと、を含む。
【0105】
本願のいくつかの実施例において、以上の各実施例に基づき、上記点群復号装置８００は、表示対象の点群メディアトラックのフレームレートを取得するように構成されるフレームレート取得モジュールと、上記ファイルカプセル化情報中に持っているフレームレート指示情報に基づいて、上記点群ファイル中から上記表示対象の点群メディアトラックと同じフレームレートを有する他の点群メディアトラックを選択するように構成されるトラック選択モジュールと、上記表示対象の点群メディアトラックを上記他の点群メディアトラックに置き換えることで、上記他の点群メディアトラックを復号し、かつ表示するように構成される第１置き換えモジュールと、を更に含む。
【0106】
本願のいくつかの実施例において、以上の各実施例に基づき、上記点群復号装置８００は、表示対象の点群メディアトラックのフレームレートを取得するように構成されるフレームレート取得モジュールと、上記ファイルカプセル化情報中に持っているフレームレート指示情報に基づいて、上記点群ファイル中から上記表示対象の点群メディアトラックと同じフレームレートを有する１つ又は複数の他の点群メディアトラックを選択するように構成されるトラック選択モジュールと、上記１つ又は複数の他の点群メディアトラックを復号し、かつ上記１つ又は複数の他の点群メディアトラックと上記表示対象の点群メディアトラックとを合併して表示するように構成される第１合併モジュールと、を更に含む。
【0107】
本願のいくつかの実施例において、以上の各実施例に基づき、上記点群復号装置８００は、表示対象の点群メディアトラックのフレームレートを取得するように構成されるフレームレート取得モジュールと、上記データソースに第２データ伝送要求を送信することで、上記データソースによって伝送された補足点群ファイルを受信するように構成されるファイル取得モジュールであって、上記補足点群ファイルは、上記表示対象の点群メディアトラックと同じ点群コンテンツ、及び同じフレームレートを有する他の点群メディアトラックを含む、ファイル取得モジュールと、上記表示対象の点群メディアトラックを上記他の点群メディアトラックに置き換えることで、上記他の点群メディアトラックを復号し、かつ表示するように構成される第２置き換えモジュールと、を更に含む。
【0108】
本願のいくつかの実施例において、以上の各実施例に基づき、上記点群復号装置８００は、表示対象の点群メディアトラックのフレームレートを取得するように構成されるフレームレート取得モジュールと、上記データソースに第３データ伝送要求を送信することで、上記データソースによって伝送された補足点群ファイルを受信するように構成されるファイル取得モジュールであって、上記補足点群ファイルは、上記表示対象の点群メディアトラックと同じ点群コンテンツ、及び同じフレームレートを有する１つ又は複数の他の点群メディアトラックを含む、ファイル取得モジュールと、上記１つ又は複数の他の点群メディアトラックを復号し、かつ上記１つ又は複数の他の点群メディアトラックと上記表示対象の点群メディアトラックとを合併して表示するように構成される第２合併モジュールと、を更に含む。
【0109】
図９は、本願の１つの実施例における点群符号化装置の構造ブロック図を示す。図９に示されるように、点群符号化装置９００は主に、異なる符号化標準に応じて伝送対象の点群データに対して符号化処理を行って、同じ点群コンテンツを有する複数の点群コードストリームを得るように構成される符号化モジュール９１０であって、上記複数の点群コードストリームにおいてフレームレートの異なる一部の点群コードストリームが含まれる、符号化モジュール９１０と、上記複数の点群コードストリームを複数の点群メディアトラックにカプセル化し、かつ上記複数の点群メディアトラックに上記複数の点群コードストリームと対応するフレームレート指示情報を埋め込むように構成されるカプセル化モジュール９２０であって、上記フレームレート指示情報は、上記複数の点群メディアトラックのフレームレートを指示することに用いられる、カプセル化モジュール９２０と、を含んでもよい。
【0110】
本願のいくつかの実施例において、以上の各実施例に基づき、上記点群符号化装置９００は、点群データを伝送することに用いられるストリームメディアシグナリングを生成するように構成されるシグナリング生成モジュールと、上記ストリームメディアシグナリングにトラックグループを識別することに用いられる時間領域階層グループ識別子を埋め込むように構成されるシグナリング埋め込みモジュールであって、上記トラックグループは、同じ点群コンテンツを有する１つ又は複数の点群メディアトラックを含み、上記トラックグループにおいてフレームレートの異なる一部の点群メディアトラックが含まれる、シグナリング埋め込みモジュールと、データ受信側に上記ストリームメディアシグナリングを送信するように構成されるシグナリング送信モジュールと、を更に含む。
【0111】
本願のいくつかの実施例において、以上の各実施例に基づき、上記点群符号化装置９００は、上記データ受信側によって送信された、上記ストリームメディアシグナリングに基づき生成されたデータ伝送要求を受信するように構成される要求受信モジュールと、上記データ伝送要求に基づいて、上記データ受信側に点群ファイルを伝送するように構成されるファイル伝送モジュールであって、上記点群ファイルは、同じ点群コンテンツを有する１つ又は複数の点群メディアトラックを含み、上記点群ファイルにおいてフレームレートの異なる一部の点群メディアトラックが含まれる、ファイル伝送モジュールと、を更に含む。
【0112】
本願のいくつかの実施例において、以上の各実施例に基づき、上記カプセル化モジュール９２０は、上記複数の点群メディアトラックのファイルカプセル化情報において上記フレームレート指示情報と対応するフレームレート指示フィールドを決定するように構成される情報決定ユニットと、上記複数の点群コードストリームと対応するフレームレート指示情報を上記ファイルカプセル化情報におけるフレームレート指示フィールドに埋め込むように構成される情報埋め込みユニットと、を含む。
【0113】
本願の各実施例において提供された点群符号化・復号装置の具体的な細部は対応する方法実施例において詳細に記述されており、ここでは詳細な説明を省略する。
【0114】
図１０は、本願の実施例の電子機器を実現することに用いられるコンピュータシステムの構造ブロック図を模式的に示す。
【0115】
説明する必要があるように、図１０に示される電子機器のコンピュータシステム１０００は、１つの例に過ぎず、本願の実施例の機能、及び使用範囲に対していかなる制限を与えるものではない。
【0116】
図１０に示されるように、コンピュータシステム１０００は、中央プロセッサ１００１（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、ＣＰＵ）を含み、それは読み取り専用メモリ１００２（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ、ＲＯＭ）において記憶されたプログラム、又は記憶部分１００８からランダムアクセスメモリ１００３（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＲＡＭ）においてロードされたプログラムに基づいて各種の適切な動作と処理を実行することができる。ランダムアクセスメモリ１００３において、システム操作に必要な各種のプログラム、及びデータが更に記憶される。中央プロセッサ１００１、読み取り専用メモリ１００２、及びランダムアクセスメモリ１００３はバス１００４を介して互いに連結される。入力／出力インタフェース１００５（Ｉｎｐｕｔ／Ｏｕｔｐｕｔインタフェース、すなわちＩ／Ｏインタフェース）もバス１００４に接続される。
【0117】
キーボード、マウスなどを含む入力部分１００６、例えば陰極線管（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ、ＣＲＴ）、液晶ディスプレイ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ、ＬＣＤ）など、及びスピーカなどを含む出力部分１００７、ハードディスクなどを含む記憶部分１００８、及び例えばローカルエリアネットワークカード、モデムなどのネットワークインタフェースカードを含む通信部分１００９などの部材は入力／出力インタフェース１００５に接続される。通信部分１００９は、例えばインターネットのネットワークを経由して通信処理を実行する。ドライバ１０１０も必要に応じて入力／出力インタフェース１００５に接続される。例えば磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどのリムーバブル媒体１０１１は必要に応じてドライバ１０１０上にインストールされることで、その上から読み出されたコンピュータプログラムが必要に応じて記憶部分１００８にインストールされる。
【0118】
特に、本願の実施例に基づいて、個々の方法のフローチャートにおいて記述された過程はコンピュータソフトウェアプログラムとして実現されてもよい。例えば、本願の実施例はコンピュータプログラム製品を含み、それはコンピュータ可読媒体上に搭載されたコンピュータプログラムを含み、該コンピュータプログラムはフローチャートに示される方法を実行することに用いられるプログラムコードを含む。このような実施例において、該コンピュータプログラムは通信部分１００９を介してネットワーク上からダウンロード、及びインストールされてもよく、及び／又はリムーバブル媒体１０１１からインストールされてもよい。該コンピュータプログラムが中央プロセッサ１００１によって実行されるときに、本願のシステムにおいて限定される各種の機能を実行する。
【0119】
説明する必要があるように、本願の実施例に示されるコンピュータ可読媒体は、コンピュータ可読信号媒体、又はコンピュータ可読記憶媒体、又は上記の両者の任意の組み合わせであってもよい。コンピュータ可読記憶媒体は、例えば電気、磁気、光、電磁、赤外線、又は半導体のシステム、装置、又はデバイス、又は以上の任意の組み合わせであってもよいがこれらに限定されない。コンピュータ可読記憶媒体のより具体的な例は、１つ又は複数の導線を有する電気的接続、ポータブルコンピュータ磁気ディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ、ＥＰＲＯＭ）、フラッシュメモリ、光ファイバ、ポータブルコンパクト磁気ディスク読み取り専用メモリ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ、ＣＤ－ＲＯＭ）、光記憶デバイス、磁気記憶デバイス、又は上記の任意の適切な組み合わせを含んでもよいがこれらに限定されない。本願において、コンピュータ可読記憶媒体はプログラムを含む、又は記憶するいかなる有形媒体であってもよく、該プログラムは命令実行システム、装置、又はデバイスによって使用されてもよく、又はそれらと結合して使用されてもよい。本願において、コンピュータ可読信号媒体は、ベースバンドにおいて、又は搬送波の一部として伝搬されるデータ信号を含んでもよく、ここでコンピュータ可読プログラムコードが搭載される。このように伝搬されるデータ信号は複数種の形式のものを採用してもよく、電磁信号、光信号、又は上記の任意の適切な組み合わせを含むがこれらに限定されない。コンピュータ可読信号媒体はコンピュータ可読記憶媒体以外のいかなるコンピュータ可読媒体であってもよく、該コンピュータ可読媒体は、命令実行システム、装置、又はデバイスによって使用されるか、又はそれらと結合して使用されることに用いられるプログラムを送信、伝搬、又は伝送することができる。コンピュータ可読媒体上に含まれるプログラムコードは、いかなる適切な媒体を用いて伝送されてもよく、無線、有線など、又は上記の任意の適切な組み合わせを含むがこれらに限定されない。
【0120】
当業者は、明細書を考慮し、且つここで開示された発明を実践した後に、本願のその他の実施手段を容易に想到し得る。本願は、本願のいかなる変形、用途、又は適応的変化をもカバーすることを意図するものであり、これらの変形、用途、又は適応的変化は、本願の一般的な原理に従うものであって、かつ本願に開示されていない本技術分野における公知常識、又は慣用されている技術的手段を含む。
【0121】
理解すべきであるように、本願は、上記のように記載され、且つ図面において示される正確な構造に限定されるものではなく、その範囲から逸脱することなく各種の修正、及び変更を行うことができる。本願の範囲は添付の特許請求の範囲によってのみ制限される。
【符号の説明】
【0122】
１１０ 第１端末装置
１２０ 第２端末装置
１３０ 第３端末装置
１４０ 第４端末装置
１５０ ネットワーク
２０１ ビデオソース
２０２ 点群データ
２０３ ビデオ符号化装置
２０４ 点群データ
２０５ ストリーミング伝送サーバ
２０６ クライアント端末サブシステム
２０８ クライアント端末サブシステム
２０９ 点群データ
２１０ 点群復号装置
２１１ 出力点群データ
２１２ ディスプレイ
２１３ 収集サブシステム
８００ 点群復号装置
８１０ 受信モジュール
８２０ 解析モジュール
８３０ 復号モジュール
９００ 点群符号化装置
９１０ 符号化モジュール
９２０ カプセル化モジュール
１０００ コンピュータシステム
１００１ 中央プロセッサ
１００２ 専用メモリ
１００３ ランダムアクセスメモリ
１００４ バス
１００５ 出力インタフェース
１００６ 入力部分
１００７ 出力部分
１００８ 記憶部分
１００９ 通信部分
１０１０ ドライバ
１０１１ リムーバブル媒体
１２０ 第２端末装置
１３０ 第３端末装置
１４０ 第４端末装置
１５０ ネットワーク
２０１ ビデオソース
２０２ 点群データ
２０３ ビデオ符号化装置
２０４ 点群データ
２０５ ストリーミング伝送サーバ
２０６ クライアント端末サブシステム
２０８ クライアント端末サブシステム
２０９ 点群データ
２１０ 点群復号装置
２１１ 出力点群データ
２１２ ディスプレイ
２１３ 収集サブシステム
８００ 点群復号装置
８１０ 受信モジュール
８２０ 解析モジュール
８３０ 復号モジュール
９００ 点群符号化装置
９１０ 符号化モジュール
９２０ カプセル化モジュール
１０００ コンピュータシステム
１００１ 中央プロセッサ
１００２ 専用メモリ
１００３ ランダムアクセスメモリ
１００４ バス
１００５ 出力インタフェース
１００６ 入力部分
１００７ 出力部分
１００８ 記憶部分
１００９ 通信部分
１０１０ ドライバ
１０１１ リムーバブル媒体
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【手続補正書】
【提出日】2023-08-30
【手続補正2】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
コンピュータにより実行される、点群復号方法であって、データソースによって伝送された点群ファイルを受信するステップであって、前記点群ファイルは、同じ点群コンテンツを有する１つ又は複数の点群メディアトラックを含み、前記点群ファイルにおいてフレームレートの異なる一部の点群メディアトラックが含まれる、ステップと、
前記１つ又は複数の点群メディアトラックのファイルカプセル化情報を解析して、前記ファイルカプセル化情報中に持っているフレームレート指示情報を得るステップであって、前記フレームレート指示情報は、前記１つ又は複数の点群メディアトラックのフレームレートを指示することに用いられる、ステップと、
前記ファイルカプセル化情報中に持っているフレームレート指示情報に基づいて、前記点群ファイル中から指定フレームレートを有する点群メディアトラックを選択し、かつ復号するステップと、を含む、ことを特徴とする点群復号方法。
【請求項2】
データソースによって伝送された点群ファイルを受信する前記ステップは、データソースによって送信された、点群データを伝送することに用いられるストリームメディアシグナリングを受信するステップと、
前記ストリームメディアシグナリングを解析して、前記ストリームメディアシグナリング中に持っている、トラックグループを識別することに用いられる時間領域階層グループ識別子を得るステップであって、前記トラックグループは、同じ点群コンテンツを有する１つ又は複数の点群メディアトラックを含み、前記トラックグループにおいてフレームレートの異なる一部の点群メディアトラックが含まれる、ステップと、
前記時間領域階層グループ識別子に基づいて、前記データソースに第１データ伝送要求を送信するステップと、
前記データソースによって伝送された、前記第１データ伝送要求と対応する点群ファイルを受信するステップと、を含む、ことを特徴とする請求項１に記載の点群復号方法。
【請求項3】
前記時間領域階層グループ識別子に基づいて、前記データソースに第１データ伝送要求を送信する前記ステップは、前記データソースとデータ伝送を行うネットワーク帯域幅を取得するステップと、
前記時間領域階層グループ識別子に基づいて、前記トラックグループ中から前記ネットワーク帯域幅とマッチングする、ターゲットフレームレートを有する１つ又は複数のターゲット点群メディアトラックを選択するステップと、
前記１つ又は複数のターゲット点群メディアトラックの伝送を要求することに用いられる第１データ伝送要求を前記データソースに送信するステップと、を含む、ことを特徴とする請求項２に記載の点群復号方法。
【請求項4】
前記１つ又は複数の点群メディアトラックのファイルカプセル化情報を解析して、前記ファイルカプセル化情報中に持っているフレームレート指示情報を得るステップは、前記１つ又は複数の点群メディアトラックのファイルカプセル化情報を解析することで、前記１つ又は複数の点群メディアトラックのフレームレートと対応するフレームレート指示フィールドを決定するステップと、
前記フレームレート指示フィールドの値に基づいて、前記１つ又は複数の点群メディアトラックのフレームレート指示情報を決定するステップと、を含む、ことを特徴とする請求項１に記載の点群復号方法。
【請求項5】
前記ファイルカプセル化情報中に持っているフレームレート指示情報に基づいて、前記点群ファイル中から指定フレームレートを有する点群メディアトラックを選択し、かつ復号するステップの後に、前記方法は、表示対象の点群メディアトラックのフレームレートを取得するステップと、
前記ファイルカプセル化情報中に持っているフレームレート指示情報に基づいて、前記点群ファイル中から前記表示対象の点群メディアトラックと同じフレームレートを有する他の点群メディアトラックを選択するステップと、
前記表示対象の点群メディアトラックを前記他の点群メディアトラックに置き換えることで、前記他の点群メディアトラックを復号し、かつ表示するステップと、を更に含む、ことを特徴とする請求項１～４のいずれか一項に記載の点群復号方法。
【請求項6】
前記ファイルカプセル化情報中に持っているフレームレート指示情報に基づいて、前記点群ファイル中から指定フレームレートを有する点群メディアトラックを選択し、かつ復号するステップの後に、前記方法は、表示対象の点群メディアトラックのフレームレートを取得するステップと、
前記ファイルカプセル化情報中に持っているフレームレート指示情報に基づいて、前記点群ファイル中から前記表示対象の点群メディアトラックと同じフレームレートを有する１つ又は複数の他の点群メディアトラックを選択するステップと、
前記１つ又は複数の他の点群メディアトラックを復号し、かつ前記１つ又は複数の他の点群メディアトラックと前記表示対象の点群メディアトラックとを合併して表示するステップと、を更に含む、ことを特徴とする請求項１～４のいずれか一項に記載の点群復号方法。
【請求項7】
前記ファイルカプセル化情報中に持っているフレームレート指示情報に基づいて、前記点群ファイル中から指定フレームレートを有する点群メディアトラックを選択し、かつ復号するステップの後に、前記方法は、表示対象の点群メディアトラックのフレームレートを取得するステップと、
前記データソースに第２データ伝送要求を送信することで、前記データソースによって伝送された補足点群ファイルを受信するステップであって、前記補足点群ファイルは、前記表示対象の点群メディアトラックと同じ点群コンテンツ、及び同じフレームレートを有する他の点群メディアトラックを含む、ステップと、
前記表示対象の点群メディアトラックを前記他の点群メディアトラックに置き換えることで、前記他の点群メディアトラックを復号し、かつ表示するステップと、を更に含む、ことを特徴とする請求項１～４のいずれか一項に記載の点群復号方法。
【請求項8】
前記ファイルカプセル化情報中に持っているフレームレート指示情報に基づいて、前記点群ファイル中から指定フレームレートを有する点群メディアトラックを選択し、かつ復号するステップの後に、前記方法は、表示対象の点群メディアトラックのフレームレートを取得するステップと、
前記データソースに第３データ伝送要求を送信することで、前記データソースによって伝送された補足点群ファイルを受信するステップであって、前記補足点群ファイルは、前記表示対象の点群メディアトラックと同じ点群コンテンツ、及び同じフレームレートを有する１つ又は複数の他の点群メディアトラックを含む、ステップと、
前記１つ又は複数の他の点群メディアトラックを復号し、かつ前記１つ又は複数の他の点群メディアトラックと前記表示対象の点群メディアトラックとを合併して表示するステップと、を更に含む、ことを特徴とする請求項１～４のいずれか一項に記載の点群復号方法。
【請求項9】
コンピュータによって実行される、点群符号化方法であって、異なる符号化標準に応じて伝送対象の点群データに対して符号化処理を行って、同じ点群コンテンツを有する複数の点群コードストリームを得るステップであって、前記複数の点群コードストリームにおいてフレームレートの異なる一部の点群コードストリームが含まれる、ステップと、
前記複数の点群コードストリームを複数の点群メディアトラックにカプセル化するステップであって、前記複数の点群メディアトラックに前記複数の点群コードストリームと対応するフレームレート指示情報を埋め込み、前記フレームレート指示情報は、前記複数の点群メディアトラックのフレームレートを指示することに用いられる、ステップと、を含む、ことを特徴とする点群符号化方法。
【請求項10】
前記複数の点群コードストリームを複数の点群メディアトラックにカプセル化するステップの後に、前記方法は、点群データを伝送することに用いられるストリームメディアシグナリングを生成するステップと、
前記ストリームメディアシグナリングにトラックグループを識別することに用いられる時間領域階層グループ識別子を埋め込むステップであって、前記トラックグループは、同じ点群コンテンツを有する１つ又は複数の点群メディアトラックを含み、前記トラックグループにおいてフレームレートの異なる一部の点群メディアトラックが含まれる、ステップと、
データ受信側に前記ストリームメディアシグナリングを送信するステップと、を更に含む、ことを特徴とする請求項９に記載の点群符号化方法。
【請求項11】
データ受信側に前記ストリームメディアシグナリングを送信するステップの後に、前記方法は、前記データ受信側によって送信された、前記ストリームメディアシグナリングに基づき生成されたデータ伝送要求を受信するステップと、
前記データ伝送要求に基づいて、前記データ受信側に点群ファイルを伝送するステップであって、前記点群ファイルは、同じ点群コンテンツを有する１つ又は複数の点群メディアトラックを含み、前記点群ファイルにおいてフレームレートの異なる一部の点群メディアトラックが含まれる、ステップと、を更に含む、ことを特徴とする請求項１０に記載の点群符号化方法。
【請求項12】
前記複数の点群メディアトラックに前記複数の点群コードストリームと対応するフレームレート指示情報を埋め込むことは、前記複数の点群メディアトラックのファイルカプセル化情報において前記フレームレート指示情報と対応するフレームレート指示フィールドを決定するステップと、
前記複数の点群コードストリームと対応するフレームレート指示情報を前記ファイルカプセル化情報におけるフレームレート指示フィールドに埋め込むステップと、を含む、ことを特徴とする請求項９～１１のいずれか一項に記載の点群符号化方法。
【請求項13】
点群復号装置であって、データソースによって伝送された点群ファイルを受信するように構成される受信モジュールであって、前記点群ファイルは、同じ点群コンテンツを有する１つ又は複数の点群メディアトラックを含み、前記点群ファイルにおいてフレームレートの異なる一部の点群メディアトラックが含まれる、受信モジュールと、
前記１つ又は複数の点群メディアトラックのファイルカプセル化情報を解析して、前記ファイルカプセル化情報中に持っているフレームレート指示情報を得るように構成される解析モジュールであって、前記フレームレート指示情報は、前記１つ又は複数の点群メディアトラックのフレームレートを指示することに用いられる、解析モジュールと、
前記ファイルカプセル化情報中に持っているフレームレート指示情報に基づいて前記点群ファイル中から指定フレームレートを有する点群メディアトラックを選択し、かつ復号するように構成される復号モジュールと、を含む、ことを特徴とする点群復号装置。
【請求項14】
点群符号化装置であって、異なる符号化標準に応じて伝送対象の点群データに対して符号化処理を行って、同じ点群コンテンツを有する複数の点群コードストリームを得るように構成される符号化モジュールであって、前記複数の点群コードストリームにおいてフレームレートの異なる一部の点群コードストリームが含まれる、符号化モジュールと、
前記複数の点群コードストリームを複数の点群メディアトラックにカプセル化し、かつ前記複数の点群メディアトラックに前記複数の点群コードストリームと対応するフレームレート指示情報を埋め込むように構成されるカプセル化モジュールであって、前記フレームレート指示情報は、前記複数の点群メディアトラックのフレームレートを指示することに用いられる、カプセル化モジュールと、を含む、ことを特徴とする点群符号化装置。
【請求項15】
電子機器であって、プロセッサと、
前記プロセッサの実行可能命令を記憶することに用いられるメモリと、を含み、
前記プロセッサは、前記実行可能命令を実行することによって請求項１～１２のいずれか一項に記載の方法を実行するように構成される、ことを特徴とする電子機器。
【国際調査報告】