特許 7577357 点群データのカプセル化方法及び伝送方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-25

(45)【発行日】2024-11-05

(54)【発明の名称】点群データのカプセル化方法及び伝送方法

(51)【国際特許分類】

   H04N 21/235 20110101AFI20241028BHJP

【ＦＩ】

H04N21/235

【請求項の数】 12

(21)【出願番号】P 2022542466

(86)(22)【出願日】2021-01-08

(65)【公表番号】

(43)【公表日】2023-03-15

(86)【国際出願番号】 CN2021070917

(87)【国際公開番号】W WO2021139784

(87)【国際公開日】2021-07-15

【審査請求日】2022-09-06

(31)【優先権主張番号】202010026089.4

(32)【優先日】2020-01-10

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】507190994

【氏名又は名称】上海交通大学

【氏名又は名称原語表記】ＳＨＡＮＧＨＡＩ ＪＩＡＯ ＴＯＮＧ ＵＮＩＶＥＲＳＩＴＹ

【住所又は居所原語表記】８００ Ｄｏｎｇｃｈｕａｎ Ｒｄ．，Ｍｉｎｈａｎｇ Ｄｉｓｔｒｉｃｔ，Ｓｈａｎｇｈａｉ，２００２４０，Ｐ．Ｒ．ＣＨＩＮＡ

(74)【代理人】

【識別番号】110002952

【氏名又は名称】弁理士法人鷲田国際特許事務所

(72)【発明者】

【氏名】徐▲異▼凌

【審査官】大西 宏

(56)【参考文献】

【文献】特表２０１９－５２１４１７（ＪＰ，Ａ）

【文献】中国特許出願公開第１０８００９９７９（ＣＮ，Ａ）

【文献】中国特許出願公開第１０８５１０５５８（ＣＮ，Ａ）

【文献】中国特許出願公開第１１０３６３８２２（ＣＮ，Ａ）

【文献】Euee S. Jong et.al.，Video-Based Point-Cloud-Compression Standard in MPEG: From Evidence Collection to Comittee Draft，IEEE SIGNAL PROCESSING MAGAZINE，米国，IEEE，2019年04月26日，Volume:36,Issue:3，pp.118-123，https://ieeexplore.ieee.org/stamp/stamp.jsp?arnumber=8700674

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２１／００ －２１／８５８

(57)【特許請求の範囲】

【請求項1】

点群メディアリソースのカプセル化方法であって、
点群メディアファイルを圧縮する（Ｓ０１）ことと、
圧縮された点群メディアファイルを１セットのメディアリソースとしてカプセル化し（Ｓ０２）、前記１セットのメディアリソースが分割され、複数のメディアリソースを取得することと、
分類リストに基づいて、前記複数のメディアリソースをデータタイプと関連付けることと、を含み、前記分類リストは、メディアリソースとデータタイプとの間の対応関係を表すために用いられ、
前記圧縮された点群メディアファイルは複数の点群コンテンツを含み、異なる点群コンテンツは異なるメディアリソースの組み合わせに対応し、
前記方法は、前記カプセル化された点群メディアファイルにおける各点群コンテンツに待ちフラグをセットし、前記待ちフラグは、各点群コンテンツの全てのメディアリソースがレンダリングされる準備ができたか否かを指示するために用いられることをさらに含む、
ことを特徴とする、点群メディアリソースのカプセル化方法。

【請求項2】

各メディアリソースは対応するメディアリソース番号を有し、前記分類リストは複数のメディアリソースリスト及び１つのリソース番号リストを含み、各メディアリソースリストは少なくとも１つのメディアリソースのデータタイプに対応し、前記リソース番号リストは全てのメディアリソースのメディアリソース番号の集まりである、
ことを特徴とする、請求項１に記載の点群メディアリソースのカプセル化方法。

【請求項3】

各メディアリソースリストは少なくとも１つのメディアリソース番号に対応し、且つ各メディアリソースリストに対応する少なくとも１つのメディアリソース番号の数はメディアバージョンの数と一致し、前記各メディアバージョンが１つのアプリケーションシーンである、
ことを特徴とする、請求項２に記載の点群メディアリソースのカプセル化方法。

【請求項4】

前記データタイプは、占有図情報、幾何情報、属性情報又は補助情報を含み、
各データタイプは前記複数のメディアリソースのうちの少なくとも１つに対応し、
分類リストは複数のデータタイプと複数のメディアリソースとの間の対応関係を含む、
ことを特徴とする、請求項１に記載の点群メディアリソースのカプセル化方法。

【請求項5】

ある点群コンテンツがレンダリングされる準備ができた場合、当該点群コンテンツの待ちフラグの値を１にし、または、
ある点群コンテンツがレンダリングされる準備ができていない場合、当該点群コンテンツの待ちフラグの値を０にする、
ことを特徴とする、請求項１に記載の点群メディアリソースのカプセル化方法。

【請求項6】

シグナリング情報に分類リストの関連コンテンツを追加し、前記分類リストは圧縮された点群メディアファイルにおける複数のデータタイプと圧縮された点群メディアファイルにおける複数のメディアリソースとの間の対応関係を表すために用いられ、前記圧縮された点群メディアファイルは複数の点群コンテンツを含むことと、
前記分類リストに基づいて前記圧縮された点群メディアファイルにおける第１の点群コンテンツの更新する必要がある部分データを伝送することと、を含み、
前記圧縮された点群メディアファイルにおける第１の点群コンテンツの更新する必要がある部分データを伝送する前に、前記圧縮された点群メディアファイルにおける第２の点群コンテンツの全部のデータを伝送することをさらに含み、
前記第１の点群コンテンツの更新する必要がある部分データは、前記第２の点群コンテンツの全部のデータと異なる、
ことを特徴とする、点群メディアリソースの伝送方法。

【請求項7】

異なる点群コンテンツは異なるメディアリソースの組み合わせに対応し、
前記方法は、
カプセル化された点群メディアファイルにおける各点群コンテンツに待ちフラグをセットし、前記待ちフラグは、各点群コンテンツの全てのメディアリソースがレンダリングされる準備ができたか否かを指示するために用いられることをさらに含む、
ことを特徴とする、請求項６に記載の点群メディアリソースの伝送方法。

【請求項8】

点群メディアファイルを圧縮し、圧縮された点群メディアファイルを取得することと、
圧縮された点群メディアファイルをカプセル化し、前記複数のデータタイプに従って前記分類リストをセットすることをさらに含む、
ことを特徴とする、請求項６に記載の点群メディアリソースの伝送方法。

【請求項9】

前記圧縮された点群メディアファイルをカプセル化し、前記複数のデータタイプに従って前記分類リストをセットするステップは、
圧縮された点群メディアファイルを１セットのメディアリソースとしてカプセル化し、前記１セットのメディアリソースが分割され、前記複数のメディアリソースを取得することと、
前記分類リストに基づいて、前記複数のメディアリソースを前記圧縮された点群メディアファイルの複数のデータタイプと関連付けることと、を含む、
ことを特徴とする、請求項８に記載の点群メディアリソースの伝送方法。

【請求項10】

複数の前記メディアリソースは異なるメディアリソース番号を有し、前記分類リストは複数のメディアリソースリスト及び１つのリソース番号リストを含み、前記複数のメディアリソースリストは前記１セットのメディアリソースの複数のデータタイプに対応し、前記リソース番号リストは全てのメディアリソースのメディアリソース番号の集まりである、
ことを特徴とする、請求項９に記載の点群メディアリソースの伝送方法。

【請求項11】

各メディアリソースリストは少なくとも１つのメディアリソース番号に対応し、各メディアリソースリストに対応する少なくとも１つのメディアリソース番号の数はメディアバージョンの数と一致する、
ことを特徴とする、請求項１０に記載の点群メディアリソースの伝送方法。

【請求項12】

ある点群コンテンツがレンダリングされる準備ができた場合、当該点群コンテンツの待ちフラグの値を１にし、または、
ある点群コンテンツがレンダリングされる準備ができていない場合、当該点群コンテンツの待ちフラグの値を０にする、
ことを特徴とする、請求項７に記載の点群メディアリソースの伝送方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、マルチメディア伝送技術分野に関し、具体的には、点群データのカプセル化方法及び伝送方法に関する。

【背景技術】

【0002】

近年、メディア伝送技術は急速に発展と改善をしており、画像及びビデオ情報の伝送コストが低下しつつ精度が向上し、関連アプリケーション分野の成熟が更に促進されている。三次元点群データは、新しい画像メディアデータであり、より正確で生き生きとした画像情報をユーザーに提供し、迫真度がより高く、インタラクティブ性がより強い通信体験をもたらすことが可能である。

【0003】

点群データは、三次元座標データ、深度情報、色情報などを含む、スキャンによって取得される物体の表面情報である。３Ｄスキャン技術の成熟とシステムアーキテクチャの改善により、点群データの精度を向上させながら点群のデータ量を大きく上昇させた。そのうち、静的、動的点群データ、並びに、機械感知、人間の目の感知などの異なるタイプの点群データについては、異なる点群データの圧縮アルゴリズムがある。例えば、人間の目の動的感知点群データについて、典型的な点群圧縮アルゴリズムは、３Ｄの点群データを２Ｄの画像データに変換してから、データ処理を行い、そのうちの１つがビデオに基づく点群圧縮（Ｖｉｄｅｏ－ｂａｓｅｄ Ｐｏｉｎｔ Ｃｌｏｕｄ Ｃｏｍｐｒｅｓｓｉｏｎ、ＶＰＣＣ）アルゴリズムである。この圧縮方法で、まず３Ｄの点群を２Ｄの平面に投影し、占有図情報、幾何情報、属性情報及び補助情報を取得し、属性情報には、通常、テクスチャ情報及び色情報が含まれるため、圧縮された情報も、通常、４種類のデータに分けて伝送される。

【0004】

これから分かるように、ＶＰＣＣデータを伝送する場合、処理すべく情報は主に幾何情報、属性情報、占有図情報及び補助情報の４種類のデータを含む。幾何情報の復号は占有図情報と補助情報に依存し、属性情報の復号は幾何情報、占有図情報及び補助情報に依存する。点群メディアデータは、従来のメディアデータに比べて複雑且つ多様であり、タイプが異なるデータを同時に処理し、整合してから、スペースとテクスチャの特性が豊富なメディアがユーザーに提示される必要がある。現在、既存のマルチメディア伝送プロトコルによって三次元点群データをカプセル化し伝送する研究には一定の進展があるが、ネットワーク伝送技術の発展に伴い、異種ネットワーク環境もますます複雑になっており、従来技術では、点群データの異種ネットワーク環境における伝送効果が悪い。

【発明の概要】

【発明が解決しようとする課題】

【0005】

従来技術の欠点に対し、本発明の目的は、点群データのカプセル化方法及び伝送方法を提供することにある。

【課題を解決するための手段】

【0006】

本発明に係る点群データのカプセル化方法は、
点群メディアファイルを圧縮することと、
圧縮された点群メディアファイルをカプセル化し、データタイプに従って分類記録をセットすることと、を含み、前記分類記録は点群メディアファイルにおける各部分のデータタイプを表すために用いられる。

【0007】

好ましくは、前記点群メディアファイルは複数の点群コンテンツを含み、カプセル化された点群メディアファイルに待ちフラグをセットし、前記待ちフラグは、各点群コンテンツの全てのデータタイプのメディアリソースが既に伝送完了されたか否かを指示するために用いられる。

【0008】

好ましくは、前記分類記録はメディアセグメントとメディアバージョン及びデータタイプとの間の対応関係を表す分類リストであり、
前記圧縮された点群メディアファイルをカプセル化し、データタイプに従って分類記録をセットするステップは、
圧縮された点群メディアファイルをカプセル化してメディアリソースが１つ得られ、前記メディアリソースは複数のメディアセグメントを含むことと、
前記分類リストに基づいて、複数の前記メディアセグメントをメディアバージョン及びデータタイプと関連付けることと、を含む。

【0009】

好ましくは、複数の前記メディアセグメントは異なるメディアセグメント番号を有し、前記分類リストは、タイプリスト、コンテンツリスト及びセグメント番号リストを含み、前記タイプリストは点群メディアファイルのデータタイプに対応し、前記コンテンツリストは複数のメディアバージョンの集まりであり、前記セグメント番号リストは全てのメディアセグメント番号の集まりであり、各データタイプは少なくとも１つのメディアバージョンに対応し、各メディアバージョンは少なくとも１つのメディアセグメント番号に対応する。

【0010】

好ましくは、前記分類記録は、メディアセグメントとメディアバージョン及びデータタイプとの間の対応関係を表す分類フラグであり、
前記圧縮された点群メディアファイルをカプセル化し、データタイプに従って分類記録をセットするステップは、
圧縮された点群メディアファイルをカプセル化してメディアリソースが１つ得られ、前記メディアリソースは複数のメディアセグメントを含むことと、
各メディアセグメントに前記分類フラグを１つ追加することと、を含む。

【0011】

好ましくは、異なるメディアセグメントは同じメディアバージョン及び同じデータタイプを有する場合、追加される分類フラグは同じである。

【0012】

好ましくは、前記分類フラグは２つのフラグビットを含み、１つのフラグビットはメディアセグメントのデータタイプを定義するために用いられ、もう１つのフラグビットはメディアセグメントのバージョンを定義するために用いられる。

【0013】

好ましくは、前記分類記録はメディアリソースとデータタイプとの間の対応関係を表す分類リストであり、
前記圧縮された点群メディアファイルをカプセル化し、データタイプに従って分類記録をセットするステップは、
圧縮された点群メディアファイルをカプセル化して複数のメディアリソースを取得することと、
前記分類リストに基づいて、複数の前記メディアリソースをデータタイプと関連付けることと、を含む。

【0014】

好ましくは、複数の前記メディアリソースは異なるメディアリソース番号を有し、前記分類リストは、メディアリソースリスト及びリソース番号リストを含み、前記メディアリソースリストは点群メディアファイルのデータタイプに対応し、前記リソース番号リストは全てのメディアリソース番号の集まりであり、各メディアリソースリストは少なくとも１つのメディアリソース番号に対応し、且つ、各メディアリソースリストに対応するメディアリソース番号の数はメディアバージョンと一致する。

【0015】

本発明に係る点群データの伝送方法は、
シグナリング情報に分類記録の関連コンテンツを追加し、前記分類記録はカプセル化する際の点群メディアファイルにおける各部分のデータタイプを表すために用いられることと、
シグナリング情報に基づいて前記分類記録を取得し、前記分類記録に基づいて現在の点群メディアファイルの更新する必要がある部分データを伝送することと、を含み、
現在の点群メディアファイルの更新する必要がある部分データを伝送する前に、現在の点群メディアファイルの全部のデータを伝送することをさらに含む。

【0016】

好ましくは、前記点群メディアファイルは複数の点群コンテンツを含み、カプセル化された点群メディアファイルに待ちフラグをセットし、前記待ちフラグは、各点群コンテンツの全てのデータタイプのメディアリソースが既に伝送完了されたか否かを指示するために用いられる。

【0017】

好ましくは、圧縮された点群メディアファイルをカプセル化し、データタイプに従って分類記録をセットし、前記分類記録はメディアリソースとデータタイプとの間の対応関係を表す分類リストである。

【0018】

好ましくは、前記圧縮された点群メディアファイルをカプセル化し、データタイプに従って分類記録をセットするステップは、
圧縮された点群メディアファイルを１セットのメディアリソースとしてカプセル化し、複数のメディアリソースを取得することと、
前記分類リストに基づいて、複数の前記メディアリソースをデータタイプと関連付けることと、を含む。

【0019】

好ましくは、複数の前記メディアリソースは異なるメディアリソース番号を有し、前記分類リストは、メディアリソースリスト及びリソース番号リストを含み、前記メディアリソースリストは点群メディアファイルのデータタイプに対応し、前記リソース番号リストは全てのメディアリソース番号の集まりであり、各メディアリソースリストは少なくとも１つのメディアリソース番号に対応し、且つ、各メディアリソースリストに対応するメディアリソース番号の数はメディアバージョンと一致する。

【0020】

好ましくは、前記分類記録はメディアセグメントとメディアバージョン及びデータタイプとの間の対応関係を表す分類リストであり、
前記シグナリング情報に分類記録の関連コンテンツを追加するステップは、
前記分類リストをＤＴＧ情報ファイルとして定義し、前記ＤＴＧ情報ファイルをシグナリング情報に書き込む、ことを含む。

【0021】

好ましくは、前記ＤＴＧ情報ファイルをＭＰＩ ｔａｂｌｅに書き込むか、または、ＤＴＧ情報ファイルを記述するための記述的なｄｅｓｃｒｉｐｔｏｒを１つ追加するか、または、ＤＴＧ情報ファイルを記述するためのシグナリングテーブルを１つ追加する。

【0022】

好ましくは、前記分類記録はメディアリソースとデータタイプとの間の対応関係を表す分類リストであり、
前記シグナリング情報に分類記録の関連コンテンツを追加するステップは、
前記分類リストをＡＣＲ情報ファイルとして定義し、前記ＡＣＲ情報ファイルをシグナリング情報に書き込む、ことを含む。

【0023】

好ましくは、前記ＡＣＲ情報ファイルをＭＰＩ ｔａｂｌｅに書き込むか、または、ＡＣＲ情報ファイルを記述するための記述的なｄｅｓｃｒｉｐｔｏｒを１つ追加するか、または、ＡＣＲ情報ファイルを記述するためのシグナリングテーブルを１つ追加する。

【0024】

好ましくは、前記分類記録はメディアセグメントとメディアバージョン及びデータタイプとの間の対応関係を表す分類フラグであり、
前記シグナリング情報に分類記録の関連コンテンツを追加するステップは、
予約済みフィールドを用いて、各メディアセグメントのために分類フラグを１つ定義する。

【0025】

好ましくは、前記分類フラグは２つのフラグビットを含み、１つのフラグビットはメディアセグメントのデータタイプを定義するために用いられ、もう１つのフラグビットはメディアセグメントのバージョンを定義するために用いられ、且つ、メディアセグメントのバージョンが１である場合、メディアセグメントはメディアセグメントのデータタイプを定義するためのフラグビットのみを有する。

【0026】

好ましくは、メディアセグメントのデータタイプを表すために、ＭＰＵ Ｂｏｘにおける予約済みフィールドの２ｂｉｔｓを用いて１つのフラグビットを定義し、メディアセグメントのバージョンを表すために、ＭＰＵ Ｂｏｘにおける予約済みフィールドの３ｂｉｔｓを用いてもう１つのフラグビットを定義する。

【発明の効果】

【0027】

従来技術と比べ、本発明は、以下のような有益な効果を有する。
本発明は、従来の点群データ処理方法に基づいて、点群メディアファイルにデータタイプに従って分類記録をセットすることで、分類記録に応じて点群データの異なるデータの識別がしやすくなり、これにより、アプリケーションのニーズに応じて点群データの部分データを柔軟に送信しやすくし、全部の点群データを送信する必要がなく、アプリケーションのニーズを満たしつつ帯域幅を節約し、より柔軟且つ効率的に点群データを伝送しやすくし、点群データの異種ネットワークでの柔軟な伝送も可能にした。そのため、本発明は、点群データの伝送に存在するメディアコンテンツの伝送効率の低さ、格納スペースが無駄になるという問題を改善し、メディアコンテンツの組み合わせの柔軟性を高め、マルチメディアサービスに対する管理及びコントロールを強化し、ユーザーにより多くのメディアコンテンツを独立で選択し取得する権利を与え、多様なアプリケーションシーンを提供し、ネットワーク事業者にもより良いマルチメディアコンテンツの提供及び伝送スキームを提供することができる。

【図面の簡単な説明】

【0028】

本発明の他の特徴、目的及び利点は、下記の図を参照して非限定的な実施形態の詳細な説明を読むことによってより明らかになる。

【0029】

【図1】本発明の実施形態に係る点群データをカプセル化するフローチャートである。

【図2】本発明の実施例１に係る点群データをカプセル化するフローチャートである。

【図3】本発明の実施例１に係るＤＴＧ情報ファイルの定義コンテンツである。

【図4】本発明の実施例２に係る点群データをカプセル化するフローチャートである。

【図5】本発明の実施例２に係るメディアセグメントにフラグビットを追加する模式図である。

【図6】本発明の実施例３に係る点群データをカプセル化するフローチャートである。

【図7】本発明の実施例３に係るＡＣＲ情報ファイルの定義コンテンツである。

【発明を実施するための形態】

【0030】

下記、本発明について、具体的な実施形態を参照して詳細に説明する。下記の実施例は、当業者が本発明を更に理解するのに役立つが、いかなる形でも本発明を限定するものではない。当業者にとって、本発明の主旨から逸脱することなく、いくつかの変更および改善を行うことが可能であることに留意されたい。これらは何れも本発明の保護の範囲内に属する。

【0031】

本願の発明者は、点群メディアコンテンツは、提示される中でユーザーとのインタラクションが存在する可能性があるため、点群のいくつかの情報を変更する必要がある、ことを発見した。例えば、点群メディアに基づくキャラクター衣装替えの操作では、通常、点群のテクスチャと色などの属性情報を変更することが要求される。この時、従来の技術では、通常、クライエントに全部の点群データを送信し、このようにすると、帯域幅が増えるだけでなく、伝送効率も低くなり、ユーザーエクスペリエンスにも影響する。

【0032】

上記の問題について、本発明は、点群データのカプセル化方法を提出し、図１に示すように、下記のステップを含む。
ステップＳ０１：点群メディアファイルを圧縮する。
ステップＳ０２：圧縮された点群メディアファイルをカプセル化し、データタイプに従って分類記録をセットする。ここで、分類記録は点群メディアファイルにおける各部分のデータタイプを表すために用いられる。

【0033】

本発明は、分類記録を設けることにより、後で点群コンテンツを提示する際に、分類記録に応じて点群データの異なるデータに対して識別することを容易にし、これにより点群データの適応的な伝送と提示を可能にする。

【0034】

同時に、本発明は、本発明の点群データのカプセル化方法に基づいて、点群データの伝送方法を更に提出し、下記のステップを含む。
シグナリング情報に前述した分類記録の関連コンテンツを追加する。
シグナリング情報に基づいて分類記録を取得し、分類記録に基づいて現在の点群メディアファイルの更新する必要がある部分データを伝送する。ここで、現在の点群メディアファイルの更新する必要がある部分データを伝送する前に、現在の点群メディアファイルの全部のデータを伝送することをさらに含む。

【0035】

上記カプセル化方法及び伝送方法に基づいて、最初に点群コンテンツが提示される際に、当該点群コンテンツを提示するために、完全な点群データを取得する必要があり、点群コンテンツを提示した後、衣装替えなどの操作を行うだけで、分類記録に応じて、現在の点群メディアファイルの更新する必要があるデータを選択的に伝送することができ、全部の情報を伝送する必要がない。

【0036】

本発明の上記目的、特徴及び利点をより明確に理解しやすくするために、本発明の具体的な実施形態について、図を参照して下記に詳細に説明する。

【0037】

実施例１
本実施例では、分類リストによって分類記録を作成する。当該分類リストは、点群メディアファイルにおけるメディアセグメントとメディアバージョン及びデータタイプとの間の対応関係を表す。より具体的には、圧縮された点群メディアファイルを１つのメディアリソース（ａｓｓｅｔ）としてカプセル化し、分割して図３に示す１６のメディアセグメントのような複数のメディアセグメントを取得することができる。各メディアセグメントは何れもメディアセグメント番号を１つ有し、例えば１から１６の番号で順番に番号を付ける。各メディアセグメント番号は同じではなく、即ちメディアセグメント番号によりメディアセグメントを表すことがわかる。

【0038】

図２は、本実施形態に係る点群データをカプセル化するフローチャートである。図２に示すように、圧縮された点群メディアファイルを取得した後、下記のステップを更に含む。
ステップＳ１１：圧縮された点群メディアファイルを１つのメディアリソースとしてカプセル化し、複数のメディアセグメントを取得する。
ステップＳ１２：分類リストに基づいて、複数のメディアセグメントをバージョン及びデータタイプと関連付ける。「関連付け」とは、データタイプとメディアバージョン及びメディアセグメント番号との間の対応関係を築くことであり、以下で現れる関連付けも同じ定義となる。

【0039】

図３は、本実施形態に係る分類リストの定義コンテンツである。図３に示すように、分類リストはタイプリスト、コンテンツリスト及びセグメント番号リストを含む。タイプリストは点群メディアファイルのデータタイプに対応する。コンテンツリストは複数のメディアバージョンの集まりである。セグメント番号リストは全てのメディアセグメント番号の集まりである。さらに、各データタイプは少なくとも１つのメディアバージョンに対応し、各メディアバージョンは少なくとも１つのメディアセグメント番号に対応する。本実施例では、タイプリストの数は点群メディアファイルのデータタイプと対応し、１つのメディアバージョンが１つのアプリケーションシーンである。

【0040】

図３を継続して参照し、ビデオに基づく点群圧縮アルゴリズム（Ｖｉｄｅｏ－ｂａｓｅｄ Ｐｏｉｎｔ Ｃｌｏｕｄ Ｃｏｍｐｒｅｓｓｉｏｎ、ＶＰＣＣ）を例として、１つの点群メディアファイルが処理された後に４種類のデータが得られ、それぞれ占有図情報、幾何情報、属性情報及び補助情報である。この時、カプセル化する場合、メディアリソースを分割して複数のメディアセグメントが得られ、これらのメディアセグメントも同じく４種類のデータを含み、即ち占有図、幾何、属性及び補助情報である。１つのメディアリソースが分割されて１６のメディアセグメントが得られ、番号が順番で１から１６であると仮定すると、１つの点群メディアファイルの各部分のデータタイプは何れもメディアセグメントの集まりである。

【0041】

１つの例示的な実施例において、前述した４種類のデータは、それぞれタイプリスト１、２、３、および４によって表される。ここで、タイプリスト１は占有図情報を表し、タイプリスト２は幾何情報を表し、タイプリスト３は属性情報を表し、タイプリスト４は補助情報を表す。占有図情報は２つのバージョンを含み、それぞれコンテンツリスト１とコンテンツリスト２であり、且つコンテンツリスト１はメディアセグメント番号が１、２であるメディアセグメントからなり、コンテンツリスト２はメディアセグメント番号が３、４、５であるメディアセグメントからなると更に仮定し、よって、占有図情報がメディアセグメント番号は１、２、３、４、５であるメディアセグメントからなる。幾何情報は１つのバージョンのみを含み、即ちコンテンツリスト３であり、且つ当該コンテンツリスト３はメディアセグメント番号が６、７であるメディアセグメントからなると仮定すると、幾何情報はメディアセグメント番号が６、７であるメディアセグメントからなる。属性情報は２つのバージョンを含み、それぞれコンテンツリスト４とコンテンツリスト５であり、ここでコンテンツリスト４はメディアセグメント番号が８、９、１０であるメディアセグメントからなり、コンテンツリスト５はメディアセグメント番号が１１、１２のメディアセグメントからなると更に仮定し、即ち、属性情報はセグメント番号が８、９、１０、１１、１２であるメディアセグメントからなる。また、補助情報は２つのバージョンを含み、それぞれコンテンツリスト６とコンテンツリスト７であり、コンテンツリスト６はメディアセグメント番号が１３、１４であるメディアセグメントからなり、コンテンツリスト７はメディアセグメント番号が１５、１６であるメディアセグメントからなると仮定し、即ち、補助情報はメディアセグメント番号が１３、１４、１５、１６であるメディアセグメントからなる。１つの点群コンテンツを最初に提示する際に、４つのタイプリストを選択し、さらに各タイプリストからコンテンツリストを１つ選択する必要があり、コンテンツリストが対応するメディアセグメントによって１つの点群コンテンツを完全に提示する。点群コンテンツを最初に提示した後、キャラクターなどの衣装替えの操作を行う必要がある場合に、分類リストに応じて、あるデータタイプに対応するメディアセグメントを選択的に伝送することができ、全部のメディアセグメントを伝送する必要がない。

【0042】

なお、本実施例では、ＶＰＣＣの点群圧縮アルゴリズムにより説明したが、本発明は点群圧縮アルゴリズムに制限されるものではなく、本発明は点群データのカプセル化方法も限定しない。そのため、点群メディアファイルのデータタイプは、ここで挙げられた４種類を含むがそれに限定されるものではなく、他の圧縮アルゴリズムを利用しても、他の数及び／またはタイプのデータを更に得ることが可能である。

【0043】

更に、点群コンテンツを伝送及び提示できるように、分類リストをＤＴＧ（Ｄａｔａ Ｔｙｐｅ Ｇｒｏｕｐ）情報ファイルとして定義し、ＤＴＧ情報ファイルをシグナリング情報に書き込んで伝送する。ＤＴＧ情報ファイルが定義するコンテンツは前述したタイプリストが定義するコンテンツであり、それによりＤＴＧ情報ファイルによって点群メディアファイルとメディアセグメント番号、コンテンツリスト及びタイプリストとの間の対応関係を記述する、ことが理解されるべきである。このようにすることで、受信側はＤＴＧ情報ファイルを読み取るだけで点群メディアファイルのデータ分類状況を取得することができ、これによりユーザーのニーズに応じて現在の点群メディアファイルの更新する必要があるデータを選択的に送信することができる。

【0044】

次に、上記の実例をもとに、本実施例に係るＤＴＧ情報ファイルの伝送方式と、如何に点群メディアファイルに基づいてキャラクター衣装替えの操作を行うかを詳しく説明する。

【0045】

点群コンテンツ（即ち点群メディアファイル）は、占有図情報、幾何情報、属性情報及び補助情報を含むと仮定する。占有図、幾何、属性及び補助情報が何れも１つのバージョンだけを有する場合、この時、タイプリストとコンテンツリストの数は同じである。しかしながら、他の状況で、占有図、幾何、属性及び補助情報が何れも１つのバージョンだけを有する場合、コンテンツリストを設けなくてもよいが、このようにすると複雑さが増す。占有図、幾何、属性、補助情報が何れも複数のバージョンを有する場合、この時、コンテンツリストを設ける必要がある。

【0046】

例を挙げで説明すると、点群の占有図、幾何、属性及び補助情報を伝送する必要があれば、まず対応するタイプリストを見つける必要がある。図３を例として、タイプリスト１乃至４がそれぞれ占有図、幾何、属性及び補助情報に対応し、占有図情報がバージョンを２つ含むと仮定すると、タイプリスト１では対応して２つのコンテンツリストがあり、ユーザーがコンテンツリストを１つ選択すると、当該コンテンツリストで記載されているメディアセグメント番号に応じて、対応するメディアセグメントを取得し、点群コンテンツの提示に用いられることができる。

【0047】

したがって、ＤＴＧ情報ファイルには、点群コンテンツとメディアセグメント番号との対応関係の情報が含まれており、複数の方法でこれらの情報を伝送することができ、例えば、新しいシグナリングユニット、シグナリングファイル、シグナリングメッセージの定義や新しい記述（ｄｅｓｃｒｉｐｔｏｒ）の追加、又は伝送パケットのヘッダー情報の追加などである。実現方法に応じて、異なる方式でＤＴＧ情報ファイルが記述する情報を伝送し利用することができる。

【0048】

本実施例では、ＤＴＧ情報ファイルの伝送方式について、実例として、３つの伝送方式を提出したが、ＤＴＧ情報ファイルをシグナリング情報に追加する方法は下記の複数の方式を含むが、これらに限定されるものではない。

【0049】

方式１：シグナリング情報に、ＤＴＧ情報を記述するＤＴＧ情報ファイルを１つ追加する。

【0050】

方式１では、テーブル１に示すように、ＤＴＧ情報ファイルをＭＰＩ ｔａｂｌｅに書き込み、シグナリングメッセージの一部として転送する。

【表1】

【0051】

ＤＴＧ情報ファイルをＭＰＩ ｔａｂｌｅに追加し、変更する必要がある部分はＰＩ＿ｃｏｎｔｅｎｔの記述の部分にあり、ＰＩ＿ｃｏｎｔｅｎｔ＿ｃｏｕｎｔの値が１増加する。ここで、ＰＩ＿ｃｏｎｔｅｎｔ＿ｔｙｐｅフィールドは、ＤＴＧ情報ファイルのタイプを記述し、実際の状況に応じてＤＴＧ情報の記述に適したファイル形式を選択することは可能である。ＰＩ＿ｃｏｎｔｅｎｔ＿ｔｙｐｅ＿ｌｅｎｇｔｈ値はファイルタイプの長さ、ＰＩ＿ｃｏｎｔｅｎｔ＿ｔｙｐｅ＿ｌｅｎｇｔｈ＿ｂｙｔｅ値はＤＴＧ情報ファイルのタイプ、ＰＩ＿ｃｏｎｔｅｎｔ＿ｎａｍｅ＿ｌｅｎｇｔｈ値はＤＴＧ情報ファイル名の長さ、ＰＩ＿ｃｏｎｔｅｎｔ＿ｎａｍｅ＿ｂｙｔｅ値はＤＴＧ情報ファイル名の値である。ＰＩ＿ｃｏｎｔｅｎｔ＿ｄｅｓｃｒｉｐｔｏｒｅｓ＿ｌｅｎｇｔｈとＰＩ＿ｃｏｎｔｅｎｔ＿ｄｅｓｃｒｉｐｔｏｒｓ＿ｂｙｔｅは、それぞれＤＴＧ情報ファイルの記述情報の長さ及びコンテンツであり、現在は空であってもよく、将来の拡張のために残す。ＰＩ＿ｃｏｎｔｅｎｔ＿ｌｅｎｇｔｈとＰＩ＿ｃｏｎｔｅｎｔ＿ｂｙｔｅは、それぞれＤＴＧ情報ファイルの長さとコンテンツである。

【0052】

上記の説明に従って、ＤＴＧ情報ファイルをＭＰＩ ｔａｂｌｅに書き込んでから、シグナリング情報によりＤＴＧ情報を出すことができる。

【0053】

方式２：ＤＴＧ情報を記述するｄｅｓｃｒｉｐｔｏｒを１つ追加する。

【0054】

例えば、既存のＭＭＴプロトコルが定義するシグナリングメッセージでは、いくつかの記述的なｄｅｓｃｒｉｐｔｏｒを定義しており、ｄｅｓｃｒｉｐｔｏｒはＭＭＴにおけるシグナリング部分がいくつかのフィールド又は機能を定義するための記述的な情報である。例えば、ｄｅｐｅｎｄｅｎｃｙ ｄｅｓｃｒｉｐｔｏｒとＭＰＵ＿ｔｉｍｅｓｔａｍｐ＿ｄｅｓｃｒｉｐｔｏｒである。したがって、方式２では、ＤＴＧ情報を記述するｄｅｓｃｒｉｐｔｏｒを新たに１つ定義することができ、ｄｅｓｃｒｉｐｔｏｒでは、メディアセグメントのタイプ情報を記述することが可能である。ＭＰ ｔａｂｌｅにおいて、ａｓｓｅｔ＿ｄｅｓｃｒｉｐｔｏｒｓフィールドが存在し、必要に応じてａｓｓｅｔ＿ｄｅｓｃｒｉｐｔｏｒｓにテーブル２に示すようなＭＰＵｔｙｐｅ＿ｄｅｓｃｒｉｐｔｏｒを追加することで実現できる。

【表2】

【0055】

ここで、ｄｅｓｃｒｉｐｔｏｒ＿ｔａｇはｄｅｓｃｒｉｐｔｏｒのタイプを指示するために用いられ、ｄｅｓｃｒｉｐｔｏｒ＿ｌｅｎｇｔｈはｄｅｓｃｒｉｐｔｏｒの長さを指示するために用いられ、ｎｕｍ＿ｍｐｕはＭＰＵの数を指示するために用いられ、ｍｐｕ＿ｔｙｐｅ（）はＭＰＵのデータタイプを指示するために用いられる。

【0056】

方式３：ＤＴＧ情報を記述するシグナリングテーブルを１つ追加する。

【0057】

上記の方法に加えて、シグナリング情報にＤＴＧファイル情報を記述するために特別に使用されるシグナリングテーブルを新たに１つ追加することが可能である。ＤＴＧファイル情報を記述するテーブルを生成してから特定のヘッダー部を追加すれば、ＤＴＧ情報を記述するシグナリング情報を生成することができ、当該シグナリング情報とＰＡ ｍｅｓｓａｇｅ、ＭＰＩ ｍｅｓｓａｇｅ、ＭＰ ｍｅｓｓａｇｅ、ＣＲＩ ｍｅｓｓａｇｅなどと共に新しいシグナリング情報を構成して転送する。受信側は、新しいシグナリング情報を受信してから解析すれば、コンテンツリスト情報が得られる。

【0058】

１つの例示的な操作では、ユーザーは点群占有図情報を要求する場合、受信側はＤＴＧ情報ファイルを検査することにより、占有図情報に対応するコンテンツリスト１を見つけ出し、コンテンツリスト１に対応するメディアセグメント番号１、２を見つけ出し、この時、クライエント（点群メディアプレーヤ）は、これらのメディアセグメントを送信してローカルに格納し、ローカルデータベースを更新するように要求する。ユーザーは、続いて、点群の幾何情報を要求する場合、受信側はまたＤＴＧ情報ファイルを検査することにより、幾何情報に対応するコンテンツリスト３を見つけ出し、コンテンツリスト３が対応するメディアセグメント番号６、７を見つけ出し、この時、クライエントは、これらのメディアセグメントを送信してローカルに格納し、ローカルデータベースを更新するように要求する。ユーザーは、続いて、点群属性情報を要求する場合、受信側はＤＴＧ情報ファイルを検査することにより、属性情報に対応するコンテンツリスト４を見つけ出し、コンテンツリスト４が対応するメディアセグメント番号８、９、１０を見つけ出し、この時、クライエントは、これらのメディアセグメントを送信してローカルに格納し、ローカルデータベースを更新するように要求する。ユーザーは、続いて、点群の補助情報を要求する場合、受信側はＤＴＧ情報ファイルを検査することにより、補助情報に対応するコンテンツリスト６を見つけ出し、コンテンツリスト６に対応するメディアセグメント番号１３、１４を見つけ出し、この時、クライエントは、これらのメディアセグメントを送信してローカルに格納し、ローカルデータベースを更新するように要求する。ユーザーは、全部の情報を取得した後、４つのコンテンツリスト（コンテンツリスト１、３、４、６）における情報を統合し、１つの点群メディアを完全に提示することができる。その後、ユーザーが衣装を替える必要がある場合、まず衣装替えの必要があるデータのタイプに応じて対応するタイプリストを見つけ、続いてタイプリストからコンテンツリストを選択し、さらにコンテンツリストにおけるメディアセグメント番号に応じて必要となるメディアセグメントを抽出すればよい。

【0059】

本実施例では、ＭＭＴ（マルチメディア伝送プロトコル）を例として提出された点群データの伝送方式を説明したが、本実施例の点群データは、ＤＡＳＨ伝送のように他のファイルを使用して伝送することもできる、ことを追加で説明する。

【0060】

実施例２
本実施例では、分類フラグによって分類記録を形成し、当該分類フラグはメディアセグメントとメディアバージョン及びデータタイプとの間の対応関係を表す。

【0061】

図４は、本実施形態に係る点群データのカプセル化のフローチャートである。図４に示すように、圧縮された点群メディアファイルを取得してから、下記のステップを更に含む。
ステップＳ２１：圧縮された点群メディアファイルを１つのメディアリソースとしてカプセル化し、分割し図５に示す１６のメディアセグメントなど複数のメディアセグメントを取得することが可能である。
ステップＳ２２：カプセル化する際に、各メディアセグメントに分類フラグを１つ追加し、当該分類フラグによりメディアセグメントのデータタイプ及びバージョン情報を記録する。

【0062】

異なるメディアセグメントは同じメディアバージョン及び同じデータタイプを有する場合、通常、追加される分類フラグは同じである。本実施例は、分類フラグの追加方式を限定せず、例えば、点群メディアファイルをカプセル化する際に、予約済みフィールドを利用してＭＰＵに分類フラグを追加することが可能であり、その後のユーザーは、分類フラグに応じてあるタイプの点群データを要求できればよい。

【0063】

分類フラグは、下記で記述したｔｙｐｅ＿ｉｄ及びｔｙｐｅ＿ｓｅｑｕｅｎｃｅ＿ｎｕｍｂｅｒのように、通常、２つのフラグビットを含む。ｔｙｐｅ＿ｉｄは、メディアセグメントのデータタイプを定義するために用いられ、ｔｙｐｅ＿ｓｅｑｕｅｎｃｅ＿ｎｕｍｂｅｒは、メディアセグメントのバージョンを定義するために用いられる。図５に示すものを例として、一行目の４つのＭＰＵのデータタイプは何れもｔｙｐｅ＿ｉｄ＝００として定義し、二行目の４つのＭＰＵのデータタイプはｔｙｐｅ＿ｉｄ＝０１として定義し、三行目の４つのデータタイプはｔｙｐｅ＿ｉｄ＝０２として定義し、最後の行の４つのＭＰＵのデータタイプはｔｙｐｅ＿ｉｄ＝０３として定義し、ｔｙｐｅ＿ｉｄの４つの値は占有図、幾何、属性及び補助情報の４種類のデータにそれぞれ対応する。本実施例は、ｔｙｐｅ＿ｉｄ及びｔｙｐｅ＿ｓｅｑｕｅｎｃｅ＿ｎｕｍｂｅｒの追加の具体的方式を限定しない。

【0064】

例示的な実施例では、ＭＰＵＢｏｘにおける予約済みフィールドを用いてｔｙｐｅ＿ｉｄ及びｔｙｐｅ＿ｓｅｑｕｅｎｃｅ＿ｎｕｍｂｅｒを定義することができる。例えば、予約済みフィールドにおける２ｂｉｔをｔｙｐｅ＿ｉｄとして定義し、予約済みフィールドにおける３ｂｉｔをｔｙｐｅ＿ｓｅｑｕｅｎｃｅ＿ｎｕｍｂｅｒとして定義し、残りの１ｂｉｔが引き続き予約済みフィールドとなる（将来必要に応じて、より多くの又はより少ない種類のｔｙｐｅ＿ｉｄを定義する必要がある場合、ｔｙｐｅ＿ｉｄのフィールドの長さを継続して増加又は減少することが可能である）。これにより、テーブル３に示すように、ｔｙｐｅ＿ｉｄを用いて、１つのメディアリソース（ａｓｓｅｔ＿ｉｄとして定義する）に属する全てのＭＰＵを異なるタイプに分けることが可能である。

【表3】

【0065】

テーブル３に示すように、左側の欄は既存のＭＭＴ定義方式であり、右側の欄は本発明のＭＭＴ定義である。本発明では、ｔｙｐｅ＿ｉｄに２ｂｉｔを割り当て、ｔｙｐｅ＿ｓｅｑｕｅｎｃｅ＿ｎｕｍｂｅｒに３ｂｉｔを割り当てる、ことがわかる。

【0066】

例えば、キャラクターの衣装替えを行う場合、占有図情報、幾何情報及び補助情報は何れも１つのバージョンだけを有する可能性があるが、対応する属性情報は複数のバージョンを有する可能性があるため、各ｔｙｐｅ＿ｉｄにｔｙｐｅ＿ｓｅｑｕｅｎｃｅ＿ｎｕｍｂｅｒを１つセットすることができ、ｔｙｐｅ＿ｓｅｑｕｅｎｃｅ＿ｎｕｍｂｅｒの数がバージョンの数である。例えば、１つの点群キャラクターが３着の服装を有する場合、ｔｙｐｅ＿ｉｄは１０とし、ｔｙｐｅ＿ｓｅｑｕｅｎｃｅ＿ｎｕｍｂｅｒは０００、００１、０１０となることができ、ｔｙｐｅ＿ｓｅｑｕｅｎｃｅ＿ｎｕｍｂｅｒが同じであるＭＰＵは同じ服装に対応する。

【0067】

更に図５を参照して説明すると、ｔｙｐｅ＿ｉｄの値が０１である場合、対応するデータは２つのバージョンを有し、ｔｙｐｅ＿ｓｅｑｕｅｎｃｅ＿ｎｕｍｂｅｒは異なる値を２つ有し、例えば、０００と００１である。ｔｙｐｅ＿ｉｄの値が０３である場合、対応するデータは４つのバージョンを有し、ｔｙｐｅ＿ｓｅｑｕｅｎｃｅ＿ｎｕｍｂｅｒは異なる値を４つ有し、例えば、０００、００１、００２、００３である。ｔｙｐｅ＿ｉｄ＝００となるＭＰＵは、データが１つのバージョンのみを有する場合、ＭＰＵのためにｔｙｐｅ＿ｓｅｑｕｅｎｃｅ＿ｎｕｍｂｅｒを定義する必要がないことを理解すべきである。

【0068】

実施例３
本実施例では、分類記録も分類リストであり、実施例１と異なる点は、当該分類リストは点群メディアファイルにおけるメディアリソースとデータタイプとの間の対応関係を表し、より具体的には、メディアリソース番号とメディアリソースリストとの間の対応関係を表す。

【0069】

図６は、本実施形態に係る点群データのカプセル化のフローチャートである。図６に示すように、圧縮された点群メディアファイルを取得してから、下記のステップを更に含む。
ステップＳ３１：圧縮された点群メディアファイルを１セットのメディアリソース（ａｓｓｅｔ＿ｌｉｓｔ）としてカプセル化し、図７に示す１６のメディアリソースのような複数のメディアリソースを取得することが可能である。各メディアリソースはメディアリソース番号を何れも１つ有し、例えば１から１６の番号で順番に番号を付ける。各メディアリソース番号は同じではなく、即ちメディアリソース番号でメディアリソースを表す、ことがわかる。
ステップＳ３２：分類リストに基づいて、複数のメディアリソースをデータタイプと関連付ける。

【0070】

図７に示すように、分類リストはメディアリソースリスト及びリソース番号リストを含む。メディアリソースリストは点群メディアファイルのデータタイプに対応する。リソース番号リストは全てのメディアリソース番号の集まりである。各メディアリソースリストは少なくとも１つのメディアリソース番号に対応し、且つ、各メディアリソースリストに対応するメディアリソース番号の数はメディアバージョンと一致する。各メディアリソースは少なくとも１つのメディアセグメントを含み、当該メディアセグメントの時間期間は数秒であってもよい。

【0071】

ある点群コンテンツは、１６のメディアリソースからなり、メディアリソース番号は順番で１から１６であると仮定する。メディアリソースリストは４つで、それぞれ占有図情報、幾何情報、属性情報及び補助情報に対応すると仮定する。図７に示すように、占有図情報はメディアリソースリスト１であり、５つのバージョンを対応して含み、メディアリソース番号が１乃至５であるメディアリソースに対応することができる。幾何情報はメディアリソースリスト２であり、２つのバージョンを対応して含み、それぞれメディアリソース番号が６、７であるメディアリソースに対応する。属性情報はメディアリソースリスト３であり、５つのバージョンを対応して含み、それぞれメディアリソース番号が８乃至１２であるメディアリソースに対応する。補助情報はメディアリソースリスト４であり、４つのバージョンを対応して含み、メディアリソース番号が１３乃至１６であるメディアリソースに対応する。メディアリソース番号はメディアリソース中のフラグフィールドである。当該点群コンテンツはメディアリソース番号がそれぞれ１乃至１６であるメディアリソースに対応し、異なる点群コンテンツは異なるメディアリソースの組み合わせに対応し、例えば、メディアリソース番号が１、６、８、１３である場合とメディアリソース番号が１、６、９、１３である場合の点群コンテンツは、同一点群キャラクターの異なる服装の時の姿に対応する可能性がある。前記点群メディアファイルは複数の点群コンテンツを含み、カプセル化された点群メディアファイルに待ちフラグ（ｐｅｎｄｉｎｇ＿ｆｌａｇ）をセットし、前記待ちフラグは、各点群コンテンツの全てのデータタイプのメディアリソースが準備完了されたか否かを指示するために用いられる。各点群コンテンツの全てのデータタイプのメディアリソースが準備完了されている場合、ｐｅｎｄｉｎｇ＿ｆｌａｇの値は１とし、でなければその値は０とする。

【0072】

例えば、メディアリソース番号が１、６、８、１３である場合の点群コンテンツとメディアリソース番号が１、６、９、１３である点群コンテンツを相次いで伝送し、前後２つの点群コンテンツでは１つのメディアリソースだけが違うため、後者の点群コンテンツはメディアリソース番号が９であるメディアリソースのみを伝送すればよい。前者の点群コンテンツが含むメディアリソース番号が１、６、８、１３であるメディアリソースが伝送完了された後、ｐｅｎｄｉｎｇ＿ｆｌａｇの値は１となる。前者の点群が伝送完了され、後者の点群コンテンツ（メディアリソース番号が９であるメディアリソースのみを伝送する必要がある）が伝送されている時、ｐｅｎｄｉｎｇ＿ｆｌａｇの値が０になる。後者の点群コンテンツ（メディアリソース番号が９であるメディアリソースのみを伝送する必要がある）が伝送完了されると、ｐｅｎｄｉｎｇ＿ｆｌａｇの値が１になる。

【0073】

各点群コンテンツはいずれも待ちフラグ（ｐｅｎｄｉｎｇ＿ｆｌａｇ）を１つ対応しセットすることができ、待ちフラグは、当該点群コンテンツの全てのデータタイプのメディアリソースが準備完了されているか否かを指示するために用いられる。

【0074】

更に、点群コンテンツを伝送及び提示できるように、本実施例では、分類リストをＡＣＲ（Ａｓｓｅｔ Ｃｏｎｔｅｎｔ Ｒｅｌａｔｉｏｎｓｈｉｐ）情報ファイルとして定義し、前記ＡＣＲ情報ファイルをシグナリング情報に書き込む。同様に、ＡＣＲ情報ファイルで定義されるコンテンツは、本実施例の分類テーブルに対応するコンテンツであり、点群メディアファイルのデータタイプとメディアリソース番号との間の対応関係を記述するために用いられる。１つの提示可能な点群コンテンツは１つのメディアリソースリストに対応し、メディアリソースリストはメディアリソース番号の集まりであり、メディアリソース番号はメディアリソースのフラグフィールドである。このようにすることで、ＡＣＲ情報ファイルを読み取るだけで点群メディアファイルの分類状況を取得することができ、これによりユーザーのニーズに応じて現在の点群メディアファイルの更新する必要があるデータを選択的に送信することを容易にする。

【0075】

次に、上記の実例をもとに、本実施例に係るＡＣＲ情報ファイルの伝送方式と、如何に点群メディアに基づいてキャラクター衣装替えの操作を行うかを詳しく説明する。

【0076】

１つの完全な点群コンテンツを構成するのは、占有図、幾何、属性、補助情報に対応するメディアリソースリストからメディアリソース番号を探してから、対応するメディアリソースを抽出する必要があると仮定する。占有図、幾何、属性、補助情報が対応するメディアリソースリストが、それぞれａｓｓｅｔ＿ｌｉｓｔ［０］、ａｓｓｅｔ＿ｌｉｓｔ［１］、ａｓｓｅｔ＿ｌｉｓｔ［２］、ａｓｓｅｔ＿ｌｉｓｔ［３］であると仮定し、それらからメディアリソース番号を１つずつ取得し、メディアリソースはメディアリソース番号によって区別され、その設定ルールはテーブル４に示すとおりである。

【表4】

【0077】

ここで、メディアリソース番号（ａｓｓｅｔ＿ｉｄ）が０、１であるメディアリソースは、それぞれ点群の占有図及び幾何情報に対応し、メディアリソース番号が２、３及び４、５であるメディアリソースは２セットの属性と補助情報である。そのため、メディアリソース番号が０、１、２、３及び０、１、４、５であるメディアリソースは、それぞれ異なる点群コンテンツを構成することが可能であり、これは同一キャラクターの異なる服装である。

【0078】

ＡＣＲ情報ファイルは、点群の異なるデータタイプの重要な情報を含み、異なる方法でこれらの重要な情報を伝送することが可能であり、例えば、新しいシグナリングユニット、シグナリングファイル、シグナリングメッセージの定義や新しいｄｅｓｃｒｉｐｔｏｒの追加、又は伝送パケットのヘッダー情報の追加などである。実現の方法の違いに応じて、異なる方式でＡＣＲ情報ファイルが記述する情報を伝送し利用することができる。

【0079】

本実施例では、ＡＣＲ情報ファイルの伝送方式について、実例として、２つの方式を提出したが、ＡＣＲ情報ファイルをシグナリング情報に追加する方法は下記の複数の方式を含むが、これらに限定されない。

【0080】

方式１：シグナリング情報に、ＡＣＲ情報を記述するＡＣＲファイルを１つ追加する。

【0081】

方式１では、テーブル５に示すように、ＡＣＲ情報ファイルをＭＰＩ ｔａｂｌｅに入れて、シグナリングメッセージの一部として転送する。

【表5】

【0082】

より具体的には、ＡＣＲ情報ファイルをＭＰＩ ｔａｂｌｅに追加し、変更が必要な部分はＰＩ＿ｃｏｎｔｅｎｔの記述の部分にあり、ＰＩ＿ｃｏｎｔｅｎｔ＿ｃｏｕｎｔの値が１増加する。ここで、ＰＩ＿ｃｏｎｔｅｎｔ＿ｔｙｐｅフィールドは、ＡＣＲ情報ファイルのタイプを記述し、実際の状況に応じてＡＣＲ情報の記述に適したファイル形式を選択することは可能である。ＰＩ＿ｃｏｎｔｅｎｔ＿ｔｙｐｅ＿ｌｅｎｇｔｈ値はファイルタイプの長さ、ＰＩ＿ｃｏｎｔｅｎｔ＿ｔｙｐｅ＿ｌｅｎｇｔｈ＿ｂｙｔｅ値はＡＣＲ情報ファイルのタイプ、ＰＩ＿ｃｏｎｔｅｎｔ＿ｎａｍｅ＿ｌｅｎｇｔｈ値はＡＣＲ情報ファイルｎａｍｅの長さ、ＰＩ＿ｃｏｎｔｅｎｔ＿ｎａｍｅ＿ｂｙｔｅ値はＡＣＲ情報ファイルｎａｍｅの値である。ＰＩ＿ｃｏｎｔｅｎｔ＿ｄｅｓｃｒｉｐｔｏｒｅｓ＿ｌｅｎｇｔｈとＰＩ＿ｃｏｎｔｅｎｔ＿ｄｅｓｃｒｉｐｔｏｒｓ＿ｂｙｔｅは、それぞれＡＣＲ情報ファイルの記述情報の長さ及びコンテンツであり、現在は空であってもよく、将来の拡張のために残す。ＰＩ＿ｃｏｎｔｅｎｔ＿ｌｅｎｇｔｈとＰＩ＿ｃｏｎｔｅｎｔ＿ｂｙｔｅは、それぞれＡＣＲ情報ファイルの長さとコンテンツである。

【0083】

上記の説明に従って、ＡＣＲ情報ファイルをＭＰＩ ｔａｂｌｅに書き込んだ後、シグナリング情報によりＡＣＲ情報を転送することができる。

【0084】

方式２：ＡＣＲ情報を記述するシグナリングテーブルを１つ追加する。

【0085】

上記の方法に加えて、シグナリング情報にＡＣＲファイル情報を記述するために特別に使用されるシグナリングテーブルを更に１つ追加することが可能である。ＡＣＲ情報を記述するテーブルを生成してから特定のヘッダー部を追加すれば、ＡＣＲ情報を記述するシグナリング情報を生成し、当該シグナリング情報はＰＡ ｍｅｓｓａｇｅ、ＭＰＩ ｍｅｓｓａｇｅ、ＭＰ ｍｅｓｓａｇｅ、ＣＲＩ ｍｅｓｓａｇｅなどと共に新しいシグナリング情報を構成して転送する。受信側は、新しいシグナリング情報を受信してから解析すれば、関連するメディアリソースリスト情報が得られる。

【0086】

本発明によって提出される実現方法をより明確に説明するために、方式１に従って例を挙げて１つの具体的な実現フローを説明する。

【0087】

受信側がサービスにログインすると、送信側がシグナリング情報を送信し、ユーザーがＡＣＲ情報ファイルにおけるメディアリソースリスト（ａｓｓｅｔ＿ｌｉｓｔ）を取得した後、ａｓｓｅｔ＿ｌｉｓｔ［０］、ａｓｓｅｔ＿ｌｉｓｔ［１］、ａｓｓｅｔ＿ｌｉｓｔ［２］、ａｓｓｅｔ＿ｌｉｓｔ［３］から占有図、幾何、属性及び補助情報に対応するメディアリソース番号（ａｓｓｅｔ＿ｉｄ）を知ることができる。送信側に点群の占有図を要求する場合、受信側は、ＤＴＧ情報ファイルを検査することにより、占有図のａｓｓｅｔ＿ｌｉｓｔ［０］に対応するａｓｓｅｔ＿ｉｄが０であることを見つけ出す。ユーザーは引き続き幾何を要求する場合、ＤＴＧ情報ファイル及びローカルデータベースを検査することにより、送信側から対応するメディアリソース（ａｓｓｅｔ）を取得し、これらのメディアリソースはａｓｓｅｔ＿ｌｉｓｔ［１］が含むあるａｓｓｅｔ＿ｉｄに対応するメディアリソースである。ユーザーは属性を要求する場合、ＤＴＧ情報ファイル及びローカルデータベースを検査することにより、送信側から対応するメディアリソースを取得し、これらのメディアリソースはａｓｓｅｔ＿ｌｉｓｔ［２］が含むａｓｓｅｔ＿ｉｄに対応するメディアリソースである。ユーザーは引き続き補助情報を要求する場合、ＤＴＧ情報ファイル及びローカルデータベースを検査することにより、送信側から対応するメディアリソースを取得し、これらのメディアリソースはａｓｓｅｔ＿ｌｉｓｔ［３］が含むａｓｓｅｔ＿ｉｄに対応するメディアリソースである。ユーザーは全部の情報を取得した後、取得した４つのメディアリソースの情報を統合し、点群メディアを提示することが可能である。ユーザーは衣装替えの必要がある場合、ａｓｓｅｔ＿ｌｉｓｔ［２］とａｓｓｅｔ＿ｌｉｓｔ［３］中の対応するメディアリソースを再度要求するだけで済む。

【0088】

本実施例は、ＭＭＴ（マルチメディア伝送プロトコル）を例として提出された点群データの伝送方式を説明したが、本実施例の点群データは、ＤＡＳＨ伝送のように他のファイルを使用して伝送することもできる、ことを追加説明する。

【0089】

以上、本発明の具体的な実施形態を説明した。本発明は、上記の具体的な実施形態に限定されず、当業者は本発明の請求項の範囲内で様々な変更又は修正を行うことができ、これは本発明の本質的な内容に影響しない、ことを理解する必要がある。衝突しない状況であれば、本願の実施例および実施形態における特徴は、互いに任意に組み合わせることが可能である。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】