特開 2024-116013 データ変換装置及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024116013

(43)【公開日】2024-08-27

(54)【発明の名称】データ変換装置及びプログラム

(51)【国際特許分類】

   H04N 21/2343 20110101AFI20240820BHJP

【ＦＩ】

H04N21/2343

【審査請求】未請求

【請求項の数】4

【出願形態】ＯＬ

(21)【出願番号】P 2023021985

(22)【出願日】2023-02-15

(71)【出願人】

【識別番号】000004352

【氏名又は名称】日本放送協会

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】230118913

【弁護士】

【氏名又は名称】杉村 光嗣

(74)【代理人】

【識別番号】100161148

【弁理士】

【氏名又は名称】福尾 誠

(72)【発明者】

【氏名】蛭間 信博

(72)【発明者】

【氏名】河村 侑輝

(72)【発明者】

【氏名】斎藤 恭一

【テーマコード（参考）】

5C164

【Ｆターム（参考）】

5C164GA03

5C164MA03S

5C164PA32

5C164SB02P

(57)【要約】

【課題】３次元オブジェクトデータの伝送効率を向上させる。
【解決手段】被写体を複数のカメラで撮影してモデリングした３次元モデルのデータである実写ベースＣＧデータと、テクスチャの時間変化がない３次元ＣＧモデルのデータであるＣＧデータと、を含む完成データを入力するデータ変換装置７０は、完成データを、実写ベースＣＧデータと、ＣＧデータとに分類する分類部７１と、所定のフレームにおけるＣＧデータのテクスチャのデータを間引く間引き部７３と、を備える。
【選択図】図２

【特許請求の範囲】

【請求項1】

被写体を複数のカメラで撮影してモデリングした３次元モデルのデータである実写ベースＣＧデータと、テクスチャの時間変化がない３次元ＣＧモデルのデータであるＣＧデータと、を含む完成データを入力するデータ変換装置であって、
前記完成データを、前記実写ベースＣＧデータと、前記ＣＧデータとに分類する分類部と、
所定のフレームにおけるＣＧデータのテクスチャのデータを間引く間引き部と、
を備えるデータ変換装置。

【請求項2】

各フレームにおける実写ベースＣＧデータのデータ量を計算し、所定のフレーム間隔毎に、前記データ量が大きいフレームを間引きフレームに決定する間引きフレーム決定部を備え、
前記間引き部は、前記間引きフレームにおけるＣＧデータのテクスチャのデータを間引く、請求項１に記載のデータ変換装置。

【請求項3】

前記間引きフレーム決定部は、所定のフレーム間隔毎に、前記データ量が最小でないフレームを前記間引きフレームに決定する、請求項２に記載のデータ変換装置。

【請求項4】

コンピュータを、請求項１に記載のデータ変換装置として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、データ変換装置及びプログラムに関する。

【背景技術】

【0002】

近年、ＡＲ（Augmented Reality）／ＶＲ（Virtual Reality）技術の進歩により、ＡＲ／ＶＲ対応端末や、ＡＲ／ＶＲコンテンツが普及し始めている。ＡＲ／ＶＲ対応端末とは、スマートフォン、タブレット型端末、ＶＲゴーグル、ＡＲグラスなどである。ＡＲ／ＶＲは、コンテンツデータとして、３次元オブジェクトデータ（３次元モデルデータ）を取り扱う。

【0003】

特許文献１には、フレーム単位で３次元オブジェクトデータを受信装置(視聴端末)に伝送する技術が開示されている。この技術は、伝送する３次元オブジェクトデータが増えた場合に、処理負荷を削減してコンテンツ視聴品質の低下を抑制することを目的の一つとしている。例えば、メタデータを利用して静止オブジェクトと動的オブジェクトとを分離し、静止オブジェクトだけは低いフレームレートで伝送するような処理が可能であり、映像の品質を落とすこと無く受信装置に伝送するデータ量を削減することができる。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０２２－３２８３８号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献１に開示された技術では、フレーム間で動きがある動的オブジェクトのデータ量の削減は行っていないため、さらに伝送効率を改善する余地があった。

【0006】

かかる事情に鑑みてなされた本発明の目的は、伝送効率を向上させることが可能なデータ変換装置及びプログラムを提供することにある。

【課題を解決するための手段】

【0007】

一実施形態に係るデータ変換装置は、被写体を複数のカメラで撮影してモデリングした３次元モデルのデータである実写ベースＣＧデータと、テクスチャの時間変化がない３次元ＣＧモデルのデータであるＣＧデータと、を含む完成データを入力するデータ変換装置であって、前記完成データを、前記実写ベースＣＧデータと、前記ＣＧデータとに分類する分類部と、所定のフレームにおけるＣＧデータのテクスチャのデータを間引く間引き部と、を備える。

【0008】

さらに、一実施形態において、各フレームにおける実写ベースＣＧデータのデータ量を計算し、所定のフレーム間隔毎に、前記データ量が大きいフレームを間引きフレームに決定する間引きフレーム決定部を備え、前記間引き部は、前記間引きフレームにおけるＣＧデータのテクスチャのデータを間引いてもよい。

【0009】

さらに、一実施形態において、前記間引きフレーム決定部は、所定のフレーム間隔毎に、前記データ量が最小でないフレームを前記間引きフレームに決定してもよい。

【0010】

また、一実施形態係るプログラムは、コンピュータを、上記データ変換装置として機能させる。

【発明の効果】

【0011】

本発明によれば、３次元オブジェクトデータの伝送において、伝送効率を向上させることができる。

【図面の簡単な説明】

【0012】

【図1】一実施形態に係る放送型の３次元空間コンテンツ伝送システムの構成例を示す図である。

【図2】第１の実施形態に係るデータ変換装置の構成例を示す図である。

【図3】実写ベースＣＧデータ及びＣＧデータのデータ構造を示す図である。

【図4】ジオメトリ及びテクスチャの一例を示す図である。

【図5】実写ベースＣＧデータの一例を示す図である。

【図6】ＣＧデータの一例を示す図である。

【図7】第１の実施形態に係るデータ変換装置の効果を説明する図である。

【図8】第２の実施形態に係るデータ変換装置の構成例を示す図である。

【図9】第２の実施形態に係るデータ変換装置において、ＣＧデータが１種類の場合の処理を示すフローチャートである。

【図10A】第２の実施形態に係るデータ変換装置の効果を説明する図である。

【図10B】第２の実施形態に係るデータ変換装置の効果を説明する図である。

【図11】第２の実施形態に係るデータ変換装置において、ＣＧデータが複数種類の場合の処理を示すフローチャートである。

【発明を実施するための形態】

【0013】

以下、本発明の実施形態について、図面を参照して詳細に説明する。なお、以下の説明において、「３次元オブジェクト」を単に「オブジェクト」と称する。

【0014】

＜３次元空間コンテンツ伝送システム＞
図１は、本発明の一実施形態に係る放送型の３次元空間コンテンツ伝送システムの構成例を示す図である。図１に示す３次元空間コンテンツ伝送システム１は、撮影・制作システム５０と、完成データ記憶部６０と、データ変換装置７０と、送出データ記憶部８０と、送信装置１０と、ネットワークノード２０と、受信装置（視聴端末）３０と、を備える。本実施形態では、データ変換装置７０と送信装置１０とを別個の装置としているが、データ変換装置７０及び送信装置１０は一つの装置として一体化されていてもよい。

【0015】

撮影・制作システム５０は、３次元空間コンテンツを制作し、完成データとして完成データ記憶部６０に出力する。完成データとは、例えば、非圧縮・可逆圧縮、又は劣化の少ない軽量圧縮で符号化された、１つ以上のオブジェクトデータを含むコンテンツデータである。

【0016】

データ変換装置７０は、完成データ記憶部６０から入力した完成データを送出データに変換し、送出データ記憶部８０に出力する。詳細については後述する。

【0017】

送出データ記憶部８０は、送出データと、３次元コンテンツの各種補助情報を記述するコンテンツ構成メタデータと、を記憶する。

【0018】

送信装置１０は、伝送路９０を介して、放送型の３次元空間コンテンツの構成要素であるオブジェクトをオブジェクトデータとして、複数のネットワークノード２０又は受信装置３０に送信する。送信装置１０は、オブジェクトごとに伝送フレームを構成する。伝送フレームは、オブジェクトのジオメトリデータ及びテクスチャデータを含む。そして、送信装置１０は、伝送フレームを伝送に用いるパケットに分割し、パケットにオブジェクトＩＤ及びパケットＩＤを付与し、伝送路９０に送信する。

【0019】

伝送路９０は、グローバルなインターネットや回線事業者が運営するクローズドネットワークなどの通信伝送路であってもよいし、地上放送・衛星放送などの放送伝送路であってもよい。

【0020】

ネットワークノード２０は、回線事業者やコンテンツ提供事業者が設備として設置するエッジサーバや、ユーザが宅内に設置するホームゲートウェイである。ネットワークノード２０と受信装置３０との間は一般に双方向通信が可能であり、一つのネットワークノード２０に複数の受信装置３０が紐づく場合もある。伝送路９０を介してコンテンツを受信する受信装置３０は無数に存在し得るため、コンテンツの配信者（送信装置１０）は必ずしも全てのユーザ（受信装置３０）の存在を把握していない。

【0021】

受信装置３０は、コンテンツデータを受信し、３次元空間コンテンツをＡＲで視聴する視聴端末である。受信装置３０は、オブジェクトのレンダリング画像とカメラで撮影した画像とを合成し、表示する。受信装置３０は、オブジェクトのレンダリング画像のみを表示してもよい。

【0022】

完成データ記憶部６０は、完成データ（１つ以上のオブジェクトデータ）と、補助情報と、を記憶する。オブジェクトデータは、被写体を複数のカメラで撮影してモデリングした３次元モデルのデータ（以下、「実写ベースＣＧデータ」と称する。）と、テクスチャの時間変化がない３次元ＣＧモデルのデータ（以下、「ＣＧデータ」と称する。）に分類できる。実写ベースＣＧデータは、フレーム間でテクスチャが変化する。３次元ＣＧモデルは、一般的には、３次元ソフトウェアによりモデル化される。補助情報は、コンテンツに含まれるオブジェクトの構成、コンテンツタイトル、各オブジェクトの名称などを示す情報である。

【0023】

＜第１の実施形態に係るデータ変換装置＞
図２は、第１の実施形態に係るデータ変換装置７０の構成例を示す図である。図２に示すデータ変換装置７０は、圧縮部７１と、分類部７２と、間引き部７３と、送出データ生成部７４と、コンテンツ構成メタデータ生成部７５と、を備える。データ変換装置７０の処理は、非リアルタイム又はリアルタイムのオフライン処理でもよいし、リアルタイムのオンライン処理でもよい。

【0024】

データ変換装置７０は、完成データ記憶部６０から、実写ベースＣＧデータと、ＣＧデータと、を含む完成データを入力する。

【0025】

圧縮部７１は、完成データを、ユーザがコンテンツを視聴する際の品質劣化を許容できるレベルで、非可逆を含む圧縮方式により圧縮し、圧縮データを生成する。例えば、ジオメトリデータ及びテクスチャデータを１つにまとめてバイナリ形式に変換する。このとき、１つのオブジェクトに対して複数の解像度パターンで圧縮されたオブジェクトデータが生成され得る。そして、圧縮部７１は、圧縮データを分類部７２に出力する。なお、圧縮部７１と分類部７２の処理順は逆であってもよい。

【0026】

図３は、実写ベースＣＧデータ及びＣＧデータのデータ構造を示す図である。データ構造は、オブジェクト毎及びフレーム毎に、図３に示すように、３次元メタデータ、ジオメトリ、及びテクスチャを有する。このデータ構造をもつファイルフォーマットは、例えばglTF（The GL Transmission Format）である。３次元メタデータは、テクスチャファイルのディレクトリ情報など、様々なメタデータを含んでよい。

【0027】

図４に示すように、実写ベースＣＧデータ及びＣＧデータは、複数のポリゴンで構成されるジオメトリＧに、テクスチャＴを張り付けたデータである。なお、ジオメトリの各ポリゴンと、テクスチャとの対応関係は、ジオメトリに含まれる。

【0028】

図５は、フレーム毎の実写ベースＣＧデータの一例を示す図であり、図６は、フレーム毎のＣＧデータの一例を示す図である。本実施形態における圧縮部７１は、glb（glTF-Binary）データを生成する。glbデータは、glTFで保存された３Ｄモデルのバイナリファイル形式表現である。図５に示すように、実写ベースＣＧデータは、フレーム間でジオメトリＧ及びテクスチャＴが変化する。一方、図６に示すように、ＣＧデータは、フレーム間でジオメトリＧだけが変化し、テクスチャＴは変化しない。

【0029】

再び図２を参照する。分類部７２は、圧縮部７１により圧縮されたデータを、実写ベースＣＧデータとＣＧデータに分類する。そして、分類部７２は、実写ベースＣＧデータを送出データ生成部７４に出力し、ＣＧデータを間引き部７３に出力する。

【0030】

間引き部７３は、所定のフレームにおけるＣＧデータのテクスチャのデータを間引く。例えば、３フレーム間隔で２フレームのＣＧデータのテクスチャのデータを間引く。そして、間引き部７３は、間引き処理後のＣＧデータ（以下、「間引きＣＧデータ」という。）を送出データ生成部７４に出力する。

【0031】

送出データ生成部７４は、分類部７２から実写ベースＣＧデータを入力し、間引き部７３から間引きＣＧデータを入力する。そして、送出データ生成部７４は、フレーム毎に、タイミングを調整した実写ベースＣＧデータ及び間引きＣＧデータを送出データとして生成する。送出データ生成部７４は、生成した送出データを送出データ記憶部８０に出力する。完成データの時点では、オブジェクトは互いに独立した、オブジェクト固有のタイムラインをもっている。そこで、送出データ生成部７４は、タイミングを調整して共通のタイムラインにのせる。これにより、各オブジェクトを適切に組み合わせることが可能となる。

【0032】

コンテンツ構成メタデータ生成部７５は、補助情報を参照し、コンテンツ構成メタデータを生成する。そして、コンテンツ構成メタデータ生成部７５は、生成したコンテンツ構成メタデータを送出データ記憶部８０に出力する。コンテンツ構成メタデータには、３次元空間コンテンツに含まれるオブジェクト・解像度パターンの一覧などのデータ構成情報や、コンテンツタイトル、各オブジェクトの名称などの情報が含まれ得る。コンテンツ構成メタデータは、シーン記述などと呼ばれる場合もある。

【0033】

図７は、データ変換装置７０の効果を説明する図である。ＣＧの３次元モデルは、表面の柄に時間変化がなければ、すべてのフレームで使用するテクスチャ画像が同一である。このことに着目して、データ変換装置７０は図７に示すようにＣＧデータからテクスチャデータを間引く。受信装置３０は、テクスチャデータが間引かれていた場合には、受信済みのテクスチャデータを繰り返し使用する。これにより、視聴品質を落とすことなく伝送するデータ量を削減することが可能となる。

【0034】

＜第２の実施形態に係るデータ変換装置＞
次に、第２の実施形態に係るデータ変換装置について説明する。図８は、第２の実施形態に係るデータ変換装置７０ａの構成例を示す図である。図８に示すデータ変換装置７０ａは、圧縮部７１と、分類部７２と、間引き部７３ａと、送出データ生成部７４と、コンテンツ構成メタデータ生成部７５と、間引きフレーム決定部７６と、を備える。第２の実施形態に係るデータ変換装置７０ａは第１の実施形態に係るデータ変換装置７０と比較して、間引き部７３に代えて間引き部７３ａを備え、間引きフレーム決定部７６を更に備える点が相違する。その他の構成については第１の実施形態と同一であるため、同一の参照番号を付して適宜説明を省略する。

【0035】

第１の実施形態では、間引き部７３によりＣＧデータのテクスチャのデータを間引くが、このとき、テクスチャを間引かないフレームにおいて、相対的にレートが高くなってしまう場合がある。そこで、第２の実施形態では、テクスチャを間引かないフレームを、合計のデータ量が低いフレームに決定する。

【0036】

送出データ生成部７４は、実写ベースＣＧデータの送出データを間引きフレーム決定部７６に出力する。

【0037】

間引きフレーム決定部７６は、各フレームにおける実写ベースＣＧデータの送出データのデータ量を計算し、所定のフレーム間隔毎に、該データ量が大きいフレームを、ＣＧデータのテクスチャを間引くフレーム（以下、「間引きフレーム」という。）に決定する。具体的には、間引きフレーム決定部７６は、間引きフレームを決定する所定のフレーム間隔をＸフレームとした場合、Ｘフレーム毎に、実写ベースＣＧデータの送出データのデータ量が小さいフレームから順位付けする。そして、順位が下のフレーム（すなわち、伝送する実写ベースＣＧデータ量が大きいフレーム）を、間引きフレームに決定する。そして、間引きフレーム決定部７６は、決定した間引きフレームを間引き部７３ａに通知する。

【0038】

本実施形態では、間引きフレーム決定部７６は、Ｘフレーム間隔毎に、実写ベースＣＧデータの送出データのデータ量が最小でないフレームを間引きフレームに決定する。

【0039】

間引き部７３ａは、間引きフレーム決定部７６により決定された間引きフレームにおけるＣＧデータのテクスチャのデータを間引く。そして、間引き部７３ａは、間引きＣＧデータを送出データ生成部７４に出力する。

【0040】

次に、データ変換装置７０ａの処理について説明する。

【0041】

図９は、ＣＧデータが１種類の場合のデータ変換装置７０ａの処理を示すフローチャートである。ステップＳ１０１では、データ変換装置７０ａは、完成データ記憶部６０から各オブジェクトデータを受信する。

【0042】

ステップＳ１０２では、処理開始フレームＳ＝１とする。Ｓはフレーム番号である。

【0043】

ステップＳ１０３では、送出データ生成部７４により、Ｓ～（Ｓ＋Ｘ－１）区間の各フレームにおける各実写ベースＣＧデータの送出データを作成する。

【0044】

ステップＳ１０４では、間引きフレーム決定部７６により、Ｓ～（Ｓ＋Ｘ－１）区間の各フレームにおける実写ベースＣＧデータの送出データの合計データ量を計算し、データ量が最小のフレームＦｍｉｎを決定する。

【0045】

ステップＳ１０５では、間引き部７３ａにより、ＣＧデータについて、フレームＦｍｉｎ以外のフレームでテクスチャのデータを間引きく。そして、送出データ生成部７４により、ＣＧデータの送出データを生成する。

【0046】

ステップＳ１０６では、フレーム番号Ｓの値をＳ＋Ｘに更新する。

【0047】

ステップＳ１０７では、フレーム番号Ｓがコンテンツの最後のフレーム番号Ｅを超えるか否かを判定する。フレーム番号Ｓがコンテンツの最後のフレーム番号Ｅ以下である場合には、処理をステップＳ１０３に戻し、フレーム番号Ｓがコンテンツの最後のフレーム番号Ｅを超えるまでステップＳ１０３からステップＳ１０６までの処理を繰り返す。

【0048】

図１０は、データ変換装置７０ａの効果を説明する図である。なお、横方向は時間軸であり、この例では１フレーム１モデル表示という条件のもと、時刻tに表示する１フレーム目のファイルを00001.glb、時刻t＋1に表示する２フレーム目のファイルを00002.glb、時刻t＋２に表示する３フレーム目のファイルを00003.glbとしている。また、簡易的に１フレーム目の実写ベースＣＧデータの送出データのデータ量（ジオメトリとテクスチャの合計のデータ量）を１００ｋＢとし、２フレーム目の実写ベースＣＧデータの送出データのデータ量を５０ｋＢとし、３フレーム目の実写ベースＣＧデータの送出データのデータ量を７５ｋＢとする。また、ＣＧデータは１種類であり、各フレームのＣＧデータの送出データのデータ量（ジオメトリとテクスチャの合計のデータ量）を１００ｋＢとする。各フレームのＣＧデータのテクスチャのデータ量を５０ｋＢとする。実写ベースＣＧデータはフレーム毎にジオメトリとテクスチャが変化するため、データ量が低いフレームが発生する。ＣＧデータは、テクスチャは同一であり、頂点数や頂点の結合関係が変わらないため、基本的にフレーム間でデータ量は変わらない（ただし、頂点の圧縮をする場合にはデータ量が変わり得る。）。

【0049】

図１０Ａは、先頭フレームでＣＧデータのテクスチャを間引かない場合を示している。この場合、実写ベースＣＧデータ及びＣＧデータの送出データの合計データ量は、１フレーム目では２００ｋＢとなり、２フレーム目では１００ｋＢとなり、３フレーム目では１２５ｋＢとなる。図１０Ｂは、本実施形態のように、データ量が少ない２フレーム目でＣＧデータのテクスチャを間引かない場合を示している。この場合、合計データ量は、１フレーム目では１５０ｋＢとなり、２フレーム目では１５０ｋＢとなり、３フレーム目では１２５ｋＢとなる。両者を比較すると、図１０Ａよりも図１０Ｂの方がピークレートを低減でき、伝送レートを平滑化できていることが分かる。

【0050】

図１１は、ＣＧデータが複数の場合のデータ変換装置７０ａの処理を示すフローチャートである。ステップＳ２０１からステップＳ２０３は、図９のステップＳ１０１からステップＳ１０３と同一であるため、説明を省略する。

【0051】

ステップＳ２０４では、間引きフレーム決定部７６により、ここまでに作成したＳ～（Ｓ＋Ｘ－１）区間の各フレームにおける実写ベースＣＧデータ及びＣＧデータの送出データの合計データ量を計算し、データ量が最小のフレームＦｍｉｎを決定する。

【0052】

ステップＳ２０５では、間引き部７３ａにより、まだ間引き処理を行ってない（すなわち、送出データを作成していない）ＣＧデータのうち、データ量が最大のＣＧデータについて、フレームＦｍｉｎ以外のフレームでテクスチャのデータを間引く。そして、送出データ生成部７４により、該ＣＧデータの送出データを生成する。

【0053】

ステップＳ２０６では、送出データを作成していないＣＧデータがあるか否かを判定する。送出データを作成していないＣＧデータがある場合には、処理をステップＳ２０４に戻し、送出データを作成していないＣＧデータがなくなるまで、ステップＳ２０４及びステップＳ２０５の処理を繰り返す。

【0054】

ステップＳ２０７では、フレーム番号Ｓの値をＳ＋Ｘに更新する。

【0055】

ステップＳ２０８では、フレーム番号Ｓがコンテンツの最後のフレーム番号Ｅを超えるか否かを判定する。フレーム番号Ｓがコンテンツの最後のフレーム番号Ｅ以下である場合には、処理をステップＳ２０３に戻し、フレーム番号Ｓがコンテンツの最後のフレーム番号Ｅを超えるまでステップＳ２０３からステップＳ２０７までの処理を繰り返す。

【0056】

次に、ステップＳ２０４からステップＳ２０６の処理の一例について説明する。この例では、ＣＧデータを第１ＣＧデータ及び第２ＣＧデータの２種類とし、Ｘ＝３とし、各データ量を下記の表１で示す値とする。この場合、ステップＳ２０４の１回目の処理では、合計データ量が最小となる、フレーム番号Ｓ＝２のフレームをＦｍｉｎに決定する。

【0057】

【表1】

【0058】

ステップＳ２０５の１回目の処理では、ＣＧデータのうちデータ量が最大となる第２ＣＧデータについて、Ｆｍｉｎ（フレーム番号Ｓ＝２のフレーム）以外のフレームでテクスチャのデータを間引いた後、送出データを作成する。表１において、第２ＣＧデータの各フレームのテクスチャのデータ量を６０ｋＢとすると、該間引き処理後の各データ量は、下記の表２に示す値となる。

【0059】

【表2】

【0060】

ステップＳ２０６の１回目の処理では、送出データを作成していないＣＧデータとして第１ＣＧデータが残っているため、処理をステップＳ２０４に戻す。

【0061】

ステップＳ２０４の２回目の処理では、表２に基づいて、合計データ量が最小となる、フレーム番号Ｓ＝３のフレームをＦｍｉｎに決定する。

【0062】

ステップＳ２０５の２回目の処理では、送出データを作成していない第１ＣＧデータについて、Ｆｍｉｎ（フレーム番号Ｓ＝３のフレーム）以外のフレームでテクスチャのデータを間引いた後、送出データを作成する。表２において、第１ＣＧデータの各フレームのテクスチャのデータ量を５０ｋＢとすると、該間引き処理後の各データ量は、下記の表３に示す値となる。

【0063】

【表3】

【0064】

ステップＳ２０６の２回目の処理では、この時点で送出データを作成していないＣＧデータはないため、処理をステップＳ２０７に進める。かかる処理により、図１０に示した例と同様に、ピークレートを低減でき、伝送レートを平滑化できていることが分かる。

【0065】

このように、データ変換装置７０ａは、テクスチャを間引かないデータを送信するフレームを適応的に選択する。これにより、視聴品質を落とすことなく伝送するデータ量を削減するとともに、ＣＧデータのテクスチャを間引かないフレームのレートの相対的な上昇を抑えることが可能となる。

【0066】

＜変形例＞
送信装置１０がコンテンツをブロードキャストする場合には、上述した実施形態のように、データ変換装置７０，７０ａはＣＧデータのテクスチャを周期的に出力する必要がある。しかし、送信装置１０がコンテンツをユニキャストする場合には、データ変換装置７０，７０ａはＣＧデータのテクスチャに変更がない限り、ＣＧデータのテクスチャを１度のみ出力し、受信装置３０は該テクスチャをキャッシュするようにしてもよい。これにより、伝送するデータ量をさらに削減することが可能となる。

【0067】

ネットワークノード２０は、送信装置１０から３次元空間コンテンツのパケットを受信し、フィルタ処理して受信装置３０に送信してもよい。ネットワークノード２０は、静止オブジェクトのデータ（静止物データ）をキャッシュし、周期的に（例えば３０フレームに１回）静止物データを受信装置３０に送信してもよい。ネットワークノード２０は、各フレームにおける静止物データ以外のオブジェクトデータのデータ量を計算し、所定のフレーム間隔毎に、該データ量が大きいフレーム（例えば、該データ量が最小でないフレーム）では、静止物データを送信しないようにしてもよい。

【0068】

＜プログラム＞
上記のデータ変換装置７０，７０ａとして機能させるために、それぞれプログラム命令を実行可能なコンピュータを用いることも可能である。コンピュータは、データ変換装置７０，７０ａの機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータのプロセッサによってこのプログラムを読み出して実行させることで実現することができ、これらの処理内容の少なくとも一部をハードウェアで実現することとしてもよい。ここで、プログラム命令は、必要なタスクを実行するためのプログラムコード、コードセグメントなどであってもよい。プロセッサは、ＣＰＵ，ＧＰＵ，ＤＳＰ，ＡＳＩＣ(Application Specific Integrated Circuit)などであってもよい。

【0069】

また、このプログラムは、コンピュータが読み取り可能な記録媒体に記録されていてもよい。このような記録媒体を用いれば、プログラムをコンピュータにインストールすることが可能である。ここで、プログラムが記録された記録媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭなどの記録媒体であってもよい。また、このプログラムは、ネットワークを介したダウンロードによって提供することもできる。

【0070】

また、上述したデータ変換装置７０，７０ａは、１つ又は複数の半導体チップにより構成されてもよい。この半導体チップは、表示制御装置１の各機能を実現する処理内容を記述したプログラムを実行するＣＰＵを搭載してもよい。

【0071】

上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態に記載の構成ブロックについて、複数を１つに組み合わせたり、１つを複数に分割したりすることが可能である。

【符号の説明】

【0072】

１ ３次元空間コンテンツ伝送システム
１０ 送信装置
２０ ネットワークノード
３０ 受信装置
５０ 撮影・制作システム
６０ 完成データ記憶部
７０，７０ａ データ変換装置
７１ 圧縮部
７２ 分類部
７３，７３ａ 間引き部
７４ 送出データ生成部
７５ コンテンツ構成メタデータ生成部
７６ 間引きフレーム決定部
８０ 送出データ記憶部
９０ 伝送路

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10A】

【図10B】

【図11】