特開 2024-7266 ネットワークノード及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024007266

(43)【公開日】2024-01-18

(54)【発明の名称】ネットワークノード及びプログラム

(51)【国際特許分類】

   H04N 21/647 20110101AFI20240111BHJP

   H04N 21/61 20110101ALI20240111BHJP

【ＦＩ】

H04N21/647

H04N21/61

【審査請求】未請求

【請求項の数】4

【出願形態】ＯＬ

(21)【出願番号】P 2022108652

(22)【出願日】2022-07-05

(71)【出願人】

【識別番号】000004352

【氏名又は名称】日本放送協会

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】230118913

【弁護士】

【氏名又は名称】杉村 光嗣

(74)【代理人】

【識別番号】100161148

【弁理士】

【氏名又は名称】福尾 誠

(72)【発明者】

【氏名】蛭間 信博

(72)【発明者】

【氏名】河村 侑輝

(72)【発明者】

【氏名】今村 浩一郎

【テーマコード（参考）】

5C164

【Ｆターム（参考）】

5C164GA03

5C164TA21P

5C164TB45P

(57)【要約】

【課題】３次元オブジェクトデータの伝送効率を向上させる。
【解決手段】ネットワークノード２０は、静止オブジェクトのデータをキャッシュする静止物データキャッシュ部２６と、受信装置３０に送信する送信オブジェクトを指定する送信オブジェクト指示を生成し、受信装置３０の視野内に提示させるオブジェクトに静止オブジェクトが含まれる場合には、該静止オブジェクトのデータを受信装置３０に送信済みでないときにのみ送信オブジェクト指示に該静止オブジェクトのＩＤを追加するビューポート推定部２７と、送信装置１０から受信したオブジェクトデータのうち、静止オブジェクトのデータを静止物データキャッシュ部２６に出力するとともに、送信オブジェクト指示により指定された送信オブジェクトのデータを出力するパケットフィルタ部３１と、を備える。
【選択図】図３

【特許請求の範囲】

【請求項1】

送信装置から受信したオブジェクトデータをフィルタ処理して受信装置に送信するネットワークノードであって、
静止オブジェクトのデータをキャッシュする静止物データキャッシュ部と、
前記受信装置に送信する送信オブジェクトを指定する送信オブジェクト指示を生成し、前記受信装置の視野内に提示させるオブジェクトに静止オブジェクトが含まれる場合には、該静止オブジェクトのデータを前記受信装置に送信済みでないときにのみ前記送信オブジェクト指示に該静止オブジェクトのＩＤを追加するビューポート推定部と、
前記送信装置から受信したオブジェクトデータのうち、静止オブジェクトのデータを前記静止物データキャッシュ部に出力するとともに、前記送信オブジェクト指示により指定された送信オブジェクトのデータを出力するパケットフィルタ部と、
を備えるネットワークノード。

【請求項2】

前記ビューポート推定部は、前記受信装置の視野内に提示させるオブジェクトに、前記受信装置に送信済みでない複数の静止オブジェクトが含まれる場合には、前記送信オブジェクト指示に１つずつ異なるタイミングで前記静止オブジェクトのＩＤを追加する、請求項１に記載のネットワークノード。

【請求項3】

前記受信装置ごとに各静止物データを送信済みであるか否かを示すフラグを管理する静止物データ送信フラグ管理部を備え、
前記ビューポート推定部は、前記フラグにより、前記静止オブジェクトのデータを前記受信装置に送信済みであるか否かを判断する、請求項１又は２に記載のネットワークノード。

【請求項4】

コンピュータを、請求項１に記載のネットワークノードとして機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ネットワークノード及びプログラムに関する。

【背景技術】

【0002】

近年、ＡＲ（Augmented Reality）／ＶＲ（Virtual Reality）技術の進歩により、ＡＲ／ＶＲ対応端末や、ＡＲ／ＶＲコンテンツが普及し始めている。ＡＲ／ＶＲ対応端末とは、スマートフォン、タブレット型端末、ＶＲゴーグル、ＡＲグラスなどである。ＡＲ／ＶＲは、コンテンツデータとして、３次元オブジェクトデータ（３次元モデルデータ）を取り扱う。

【0003】

特許文献１には、フレーム単位で３次元オブジェクトデータを受信装置(視聴端末)に伝送する技術が開示されている。この技術によれば、伝送するオブジェクトを識別可能なメタデータをパケットに有するため、静止オブジェクトと動的オブジェクトとを分離し、静止オブジェクトだけは低いフレームレートで伝送するような処理も可能であり、映像の品質を落とすこと無く受信装置に伝送するデータ量を削減することができる。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０２２－３２８３８号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献１に開示された技術では、静止オブジェクトのデータを周期的に伝送するため、伝送効率を改善する余地があった。

【0006】

かかる事情に鑑みてなされた本発明の目的は、３次元オブジェクトデータの伝送効率を向上させることが可能なネットワークノード及びプログラムを提供することにある。

【課題を解決するための手段】

【0007】

一実施形態に係るネットワークノードは、送信装置から受信したオブジェクトデータをフィルタ処理して受信装置に送信するネットワークノードであって、静止オブジェクトのデータをキャッシュする静止物データキャッシュ部と、前記受信装置に送信する送信オブジェクトを指定する送信オブジェクト指示を生成し、前記受信装置の視野内に提示させるオブジェクトに静止オブジェクトが含まれる場合には、該静止オブジェクトのデータを前記受信装置に送信済みでないときにのみ前記送信オブジェクト指示に該静止オブジェクトのＩＤを追加するビューポート推定部と、前記送信装置から受信したオブジェクトデータのうち、静止オブジェクトのデータを前記静止物データキャッシュ部に出力するとともに、前記送信オブジェクト指示により指定された送信オブジェクトのデータを出力するパケットフィルタ部と、を備える。

【0008】

さらに、一実施形態において、前記ビューポート推定部は、前記受信装置の視野内に提示させるオブジェクトに、前記受信装置に送信済みでない複数の静止オブジェクトが含まれる場合には、前記送信オブジェクト指示に１つずつ異なるタイミングで前記静止オブジェクトのＩＤを追加してもよい。

【0009】

さらに、一実施形態において、前記受信装置ごとに各静止物データを送信済みであるか否かを示すフラグを管理する静止物データ送信フラグ管理部を備え、前記ビューポート推定部は、前記フラグにより、前記静止オブジェクトのデータを前記受信装置に送信済みであるか否かを判断してもよい。

【0010】

また、一実施形態係るプログラムは、コンピュータを、上記ネットワークノードとして機能させる。

【発明の効果】

【0011】

本発明によれば、３次元オブジェクトデータの伝送において、受信装置に伝送するデータ量を削減することができる。

【図面の簡単な説明】

【0012】

【図1】一実施形態に係る放送型の３次元空間コンテンツ伝送システムの構成例を示す図である。

【図2】一実施形態に係る送信データ記憶部及び送信装置の構成例を示すブロック図である。

【図3】一実施形態に係るネットワークノードの構成例を示すブロック図である。

【図4】一実施形態に係るネットワークノードのパケットフィルタ部における静止物データキャッシュ部へのキャッシュ処理を示すフローチャートである。

【図5】一実施形態に係るネットワークノードのパケットフィルタ部におけるパケット送信部へのオブジェクトデータ出力処理を示すフローチャートである。

【図6】一実施形態に係るネットワークノードのビューポート推定部における処理を示すフローチャートである。

【図7】一実施形態に係る受信装置の構成例を示すブロック図である。

【発明を実施するための形態】

【0013】

以下、本発明の実施形態について、図面を参照して詳細に説明する。なお、以下の説明において、「３次元オブジェクト」を単に「オブジェクト」と称する。

【0014】

図１は、本発明の一実施形態に係る放送型の３次元空間コンテンツ伝送システム１の構成例を示す図である。図１に示す３次元空間コンテンツ伝送システム１は、撮影・制作システム５０と、完成データ記憶部６０と、データ変換装置７０と、送出データ記憶部８０と、送信装置１０と、ネットワークノード２０と、受信装置（視聴端末）３０と、を備える。本実施形態では、データ変換装置７０と送信装置１０とを別個の装置としているが、データ変換装置７０及び送信装置１０は一つの装置として一体化されていてもよい。

【0015】

撮影・制作システム５０は、３次元空間コンテンツを制作し、完成データとして完成データ記憶部６０に出力する。完成データとは、例えば、非圧縮・可逆圧縮、又は劣化の少ない軽量圧縮で符号化された、１つ以上のオブジェクトデータを含むコンテンツデータである。

【0016】

データ変換装置７０は、完成データ記憶部６０から入力した完成データを送出データに変換し、送出データ記憶部８０に出力する。データ変換装置７０の処理は、非リアルタイム又はリアルタイムのオフライン処理でもよいし、リアルタイムのオンライン処理でもよい。送出データは、オブジェクトデータが、ユーザがコンテンツを視聴する際の品質劣化が許容できるレベルで、非可逆を含む圧縮方式により圧縮され、伝送路９０上での配信に適したデータに変換される。このとき、１つのオブジェクトに対して複数の解像度パターンで圧縮されたオブジェクトデータが生成され得る。また、完成データ及び送出データともに、コンテンツデータには、そのコンテンツに含まれるオブジェクトの構成、コンテンツタイトルや各オブジェクトの名称などの情報が補助情報として含まれる。

【0017】

また、データ変換装置７０は、完成データの補助情報を参照し、コンテンツ構成メタデータを生成する。そして、データ変換装置７０は、生成したコンテンツ構成メタデータを送出データに含め、送出データ記憶部８０に出力する。コンテンツ構成メタデータには、３次元空間コンテンツに含まれるオブジェクト・解像度パターンの一覧などのデータ構成情報や、コンテンツタイトル、各オブジェクトの名称などの情報が含まれ得る。コンテンツ構成メタデータは、シーン記述などと呼ばれる場合もある。

【0018】

送信装置１０は、伝送路９０を介して、放送型の３次元空間コンテンツの構成要素であるオブジェクトをオブジェクトデータとして、複数のネットワークノード２０又は受信装置３０に送信する。

【0019】

伝送路９０は、グローバルなインターネットや回線事業者が運営するクローズドネットワークなどの通信伝送路や、地上放送・衛星放送などの放送伝送路を含む。

【0020】

ネットワークノード２０は、回線事業者やコンテンツ提供事業者が設備として設置するエッジサーバや、ユーザが宅内に設置するホームゲートウェイである。ネットワークノード２０と受信装置３０との間は一般に双方向通信が可能であり、一つのネットワークノード２０に複数の受信装置３０が紐づく場合もある。伝送路９０を介してコンテンツを受信する受信装置３０は無数に存在し得るため、コンテンツの配信者（送信装置１０）は必ずしも全てのユーザ（受信装置３０）の存在を把握していない。

【0021】

（送信システム）
図２は、本発明の一実施形態に係る送信装置１０の構成例を示す図である。送出データ記憶部８０は、３次元コンテンツの各種補助情報を記述するコンテンツ構成メタデータを記憶する。また、送出データ記憶部８０は、１つ以上のオブジェクトデータを記憶する。

【0022】

図２に示す送信装置１０は、ＩＤ決定部１１と、伝送フレーム構成部１２と、メタデータ生成部１３と、パケット構成部１４と、パケット送信部１５と、オブジェクト提示位置情報生成部１６と、を備える。

【0023】

ＩＤ決定部１１は、送出データ記憶部８０から入力したコンテンツ構成メタデータを参照して、放送型の３次元空間コンテンツの構成要素であるオブジェクトについて、該オブジェクトを識別するオブジェクトＩＤ、及び該オブジェクトの解像度パターンごとのパケットを識別するパケットＩＤを決定する。そして、ＩＤ決定部１１は、オブジェクトＩＤ及びパケットＩＤを示すＩＤ情報をメタデータ生成部１３及びパケット構成部１４に出力する。オブジェクトＩＤ及びパケットＩＤは、例えば、１６ビットの符号なし整数である。

【0024】

コンテンツ構成メタデータにおいてオブジェクトを管理するオブジェクトＩＤが予め付与されている場合も考えられる。ＩＤ決定部１１は、コンテンツ構成メタデータに記載のオブジェクトＩＤが、パケットのヘッダに付与する際の形式に適合する場合には、そのオブジェクトＩＤをそのまま用いてもよいし、予め定めた変換ルールを用いてパケットのヘッダに付与する際の形式に変換してもよい。パケットＩＤについても、コンテンツ構成メタデータに相当するＩＤ（解像度パターンＩＤなど）があれば、同様にそれを使用できる。また、ＩＤ決定部１１は、オブジェクトＩＤ及びパケットＩＤを、コンテンツ構成メタデータによらずに自動的に発番してもよいし、別途与えられる設定等に従って割り当ててもよい。

【0025】

オブジェクト提示位置情報生成部１６は、送出データ記憶部８０から入力したオブジェクトデータの主にジオメトリを解析し、３次元空間のワールド座標において各オブジェクトの代表的な提示位置を示すオブジェクト提示位置情報を生成する。オブジェクト提示位置情報は、一般的に、コンテンツのフレームレートと同一又はフレームレート以下の周期で更新される、シーケンシャルなデータとなる。そして、オブジェクト提示位置情報生成部１６は、生成したオブジェクト提示位置情報をメタデータ生成部１３に出力する。

【0026】

オブジェクト提示位置情報は、例えば、オブジェクトの全ての頂点座標の平均座標や、頂点座標の最大値や、頂点座標の最大値を用いて得られるバウンディングボックスの情報である。オブジェクト提示位置情報は、オブジェクトが３次元空間内を動く場合には動的な情報となる。オブジェクト提示位置情報は、予めコンテンツ構成メタデータに含まれる場合も想定される。その場合には、オブジェクト提示位置情報生成部１６は、オブジェクトデータを解析することなく、コンテンツ構成メタデータに含まれるオブジェクト提示位置情報を使用してもよい。図２では、コンテンツ構成メタデータからオブジェクト提示位置情報を取得する例を示している。

【0027】

メタデータ生成部１３は、送出データ記憶部８０から入力したコンテンツ構成メタデータを、必要に応じて伝送用のメタデータの形式に適合するように変換する。また、メタデータ生成部１３は、必要に応じて、ＩＤ決定部１１から入力したＩＤ情報（オブジェクトＩＤ及びパケットＩＤ）と、オブジェクト提示位置情報生成部１６から入力したオブジェクト提示位置情報とを対応付ける情報を含むメタデータを生成する。そして、メタデータ生成部１３は、生成したメタデータをパケット構成部１４に出力する。

【0028】

伝送フレーム構成部１２は、オブジェクトデータごとに、伝送フレームを構成する。伝送フレームは、オブジェクトごとに独立したデータ構造とする。そして、伝送フレーム構成部１２は、構成した伝送フレームをパケット構成部１４に出力する。一つの伝送フレームには、例えば、オブジェクトのジオメトリデータとテクスチャデータを含む。なお、伝送時のオブジェクトの単位は、必ずしも一つのオブジェクトとして視認される単位と一致しなくてもよい。例えば、３次元空間コンテンツにおいて、コンテンツの主要なオブジェクトはそれぞれ独立したオブジェクトとして伝送フレーム化して伝送するが、その他の背景オブジェクトについては、まとめて単一オブジェクトとして扱って伝送フレームを構成して伝送してもよい。逆に、一つのオブジェクトとして視認されるものが、伝送時は複数のオブジェクトとして分割して伝送してもよい。例えば、人物等のオブジェクトを、特に注目されやすい顔を含む頭部とその他の部分に分割して伝送フレームを構成して伝送してもよい。

【0029】

メタデータ生成部１３は、送出データ記憶部８０から入力したコンテンツ構成メタデータを、必要に応じて伝送用のメタデータの形式に適合するように変換する。そして、メタデータ生成部１３は、生成したメタデータをパケット構成部１４に出力する。メタデータは一定周期で送信され、受信装置３０又はネットワークノード２０が、受信中の３次元空間コンテンツのオブジェクトの構成、及びそれらのデータを伝送するオブジェクトＩＤ及びパケットＩＤを知るための補助情報として用いられる。

【0030】

パケット構成部１４は、伝送フレーム構成部１２から入力した伝送フレーム、及びメタデータ生成部１３から入力したメタデータを、伝送に用いるパケットに分割し、ＩＤ決定部１１から入力したＩＤ情報に従い、パケットにオブジェクトＩＤ及びパケットＩＤを付与する。そして、パケット構成部１４は、生成したパケットをパケット送信部１５に出力する。すなわち、パケット構成部１４は、オブジェクトＩＤ及びパケットＩＤをヘッダ情報として有する伝送フレームのパケットと、メタデータのパケットと、を生成する。なお、パケットＩＤは全てのパケットに付与される。一方、オブジェクトＩＤは、全てのパケットのヘッダに付与するようにしてもよいし、伝送フレームが複数のパケットに分割された際には、分割された伝送フレームの先頭部分を含むパケットのヘッダのみに付与するようにしてもよい。

【0031】

パケット送信部１５は、パケット構成部１４から入力した各パケットに宛先アドレス、宛先ポート番号などを付与して、伝送路９０に送信する。

【0032】

（ネットワークノード）
次に、本発明の一実施形態に係るネットワークノードについて、図３を参照して説明する。図３は、一実施形態に係るネットワークノード２０の構成例を示す図である。ネットワークノード２０は、上述した送信装置１０から３次元空間コンテンツ（オブジェクトデータ及びメタデータ）のパケットを受信し、フィルタ処理して受信装置３０に送信する。

【0033】

図３に示すネットワークノード２０は、パケットフィルタ部２１と、メタデータ再構成部２２と、メタデータ解析部２３と、パケット構成部２４と、パケット送信部２５と、静止物データキャッシュ部２６と、ビューポート推定部２７と、静止物データ送信フラグ管理部２８と、を備える。

【0034】

静止物データキャッシュ部２６は、静止物データをキャッシュする。「静止物データ」とは、静止オブジェクトのデータのことをいう。

【0035】

パケットフィルタ部２１は、送信装置１０から受信したオブジェクトデータのうち、静止物データを静止物データキャッシュ部２６に出力するとともに、ビューポート推定部２７から入力した送信オブジェクト指示により指定された送信オブジェクトのデータのパケットをパケット送信部２５に出力する。また、パケットフィルタ部２１は、送信装置１０から受信したメタデータのパケットをメタデータ再構成部２２に出力する。

【0036】

「送信オブジェクト指示」とは、受信装置３０に送信する送信オブジェクトを指定する情報である。送信オブジェクトは、オブジェクトＩＤにより特定してよい。パケットフィルタ部２１は、送信オブジェクト指示により指定された送信オブジェクトに静止オブジェクトが含まれる場合、静止物データキャッシュ部２６から該当する静止物データを取得し、パケット送信部２５に送信する。

【0037】

パケットフィルタ部２１における静止物データキャッシュ部２６へのキャッシュ処理を、図４を参照して説明する。パケットフィルタ部２１は、送信装置１０からオブジェクトデータを受信待機し（ステップＳ１０１）、オブジェクトデータを受信すると（ステップＳ１０２でＹｅｓ）、オブジェクトデータが静止物データであるか否かを判定する（ステップＳ１０３）。オブジェクトデータが静止物データであり（ステップＳ１０３でＹｅｓ）、且つ該静止物データが静止物データキャッシュ部２６にキャッシュされていない場合には（ステップＳ１０４でＹｅｓ）、パケットフィルタ部２１は該静止物データを静止物データキャッシュ部２６にキャッシュする。

【0038】

ステップＳ１０３において、オブジェクトデータが静止物データであるか否かを示す情報がメタデータに追記されている場合には、パケットフィルタ部２１は、該情報に基づいて判定してよい。ネットワーク上流で静止物データは伝送レートを下げて周期的に伝送する場合には、パケットフィルタ部２１は、ネットワーク上流から送られてくるオブジェクトデータのうち、一定の周期で送信されてくるオブジェクトデータを静止物データと判定してよい。

【0039】

パケットフィルタ部２１におけるパケット送信部２５へのオブジェクトデータ出力処理を、図５を参照して説明する。パケットフィルタ部２１は、ビューポート推定部２７から送信オブジェクト指示を受信待機し（ステップＳ２０１）、送信オブジェクト指示を受信すると（ステップＳ２０２でＹｅｓ）、パケット送信部２５に送信する送信オブジェクトに静止オブジェクトが含まれるか否かを判定する（ステップＳ２０３）。送信オブジェクトに静止オブジェクトが含まれる場合には（ステップＳ２０３でＹｅｓ）、静止物データキャッシュ部２６から該静止オブジェクトに対応する静止物データを取得する（ステップＳ２０４）。そして、パケットフィルタ部２１は、送信オブジェクト指示により指定された送信オブジェクトのデータをパケット送信部２５に送信する（ステップＳ２０５）。

【0040】

再び図３を参照する。メタデータ再構成部２２は、パケットフィルタ部２１から入力したメタデータのパケットからメタデータを再構成する。具体的には、メタデータ再構成部２２は、パケットフィルタ部２１が通過させたオブジェクトのＩＤ情報のみに記載内容を削減したり、受信装置３０では使用されないオブジェクト提示位置情報を削減したりする。これにより、受信装置３０が受信するメタデータの情報量が削減されて必要最低限の情報となることで、受信装置３０のメタデータ解析部３３の処理負荷を軽減させることができる。

【0041】

パケット構成部２４は、メタデータ再構成部２２から入力したメタデータを、伝送に用いるパケットに分割する。そして、パケット構成部２４は、メタデータのパケットをパケット送信部２５に出力する。

【0042】

パケット送信部２５は、パケットフィルタ部２１から入力したオブジェクトデータのパケット、及びパケット構成部２４から入力したメタデータのパケットを、受信装置３０に出力する。受信装置３０は各オブジェクトについて、ネットワークノード２０から受信した最新のデータをキャッシュする。

【0043】

メタデータ解析部２３は、メタデータ再構成部２２から入力したメタデータから、各オブジェクトに割り当てられたオブジェクトＩＤ及びパケットＩＤを特定する。そして、メタデータ解析部２３は、特定したＩＤを示すＩＤ情報をパケットフィルタ部２１及びビューポート推定部２７に出力する。また、メタデータ解析部２３は、メタデータ再構成部２２から入力したメタデータから、オブジェクト提示位置情報を特定し、ビューポート推定部２７に出力する。

【0044】

静止物データ送信フラグ管理部２８は、受信装置３０から位置・視線方向情報を受信し、受信装置３０ごとに各静止物データを送信済みであるか否かを示すフラグ（以下、「送信済みフラグ」という。）を管理する。送信済みフラグがオン（１）である場合には静止物データを送信済みであることを意味し、送信済みフラグがオフ（０）である場合には静止物データを未送信であることを意味する。

【0045】

静止物データ送信フラグ管理部２８は、受信装置３０から位置・視線方向情報を初めて受信したタイミングで、ＩＰアドレス等を受信装置３０の識別情報としてフラグ管理を開始する。また、静止物データ送信フラグ管理部２８は、受信装置３０から一定時間、位置・視線方向情報を受信できなくなった場合に、受信装置３０のユーザが視聴を終了したと判断し、該受信装置３０のフラグ管理をリセットする。送信済みフラグのオン操作は、ビューポート推定部２７が行う。

【0046】

ビューポート推定部２７は、メタデータ解析部２３から入力したオブジェクト提示位置情報と、受信装置３０から受信した位置・視線方向情報とから、受信装置３０の視野内に提示させるオブジェクトを判定し、受信装置３０に送信する送信オブジェクトを指定する送信オブジェクト指示を生成し、パケットフィルタ部２１に出力する。ビューポート推定部２７は、受信装置３０の視野内に提示させるオブジェクトに静止オブジェクトが含まれる場合には、該静止オブジェクトのデータを受信装置３０に送信済みであるときは送信オブジェクト指示に該静止オブジェクトのＩＤを追加せず、該静止オブジェクトのデータを受信装置３０に送信済みでないときにのみ送信オブジェクト指示に該静止オブジェクトのＩＤを追加する。

【0047】

具体的には、ビューポート推定部２７は、受信装置３０の視野内に提示させるオブジェクトに静止オブジェクトが含まれているか確認する。静止オブジェクトが含まれている場合ビューポート推定部２７は、静止物データ送信フラグ管理部２８から送信済みフラグを取得し、該静止オブジェクトのデータである静止物データを受信装置３０に送信済みか否かを判断する。静止物データを受信装置３０に送信済みでない場合には、静止オブジェクトＩＤキューに該静止オブジェクトのＩＤを格納し、これから受信装置３０に送信するため、該受信装置３０の静止物送信済みフラグをオンにする。

【0048】

また、ビューポート推定部２７は、受信装置３０の視野内に提示させるオブジェクトに、受信装置３０に送信済みでない複数の静止オブジェクトが含まれる場合（すなわち、静止オブジェクトＩＤキューに複数の静止オブジェクトのＩＤが存在する場合）には、送信オブジェクト指示に１つずつ異なるタイミングで静止オブジェクトのＩＤを追加する。これにより、同一フレームのタイミングで複数の静止物データを受信装置３０に送信することを回避し、フレームをずらして静止物データを受信装置３０に送信することが可能となる。

【0049】

ビューポート推定部２７における処理を、図６を参照して説明する。ビューポート推定部２７は、メタデータ解析部２３から全オブジェクトの１フレーム分のＩＤ情報及びオブジェクト提示位置情報を受信待機し（ステップＳ３０１）、これらの情報を受信すると（ステップＳ３０２でＹｅｓ）、直前に受信装置３０から受信した位置・視線方向情報を用いて送信オブジェクト指示を作成する（ステップＳ３０３）。

【0050】

ビューポート推定部２７は、受信装置３０の視野内に提示させるオブジェクトに静止オブジェクトが１以上含まれ（ステップＳ３０４でＹｅｓ）、且つ静止物データ送信フラグ管理部２８の該静止オブジェクトの静止物送信済みフラグがオフである場合には（ステップＳ３０５でＹｅｓ）、該静止オブジェクトのＩＤを静止オブジェクトＩＤキューに格納し、静止物送信済みフラグをオンにする（ステップＳ３０６）。

【0051】

ステップＳ３０６において、ビューポート推定部２７は、静止オブジェクトのＩＤの小さい順から、１フレーム毎に１つのＩＤを静止オブジェクトＩＤキューに格納してよい。あるいは、ビューポート推定部２７は、受信装置３０との距離が短い順から、１フレーム毎に１つのＩＤを静止オブジェクトＩＤキューに格納してよい。

【0052】

ビューポート推定部２７は、静止オブジェクトＩＤキューに静止オブジェクトのＩＤがある場合には（ステップＳ３０７でＹｅｓ）、静止オブジェクトＩＤキューから一つ分の静止オブジェクトのＩＤを取り出して、送信オブジェクト指示に追加し（ステップＳ３０８）、送信オブジェクト指示をパケットフィルタ部２１に送信し（ステップＳ３０９）、処理をステップＳ３０１に戻す。

【0053】

このように、ネットワークノード２０は、静止物データをキャッシュし、静止オブジェクト毎に、受信装置３０の視野内に入ったタイミングで静止物データを一度だけ伝送する。そのため、本発明によれば、３次元オブジェクトデータの伝送において、受信装置３０に伝送するデータ量を削減することが可能となる。

【0054】

また、従来のネットワークノードでは、複数の静止オブジェクトをすべて同一フレームのタイミングで送信するため、特定のフレームにおいて伝送するデータ量が瞬間的に大きくなってしまうことがあった。一方、本発明に係るネットワークノード２０は、複数の静止オブジェクトが同時に受信装置３０の視野内に入った場合には、各静止物データを異なるフレームタイミングで送信する。そのため、本発明によれば、３次元オブジェクトデータの伝送において、ビットレートの最大値を低減することが可能となる。

【0055】

（受信装置）
次に、本発明の一実施形態に係る受信装置３０について、図７を参照して説明する。図７は、一実施形態に係る受信装置３０の構成例を示す図である。

【0056】

図７に示す受信装置３０は、パケットフィルタ部３１と、伝送フレーム・メタデータ再構成部３２と、メタデータ解析部３３と、端末情報送信部３４と、センサ３５と、カメラ３６と、自己位置・視線方向推定部３７と、オブジェクトレンダリング部３８と、ＡＲ合成部３９と、表示部４０と、を備える。

【0057】

受信装置３０は、ネットワークノード２０を経由してコンテンツデータを受信し、３次元空間コンテンツをＡＲで視聴する視聴端末である。

【0058】

パケットフィルタ部３１は、既に必要なパケットだけがフィルタされた状態のパケットを受信する。このため、受信装置３０は、パケットフィルタ部３１でパケットを破棄する処理負荷を削減することができる。パケットフィルタ部３１は、入力のパケットフローから複数オブジェクトの分離及びメタデータの分離を行う。

【0059】

伝送フレーム・メタデータ再構成部３２は、パケットフィルタ部３１から入力したパケットから、オブジェクトの伝送フレーム及びメタデータを再構成する。そして、伝送フレーム・メタデータ再構成部３２は、伝送フレームをオブジェクトレンダリング部３８に出力し、メタデータをメタデータ解析部３３に出力する。

【0060】

メタデータ解析部３３は、伝送フレーム・メタデータ再構成部３２から入力したメタデータから、オブジェクト提示位置情報と、各オブジェクトに割り当てられたオブジェクトＩＤ及びパケットＩＤとを特定する。そして、メタデータ解析部３３は、特定したＩＤを示すＩＤ情報を、パケットフィルタ部３１に出力する。

【0061】

センサ３５は、受信装置３０に搭載された加速度センサ、ジャイロセンサなどの各種センサを含み、検出したセンサ情報を自己位置・視線方向推定部３７に出力する。

【0062】

カメラ３６は、撮影したカメラ画像を、自己位置・視線方向推定部３７及びＡＲ合成部３９に出力する。

【0063】

自己位置・視線方向推定部３７は、センサ３５から入力したセンサ情報及びカメラ３６から入力したカメラ画像を用いて、受信装置３０の自己位置及びカメラ３６の向いている方向を推定し、受信装置３０の自己位置及びカメラ３６の向いている方向を示す位置・視線方向情報を生成する。そして、自己位置・視線方向推定部３７は、生成した位置・視線方向情報をオブジェクトレンダリング部３８に出力する。

【0064】

オブジェクトレンダリング部３８は、伝送フレーム・メタデータ再構成部３２から入力した伝送フレームに対して、自己位置・視線方向推定部３７から入力した位置・視線方向情報が示す自己位置及び視線方向に応じたレンダリングを行ってオブジェクトのレンダリング画像を生成する。そして、オブジェクトレンダリング部３８は、生成したレンダリング画像をＡＲ合成部３９に出力する。

【0065】

ＡＲ合成部３９は、オブジェクトレンダリング部３８から入力したオブジェクトのレンダリング画像と、カメラ３６から入力したカメラ画像とを合成して、合成画像を生成する。そして、ＡＲ合成部３９は、生成した合成画像を表示部４０に出力する。

【0066】

表示部４０は、液晶ディスプレイ、有機ＥＬディスプレイなどのディスプレイであり、ＡＲ合成部３９から入力した合成画像を表示する。なお、背景を透過させるシースルー型のＡＲグラスなど、表示部４０として例えば網膜投影型ディスプレイや透明ディスプレイが用いられる受信端末では、ＡＲ合成部３９でレンダリング画像とカメラ画像との合成を行わずに、表示部４０はレンダリング画像だけを表示する場合もある。

【0067】

端末情報送信部３４は、受信装置３０の位置・視線方向情報をネットワークノード２０に送信する。

【0068】

＜プログラム＞
上記の送信装置１０、ネットワークノード２０、又は受信装置３０として機能させるために、それぞれプログラム命令を実行可能なコンピュータを用いることも可能である。コンピュータは、送信装置１０、ネットワークノード２０、又は受信装置３０の機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータのプロセッサによってこのプログラムを読み出して実行させることで実現することができ、これらの処理内容の少なくとも一部をハードウェアで実現することとしてもよい。ここで、プログラム命令は、必要なタスクを実行するためのプログラムコード、コードセグメントなどであってもよい。プロセッサは、ＣＰＵ，ＧＰＵ，ＤＳＰ，ＡＳＩＣ(Application Specific Integrated Circuit)などであってもよい。

【0069】

また、このプログラムは、コンピュータが読み取り可能な記録媒体に記録されていてもよい。このような記録媒体を用いれば、プログラムをコンピュータにインストールすることが可能である。ここで、プログラムが記録された記録媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭなどの記録媒体であってもよい。また、このプログラムは、ネットワークを介したダウンロードによって提供することもできる。

【0070】

上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態に記載の構成ブロックについて、複数を１つに組み合わせたり、１つを複数に分割したりすることが可能である。

【符号の説明】

【0071】

１ ３次元空間コンテンツ伝送システム
１０ 送信装置
１１ ＩＤ決定部
１２ 伝送フレーム構成部
１３ メタデータ生成部
１４ パケット構成部
１５ パケット送信部
１６ オブジェクト提示位置情報生成部
２０ ネットワークノード
２１ パケットフィルタ部
２２ メタデータ再構成部
２３ メタデータ解析部
２４ パケット構成部
２５ パケット送信部
２６ 静止物データキャッシュ部
２７ ビューポート推定部
２８ 静止物データ送信フラグ管理部
３０ 受信装置
３１ パケットフィルタ部
３２ 伝送フレーム・メタデータ再構成部
３３ メタデータ解析部
３４ 端末情報送信部
３５ センサ
３６ カメラ
３７ 自己位置・視線方向推定部
３８ オブジェクトレンダリング部
３９ ＡＲ合成部
４０ 表示部
５０ 撮影・制作システム
６０ 完成データ記憶部
７０ データ変換装置
８０ 送出データ記憶部
９０ 伝送路

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】