(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-07-17
(45)【発行日】2024-07-25
(54)【発明の名称】送信装置、受信装置、ネットワークノード、及びプログラム
(51)【国際特許分類】
H04N 21/84 20110101AFI20240718BHJP
H04N 21/438 20110101ALI20240718BHJP
H04N 21/647 20110101ALI20240718BHJP
【ＦＩ】
H04N21/84
H04N21/438
H04N21/647
【請求項の数】
16
(21)【出願番号】P 2020137076
(22)【出願日】2020-08-14
(65)【公開番号】P2022032838
(43)【公開日】2022-02-25
【審査請求日】2023-07-14
(73)【特許権者】
【識別番号】000004352
【氏名又は名称】日本放送協会
(74)【代理人】
【識別番号】100147485
【弁理士】
【氏名又は名称】杉村 憲司
(74)【代理人】
【識別番号】230118913
【弁護士】
【氏名又は名称】杉村 光嗣
(74)【代理人】
【識別番号】100161148
【弁理士】
【氏名又は名称】福尾 誠
(72)【発明者】
【氏名】河村 侑輝
(72)【発明者】
【氏名】楠 知也
(72)【発明者】
【氏名】永田 裕靖
(72)【発明者】
【氏名】山上 悠喜
(72)【発明者】
【氏名】今村 浩一郎
【審査官】醍醐 一貴
(56)【参考文献】
【文献】特開２００９－０４９９７６（ＪＰ，Ａ）
【文献】特表２０１９－５１３２７５（ＪＰ，Ａ）
【文献】特開２００３－００９１０２（ＪＰ，Ａ）
【文献】特開２０１９－１９５１５７（ＪＰ，Ａ）
【文献】特開２０１９－２２１００１（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ２１／００－２１／８５８
Ｈ０４Ｎ １９／００－１９／９８
(57)【特許請求の範囲】
【請求項1】
放送型３次元空間コンテンツの構成要素であるオブジェクトをそれぞれ複数の解像度パターンのデータで送信する送信装置であって、前記オブジェクトを識別するオブジェクトＩＤ、及び前記オブジェクトの解像度パターンごとのパケットを識別するパケットＩＤと、前記解像度パターンの推奨提示解像度と、を対応付ける情報を含むメタデータを生成するメタデータ生成部と、
前記解像度パターンのデータごとに伝送フレームを構成する伝送フレーム構成部と、
前記オブジェクトＩＤ及び前記パケットＩＤをヘッダ情報として有する前記伝送フレームのパケットと、前記メタデータのパケットと、を生成するパケット構成部と、
を備える送信装置。
【請求項2】
前記メタデータ生成部は、３次元空間内での各オブジェクトの提示位置を示すオブジェクト提示位置情報を更に含むメタデータを生成する、請求項１に記載の送信装置。
【請求項3】
前記オブジェクト提示位置情報は、バウンディングボックス情報である、請求項２に記載の送信装置。
【請求項4】
請求項１に記載の送信装置からパケットを受信する受信装置であって、前記メタデータを再構成する伝送フレーム・メタデータ再構成部と、
前記メタデータを取得し、当該受信装置の処理負荷に応じて表示部に表示させるオブジェクトの解像度パターンを選択する解像度パターン選択部と、
前記解像度パターン選択部により選択された解像度パターンのパケットを受信し、その他のパケットを破棄するパケットフィルタ処理を行うパケットフィルタ部と、を備え、
前記伝送フレーム・メタデータ再構成部は、前記パケットフィルタ処理後のパケットから伝送フレームを再構成し、
前記表示部は、前記伝送フレーム・メタデータ再構成部により再構成された伝送フレームに係るオブジェクトを表示させる、受信装置。
【請求項5】
請求項２に記載の送信装置からパケットを受信する受信装置であって、カメラと、
前記メタデータを再構成する伝送フレーム・メタデータ再構成部と、
前記メタデータに含まれる前記オブジェクト提示位置情報と、当該受信装置の自己位置及び前記カメラの向いている方向を示す位置・視線方向とから、表示部に表示させるオブジェクトを選択するビューポート推定部と、
前記ビューポート推定部により選択されたオブジェクトのパケットを受信し、その他のパケットを破棄するパケットフィルタ処理を行うパケットフィルタ部と、を備え、
前記伝送フレーム・メタデータ再構成部は、前記パケットフィルタ処理後のパケットから伝送フレームを再構成し、
前記表示部は、前記伝送フレーム・メタデータ再構成部により再構成された伝送フレームに係るオブジェクトを表示させる、受信装置。
【請求項6】
請求項３に記載の送信装置からパケットを受信する受信装置であって、カメラと、
前記メタデータを再構成する伝送フレーム・メタデータ再構成部と、
前記メタデータに含まれる前記バウンディングボックス情報と、当該受信装置の自己位置及び前記カメラの向いている方向を示す位置・視線方向と、表示部の解像度とから、前記表示部に表示させるオブジェクト及び解像度パターンを選択するビューポート推定部と、
前記ビューポート推定部により選択されたオブジェクト及び解像度パターンのパケットを受信し、その他のパケットを破棄するパケットフィルタ処理を行うパケットフィルタ部と、を備え、
前記伝送フレーム・メタデータ再構成部は、前記パケットフィルタ処理後のパケットから伝送フレームを再構成し、
前記表示部は、前記伝送フレーム・メタデータ再構成部により再構成された伝送フレームに係るオブジェクトを表示させる、受信装置。
【請求項7】
前記ビューポート推定部は、ユーザの注視点の推定結果とオブジェクトの提示位置とのずれに基づいて解像度パターンを選択する、請求項６に記載の受信装置。
【請求項8】
請求項１に記載の送信装置から、ネットワークノードを経由してパケットを受信する受信装置であって、前記ネットワークノードは、当該受信装置の処理負荷を示す処理負荷情報及び／又はネットワークの負荷を示すネットワーク負荷情報に基づいてオブジェクトの解像度パターンを選択し、選択した解像度パターンのパケットを受信し、その他のパケットを破棄するパケットフィルタ処理を行い、
前記パケットフィルタ処理後のパケットから伝送フレームを再構成する伝送フレーム再構成部と、
前記伝送フレーム再構成部により再構成された伝送フレームに係るオブジェクトを表示させる表示部と、
前記処理負荷情報及び／又は前記ネットワーク負荷情報を前記ネットワークノードに送信する端末情報送信部と、
を備える受信装置。
【請求項9】
請求項２に記載の送信装置から、ネットワークノードを経由してパケットを受信する受信装置であって、前記ネットワークノードは、前記メタデータに含まれる前記オブジェクト提示位置情報と、当該受信装置の自己位置及びカメラの向いている方向を示す位置・視線方向情報とから、オブジェクトを選択し、選択したオブジェクトのパケットを受信し、その他のパケットを破棄するパケットフィルタ処理を行い、
前記パケットフィルタ処理後のパケットから伝送フレームを再構成する伝送フレーム再構成部と、
前記伝送フレーム再構成部により再構成された伝送フレームに係るオブジェクトを表示させる表示部と、
前記位置・視線方向情報を前記ネットワークノードに送信する端末情報送信部と、
を備える受信装置。
【請求項10】
請求項３に記載の送信装置から、ネットワークノードを経由してパケットを受信する受信装置であって、前記ネットワークノードは、前記メタデータに含まれる前記バウンディングボックス情報と、前記受信装置の自己位置及びカメラの向いている方向を示す位置・視線方向情報と、前記受信装置の表示部の解像度を示す解像度情報とから、オブジェクト及び解像度パターンを選択し、選択したオブジェクト及び解像度パターンのパケットを受信し、その他のパケットを破棄するパケットフィルタ処理を行い、
前記パケットフィルタ処理後のパケットから伝送フレームを再構成する伝送フレーム再構成部と、
前記伝送フレーム再構成部により再構成された伝送フレームに係るオブジェクトを表示させる表示部と、
前記位置・視線方向情報及び前記解像度情報を前記ネットワークノードに送信する端末情報送信部と、
を備える受信装置。
【請求項11】
請求項１に記載の送信装置から受信したパケットをフィルタ処理して受信装置に送信するネットワークノードであって、前記メタデータを取得し、前記受信装置の処理負荷を示す処理負荷情報及び／又はネットワークの負荷を示すネットワーク負荷情報に基づいてオブジェクトの解像度パターンを選択する解像度パターン選択部と、
前記解像度パターン選択部により選択された解像度パターンのパケットを受信し、その他のパケットを破棄するパケットフィルタ処理を行うパケットフィルタ部と、
前記パケットフィルタ処理後のパケットを前記受信装置に送信するパケット送信部と、
を備えるネットワークノード。
【請求項12】
請求項２に記載の送信装置から受信したパケットをフィルタ処理して受信装置に送信するネットワークノードであって、前記メタデータを取得し、前記メタデータに含まれる前記オブジェクト提示位置情報と、前記受信装置の自己位置及びカメラの向いている方向を示す位置・視線方向とから、前記受信装置の表示部に表示させるオブジェクトを選択するビューポート推定部と、
前記ビューポート推定部により選択されたオブジェクトのパケットを受信し、その他のパケットを破棄するパケットフィルタ処理を行うパケットフィルタ部と、
前記パケットフィルタ処理後のパケットを前記受信装置に送信するパケット送信部と、
を備えるネットワークノード。
【請求項13】
請求項３に記載の送信装置から受信したパケットをフィルタ処理して受信装置に送信するネットワークノードであって、前記メタデータを取得し、前記メタデータに含まれる前記バウンディングボックス情報と、前記受信装置の自己位置及びカメラの向いている方向を示す位置・視線方向と、前記受信装置の表示部の解像度とから、前記表示部に表示させるオブジェクト及び解像度パターンを選択するビューポート推定部と、
前記ビューポート推定部により選択されたオブジェクト及び解像度パターンのパケットを受信し、その他のパケットを破棄するパケットフィルタ処理を行うパケットフィルタ部と、
前記パケットフィルタ処理後のパケットを前記受信装置に送信するパケット送信部と、
を備えるネットワークノード。
【請求項14】
コンピュータを、請求項１から３のいずれか一項に記載の送信装置として機能させるためのプログラム。
【請求項15】
コンピュータを、請求項４から１０のいずれか一項に記載の受信装置として機能させるためのプログラム。
【請求項16】
コンピュータを、請求項１１から１３のいずれか一項に記載のネットワークノードとして機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、送信装置、受信装置、ネットワークノード、及びプログラムに関する。
【背景技術】
【0002】
近年、ＡＲ（Augmented Reality）／ＶＲ（Virtual Reality）技術の進歩により、ＡＲ／ＶＲ対応端末や、ＡＲ／ＶＲコンテンツが普及し始めている。ＡＲ／ＶＲ対応端末とは、スマートフォン、タブレット型端末、ＶＲゴーグル、ＡＲグラスなどである。
【0003】
ＡＲ／ＶＲコンテンツの再生において、視覚情報は端末に搭載されるＧＰＵ（Graphic Processing Unit）を用いた実時間レンダリング処理により、ユーザの動作に応じたインタラクティブなグラフィック表示が実現されている。ＡＲ／ＶＲ対応端末には、ジャイロセンサや加速度センサなど複数のセンサが搭載されており、これらのセンサから取得した情報を使用して端末の自己位置推定及び姿勢推定が行われる。端末のカメラで撮影された実空間の映像に対してＣＧデータ等で与えられたオブジェクトを合成表示するＡＲコンテンツの場合には、カメラで撮影された実空間の映像も、自己位置・姿勢推定処理の入力情報として使用できる。この自己位置・姿勢推定処理の結果として得られた視点位置、視線方向を反映したビューポートに応じて、ＧＰＵを用いてグラフィックの実時間レンダリング処理が行われる。なお、スマートフォンやタブレット型端末の自己位置・姿勢推定処理などＡＲ／ＶＲコンテンツの再生に必要な基本技術については、ｉＯＳ端末のＡＲＫｉｔやＡｎｄｒｏｉｄ端末のＡＲＣｏｒｅなど、ＯＳ（Operating System）レベルでの標準機能としての実装が進んでおり、一般の開発者によるＡＲ／ＶＲ対応のアプリ開発や配布が容易となっている。
【0004】
ＡＲ／ＶＲコンテンツの視聴におけるユーザの視点位置、視線方向の自由度は、ＤｏＦ（Degrees of Freedom）と呼ばれる単位で表現される。例えば、３６０度ＶＲ映像コンテンツにおいて、視点位置が固定され、視線方向のみにインタラクティブ性がある場合は、ユーザの視線方向の自由度が３自由度（Ｒｏｌｌ，Ｐｉｔｃｈ，Ｙａｗ）の回転であるため３ＤｏＦと呼ばれる。一方、視線方向に加えて視点位置も自由に移動できるＡＲ／ＶＲコンテンツの場合には、視線方向の３自由度に加えて、視点位置の移動の自由度も３自由度（Ｘ，Ｙ，Ｚ）となるため合計６自由度であることから、６ＤｏＦと呼ばれる。また、３ＤｏＦを基本としながら、固定された椅子に座った状態での頭部の動きなど、限られた範囲での視点位置移動により、視覚情報に僅かながら自由度を追加するシステムを３ＤｏＦ＋と呼ぶ場合がある。
【0005】
ＡＲ／ＶＲは、コンテンツデータとして、３次元モデルデータを取り扱う。３次元モデルデータは、一般に、３次元オブジェクトの形状を近似表現する３角形又は４角形からなる多面体の頂点及び面の集合であるジオメトリによって記述される。４角形は必ず２つの３角形に分解できることから、３角形によるジオメトリの定義がより一般的である。ジオメトリは主に、３次元モデルデータの各頂点について、３次元座標（ＸＹＺ座標）、法線ベクトル、及び、テクスチャのマッピングに使用する２次元座標（ＵＶ座標）が記述される。法線ベクトルは、使用されない場合もある。ジオメトリでは、これらに加えて、各面について面を構成する頂点の番号のセットが記述され、多面体のメッシュ構造が定義される。テクスチャは、ジオメトリの多面体の各面に対応する部分テクスチャを２次元の矩形領域内にマッピングした、ジオメトリの各面の柄を定める矩形画像であり、静止画符号化技術又は映像符号化技術により符号化される。３次元モデルデータをレンダリングする際には、ジオメトリの各面について、その面を構成する各頂点が保持するＵＶ座標に従ってテクスチャから部分テクスチャを切り出し、面の柄として貼り付ける。２次元映像では時系列の静止画フレームのシーケンスを連続再生することにより、動画として再生される。これと同様に、時系列の３次元モデルデータのシーケンスを連続再生し、例えば被写体の３次元の動きをＡＲ／ＶＲにて空間的に提示することにより、視聴者は、被写体を自由な視点から見ることができる。このような３次元モデルデータの時系列シーケンスを、３次元ビデオ又はボリューメトリックビデオと呼ぶことがある。
【0006】
ＡＲ／ＶＲコンテンツを構成するオブジェクトの別の表現方法として、３次元ポイントクラウドがある。ポイントクラウドは、点（ＸＹＺ座標）の集合情報であり、各点に色（例えばＲＧＢ）を持たせることができる。点は体積を持たず、３次元モデルデータと異なり点の結合による面の情報を持たないことから、レンダリング処理では、全ての点をそれぞれ立方体などの体積をもつボクセルに拡張して描画することが一般的である。
【0007】
６ＤｏＦのＡＲ／ＶＲコンテンツ視聴では、コンテンツの３次元空間の座標と、ユーザが居る部屋など現実空間の座標とが対応付けられる。ＡＲ／ＶＲで提示されるコンテンツの３次元空間は、実寸大の場合だけでなく、拡大・縮小して表示される場合があり得る。すなわち、ＡＲ／ＶＲで提示される３次元空間が拡大されれば、相対的に現実空間が小さくなり、ユーザは例えば小さな昆虫になったような感覚で、拡大されたＡＲ／ＶＲコンテンツの３次元空間に没入する体験することができる。反対に、ＡＲ／ＶＲで提示されるコンテンツの３次元空間が縮小されれば、相対的に現実空間が大きくなり、ユーザは例えば巨人になったような感覚で、ミニチュア化されたＡＲ／ＶＲコンテンツの３次元空間を俯瞰する体験することができる。ＡＲで提示される空間のスケールはこのように様々な場合があるが、いずれにしても、ＡＲで提示される３次元空間内の３次元オブジェクトの大きさは、そのオブジェクトの位置とユーザの視聴位置の座標の相対関係に応じて、提示されるサイズが変わる。つまり、ユーザの視聴位置とオブジェクトとの距離が遠ければ小さく見え、距離が近ければ大きく見えることは現実空間で現実のオブジェクトを見る場合と変わらない。
【0008】
一つのコンテンツの構成要素として伝送されるオブジェクト数が増えた場合には、オブジェクト数に従って伝送容量や視聴端末の処理負荷が増大し、視聴端末に過大な負荷が生じ得る。このように視聴端末に過度な負担が生じた場合、コンテンツ表示の遅延やフレームドロップなどが発生する可能性がある。視聴端末処理のリアルタイム性を確保し、視聴品質を保持するためには、処理対象とするオブジェクトが増えた場合にも、処理負荷を抑制する必要がある。そこで、視聴端末のビューポートに応じてオブジェクトの描画品質を変更する目安とする指標を求める手法が提案されている。
【0009】
特許文献１においては、複数人のユーザが仮想の３次元空間を共有する遠隔コミュニケーションツールにおいて、３次元空間内のコミュニケーション相手との視距離や相手との視線の一致度を指標として、視距離が近く、視線の一致度が高い相手ほど高品位なデータを選択する手法が開示されている。映像サーバを中心としたスター構造をとり、各視聴端末で算出された他ユーザとの視距離や視線一致度を映像サーバに送信し、映像サーバが各視聴端末の状態を管理して、最適な表現形態のデータを視聴端末に送信する。
【0010】
特許文献２においては、ユーザの顔画像を伝送する遠隔コミュニケーションツールにおいて、コミュニケーション相手との対人距離を仮想空間上に設定し、相手がどの程度の対人距離に分類されるかによって、すなわち視距離に応じて、適切な情報量の表示形態を選択する手順が開示されている。ただし、視距離に応じて選択された適切な表示形態のデータについて、視聴端末に伝送するためのサーバ等との通信手段は示されていない。
【0011】
特許文献３においては、複数の視聴端末がユーザの分身であるアバタにより３次元空間を共有するシステムにおいて、アバタの顔、体、腕、脚などの各部品について詳細度のレベルを粗い度合いから精密な度合いまでツリー状に段階的に管理し、視聴端末（他のサーバを含む）からの伝送要求に際して、視聴端末の視野範囲内に存在する他ユーザのアバタの部品データについて、合計の伝送・処理量が、所定の処理・伝送量に適合するように詳細度を調整してデータを送信するシステムが開示されている。
【0012】
特許文献１及び特許文献３で示される視聴端末とサーバ間の通信手段は、各視聴端末とサーバ間でそれぞれセッションを確立し、サーバが全ての各視聴端末の状態を管理して、適切な表示形態のデータを各視聴端末に送信することを特徴としている。このような構成は、視聴端末の通信環境や処理性能が一様である場合や、サーバに同時に接続可能な視聴端末数が限定される場合には、実現しやすい。例えば、バーチャル会議システムのようなアプリケーションが想定される。
【0013】
一方、放送型３次元空間コンテンツの配信においては、サービスを受信する視聴端末の数に制限がないため、サーバは全ての視聴端末と個別にセッションを確立し、個別の視聴端末の状態を管理することは現実的ではない。また、視聴端末ごとに送信するデータを変えることもできない。放送型サービスでは視聴端末についても、スマートフォン、タブレット、ＶＲゴーグル、ＡＲグラスなど多様な性能（ＣＰＵ周波数、表示解像度）を想定すべきであり、ネットワーク環境も多様な回線が用いられ、品質も変動することが想定される。つまり、放送型サービスでは、各視聴端末がそれぞれに、自身の処理や通信の負荷状況を管理することが求められる。
【0014】
特許文献４においては、３次元空間コンテンツの視聴において、視聴端末の処理負荷の軽減を図る目的で、３次元空間におけるユーザの注視点を検出し、注視点と対象オブジェクトの視線方向における位置の相対関係に基づいて、対象オブジェクトの描画レベルを決定する手法が示されている。ただし、特許文献４では、決定された描画レベルに適したデータをサーバなどから取得する手段は示されていない。このため、視聴端末は常に最高品位のデータを受信又は蓄積する必要があり、視聴端末の処理負荷の削減効果は、一連の受信処理の中でも最終段である描画処理の一部に限定される。また、リアルタイムにコンテンツデータを受信する場合に、通信トラフィックの削減はできない。
【先行技術文献】
【特許文献】
【0015】
【文献】特開平７－２８８７９１号公報
【文献】特開平１０－４０４２３号公報
【文献】特開２０００－３０６１２０号公報
【文献】特開２０１７－３３４６５号公報
【発明の概要】
【発明が解決しようとする課題】
【0016】
上述したように、特許文献１から４には、視聴端末のビューポートに応じてオブジェクトの描画品質を変更する目安とする指標を求める手段が開示されている。しかしながら、コンテンツの配信サーバと全ての視聴端末の状態を管理するサーバが同一で、サーバが各視聴端末の状態に応じて個別に送信するデータを変更できる前提であるか、又は、適応的なデータの取得手段そのものが示されていない。つまり、放送型の３次元空間コンテンツの配信において、各視聴端末が自律的に最適なコンテンツデータを選択的に受信し、実際に通信や処理の負荷を軽減し得る、適応的なデータの取得手段は示されていない。
【0017】
放送波やインターネット回線を用いたＩＰマルチキャストなど、放送型による３次元空間コンテンツの配信において、コンテンツの構成要素として伝送されるオブジェクト数が増えた場合に、オブジェクト数に従って通信トラフィック及び視聴端末の処理負荷が増大して過大な負荷が生じ得る。通信トラフィックについては、視聴環境外のグローバルなインターネットだけではなく、視聴環境（家庭など）内のローカルネットワークも含む。過度な負担が生じた場合、視聴端末においてコンテンツ表示の遅延やフレームドロップなどが発生し、コンテンツ視聴の品質が低下するという課題があった。また、各視聴端末が配信サーバとのセッションを確立し、サーバが全ての視聴端末の状態を管理して、各視聴端末に送信するデータをそれぞれに最適な表示形態のデータに変更する従来の手法は、放送型のサービスにはそのまま適用できないという課題があった。また、ユーザ又はその注視点とオブジェクトの位置関係などにより描画処理を簡略化しても、視聴端末の処理負荷の削減効果は、一連の受信処理の最終段である描画処理の一部に限定されたものであった。
【0018】
かかる事情に鑑みてなされた本発明の目的は、放送型３次元空間コンテンツの配信において、コンテンツの構成要素として伝送されるオブジェクト数が増えた場合に、処理負荷を削減してコンテンツ視聴の品質低下を抑制することが可能な送信装置、受信装置、ネットワークノード、及びプログラムを提供することにある。
【課題を解決するための手段】
【0019】
一実施形態に係る送信装置は、放送型３次元空間コンテンツの構成要素であるオブジェクトをそれぞれ複数の解像度パターンのデータで送信する送信装置であって、前記オブジェクトを識別するオブジェクトＩＤ、及び前記オブジェクトの解像度パターンごとのパケットを識別するパケットＩＤと、前記解像度パターンの推奨提示解像度と、を対応付ける情報を含むメタデータを生成するメタデータ生成部と、前記解像度パターンのデータごとに伝送フレームを構成する伝送フレーム構成部と、前記オブジェクトＩＤ及び前記パケットＩＤをヘッダ情報として有する前記伝送フレームのパケットと、前記メタデータのパケットと、を生成するパケット構成部と、を備える。
【0020】
さらに、一実施形態において、前記メタデータ生成部は、３次元空間内での各オブジェクトの提示位置を示すオブジェクト提示位置情報を更に含むメタデータを生成してもよい。
【0021】
さらに、一実施形態において、前記オブジェクト提示位置情報は、バウンディングボックス情報であってもよい。
【0022】
また、一実施形態に係る受信装置は、上記送信装置からパケットを受信する受信装置であって、前記メタデータを再構成する伝送フレーム・メタデータ再構成部と、前記メタデータを取得し、当該受信装置の処理負荷に応じて表示部に表示させるオブジェクトの解像度パターンを選択する解像度パターン選択部と、前記解像度パターン選択部により選択された解像度パターンのパケットを受信し、その他のパケットを破棄するパケットフィルタ処理を行うパケットフィルタ部と、を備え、前記伝送フレーム・メタデータ再構成部は、前記パケットフィルタ処理後のパケットから伝送フレームを再構成し、前記表示部は、前記伝送フレーム・メタデータ再構成部により再構成された伝送フレームに係るオブジェクトを表示させる。
【0023】
また、一実施形態に係る受信装置は、上記送信装置からパケットを受信する受信装置であって、カメラと、前記メタデータを再構成する伝送フレーム・メタデータ再構成部と、前記メタデータに含まれる前記オブジェクト提示位置情報と、当該受信装置の自己位置及び前記カメラの向いている方向を示す位置・視線方向とから、表示部に表示させるオブジェクトを選択するビューポート推定部と、前記ビューポート推定部により選択されたオブジェクトのパケットを受信し、その他のパケットを破棄するパケットフィルタ処理を行うパケットフィルタ部と、を備え、前記伝送フレーム・メタデータ再構成部は、前記パケットフィルタ処理後のパケットから伝送フレームを再構成し、前記表示部は、前記伝送フレーム・メタデータ再構成部により再構成された伝送フレームに係るオブジェクトを表示させる。
【0024】
また、一実施形態に係る受信装置は、上記送信装置からパケットを受信する受信装置であって、カメラと、前記メタデータを再構成する伝送フレーム・メタデータ再構成部と、前記メタデータに含まれる前記バウンディングボックス情報と、当該受信装置の自己位置及び前記カメラの向いている方向を示す位置・視線方向と、表示部の解像度とから、前記表示部に表示させるオブジェクト及び解像度パターンを選択するビューポート推定部と、前記ビューポート推定部により選択されたオブジェクト及び解像度パターンのパケットを受信し、その他のパケットを破棄するパケットフィルタ処理を行うパケットフィルタ部と、を備え、前記伝送フレーム・メタデータ再構成部は、前記パケットフィルタ処理後のパケットから伝送フレームを再構成し、前記表示部は、前記伝送フレーム・メタデータ再構成部により再構成された伝送フレームに係るオブジェクトを表示させる。
【0025】
さらに、一実施形態において、前記ビューポート推定部は、ユーザの注視点の推定結果とオブジェクトの提示位置とのずれに基づいて解像度パターンを選択してもよい。
【0026】
また、一実施形態に係る受信装置は、上記送信装置から、ネットワークノードを経由してパケットを受信する受信装置であって、前記ネットワークノードは、当該受信装置の処理負荷を示す処理負荷情報及び／又はネットワークの負荷を示すネットワーク負荷情報に基づいてオブジェクトの解像度パターンを選択し、選択した解像度パターンのパケットを受信し、その他のパケットを破棄するパケットフィルタ処理を行い、前記パケットフィルタ処理後のパケットから伝送フレームを再構成する伝送フレーム再構成部と、前記伝送フレーム再構成部により再構成された伝送フレームに係るオブジェクトを表示させる表示部と、前記処理負荷情報及び／又は前記ネットワーク負荷情報を前記ネットワークノードに送信する端末情報送信部と、を備える。
【0027】
また、一実施形態に係る受信装置は、上記送信装置から、ネットワークノードを経由してパケットを受信する受信装置であって、前記ネットワークノードは、前記メタデータに含まれる前記オブジェクト提示位置情報と、前記受信装置の自己位置及びカメラの向いている方向を示す位置・視線方向情報とから、オブジェクトを選択し、選択したオブジェクトのパケットを受信し、その他のパケットを破棄するパケットフィルタ処理を行い、前記パケットフィルタ処理後のパケットから伝送フレームを再構成する伝送フレーム再構成部と、前記伝送フレーム再構成部により再構成された伝送フレームに係るオブジェクトを表示させる表示部と、前記位置・視線方向情報を前記ネットワークノードに送信する端末情報送信部と、を備える。
【0028】
また、一実施形態に係る受信装置は、上記送信装置から、ネットワークノードを経由してパケットを受信する受信装置であって、前記ネットワークノードは、前記メタデータに含まれる前記バウンディングボックス情報と、前記受信装置の自己位置及びカメラの向いている方向を示す位置・視線方向情報と、前記受信装置の表示部の解像度を示す解像度情報とから、オブジェクト及び解像度パターンを選択し、選択したオブジェクト及び解像度パターンのパケットを受信し、その他のパケットを破棄するパケットフィルタ処理を行い、前記パケットフィルタ処理後のパケットから伝送フレームを再構成する伝送フレーム再構成部と、前記伝送フレーム再構成部により再構成された伝送フレームに係るオブジェクトを表示させる表示部と、前記位置・視線方向情報及び前記解像度情報を前記ネットワークノードに送信する端末情報送信部と、を備える。
【0029】
また、一実施形態に係るネットワークノードは、上記送信装置から受信したパケットをフィルタ処理して受信装置に送信するネットワークノードであって、前記メタデータを取得し、前記受信装置の処理負荷を示す処理負荷情報及び／又はネットワークの負荷を示すネットワーク負荷情報に基づいてオブジェクトの解像度パターンを選択する解像度パターン選択部と、前記解像度パターン選択部により選択された解像度パターンのパケットを受信し、その他のパケットを破棄するパケットフィルタ処理を行うパケットフィルタ部と、前記パケットフィルタ処理後のパケットを前記受信装置に送信するパケット送信部と、を備える。
【0030】
また、一実施形態に係るネットワークノードは、上記送信装置から受信したパケットをフィルタ処理して受信装置に送信するネットワークノードであって、前記メタデータを取得し、前記メタデータに含まれる前記オブジェクト提示位置情報と、前記受信装置の自己位置及びカメラの向いている方向を示す位置・視線方向とから、前記受信装置の表示部に表示させるオブジェクトを選択するビューポート推定部と、前記ビューポート推定部により選択されたオブジェクトのパケットを受信し、その他のパケットを破棄するパケットフィルタ処理を行うパケットフィルタ部と、前記パケットフィルタ処理後のパケットを前記受信装置に送信するパケット送信部と、を備える。
【0031】
また、一実施形態に係るネットワークノードは、上記送信装置から受信したパケットをフィルタ処理して受信装置に送信するネットワークノードであって、前記メタデータを取得し、前記メタデータに含まれる前記バウンディングボックス情報と、前記受信装置の自己位置及びカメラの向いている方向を示す位置・視線方向と、前記受信装置の表示部の解像度とから、前記表示部に表示させるオブジェクト及び解像度パターンを選択するビューポート推定部と、前記ビューポート推定部により選択されたオブジェクト及び解像度パターンのパケットを受信し、その他のパケットを破棄するパケットフィルタ処理を行うパケットフィルタ部と、前記パケットフィルタ処理後のパケットを前記受信装置に送信するパケット送信部と、を備える。
【0032】
また、一実施形態に係るプログラムは、コンピュータを、上記送信装置として機能させる。
【0033】
また、一実施形態に係るプログラムは、コンピュータを、上記受信装置として機能させる。
【0034】
また、一実施形態に係るプログラムは、コンピュータを、上記ネットワークノードとして機能させる。
【発明の効果】
【0035】
本発明によれば、受信装置又はネットワークノードは、不必要なデータを伝送するパケットをパケットレベルで破棄することができる。これにより、受信装置における通信トラフィック及び処理負荷の増加を抑えてコンテンツ再生のリアルタイム性を確保し、視聴品質を向上させることができる。また、一連の受信処理において最初の処理であるパケット入力段階でパケットを取捨選択できるため、処理負荷の削減効果が大きい。また、過度な処理負荷ではない場合においても、通信・演算コストを削減することで通信トラフィックの輻輳防止や、電力消費の抑制によるバッテリーの持続時間が向上することで、受信装置の視聴可能時間を延ばすことができる。
【図面の簡単な説明】
【0036】
【図1】一実施形態に係る３次元空間コンテンツ伝送システムの構成例を示す図である。
【図2】第１の実施形態に係る送信装置の構成例を示すブロック図である。
【図3】第２の実施形態に係る受信装置の構成例を示すブロック図である。
【図4】第３の実施形態に係る送信装置の構成例を示すブロック図である。
【図5】第４の実施形態に係る受信装置の構成例を示すブロック図である。
【図6】オブジェクトとバウンディングボックスの関係を示す図である。
【図7】第４の実施形態に係る受信装置のビューポート推定部における解像度推定を説明する図である
【図8】第５の実施形態に係るネットワークノード及び受信装置の構成例を示すブロック図である。
【図9】第５の実施形態に係るネットワークノード及び受信装置の構成例を示すブロック図である。
【図10】第５の実施形態に係るネットワークノードにおけるパケットフィルタ部の処理を説明するための図である。
【図11】第５の実施形態に係るネットワークノードにおけるパケットフィルタ部の処理を説明するための図である。
【図12】第５の実施形態に係るネットワークノードにおけるパケットフィルタ部の処理を説明するための図である。
【発明を実施するための形態】
【0037】
以下、本発明の実施形態について、図面を参照して詳細に説明する。
【0038】
図１は、本発明の実施形態に係る放送型３次元空間コンテンツ伝送システム１の構成例を示す図である。図１に示す放送型３次元空間コンテンツ伝送システム１は、撮影・制作システム５０と、完成データ記憶部６０と、データ変換装置７０と、送出データ記憶部８０と、送信装置１０と、伝送路９０と、ネットワークノード２０と、受信装置（視聴端末）３０と、を備える。本実施形態では、データ変換装置７０と送信装置１０とを別個の装置としているが、データ変換装置７０及び送信装置１０は一つの装置として一体化されていてもよい。
【0039】
撮影・制作システム５０は、３次元空間コンテンツを制作し、完成データとして完成データ記憶部６０に出力する。完成データとは、例えば、非圧縮・可逆圧縮、又は劣化の少ない軽量圧縮で符号化された、一つ以上のオブジェクトデータを含むコンテンツデータである。
【0040】
データ変換装置７０は、完成データ記憶部６０から入力した完成データを送出データに変換し、送出データ記憶部８０に出力する。データ変換装置７０の処理は、非リアルタイムもしくはリアルタイムのオフライン処理でもよいし、リアルタイムのオンライン処理でもよい。送出データは、オブジェクトデータが、ユーザがコンテンツを視聴する際の品質劣化が許容できるレベルで、非可逆を含む圧縮方式により圧縮され、伝送路９０上での配信に適したデータに変換される。このとき、一つのオブジェクトに対して複数の解像度パターンで圧縮されたオブジェクトデータが生成され得る。また、完成データ及び送出データともに、コンテンツデータには、そのコンテンツに含まれるオブジェクトの構成、コンテンツタイトルや各オブジェクトの名称などの情報が補助情報として含まれる。
【0041】
また、データ変換装置７０は、完成データの補助情報を参照するとともに、オブジェクトデータを複数の解像度パターンのデータに変換した場合には各オブジェクトデータについて解像度パターンの構成情報を追加し、コンテンツ構成メタデータを生成する。そして、データ変換装置７０は、生成したコンテンツ構成メタデータを送出データに含め、送出データ記憶部８０に出力する。コンテンツ構成メタデータには、３次元空間コンテンツに含まれるオブジェクト・解像度パターンの一覧などのデータ構成情報や、コンテンツタイトル、各オブジェクトの名称などの情報が含まれ得る。コンテンツ構成メタデータは、シーン記述などと呼ばれる場合もある。
【0042】
送信装置１０は、伝送路９０を介して、放送型３次元空間コンテンツの構成要素であるオブジェクトをそれぞれ複数の解像度パターンのデータで、複数のネットワークノード２０又は受信装置３０に送信する。
【0043】
伝送路９０は、グローバルなインターネットや回線事業者が運営するクローズドネットワークなどの通信伝送路や、地上放送・衛星放送などの放送伝送路を含む。
【0044】
ネットワークノード２０は、回線事業者やコンテンツ提供事業者が設備として設置するエッジサーバや、ユーザが宅内に設置するホームゲートウェイである。ネットワークノード２０と受信装置３０との間は一般に双方向通信が可能であり、一つのネットワークノード２０に複数の受信装置３０が紐づく場合もある。伝送路９０を介してコンテンツを受信する受信装置３０は無数に存在し得るため、コンテンツの配信者（送信装置１０）は必ずしも全てのユーザ（受信装置３０）の存在を把握していない。
【0045】
（第１の実施形態）
図２は、第１の実施形態に係る送信装置１０の構成例を示す図である。送出データ記憶部８０は、３次元コンテンツの各種補助情報を記述するコンテンツ構成メタデータを記憶する。また、送出データ記憶部８０は、１つ以上のオブジェクトデータを記憶する。図２に示す例では、送出データ記憶部８０は、オブジェクトＡ，Ｂのデータを記憶する。オブジェクトＡ，Ｂのデータには、それぞれ２つの解像度パターンのデータが含まれている。
図２は、第１の実施形態に係る送信装置１０の構成例を示す図である。送出データ記憶部８０は、３次元コンテンツの各種補助情報を記述するコンテンツ構成メタデータを記憶する。また、送出データ記憶部８０は、１つ以上のオブジェクトデータを記憶する。図２に示す例では、送出データ記憶部８０は、オブジェクトＡ，Ｂのデータを記憶する。オブジェクトＡ，Ｂのデータには、それぞれ２つの解像度パターンのデータが含まれている。
【0046】
図２に示す送信装置１０は、ＩＤ決定部１１と、伝送フレーム構成部１２と、メタデータ生成部１３と、パケット構成部１４と、パケット送信部１５と、を備える。
【0047】
ＩＤ決定部１１は、送出データ記憶部８０から入力したコンテンツ構成メタデータを参照して、放送型３次元空間コンテンツの構成要素であるオブジェクトについて、該オブジェクトを識別するオブジェクトＩＤ、及び該オブジェクトの解像度パターンごとのパケットを識別するパケットＩＤを決定する。そして、ＩＤ決定部１１は、オブジェクトＩＤ及びパケットＩＤを示すＩＤ情報をメタデータ生成部１３及びパケット構成部１４に出力する。オブジェクトＩＤ及びパケットＩＤは、例えば、１６ビットの符号なし整数である。例えば、あるオブジェクトについて、解像度パターン１と解像度パターン２の２つのデータで送信する場合、解像度パターン１のデータを伝送するパケットと解像度パターン２のデータを伝送するパケットは同一のオブジェクトＩＤを持つが、異なるパケットＩＤで伝送される。
【0048】
コンテンツ構成メタデータにおいてオブジェクトを管理するオブジェクトＩＤが予め付与されている場合も考えられる。ＩＤ決定部１１は、コンテンツ構成メタデータに記載のオブジェクトＩＤが、パケットのヘッダに付与する際の形式に適合する場合には、そのオブジェクトＩＤをそのまま用いてもよいし、予め定めた変換ルールを用いてパケットのヘッダに付与する際の形式に変換してもよい。パケットＩＤについても、コンテンツ構成メタデータに相当するＩＤ（解像度パターンＩＤなど）があれば、同様にそれを使用できる。また、ＩＤ決定部１１は、オブジェクトＩＤ及びパケットＩＤを、コンテンツ構成メタデータによらずに自動的に発番してもよいし、別途与えられる設定等に従って割り当ててもよい。
【0049】
伝送フレーム構成部１２は、各オブジェクトの解像度パターンのデータごとに、伝送フレームを構成する。伝送フレームは、各オブジェクトと各解像度パターンの組み合わせごとに独立したデータ構造とする。そして、伝送フレーム構成部１２は、構成した伝送フレームをパケット構成部１４に出力する。一つの伝送フレームには、例えば、オブジェクトのジオメトリデータとテクスチャデータを含む。なお、伝送時のオブジェクトの単位は、必ずしも一つのオブジェクトとして視認される単位と一致しなくてもよい。例えば、３次元空間コンテンツにおいて、コンテンツの主要なオブジェクトはそれぞれ独立したオブジェクトとして伝送フレーム化して伝送するが、その他の背景オブジェクトについては、まとめて単一オブジェクトとして扱って伝送フレームを構成して伝送してもよい。逆に、一つのオブジェクトとして視認されるものが、伝送時は複数のオブジェクトとして分割して伝送しても良い。例えば、人物等のオブジェクトを、特に注目されやすい顔を含む頭部とその他の部分に分割して伝送フレームを構成して伝送してもよい。
【0050】
メタデータ生成部１３は、送出データ記憶部８０から入力したコンテンツ構成メタデータを、必要に応じて伝送用のメタデータの形式に適合するように変換する。また、メタデータ生成部１３は、必要に応じて、ＩＤ決定部１１から入力したＩＤ情報（オブジェクトＩＤ及びパケットＩＤ）と、各解像度パターンの推奨提示解像度とを対応付ける情報を含むメタデータを生成する。そして、メタデータ生成部１３は、生成したメタデータをパケット構成部１４に出力する。メタデータは一定周期で送信され、受信装置３０又はネットワークノード２０が、受信中の３次元空間コンテンツのオブジェクトの構成、解像度パターンの選択肢、及びそれらのデータを伝送するオブジェクトＩＤ及びパケットＩＤを知るための補助情報として用いられる。
【0051】
パケット構成部１４は、伝送フレーム構成部１２から入力した伝送フレーム、及びメタデータ生成部１３から入力したメタデータを、伝送に用いるパケットに分割し、ＩＤ決定部１１から入力したＩＤ情報に従い、パケットにオブジェクトＩＤ及びパケットＩＤを付与する。そして、パケット構成部１４は、生成したパケットをパケット送信部１５に出力する。すなわち、パケット構成部１４は、オブジェクトＩＤ及びパケットＩＤをヘッダ情報として有する伝送フレームのパケットと、メタデータのパケットと、を生成する。なお、パケットＩＤは全てのパケットに付与される。一方、オブジェクトＩＤは、全てのパケットのヘッダに付与するようにしても良いし、伝送フレームが複数のパケットに分割された際には、分割された伝送フレームの先頭部分を含むパケットのヘッダのみに付与するようにしても良い。
【0052】
パケット送信部１５は、パケット構成部１４から入力した各パケットに宛先アドレス、宛先ポート番号などを付与して、伝送路９０に送信する。
【0053】
（第２の実施形態）
次に、第２の実施形態に係る受信装置３０について、図３を参照して説明する。図３は、第２の実施形態に係る受信装置３０の構成例を示す図である。受信装置３０は、第１の実施形態に係る送信装置１０から３次元空間コンテンツのパケットを受信し、ＡＲで視聴する視聴端末である。
次に、第２の実施形態に係る受信装置３０について、図３を参照して説明する。図３は、第２の実施形態に係る受信装置３０の構成例を示す図である。受信装置３０は、第１の実施形態に係る送信装置１０から３次元空間コンテンツのパケットを受信し、ＡＲで視聴する視聴端末である。
【0054】
図３に示す受信装置３０は、パケットフィルタ部３１と、伝送フレーム・メタデータ再構成部３２と、メタデータ解析部３３と、解像度パターン選択部３４と、センサ３５と、カメラ３６と、自己位置・視線方向推定部３７と、オブジェクトレンダリング部３８と、ＡＲ合成部３９と、表示部４０と、を備える。
【0055】
パケットフィルタ部３１は、メタデータ解析部３３から入力したＩＤ情報が示すオブジェクトＩＤ及びパケットＩＤにより、各オブジェクトの各解像度パターンのデータ及びメタデータを、パケットレベルで各種別に分離できる。パケットフィルタ部３１は、後述する解像度パターン選択部３４により選択された解像度パターンのパケットを受信し、その他のパケットを破棄するパケットフィルタ処理を行う。そして、パケットフィルタ部３１は、パケットフィルタ処理後のパケットを伝送フレーム・メタデータ再構成部３２に出力する。
【0056】
伝送フレーム・メタデータ再構成部３２は、パケットフィルタ部３１から入力したパケットから、オブジェクトの伝送フレーム及びメタデータを再構成する。そして、伝送フレーム・メタデータ再構成部３２は、伝送フレームをオブジェクトレンダリング部３８に出力し、メタデータをメタデータ解析部３３に出力する。
【0057】
メタデータ解析部３３は、伝送フレーム・メタデータ再構成部３２から入力したメタデータから、各オブジェクトの各解像度パターンに割り当てられたオブジェクトＩＤ及びパケットＩＤを特定する。そして、メタデータ解析部３３は、特定したＩＤを示すＩＤ情報をパケットフィルタ部３１及び解像度パターン選択部３４に出力する。なお、コンテンツを受信して最初に取得する必要のあるメタデータは、パケットＩＤ＝０など固定のパケットＩＤで伝送する運用として、パケットフィルタ部３１に予め設定される。
【0058】
また、メタデータ解析部３３は、伝送フレーム・メタデータ再構成部３２から入力したメタデータから、オブジェクトＩＤ及びパケットＩＤに対応付けられた解像度パターンを特定する。そして、メタデータ解析部３３は、特定した解像度パターンを示す解像度パターン情報を解像度パターン選択部３４に出力する。
【0059】
解像度パターン選択部３４は、オブジェクトレンダリング部３８から受信装置３０の処理負荷を示す処理負荷情報を取得し、処理負荷情報が示す処理負荷に応じて、オブジェクトの解像度パターンを選択する。具体手的には、処理負荷が小さいほど解像度が大きい解像度パターンを選択する。そして、解像度パターン選択部３４は、選択した解像度パターンを特定するパケットＩＤを示す受信対象指示情報をパケットフィルタ部３１に出力する。
【0060】
センサ３５は、受信装置３０に搭載された加速度センサ、ジャイロセンサなどの各種センサを含み、検出したセンサ情報を自己位置・視線方向推定部３７に出力する。
【0061】
カメラ３６は、撮影したカメラ画像を、自己位置・視線方向推定部３７及びＡＲ合成部３９に出力する。
【0062】
自己位置・視線方向推定部３７は、センサ３５から入力したセンサ情報及びカメラ３６から入力したカメラ画像を用いて、受信装置３０の自己位置及びカメラ３６の向いている方向を推定し、受信装置３０の自己位置及びカメラ３６の向いている方向を示す位置・視線方向情報を生成する。そして、自己位置・視線方向推定部３７は、生成した位置・視線方向情報をオブジェクトレンダリング部３８に出力する。
【0063】
オブジェクトレンダリング部３８は、伝送フレーム・メタデータ再構成部３２から入力した伝送フレームに対して、自己位置・視線方向推定部３７から入力した位置・視線方向情報が示す自己位置及び視線方向に応じたレンダリングを行ってオブジェクトのレンダリング画像を生成する。そして、オブジェクトレンダリング部３８は、生成したレンダリング画像をＡＲ合成部３９に出力する。また、オブジェクトレンダリング部３８は、解像度パターン選択部３４に処理負荷情報を出力する。処理負荷情報は、例えば、レンダリング処理の所要時間やＣＰＵ利用率を指標とすることができる。なお、処理負荷情報は、可能であればオブジェクトごとの処理負荷であっても良く、オブジェクトごとのレンダリング処理負荷が得られる場合は、オブジェクトごとに解像度の選択ができ、より細かい負荷制御が可能である。
【0064】
ＡＲ合成部３９は、オブジェクトレンダリング部３８から入力したオブジェクトのレンダリング画像と、カメラ３６から入力したカメラ画像とを合成して、合成画像を生成する。そして、ＡＲ合成部３９は、生成した合成画像を表示部４０に出力する。
【0065】
表示部４０は、液晶ディスプレイ、有機ＥＬディスプレイなどのディスプレイであり、ＡＲ合成部３９から入力した合成画像を表示する。なお、背景を透過させるシースルー型のＡＲグラスなど、表示部４０として例えば網膜投影型ディスプレイや透明ディスプレイが用いられる受信端末では、ＡＲ合成部３９でレンダリング画像とカメラ画像との合成を行わずに、表示部４０はレンダリング画像だけを表示する場合もある。
【0066】
第１の実施形態及び第２の実施形態によれば、送信装置１０は３次元空間コンテンツの構成要素であるオブジェクトを複数の解像度パターンで送信し、受信装置３０は処理負荷に応じて特定の解像度パターンのパケットのみを受信する。そのため、受信装置３０における処理負荷の増加を抑えてコンテンツ再生のリアルタイム性を確保し、視聴品質を向上させることができる。また、一連の受信処理において最初の処理であるパケットフィルタ部３１でパケットを取捨選択できるため、処理負荷の削減効果が大きい。
【0067】
（第３の実施形態）
次に、第３の実施形態に係る送信装置１０ａについて、図４を参照して説明する。図４は、第３の実施形態に係る送信装置１０ａの構成例を示す図である。図４に示す送信装置１０ａは、ＩＤ決定部１１と、伝送フレーム構成部１２と、メタデータ生成部１３と、パケット構成部１４と、パケット送信部１５と、オブジェクト提示位置情報生成部１６と、を備える。送信装置１０ａは、送信装置１０と比較して、更にオブジェクト提示位置情報生成部１６を備える点が相違する。以下、第１の実施形態に係る送信装置１０と同一の構成については適宜説明を省略し、相違する部分について説明する。
次に、第３の実施形態に係る送信装置１０ａについて、図４を参照して説明する。図４は、第３の実施形態に係る送信装置１０ａの構成例を示す図である。図４に示す送信装置１０ａは、ＩＤ決定部１１と、伝送フレーム構成部１２と、メタデータ生成部１３と、パケット構成部１４と、パケット送信部１５と、オブジェクト提示位置情報生成部１６と、を備える。送信装置１０ａは、送信装置１０と比較して、更にオブジェクト提示位置情報生成部１６を備える点が相違する。以下、第１の実施形態に係る送信装置１０と同一の構成については適宜説明を省略し、相違する部分について説明する。
【0068】
オブジェクト提示位置情報生成部１６は、送出データ記憶部８０から入力したオブジェクトデータの主にジオメトリを解析し、３次元空間のワールド座標において各オブジェクトの代表的な提示位置を示すオブジェクト提示位置情報を生成する。オブジェクト提示位置情報は、一般的に、コンテンツのフレームレートと同一又はフレームレート以下の周期で更新される、シーケンシャルなデータとなる。そして、オブジェクト提示位置情報生成部１６は、生成したオブジェクト提示位置情報をメタデータ生成部１３に出力する。
【0069】
オブジェクト提示位置情報は、例えば、オブジェクトの全ての頂点座標の平均座標や、頂点座標の最大値や、頂点座標の最大値を用いて得られるバウンディングボックスの情報である。オブジェクト提示位置情報は、オブジェクトが３次元空間内を動く場合には動的な情報となる。オブジェクト提示位置情報は、予めコンテンツ構成メタデータに含まれる場合も想定される。その場合には、オブジェクト提示位置情報生成部１６は、オブジェクトデータを解析することなく、コンテンツ構成メタデータに含まれるオブジェクト提示位置情報を使用してもよい。図４では、コンテンツ構成メタデータからオブジェクト提示位置情報を取得する例を示している。
【0070】
メタデータ生成部１３は、送出データ記憶部８０から入力したコンテンツ構成メタデータを、必要に応じて伝送用のメタデータの形式に適合するように変換する。また、メタデータ生成部１３は、必要に応じて、ＩＤ決定部１１から入力したＩＤ情報（オブジェクトＩＤ及びパケットＩＤ）と、オブジェクト提示位置情報生成部１６から入力したオブジェクト提示位置情報と、各解像度パターンの推奨提示解像度とを対応付ける情報を含むメタデータを生成する。そして、メタデータ生成部１３は、生成したメタデータをパケット構成部１４に出力する。
【0071】
第１の実施形態に係る送信装置１０と同様に、パケット構成部１４は、オブジェクトＩＤ及びパケットＩＤをヘッダ情報として有する、伝送フレームのパケットを生成し、パケット送信部１５は、パケット構成部１４から入力した各パケットに宛先アドレス、宛先ポート番号などを付与して、伝送路９０に送信する。
【0072】
（第４の実施形態）
次に、第４の実施形態に係る受信装置３０ａについて、図５を参照して説明する。図５は、第４の実施形態に係る受信装置３０ａの構成例を示す図である。受信装置３０ａは、第３の実施形態に係る送信装置１０ａから３次元空間コンテンツのパケットを受信し、ＡＲで視聴する視聴端末である。
次に、第４の実施形態に係る受信装置３０ａについて、図５を参照して説明する。図５は、第４の実施形態に係る受信装置３０ａの構成例を示す図である。受信装置３０ａは、第３の実施形態に係る送信装置１０ａから３次元空間コンテンツのパケットを受信し、ＡＲで視聴する視聴端末である。
【0073】
受信装置３０ａは、パケットフィルタ部３１と、伝送フレーム・メタデータ再構成部３２と、メタデータ解析部３３と、ビューポート推定部４１と、センサ３５と、カメラ３６と、自己位置・視線方向推定部３７と、オブジェクトレンダリング部３８と、ＡＲ合成部３９と、表示部４０と、を備える。受信装置３０ａは、第２の実施形態に係る受信装置３０と比較して、解像度パターン選択部３４に代えてビューポート推定部４１を備える点が相違する。以下、第２の実施形態に係る受信装置３０と同一の構成については適宜説明を省略し、相違する部分について説明する。
【0074】
メタデータ解析部３３は、伝送フレーム・メタデータ再構成部３２から入力したメタデータから、オブジェクト提示位置情報と、各オブジェクトの各解像度パターンに割り当てられたオブジェクトＩＤ及びパケットＩＤとを特定する。そして、メタデータ解析部３３は、特定したＩＤを示すＩＤ情報を、パケットフィルタ部３１及びビューポート推定部４１に出力し、オブジェクト提示位置情報をビューポート推定部４１に出力する。
【0075】
また、メタデータ解析部３３は、伝送フレーム・メタデータ再構成部３２から入力したメタデータから、オブジェクトＩＤ及びパケットＩＤに対応付けられた解像度パターンを特定する。そして、メタデータ解析部３３は、特定した解像度パターンを示す解像度パターン情報をビューポート推定部４１に出力する。
【0076】
自己位置・視線方向推定部３７は、受信装置３０ａの自己位置及びカメラ３６の向いている方向を示す位置・視線方向情報を生成する。この位置・視線方向情報には、カメラ３６の画角情報を含んでもよい。そして、自己位置・視線方向推定部３７は、生成した位置・視線方向情報をオブジェクトレンダリング部３８及びビューポート推定部４１に出力する。なお、カメラ３６の画角が固定であれば、位置・視線方向情報は画角情報を含まず、画角情報はビューポート推定部４１にあらかじめ設定されているものとしても良い。
【0077】
ビューポート推定部４１は、実際にオブジェクトをレンダリングすることなく、自己位置・視線方向推定部３７から入力した自己位置・視線方向情報と、メタデータ解析部３３から入力したオブジェクト提示位置情報とを用いて、レンダリング結果のビューポート（表示領域）を簡易的に推測する。すなわち、ビューポート推定部４１は、コンテンツを構成する各オブジェクトについて、ビューポートの視野内であるか視野外であるかを判定し、視野内のオブジェクトを表示部４０に表示させるオブジェクトとして選択する。そして、ビューポート推定部４１は、選択したオブジェクトのパケット（視野内のオブジェクトのパケット）を受信し、その他のパケット（視野外のオブジェクトのパケット）を破棄するように指示する受信指示情報をパケットフィルタ部３１に出力する。この場合、受信指示情報には、必要なオブジェクト又は不要なオブジェクトを特定するためのオブジェクトＩＤのリストを含む。
【0078】
さらに、ビューポート推定部４１は、メタデータに含まれるオブジェクト提示位置情報が代表座標情報ではなくバウンディングボックス情報である場合には、そのオブジェクトが視野外か視野内かをより正確に推定できるだけでなく、表示部４０の解像度と視野範囲の相対関係から各オブジェクトが受信装置３０の表示部４０上で描画されるときの推定解像度を求めることができる。ビューポート推定部４１は、表示部４０から、又はＯＳ等が保持しているシステム構成情報を参照することにより、表示部４０の解像度を示す解像度情報を取得する。解像度推定の具体例については後述する。これにより、ビューポート推定部４１は、表示部４０に表示させるオブジェクトの最適な解像度パターンを選択することができる。そして、ビューポート推定部４１は、選択したオブジェクト及び解像度パターンのパケット受信し、その他のパケットを破棄するように指示する受信指示情報をパケットフィルタ部３１へ出力する。受信指示情報は、オブジェクトＩＤに加えて、最適な解像度パターンを特定するパケットＩＤのリストを含む。
【0079】
さらに、ビューポート推定部４１は、公知の技術を用いてユーザの注視点を推定してもよく、その場合には、ユーザの注視点の推定結果とオブジェクトの提示位置とのずれに基づいて解像度パターンを選択してもよい。例えば、ビューポート推定部４１は、ユーザの注視点の推定結果とオブジェクトの提示位置の角度、距離などのずれ量が閾値以下である場合には描画レベルを「高」とし、ずれ量が閾値を超える場合には描画レベルを「低」と決定する。そして、描画レベルが「高」の場合には前述の推定解像度の値をそのまま使用して解像度パターンを選択し、描画レベルが「低」の場合には前述の推定解像度を小さくするように重みを付けて推定解像度を補正し、より低解像度の解像度パターンを選択する。これにより、ユーザの注視点から外れるオブジェクトの解像度パターンを優先的に下げることで、視聴品質をできるだけ維持したまま、さらに受信装置３０の処理負荷を下げることが期待できる。
【0080】
図６（ａ）（ｂ）は、オブジェクトとバウンディングボックスの関係を示す図である。図６（ａ）（ｂ）に示すように、バウンディングボックスＢＢは、３次元空間内に配置されたオブジェクトＯを囲む立体状の外枠である。
【0081】
図７は、ビューポート推定部４１における解像度推定を説明する図である。図７に示す例では、受信装置３０ａはタブレット型端末であり、表示部４０の解像度は横１９２０画素×縦１０８０画素であり、全画面でのＡＲ視聴を行うことを想定する。すなわち、ビューポートＶの解像度は、横１９２０画素×縦１０８０画素である。また、オブジェクト提示位置情報はバウンディングボックス情報であることを想定しており、図７はオブジェクトＡのバウンディングボックスＢＢA、オブジェクトＢのバウンディングボックスＢＢB、及びオブジェクトＣのバウンディングボックスＢＢCを示している。
【0082】
推定ビューポートＶの縦方向の解像度（１０８０画素）に対する、各オブジェクトのバウンディングボックスによる提示領域の相対的なサイズの関係から、各オブジェクトを表示部４０に表示させる際の最適な解像度を判断することができる。図７に示す例では、オブジェクトＡはビューポートＶの７割程度の高さを占めることから、推奨解像度が７００画素程度以上の解像度パターンを選択することが望ましい。また、オブジェクトＢはビューポートＶの４割程度の高さを占めることから、推奨解像度が４００画素程度以上の解像度パターンを選択することが望ましい。また、オブジェクトＣに関しては、ビューポート推定部４１により視野外と判定されるため、オブジェクトＣに対応する全ての解像度パターンは、パケットフィルタ部３１で破棄される。
【0083】
なお、オブジェクト提示位置情報がオブジェクトの代表座標（例えば、オブジェクトの平均座標）で提供される場合には、オブジェクトがビューポートに提示される際の大きさの情報が得られないため、３次元的な距離に応じて解像度パターンを選択することが考えられる。また、オブジェクトがビューポートの視野範囲の境界に存在し、オブジェクトの代表座標がビューポートの視野内から外れるものの、実際には、オブジェクトの一部が視野内に入る場合が想定される。代表座標しかない場合に、こうした状態を完全になくすことは難しいが、ビューポートの視野内として扱う範囲を実際の視野範囲よりも広げてオブジェクトの視野内判定を行うことで、ビューポートの視野範囲の境界に存在するオブジェクトを表示されやすくすることが考えられる。
【0084】
以上に示したように、メタデータに含まれるオブジェクト提示位置情報がオブジェクトのバウンディングボックス情報で提供される場合には、代表座標で提供される場合と比較して、ビューポート上での描画サイズの推定ができることで、より的確に最適な解像度パターンを選択することができる。また、オブジェクトがビューポートの視野範囲の境界に存在し、オブジェクトの一部が視野範囲に入る場合にも、精度の高い判定が可能である。なお、ユーザの注視点と対象オブジェクトのずれ量によって描画品質を調整する場合には、バウンディングボックスによる推定提示解像度に対して、さらにユーザの注視点と対象オブジェクトのずれ量による許容劣化率を掛け合わせてもよい。例えば、図７に示す例で、オブジェクトＡは推奨解像度が７００画素程度以上の解像度パターンを選択することが望ましいと判定されたが、オブジェクトＡがユーザの注視点とずれていることが判定され、解像度にして５０％の品質劣化が許容されるとすると、オブジェクトＡは推奨解像度が３５０画素程度以上の解像度パターンを選択してもよい。
【0085】
また、第４の実施形態に係る受信装置３０ａは、ビューポート推定部４１と、第２の実施形態で説明した解像度パターン選択部３４とを併用してもよい。その場合には、まずビューポート推定部４１にて、受信オブジェクトと最適解像度パターンを決定する。その上で、解像度パターン選択部３４にて、処理負荷が高い場合に、解像度パターンをより低解像度なものに下げるという処理を行う。
【0086】
第３の実施形態及び第４の実施形態によれば、送信装置１０ａはオブジェクト提示位置情報を含むメタデータを送信し、受信装置３０ａはオブジェクト提示位置情報と位置・視線方向情報とからオブジェクトを選択する。そのため、受信装置３０における処理負荷の増加を抑えてコンテンツ再生のリアルタイム性を確保し、視聴品質を向上させることができる。また、一連の受信処理において最初の処理であるパケットフィルタ部３１でパケットを取捨選択できるため、処理負荷の削減効果が大きい。また、オブジェクト提示位置情報がバウンディングボックス情報である場合には、選択したオブジェクトについて更に最適な解像度パターンを選択することができるため、更に処理負荷の削減効果が大きくなる。
【0087】
（第５の実施形態）
次に、第５の実施形態に係るネットワークノード２０及び受信装置３０ｂについて、図８を参照して説明する。図８は、第５の実施形態に係るネットワークノード２０及び受信装置３０ｂの構成例を示す図である。ネットワークノード２０は、第１の実施形態に係る送信装置１０から３次元空間コンテンツのパケットを受信し、フィルタ処理して受信装置３０ｂに送信する。
次に、第５の実施形態に係るネットワークノード２０及び受信装置３０ｂについて、図８を参照して説明する。図８は、第５の実施形態に係るネットワークノード２０及び受信装置３０ｂの構成例を示す図である。ネットワークノード２０は、第１の実施形態に係る送信装置１０から３次元空間コンテンツのパケットを受信し、フィルタ処理して受信装置３０ｂに送信する。
【0088】
図８に示すネットワークノード２０は、パケットフィルタ部２１と、メタデータ再構成部２２と、メタデータ解析部２３と、パケット構成部２４と、パケット送信部２５と、解像度パターン選択部２６と、を備える。
【0089】
パケットフィルタ部２１は、解像度パターン選択部２６から入力した受信対象指示情報に基づいて不要なパケットを破棄し、必要なパケットだけを通過させるパケットフィルタ処理を行う。そして、パケットフィルタ部２１は、オブジェクトデータのパケットをパケット送信部２５に出力し、メタデータのパケットをメタデータ再構成部２２に出力する。
【0090】
メタデータ再構成部２２は、パケットフィルタ部２１から入力したパケットからメタデータを再構成する。そして、メタデータ再構成部２２は、メタデータをメタデータ解析部２３及びパケット構成部２４に出力する。具体的には、メタデータ再構成部２２は、パケットフィルタ部２１が通過させたオブジェクト・解像度パターンのＩＤ情報のみに記載内容を削減する。これにより、受信装置３０ｂが受信するメタデータの情報量が削減されて必要最低限の情報となることで、受信装置３０ｂのメタデータ解析部３３の処理負荷を軽減させることができる。
【0091】
メタデータ解析部２３は、メタデータ再構成部２２から入力したメタデータから、各オブジェクトの各解像度パターンに割り当てられたオブジェクトＩＤ及びパケットＩＤを特定する。そして、メタデータ解析部２３は、特定したＩＤを示すＩＤ情報をパケットフィルタ部２１及び解像度パターン選択部２６に出力する。
【0092】
パケット構成部２４は、メタデータ再構成部２２から入力したメタデータを、伝送に用いるパケットに分割する。そして、パケット構成部２４は、メタデータのパケットをパケット送信部２５に出力する。
【0093】
パケット送信部２５は、パケットフィルタ部２１から入力したオブジェクトデータのパケット、及びパケット構成部２４から入力したメタデータのパケットを受信装置３０ｂに出力する。
【0094】
解像度パターン選択部２６は、受信装置３０ｂから受信した処理負荷情報及び／又はネットワークの負荷を示すネットワーク負荷情報と、メタデータ解析部２３から入力したＩＤ情報及び解像度パターン情報とを用いて、第２の実施形態に係る解像度パターン選択部３４と同様に、表示部４０に表示させるオブジェクトの最適な解像度パターンを選択する。また、解像度パターン選択部２６は、ネットワーク負荷情報により、ネットワークノード２０と受信装置３０ｂとの間の通信トラフィックの負荷が大きいと判定した場合に、通信トラフィックの負荷を下げるために、さらに低解像度の解像度パターンを選択するようにしても良い。
【0095】
図８に示す受信装置３０ｂは、パケットフィルタ部３１と、伝送フレーム・メタデータ再構成部３２と、メタデータ解析部３３と、センサ３５と、カメラ３６と、自己位置・視線方向推定部３７と、オブジェクトレンダリング部３８と、ＡＲ合成部３９と、表示部４０と、端末情報送信部４２と、を備える。受信装置３０ｂは、第２の実施形態に係る受信装置３０と比較して、解像度パターン選択部３４を備えないで端末情報送信部４２を備える点が相違する。
【0096】
受信装置３０ｂは、受信装置３０及び受信装置３０ａと同じく、３次元空間コンテンツをＡＲで視聴する視聴端末であるが、ネットワークノード２０を経由してコンテンツデータを受信する。
【0097】
パケットフィルタ部３１は、既に必要なパケットだけがフィルタされた状態のパケットを受信する。このため、受信装置３０ｂは、解像度パターン選択の処理負荷が削られるだけでなく、パケットフィルタ部３１でパケットを破棄する処理負荷も削減される。パケットフィルタ部３１は、入力のパケットフローから複数オブジェクトの分離及びメタデータの分離を行う。
【0098】
端末情報送信部４２は、受信装置３０ｂの処理負荷情報及び／又はネットワーク負荷情報をネットワークノード２０に送信する。その他の構成は、第２の実施形態に係る受信装置３０と同様であるため、説明を省略する。処理負荷情報は、第２の実施形態において、オブジェクトレンダリング部３８から出力される処理負荷と同様である。ネットワーク負荷情報は、例えば、伝送フレーム・メタデータ再構成部３２における伝送フレームの正受信率、伝送遅延ジッタを指標とすることができる。一般にネットワーク負荷が増加すると、正受信率が低下、伝送遅延ジッタが増加する。
【0099】
（第６の実施形態）
次に、第６の実施形態に係るネットワークノード２０ａ及び受信装置３０ｃについて、図９を参照して説明する。図９は、第６の実施形態に係るネットワークノード２０ａ及び受信装置３０ｃの構成例を示す図である。ネットワークノード２０ａは、第３の実施形態に係る送信装置１０ａから３次元空間コンテンツのパケットを受信し、フィルタ処理して受信装置３０ｃに送信する。
次に、第６の実施形態に係るネットワークノード２０ａ及び受信装置３０ｃについて、図９を参照して説明する。図９は、第６の実施形態に係るネットワークノード２０ａ及び受信装置３０ｃの構成例を示す図である。ネットワークノード２０ａは、第３の実施形態に係る送信装置１０ａから３次元空間コンテンツのパケットを受信し、フィルタ処理して受信装置３０ｃに送信する。
【0100】
図９に示すネットワークノード２０ａは、パケットフィルタ部２１と、メタデータ再構成部２２と、メタデータ解析部２３と、パケット構成部２４と、パケット送信部２５と、ビューポート推定部２７と、を備える。ネットワークノード２０ａは、第５の実施形態に係るネットワークノード２０と比較して、解像度パターン選択部２６に代えてビューポート推定部２７を備える点が相違する。
【0101】
ビューポート推定部２７は、受信装置３０ｃから受信した位置・視線方向情報及び解像度情報と、メタデータ解析部２３から入力したＩＤ情報、解像度パターン情報、及びオブジェクト提示位置情報とを用いて、第４の実施形態に係るビューポート推定部４１と同様に、表示部４０に表示させるオブジェクトの最適な解像度パターンを選択する。
【0102】
パケットフィルタ部２１は、ビューポート推定部２７から入力した受信対象指示情報に基づいて不要なパケットを破棄し、必要なパケットだけを通過させるパケットフィルタ処理を行う。
【0103】
メタデータ再構成部２２は、パケットフィルタ部２１から入力したパケットからメタデータを再構成する。具体的には、メタデータ再構成部２２は、パケットフィルタ部２１が通過させたオブジェクト・解像度パターンのＩＤ情報のみに記載内容を削減したり、受信装置３０ｂでは使用されないオブジェクト提示位置情報を削減したりする。これにより、受信装置３０ｃが受信するメタデータの情報量が削減されて必要最低限の情報となることで、受信装置３０ｃのメタデータ解析部３３の処理負荷を軽減させることができる。その他の構成は、第５の実施形態に係るネットワークノード２０と同様であるため、説明を省略する。
【0104】
図１０は、パケットフィルタ部２１の処理を説明するための図である。Ｍ１は、ネットワークノード２０ａが入力するメタデータの一例を示している。ビューポート推定部２７により、オブジェクトＡの「飛行機」は受信装置３０ｃの視野外、オブジェクトＢの「自動車」は受信装置３０ｃの視野内だが遠方なので低解像度でよいと判断されたとする。
【0105】
この場合、パケットフィルタ部２１は、オブジェクトＡのデータを破棄し、メタデータについてはデータロケーションの情報を破棄する。オブジェクトＢについては高解像度データを破棄し、メタデータについては高解像度版のパケットＩＤの情報を破棄する。Ｍ２は、受信装置３０ｂが入力するメタデータの一例を示している。オブジェクトＡはデータとしては破棄されるが、コンテンツの要素として「飛行機」が含まれることは、メタデータＭ２に記載される。また、受信装置３０ｃのユーザインタフェースで、視野外であっても今飛行機がどのあたりにいるかというような情報を使うことも想定する場合には、位置情報もメタデータＭ２には記載したままにする。
【0106】
図９に示す受信装置３０ｃは、パケットフィルタ部３１と、伝送フレーム・メタデータ再構成部３２と、メタデータ解析部３３と、センサ３５と、カメラ３６と、自己位置・視線方向推定部３７と、オブジェクトレンダリング部３８と、ＡＲ合成部３９と、表示部４０と、端末情報送信部４２ａと、を備える。受信装置３０ｃは、第４の実施形態に係る受信装置３０ａと比較して、ビューポート推定部を備えないで端末情報送信部４２ａを備える点が相違する。
【0107】
パケットフィルタ部３１は、既に必要なパケットだけがフィルタされた状態のパケットを受信する。このため、受信装置３０ｃは、ビューポート推定の処理負荷が削られるだけでなく、パケットフィルタ部３１でパケットを破棄する処理負荷も削減される。パケットフィルタ部３１は、入力のパケットフローから複数オブジェクトの分離及びメタデータの分離を行う。
【0108】
端末情報送信部４２ａは、受信装置３０ｃの位置・視線方向情報をネットワークノード２０ａに送信する。また端末情報送信部４２ａは、ネットワークノード２０ａのビューポート推定部２７にてオブジェクトの提示解像度の推定を行う場合など、必要に応じて、表示部４０の解像度情報をネットワークノード２０ａに送信する。その他の構成は、第４の実施形態に係る受信装置３０ａと同様であるため、説明を省略する。
【0109】
第５の実施形態及び第６の実施形態では、宅内のローカルネットワーク構成において、ネットワークノード２０，２０ａまでは有線回線で外部のネットワークに接続し、ネットワークノード２０，２０ａから受信装置３０ｂ，３０ｃまでは無線で接続される場合が多い。このような場合に、全てのオブジェクト・解像度パターンを含む大容量のコンテンツデータをネットワークノード２０，２０ａで一度受信し、必要最低限のコンテンツデータのみに絞って受信装置３０ｂ，３０ｃに届けることができる。つまり、第５の実施形態及び第６の実施形態によれば、他のサービスと共用されている宅内の無線ネットワークの通信トラフィックを削減し、輻輳を抑えることも可能となる。ネットワークノード２０，２０ａが宅外のエッジサーバなどの場合であっても、エッジサーバと受信装置３０ｂ，３０ｃとの間の通信トラフィックを削減して、他のサービスと共用する回線区間の輻輳を抑えることが可能となる。
【0110】
これまでの説明では、複数の解像度パターンを伝送する場合に、それぞれの解像度パターンには依存関係がなく独立したデータであるものとしていた。この場合、オブジェクトを高解像度にレンダリングするときには、高解像度データのみを用い、低解像度データは不要のため完全に破棄していた。一方、複数の解像度パターンを伝送する場合に、低解像度データと、この低解像度データからの差分を高解像度化データとして伝送することも可能である。この場合、オブジェクトを高解像度にレンダリングするときには、低解像度データも破棄せず、低解像度データに高解像度化データを足し合わせる。逆に、低解像度にレンダリングする場合には、高解像度化データを破棄できる。このように複数の解像度パターンの間に依存関係がある場合も、データの依存関係をメタデータに記述して伝送し、その依存関係を考慮した受信対象指示情報をパケットフィルタ部２１，３１に与えればよく、本発明により実現が可能である。低解像度データと高解像度化データとの間に依存関係がある例として、３次元オブジェクトが３次元ポイントクラウドで与えられるとき、低解像度データと高解像度化データとで頂点が重複しないように符号化すれば、両方の頂点を足し合わせたときに最も高い解像度が得られる。
【0111】
図１１は、解像度パターンに依存関係がある場合のパケットフィルタ部２１の処理を説明するための図である。Ｍ３はネットワークノード２０ａが入力するメタデータの一例を示しており、Ｍ４は受信装置３０ｂが入力するメタデータの一例を示している。ビューポート推定部２７により、オブジェクトＡの「飛行機」は受信装置３０ｃの視野内であるが遠方なので低解像度でよく、オブジェクトＢの「自動車」は受信装置３０ｃの視野内であり近接しているため高解像度なレンダリングが必要と判断されたとする。この場合、パケットフィルタ部２１は、オブジェクトＡの高解像度化データを破棄し、メタデータについては高解像度版の情報を破棄する。オブジェクトＢについては、高解像度化データは低解像度データに依存するのでデータを破棄せず、メタデータも破棄しない。
【0112】
また、メタデータにオブジェクトの優先度情報を記述して伝送し、解像度パターンの選択に使用しても良い。例えば、人物等のオブジェクトが頭部のオブジェクトとその他の部分のオブジェクトに分割して伝送される場合に、ユーザから注目されやすい頭部のオブジェクトの優先度を頭部以外のオブジェクトの優先度よりも高く設定する。これにより、頭部以外の部分の解像度よりも、頭部の解像度を優先するように制御することで、さらにコンテンツの品質を保つことができる。このように複数のオブジェクトの間に優先度がある場合も、オブジェクトの優先度をメタデータに記述して伝送し、その優先度を考慮した受信対象指示情報をパケットフィルタ部２１，３１に与えればよく、本発明により実現が可能である。
【0113】
図１２は、オブジェクトに優先度がある場合のパケットフィルタ部２１の処理を説明するための図である。Ｍ５はネットワークノード２０ａが入力するメタデータの一例を示しており、Ｍ６は受信装置３０ｂが入力するメタデータの一例を示している。オブジェクトＡとＢは、コンテンツの主人公の全身を、それぞれ、頭部と、頭部以外の全身に分離した２つのオブジェクトとして伝送している。ビューポート推定部２７により、視聴者の視点位置から頭部を含む全身が視野内だが、両方とも高解像度版にすると、受信装置３０ｃの処理負荷が過大になると判定されたとする。この場合、少なくともどちらか一方を低解像度版にする必要があるが、メタデータの優先度情報を参照して、より優先度の高い頭部のオブジェクトは高解像版、より優先度の低い頭部以外のオブジェクトは低解像度として決定する。パケットフィルタ部２１は、オブジェクトＡの低解像度データを破棄し、メタデータについては低解像度版の情報を破棄する。また、オブジェクトＢの高解像度データを破棄し、メタデータについては高解像度版の情報を破棄する。また、パケットフィルタ部２１は、メタデータから優先度情報を削除してもよい。
【0114】
＜プログラム＞
上記の送信装置１０，１０ａ、受信装置３０，３０ａ，３０ｂ，３０ｃ、又はネットワークノード２０，２０ａとして機能させるために、それぞれプログラム命令を実行可能なコンピュータを用いることも可能である。コンピュータは、送信装置１０，１０ａ、受信装置３０，３０ａ，３０ｂ，３０ｃ、又はネットワークノード２０，２０ａの機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータのプロセッサによってこのプログラムを読み出して実行させることで実現することができ、これらの処理内容の少なくとも一部をハードウェアで実現することとしてもよい。ここで、プログラム命令は、必要なタスクを実行するためのプログラムコード、コードセグメントなどであってもよい。プロセッサは、ＣＰＵ，ＧＰＵ，ＤＳＰ，ＡＳＩＣ(Application Specific Integrated Circuit)などであってもよい。
上記の送信装置１０，１０ａ、受信装置３０，３０ａ，３０ｂ，３０ｃ、又はネットワークノード２０，２０ａとして機能させるために、それぞれプログラム命令を実行可能なコンピュータを用いることも可能である。コンピュータは、送信装置１０，１０ａ、受信装置３０，３０ａ，３０ｂ，３０ｃ、又はネットワークノード２０，２０ａの機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータのプロセッサによってこのプログラムを読み出して実行させることで実現することができ、これらの処理内容の少なくとも一部をハードウェアで実現することとしてもよい。ここで、プログラム命令は、必要なタスクを実行するためのプログラムコード、コードセグメントなどであってもよい。プロセッサは、ＣＰＵ，ＧＰＵ，ＤＳＰ，ＡＳＩＣ(Application Specific Integrated Circuit)などであってもよい。
【0115】
また、このプログラムは、コンピュータが読み取り可能な記録媒体に記録されていてもよい。このような記録媒体を用いれば、プログラムをコンピュータにインストールすることが可能である。ここで、プログラムが記録された記録媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭなどの記録媒体であってもよい。また、このプログラムは、ネットワークを介したダウンロードによって提供することもできる。
【0116】
上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態に記載の構成ブロックについて、複数を１つに組み合わせたり、１つを複数に分割したりすることが可能である。
【符号の説明】
【0117】
１ 放送型３次元空間コンテンツ伝送システム
１０，１０ａ 送信装置
１１ ＩＤ決定部
１２ 伝送フレーム構成部
１３ メタデータ生成部
１４ パケット構成部
１５ パケット送信部
１６ オブジェクト提示位置情報生成部
２０，２０ａ ネットワークノード
２１ パケットフィルタ部
２２ メタデータ再構成部
２３ メタデータ解析部
２４ パケット構成部
２５ パケット送信部
２６ 解像度パターン選択部
２７ ビューポート推定部
３０，３０ａ，３０ｂ，３０ｃ 受信装置
３１ パケットフィルタ部
３２ 伝送フレーム・メタデータ再構成部
３３ メタデータ解析部
３４ 解像度パターン選択部
３５ センサ
３６ カメラ
３７ 自己位置・視線方向推定部
３８ オブジェクトレンダリング部
３９ ＡＲ合成部
４０ 表示部
４１ ビューポート推定部
４２，４２ａ 端末情報送信部
５０ 撮影・制作システム
６０ 完成データ記憶部
７０ データ変換装置
８０ 送出データ記憶部
９０ 伝送路
１０，１０ａ 送信装置
１１ ＩＤ決定部
１２ 伝送フレーム構成部
１３ メタデータ生成部
１４ パケット構成部
１５ パケット送信部
１６ オブジェクト提示位置情報生成部
２０，２０ａ ネットワークノード
２１ パケットフィルタ部
２２ メタデータ再構成部
２３ メタデータ解析部
２４ パケット構成部
２５ パケット送信部
２６ 解像度パターン選択部
２７ ビューポート推定部
３０，３０ａ，３０ｂ，３０ｃ 受信装置
３１ パケットフィルタ部
３２ 伝送フレーム・メタデータ再構成部
３３ メタデータ解析部
３４ 解像度パターン選択部
３５ センサ
３６ カメラ
３７ 自己位置・視線方向推定部
３８ オブジェクトレンダリング部
３９ ＡＲ合成部
４０ 表示部
４１ ビューポート推定部
４２，４２ａ 端末情報送信部
５０ 撮影・制作システム
６０ 完成データ記憶部
７０ データ変換装置
８０ 送出データ記憶部
９０ 伝送路
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】