知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024165003
(43)【公開日】2024-11-28
(54)【発明の名称】シーン記述編集装置及びプログラム
(51)【国際特許分類】
H04N 21/854 20110101AFI20241121BHJP
H04N 5/262 20060101ALI20241121BHJP
【ＦＩ】
H04N21/854
H04N5/262
【審査請求】未請求
【請求項の数】6
【出願形態】ＯＬ
(21)【出願番号】P 2023080802
(22)【出願日】2023-05-16
(71)【出願人】
【識別番号】000004352
【氏名又は名称】日本放送協会
(74)【代理人】
【識別番号】110001106
【氏名又は名称】弁理士法人キュリーズ
(72)【発明者】
【氏名】青木 秀一
【テーマコード（参考）】
5C023
5C164
【Ｆターム（参考）】
5C023AA01
5C164FA06
5C164FA29
5C164MB13S
5C164MC01P
5C164PA32
5C164PA38
5C164SB02S
5C164SC05S
(57)【要約】
【課題】 メディア処理装置のレンダリング機能がユーザ端末で利用される場合に、特定コンテンツを定義するシーン記述を適切に編集することを可能とするシーン記述編集装置及びプログラムを提供する。
【解決手段】 シーン記述編集装置は、視点の自由度を有するコンテンツの構成を定義するシーン記述及び2以上の視点情報をメディア処理装置に出力する出力部と、前記コンテンツを少なくとも含む特定コンテンツであって、前記シーン記述及び前記2以上の視点情報の各々に基づいて前記メディア処理装置で生成された2以上の特定コンテンツを取得する取得部と、を備える。
【選択図】図２３
【解決手段】 シーン記述編集装置は、視点の自由度を有するコンテンツの構成を定義するシーン記述及び2以上の視点情報をメディア処理装置に出力する出力部と、前記コンテンツを少なくとも含む特定コンテンツであって、前記シーン記述及び前記2以上の視点情報の各々に基づいて前記メディア処理装置で生成された2以上の特定コンテンツを取得する取得部と、を備える。
【選択図】図２３
【特許請求の範囲】
【請求項1】
視点の自由度を有するコンテンツの構成を定義するシーン記述及び2以上の視点情報をメディア処理装置に出力する出力部と、
前記コンテンツを少なくとも含む特定コンテンツであって、前記シーン記述及び前記2以上の視点情報の各々に基づいて前記メディア処理装置で生成された2以上の特定コンテンツを取得する取得部と、を備える、シーン記述編集装置。
前記コンテンツを少なくとも含む特定コンテンツであって、前記シーン記述及び前記2以上の視点情報の各々に基づいて前記メディア処理装置で生成された2以上の特定コンテンツを取得する取得部と、を備える、シーン記述編集装置。
【請求項2】
前記メディア処理装置で生成された前記2以上の特定コンテンツの各々のフレームレートは、前記特定コンテンツの視聴者が用いるユーザ端末に送信される前記特定コンテンツのフレームレートよりも低い、請求項１に記載のシーン記述編集装置。
【請求項3】
前記取得部は、同一時刻に対応する前記2以上の特定コンテンツを含む矩形映像を取得する、請求項１に記載のシーン記述編集装置。
【請求項4】
前記矩形映像は、前記2以上の特定コンテンツに加えて、パディング領域を含む、請求項３に記載のシーン記述編集装置。
【請求項5】
前記取得部は、同一時刻に対応する前記2以上の特定コンテンツの各々を時間軸上において連続的に取得する、請求項１に記載のシーン記述編集装置。
【請求項6】
視点の自由度を有するコンテンツの構成を定義するシーン記述及び2以上の視点情報をメディア処理装置に出力するステップAと、
前記コンテンツを少なくとも含む特定コンテンツであって、前記シーン記述及び前記2以上の視点情報の各々に基づいて前記メディア処理装置で生成された2以上の特定コンテンツを取得するステップBと、をコンピュータに実行させる、プログラム。
前記コンテンツを少なくとも含む特定コンテンツであって、前記シーン記述及び前記2以上の視点情報の各々に基づいて前記メディア処理装置で生成された2以上の特定コンテンツを取得するステップBと、をコンピュータに実行させる、プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、シーン記述編集装置及びプログラムに関する。
【背景技術】
【0002】
従来、360°映像及び3Dオブジェクトなどのコンテンツを伝送する仕組みが提案されている（例えば、非特許文献１）。このような仕組としては、利用者が座位で頭を動かした範囲の視点移動を伴う3DoF+（Degree of Freedom）、利用者が自由に動く範囲の視点移動を伴う6DoFなどが知られている。このような仕組みでは、360°映像と3Dオブジェクトとの位置関係は、シーン記述によって示される。
【先行技術文献】
【非特許文献】
【0003】
【非特許文献1】3GPP TR 26.928 V16.1.0 2020年12月
【発明の概要】
【発明が解決しようとする課題】
【0004】
上述した背景下において、視点の自由度を有するコンテンツを含む特定コンテンツをメディア処理装置によって生成した上で、生成された特定コンテンツをメディア処理装置からユーザ端末に送信するケースが考えられる。同様に、特定コンテンツを定義するシーン記述をシーン記述編集装置によって編集するケースが想定される。
【0005】
発明者等は、鋭意検討の結果、上述したケースにおいて、ユーザ端末及びシーン記述編集装置において、メディア処理装置のレンダリング機能を共通化する必要性を見出した。
【0006】
そこで、本発明は、上述した課題を解決するためになされたものであり、メディア処理装置のレンダリング機能がユーザ端末で利用される場合に、特定コンテンツを定義するシーン記述を適切に編集することを可能とするシーン記述編集装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0007】
開示の概要は、視点の自由度を有するコンテンツの構成を定義するシーン記述及び2以上の視点情報をメディア処理装置に出力する出力部と、前記コンテンツを少なくとも含む特定コンテンツであって、前記シーン記述及び前記2以上の視点情報の各々に基づいて前記メディア処理装置で生成された2以上の特定コンテンツを取得する取得部と、を備える、シーン記述編集装置である。
【0008】
開示の概要は、視点の自由度を有するコンテンツの構成を定義するシーン記述及び2以上の視点情報をメディア処理装置に出力するステップAと、前記コンテンツを少なくとも含む特定コンテンツであって、前記シーン記述及び前記2以上の視点情報の各々に基づいて前記メディア処理装置で生成された2以上の特定コンテンツを取得するステップBと、をコンピュータに実行させる、プログラムである。
【発明の効果】
【0009】
本発明によれば、メディア処理装置のレンダリング機能がユーザ端末で利用される場合に、特定コンテンツを定義するシーン記述を適切に編集することを可能とするシーン記述編集装置及びプログラムを提供することができる。
【図面の簡単な説明】
【0010】
【発明を実施するための形態】
【0011】
次に、本発明の実施形態について説明する。なお、以下の図面の記載において、同一または類似の部分には、同一または類似の符号を付している。ただし、図面は模式的なものであり、各寸法の比率などは現実のものとは異なることに留意すべきである。
【0012】
したがって、具体的な寸法などは以下の説明を参酌して判断すべきものである。また、図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることは勿論である。
【0013】
［開示の概要］
開示の概要に係るシーン記述編集装置は、視点の自由度を有するコンテンツの構成を定義するシーン記述及び2以上の視点情報をメディア処理装置に出力する出力部と、前記コンテンツを少なくとも含む特定コンテンツであって、前記シーン記述及び前記2以上の視点情報の各々に基づいて前記メディア処理装置で生成された2以上の特定コンテンツを取得する取得部と、を備える。
開示の概要に係るシーン記述編集装置は、視点の自由度を有するコンテンツの構成を定義するシーン記述及び2以上の視点情報をメディア処理装置に出力する出力部と、前記コンテンツを少なくとも含む特定コンテンツであって、前記シーン記述及び前記2以上の視点情報の各々に基づいて前記メディア処理装置で生成された2以上の特定コンテンツを取得する取得部と、を備える。
【0014】
開示の概要では、シーン記述編集装置は、シーン記述及び2以上の視点情報の各々に基づいてメディア処理装置で生成された2以上の特定コンテンツ（プレビュー）を取得する。このような構成によれば、特定コンテンツをメディア処理装置によって生成（レンダリング）した上で、生成された特定コンテンツをメディア処理装置からユーザ端末に送信するケースを想定した場合に、シーン記述編集装置は、ユーザ端末と同様の仕組みで、視点情報が異なる2以上の特定コンテンツをメディア処理装置から取得することができる。従って、ユーザ端末に表示されると想定される特定コンテンツについて、2以上の視点情報に対応する2以上の特定コンテンツ（プレビュー）を確認しながら、シーン記述を適切に編集することができる。
【0015】
なお、メディア処理装置によって生成される特定コンテンツは視点情報に基づいて生成されるものであり、ユーザ端末側では、特定コンテンツに含まれる映像について2D映像として扱うことができることに留意すべきである。
【0016】
［実施形態］
（伝送システム）
以下において、実施形態に係る伝送システムについて説明する。図１は、実施形態に係る伝送システム10を示す図である。図１に示すように、デジタル無線伝送システムは、送信装置100、メディア処理装置200及びユーザ端末300を備える。
（伝送システム）
以下において、実施形態に係る伝送システムについて説明する。図１は、実施形態に係る伝送システム10を示す図である。図１に示すように、デジタル無線伝送システムは、送信装置100、メディア処理装置200及びユーザ端末300を備える。
【0017】
実施形態において、送信装置100は、視点の自由度を有していない第1コンテンツ及び視点の自由度を有する第2コンテンツをメディア処理装置200に送信する。さらに、送信装置100は、第1コンテンツに付随する第1制御情報及び第2コンテンツに付随する第2制御情報をメディア処理装置200に送信する。
【0018】
第1コンテンツは、2D映像及び音声の少なくともいずれか1つを含んでもよい。第1コンテンツ及び第1制御情報は、第1方式で送信されてもよい。第1方式は、ISO/IEC 23008-1（以下、MMT（MPEG Media Transport））に準拠する方式であってもよい。以下においては、第1方式がMMTに準拠するMMTP（MMT Protocol）であるケースについて例示する。第1制御情報は、MMT-SI（Signaling Information）と称されてもよい。
【0019】
第2コンテンツは、360°映像及び3Dオブジェクトを含んでもよい。第2コンテンツ及び第2制御情報は、第2方式で送信されてもよい。あるいは、HTTP（Hyper Text Transfer Protocol）などのプロトコルで伝送されてもよい。第2コンテンツは、利用者が座位で頭を動かした範囲の視点移動を伴う3DoF+（Degree of Freedom）、利用者が自由に動く範囲の視点移動を伴う6DoFなどに準拠してもよい。第2コンテンツは、視点の自由度を有するため、同一時刻（フレーム）において、2以上の360°映像を含んでもよく、2以上の3Dオブジェクトを含んでもよい。第2制御情報は、シーン記述と称されてもよい。
【0020】
ここで、第2制御情報は、上述した第1方式で送信されてもよい。すなわち、第2制御情報は、第1制御情報と同じ第1方式（例えば、MMTP）で送信されてもよい。あるいは、HTTPなどのプロトコルで伝送されてもよい。
【0021】
送信装置100からメディア処理装置200への伝送は、特に限定されるものではないが、衛星放送を用いた伝送であってもよく、インターネット網を用いた伝送であってもよく、移動体通信網を用いた伝送であってもよい。
【0022】
特に限定されるものではないが、伝送システムは、デジタル無線伝送システムであってもよい。デジタル無線伝送システムは、4K、8K衛星放送で用いるシステムであってもよい。
【0023】
メディア処理装置200は、ユーザ端末300から受信する視点情報に基づいて、上述した第2コンテンツを少なくとも含む特定コンテンツを生成し、生成された特定コンテンツをユーザ端末300に送信する。特に限定されるものではないが、特定コンテンツの伝送は、インターネット網を用いた伝送であってもよく、移動体通信網を用いた伝送であってもよい。
【0024】
ユーザ端末300は、スマートフォン、タブレット端末、ヘッドマウントディスプレイなどのユーザ端末であってもよい。図１に示すように、ユーザ端末300として2以上のユーザ端末300が設けられてもよい。言い換えると、2以上のユーザ端末300は、特定コンテンツの生成をメディア処理装置200に要求してもよい。各ユーザ端末300は、別々の視点情報をメディア処理装置200に送信してもよい。
【0025】
（メディア処理装置及びユーザ端末）
以下において、実施形態に係るメディア処理装置及びユーザ端末について説明する。図２は、実施形態に係るメディア処理装置200及びユーザ端末300を示すブロック図である。
以下において、実施形態に係るメディア処理装置及びユーザ端末について説明する。図２は、実施形態に係るメディア処理装置200及びユーザ端末300を示すブロック図である。
【0026】
第1に、メディア処理装置200は、受付部210と、レンダラ220と、符号化処理部230と、を有する。
【0027】
受付部210は、視点情報を受け付ける。実施形態では、受付部210は、視点情報をユーザ端末300から受信する受信部を構成する。視点情報は、ユーザ端末300のユーザの視点位置を示す情報要素、ユーザ端末300のユーザの視線方向を示す情報要素を含む。
【0028】
レンダラ220は、視点情報に基づいて、第2コンテンツを少なくとも含む特定コンテンツを生成する。特定コンテンツは、視点情報に基づいて生成されるため、同一時刻（フレーム）において、1つの360°映像を含んでもよく、1つの3Dオブジェクトを含んでもよい。以下において、特定コンテンツは、第2コンテンツに加えて第1コンテンツを含むケースについて例示する。
【0029】
第1に、図２に示すように、レンダラ220は、第1制御情報（MMT-SI）に基づいて、特定コンテンツの一部として、2D映像及び音声を含む第1コンテンツを生成する。第1コンテンツの生成において視点情報は不要である。
【0030】
具体的には、レンダラ220は、2D映像、音声及びMMT-SIがパケット化されたMMTPパケットの形式で、2D映像、音声及びMMT-SIを取得する。
【0031】
例えば、MMTPパケットは、IP（Internet Protocol）パケットに格納される。IPパケットは、UDP（User Datagram Protocol）を用いて伝送されてもよく、TCP（Transmission Control Protocol）を用いて伝送されてもよい。
【0032】
ここで、第1コンテンツは、一定時間幅で区切られた単位（以下、MPU；Media Processing Unit）で処理される。MPUは、1以上のアクセスユニットを含む。アクセスユニットは、MFU（Media Fragment Unit）として扱われることもある。2D映像に関するMFUは、NAL（Network Abstraction Layer）ユニットと称されてもよく、音声に関するMFUは、MHAS（MPEG-H 3D Audio Stream）パケットと称されてもよい。
【0033】
MMT-SIは、PA（Package Access）メッセージを含み、PAメッセージは、第1コンテンツの一覧を示すMPT（MMT Package Table）を含む。さらに、MMT-SIは、第1コンテンツの提示時刻を示すMPUタイムスタンプ記述子を含む。MPUタイムスタンプ記述子は、MPUの提示時刻、すなわち、MPUにおいて最初に提示するアクセスユニットの時刻を意味してもよい。
【0034】
MPUタイムスタンプ記述子は、UTC（Coordinated Universal Time）を基準時刻として生成されてもよい。基準時刻は、TAI（International Atomic Time）が用いられてもよく、GPS（Global Positioning System）から提供される時刻が用いられてもよい。基準時刻は、NTP（Network Time Protocol）サーバから提供される時刻であってもよく、PTP（Precision Time Protocol）サーバから提供される時刻であってもよい。
【0035】
第2に、図２に示すように、レンダラ220は、第2制御情報（シーン記述）に基づいて、特定コンテンツの一部として、360°映像及び3Dオブジェクトを含む第2コンテンツを生成する。第2コンテンツの生成において視点情報が用いられる。
【0036】
具体的には、レンダラ220は、シーン記述がパケット化されたMMTPパケットの形式で、シーン記述を取得してもよい。360°映像及び3Dオブジェクトの取得方法は特に限定されるものではない。
【0037】
360°映像は、ERP（Equirectangular projection）やキューブマップなどの射影変換によって2D映像に変換されていてもよい。360°映像に適用した射影変換の種類を示すメタデータが付加されていてもよい。3Dオブジェクトは、メッシュ形式で符号化されてもよい。メッシュ形式の符号化としては、ISO/IEC 14496-16 “Animation framework extension (AFX)”が用いられてもよい。3Dオブジェクトは、ポイントクラウド形式で符号化されてもよい。ポイントクラウド形式の符号化としては、ISO/IEC 23090-5 “Video-based Point Cloud Compression”が用いられてもよい。
【0038】
ここで、第2コンテンツは、一定時間幅で区切られた単位で1つのファイルに纏められる。一定時間幅は、500msであってもよい。例えば、フレームレートが60fps（frame per second）である場合には、1つのファイルは、30 frameを含む。
【0039】
シーン記述は、1つのファイル毎に生成され、360°映像及び3Dオブジェクトを特定する情報をフレーム毎に含む。例えば、シーン記述は、フレームの3Dオブジェクトの名称を示す情報要素（object_name）、フレーム番号を示す情報要素（frame_number）、フレームにおける3Dオブジェクトの位置を示す情報要素（translation_object）、フレームにおける3Dオブジェクトの回転を示す情報要素（rotation_object）、フレームにおける3Dオブジェクトの大きさを示す情報要素（scale_object）などを含む。
【0040】
第3に、レンダラ220は、第1コンテンツ及び第2コンテンツを含む特定コンテンツを符号化処理部230に出力する。レンダラ220は、特定コンテンツとともに、特定コンテンツの提示時刻を符号化処理部230に出力してもよい。
【0041】
ここで、特定コンテンツの提示時刻は、メディア処理装置200とユーザ端末300との間の遅延時間に基づいて修正されてもよい。具体的には、レンダラ220は、送信装置100からメディア処理装置200に提供される特定コンテンツの提示時刻（T）及び遅延時間（ΔT）に基づいて、メディア処理装置200からユーザ端末300に提供される特定コンテンツの提示時刻（T’=T+ΔT）を算出してもよい。遅延時間（ΔT）は、メディア処理装置200において予め定められた値であってもよく、ユーザ端末300毎に異なる値であってもよい。
【0042】
第4に、レンダラ220は、特定コンテンツの生成に用いた視点情報をユーザ端末300に送信する送信部を構成してもよい。特定コンテンツの生成に用いた視点情報は、符号化処理部230からユーザ端末300に送信されてもよい。
【0043】
例えば、視点情報及び特定コンテンツの伝送方式は、MMTPであってもよく、HTTPであってもよい。特定コンテンツの伝送方式としてMMTPが用いられる場合には、視点情報は、ISO/IEC 23090-2で規定されたOMAF（Omnidirectional Media Format）にメタデータとして格納されてもよい。
【0044】
符号化処理部230は、レンダラ220によって生成された特定コンテンツを符号化する。実施形態では、符号化処理部230は、特定コンテンツをユーザ端末300に送信する送信部の一例であってもよい。
【0045】
さらに、符号化処理部230は、特定コンテンツの提示時刻を符号化してもよい。符号化処理部230は、提示時刻を示す情報要素を特定コンテンツとともにユーザ端末300に送信してもよい。
【0046】
ここで、符号化処理部230が用いる圧縮符号化方式としては、任意の圧縮符号化方式を用いることができる。例えば、圧縮符号化方式は、HEVC（High Efficiency Video Coding）であってもよく、VVC（Versatile Video Coding）であってもよい。
【0047】
上述したように、特定コンテンツに含まれる第2コンテンツは、視点情報に基づいて生成されるため、特定コンテンツに含まれる映像は、視点の自由度を有していない2D映像として扱うことができる。
【0048】
例えば、特定コンテンツの視聴開始や終了で用いる伝送制御方式は、RTSP（Real Time Streaming Protocol）を含んでもよい。伝送方式は、MMTPであってもよく、HTTPであってもよい。伝送方式としてMMTPが用いられる場合には、特定コンテンツは、ISO/IEC 23090-2で規定されたOMAFに格納されてもよい。
【0049】
図２に示すように、ユーザ端末300は、検出部310と、復号処理部320と、レンダラ330と、を有する。
【0050】
検出部310は、ユーザの視点位置及び視線方向を検出する。検出部310は、加速度センサを含んでもよく、GPS（Global Positioning System）センサを含んでもよい。検出部310は、ユーザによって手動で入力されるユーザI/F（例えば、タッチセンサ、キーボード、マウス、コントローラなど）を含んでもよい。検出部310は、視点情報（視点位置及び視線方向）をメディア処理装置200に送信してもよい。検出部310は、視点情報（ビューポート）をレンダラ330に出力してもよい。
【0051】
復号処理部320は、メディア処理装置200から受信する特定コンテンツを復号する。復号処理部320は、メディア処理装置200から受信する提示時刻を復号してもよい。復号処理部320は、特定コンテンツをレンダラ330に出力してもよく、提示時刻をレンダラ330に出力してもよい。
【0052】
レンダラ330は、復号処理部320によって復号された特定コンテンツを出力する。レンダラ330は、復号処理部320によって復号された提示時刻に基づいて特定コンテンツを出力してもよい。例えば、レンダラ330は、特定コンテンツに含まれる映像コンテンツをディスプレイに出力し、特定コンテンツに含まれる音声コンテンツをスピーカに出力してもよい。
【0053】
ここで、レンダラ330は、メディア処理装置200から受信する視点情報と検出部310から入力される視点情報との差異に基づいて、視点位置及び視線方向が修正された特定コンテンツを生成してもよい。
【0054】
（第2コンテンツ）
以下において、実施形態に係る第2コンテンツについて説明する。ここでは、t=0、t=1及びt=2における第2コンテンツについて説明する。t=0、t=1及びt=2の時間間隔は特に限定されるものではない。
以下において、実施形態に係る第2コンテンツについて説明する。ここでは、t=0、t=1及びt=2における第2コンテンツについて説明する。t=0、t=1及びt=2の時間間隔は特に限定されるものではない。
【0055】
例えば、図３に示すように、t=0において、3Dオブジェクトが表示されずに、360°映像が表示されてもよい。360°映像は、3Dオブジェクトの背景映像であると考えてもよい。t=1において、360°映像に重畳される形式で3Dオブジェクトが表示されてもよい。さらに、t=1において、360°映像に重畳される3Dオブジェクトの位置及び回転が変更されてもよい。
【0056】
上述したシーン記述は、t=0、t=1及びt=2のそれぞれについて、3Dオブジェクトの位置、回転及び大きさを示す情報要素を含み、360°映像上に3Dオブジェクトを適切に重畳することができる。
【0057】
（視聴方法）
以下において、実施形態に係る視聴方法について説明する。ここでは、第1コンテンツ及び第2コンテンツを含む特定コンテンツの視聴について例示する。
以下において、実施形態に係る視聴方法について説明する。ここでは、第1コンテンツ及び第2コンテンツを含む特定コンテンツの視聴について例示する。
【0058】
図４に示すように、ステップS11において、ユーザ端末300は、RTSP SETUPをメディア処理装置に送信する。RTSP SETUPは、特定コンテンツの視聴を開始する旨のメッセージである。
【0059】
ここで、RTSP SETUPは、ユーザ端末300のIPアドレス、待受ポート番号、コンテンツの識別情報（コンテンツID）などを含む。RTSP SETUPは、特定コンテンツを視聴するためのユーザ端末300の能力情報を含んでもよい。能力情報は、フレームレート、表示解像度などを含んでもよい。表示解像度は、視野角（FoV：Field of View）を含んでもよい。能力情報は、ユーザ端末300が対応する符号化方式及び圧縮方式を示す情報要素を含んでもよい。
【0060】
ここでは、ユーザ端末300の能力情報がメディア処理装置200に直接的に通知されるケースが例示されているが、実施形態はこれに限定されるものではない。ユーザ端末300の能力情報は、送信装置100に通知された上で、送信装置100からメディア処理装置200に通知されてもよい。
【0061】
ステップS12において、メディア処理装置200は、RTSP SETUPに対する応答を送信する。ここでは、RTSP SETUPを受け付けた旨を示すACKが応答として送信される。
【0062】
ステップS21において、ユーザ端末300は、初期視点情報をメディア処理装置200に送信する。初期視点情報は、MMT-SIの形式で送信されてもよい。
【0063】
ステップS22において、メディア処理装置200は、初期視点情報に基づいて初期特定コンテンツを生成する（レンダリング処理）。例えば、メディア処理装置200は、初期視点情報及びシーン記述に基づいて、初期特定コンテンツに含める第2コンテンツを生成する。
【0064】
ここで、メディア処理装置200は、ユーザ端末300の表示解像度よりも広い範囲をビューポートとして初期特定コンテンツを生成してもよい。例えば、表示解像度よりも広い範囲は、水平方向において表示解像度+20%、垂直方向において表示解像度+20%の範囲であってもよい。
【0065】
メディア処理装置200は、初期特定コンテンツに圧縮符号化方式を適用する。特に限定されるものではないが、圧縮符号化方式は、HEVCであってもよく、VVCであってもよい。
【0066】
ステップS23において、メディア処理装置200は、初期視点情報に対応する初期特定コンテンツをユーザ端末300に送信する。メディア処理装置200は、初期特定コンテンツの提示時刻をユーザ端末300に送信する。上述したように、ユーザ端末300に提供される提示時刻（T’）は、遅延時間（ΔT）に基づいて定められてもよい。
【0067】
なお、遅延時間（ΔT）としてユーザ端末300毎に異なる値を用いる場合には、上述したRTSP SETUPにRTSP SETUPの送信時刻を含めることによって、メディア処理装置200側で特定することが可能である。
【0068】
ユーザ端末300は、提示時刻（T’）に基づいて特定コンテンツを出力する。ユーザ端末300は、メディア処理装置200から受信する視点情報と検出部310から入力される視点情報との差異に基づいて、視点位置及び視線方向が修正された特定コンテンツを生成してもよい。
【0069】
ステップS31において、ユーザ端末300は、視点情報をメディア処理装置200に送信する。視点情報は、MMT-SIの形式で送信されてもよい。ここで、ユーザ端末300は、所定周期（例えば、500ms）で視点情報を送信してもよく、視点位置及び視線方向の少なくともいずれか1つの変更に応じて視点情報を送信してもよい。
【0070】
ステップS32において、メディア処理装置200は、ステップS31で受信する視点情報に基づいて特定コンテンツを生成する（レンダリング処理）。
【0071】
ステップS33において、メディア処理装置200は、ステップS31で受信する視点情報に対応する特定コンテンツをユーザ端末300に送信する。
【0072】
ステップS31～ステップS33の処理は、初期視点情報に代えてステップS31で受信する視点情報を用いる点を除いて、ステップS21～ステップS23の処理と同様である。従って、ステップS31～ステップS33の処理の詳細については省略する。ステップS31～ステップS33の処理は、所定周期で繰り返されてもよく、ユーザの視点位置又は視線方向の変更毎に繰り返されてもよい。
【0073】
ステップS41において、ユーザ端末300は、RTSP TEARDOWNをメディア処理装置に送信する。RTSP TEARDOWNは、特定コンテンツの視聴を終了する旨のメッセージである。
【0074】
ステップS42において、メディア処理装置200は、RTSP TEARDOWNに対する応答を送信する。ここでは、RTSP TEARDOWNを受け付けた旨を示すACKが応答として送信される。
【0075】
図４では、ステップS11及びステップS12がRTSPベースで実行されるケースについて例示したが、実施形態はこれに限定されるものではない。ステップS11及びステップS12は、MMTPベースで実行されてもよく、HTTPベースで実行されてもよい。
【0076】
同様に、ステップS41及びステップS42がRTSPベースで実行されるケースについて例示したが、実施形態はこれに限定されるものではない。ステップS41及びステップS42は、MMTPベースで実行されてもよく、HTTPベースで実行されてもよい。
【0077】
図４では、ステップS31～ステップS33がMMTPベースで実行されるケースについて例示したが、実施形態はこれに限定されるものではない。ステップS31～ステップS33は、他の方式（例えば、HTTP）ベースで実行されてもよい。
【0078】
同様に、ステップS41～ステップS43がMMTPベースで実行されるケースについて例示したが、実施形態はこれに限定されるものではない。ステップS41～ステップS43は、他の方式（例えば、HTTP）ベースで実行されてもよい。
【0079】
（動作例1）
上述した実施形態は、以下に示す動作例1を含んでもよい。動作例1では、メディア処理装置200は、特定コンテンツに付加されるシーケンス番号と対応付けて、特定コンテンツの生成で用いた視点情報をユーザ端末300に送信する。
上述した実施形態は、以下に示す動作例1を含んでもよい。動作例1では、メディア処理装置200は、特定コンテンツに付加されるシーケンス番号と対応付けて、特定コンテンツの生成で用いた視点情報をユーザ端末300に送信する。
【0080】
具体的には、メディア処理装置200（レンダラ220）は、上述した実施形態と同様に、第2制御情報（シーン記述）に基づいて、特定コンテンツの一部として、360°映像及び3Dオブジェクトを含む第2コンテンツを生成する。第2コンテンツの生成において、ユーザ端末300から受信する視点情報が用いられる。
【0081】
動作例1では、レンダラ220は、特定コンテンツ（ここでは、第2コンテンツ）の生成で用いた視点情報をシーケンス番号と対応付ける。レンダラ220は、特定コンテンツに付加されるシーケンス番号と対応付けて、特定コンテンツの生成で用いた視点情報をユーザ端末300に送信する。視点情報は、VP（View Port）メッセージに格納されてもよい。VPメッセージは、ISO/IEC 23008-1、ARIB STD-B60、ARIB TR-B39などで規定されたMMT-SIの形式を有してもよい。VPメッセージは、フレーム毎に送信されてもよい。VPメッセージは、MMTPに関するメッセージ（MMT-SI）としてユーザ端末300に送信されてもよい。
【0082】
特に限定されるものではないが、VPメッセージは、図５に示すデータ構造を有してもよい。図５に示すように、VPメッセージは、message_id、version、length、fov、viewpoint_pos_x、viewpoint_pos_y、viewpoint_pos_z、viewpoint_yaw、viewpoint_pitch、viewpoint_roll、viewport_width、viewport_height、mpu_sequence_number_flag、mpu_sequence_numberなどを含んでもよい。
【0083】
message_idは、VPメッセージを示す識別情報である。message_idは、0x0204であってもよい。
【0084】
versionは、MMTPプロトコルのバージョンを示す情報である。versionは、0x00であってもよい。
【0085】
lengthは、VPメッセージの長さを示す情報である。
【0086】
fovは、視野角（field of view）を示す情報である。
【0087】
viewpoint_pos_xは、視点位置のx座標を示す情報である。viewpoint_pos_xは、特定コンテンツの生成で用いた視点情報の一例である。
【0088】
viewpoint_pos_yは、視点位置のy座標を示す情報である。viewpoint_pos_yは、特定コンテンツの生成で用いた視点情報の一例である。
【0089】
viewpoint_pos_zは、視点位置のz座標を示す情報である。viewpoint_pos_zは、特定コンテンツの生成で用いた視点情報の一例である。
【0090】
viewpoint_yawは、視点位置のヨーを示す情報である。viewpoint_yawは、特定コンテンツの生成で用いた視点情報の一例である。
【0091】
viewpoint_pitchは、視点位置のピッチを示す情報である。viewpoint_pitchは、特定コンテンツの生成で用いた視点情報の一例である。
【0092】
viewpoint_rollは、視点位置のロールを示す情報である。viewpoint_rollは、特定コンテンツの生成で用いた視点情報の一例である。
【0093】
viewport_widthは、表示領域（特定コンテンツ）の幅を示す情報である。
【0094】
viewport_heightは、表示領域（特定コンテンツ）の高さを示す情報である。
【0095】
mpu_sequence_number_flagは、mpu_sequence_numberのフィールドが存在するか否かを示す情報である。例えば、mpu_sequence_number_flagが1である場合に、mpu_sequence_numberのフィールドが存在し、mpu_sequence_number_flagが0である場合に、mpu_sequence_numberのフィールドが存在しなくてもよい。
【0096】
mpu_sequence_numberは、VPメッセージが示す特定コンテンツに対応する映像のMPUシーケンス番号である。mpu_sequence_numberは、特定コンテンツに付加されるシーケンス番号の一例である。
【0097】
ここで、viewpoint_pos_x、viewpoint_pos_y、viewpoint_pos_zは、シーン記述によって構成される3次元空間におけるユーザの視点位置を示す情報要素の一例である。viewpoint_yaw、viewpoint_pitch、viewpoint_rollは、シーン記述によって構成される3次元空間におけるユーザの視線方向を示す情報要素の一例である。viewport_width、viewport_heightは、特定コンテンツに含まれる映像の画素数を示す情報要素の一例である。
【0098】
このような前提下において、メディア処理装置200及びユーザ端末300は、以下に示す動作を実行してもよい。
【0099】
第1に、メディア処理装置200（レンダラ220）は、特定コンテンツの生成に用いた視点位置に基づいて、viewpoint_pos_x、viewpoint_pos_y、viewpoint_pos_zを特定してもよい。レンダラ220は、特定コンテンツの生成に用いた視線方向に基づいて、viewpoint_yaw、viewpoint_pitch、viewpoint_rollを特定してもよい。レンダラ220は、特定コンテンツの横方向の画素数に基づいてviewport_widthを特定し、特定コンテンツの縦方向の画素数に基づいてviewport_heightを特定してもよい。
【0100】
メディア処理装置200（符号化処理部230）は、レンダラ220によって生成された特定コンテンツの圧縮符号化を実行し、特定コンテンツを送信してもよい。ここで、符号化処理部230は、図５に示すVPメッセージをユーザ端末300に送信してもよい。すなわち、符号化処理部230は、特定コンテンツに付加されるシーケンス番号と対応付けて、特定コンテンツの生成で用いた視点情報をユーザ端末300に送信してもよい。
【0101】
第2に、ユーザ端末300（復号処理部320）は、特定コンテンツに付加されるシーケンス番号と対応付けて、特定コンテンツの生成で用いた視点情報をメディア処理装置200から受信する受信部を構成してもよい。すなわち、復号処理部320は、図５に示すVPメッセージ（MMT-SI）をメディア処理装置200から受信してもよい。
【0102】
ユーザ端末300（レンダラ330）は、シーケンス番号（mpu_sequence_number）に基づいて、復号された特定コンテンツを構成する映像とVPメッセージに含まれる視点情報とを対応付けてもよい。レンダラ330は、検出部310によって検出される視点情報とVPメッセージに含まれる視点情報との差異に基づいて、VPメッセージに含まれる情報（viewport_width及びviewport_height）によって定義される表示領域から、検出部310によって検出される視点情報によって特定される範囲の映像を特定してもよい。レンダラ330は、特定された映像を表示してもよい。
【0103】
（動作例2）
上述した実施形態は、以下に示す動作例2を含んでもよい。動作例2では、図６に示すように、視点情報をフィードバックする第1ユーザ端末400及び視点情報をフィードバックしない第2ユーザ端末500が混在するケースが想定される。第1ユーザ端末400は、ヘッドマウントディスプレイなどの端末であってもよい。第1ユーザ端末は、上述したユーザ端末300と同様の機能を有していてもよい。第2ユーザ端末500は、ボリュメトリックディスプレイなどの端末であってもよい。
上述した実施形態は、以下に示す動作例2を含んでもよい。動作例2では、図６に示すように、視点情報をフィードバックする第1ユーザ端末400及び視点情報をフィードバックしない第2ユーザ端末500が混在するケースが想定される。第1ユーザ端末400は、ヘッドマウントディスプレイなどの端末であってもよい。第1ユーザ端末は、上述したユーザ端末300と同様の機能を有していてもよい。第2ユーザ端末500は、ボリュメトリックディスプレイなどの端末であってもよい。
【0104】
具体的には、動作例2では、図６に示すように、メディア処理装置200（レンダラ220）は、コンテンツの構成及び推奨ビューポート情報を送信装置100から受信する受信部を構成してもよい。コンテンツの構成は、2D映像、音声、360°映像、3Dオブジェクトを含むと考えてもよい。コンテンツの構成は、MMT-SI及びシーン記述を含むと考えてもよい。推奨ビューポート情報は、特定視点情報の一例であると考えてもよい。推奨ビューポート情報は、特定コンテンツによって構成される3次元空間（シーン記述で構築される3次元空間）において、どの位置、方向及び画角で映像を見るのかを定義（推奨）する情報であってもよい。推奨ビューポート情報は、特定コンテンツによって構成される3次元空間における視点位置を示す情報要素及び特定コンテンツによって構成される3次元空間における視線方向を示す情報要素の少なくてもいずか1つを示す情報要素を含んでもよい。推奨ビューポート情報は、主として、第2ユーザ端末500で用いられる視点情報であると考えてもよい。
【0105】
以下において、明示的に記載しない限りにおいて、特定コンテンツの生成で用いる視点情報は、送信装置100から受信する特定視点情報（推奨ビューポート情報）を含んでもよく、ユーザ端末300から受信する視点情報を含んでもよい。
【0106】
特に限定されるものではないが、推奨ビューポート情報は、図７に示す態様でシーン記述に含まれてもよい。図７に示すように、推奨ビューポート情報は、camera_orientation、frame_number、translation、yfovを含んでもよい。
【0107】
camera_orientationは、シーン記述で構築される3次元空間において映像を見る方向を示す情報である。camera_orientationは、視線方向と同義であると考えてもよい。
【0108】
frame_numberは、camera_orientation、translation及びyfovが適用される映像のフレーム番号を示す情報である。camera_orientationは、特定視点情報の一例であると考えてもよい。
【0109】
translationは、シーン記述で構築される3次元空間において映像を見る位置を示す情報である。translationは、視点位置と同義であると考えてもよい。translationは、特定視点情報の一例であると考えてもよい。例えば、図７では、フレーム番号が0である場合に、視点位置が[0,0,-50]であり、フレーム番号が2505である場合に、視点位置が[0,0,-75]に移動するケースが例示されている。
【0110】
yfovは、シーン記述で構築される3次元空間において映像を見る画角を示す情報である。
【0111】
特に限定されるものではないが、camera_orientation及びtranslationは、コンテンツの制作者が付与してもよい。或いは、コンテンツがカメラによって撮像されるケースを想定した場合に、カメラに設けられるGPS及びセンサによってcamera_orientation及びtranslationが自動的に付与されてもよい。
【0112】
ここで、translationは、特定コンテンツによって構成される3次元空間における視点位置を示す情報要素の一例である。camera_orientationは、特定コンテンツによって構成される3次元空間における視線方向を示す情報要素の一例である。
【0113】
このような前提下において、メディア処理装置200及びユーザ端末300は、以下に示す動作を実行してもよい。
【0114】
第1に、メディア処理装置200（レンダラ220）は、特定視点情報（推奨ビューポート情報）に基づいて特定コンテンツを生成してもよい。メディア処理装置200（符号化処理部230）は、レンダラ220によって生成された特定コンテンツの圧縮符号化を実行し、特定コンテンツを送信してもよい。ここで、符号化処理部230は、特定視点情報に基づいて生成された特定コンテンツを第1ユーザ端末400に送信してもよく、特定視点情報に基づいて生成された特定コンテンツを第2ユーザ端末500に送信してもよい。
【0115】
第2に、メディア処理装置200（受付部210）は、ユーザ端末が視点情報をフィードバックする第1ユーザ端末400である場合に、第1ユーザ端末400から視点情報を受信してもよい。メディア処理装置（レンダラ220）は、第1ユーザ端末400から受信する視点情報に基づいて特定コンテンツを生成してもよい。このようなケースにおいて、メディア処理装置200（受付部210）は、リセット信号を第1ユーザ端末400から受信してもよい。メディア処理装置（レンダラ220）は、リセット信号に応じて、特定視点情報（推奨ビューポート情報）に基づいて特定コンテンツを生成してもよい。
【0116】
このようなケースにおいて、第1ユーザ端末400は、ユーザ端末300と同様の構成を有していてもよい。但し、第1ユーザ端末400（検出部310）は、リセット信号を検出する機能を有してもよい。検出部310は、リセット信号を入力するユーザ操作を検出してもよい。検出部310は、リセット信号をメディア処理装置200に送信してもよい。
【0117】
第3に、メディア処理装置200（レンダラ220）は、ユーザ端末が視点情報をフィードバックしない第2ユーザ端末500である場合に、特定視点情報（推奨ビューポート情報）に基づいて特定コンテンツを生成してもよい。
【0118】
このようなケースにおいて、第2ユーザ端末500は、視点情報を検出する検出部310を有していなくてもよい。第2ユーザ端末500は、レンダラ330を有していなくてもよい。第2ユーザ端末500は、検出部310及びレンダラ330を有していない点を除いて、ユーザ端末300と同様の構成を有してもよい。
【0119】
（動作例3）
上述した実施形態は、以下に示す動作例3を含んでもよい。動作例3では、メディア処理装置200（例えば、後述する選択部260）は、特定コンテンツに含まれる3Dオブジェクトに関するストリームの品質情報として、視点情報に基づいた3Dオブジェクトの向きによって品質が異なる2以上のストリームの各々に関する品質情報を送信装置100から受信する受信部を構成してもよい。
上述した実施形態は、以下に示す動作例3を含んでもよい。動作例3では、メディア処理装置200（例えば、後述する選択部260）は、特定コンテンツに含まれる3Dオブジェクトに関するストリームの品質情報として、視点情報に基づいた3Dオブジェクトの向きによって品質が異なる2以上のストリームの各々に関する品質情報を送信装置100から受信する受信部を構成してもよい。
【0120】
具体的には、動作例3では、図８に示すように、メディア処理装置200は、図２に示す構成に加えて、選択部260を有する。選択部260は、シーン記述及び3Dオブジェクトを送信装置100から受信する。選択部260は、2以上のストリームの中から選択されたストリーム（3Dオブジェクト）をレンダラ220に入力する。選択部260は、選択されたストリームの送信を送信装置100に要求してもよい。なお、メディア処理装置200が複数のユーザ端末300に特定コンテンツを送信するケースを想定した場合には、選択部260は、複数のユーザ端末300の各々で必要とされるストリームの送信を送信装置100に要求してもよく、全てのストリームの送信を送信装置100に要求してもよい。
【0121】
ここで、選択部260は、3Dオブジェクトに関するストリームの品質情報として、視点情報に基づいた3Dオブジェクトの向きによって品質が異なる2以上のストリームの各々に関する品質情報を送信装置100から受信する。
【0122】
品質情報は、3Dオブジェクトに関するバウンディングボックスを構成する各面の相対品質を示す情報であってもよい。バウンディングボックスは、3Dオブジェクトを射影する3次元の矩形によって表されてもよい。例えば、図９に示すように、バウンディングボックスは、頂点A～頂点Hによって定義されてもよい。このようなケースにおいて、バウンディングボックスの各面は、頂点A,B,F,Eで表される面#1、頂点B,C,G,Fで表される面#2、頂点A,B,C,Dで表される面#3、頂点E,F,G,Hで表される面#4、頂点A,D,H,Eで表される面#5、頂点D,C,G,Hで表される面#6を含む。
【0123】
このようなケースにおいて、シーン記述によって構築される3次元空間において3Dオブジェクトを見るケースを想定すると、3つの面について主として観察されると想定される。言い換えると、残りの3つの面についてはあまり観察されないと想定される。
【0124】
動作例3では、特定コンテンツに含まれる3Dオブジェクトに関するストリームとして、視点情報に基づいた3Dオブジェクトの向きによって品質が異なる2以上のストリームが準備される。
【0125】
特に限定されるものではないが、品質情報は、図１０に示す態様でシーン記述に含まれてもよい。図１０では、3Dオブジェクトの向きが異なるストリームとして、6つのストリームが例示されている。品質情報は、”quality” [#1,#2,#3,#4,#5,#6]の形式で表されてもよい。なお、[ ]内において、#1～#6は、面#1～面#6の品質インデックスを意味している。品質インデックスは、1～9の範囲の値を取り得てもよい。品質インデックスの値が大きいほど、品質が高いことを意味してもよい。例えば、”id”=”1”で識別されるストリームでは、#1,#2,#3の品質（”8”）が高く、#4,#5,#6の品質（”3”）が低い。”id”=”2”で識別されるストリームでは、#1,#2,#3の品質（”3”）が低く、#4,#5,#6の品質（”8”）が高い。
【0126】
このような前提下において、メディア処理装置200は、以下に示す動作を実行してもよい。以下においては、2以上のストリームの中から選択されたストリーム（3Dオブジェクト）の選択について主として説明する。
【0127】
モード1では、図１１の上段に示すように、メディア処理装置200（選択部260）は、ユーザの視点位置に最も近い頂点（例えば、頂点B）を特定した上で、最も近い頂点を有する3つの面（例えば、頂点A,B,F,Eで表される面#1、頂点B,C,G,Fで表される面#2、頂点A,B,C,Dで表される面#3）を特定してもよい。選択部260は、特定された3つの面の品質インデックスの総和が最大となるストリーム（図１０に示す例では、”id”=”１”で識別されるストリーム）を選択してもよい。
【0128】
なお、モード1では、視点情報に基づいてユーザの視点位置に最も近い頂点が特定されることから、選択部260は、視点情報及び品質情報に基づいて、2以上のストリームの中からユーザ端末300に送信すべきストリームを選択すると考えてもよい。
【0129】
モード2では、3Dオブジェクトの縮小表示又は拡大表示が実行されるケースで適用されるモードであってもよい。例えば、図１１の中段に示すように、メディア処理装置200（選択部260）は、ユーザの視点位置に最も近い頂点（例えば、頂点B）を特定した上で、最も近い頂点を有する3つの面（例えば、頂点A,B,F,Eで表される面#1、頂点B,C,G,Fで表される面#2、頂点A,B,C,Dで表される面#3）を特定してもよい。3Dオブジェクトの縮小表示が実行されるケースでは、3Dオブジェクトの画素が間引かれる。従って、選択部260は、特定された3つの面の品質インデックスの総和が最小となるストリーム（図１０に示す例では、”id”=”2”で識別されるストリーム）を選択してもよい。一方で、3Dオブジェクトの拡大表示が実行されるケースでは、3Dオブジェクトの画素が補間される。従って、選択部260は、特定された3つの面の品質インデックスの総和が最大となるストリーム（図１０に示す例では、”id”=”1”で識別されるストリーム）を選択してもよい。
【0130】
なお、モード2では、視点情報に基づいてユーザの視点位置に最も近い頂点が特定されることから、選択部260は、視点情報及び品質情報に基づいて、2以上のストリームの中からユーザ端末300に送信すべきストリームを選択すると考えてもよい。
【0131】
モード3では、ユーザの視線方向において、2つの3Dオブジェクト（3Dオブジェクト#1及び3Dオブジェクト#2）が重なるケースで適用されるモードであってもよい。ここでは、3Dオブジェクト#1に関するストリームの選択について説明する。例えば、図１１の下段に示すように、メディア処理装置200（選択部260）は、ユーザの視点位置に最も近い頂点（例えば、頂点B）を特定した上で、最も近い頂点を有する3つの面（例えば、頂点A,B,F,Eで表される面#1、頂点B,C,G,Fで表される面#2、頂点A,B,C,Dで表される面#3）を特定してもよい。ここで、ユーザの視点位置に最も近い頂点（例えば、頂点B）とユーザの視点位置とを結ぶ線分上において3Dオブジェクト#2が重なっており、特定された3つの面が3Dオブジェクト#2によって遮られる。従って、選択部260は、特定された3つの面の品質インデックスの総和が最小となるストリーム（図１０に示す例では、”id”=”2”で識別されるストリーム）を選択してもよい。
【0132】
なお、モード3では、視点情報に基づいてユーザの視点位置に最も近い頂点が特定されることから、選択部260は、視点情報及び品質情報に基づいて、2以上のストリームの中からユーザ端末300に送信すべきストリームを選択すると考えてもよい。さらに、モード3では、視点情報及び3Dオブジェクトの配置情報に基づいて2つの3Dオブジェクトの重なりが特定されることから、選択部260は、視点情報、品質情報及び配置情報に基づいて、2以上のストリームの中からユーザ端末300に送信すべきストリームを選択すると考えてもよい。3Dオブジェクトの配置情報（例えば、図１０に示す”rotation_object”、”scale_object”、”translation_object）は、シーン記述に含まれてもよい。3Dオブジェクトの配置情報は、図１０に示す”link_area”であると考えてもよい。すなわち、選択部260は、3次元空間における3Dオブジェクトの配置情報を送信装置100から受信してもよい。
【0133】
なお、図１０に示す品質情報では、各ストリームにおいて6つの面の品質インデックスの総和が等しい。しかしながら、実施形態はこれに限定されるものではない。6つの面の品質インデックスの総和は、2以上のストリーム間で異なっていてもよい。
【0134】
（動作例4）
上述した実施形態は、以下に示す動作例4を含んでもよい。ここでは、動作例4は、動作例3に加えて、以下に示す動作を含む。動作例4では、メディア処理装置200（例えば、後述する選択部270）は、特定コンテンツに含まれる2以上のオブジェクトの各々に関する重要度情報を送信装置100から受信する受信部を構成してもよい。
上述した実施形態は、以下に示す動作例4を含んでもよい。ここでは、動作例4は、動作例3に加えて、以下に示す動作を含む。動作例4では、メディア処理装置200（例えば、後述する選択部270）は、特定コンテンツに含まれる2以上のオブジェクトの各々に関する重要度情報を送信装置100から受信する受信部を構成してもよい。
【0135】
具体的には、動作例4では、図１２に示すように、メディア処理装置200は、図２に示す構成に加えて、選択部270を有する。選択部270は、シーン記述、3Dオブジェクト及び360°映像を送信装置100から受信する。選択部270は、2以上のストリームの中から選択されたストリーム（3Dオブジェクト）をレンダラ220に入力する。
【0136】
ここで、選択部270は、2以上のオブジェクトの各々に関する重要度情報を送信装置100から受信する。オブジェクトは、3Dオブジェクト及び360°映像を含んでもよい。
【0137】
例えば、重要度情報は、2以上のオブジェクト間の相対的な重要度を示す情報であってもよい。例えば、図１３に示すように、シーン記述によって構築される3次元空間において、オブジェクトA（背景）、オブジェクトB（人）及びオブジェクトC（犬）が存在するケースについて考える。オブジェクトA（背景）は、360°映像の一例であり、オブジェクトB（人）及びオブジェクトC（犬）は、3Dオブジェクトの一例である。このようなケースにおいて、重要度情報は、オブジェクトA（背景）、オブジェクトB（人）及びオブジェクトC（犬）の各々の間の相対的な重要度を示す情報であってもよい。
【0138】
特に限定されるものではないが、重要度情報は、図１４に示す態様でシーン記述に含まれてもよい。図１４では、重要度情報は、weightで表されてもよい。weightは、1～9の範囲の値を取り得てもよい。weightの値が大きいほど、重要度が高いことを意味してもよい。図１４では、”object_id”=”0”で識別されるオブジェクトA（背景）のweight（”9”）が最も高く、”object_id”=”1”で識別されるオブジェクトB（人）のweight（”3”）が最も低く、”object_id”=”2”で識別されるオブジェクトC（犬）のweight（”8”）がオブジェクトB（人）のweightよりも高くオブジェクトA（背景）のweightよりも低いケースが例示されている。
【0139】
このような前提下において、メディア処理装置200は、以下に示す動作を実行してもよい。以下においては、2以上のストリームの中から選択されたストリーム（3Dオブジェクト）の選択について主として説明する。
【0140】
第1に、メディア処理装置200（選択部270）は、重要度が最も高い3Dオブジェクトについて、品質が最も高いストリームを選択する。ストリームの選択方法は、動作例3と同様であってもよい。例えば、選択部270は、オブジェクトC（犬）の重要度がオブジェクトB（人）の重要度よりも大きいため、オブジェクトC（犬）について、ユーザの視点位置に最も近い頂点を有する3つの面の品質インデックスの総和が最大となるストリームを選択する。
【0141】
第2に、メディア処理装置200（選択部270）は、重要度が最も高い3Dオブジェクト以外の3Dオブジェクトについて、品質が最も低いストリームを選択する。続いて、選択部270は、重要度が高い3Dオブジェクトから順に、特定条件が満たされる範囲内において、品質が最も低いストリームを品質が高いストリームに置き換える。特定条件は、送信装置100からメディア処理装置200への回線の帯域が閾値以下である第1条件を含んでもよく、メディア処理装置200の処理負荷が閾値以下である第2条件を含んでもよい。特定条件は、第1条件及び第2条件の組み合わせによって定義されてもよい。例えば、選択部270は、オブジェクトB（人）の重要度がオブジェクトC（犬）の重要度よりも小さいため、オブジェクトB（人）について、特定条件が満たされる範囲内において、品質が高いストリームを選択する。
【0142】
上述したように、メディア処理装置200（選択部270）は、視点情報、品質情報及び重要度情報に基づいて、2以上のストリームの中からユーザ端末300に送信すべきストリームを選択すると考えてもよい。メディア処理装置200（選択部270）は、視点情報、品質情報、配置情報及び重要度情報に基づいて、2以上のストリームの中からユーザ端末300に送信すべきストリームを選択すると考えてもよい。
【0143】
なお、動作例4では、360°映像について、1つのストリームが存在するケースについて例示した。しかしながら、実施形態はこれに限定されるものではない。360°映像についても、品質が異なる2以上のストリームが存在してもよい。
【0144】
動作例4では、3Dオブジェクトについて、視点情報に基づいた3Dオブジェクトの向きによって品質が異なる2以上のストリームが存在するケースについて例示した。しかしながら、実施形態はこれに限定されるものではない。3Dオブジェクトについて、3Dオブジェクトの向きによらずに、品質が異なる2以上のストリームが存在してもよい。
【0145】
（動作例5）
上述した実施形態は、以下に示す動作例3を含んでもよい。動作例3では、メディア処理装置200（例えば、レンダラ220）は、特定コンテンツによって構成される3次元空間（シーン記述によって構築される3次元空間）においてユーザの視点位置の移動範囲を定義する情報要素を送信装置100から受信する受信部を構成してもよい。
上述した実施形態は、以下に示す動作例3を含んでもよい。動作例3では、メディア処理装置200（例えば、レンダラ220）は、特定コンテンツによって構成される3次元空間（シーン記述によって構築される3次元空間）においてユーザの視点位置の移動範囲を定義する情報要素を送信装置100から受信する受信部を構成してもよい。
【0146】
第1に、動作例5では、情報要素は、特定コンテンツに含まれる3Dオブジェクトの内側へのユーザの視点位置の移動を制限する情報要素（以下、第1情報要素）を含んでもよい。例えば、図１５に示すように、シーン記述によって構築される3次元空間に3Dオブジェクトが配置されるケースにおいて、3Dオブジェクトの内側への視点位置の移動が制限されてもよい。但し、3Dオブジェクトが建築物であるケース、3Dオブジェクトの内側に別のシーンが存在するケースなどにおいては、3Dオブジェクトの内側への視点位置の移動が許容されてもよい。
【0147】
第2に、動作例5では、情報要素は、3次元空間の外側へのユーザの視点位置の移動を制限する情報要素（以下、第2情報要素）を含んでもよい。例えば、図１６に示すように、3次元空間は、直方体及び回転楕円体の組合せで定義されてもよい。3次元空間を定義する直方体の数は2以上であってもよく、3次元空間を定義する回転楕円体の数は2以上であってもよい。但し、3次元空間の外側へのユーザの視点位置の移動が許容されるケースがあってもよい。
【0148】
特に限定されるものではないが、第1情報要素は、図１７に示す態様でシーン記述に含まれてもよい。図１７では、第1情報要素は、viewing_inside_object_flagで表されてもよい。viewing_inside_object_flagは、3Dオブジェクト毎に設定されてもよい。例えば、viewing_inside_object_flagが”0”である場合に、3Dオブジェクト内への視点位置の移動が制限され、viewing_inside_object_flagが”1”である場合に、3Dオブジェクト内への視点位置の移動が許容されてもよい。
【0149】
特に限定されるものではないが、第2情報要素は、図１８に示す態様でシーン記述に含まれてもよい。図１８では、第2情報要素は、3次元空間を定義する直方体を定義する情報要素（cuboid_center_x, cuboid_center_y, cuboid_center_z, cuboid_size_x, cuboid_size_y, cuboid_size_z）を含んでもよい。cuboid_center_x, cuboid_center_y, cuboid_center_zは、直方体の中心位置を示す情報要素であり、cuboid_size_x, cuboid_size_y, cuboid_size_zは、直方体のサイズを示す情報要素である。第2情報要素は、3次元空間を定義する回転楕円体を定義する情報要素（spheroid_center_x, spheroid_center_y, spheroid_center_z, spheroid_size_x, spheroid_size_y, spheroid_size_z）を含んでもよい。spheroid_center_x, spheroid_center_y, spheroid_center_zは、回転楕円体の中心位置を示す情報要素であり、spheroid_size_x, spheroid_size_y, spheroid_size_zは、回転楕円体のサイズを示す情報要素である。なお、cuboid_enableは、直方体によって3次元空間を定義するか否かを示す情報要素であり、spheroid_enableは、回転楕円体によって3次元空間を定義するか否かを示す情報要素であってもよい。図１８では、2つの直方体及び2つの回転楕円体によって3次元空間が定義されるケースが例示されている。
【0150】
このような前提下において、メディア処理装置200（レンダラ220）は、以下に示す動作を実行してもよい。
【0151】
第1に、レンダラ220は、ユーザの視点位置が移動範囲外に移動する場合において、ユーザの視点位置の軌跡と移動範囲の境界との交点を視点位置として、特定コンテンツを生成してもよい。すなわち、レンダラ220は、視点位置が移動範囲外に移動しようとした時点の位置（境界位置）で視点位置を固定してもよい。
【0152】
第2に、レンダラ220は、ユーザの視点位置が移動範囲外に移動する場合において、視点位置の移動が制限されている旨をユーザに通知してもよい。例えば、レンダラ220は、「ここから先は移動できません」などのメッセージを表示してもよい。
【0153】
（作用及び効果）
実施形態では、メディア処理装置200は、視点情報に基づいて特定コンテンツを生成した上で、特定コンテンツをユーザ端末300に送信する。このような構成によれば、視点の自由度を有する第2コンテンツを含む特定コンテンツをユーザ端末300側で生成する必要がなく、ユーザ端末300は、メディア処理装置200に対して視点情報を提供すれば、特定コンテンツを提示することができる。従って、メディア処理装置200とユーザ端末300との間の遅延が生じるものの、ユーザ端末300の処理負荷を軽減することができる。
実施形態では、メディア処理装置200は、視点情報に基づいて特定コンテンツを生成した上で、特定コンテンツをユーザ端末300に送信する。このような構成によれば、視点の自由度を有する第2コンテンツを含む特定コンテンツをユーザ端末300側で生成する必要がなく、ユーザ端末300は、メディア処理装置200に対して視点情報を提供すれば、特定コンテンツを提示することができる。従って、メディア処理装置200とユーザ端末300との間の遅延が生じるものの、ユーザ端末300の処理負荷を軽減することができる。
【0154】
動作例1では、メディア処理装置200は、特定コンテンツに付加されるシーケンス番号と対応付けて、特定コンテンツの生成で用いた視点情報をユーザ端末300に送信する。このような構成によれば、ユーザ端末300は、特定コンテンツの生成で用いた視点情報及びシーケンス番号を把握することができるため、メディア処理装置200で特定コンテンツを生成する際に用いる視点情報がユーザ端末300で特定コンテンツを表示する際に用いる視点情報と異なるケースを想定した場合であっても、特定コンテンツを適切に表示することができる。
【0155】
動作例2では、メディア処理装置200は、コンテンツの構成及び特定視点情報（推奨ビューポート情報）を送信装置100から受信する。このような構成によれば、メディア処理装置200は、特定視点情報に基づいて特定コンテンツを生成することができ、視点情報をフィードバックする第1ユーザ端末400及び視点情報をフィードバックしない第2ユーザ端末500が混在するケースを想定した場合であっても、特定コンテンツを適切に表示することができる。
【0156】
動作例2では、メディア処理装置200は、ユーザ端末が第1ユーザ端末400である場合であっても、リセット信号に応じて、特定視点情報に基づいて特定コンテンツを生成する。このような構成によれば、シーン記述によって構築される3次元空間において視点位置及び視線方向が第1ユーザ端末400において不明となるケース（3次元空間において迷子になるケース）を想定した場合であっても、リセット信号によって特定視点情報に基づいた特定コンテンツに復帰することができる。
【0157】
動作例3では、メディア処理装置200は、特定コンテンツに含まれる3Dオブジェクトに関するストリームの品質情報として、視点情報に基づいた3Dオブジェクトの向きによって品質が異なる2以上のストリームの各々に関する品質情報を送信装置100から受信する。このような構成によれば、3Dオブジェクトに関するバウンディングボックスを構成する各面の品質が均一でなくてもよいという新たな知見に基づいて、伝送トラフィックを抑制しながらも、3Dオブジェクトを適切に表示することができる。
【0158】
動作例4では、メディア処理装置200は、特定コンテンツに含まれる2以上のオブジェクトの各々に関する重要度情報を送信装置100から受信する。このような構成によれば、360°映像及び3Dオブジェクトなどのオブジェクト毎の重要度を設定する仕組みを導入することによって、伝送トラフィックを抑制しながらも、特定コンテンツに含まれる各オブジェクトを適切に表示することができる。
【0159】
動作例5では、メディア処理装置200は、特定コンテンツによって構成される3次元空間においてユーザの視点位置の移動範囲を定義する情報要素を送信装置100から受信する。このような構成によれば、ユーザ端末300に表示される特定コンテンツの破綻を生じることなく、視点の自由度を有するコンテンツを含む特定コンテンツを適切に表示することができる。
【0160】
［変更例1］
以下において、実施形態の変更例1について説明する。以下においては、実施形態に対する相違点について主として説明する。
以下において、実施形態の変更例1について説明する。以下においては、実施形態に対する相違点について主として説明する。
【0161】
変更例1では、特定コンテンツが第1コンテンツ及び第2コンテンツの双方を含む場合において、第1コンテンツと第2コンテンツとの同期を取る方法について説明する。
【0162】
なお、以下において、同期とは、第1コンテンツ（例えば、MPU）と第2コンテンツ（ファイル）との提示時刻が適切に揃うことを意味する。従って、同期は、2D映像と3Dオブジェクトとの提示時刻が揃うことを含んでもよく、音声と3Dオブジェクトとの提示時刻が揃うことを含んでもよい。同様に、同期は、2D映像と360°映像との提示時刻が揃うことを含んでもよく、音声と360°映像との提示時刻が揃うことを含んでもよい。
【0163】
第1方法では、メディア処理装置200が第1制御情報（MMT-SI）に基づいて、第1コンテンツと第2コンテンツとの同期を取るケースについて説明する。メディア処理装置200は、MMT-SIをエントリーポイントとして、シーン記述（第2コンテンツ）の有無を確認した上で、シーン記述が存在する場合には、MPUタイムスタンプ記述子を流用して、第1コンテンツ及び第2コンテンツを含む特定コンテンツの提示時刻を特定する。
【0164】
【0165】
一方で、シーン記述に含まれる最初のフレームの提示時刻は、MMT-SIに含まれるMPUタイムスタンプ記述子を参照することによって特定される。シーン記述に含まれる２番目以降フレームの提示時刻は、シーン記述に含まれるフレーム番号及び第2コンテンツのフレームレートによって特定することが可能である。例えば、フレームレートが30fpsであるケースを考えると、n番目のフレームの提示時刻は、MPUタイムスタンプ記述子によって特定される時刻に1/30×nを加算することによって特定される。但し、シーン記述に含まれる最初のフレームのフレーム番号は”0”である。
【0166】
第1方法では、シーン記述に含まれる最初のフレームの提示時刻をシーン記述が含まないケースを例示したが、シーン記述は、シーン記述に含まれる最初のフレームの提示時刻を含んでもよい。
【0167】
第2方法では、メディア処理装置200が第2制御情報（シーン記述）に基づいて、第1コンテンツと第2コンテンツとの同期を取るケースについて説明する。メディア処理装置200は、シーン記述をエントリーポイントとして、MMT-SI（第1コンテンツ）の有無を確認した上で、MMT-SIが存在する場合には、シーン記述に含まれる提示時刻に基づいて、第1コンテンツ及び第2コンテンツを含む特定コンテンツの提示時刻を特定する。
【0168】
このようなケースにおいて、シーン記述は、第2コンテンツの提示時刻を示す絶対時刻情報を含む。絶対時刻情報は、シーン記述に含まれる最初のフレームの提示時刻であってもよい。
【0169】
例えば、絶対時刻情報は、UTCを基準時刻として生成されてもよい。基準時刻は、TAIが用いられてもよく、GPSから提供される時刻が用いられてもよい。基準時刻は、NTPサーバから提供される時刻であってもよく、PTPサーバから提供される時刻であってもよい。さらに、絶対時刻情報は、MPUタイムスタンプ記述子と同一基準時刻に基づいて生成されてもよい。
【0170】
さらに、シーン記述は、第1コンテンツを特定するための参照情報を含む。参照情報は、第1コンテンツを構成するMPUを特定するための情報であってもよい。すなわち、参照情報は、シーン記述に含まれるオブジェクトとして第1コンテンツ（MPU）を扱うための情報である。
【0171】
具体的には、図２０に示すように、シーン記述に含まれる最初のフレームの提示時刻は、シーン記述に含まれる絶対時刻情報によって特定される。シーン記述に含まれる２番目以降フレームの提示時刻は、シーン記述に含まれるフレーム番号及び第2コンテンツのフレームレートによって特定することが可能である。例えば、フレームレートが30fpsであるケースを考えると、n番目のフレームの提示時刻は、MPUタイムスタンプ記述子によって特定される時刻に1/30×nを加算することによって特定される。但し、シーン記述に含まれる最初のフレームのフレーム番号は”0”である。
【0172】
一方で、2D映像及び音声は、MPUタイムスタンプ記述子（図２０では、単にtimestamp）に基づいて提示されるため、2D映像及び音声の同期が取れる。ここで、上述した参照情報がシーン記述に含まれるため、メディア処理装置200は、シーン記述に含まれる参照情報に基づいて、第2コンテンツとともに提示すべき第1コンテンツの有無を確認することができる。
【0173】
第2方法では、2D映像と音声との同期がMMT-SIに含まれるMPUタイムスタンプ記述子に基づいて取られているが、変更例1では、2D映像と音声との同期についても、シーン記述に含まれる情報要素（絶対時刻情報及び参照情報）に基づいて取られてもよい。このようなケースにおいて、少なくとも、MMT-SIに含まれるMPUタイムスタンプ記述子については省略されてもよい。さらに、MMT-SIそのものが省略されてもよい。
【0174】
なお、MMT-SIに含まれるMPUタイムスタンプ記述子の基準時刻（以下、第1基準時刻）とシーン記述に含まれる絶対時刻情報の基準時刻（第2基準時刻）とが異なる場合には、第1制御情報（MMT-SI）及び第2制御情報（シーン記述）の少なくともいずれか1つは、第1基準時刻と第2基準時刻との変換情報を含んでもよい。例えば、MMT-SIは、第1基準時刻（例えば、UTC）で表されたMPUタイムスタンプ記述子に加えて、第2基準時刻（例えば、UTC以外の基準時刻）で表されたMPUタイムスタンプ記述子を含んでもよい。シーン記述は、第2基準時刻（例えば、UTC以外の基準時刻）で表された絶対時刻情報に加えて、第1基準時刻（例えば、UTC）で表された絶対時刻情報を含んでもよい。
【0175】
なお、MMT-SIに含まれるMPUタイムスタンプ記述子は、第1絶対時刻情報と称されてもよく、シーン記述に含まれる絶対時刻情報は、第2絶対時刻情報と称されてもよい。
【0176】
［変更例2］
以下において、実施形態の変更例2について説明する。以下においては、実施形態に対する相違点について主として説明する。具体的には、変更例2では、特定コンテンツを定義するシーン記述の編集に用いるシーン記述編集装置について主として説明する。
以下において、実施形態の変更例2について説明する。以下においては、実施形態に対する相違点について主として説明する。具体的には、変更例2では、特定コンテンツを定義するシーン記述の編集に用いるシーン記述編集装置について主として説明する。
【0177】
（メディア処理装置及びシーン記述編集装置）
以下において、変更例2に係るメディア処理装置及びシーン記述編集装置について説明する。図２１は、変更例2に係るメディア処理装置200及びシーン記述編集装置600を示すブロック図である。
以下において、変更例2に係るメディア処理装置及びシーン記述編集装置について説明する。図２１は、変更例2に係るメディア処理装置200及びシーン記述編集装置600を示すブロック図である。
【0178】
第1に、メディア処理装置200は、受付部210と、レンダラ220と、符号化処理部230と、を有する。
【0179】
受付部210は、視点情報を受け付ける。変更例2では、受付部210は、視点情報をシーン記述編集装置600から受信してもよい。
【0180】
レンダラ220は、視点情報に基づいて、第2コンテンツを少なくとも含む特定コンテンツを生成する。以下において、特定コンテンツは、第2コンテンツに加えて第1コンテンツを含むケースについて例示する。
【0181】
第1に、レンダラ220は、第1制御情報（MMT-SI）に基づいて、特定コンテンツの一部として、2D映像及び音声を含む第1コンテンツを生成する。第1コンテンツの生成において視点情報は不要である。
【0182】
ここで、上述した実施形態では、第1制御情報（MMT-SI）、2D映像及び音声をメディア処理装置200が送信装置100から受信するが、変更例2では、メディア処理装置200は、第1制御情報（MMT-SI）、2D映像及び音声をシーン記述編集装置600から受信する。
【0183】
第2に、レンダラ220は、第2制御情報（シーン記述）に基づいて、特定コンテンツの一部として、360°映像及び3Dオブジェクトを含む第2コンテンツを生成する。第2コンテンツの生成において視点情報が用いられる。
【0184】
ここで、上述した実施形態では、第2制御情報（シーン記述）、360°映像及び3Dオブジェクトをメディア処理装置200が送信装置100から受信するが、変更例2では、メディア処理装置200は、第2制御情報（シーン記述）、360°映像及び3Dオブジェクトをシーン記述編集装置600から受信する。
【0185】
符号化処理部230は、レンダラ220によって生成された特定コンテンツを符号化する。変更例2では、符号化処理部230は、特定コンテンツをシーン記述編集装置600に送信してもよい。
【0186】
第2に、シーン記述編集装置600は、検出部610と、復号処理部620と、レンダラ630と、編集部640と、データベース650と、を有する。
【0187】
検出部610は、上述した検出部310と同様に、ユーザの視点位置及び視線方向を検出する。検出部610は、加速度センサを含んでもよく、GPSセンサを含んでもよい。検出部610は、ユーザによって手動で入力されるユーザI/F（例えば、タッチセンサ、キーボード、マウス、コントローラなど）を含んでもよい。検出部610は、視点情報（視点位置及び視線方向）をメディア処理装置200に送信してもよい。検出部610は、視点情報（ビューポート）をレンダラ630に出力してもよい。
【0188】
復号処理部620は、上述した復号処理部320と同様に、メディア処理装置200から受信する特定コンテンツを復号する。復号処理部620は、メディア処理装置200から受信する提示時刻を復号してもよい。復号処理部620は、特定コンテンツをレンダラ630に出力してもよく、提示時刻をレンダラ630に出力してもよい。
【0189】
レンダラ630は、上述したレンダラ330と同様に、復号処理部620によって復号された特定コンテンツを出力する。レンダラ630は、復号処理部620によって復号された提示時刻に基づいて特定コンテンツを出力してもよい。例えば、レンダラ630は、特定コンテンツに含まれる映像コンテンツをディスプレイに出力し、特定コンテンツに含まれる音声コンテンツをスピーカに出力してもよい。
【0190】
変更例2では、レンダラ630から出力される特定コンテンツは、シーン記述などの編集に用いられるため、特定コンテンツのプレビューであると考えてもよい。
【0191】
編集部640は、視点の自由度を有するコンテンツ（第2コンテンツ）の構成を定義するシーン記述の編集に用いる構成である。編集部640は、シーン記述をメディア処理装置200に送信してもよい。編集部640は、シーン記述が更新された場合に、更新されたシーン記述をメディア処理装置200に送信してもよい。シーン記述の更新は、シーン記述の編集と読み替えられてもよい。編集部640は、シーン記述を編集するためのユーザI/F（例えば、タッチセンサ、キーボード、マウス、コントローラなど）を含んでもよい。
【0192】
シーン記述は、上述したように、1つのファイル毎に生成され、360°映像及び3Dオブジェクトを特定する情報をフレーム毎に含む。例えば、シーン記述は、フレームの3Dオブジェクトの名称を示す情報要素（object_name）、フレーム番号を示す情報要素（frame_number）、フレームにおける3Dオブジェクトの位置を示す情報要素（translation_object）、フレームにおける3Dオブジェクトの回転を示す情報要素（rotation_object）、フレームにおける3Dオブジェクトの大きさを示す情報要素（scale_object）などを含む。
【0193】
データベース650は、3Dオブジェクト、2D映像、音声、360°映像などのメディアを格納する。データベース650は、メディア処理装置200の送信要求又は読出要求に応じて必要なメディアファイルをメディア処理装置200に送信してもよい。
【0194】
（シーン記述編集装置のUI）
以下において、変更例2に係るシーン記述編集装置のUI（User Interface）の一例について説明する。図２２は、変更例2に係るシーン記述編集装置600のUIの一例を示す図である。シーン記述編集装置600のUIは、シーン記述を編集するための編集画面であると考えてもよい。
以下において、変更例2に係るシーン記述編集装置のUI（User Interface）の一例について説明する。図２２は、変更例2に係るシーン記述編集装置600のUIの一例を示す図である。シーン記述編集装置600のUIは、シーン記述を編集するための編集画面であると考えてもよい。
【0195】
図２２に示すように、編集画面（UI）は、メディアリスト、タイムライン、プレビュー、シーン記述などを含んでもよい。
【0196】
メディアリストは、特定コンテンツの作成者（以下、単に作成者）によって指定される3Dオブジェクト、2D映像、音声、360°映像などのメディアのリストが表示される領域である。
【0197】
タイムラインは、作成者の操作によってシーンを構成する要素がメディアリストから選択され、選択された要素がタイムライン上に並べられる領域である。タイムラインは、タイムライン上において作成者によって選択された時刻を示すインディケータ（線分など）を含み、インディケータによって示される時刻のシーンが特定コンテンツの2D映像としてプレビューに表示されてもよい。
【0198】
プレビューは、作成者の操作によって指定された視点情報（視点位置及び視点方向）に従って特定コンテンツが表示される領域である。視点情報は、上述した検出部610によって検出されてもよい。作成者は、プレビューに表示される特定コンテンツを確認しながらシーン記述の編集を行ってもよい。プレビューは、作成者が利用するヘッドマウントディスプレイによって表示されてもよい。また、上空から下向きや東から西向きなど、同一時刻の同一シーンを異なる視点で表示するなど、2以上のプレビューを備えてもよい。同一シーンを異なる複数の視点から表示することで、3次元空間におけるオブジェクトの配置を容易に確認しながらシーン記述を編集することができる。
【0199】
シーン記述は、作成者によって編集されるシーン記述が表示される領域である。シーン記述は、動作例2で説明した特定視点情報（推奨ビューポート情報）を含んでもよい（例えば、図７を参照）。シーン記述は、動作例3で説明した品質情報及び配置情報を含んでもよい（例えば、図１０を参照）。シーン記述は、動作例4で説明した重要度情報を含んでもよい（例えば、図１４を参照）。シーン記述は、動作例5で説明したユーザの視点位置の移動範囲を定義する情報要素を含んでもよい（例えば、図１７及び図１８を参照）。
【0200】
（動作例）
以下において、シーン記述編集装置600を用いた編集動作について説明する。
以下において、シーン記述編集装置600を用いた編集動作について説明する。
【0201】
第1に、シーン記述編集装置600は、作成者によってシーン記述の編集が開始される際に、RTSP SETUPによってシーン記述の編集を開始する旨をメディア処理装置200に通知してもよい。RTSP SETUPは、シーン記述編集装置600のIPアドレス、待ち受けポート番号、編集モードで動作する旨の要求などを含んでもよい。
【0202】
第2に、視点情報（視点位置及び視点方向）は、作成者の操作によって変更可能である。視点情報が作成者の操作によって変更されると、変更された視点情報がシーン記述編集装置600からメディア処理装置200に送信される。このような仕組みは、ユーザ端末300からメディア処理装置200に視点情報を送信する仕組みと同様である。
【0203】
第3に、3Dオブジェクトなどの要素の位置、大きさ、向きなどのパラメータは、作成者の操作（編集）によって変更可能である。パラメータが作成者の操作によって変更されると、変更されたパラメータがシーン記述に反映される。変更されたシーン記述は、シーン記述編集装置600からメディア処理装置200に送信され、メディア処理装置200のレンダラ220によってレンダリングされ、レンダリングされた特定コンテンツは、メディア処理装置200からシーン記述編集装置600に送信される。すなわち、パラメータの変更に応じて、プレビューに表示される特定コンテンツが更新される。シーン記述に基づいた特定コンテンツがメディア処理装置200からシーン記述編集装置600に送信される仕組みは、メディア処理装置200からユーザ端末300に特定コンテンツを送信する仕組みと同様である。
【0204】
第4に、編集画面（UI）に含まれるアイコン710（図２２では、「推奨ビュー」）を選択する作成者の操作によって、動作例2で説明した特定視点情報（推奨ビューポート情報）に対応する特定コンテンツがプレビューに表示されてもよい。
【0205】
第5に、編集画面（UI）に含まれるアイコン720（図２２では、「推奨ビュー記録」）を選択する作成者の操作によって、プレビューに表示される特定コンテンツに対応する視点情報が動作例2で説明した特定視点情報（推奨ビューポート情報）として記録されてもよい。アイコン720によって記録される特定視点情報（推奨ビューポート情報）は、シーン記述に反映されてもよい。例えば、プレビューに表示される特定コンテンツに対応する視点情報がヘッドマウントディスプレイによって操作され、ヘッドマウントディスプレイによって操作された視点情報がアイコン720の選択によって特定視点情報（推奨ビューポート情報）として記録されてもよい。すなわち、特定視点情報は、特定コンテンツの作成者が利用するヘッドマウントディスプレイの操作に応じて生成される。
【0206】
第6に、動作例5で説明したユーザの視点位置の移動範囲を定義する情報要素（例えば、図１８に示す”Viewing_space”）は、作成者の操作（マウス操作など）によって指定されてもよい。指定された移動範囲を定義する情報要素（”Viewing_space”））は、シーン記述に反映されてもよい。移動範囲を定義する情報要素（”Viewing_space”）を表示するか否かは切り替え可能であってもよい（表示or非表示）。
【0207】
変更例2では、シーン記述編集装置600は、メディア処理装置200とは別体として実装され、ネットワークを介してメディア処理装置200と接続されてもよい。例えば、メディア処理装置200は、クラウド上にSaaS（Software as a Service）として実装されてもよい。しかしながら、変更例2はこれに限定されるものではない。例えば、シーン記述編集装置600は、メディア処理装置200と一体として1つの装置（コンピュータ、ハードウェア）として実装されてもよい。このようなケースにおいて、上述した符号化処理部230及び復号処理部620は省略されてもよい。また、送信は出力と読み替えられ、受信は取得と読み替えられてもよい。
【0208】
（作用及び効果）
変更例2では、シーン記述編集装置600は、シーン記述及び前記視点情報に基づいてメディア処理装置200で生成された特定コンテンツを取得する。このような構成によれば、特定コンテンツをメディア処理装置200によって生成（レンダリング）した上で、生成された特定コンテンツをメディア処理装置200からユーザ端末300に送信するケースを想定した場合に、シーン記述編集装置600は、ユーザ端末300と同様の仕組みで、メディア処理装置200から特定コンテンツを取得することができる。従って、ユーザ端末300に表示されると想定される特定コンテンツを確認しながら、シーン記述を適切に編集することができる。
変更例2では、シーン記述編集装置600は、シーン記述及び前記視点情報に基づいてメディア処理装置200で生成された特定コンテンツを取得する。このような構成によれば、特定コンテンツをメディア処理装置200によって生成（レンダリング）した上で、生成された特定コンテンツをメディア処理装置200からユーザ端末300に送信するケースを想定した場合に、シーン記述編集装置600は、ユーザ端末300と同様の仕組みで、メディア処理装置200から特定コンテンツを取得することができる。従って、ユーザ端末300に表示されると想定される特定コンテンツを確認しながら、シーン記述を適切に編集することができる。
【0209】
［変更例3］
以下において、実施形態の変更例3について説明する。以下においては、変更例2に対する相違点について主として説明する。具体的には、変更例3では、変更例2と同様に、特定コンテンツを定義するシーン記述の編集に用いるシーン記述編集装置について主として説明する。
以下において、実施形態の変更例3について説明する。以下においては、変更例2に対する相違点について主として説明する。具体的には、変更例3では、変更例2と同様に、特定コンテンツを定義するシーン記述の編集に用いるシーン記述編集装置について主として説明する。
【0210】
（メディア処理装置及びシーン記述編集装置）
以下において、変更例3に係るメディア処理装置及びシーン記述編集装置について説明する。図２３は、変更例3に係るメディア処理装置200及びシーン記述編集装置600を示すブロック図である。
以下において、変更例3に係るメディア処理装置及びシーン記述編集装置について説明する。図２３は、変更例3に係るメディア処理装置200及びシーン記述編集装置600を示すブロック図である。
【0211】
第1に、メディア処理装置200は、受付部210と、レンダラ220と、符号化処理部230と、を有する。
【0212】
受付部210は、変更例2と同様に、視点情報を受け付ける。変更例3では、受付部210は、2以上の視点情報（1～N）をシーン記述編集装置600から受信してもよい。2以上の視点情報は、視点位置及び視線方向の少なくともいずれか1つが異なる視点情報であってもよい。なお、Nは、2以上の整数である。
【0213】
例えば、受付部210は、図５に示すVPメッセージによって、2以上の視点情報（1～N）を受信する。
【0214】
レンダラ220は、変更例2と同様に、視点情報に基づいて、第2コンテンツを少なくとも含む特定コンテンツを生成する。以下において、特定コンテンツは、第2コンテンツに加えて第1コンテンツを含むケースについて例示する。変更例3では、レンダラ220は、2以上の視点情報（1～N）の各々に基づいて、2以上の特定コンテンツ（1～N）を生成する。
【0215】
レンダラ220は、2以上の特定コンテンツ（1～N）の各々の生成に用いた2以上の視点情報（1～N）をシーン記述編集装置600に送信してもよい。なお、Nは、2以上の整数である。
【0216】
ここで、2以上の特定コンテンツ（1～N）は、同一時刻において視点情報が異なるコンテンツであることに留意すべきである。
【0217】
例えば、レンダラ220は、2以上の視点情報（1～N）の各々に対応するVPメッセージの送信元ポート番号に基づいて、2以上の特定コンテンツの各々に対応する視点情報を特定してもよい。或いは、レンダラ220は、VPメッセージのIPアドレスがIPv6である場合に、2以上の視点情報（1～N）の各々に対応するVPメッセージのIPアドレスに基づいて、2以上の特定コンテンツの各々に対応する視点情報を特定してもよい。
【0218】
例えば、Nの特定コンテンツの各々のフレームレートが30fpsであるケースを想定すると、レンダラ220は、2以上の視点情報（1～N）の各々に基づいて、N×30fpsの特定コンテンツを生成する。詳細には、レンダラ220は、プレビュー#1のフレーム#1→プレビュー#2のフレーム#1→・・・プレビュー#Nのフレーム#1→プレビュー#1のフレーム#2→プレビュー#2のフレーム#2→・・・プレビュー#Nのフレーム#2→・・・プレビュー#1のフレーム#30→プレビュー#2のフレーム#30→・・・プレビュー#Nのフレーム#30の順で、N×30fpsの特定コンテンツ（プレビュー）を生成してもよい。
【0219】
符号化処理部230は、レンダラ220によって生成された特定コンテンツを符号化する。変更例3では、符号化処理部230は、2以上の視点情報（1～N）の各々に対応する2以上の特定コンテンツ（1～N）をシーン記述編集装置600に送信してもよい。
【0220】
第2に、シーン記述編集装置600は、検出部610と、復号処理部620と、レンダラ630と、編集部640と、データベース650と、を有する。
【0221】
検出部610は、変更例2と同様に、ユーザの視点位置及び視線方向（すなわち、視点情報）を検出する。変更例3では、検出部610は、2以上の視点情報（1～N）を検出する。例えば、検出部610は、検出部6101～検出部610Nを含んでもよい。検出部6101～検出部610Nは、2以上の視点情報（1～N）をメディア処理装置200に出力してもよい。
【0222】
復号処理部620は、変更例2と同様に、メディア処理装置200から受信する特定コンテンツを復号する。変更例3では、復号処理部620は、2以上の特定コンテンツ（1～N）を復号してもよい。
【0223】
レンダラ630は、変更例2と同様に、復号処理部620によって復号された特定コンテンツを出力する。変更例3では、レンダラ630は、レンダラ6301～レンダラ630Nを含んでもよい。レンダラ6301～レンダラ630Nは、2以上の視点情報（1～N）の各々に対応する2以上の特定コンテンツ（1～N）を出力してもよい。
【0224】
例えば、レンダラ6301は、視点情報（1）に対応する特定コンテンツ（1）を出力し、・・・、視点情報（N）に対応する特定コンテンツ（N）を出力する。
【0225】
上述したように、2以上の特定コンテンツ（1～N）は、同一時刻において視点情報が異なるコンテンツである。従って、2以上の特定コンテンツ（1～N）は、同一時刻で出力される必要があることに留意すべきである。
【0226】
ここで、レンダラ630から出力される特定コンテンツは、変更例2と同様に、シーン記述などの編集に用いられるため、特定コンテンツのプレビューであると考えてもよい。変更例3では、レンダラ630から出力される2以上の特定コンテンツ（1～N）は、視点情報（1～N）の各々に対応するプレビューであると考えてもよい。
【0227】
編集部640は、変更例2と同様に、視点の自由度を有するコンテンツ（第2コンテンツ）の構成を定義するシーン記述の編集に用いる構成である。
【0228】
変更例3では、検出部610及び編集部640は、視点の自由度を有するコンテンツの構成を定義するシーン記述及び2以上の視点情報をメディア処理装置200に出力する出力部を構成する。復号処理部620は、コンテンツを少なくとも含む特定コンテンツであって、シーン記述及び2以上の視点情報の各々に基づいてメディア処理装置200で生成された2以上の特定コンテンツを取得する取得部を構成する。
【0229】
（シーン記述編集装置のUI）
以下において、変更例3に係るシーン記述編集装置のUI（User Interface）の一例について説明する。図２４は、変更例3に係るシーン記述編集装置600のUIの一例を示す図である。シーン記述編集装置600のUIは、シーン記述を編集するための編集画面であると考えてもよい。
以下において、変更例3に係るシーン記述編集装置のUI（User Interface）の一例について説明する。図２４は、変更例3に係るシーン記述編集装置600のUIの一例を示す図である。シーン記述編集装置600のUIは、シーン記述を編集するための編集画面であると考えてもよい。
【0230】
図２４に示すように、編集画面（UI）は、変更例2と同様に、メディアリスト、タイムライン、プレビュー、シーン記述などを含んでもよい。メディアリスト、タイムライン、シーン記述などについては、変更例2と同様であるため、以下においては、プレビューについて主として説明する。
【0231】
プレビューは、変更例2と同様に、作成者の操作によって指定された視点情報（視点位置及び視点方向）に従って特定コンテンツが表示される領域である。変更例3では、プレビューは、2以上の視点情報（1～N）の各々に対応する2以上のプレビューを含む。2以上のプレビューの各々は、2以上の特定コンテンツ（1～N）の各々である。
【0232】
上述したように、2以上の特定コンテンツ（1～N）は、同一時刻において視点情報が異なるコンテンツである。従って、2以上のプレビューは、同一時刻において視点情報が異なるプレビューである。
【0233】
特に限定されるものではないが、図２２に示す編集画面（UI）において、「新しいプレビューを開く」などの操作が行われた場合に、編集画面（UI）においてプレビューの数が1つずつ増えてもよい。
【0234】
（2以上の特定コンテンツの出力方法）
以下において、変更例3に係る2以上の特定コンテンツの出力方法の一例について説明する。図２５～図２７は、変更例3に係る2以上の特定コンテンツの出力方法の一例を示す図である。2以上の特定コンテンツの出力方法としては、以下に示すオプションが考えられる。
以下において、変更例3に係る2以上の特定コンテンツの出力方法の一例について説明する。図２５～図２７は、変更例3に係る2以上の特定コンテンツの出力方法の一例を示す図である。2以上の特定コンテンツの出力方法としては、以下に示すオプションが考えられる。
【0235】
オプション1では、メディア処理装置200は、図２５に示すように、同一時刻に対応する2以上の特定コンテンツを含む矩形映像をシーン記述編集装置600に送信する。言い換えると、上述した復号処理部620は、同一時刻に対応する2以上の特定コンテンツを含む矩形映像を取得する。
【0236】
例えば、図２５に示すように、矩形映像は、2以上の特定コンテンツを横に並べた形態で2以上の特定コンテンツを含んでもよい。但し、変更例3は、これに限定されるものではない。矩形映像は、2以上の特定コンテンツを縦に並べた形態で2以上の特定コンテンツを含んでもよい。
【0237】
メディア処理装置200（例えば、符号化処理部230）は、矩形映像において2以上の特定コンテンツが配置される位置を示す配置情報をシーン記述編集装置600に送信する。配置情報としては、圧縮符号化の単位であるタイル又はスライスを識別する識別子が用いられてもよい。
【0238】
オプション1において、シーン記述編集装置600（例えば、復号処理部620）は、配置情報に基づいて、2以上の特定コンテンツの各々を矩形映像から抽出するとともに、2以上の特定コンテンツの各々をレンダラ630（レンダラ6301～レンダラ630N）に出力してもよい。
【0239】
オプション2では、メディア処理装置200は、図２６に示すように、同一時刻に対応する2以上の特定コンテンツを含む矩形映像をシーン記述編集装置600に出力する。言い換えると、上述した復号処理部620は、同一時刻に対応する2以上の特定コンテンツを含む矩形映像を取得する。
【0240】
例えば、矩形映像は、図２６に示すように、特定解像度を維持した形態で2以上の特定コンテンツを含んでもよい。特定解像度は、3840×2160画素、4096×2160画素、7680×4320画素などのように、一般的に用いられる解像度であってもよい。
【0241】
このような前提下において、矩形映像に含まれる2以上の特定コンテンツの大きさ又は数など応じて、矩形映像において2以上の特定コンテンツ以外の余白領域が生じるケースが考えられる。このような余白領域は、パディング領域として扱われる。すなわち、矩形映像は、2以上の特定コンテンツに加えて、パディング領域を含む。
【0242】
矩形映像のアスペクト比が各特定コンテンツのアスペクト比と同じであり、矩形映像が3つの特定コンテンツを含むケースを想定した場合には、矩形映像は、図２６に示すように、特定コンテンツと同様のサイズを有するパディング領域を含んでもよい。
【0243】
メディア処理装置200（例えば、符号化処理部230）は、矩形映像において2以上の特定コンテンツが配置される位置を示す配置情報をシーン記述編集装置600に送信する。配置情報としては、圧縮符号化の単位であるタイル又はスライスを識別する識別子が用いられてもよい。
【0244】
オプション2において、シーン記述編集装置600（例えば、復号処理部620）は、配置情報に基づいて、2以上の特定コンテンツの各々を矩形映像から抽出するとともに、2以上の特定コンテンツの各々をレンダラ630（レンダラ6301～レンダラ630N）に出力してもよい。
【0245】
オプション3では、メディア処理装置200は、図２７に示すように、同一時刻に対応する2以上の特定コンテンツを時間軸上で連続的に送信する。言い換えると、上述した復号処理部620は、同一時刻に対応する2以上の特定コンテンツを時間軸上で連続的に取得する。
【0246】
例えば、Nの特定コンテンツの各々のフレームレートが30fpsであるケースを想定すると、メディア処理装置200（レンダラ220）は、N×30fpsの特定コンテンツを時間軸上で連続的に出力する。メディア処理装置200（例えば、符号化処理部230）は、Nの特定コンテンツを送信する順序を示す順序情報をシーン記述編集装置600に送信してもよい。或いは、メディア処理装置200（例えば、符号化処理部230）は、予め定められたルールに基づいてNの特定コンテンツを送信してもよい。予め定められたルールは、特定コンテンツに割り振られた番号（例えば、プレビュー番号）が若い順に特定コンテンツを送信するルールであってもよい。
【0247】
オプション3において、シーン記述編集装置600（例えば、復号処理部620）は、順序情報又は予め定められたルールに基づいて、2以上の特定コンテンツの各々を抽出するとともに、2以上の特定コンテンツの各々をレンダラ630（レンダラ6301～レンダラ630N）に出力してもよい。
【0248】
なお、オプション3において、2以上の特定コンテンツの圧縮符号化が実行されないケースが想定されてもよい。このようなケースにおいて、メディア処理装置200は、2以上の視点情報の各々に対応する送信ポート番号を宛先として、2以上の特定コンテンツの各々を送信してもよい。シーン記述編集装置600は、宛先として用いられる送信ポート番号に基づいて、2以上の特定コンテンツの各々をレンダラ630（レンダラ6301～レンダラ630N）に出力してもよい。
【0249】
（その他）
実施形態で説明したように、メディア処理装置200（レンダラ220）は、1つの視点情報に基づいて、特定コンテンツをユーザ端末300に送信する。一方で、変更例3では、メディア処理装置200（レンダラ220）は、2以上の視点情報の各々に基づいて、同一時刻に対応する2以上の特定コンテンツをシーン記述編集装置600に送信する。
実施形態で説明したように、メディア処理装置200（レンダラ220）は、1つの視点情報に基づいて、特定コンテンツをユーザ端末300に送信する。一方で、変更例3では、メディア処理装置200（レンダラ220）は、2以上の視点情報の各々に基づいて、同一時刻に対応する2以上の特定コンテンツをシーン記述編集装置600に送信する。
【0250】
従って、レンダラ220の処理能力（例えば、1秒間に生成可能なフレーム（fps））が一定であると想定した場合に、同一時刻に対応する2以上の特定コンテンツの各々のフレームレートは、ユーザ端末300に送信される特定コンテンツのフレームレートよりも低くてもよい。
【0251】
例えば、ユーザ端末300に送信される特定コンテンツのフレームレート（すなわち、レンダラ220の処理能力）が120fpsであるケースを想定した場合に、同一時刻に対応する特定コンテンツ（プレビュー）の数が4つである場合には、4つの特定コンテンツの各々のフレームレートは30fpsであってもよい。言い換えると、ユーザ端末300に送信される特定コンテンツのフレームレートは、同一時刻に対応する2以上の特定コンテンツ（プレビュー）のフレームレートの総和であってもよい。
【0252】
（作用及び効果）
変更例3では、シーン記述編集装置600は、シーン記述及び2以上の視点情報の各々に基づいてメディア処理装置200で生成された2以上の特定コンテンツ（プレビュー）を取得する。このような構成によれば、特定コンテンツをメディア処理装置200によって生成（レンダリング）した上で、生成された特定コンテンツをメディア処理装置200からユーザ端末300に送信するケースを想定した場合に、シーン記述編集装置600は、ユーザ端末300と同様の仕組みで、視点情報が異なる2以上の特定コンテンツをメディア処理装置200から取得することができる。従って、ユーザ端末300に表示されると想定される特定コンテンツについて、2以上の視点情報に対応する2以上の特定コンテンツ（プレビュー）を確認しながら、シーン記述を適切に編集することができる。
変更例3では、シーン記述編集装置600は、シーン記述及び2以上の視点情報の各々に基づいてメディア処理装置200で生成された2以上の特定コンテンツ（プレビュー）を取得する。このような構成によれば、特定コンテンツをメディア処理装置200によって生成（レンダリング）した上で、生成された特定コンテンツをメディア処理装置200からユーザ端末300に送信するケースを想定した場合に、シーン記述編集装置600は、ユーザ端末300と同様の仕組みで、視点情報が異なる2以上の特定コンテンツをメディア処理装置200から取得することができる。従って、ユーザ端末300に表示されると想定される特定コンテンツについて、2以上の視点情報に対応する2以上の特定コンテンツ（プレビュー）を確認しながら、シーン記述を適切に編集することができる。
【0253】
変更例3では、同一時刻に対応する2以上の特定コンテンツの各々のフレームレートは、ユーザ端末300に送信される特定コンテンツのフレームレートよりも低い。このような構成によれば、メディア処理装置200に設けられる1つのレンダラ220によって同一時刻に対応する2以上の特定コンテンツを生成することができる。
【0254】
変更例3では、シーン記述編集装置600は、同一時刻に対応する2以上の特定コンテンツを含む矩形映像を取得する（上述したオプション1及びオプション2）。このような構成によれば、2以上の特定コンテンツに提示時刻（例えば、タイムスタンプ）が対応付けられていなくても、シーン記述編集装置600において同一時刻に対応する2以上の特定コンテンツの提示時刻を同期させることが容易である。
【0255】
変更例3では、矩形映像は、2以上の特定コンテンツに加えて、パディング領域を含む（上述したオプション2）。このような構成によれば、特殊な処理を要するレンダラ630をシーン記述編集装置600に設けることなく、一般的に用いられる特定解像度を有する矩形映像をシーン記述編集装置600で扱うことが可能である。
【0256】
変更例3では、シーン記述編集装置600は、同一時刻に対応する前記2以上の特定コンテンツの各々を時間軸上において連続的に取得する（上述したオプション3）。このような構成によれば、2以上の特定コンテンツに提示時刻（例えば、タイムスタンプ）が対応付けられていなくても、シーン記述編集装置600において同一時刻に対応する2以上の特定コンテンツの提示時刻を同期させることが容易である。
【0257】
［その他の実施形態］
本発明は上述した開示によって説明したが、この開示の一部をなす論述及び図面は、この発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施形態、実施例及び運用技術が明らかとなろう。
本発明は上述した開示によって説明したが、この開示の一部をなす論述及び図面は、この発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施形態、実施例及び運用技術が明らかとなろう。
【0258】
上述した開示では、特定コンテンツが第1コンテンツ及び第2コンテンツの双方を含むケースについて例示したが、上述した開示はこれに限定されるものではない。特定コンテンツは、少なくとも第2コンテンツを含めばよい。
【0259】
上述した開示では特に触れていないが、MMTに関する用語は、ISO/IEC 23008-1、ARIB STD-B60、ARIB TR-B39などで規定された内容に基づいて解釈されてもよい。
【0260】
上述した開示では、MMT-SIに含まれる第1絶対時刻情報として、MPUタイムスタンプ記述子を例示した。しかしながら、上述した開示はこれに限定されるものではない。MMT-SIに含まれる第1絶対時刻情報は、MPU拡張タイムスタンプ記述子であってもよい。
【0261】
上述した開示では特に触れていないが、メディア処理装置200は、必要に応じて、第2コンテンツの一部を送信装置100に要求してもよい。このような構成によれば、第2コンテンツの伝送に伴う帯域を節約し、メディア処理装置200の処理負荷の増大を抑制することができる。
【0262】
上述した開示では、第1コンテンツの伝送方式としてMMTPを例示した。しかしながら、上述した開示はこれに限定されるものではない。第1コンテンツの伝送方式は、ISO/IEC 23009-1（以下、MPEG-DASH（Dynamic Adaptive Stream over HTTP））に準拠する方式であってもよい。このようなケースにおいて、第1制御情報は、MPD（Media Presentation Description）であってもよい。すなわち、上述した開示において、MMT-SIはMPDと読み替えられてもよい。
【0263】
上述した開示では特に触れていないが、「取得」は「受信」と読み替えられてもよい。
【0264】
特に限定されるものではないが、動作例2は、以下のように表現されてもよい。送信装置100は、視点の自由度を有するコンテンツの構成を送信する送信部を備え、送信部は、コンテンツを少なくとも含む特定コンテンツの生成に用いられる特定視点情報を送信する。受信装置は、視点の自由度を有するコンテンツの構成を受信する受信部を備え、受信部は、コンテンツを少なくとも含む特定コンテンツの生成に用いられる特定視点情報を受信する。このようなケースにおいて、受信装置は、メディア処理装置200であってもよく、ユーザ端末300であってもよい。
【0265】
特に限定されるものではないが、動作例3は、以下のように表現されてもよい。送信装置100は、視点の自由度を有するコンテンツの構成を送信する送信部を備え、送信部は、コンテンツを少なくとも含む特定コンテンツに含まれる3次元オブジェクトに関するストリームの品質情報を送信し、品質情報は、3次元オブジェクトの向きによって品質が異なる2以上のストリームの各々に関する品質情報を含む。受信装置は、視点の自由度を有するコンテンツの構成を受信する受信部を備え、受信部は、コンテンツを少なくとも含む特定コンテンツに含まれる3次元オブジェクトに関するストリームの品質情報を受信し、品質情報は、3次元オブジェクトの向きによって品質が異なる2以上のストリームの各々に関する品質情報を含む。このようなケースにおいて、受信装置は、メディア処理装置200であってもよく、ユーザ端末300であってもよい。
【0266】
特に限定されるものではないが、動作例4は、以下のように表現されてもよい。送信装置100は、視点の自由度を有するコンテンツの構成を送信する送信部を備え、送信部は、コンテンツを少なくとも含む特定コンテンツに含まれる2以上のオブジェクトの各々に関する重要度情報を送信する。受信装置は、視点の自由度を有するコンテンツの構成を受信する受信部を備え、受信部は、コンテンツを少なくとも含む特定コンテンツに含まれる2以上のオブジェクトの各々に関する重要度情報を受信する。このようなケースにおいて、受信装置は、メディア処理装置200であってもよく、ユーザ端末300であってもよい。
【0267】
特に限定されるものではないが、動作例4は、以下のように表現されてもよい。送信装置100は、視点の自由度を有するコンテンツの構成を送信する送信部を備え、送信部は、コンテンツを少なくとも含む特定コンテンツによって構成される3次元空間においてユーザの視点位置の移動範囲を定義する情報要素を送信する。受信装置は、視点の自由度を有するコンテンツの構成を受信する受信部を備え、受信部は、コンテンツを少なくとも含む特定コンテンツによって構成される3次元空間においてユーザの視点位置の移動範囲を定義する情報要素を受信する。このようなケースにおいて、受信装置は、メディア処理装置200であってもよく、ユーザ端末300であってもよい。
【0268】
上述した開示では特に触れていないが、送信装置100、メディア処理装置200、ユーザ端末300及びシーン記述編集装置600が行う各処理をコンピュータに実行させるプログラムが提供されてもよい。また、プログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、コンピュータにプログラムをインストールすることが可能である。ここで、プログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、CD-ROMやDVD-ROM等の記録媒体であってもよい。
【0269】
或いは、送信装置100、メディア処理装置200、ユーザ端末300及びシーン記述編集装置600が行う各処理を実行するためのプログラムを記憶するメモリ及びメモリに記憶されたプログラムを実行するプロセッサによって構成されるチップが提供されてもよい。
【0270】
（付記）
上述した開示は、以下に示すように表現されてもよい。
上述した開示は、以下に示すように表現されてもよい。
【0271】
第1の特徴は、視点の自由度を有するコンテンツの構成を定義するシーン記述及び2以上の視点情報をメディア処理装置に出力する出力部と、前記コンテンツを少なくとも含む特定コンテンツであって、前記シーン記述及び前記2以上の視点情報の各々に基づいて前記メディア処理装置で生成された2以上の特定コンテンツを取得する取得部と、を備える、シーン記述編集装置である。
【0272】
第2の特徴は、第1の特徴において、前記メディア処理装置で生成された前記2以上の特定コンテンツの各々のフレームレートは、前記特定コンテンツの視聴者が用いるユーザ端末に送信される前記特定コンテンツのフレームレートよりも低い、シーン記述編集装置である。
【0273】
第3の特徴は、第1の特徴又は第2の特徴において、前記取得部は、同一時刻に対応する前記2以上の特定コンテンツを含む矩形映像を取得する、シーン記述編集装置である。
【0274】
第4の特徴は、第3の特徴において、前記矩形映像は、前記2以上の特定コンテンツに加えて、パディング領域を含む、シーン記述編集装置である。
【0275】
第5の特徴は、第1の特徴又は第2の特徴において、前記取得部は、同一時刻に対応する前記2以上の特定コンテンツの各々を時間軸上において連続的に取得する、シーン記述編集装置である。
【0276】
第6の特徴は、視点の自由度を有するコンテンツの構成を定義するシーン記述及び2以上の視点情報をメディア処理装置に出力するステップAと、前記コンテンツを少なくとも含む特定コンテンツであって、前記シーン記述及び前記2以上の視点情報の各々に基づいて前記メディア処理装置で生成された2以上の特定コンテンツを取得するステップBと、をコンピュータに実行させる、プログラムである。
【符号の説明】
【0277】
10…伝送システム、100…送信装置、200…メディア処理装置、210…受付部、220…レンダラ、230…符号化処理部、260…選択部、270…選択部、300…ユーザ端末、310…検出部、320…復号処理部、330…レンダラ、400…第1ユーザ端末、500…第2ユーザ端末、600…シーン記述編集装置、610…検出部、620…復号処理部、630…レンダラ、640…編集部、650…データベース
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】