(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022139100
(43)【公開日】2022-09-26
(54)【発明の名称】送信装置及び受信装置
(51)【国際特許分類】
H04N 21/242 20110101AFI20220915BHJP
H04N 21/236 20110101ALI20220915BHJP
H04H 20/28 20080101ALI20220915BHJP
【ＦＩ】
H04N21/242
H04N21/236
H04H20/28
【審査請求】未請求
【請求項の数】6
【出願形態】ＯＬ
(21)【出願番号】P 2021039339
(22)【出願日】2021-03-11
(71)【出願人】
【識別番号】000004352
【氏名又は名称】日本放送協会
(74)【代理人】
【識別番号】110001106
【氏名又は名称】弁理士法人キュリーズ
(72)【発明者】
【氏名】青木 秀一
【テーマコード（参考）】
5C164
【Ｆターム（参考）】
5C164MB01S
5C164SB06S
5C164SB10P
5C164SB14P
5C164SB21S
5C164UB10S
5C164UB21S
(57)【要約】
【課題】 異なる方式のコンテンツを適切に同期することを可能とする送信装置及び受信装置を提供する。
【解決手段】 送信装置は、視点の自由度を有していない第１コンテンツに付随する第１制御情報を処理する第１処理部と、視点の自由度を有する第２コンテンツに付随する第２制御情報を処理する第２処理部と、前記第１コンテンツ、前記第１制御情報、前記第２コンテンツ及び前記第２制御情報を送信する送信部と、を備え、前記第１制御情報は、前記第１コンテンツの提示時刻を示す第１絶対時刻情報を含み、前記第１制御情報及び前記第２制御情報の少なくともいずれか１つは、前記第２コンテンツの提示時刻を示す第２絶対時刻情報を含む。
【選択図】図２
【解決手段】 送信装置は、視点の自由度を有していない第１コンテンツに付随する第１制御情報を処理する第１処理部と、視点の自由度を有する第２コンテンツに付随する第２制御情報を処理する第２処理部と、前記第１コンテンツ、前記第１制御情報、前記第２コンテンツ及び前記第２制御情報を送信する送信部と、を備え、前記第１制御情報は、前記第１コンテンツの提示時刻を示す第１絶対時刻情報を含み、前記第１制御情報及び前記第２制御情報の少なくともいずれか１つは、前記第２コンテンツの提示時刻を示す第２絶対時刻情報を含む。
【選択図】図２
【特許請求の範囲】
【請求項1】
視点の自由度を有していない第１コンテンツに付随する第１制御情報を処理する第１処理部と、
視点の自由度を有する第２コンテンツに付随する第２制御情報を処理する第２処理部と、
前記第１コンテンツ、前記第１制御情報、前記第２コンテンツ及び前記第２制御情報を送信する送信部と、を備え、
前記第１制御情報は、前記第１コンテンツの提示時刻を示す第１絶対時刻情報を含み、
前記第１制御情報及び前記第２制御情報の少なくともいずれか１つは、前記第２コンテンツの提示時刻を示す第２絶対時刻情報を含む、送信装置。
視点の自由度を有する第２コンテンツに付随する第２制御情報を処理する第２処理部と、
前記第１コンテンツ、前記第１制御情報、前記第２コンテンツ及び前記第２制御情報を送信する送信部と、を備え、
前記第１制御情報は、前記第１コンテンツの提示時刻を示す第１絶対時刻情報を含み、
前記第１制御情報及び前記第２制御情報の少なくともいずれか１つは、前記第２コンテンツの提示時刻を示す第２絶対時刻情報を含む、送信装置。
【請求項2】
前記第１制御情報は、前記第２絶対時刻情報を含む、請求項１に記載の送信装置。
【請求項3】
前記第２制御情報は、前記第２絶対時刻情報を含む、請求項１に記載の送信装置。
【請求項4】
前記第２絶対時刻情報は、前記第１絶対時刻情報と同一基準時刻に基づいて生成される、請求項１乃至請求項３のいずれか１項に記載の送信装置。
【請求項5】
前記送信部は、前記第１制御情報と同じ形式で前記第２制御情報を送信する、請求項１乃至請求項４のいずれか１項に記載の送信装置。
【請求項6】
視点の自由度を有していない第１コンテンツ、前記第１コンテンツに付随する第１制御情報、視点の自由度を有する第２コンテンツ及び前記第２コンテンツに付随する第２制御情報を受信する受信部と、
前記第１制御情報を処理する第１処理部と、
前記第２制御情報を処理する第２処理部と、を備え、
前記第１制御情報は、前記第１コンテンツの提示時刻を示す第１絶対時刻情報を含み、
前記第１制御情報及び前記第２制御情報の少なくともいずれか１つは、前記第２コンテンツの提示時刻を示す第２絶対時刻情報を含む、受信装置。
前記第１制御情報を処理する第１処理部と、
前記第２制御情報を処理する第２処理部と、を備え、
前記第１制御情報は、前記第１コンテンツの提示時刻を示す第１絶対時刻情報を含み、
前記第１制御情報及び前記第２制御情報の少なくともいずれか１つは、前記第２コンテンツの提示時刻を示す第２絶対時刻情報を含む、受信装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、送信装置及び受信装置に関する。
【背景技術】
【0002】
従来、2D映像及び音声などのコンテンツを伝送する標準規格として、ISO/IEC 23008-1（以下、MMT（MPEG Media Transport））及びISO/IEC 23009-1（以下、MPEG-DASH（Dynamic Adaptive Stream over HTTP））が知られている。このような標準規格では、コンテンツを提示する絶対時刻を示すタイムスタンプ記述子が制御情報（MMT-SI（Signaling Information））の一つとして定義されている。
【0003】
一方で、360°映像及び3Dオブジェクトなどのコンテンツを伝送する仕組みも提案されている（例えば、非特許文献１）。このような仕組としては、利用者が座位で頭を動かした範囲の視点移動を伴う3DoF+（Degree of Freedom）、利用者が自由に動く範囲の視点移動を伴う6DoFなどが知られている。このような仕組みでは、360°映像と3Dオブジェクトとの位置関係は、シーン記述によって示される。
【先行技術文献】
【非特許文献】
【0004】
【非特許文献1】3GPP TR 26.928 V16.1.0 2020年12月
【発明の概要】
【発明が解決しようとする課題】
【0005】
上述した背景下において、発明者等は、異なる方式のコンテンツを組み合わせて提示する利用シーンについて着目したところ、上述したシーン記述がMMT-SIとは独立しているため、異なる方式のコンテンツを適切に同期することができないことを見出した。
【0006】
そこで、本発明は、上述した課題を解決するためになされたものであり、異なる方式のコンテンツを適切に同期することを可能とする送信装置及び受信装置を提供することを目的とする。
【課題を解決するための手段】
【0007】
開示に係る送信装置は、視点の自由度を有していない第１コンテンツに付随する第１制御情報を処理する第１処理部と、視点の自由度を有する第２コンテンツに付随する第２制御情報を処理する第２処理部と、前記第１コンテンツ、前記第１制御情報、前記第２コンテンツ及び前記第２制御情報を送信する送信部と、を備え、前記第１制御情報は、前記第１コンテンツの提示時刻を示す第１絶対時刻情報を含み、前記第１制御情報及び前記第２制御情報の少なくともいずれか１つは、前記第２コンテンツの提示時刻を示す第２絶対時刻情報を含む。
【0008】
開示に係る受信装置は、視点の自由度を有していない第１コンテンツ、前記第１コンテンツに付随する第１制御情報、視点の自由度を有する第２コンテンツ及び前記第２コンテンツに付随する第２制御情報を受信する受信部と、前記第１制御情報を処理する第１処理部と、前記第２制御情報を処理する第２処理部と、を備え、前記第１制御情報は、前記第１コンテンツの提示時刻を示す第１絶対時刻情報を含み、前記第１制御情報及び前記第２制御情報の少なくともいずれか１つは、前記第２コンテンツの提示時刻を示す第２絶対時刻情報を含む。
【発明の効果】
【0009】
本発明によれば、異なる方式のコンテンツを適切に同期することを可能とする送信装置及び受信装置を提供することができる。
【図面の簡単な説明】
【0010】
【発明を実施するための形態】
【0011】
次に、本発明の実施形態について説明する。なお、以下の図面の記載において、同一または類似の部分には、同一または類似の符号を付している。ただし、図面は模式的なものであり、各寸法の比率などは現実のものとは異なることに留意すべきである。
【0012】
したがって、具体的な寸法などは以下の説明を参酌して判断すべきものである。また、図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることは勿論である。
【0013】
［開示の概要］
開示の概要に係る送信装置は、視点の自由度を有していない第１コンテンツに付随する第１制御情報を処理する第１処理部と、視点の自由度を有する第２コンテンツに付随する第２制御情報を処理する第２処理部と、前記第１コンテンツ、前記第１制御情報、前記第２コンテンツ及び前記第２制御情報を送信する送信部と、を備え、前記第１制御情報は、前記第１コンテンツの提示時刻を示す第１絶対時刻情報を含み、前記第１制御情報及び前記第２制御情報の少なくともいずれか１つは、前記第２コンテンツの提示時刻を示す第２絶対時刻情報を含む。
開示の概要に係る送信装置は、視点の自由度を有していない第１コンテンツに付随する第１制御情報を処理する第１処理部と、視点の自由度を有する第２コンテンツに付随する第２制御情報を処理する第２処理部と、前記第１コンテンツ、前記第１制御情報、前記第２コンテンツ及び前記第２制御情報を送信する送信部と、を備え、前記第１制御情報は、前記第１コンテンツの提示時刻を示す第１絶対時刻情報を含み、前記第１制御情報及び前記第２制御情報の少なくともいずれか１つは、前記第２コンテンツの提示時刻を示す第２絶対時刻情報を含む。
【0014】
開示の概要に係る受信装置は、視点の自由度を有していない第１コンテンツ、前記第１コンテンツに付随する第１制御情報、視点の自由度を有する第２コンテンツ及び前記第２コンテンツに付随する第２制御情報を受信する受信部と、前記第１制御情報を処理する第１処理部と、前記第２制御情報を処理する第２処理部と、を備え、前記第１制御情報は、前記第１コンテンツの提示時刻を示す第１絶対時刻情報を含み、前記第１制御情報及び前記第２制御情報の少なくともいずれか１つは、前記第２コンテンツの提示時刻を示す第２絶対時刻情報を含む。
【0015】
開示の概要では、第１コンテンツ及び第２コンテンツを組み合わせて提示する新たな利用シーンについて着目した場合において、第１制御情報及び第２制御情報が独立していても、第１コンテンツの提示時刻を示す第１絶対時刻情報を第１制御情報が含む前提下において、第１制御情報及び第２制御情報の少なくともいずれか１つは、第２コンテンツの提示時刻を示す第２絶対時刻情報を含む。このような構成によれば、第１コンテンツ及び第２コンテンツの提示時刻を適切に特定することができ、第１コンテンツ及び第２コンテンツを適切に同期することができる。
【0016】
［実施形態］
（伝送システム）
以下において、実施形態に係る伝送システムについて説明する。図１は、実施形態に係る伝送システム１０を示す図である。図１に示すように、デジタル無線伝送システムは、送信装置１００及び受信装置２００を備える。
（伝送システム）
以下において、実施形態に係る伝送システムについて説明する。図１は、実施形態に係る伝送システム１０を示す図である。図１に示すように、デジタル無線伝送システムは、送信装置１００及び受信装置２００を備える。
【0017】
実施形態において、送信装置１００は、視点の自由度を有していない第１コンテンツ及び視点の自由度を有する第２コンテンツを受信装置２００に送信する。さらに、送信装置１００は、第１コンテンツに付随する第１制御情報及び第２コンテンツに付随する第２制御情報を受信装置２００に送信する。
【0018】
第１コンテンツは、2D映像及び音声の少なくともいずれか１つを含んでもよい。第１コンテンツ及び第１制御情報は、第１方式で送信されてもよい。第１方式は、ISO/IEC 23008-1（以下、MMT（MPEG Media Transport））に準拠する方式であってもよい。以下においては、第１方式がMMTに準拠するMMTP（MMT Protocol）であるケースについて例示する。第１制御情報は、MMT-SI（Signaling Information）と称されてもよい。
【0019】
第２コンテンツは、360°映像及び3Dオブジェクトを含んでもよい。第２コンテンツ及び第２制御情報は、第２方式で送信されてもよい。第２コンテンツは、利用者が座位で頭を動かした範囲の視点移動を伴う3DoF+（Degree of Freedom）、利用者が自由に動く範囲の視点移動を伴う6DoFなどに準拠してもよい。第２コンテンツは、視点の自由度を有するため、同一時刻（フレーム）において、２以上の360°映像を含んでもよく、２以上の3Dオブジェクトを含んでもよい。第２制御情報は、シーン記述と称されてもよい。
【0020】
ここで、第２制御情報は、上述した第１方式で送信されてもよい。すなわち、第２制御情報は、第１制御情報と同じ第１方式（例えば、MMTP）で送信されてもよい。
【0021】
送信装置１００から受信装置２００への伝送は、特に限定されるものではないが、衛星放送を用いた伝送であってもよく、インターネット網を用いた伝送であってもよく、移動体通信網を用いた伝送であってもよい。
【0022】
特に限定されるものではないが、伝送システムは、デジタル無線伝送システムであってもよい。デジタル無線伝送システムは、4K、8K衛星放送で用いるシステムであってもよい。受信装置２００は、スマートフォン、タブレット端末、ヘッドマウントディスプレイなどのユーザ端末であってもよい。
【0023】
（送信装置）
以下において、実施形態に係る送信装置について説明する。図２は、実施形態に係る送信装置１００を示すブロック図である。
以下において、実施形態に係る送信装置について説明する。図２は、実施形態に係る送信装置１００を示すブロック図である。
【0024】
図２に示すように、送信装置１００は、第１処理部１０１と、第２処理部１０２と、送信部１０３と、を有する。
【0025】
第１処理部１０１は、視点の自由度を有していない第１コンテンツに付随する第１制御情報（MMT-SI）を処理する。第１処理部１０１は、第１コンテンツを処理してもよい。すなわち、第１処理部１０１は、2D映像を処理してもよく、音声を処理してもよい。例えば、第１処理部１０１は、2D映像、音声及びMMT-SIのパケット化によってMMTPパケットを生成してもよい。
【0026】
例えば、MMTPパケットは、IP（Internet Protocol）パケットに格納される。IPパケットは、UDP（User Datagram Protocol）を用いて伝送されてもよく、TCP（Transmission Control Protocol）を用いて伝送されてもよい。
【0027】
ここで、第１コンテンツは、一定時間幅で区切られた単位（以下、MPU；Media Processing Unit）で処理される。MPUは、１以上のアクセスユニットを含む。アクセスユニットは、MFU（Media Fragment Unit）として扱われることもある。2D映像に関するMFUは、NAL（Network Abstraction Layer）ユニットと称されてもよく、音声に関するMFUは、MHAS（MPEG-H 3D Audio Stream）パケットと称されてもよい。
【0028】
MMT-SIは、PA（Package Access）メッセージを含み、PAメッセージは、第１コンテンツの一覧を示すMPT（MMT Package Table）を含む。さらに、MMT-SIは、第１コンテンツの提示時刻を示す第１絶対時刻情報を含む。第１絶対時刻情報は、MPUの提示時刻、すなわち、MPUにおいて最初に提示するアクセスユニットの時刻を意味してもよい。第１絶対時刻情報は、MPUタイムスタンプ記述子と称されてもよい。
【0029】
MPUタイムスタンプ記述子は、UTC（Coordinated Universal Time）を基準時刻として生成されてもよい。基準時刻は、TAI（International Atomic Time）が用いられてもよく、GPS（Global Positioning System）から提供される時刻が用いられてもよい。基準時刻は、NTP（Network Time Protocol）サーバから提供される時刻であってもよく、PTP（Precision Time Protocol）サーバから提供される時刻であってもよい。
【0030】
第２処理部１０２は、視点の自由度を有する第２コンテンツに付随する第２制御情報（シーン記述）を処理する。第２処理部１０２は、第２コンテンツを処理してもよい。すなわち、第２処理部１０２は、360°映像を処理してもよく、3Dオブジェクトを処理してもよい。
【0031】
例えば、第２処理部１０２は、シーン記述のパケット化によってMMTPパケットを生成してもよい。第２処理部１０２は、ERP（Equirectangular projection）やキューブマップなどの射影変換を360°映像に適用して、360°映像を2D映像に変換してもよい。第２処理部１０２は、360°映像に適用した射影変換の種類を示すメタデータを生成してもよい。第２処理部１０２は、3Dオブジェクトをメッシュ形式で符号化してもよい。メッシュ形式の符号化としては、ISO/IEC 14496-16 “Animation framework extension (AFX)”が用いられてもよい。第２処理部１０２は、3Dオブジェクトをポイントクラウド形式で符号化してもよい。ポイントクラウド形式の符号化としては、ISO/IEC 23090-5 “Video-based Point Cloud Compression”が用いられてもよい。
【0032】
ここで、第２コンテンツは、一定時間幅で区切られた単位で１つのファイルに纏められる。一定時間幅は、500msであってもよい。例えば、フレームレートが60fps（frame per second）である場合には、１つのファイルは、30 frameを含む。
【0033】
シーン記述は、１つのファイル毎に生成され、360°映像及び3Dオブジェクトを特定する情報をフレーム毎に含む。例えば、シーン記述は、フレームの3Dオブジェクトの名称を示す情報要素（object_name）、フレーム番号を示す情報要素（frame_number）、フレームにおける3Dオブジェクトの位置を示す情報要素（translation_object）、フレームにおける3Dオブジェクトの回転を示す情報要素（rotation_object）、フレームにおける3Dオブジェクトの大きさを示す情報要素（scale_object）などを含む。
【0034】
送信部１０３は、第１コンテンツ、第１制御情報、第２コンテンツ及び第２制御情報（以下、送信信号）を送信する。
【0035】
図２では、説明の便宜から第１処理部１０１及び第２処理部１０２が別々な処理部であるケースについて例示したが、実施形態はこれに限定されるものではない。第１処理部１０１及び第２処理部１０２は１つの処理部によって構成されてもよい。
【0036】
（受信装置）
以下において、実施形態に係る受信装置について説明する。図３は、実施形態に係る受信装置２００を示すブロック図である。
以下において、実施形態に係る受信装置について説明する。図３は、実施形態に係る受信装置２００を示すブロック図である。
【0037】
図３に示すように、受信装置２００は、受信部２０１と、第１処理部２０２と、第２処理部２０３と、を有する。
【0038】
受信部２０１は、第１コンテンツ、第１制御情報、第２コンテンツ及び第２制御情報（以下、受信信号）を受信する。受信信号は、上述した送信信号と同義であってもよい。
【0039】
第１処理部２０２は、視点の自由度を有していない第１コンテンツに付随する第１制御情報（MMT-SI）を処理する。第１処理部２０２は、第１コンテンツを処理してもよい。例えば、第１処理部２０２は、MMT-SIに基づいて第１コンテンツを処理し、第１コンテンツ（2D映像及び音声）を出力する。さらに、第１処理部２０２は、MMT-SIに含まれる第１絶対時刻情報（MPUタイムスタンプ記述子）に基づいて、第１コンテンツの提示時刻を特定する。
【0040】
第２処理部２０３は、視点の自由度を有する第２コンテンツに付随する第２制御情報（シーン記述）を処理する。第２処理部２０３は、第２コンテンツを処理してもよい。例えば、第２処理部２０３は、シーン記述に基づいて第２コンテンツを処理し、第２コンテンツ（360°映像及び3Dオブジェクト）を出力する。ここで、第２処理部２０３は、視点情報（視点位置や視線方向）に基づいて、360°映像及び3Dオブジェクトを出力する。視点情報は、ユーザI/F（Interface）から入力されてもよく、受信装置２００が有するセンサ（加速度センサ、GPSセンサなど）から入力されてもよい。
【0041】
図３では、説明の便宜から第１処理部２０２及び第２処理部２０３が別々な処理部であるケースについて例示したが、実施形態はこれに限定されるものではない。第１処理部２０２及び第２処理部２０３は１つの処理部によって構成されてもよい。
【0042】
（第２コンテンツ）
以下において、実施形態に係る第２コンテンツについて説明する。ここでは、t=0、t=1及びt=2における第２コンテンツについて説明する。t=0、t=1及びt=2の時間間隔は特に限定されるものではない。
以下において、実施形態に係る第２コンテンツについて説明する。ここでは、t=0、t=1及びt=2における第２コンテンツについて説明する。t=0、t=1及びt=2の時間間隔は特に限定されるものではない。
【0043】
例えば、図４に示すように、t=0において、3Dオブジェクトが表示されずに、360°映像が表示されてもよい。360°映像は、3Dオブジェクトの背景映像であると考えてもよい。t=1において、360°映像に重畳される形式で3Dオブジェクトが表示されてもよい。さらに、t=1において、360°映像に重畳される3Dオブジェクトの位置及び回転が変更されてもよい。
【0044】
上述したシーン記述は、t=0、t=1及びt=2のそれぞれについて、3Dオブジェクトの位置、回転及び大きさを示す情報要素を含み、360°映像上に3Dオブジェクトを適切に重畳することができる。
【0045】
（利用シーン）
上述した背景下において、実施形態に係る利用シーンについて説明する。上述したように、第２コンテンツに付随するシーン記述は、第１コンテンツに付随するMMT-SIとは独立した制御情報である。すなわち、第２コンテンツとしては整合が取れているが、第１コンテンツと第２コンテンツとを適切に同期することができない。実施形態では、このような利用シーンに着目して、以下に示す仕組みを導入する。
上述した背景下において、実施形態に係る利用シーンについて説明する。上述したように、第２コンテンツに付随するシーン記述は、第１コンテンツに付随するMMT-SIとは独立した制御情報である。すなわち、第２コンテンツとしては整合が取れているが、第１コンテンツと第２コンテンツとを適切に同期することができない。実施形態では、このような利用シーンに着目して、以下に示す仕組みを導入する。
【0046】
なお、以下において、同期とは、第１コンテンツ（例えば、MPU）と第２コンテンツ（ファイル）との提示時刻が適切に揃うことを意味する。従って、同期は、2D映像と3Dオブジェクトとの提示時刻が揃うことを含んでもよく、音声と3Dオブジェクトとの提示時刻が揃うことを含んでもよい。同様に、同期は、2D映像と360°映像との提示時刻が揃うことを含んでもよく、音声と360°映像との提示時刻が揃うことを含んでもよい。
【0047】
（第１方法）
第１方法では、MMT-SIは、第２コンテンツの提示時刻を示す第２絶対時刻情報を含む。第２絶対時刻情報は、シーン記述に含まれる最初のフレームの提示時刻であってもよい。
第１方法では、MMT-SIは、第２コンテンツの提示時刻を示す第２絶対時刻情報を含む。第２絶対時刻情報は、シーン記述に含まれる最初のフレームの提示時刻であってもよい。
【0048】
例えば、第２絶対時刻情報は、UTCを基準時刻として生成されてもよい。基準時刻は、TAIが用いられてもよく、GPSから提供される時刻が用いられてもよい。基準時刻は、NTPサーバから提供される時刻であってもよく、PTPサーバから提供される時刻であってもよい。さらに、第２絶対時刻情報は、第１絶対時刻情報（すなわち、MPUタイムスタンプ記述子）と同一基準時刻に基づいて生成されてもよい。
【0049】
ここで、１つのMMT-SIによって提示される第１コンテンツに係る一定時間幅（MPUの時間幅）は、１つのシーン記述によって提示される第２コンテンツに係る一定時間幅（ファイルの時間幅）と同じであってもよい。このようなケースにおいて、MMT-SIに含まれるMPUタイムスタンプ記述子は、第２絶対時刻情報として流用されてもよい。言い換えると、MMT-SIは、MPUタイムスタンプ記述子とは別に第２絶対時刻情報を含む必要はなく、１つのMPUタイムスタンプ記述子を含めばよい。
【0050】
【0051】
一方で、シーン記述に含まれる最初のフレームの提示時刻は、MMT-SIに含まれるMPUタイムスタンプ記述子を参照することによって特定される。シーン記述に含まれる２番目以降フレームの提示時刻は、シーン記述に含まれるフレーム番号及び第２コンテンツのフレームレートによって特定することが可能である。例えば、フレームレートが30fpsであるケースを考えると、n番目のフレームの提示時刻は、MPUタイムスタンプ記述子によって特定される時刻に1/30×nを加算することによって特定される。但し、シーン記述に含まれる最初のフレームのフレーム番号は”0”である。
【0052】
第１方法においては、図６に示すように、シーン記述は、第２絶対時刻情報を含む必要がなく、オブジェクトの名称、フレーム番号、3Dオブジェクトの位置、回転、大きさを示す情報要素をフレーム毎に含めばよい。
【0053】
ここで、シーン記述は、NALユニット及びMHASユニットと同様にMFUとして扱われ、パケット化によってMMTPパケットの形式で伝送されてもよい。あるいはシーン記述は、HTTP（Hyper Text Transfer Protocol）などのプロトコルで伝送されてもよい。
【0054】
第１方法では、受信装置２００は、MMT-SIをエントリーポイントとして、シーン記述（第２コンテンツ）の有無を確認した上で、シーン記述が存在する場合には、MPUタイムスタンプ記述子を流用して、第２コンテンツの提示時刻を特定する。
【0055】
（第２方法）
第２方法では、シーン記述は、第２コンテンツの提示時刻を示す第２絶対時刻情報を含む。第２絶対時刻情報は、シーン記述に含まれる最初のフレームの提示時刻であってもよい。
第２方法では、シーン記述は、第２コンテンツの提示時刻を示す第２絶対時刻情報を含む。第２絶対時刻情報は、シーン記述に含まれる最初のフレームの提示時刻であってもよい。
【0056】
例えば、第２絶対時刻情報は、第１方法と同様に、UTCを基準時刻として生成されてもよい。基準時刻は、TAIが用いられてもよく、GPSから提供される時刻が用いられてもよい。基準時刻は、NTPサーバから提供される時刻であってもよく、PTPサーバから提供される時刻であってもよい。さらに、第２絶対時刻情報は、第１絶対時刻情報（すなわち、MPUタイムスタンプ記述子）と同一基準時刻に基づいて生成されてもよい。
【0057】
【0058】
一方で、シーン記述に含まれる最初のフレームの提示時刻は、シーン記述に含まれる第２絶対時刻情報（図７では、単にtimestamp）を参照することによって特定される。シーン記述に含まれる２番目以降フレームの提示時刻は、シーン記述に含まれるフレーム番号及び第２コンテンツのフレームレートによって特定することが可能である。例えば、フレームレートが30fpsであるケースを考えると、n番目のフレームの提示時刻は、MPUタイムスタンプ記述子によって特定される時刻に1/30×nを加算することによって特定される。但し、シーン記述に含まれる最初のフレームのフレーム番号は”0”である。
【0059】
第２方法においては、図８に示すように、シーン記述は、図６に示した情報要素に加えて、第２絶対時刻情報を含む必要がある。図８では、基準時刻がUTCであるケースが例示されており、第２絶対時刻情報として、“absolute_time_UTC”:”0xda192c2f.813953de(2015-12-14 20:53:19.504)”が追加されている。
【0060】
図８では、“absolute_time_UTC”は、64bitで表記された時刻と、年月日及び時間で表記された時刻と、を含む。しかしながら、“absolute_time_UTC”は、後者を含まずに、64bitで表記された時刻を含んでもよく、前者を含まずに、年月日及び時間で表記された時刻を含んでもよい。“absolute_time_UTC”は、他の形式で表された時刻を含んでもよい。
【0061】
ここで、シーン記述は、NALユニット及びMHASユニットと同様にMFUとして扱われ、パケット化によってMMTPパケットの形式で伝送されてもよい。あるいはシーン記述は、HTTPなどのプロトコルで伝送されてもよい。
【0062】
第２方法では、受信装置２００は、MMT-SIをエントリーポイントとして、第１コンテンツととともに提示すべき第２コンテンツ（シーン記述）の有無を確認した上で、シーン記述が存在する場合には、MMT-SIに含まれるMPUタイムスタンプ記述子に基づいて、第２コンテンツの提示時刻を特定する。受信装置２００は、シーン記述に含まれる第２絶対時刻情報に基づいて、第２コンテンツの提示時刻を特定してもよい。
【0063】
（作用及び効果）
実施形態では、第１コンテンツ及び第２コンテンツを組み合わせて提示する新たな利用シーンについて着目した場合において、第１制御情報及び第２制御情報が独立していても、第１コンテンツの提示時刻を示す第１絶対時刻情報を第１制御情報が含む前提下において、第１制御情報及び第２制御情報の少なくともいずれか１つは、第２コンテンツの提示時刻を示す第２絶対時刻情報を含む。このような構成によれば、第１コンテンツ及び第２コンテンツの提示時刻を適切に特定することができ、第１コンテンツ及び第２コンテンツを適切に同期することができる。
実施形態では、第１コンテンツ及び第２コンテンツを組み合わせて提示する新たな利用シーンについて着目した場合において、第１制御情報及び第２制御情報が独立していても、第１コンテンツの提示時刻を示す第１絶対時刻情報を第１制御情報が含む前提下において、第１制御情報及び第２制御情報の少なくともいずれか１つは、第２コンテンツの提示時刻を示す第２絶対時刻情報を含む。このような構成によれば、第１コンテンツ及び第２コンテンツの提示時刻を適切に特定することができ、第１コンテンツ及び第２コンテンツを適切に同期することができる。
【0064】
具体的には、第１方法によれば、第２絶対時刻情報としてMMT-SIに含まれるMPUタイムスタンプ記述子が用いられるため、受信装置２００は、MMT-SIに含まれるMPUタイムスタンプ記述子を参照することによって、2D映像と音声との同期を取ることができ、かつ、第１コンテンツ（2D映像及び音声）と第２コンテンツ（360°映像及び3Dオブジェクト）との同期を取ることができる。従って、受信装置２００の処理負荷の増大を抑制しながら、第１コンテンツ及び第２コンテンツの同期を取ることができる。
【0065】
一方で、第２方法によれば、第２絶対時刻情報がシーン記述に含まれるため、受信装置２００は、MMT-SIに含まれるMPUタイムスタンプ記述子に依存することなく、第１コンテンツと同期が取れた状態を前提として第２コンテンツを提示することができる。例えば、第１コンテンツと組み合わせずに第２コンテンツを提示する状態と第１コンテンツと組み合わせて第２コンテンツを提示する状態とを切り替えるといった運用も可能である。
【0066】
実施形態では、シーン記述は、MMTPパケットの形式で伝送されてもよい。このような構成によれば、受信装置２００は、MMT-SIに含まれるMPTを解析することによって、シーン記述の存在を特定することができる。さらに、受信装置２００は、第１方法及び第２方法のいずれかによって、第２コンテンツの提示時刻を特定することができる。受信装置２００は、第１コンテンツ及び第２コンテンツの同期が取れた状態で、第１コンテンツ及び第２コンテンツを容易に提示することができる。
【0067】
［その他の実施形態］
本発明は上述した開示によって説明したが、この開示の一部をなす論述及び図面は、この発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施形態、実施例及び運用技術が明らかとなろう。
本発明は上述した開示によって説明したが、この開示の一部をなす論述及び図面は、この発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施形態、実施例及び運用技術が明らかとなろう。
【0068】
上述した開示では特に触れていないが、MMTに関する用語は、ISO/IEC 23008-1、ARIB STD-B60、ARIB TR-B39などで規定された内容に基づいて解釈されてもよい。
【0069】
上述した開示では、MMT-SIに含まれる第１絶対時刻情報として、MPUタイムスタンプ記述子を例示した。しかしながら、上述した開示はこれに限定されるものではない。MMT-SIに含まれる第１絶対時刻情報は、MPU拡張タイムスタンプ記述子であってもよい。
【0070】
上述した開示では特に触れていないが、受信装置２００は、必要に応じて、第２コンテンツの一部を送信装置１００に要求してもよい。このような構成によれば、第２コンテンツの伝送に伴う帯域を節約し、受信装置２００の処理負荷の増大を抑制することができる。
【0071】
上述した開示では、第１コンテンツの伝送方式としてMMTPを例示した。しかしながら、上述した開示はこれに限定されるものではない。第１コンテンツの伝送方式は、ISO/IEC 23009-1（以下、MPEG-DASH（Dynamic Adaptive Stream over HTTP））に準拠する方式であってもよい。このようなケースにおいて、第１制御情報は、MPD（Media Presentation Description）であってもよい。すなわち、上述した開示において、MMT-SIはMPDと読み替えられてもよい。
【0072】
上述した開示では特に触れていないが、送信装置１００及び受信装置２００が行う各処理をコンピュータに実行させるプログラムが提供されてもよい。また、プログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、コンピュータにプログラムをインストールすることが可能である。ここで、プログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、CD-ROMやDVD-ROM等の記録媒体であってもよい。
【0073】
或いは、送信装置１００及び受信装置２００が行う各処理を実行するためのプログラムを記憶するメモリ及びメモリに記憶されたプログラムを実行するプロセッサによって構成されるチップが提供されてもよい。
【符号の説明】
【0074】
１０…伝送システム、１００…送信装置、１０１…第１処理部、１０２…第２処理部、１０３…送信部、２００...受信装置、２０１…受信部、２０２…第１処理部、２０３…第２処理部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】