特許第6866684号(P6866684)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 沖電気工業株式会社の特許一覧
特許6866684通信装置、通信プログラムおよび通信方法
<>
  • 特許6866684-通信装置、通信プログラムおよび通信方法 図000006
  • 特許6866684-通信装置、通信プログラムおよび通信方法 図000007
  • 特許6866684-通信装置、通信プログラムおよび通信方法 図000008
  • 特許6866684-通信装置、通信プログラムおよび通信方法 図000009
  • 特許6866684-通信装置、通信プログラムおよび通信方法 図000010
  • 特許6866684-通信装置、通信プログラムおよび通信方法 図000011
  • 特許6866684-通信装置、通信プログラムおよび通信方法 図000012
  • 特許6866684-通信装置、通信プログラムおよび通信方法 図000013
  • 特許6866684-通信装置、通信プログラムおよび通信方法 図000014
  • 特許6866684-通信装置、通信プログラムおよび通信方法 図000015
  • 特許6866684-通信装置、通信プログラムおよび通信方法 図000016
  • 特許6866684-通信装置、通信プログラムおよび通信方法 図000017
  • 特許6866684-通信装置、通信プログラムおよび通信方法 図000018
  • 特許6866684-通信装置、通信プログラムおよび通信方法 図000019
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6866684
(24)【登録日】2021年4月12日
(45)【発行日】2021年4月28日
(54)【発明の名称】通信装置、通信プログラムおよび通信方法
(51)【国際特許分類】
   H04N 21/236 20110101AFI20210419BHJP
【FI】
   H04N21/236
【請求項の数】19
【全頁数】24
(21)【出願番号】特願2017-34104(P2017-34104)
(22)【出願日】2017年2月24日
(65)【公開番号】特開2018-142753(P2018-142753A)
(43)【公開日】2018年9月13日
【審査請求日】2019年11月15日
(73)【特許権者】
【識別番号】000000295
【氏名又は名称】沖電気工業株式会社
(74)【代理人】
【識別番号】100129067
【弁理士】
【氏名又は名称】町田 能章
(74)【代理人】
【識別番号】100183162
【弁理士】
【氏名又は名称】大塚 義文
(74)【代理人】
【識別番号】110001807
【氏名又は名称】特許業務法人磯野国際特許商標事務所
(72)【発明者】
【氏名】岩下 将人
【審査官】 松元 伸次
(56)【参考文献】
【文献】 特開平10−285130(JP,A)
【文献】 特開2015−207984(JP,A)
【文献】 河村 侑輝,8K SHV放送に向けたMMT多重伝送システムの試作検証,映像情報メディア学会 2014年年次大会講演予稿集,日本,一般社団法人 映像メディア学会,2015年 7月15日,pp.1-2
(58)【調査した分野】(Int.Cl.,DB名)
H04H20/00−20/46
20/51−20/86
20/91−40/27
40/90−60/98
H04N7/10
7/14−7/173
7/20−7/56
21/00−21/858
(57)【特許請求の範囲】
【請求項1】
第1通信装置と接続される通信装置であって、
メディア情報の提示に関わるタイムスタンプ情報を有する第1情報から、タイムスタンプ情報を取得する取得部と、
前記提示に関わるタイムスタンプ情報に基づいて、提示時刻情報を算出する第1時刻情報算出部と、
前記提示時刻情報に基づいて、復号時刻情報を算出する第2時刻情報算出部と、
前記復号時刻情報と、当該通信装置と前記第1通信装置との間における第1遅延時間情報とに基づいて生成された第2時刻情報を、第1時刻情報として出力とする第3時刻情報算出部と、
時刻サーバの時刻情報と同期した第3時刻情報が、前記第1時刻情報となるまでに、前記メディア情報を処理単位に分割したパケットおよび前記第1情報を有するパケットを、第1通信装置に出力する第1出力部と
を有することを特徴とする通信装置。
【請求項2】
前記第3時刻情報算出部は、
前記第2時刻情報と、前記第1通信装置の第2処理遅延時間情報とに基づいて生成された第4時刻情報を、前記第1時刻情報として出力とする
ことを特徴とする請求項1に記載の通信装置。
【請求項3】
前記第1遅延時間情報を、当該通信装置と前記第1通信装置との間における過去の第1伝送遅延情報から生成する遅延時間情報生成部
を有することを特徴とする請求項1に記載の通信装置。
【請求項4】
当該通信装置は、さらに、第2通信装置と接続され、
前記復号時刻情報と、当該通信装置と第2通信装置との間における第2遅延時間情報に基づいて生成された第6時刻情報を、第5時刻情報として出力とする第4時刻情報算出部と、
時刻サーバの時刻情報と同期した前記第3時刻情報が、前記第5時刻情報となるまでに、前記メディア情報を処理単位に分割したパケットおよび前記第1情報を有するパケットを、第2通信装置に出力する第2出力部と
を有することを特徴とする請求項1に記載の通信装置。
【請求項5】
前記第4時刻情報算出部は、
前記第6時刻情報と、前記第2通信装置の第4処理遅延時間情報に基づいて生成された第7時刻情報を、前記第1時刻情報として出力とする
ことを特徴とする請求項4に記載の通信装置。
【請求項6】
前記第2遅延時間情報を、当該通信装置と前記第2通信装置との間における過去の第2伝送遅延情報から生成する遅延時間情報生成部
を有することを特徴とする請求項4に記載の通信装置。
【請求項7】
前記第1情報を有するMMTPパケットを入力する第1入力部と、
前記MMTPパケットから、当該第1情報を取得する第1取得部と
を有することを特徴とする請求項1に記載の通信装置。
【請求項8】
前記第1情報を有する蓄積形式のファイルを入力する第2入力部と、
前記蓄積形式のファイルから、第1情報を取得する第2取得部と
を有することを特徴とする請求項1に記載の通信装置。
【請求項9】
前記第1出力部は、前記メディア情報を処理単位に分割したMMTPパケットおよび前記第1情報を有するMMTPパケットを、前記第1通信装置に送信する
ことを特徴とする請求項1に記載の通信装置。
【請求項10】
第1通信装置と接続される通信装置としてのコンピュータを、
メディア情報の提示に関わるタイムスタンプ情報を有する第1情報から、タイムスタンプ情報を取得する取得部と、
前記提示に関わるタイムスタンプ情報に基づいて、提示時刻情報を算出する第1時刻情報算出部と、
前記提示時刻情報に基づいて、復号時刻情報を算出する第2時刻情報算出部と、
前記復号時刻情報と、当該通信装置と前記第1通信装置との間における第1遅延時間情報とに基づいて生成された第2時刻情報を、第1時刻情報として出力とする第3時刻情報算出部と、
時刻サーバの時刻情報と同期した第3時刻情報が、前記第1時刻情報となるまでに、前記メディア情報を処理単位に分割したパケットおよび前記第1情報を有するパケットを、第1通信装置に出力する第1出力部と
として機能させることを特徴とする通信プログラム。
【請求項11】
前記第3時刻情報算出部は、
前記第2時刻情報と、前記第1通信装置の第2処理遅延時間情報とに基づいて生成された第4時刻情報を、前記第1時刻情報として出力とする
ように機能させることを特徴とする請求項10に記載の通信プログラム。
【請求項12】
前記第1遅延時間情報を、当該通信装置と前記第1通信装置との間における過去の第1伝送遅延情報から生成する遅延時間情報生成部
として機能させることを特徴とする請求項10に記載の通信プログラム。
【請求項13】
当該通信装置は、さらに、第2通信装置と接続され、
前記復号時刻情報と、当該通信装置と第2通信装置との間における第2遅延時間情報に基づいて生成された第6時刻情報を、第5時刻情報として出力とする第4時刻情報算出部と、
時刻サーバの時刻情報と同期した前記第3時刻情報が、前記第5時刻情報となるまでに、前記メディア情報を処理単位に分割したパケットおよび前記第1情報を有するパケットを、第2通信装置に出力する第2出力部と
として機能させることを特徴とする請求項10に記載の通信プログラム。
【請求項14】
前記第4時刻情報算出部は、
前記第6時刻情報と、前記第2通信装置の第4処理遅延時間情報に基づいて生成された第7時刻情報を、前記第1時刻情報として出力とする
ように機能させることを特徴とする請求項13に記載の通信プログラム。
【請求項15】
前記第2遅延時間情報を、当該通信装置と前記第2通信装置との間における過去の第2伝送遅延情報から生成する遅延時間情報生成部
として機能させることを特徴とする請求項13に記載の通信プログラム。
【請求項16】
前記第1情報を有するMMTPパケットを入力する第1入力部と、
前記MMTPパケットから、当該第1情報を取得する第1取得部と
として機能させることを特徴とする請求項10に記載の通信プログラム。
【請求項17】
前記第1情報を有する蓄積形式のファイルを入力する第2入力部と、
前記蓄積形式のファイルから、第1情報を取得する第2取得部と
として機能させることを特徴とする請求項10に記載の通信プログラム。
【請求項18】
前記第1出力部は、前記メディア情報を処理単位に分割したMMTPパケットおよび前記第1情報を有するMMTPパケットを、前記第1通信装置に送信する
ように機能させることを特徴とする請求項10に記載の通信プログラム。
【請求項19】
第1通信装置と接続される通信装置における通信方法であって、
前記通信装置が、
メディア情報の提示に関わるタイムスタンプ情報を有する第1情報から、タイムスタンプ情報を取得する取得ステップと、
前記提示に関わるタイムスタンプ情報に基づいて、提示時刻情報を算出する第1時刻情報算出ステップと、
前記提示時刻情報に基づいて、復号時刻情報を算出する第2時刻情報算出ステップと、
前記復号時刻情報と、当該通信装置と前記第1通信装置との間における第1遅延時間情報とに基づいて生成された第2時刻情報を、第1時刻情報として出力とする第3時刻情報算出ステップと、
時刻サーバの時刻情報と同期した第3時刻情報が、前記第1時刻情報となるまでに、前記メディア情報を処理単位に分割したパケットおよび前記第1情報を有するパケットを、第1通信装置に出力する第1出力ステップと、を実行する
ことを特徴とする通信方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、MMT(MPEG Media Transport)を利用した通信装置、通信プログラムおよび通信方法に関する。
【背景技術】
【0002】
現在、高度BS(Broadcast Satellite)/広帯域CS(communication Satellite)に対するTLV−MMTによるデジタル放送のための規格としてARIB規格 ARIB STD-B60「デジタル放送におけるMMTによるメディアトランスポート方式」がある。一方、IP(Internet Protocol)放送(再放送)のための規格・技術仕様についてはARIB/NEXTV−Fの規格・技術資料を元にIPTVフォーラムにより検討されている。上記技術に関連する従来技術として、BS/CSにおける放送に対する端末機器での提示同期方法が提案されている(特許文献1参照)。
【0003】
特許文献1に記載されるデータ送信設備は、映像送出装置、符号化装置、多重化装置および送信装置により構成されている。データ送出においては、多重化装置の多重処理時間をMMT−SI(MMT-Signaling Information)のMP(MMT Package)テーブル内のMPU(Media Processing Unit)タイムスタンプ記述子や新規の記述子内に追加する。
一方、受信端末では、「MPUタイムスタンプ記述子に含まれる提示時刻+多重処理時間+データ伝送時間」を提示時刻とする。つまり、受信端末において提示時刻を遅らせて同期をとっている。これにより、受信端末では、必ずデータ受信後に前記提示時刻が来るようしている。なお、実際のデータ伝送時間は、データ送出時のNTP(Network Time Protocol)ベースのタイムスタンプと受信端末におけるデータ受信時刻とを比較することにより計算される。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特許第5951893号
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献1に記載される方法では、受信端末においてMPUタイムスタンプ記述子に設定された提示時刻通りに表示することができないという問題がある。MMT−ARIBでのMPUタイムスタンプ記述子の意図は、提示時刻通りに全てのメディアを同期させることであり、受信端末において提示時刻を遅らせて同期をとることは、本来の意図とは異なると考えられる。
【0006】
また、例えば、IP放送/中継に適用する場合を考えると、IP放送/中継サーバ(IP放送/中継装置)と受信端末間のデータ伝送時間は、コンテンツデリバリネットワーク(CDN:Contents Delivery Network)などのネットワーク特性により様々である。
一般的にIPベースのデータ伝送網は、放送で用いられるデータ伝送網と比較して遅延が大きく、また時間的なぶれも大きい。そのため、遅延時間を受信端末側のもともとの提示時刻に足してしまうと、IP放送/中継サーバで設定されたもともとの提示時刻よりも実際の提示時刻が更に遅れてしまうことが想定される。
【0007】
本発明は、前記課題に鑑みてなされたものであり、ARIB規格のMMTによるデジタル放送を元に、MMTによる放送を実現することができる、通信装置、通信プログラムおよび通信方法を提供するものである。
【課題を解決するための手段】
【0008】
前記課題を解決するため、本発明に係る通信装置は、第1通信装置と接続される通信装置であって、メディア情報の提示に関わるタイムスタンプ情報を有する第1情報から、タイムスタンプ情報を取得する取得部と、前記提示に関わるタイムスタンプ情報に基づいて、提示時刻情報を算出する第1時刻情報算出部と、前記提示時刻情報に基づいて、復号時刻情報を算出する第2時刻情報算出部と、前記復号時刻情報と、当該通信装置と前記第1通信装置との間における第1遅延時間情報とに基づいて生成された第2時刻情報を、第1時刻情報として出力とする第3時刻情報算出部と、時刻サーバの時刻情報と同期した第3時刻情報が、前記第1時刻情報となるまでに、前記メディア情報を処理単位に分割したパケットおよび前記第1情報を有するパケットを、第1通信装置に出力する第1出力部とを有する。
【0009】
前記課題を解決するため、本発明に係る通信プログラムは、第1通信装置と接続される通信装置としてのコンピュータを、メディア情報の提示に関わるタイムスタンプ情報を有する第1情報から、タイムスタンプ情報を取得する取得部と、前記提示に関わるタイムスタンプ情報に基づいて、提示時刻情報を算出する第1時刻情報算出部と、前記提示時刻情報に基づいて、復号時刻情報を算出する第2時刻情報算出部と、前記復号時刻情報と、当該通信装置と前記第1通信装置との間における第1遅延時間情報とに基づいて生成された第2時刻情報を、第1時刻情報として出力とする第3時刻情報算出部と、時刻サーバの時刻情報と同期した第3時刻情報が、前記第1時刻情報となるまでに、前記メディア情報を処理単位に分割したパケットおよび前記第1情報を有するパケットを、第1通信装置に出力する第1出力部と、として機能させる。
【0010】
前記課題を解決するため、本発明に係る通信方法は、第1通信装置と接続される通信装置における通信方法であって、前記通信装置が、メディア情報の提示に関わるタイムスタンプ情報を有する第1情報から、タイムスタンプ情報を取得する取得ステップと、前記提示に関わるタイムスタンプ情報に基づいて、提示時刻情報を算出する第1時刻情報算出ステップと、前記提示時刻情報に基づいて、復号時刻情報を算出する第2時刻情報算出ステップと、前記復号時刻情報と、当該通信装置と前記第1通信装置との間における第1遅延時間情報とに基づいて生成された第2時刻情報を、第1時刻情報として出力とする第3時刻情報算出ステップと、時刻サーバの時刻情報と同期した第3時刻情報が、前記第1時刻情報となるまでに、前記メディア情報を処理単位に分割したパケットおよび前記第1情報を有するパケットを、第1通信装置に出力する第1出力ステップと、を実行する。
【発明の効果】
【0011】
本発明によれば、ARIB規格のMMTによるデジタル放送を元に、MMTによる放送を実現することができる。
【図面の簡単な説明】
【0012】
図1】本発明の第1,2実施形態に係るIP放送/中継システムの構成図である。
図2】第1〜第3実施形態に係るIP放送/中継システムで使用する放送波の構成例である。
図3】シグナリングメッセージ(MMT−SI)の概略構成図である。
図4】PAメッセージおよびMPテーブルの構成例である。
図5】第1実施形態に係るIP放送/中継装置の構成図である。
図6】第1実施形態に係る受信端末の構成図である。
図7】MPUタイムスタンプ記述子のシンタックスを示す図である。
図8】MPU拡張タイムスタンプ記述子のシンタックスを示す図である。
図9】第2実施形態に係るIP放送/中継装置の構成図である。
図10】第2実施形態に係る受信端末の構成図である。
図11】第2実施形態に係る通信方法を説明するための概略図である。
図12】本発明の第3実施形態に係るIP放送/中継システムの構成図である。
図13】第3実施形態に係るIP放送/中継装置の構成図である。
図14】第3実施形態に係る通信方法を説明するための概略図である。
【発明を実施するための形態】
【0013】
以下、本発明の実施するための形態を、適宜図面を参照しながら詳細に説明する。各図は、本発明を十分に理解できる程度に、概略的に示してあるに過ぎない。よって、本発明は、図示例のみに限定されるものではない。また、本実施形態では、本発明と直接的に関連しない構成や周知な構成については、説明を省略する場合がある。なお、各図において、共通する構成要素や同様な構成要素については、同一の符号を付し、それらの重複する説明を省略する。
【0014】
[第1実施形態]
≪第1実施形態に係るIP放送/中継システムの構成について≫
図1を参照して、第1実施形態に係るIP放送/中継システムSの構成について説明する。図1は、第1実施形態に係るIP放送/中継システムSの構成図である。
【0015】
IP放送/中継システムSは、ARIB−MMT放送送信装置Bと、IP放送/中継装置1と、受信端末2と、IPネットワーク3と、を備えて構成されている。
ARIB−MMT放送送信装置Bは、ARIB−MMT規格(ARIB STD-B60 1.8版)に対応した装置であり、放送伝送路を介してIP放送/中継装置1に放送波(TLV(Type Length Value)/MMT(MPEG Media Transport))を送出する。
IP放送/中継装置1は、放送波(TLV/MMT)をMMTPパケットに変換し、IPネットワーク3を介して変換したMMTP(MMT Protocol)パケットを受信端末2に送出する。
受信端末2は、MMTPパケットを受信し、予め設定された提示時刻通りに放送を表示する。
【0016】
ここで、IP放送/中継装置1は、「通信装置」の一例であり、「通信装置」の一例は、IP放送/中継装置1に限るものではない。
また、受信端末2は、「第1通信装置」の一例であり、「第1通信装置」の一例は、受信端末2に限るものではない。
【0017】
IP放送/中継システムSでは、ARIB−MMT放送送信装置B、IP放送/中継装置1および受信端末2が図示しない外部装置(例えば、NTP(Network Time Protocol)サーバ)から時刻情報を取得することで、時刻の同期が実現されている。
これにより、放送波に処理の時刻情報(例えば、復号時刻や提示時刻)を含ませることで、他の装置(例えば、受信端末2)における処理の時刻を指定することが可能である。なお、処理の時刻情報は、標準時刻であってもよいし、特定の時刻に対するオフセット値であってもよい。
【0018】
次に、図2を参照して、IP放送/中継システムSで使用する放送波について説明する。図2は、IP放送/中継システムSで使用する放送波の構成例を示している。
【0019】
図2に示すように、MMT/TLVにより符号化された信号の単位は、(a)に示すMPU(Media Processing Unit)、(b)に示すMFU(Media Fragment Unit)、(c)に示すMMTPペイロード、(d)に示すMMTPパケット、(e)TLVパケット、の五つがある。以下、これ五つの単位について説明する。
【0020】
MMTを用いたデジタル放送における放送波は、TLVパケット形式で送出され、複数のIPデータフローを多重化して伝送される。1つのIPデータフローには、複数のパッケージを含むことが可能である。パッケージは、スケジュールに従って送出される番組の連続として定義されるサービスに対応する。
MMTにおけるデータの単位について説明する。
パッケージは、関連する複数のアセットとアセットの構成などを示すPI(Presentation Information)により構成される。アセットは、映像や音声、字幕など構成単位であり、MPUの連続として定義される。MMTを用いたデジタル放送においてPIは制御メッセージ(Signaling Message)に格納され、パッケージが含まれるIPデータフローにおいてアセットと多重されて伝送される。
MPUは、MMTにおけるメディアの処理単位である。例えば、映像や音声のアセットにおいては、1個以上のアクセスユニット(AU:Access Unit)を含み、MPU単体で復号処理が可能な単位である。アクセスユニットは、例えば映像のフレームや音声の符号化単位など、同期が可能な最小単位である。フレーム間予測を用いて符号化する映像信号では、MPUをGOP(Group of Picture)と同じ単位にする。
【0021】
MFUは、MPUよりも小さな単位であり、例えばエンコーダにより出力される映像・音声信号のアクセスユニットがMFUとなる。
【0022】
次に、アセットや制御情報(SI)を伝送する際のパケッタイズについて説明する。
MMTPペイロードは、伝送路ごとに定まる伝送可能なパケットサイズであるMTU(Maximum Transmission Unit)に合わせてMFUをまとめた単位、または分割した単位である。具体的には、MFUの大きさがMTUに比べて小さい場合に、同一種類の複数のMFUをまとめたものにMMTPペイロードヘッダ(MMTP payload header)を付加したものがMMTPペイロードとなる。また、MFUの大きさがMTUに比べて大きい場合に、MFUを分割したものにMMTPペイロードヘッダを付加したものがMMTPペイロードとなる。
【0023】
MMTPパケットは、MMTPペイロードにMMTPヘッダ(MMTP header)を付加したものである。つまり、1つのMMTPペイロードは1つのMMTPパケットで送られ、1つのMMTPパケットにより複数のMMTPペイロードが送られることや、1つのMMTPペイロードが複数のMMTPパケットにまたがって送られることはない。
MMTPパケットには、MPUを格納するものの他に、ペイロード部にシグナリングメッセージ(Signaling Message)を格納するものも存在する。以下では、シグナリングメッセージを「MMT−SI(MMT-Signaling Information)」と呼ぶ場合がある。
【0024】
TLVパケットは、MMTPパケットに、UDP(User Datagram Protocol)ヘッダ、IP(Internet Protocol)ヘッダおよびTLVヘッダを付加したものである。
なお、TLVパケットには、NTPの時刻情報を含むNTPパケットも存在する。
【0025】
次に、MMTPヘッダについて説明する。図示は省略するが、MMTPヘッダには、例えば「payload_type」、「packet_id」、「timestamp」、「packet_sequence_number」などのフィールドを含む。
「payload_type(ペイロードタイプ)」のフィールドは、MMTPペイロードのデータタイプを示す領域である。例えば、「0x00」はペイロードにMPUを含むことを示し、「0x02」はペイロードに一つ以上のシグナリングメッセージ(MMT−SI)を含むことを示す。
【0026】
「packet_id(パケット識別子)」のフィールドは、ペイロードのデータの種類を識別するための領域である。
「timestamp(配信タイムスタンプ)」のフィールドは、MMTPパケットの先頭バイトが送信エンティティから出力される時刻を、「RFC 5905」に示される短形式NTPタイムスタンプで示した領域である。
「packet_sequence_number(パケットシーケンス番号)」のフィールドは、同一のパケット識別子を持つMMTPパケットの順序を示す領域である。
【0027】
次に、図3を参照して、シグナリングメッセージ(MMT−SI)の構成について説明する。図3は、シグナリングメッセージの概略構成図である。シグナリングメッセージは、メッセージ、テーブル、記述子で構成される。シグナリングメッセージとして各種のメッセージ(例えば、PAメッセージ(Package Access Message))が存在する。メッセージにはその種類に応じて1個以上のテーブルが格納されている。テーブルは、特定の情報を示す要素や属性を持つ制御情報である。記述子は、より詳細な情報を提供する制御情報である。
【0028】
次に、図4を参照して、シグナリングメッセージの一つであるPAメッセージに格納されるMPテーブル(MPT:MMT Package Table)の構成について説明する。図4は、PAメッセージおよびMPテーブルの構成例である。MPテーブルは、一つの放送サービスがどのようなアセットで構成されているかを示す。
【0029】
「table_id」のフィールドは、各種シグナリング情報において、MPテーブルを識別する固定値である。
「version」のフィールドは、MPテーブルのバージョンを示す整数値である。例えば、MPテーブルを構成する一部のパラメータを更新した場合に、「+1」インクリメントされる。但し、後述するMPUタイムスタンプ記述子、及びMPU拡張タイムスタンプ記述子の更新時は、インクリメントを行わない。
「length」のフィールドは、このフィールド以降のMPテーブルのサイズを示すバイト数である。
【0030】
「MPT_dsc_len(MPT記述子長)」のフィールドは、「MPT_descripors」のフィールドの長さをバイト単位で示す領域である。
「MPT_descripors(MPT記述子領域)」のフィールドは、MPTの記述子を格納する領域である。MPT記述子領域には、パッケージに関連する記述子を格納する。
「num_of_asset(アセット数)」のフィールドは、本テーブルが情報を与えるアセットの数を示す領域である。
「asset_dsc_len(アセット記述子長)」のフィールドは、後続の記述子の全バイト長を示す領域である。
「asset_descriptors(アセット記述子領域)」のフィールドは、アセットの記述子を格納する領域である。アセット記述子領域には、パッケージを構成するアセットごとに関連する記述子を格納する。アセット記述子領域に格納される記述子として、MPUタイムスタンプ記述子(MPU_timestamp_descriptor)、MPU拡張タイムスタンプ記述子(MPU_Extended_timestamp_descriptor)がある。MPUタイムスタンプ記述子、およびMPU拡張タイムスタンプ記述子の詳細については後記する。
【0031】
<第1実施形態に係る「IP放送/中継装置」の構成>
図5を参照して、第1実施形態に係るIP放送/中継装置1の構成について説明する。図5は、第1実施形態に係るIP放送/中継装置1の構成図である。
IP放送/中継装置1は、データ受信部11と、ヘッダ解析部12と、MMT−SI解析部14と、送出制御部15と、送出バッファ16と、データ送出部17と、を備えて構成されている。
【0032】
ここで、MMT−SI解析部14は、「取得部」、「第1取得部」、「第1時刻情報算出部」および「第2時刻情報算出部」の一例であり、「取得部」、「第1取得部」、「第1時刻情報算出部」および「第2時刻情報算出部」の一例は、MMT−SI解析部14に限るものではない。
また、送出制御部15は、「第3時刻情報算出部」の一例であり、「第3時刻情報算出部」の一例は、送出制御部15に限るものではない。
また、データ送出部17は、「第1出力部」の一例であり、「第1出力部」の一例は、データ送出部17に限るものではない。
また、データ受信部11は、「第1入力部」の一例であり、「第1入力部」の一例は、データ受信部11に限るものではない。
【0033】
データ受信部11、ヘッダ解析部12、MMT−SI解析部14、送出制御部15、送出バッファ16、およびデータ送出部17は、例えば、CPU(Central Processing Unit)によるプログラム実行処理や、専用回路等により実現される。プログラム実行処理により実現する場合、IP放送/中継装置1には、データ受信部11、ヘッダ解析部12、MMT−SI解析部14、送出制御部15、送出バッファ16、およびデータ送出部17を実現するためのプログラムが格納される。
【0034】
データ受信部11は、ARIB−MMT放送送信装置Bからの放送波を受信し、TLV層、IP層などのヘッダを除去した後に、MMTPパケット(図2参照)をヘッダ解析部12に渡す。MMTPパケットには、ペイロードにMPUの一部であるアクセスユニットを格納するものと、ペイロードにシグナリングメッセージ(MMT−SI)を格納するものがある。
ヘッダ解析部12は、MMTPパケットのヘッダを解析し、ペイロードがMMT−SIの場合にMMTPパケットをMMT−SI解析部14に渡す。それ以外の場合に、ヘッダ解析部12は、送出バッファ16にMMTPパケットを渡す。
【0035】
MMT−SI解析部14は、MMT−SIを含むMMTPパケットを受け取る。MMT−SI解析部14は、MPテーブル(図4参照)内にMPUタイムスタンプ記述子およびMPU拡張タイムスタンプ記述子が含まれる場合に、MPUタイムスタンプ記述子およびMPU拡張タイムスタンプ記述子からMPU内の各AUの提示時刻および復号時刻を算出し、アセット毎に提示時刻および復号時刻を送出制御部15に対して通知する。データ解析済みのMMT−SIを含むMMTPパケットは、送出バッファ16に渡される。
【0036】
送出制御部15は、MMT−SI解析部14から通知されるMPU/AUの復号時刻と、予め決められたデータ伝送時間予測値とを基にしてデータ送信のタイミングを決定し、データ送出部17に各AUの送出時刻を通知する。
【0037】
送出バッファ16は、ヘッダ解析部12、及びMMT−SI解析部14から受け取ったMMTPパケットを保持し、データ送出部17の要求に従いMMTPパケットを引き渡す。
データ送出部17は、IPネットワーク3と接続されており、送出制御部15から通知されるAUの送出タイミングで送出バッファ16からMMTPパケットを取得し、受信端末2に対してMMTPパケットを送出する。
【0038】
<第1実施形態に係る「受信端末」の構成>
図6を参照して、第1実施形態に係る受信端末2の構成について説明する。図6は、第1実施形態に係る受信端末2の構成図である。
受信端末2は、データ受信部21と、ヘッダ解析部22と、MMT−SI解析部24と、復号・表示制御部25と、アセット解析部26と、復号バッファ27と、デコーダ28と、表示バッファ29と、データ表示部210と、を備えて構成されている。
【0039】
データ受信部21、ヘッダ解析部22、MMT−SI解析部24、復号・表示制御部25、アセット解析部26、復号バッファ27、デコーダ28、表示バッファ29、およびデータ表示部210は、例えば、CPU(Central Processing Unit)によるプログラム実行処理や、専用回路等により実現される。プログラム実行処理により実現する場合、受信端末2には、データ受信部21、ヘッダ解析部22、MMT−SI解析部24、復号・表示制御部25、アセット解析部26、復号バッファ27、デコーダ28、表示バッファ29、およびデータ表示部210を実現するためのプログラムが格納される。
【0040】
データ受信部21は、IPネットワーク3と接続されており、IP放送/中継装置1から送出されるMMTPパケットを受信する。また、データ受信部21は、受信したMMTPパケットをヘッダ解析部22に渡す。
ヘッダ解析部22は、MMTPパケットヘッダ中のパケットIDからペイロードのタイプを判定し、MMT−SIの場合にMMT−SI解析部24にMMTPパケットを渡す。それ以外の場合に、ヘッダ解析部22は、アセット解析部26にMMTPパケットを渡す。
【0041】
MMT−SI解析部24は、MMT−SIを含むMMTPパケットを受け取り、MMTPパケットのペイロードにあるMMT−SI内の各種データを解析する。MMT−SI解析部24は、特に、MPテーブルに含まれるMPUタイムスタンプ記述子、拡張MPUタイムスタンプ記述子が存在する場合に、AUの復号時刻および提示時刻を算出する。そして、MMT−SI解析部24は、MPUタイムスタンプ記述子、拡張MPUタイムスタンプ記述子の情報および算出したAUの復号時刻および提示時刻を復号・表示制御部25に対して送信する。
【0042】
復号・表示制御部25は、MMT−SI解析部24からAUの復号時刻、提示時刻を取得し、デコーダ28に対しては各AUの復号時刻を、データ表示部210に対しては各AUの提示時刻を通知する。
アセット解析部26は、ヘッダ解析部22から受け取ったMMTPパケットをアセットごとに分離し、復号バッファ27にMMTPパケットのペイロードを渡す。
【0043】
復号バッファ27は、アセット解析部26から受け取ったMMTPペイロードをアセット毎に保持し、デコーダ28の要求に従いMMTPペイロードを引き渡す。
デコーダ28は、復号・表示制御部25から通知された各AUの復号時刻に、復号バッファ27からMMTPパケットのペイロードを取得し、アセットタイプに従って各AUをデコードする。デコードが完了したデータ(AU)は、表示バッファ29に送られる。
【0044】
表示バッファ29は、デコーダ28から受け取ったデコード済みのデータ(AU)を保持し、データ表示部210の要求に従いデコード済みのデータを引き渡す。
データ表示部210は、復号・表示制御部25から通知された各AUの提示時刻に、表示バッファ29からデコード済みのデータを取得し、各アセットのデータ提示を行う。
【0045】
≪第1実施形態に係るIP放送/中継システムの動作について≫
<第1実施形態に係る「IP放送/中継装置」の動作>
IP放送/中継装置1の動作について説明する。データ受信部11では、ARIB−MMT放送送信装置BからMMT放送波を受信する。TLVヘッダ、UDP/IPヘッダを除去し、特定のサービスIDに属するMMTPパケットをヘッダ解析部12に渡す。
【0046】
次に、ヘッダ解析部12では、MMTPパケットヘッダ中のパケットID、パケットシーケンス番号を取得する。MMTPパケットのペイロードがMMT−SIであればMMT−SI解析部14に、アセットであればMMTPパケットペイロード中のMPUシーケンス番号を取得後、送出バッファ16にMMTPパケットを引き渡す。
【0047】
次に、MMT−SI解析部14では、MPテーブルを含むMMT−SIメッセージを受け取った場合に、MPU内のアクセスユニット(AU)毎の復号時刻および提示時刻の算出を行う。MPU内の各AUの復号時刻は、MMT−SIのMPUタイムスタンプ記述子、及びMPU拡張タイムスタンプ記述子を用いて算出する。
【0048】
図7は、MPUタイムスタンプ記述子のシンタックス、図8は、MPU拡張タイムスタンプ記述子のシンタックスを示している。ここでは、MPUタイムスタンプ記述子のシンタックスおよびMPU拡張タイムスタンプ記述子のシンタックスの中で、本発明に関連するパラメータを説明することにし、それ以外の各パラメータの説明については省略する。それ以外の各パラメータについては、例えば「ARIB STD-B60 1.8版 7.4.3.5, 7.4.3.35」に記載がある。
【0049】
図7を参照して、MPUタイムスタンプ記述子のシンタックスについて説明する。
符号41で示す「mpu_sequence_number(MPUシーケンス番号)」のフィールドは、タイムスタンプを記述するMPUのシーケンス番号を示す領域である。
符号42で示す「mpu_presentation_time(MPU提示時刻)」のフィールドは、受信端末2でのMPUの提示時刻を示す領域である。提示時刻は、例えば、NTPタイムスタンプで示される。
【0050】
図8を参照して、MPU拡張タイムスタンプ記述子のシンタックスについて説明する。
符号51で示す「timescale(タイムスケール)」のフィールドは、この記述子における時間の単位を示す領域である。1秒をタイムスケールで割った値が時間の単位である。
符号52で示す「mpu_sequence_number(MPUシーケンス番号)」は、本記述子において復号時刻などを指定するアクセスユニットが含まれるMPUのシーケンス番号を示す領域である。
符号50で示す「pts_offset_type(PTSオフセットタイプ)」は、本記述子におけるPTSオフセット値の指定方法を示す領域である (PTSオフセットは後述する) 。以降では、PTSオフセット値をアクセスユニット毎に設定可能な場合(pts_offset_type=2)について説明する。
【0051】
符号53で示す「dts_pts_offset(復号時刻・提示時刻オフセット)」のフィールドは、アクセスユニットの復号時刻から提示時刻までの時間を、タイムスケールで示される時間単位で示す領域である。
符号54で示す「pts_offset(PTSオフセット)」は、MPU内におけるアクセスユニットの提示期間をタイムスケールで示される時間単位で示す領域である。
【0052】
次に、MPU内のアクセスユニット(AU)毎の復号時刻および提示時刻の算出方法を説明する。
【0053】
MPUシーケンス番号「n」のMPUにおいて、提示順序で最初のAUの提示時刻は、MPUタイムスタンプ記述子の「mpu_presentation_time(n)」となる。
また、復号順序で最初のAUの復号時刻「DT(n,0)」は、MPU拡張タイムスタンプ記述子の「mpu_decoding_time_offset(n)」の値を用いて、以下の式(1)により指定される。
【0054】
【数1】
【0055】
なお、アクセスユニットの提示期間pts_offsetが、そのアクセスユニットと復号順で直後のアクセスユニットの復号時刻の差に等しいとき、復号順序でk番目のAUの復号時刻「DT(n,k)」、提示時刻「PT(n,k)」は、以下の式より算出することができる。ここで、提示時刻「PT(n,k)」は、復号時刻「DT(n,k)」より後の時刻となる。
【0056】
【数2】
【0057】
MMT−SI解析部14において、MPテーブルを含むMMT−SIメッセージを受け取った場合、前記式(2)で説明したAUの復号時刻の算出方法を用いてMPUシーケンス番号「n」のMPU内のAUの復号時刻「DT(n,k)」を算出し、パケットID、MPUシーケンス番号と共に送出制御部15に通知する。
【0058】
送出制御部15では、MMTPパケットを送出するタイミングを決定する。MMT−SI以外のMMTPパケットについては、MMTPペイロードヘッダのMPUシーケンス番号からMPUを特定する。ある時刻「t」における、MPUシーケンス番号「n」のMPU内の復号順序でk番目のAUの送出時刻「send_time(n,k)」は、MMT−SI解析部14から取得した復号時刻「DT(n,k)」を基にして以下の式(3)により求められる値に設定する。
【0059】
【数3】
【0060】
ここで、「estimated_time」は、データ伝送時間の予測値である。また、「α」は、処理遅延やデータ伝送時のジッタを考慮した調整値であり、例えば受信端末2のバッファサイズなどにより決定する値である。送信側では、例えば「α」を受信端末2の推奨スペックとして予め受信側に周知しておくのがよい。
【0061】
また、送出制御部15は、MMT−SIのMMTPパケットの場合に、MMT−SIのMMTPパケットを送出するタイミングを、例えば、次のように決定する。
またここで、MMT−SIのMMTPパケットの後のMMTPパケットは、例えばMPU[図2(a)]において先頭に配置されるMFUのAU[図2(b)]に対応するAUのMMTPパケットであるものとする。
送出制御部15は、MMT−SIのMMTPパケットを送出するタイミングを決定する際、前記AUの先頭をペイロードに含むMMTPパケットのヘッダに付与されていたタイムスタンプ値と、MMT−SIのMMTPパケットヘッダに付与されていたタイムスタンプ値の差分を、式(3)により求められる当該AUの送出時刻から引いた時刻までにデータ送出を行うこととする。
送出制御部15は、修正された送出時刻に、当該MMT−SIのMMTPパケットを送出する。
【0062】
データ送出部17では、送出制御部15から通知されるMPUシーケンス番号「n」のMPU内の復号順序でk番目のAUの送出時刻「send_time(n,k)」を基にして、送出バッファ16からMMTPパケットを取得し、前記送出時刻に受信端末2へMMTPパケットを送出する。ここで、MMTPパケットを送出する際、「send_time(n,k)」を「RFC 5905」に示される短形式NTPタイムスタンプ形式に変換した値をMMTPパケットのタイムスタンプ値に設定する。
【0063】
<第1実施形態に係る「受信端末」の動作>
続いて、受信端末2の動作について説明する。データ受信部21は、MMTPパケットを受信して、受信したMMTPパケットを、ヘッダ解析部22に引き渡す。ヘッダ解析部22では、MMTPパケットのペイロードがMMT−SIであればMMT−SI解析部24に、アセットであればアセット解析部26にMMTPパケットを引き渡す。また、ヘッダ解析部22では、MMTPパケットのペイロードがアセットであれば、MMTPパケットヘッダ中のパケットID、タイムスタンプ値、MMTPペイロード中のMPUシーケンス番号を取得し、取得したパケットID、タイムスタンプ値、MPUシーケンス番号をアセット解析部26に引き渡す。
【0064】
MMT−SI解析部24では、MPテーブルを含むメッセージからMPUタイムスタンプ記述子、及びMPU拡張タイムスタンプ記述子のデータを取得する。次に、記述子中のデータから、MPUシーケンス番号「n」に対応したMPU内の各AUの提示時刻「PT(n,k)」、復号時刻「DT(n,k)」を算出する。提示時刻「PT(n,k)」、復号時刻「DT(n,k)」は、前記説明した式(2)により算出される。
【0065】
MMT−SI解析部24は、アセット毎のMMTPパケットID、及びMPU毎のMPUシーケンス番号と提示時刻「PT(n,k)」、復号時刻「DT(n,k)」とを復号・表示制御部25に送る。
復号・表示制御部25では、各アセット毎のMPU/AUの復号時刻「DT(n,k)」、提示時刻「PT(n,k)」を基にして、デコーダ28に対して復号タイミングを、データ表示部210に対して提示タイミングを指示する。
【0066】
アセット解析部26では、パケットIDからアセットタイプを識別し、アセット毎に復号バッファ27にデータを引き渡す。
デコーダ28では、復号・表示制御部25から通知されるMPUシーケンス番号「n」のMPU内の復号順序でk番目のAUの復号時刻「DT(n,k)」を基にして、復号バッファ27からMMTPペイロードを取得し、アセットタイプに従ってデコード処理を行った後、デコード済みのデータを表示バッファ29に送出する。
【0067】
データ表示部210では、復号・表示制御部25から通知されるMPUシーケンス番号「n」のMPU内の復号順序でk番目のAUの提示時刻「PT(n,k)」を基にして、表示バッファ29からデコード済みのデータを取得し、データの提示を行う。
【0068】
以上のように、第1実施形態に係るIP放送/中継システムSによれば、MPUタイムスタンプ記述子内の情報に基づいて復号時刻「DT(n,k)」を算出し、データ伝送時間の予測値「estimated_time」、及び調整値分の時間「α」を前倒ししてMMTPパケットを中継する。これにより、受信端末2においてMPUタイムスタンプ記述子の提示時刻「mpu_presentation_time(MPU提示時刻)」を修正せずにメディアを提示することが可能となる。
【0069】
[第2実施形態]
第1実施形態に係るIP放送/中継システムSでは、予め決められたデータ伝送時間の予測値「estimated_time」を使用して送出時刻「send_time(n,k)」を算出していた。第2実施形態では、実際の伝送時間を受信端末2から取得して、取得した実際の伝送時間に基づいて送出時刻「send_time(n,k)」を算出する。
【0070】
≪第2実施形態に係るIP放送/中継システムの構成について≫
図1に示すように、第2実施形態に係るIP放送/中継システムSaの全体構成は、第1実施形態と同様である。IP放送/中継システムSaは、ARIB−MMT放送送信装置Bと、IP放送/中継装置1aと、受信端末2aと、IPネットワーク3と、を備えて構成されている。
【0071】
<第2実施形態に係る「IP放送/中継装置」の構成>
図9を参照して、第2実施形態に係るIP放送/中継装置1aの構成について説明する。図9は、第2実施形態に係るIP放送/中継装置1aの構成図である。
IP放送/中継装置1aは、データ受信部11と、ヘッダ解析部12aと、伝送時間予測部13aと、MMT−SI解析部14と、送出制御部15aと、送出バッファ16と、データ送出部17と、を備えて構成されている。ここで、第1実施形態と同様な構成要素については、同一の符号を付して説明を省略する。
【0072】
ここで、伝送時間予測部13aは、「遅延時間情報生成部」の一例であり、「遅延時間情報生成部」の一例は、伝送時間予測部13aに限るものではない。
【0073】
ヘッダ解析部12aは、MMTPパケットのヘッダを解析し、ペイロードがMMT−SIの場合にMMTPパケットをMMT−SI解析部14に渡す。それ以外の場合には、ヘッダ解析部12aは、送出バッファ16にMMTPパケットを渡す。また、ヘッダ解析部12aは、MMTPパケットヘッダのMMTPパケットID、パケットシーケンス番号、及びタイムスタンプ値を伝送時間予測部13aに通知する。
【0074】
伝送時間予測部13aは、IPネットワーク3を介して受信端末2aと接続されており、受信端末2aからデータ伝送時間を取得する。また、未来のある時点での時刻「t」におけるデータ伝送時間を予測し、その予測値「estimated_time(t)」を送出制御部15aに通知する。
送出制御部15aは、MMT−SI解析部14から送られるMPU/AUの復号時刻「DT(n,k)」と、伝送時間予測部13aから送られるデータ伝送時間の予測値「estimated_time(t)」とを基にしてデータ送信のタイミングを決定し、データ送出部17に各AUの送出時刻を通知する。
【0075】
<第2実施形態に係る「受信端末」の構成>
図10を参照して、第2実施形態に係る受信端末2aの構成について説明する。図10は、第2実施形態に係る受信端末2aの構成図である。
受信端末2aは、データ受信部21aと、ヘッダ解析部22aと、伝送時間通知部23aと、MMT−SI解析部24と、復号・表示制御部25と、アセット解析部26と、復号バッファ27と、デコーダ28と、表示バッファ29と、データ表示部210と、を備えて構成されている。
【0076】
データ受信部21aで受信したMMTPパケットは、ヘッダ解析部22aに引き渡される。この際、MMTPパケットを受信した時刻も合わせてヘッダ解析部22aに通知する。
ヘッダ解析部22aは、受信した時刻とMMTPパケットヘッダのタイムスタンプ値とを伝送時間通知部23aに引き渡す。また、MMTPパケットのMMTPパケットIDからペイロードのタイプを判定し、MMT−SIの場合にはMMT−SI解析部24に、それ以外の場合にはアセット解析部26にMMTPパケットを送出する。
【0077】
伝送時間通知部23aは、MMTPパケットの伝送時間(「受信した時刻」−「MMTPパケットヘッダのタイムスタンプ値」)を、IPネットワーク3を介してIP放送/中継装置1aに通知する。
【0078】
≪第2実施形態に係るIP放送/中継システムの動作について≫
<第2実施形態に係る「IP放送/中継装置」の動作>
IP放送/中継装置1aの動作について説明する。ヘッダ解析部12aでは、MMTPパケットヘッダ中のパケットID、パケットシーケンス番号を取得する。MMTPパケットのペイロードがMMT−SIであればMMT−SI解析部14に、アセットであればMMTPパケットペイロード中のMPUシーケンス番号を取得後、送出バッファ16にMMTPパケットを引き渡す。また、ヘッダ解析部12aは、伝送時間予測部13aに対して、取得したパケットID、MMTPパケットシーケンス番号、MPUシーケンス番号を通知する。
【0079】
伝送時間予測部13aでは、データ伝送時間の予測を行う。伝送時間予測部13aで使用するデータ伝送時間の予測モデルは、予め用意されている必要がある。IPネットワーク3の特性、及びデータ伝送時のネットワーク負荷などがデータ伝送時間に影響するため、決まったモデルを適用することはできない。
IPネットワークにおいては、ネットワーク負荷やデータ転送ルートの変更など時系列の相関が強く現れる場合があるため、受信端末2aから通知される過去のデータ伝送時間を基にして、時系列データ分析で用いられる自己回帰モデル、移動平均モデル、或いはそれらの組み合わせなどのモデルを用いて、データ伝送時間を予測することを考える。これらのモデルを使用して求められる、未来のある時点での時刻「t」のデータ伝送予測時間を「estimated_time(t)」とする。
【0080】
送出制御部15aでは、MMTPパケットを送出するタイミングを決定する。送出制御部15aは、MMT−SI以外のMMTPパケットの場合に、MMTPペイロードヘッダのMPUシーケンス番号からMPUを特定する。未来のある時点での時刻「t」における、MPUシーケンス番号「n」のMPU内の復号順序でk番目のAUの送出時刻「send_time(n,k,t)」は、MMT−SI解析部14から取得した復号時刻「DT(n,k)」を基にして以下の式(4)により求められる値に設定する。
【0081】
【数4】
【0082】
ここで、「α」は処理遅延やデータ伝送時のジッタを考慮した調整値であり、例えば受信端末2aのバッファサイズなどにより決定する値である。送信側では、例えば「α」を受信端末2aの推奨スペックとして予め受信側に周知しておくのがよい。
なお、複数のAUにおいて復号時刻が重なる場合、データ送出のバースト性を考慮して前記式(4)で計算した時刻よりも前にデータ送出する制御も可能である。
【0083】
また、送出制御部15aは、MMT−SIのMMTPパケットの場合に、MMT−SIのMMTPパケットを送出するタイミングを、例えば、次のように決定する。
ここで、MMT−SIのMMTPパケットは、図2(d)に示されるMMTPパケットであるものとする。
またここで、MMT−SIのMMTPパケットの後のMMTPパケットは、例えばMPU[図2(a)]において先頭に配置されるMFUのAU[図2(b)]に対応するAUのMMTPパケットであるものとする。
送出制御部15aは、MMT−SIのMMTPパケットを送出するタイミングを決定する際、前記AUの先頭をペイロードに含むMMTPパケットのヘッダに付与されていたタイムスタンプ値と、MMT−SIのMMTPパケットヘッダに付与されていたタイムスタンプ値の差分を、式(4)により求められる当該AUの送出時刻から引いた時刻までにデータ送出を行うこととする。
なお、送出制御部15aは、MMT−SIのMMTPパケットの送出する前に、MMT−SIのMMTPパケットの送出時刻における、前回送出した送出時刻と今回送出する送出時刻との時間差を監視する。
ここで、ARIB−MMT放送送信装置BのSI送出運用規定に従った再送周期を実現するため、各テーブル毎の再送周期を越える当該時間差となった場合に、MMT−SIのMMTPパケットの送出する送出時刻を、前回送出した送出時刻から再送周期を加算した時刻に修正する。
送出制御部15aは、修正された送出時刻に、当該MMT−SIのMMTPパケットを送出する。
【0084】
図11は、IP放送/中継装置1aが放送波を受信してから、受信端末2aがデータを提示するまでの、データ送受信時刻と復号、表示時刻までを時系列で表現したものである。
IP放送/中継装置1aが放送波を受信してからIPネットワーク3に対してデータを送出するまでは、IP放送/中継装置1aにデータが存在し、IP放送/中継装置1aのデータ送出後から受信端末2aがデータを受け取るまでは、IPネットワーク3にデータが存在する。
【0085】
図11のCase(1)〜Case(3)は、伝送時間予測部13aにおける伝送時間予測値「estimated_time(t)」が異なることにより、IP放送/中継装置1aにおけるデータ送出時刻が前後することを示している。また、伝送時間予測値「estimated_time(t)」、及び調整値「α」により、復号時刻「DT(n,k)」までに受信端末2aにおける復号が可能となるように調整することを示している。
【0086】
<第2実施形態に係る「受信端末」の動作>
続いて、受信端末2aの動作について説明する。データ受信部21aは、MMTPパケットを受信して、受信したMMTPパケットをヘッダ解析部22aに引き渡す。この際、データ受信部21aは、MMTPパケットを受信したパケット受信時刻も合わせてヘッダ解析部22aに通知する。
【0087】
ヘッダ解析部22aでは、MMTPパケットのペイロードがMMT−SIであればMMT−SI解析部24に、アセットであればアセット解析部26にMMTPパケットを引き渡す。また、ヘッダ解析部22では、MMTPパケットのペイロードがアセットであれば、MMTPパケットヘッダ中のパケットID、タイムスタンプ値、MMTPパケットシーケンス番号、MMTPペイロード中のMPUシーケンス番号、データ分割状態を取得し、取得したパケットID、タイムスタンプ値、MPUシーケンス番号をアセット解析部26に引き渡す。ヘッダ解析部22では、AUのMMTPパケットを含む場合、データ受信部21aから通知されたパケット受信時刻とタイムスタンプ値からデータ伝送時間を算出し、算出した伝送時間を伝送時間通知部23aに通知する。
【0088】
伝送時間通知部23aでは、ヘッダ解析部22aから通知されたデータ(パケットID、MMTPパケットシーケンス番号、データ伝送時間)を、IPネットワーク3を介してIP放送/中継装置1aにフィードバックする。
なお、MMT−SI解析部24、復号・表示制御部25、アセット解析部26、復号バッファ27、デコーダ28、表示バッファ29、データ表示部210は、第1実施形態と同様な構成要素なので、説明を省略する。
【0089】
以上のように、第2実施形態に係るIP放送/中継システムSaによれば、IP放送/中継装置1aにおけるMMTPパケット送出において、データ伝送時間を時系列で予測することにより、IPネットワーク3の状態を加味した動作を行うことが可能となる。
【0090】
[第3実施形態]
第1実施形態および第2実施形態に係るIP放送/中継システムS,Saでは、IP放送/中継装置1,1aおよび受信端末2,2aがIPネットワーク3に接続されている場合を想定していた。第3実施形態では、IP放送/中継装置1,1aと受信端末2,2aとが異なるコンテンツデリバリネットワーク(CDN)を介して接続されている場合を想定する。
【0091】
≪第3実施形態に係るIP放送/中継システムの構成について≫
図12を参照して、第3実施形態に係るIP放送/中継システムSbの構成について説明する。図12は、第3実施形態に係るIP放送/中継システムSbの構成図である。
【0092】
IP放送/中継システムSbは、ARIB−MMT放送送信装置B(図示せず)と、IP放送/中継装置1bと、複数の受信端末2a−1,2a−2,・・2a−Nと、複数のCDN3−1,3−2,・・3−Nと、IPネットワーク(図示せず)と、を備えて構成されている。
IP放送/中継装置1bは、CDN3−1〜CDN3−NおよびIPネットワーク(図示せず)で接続されており、例えば受信端末2a−1はCDN3−1、受信端末2a−2はCDN3−2、・・・受信端末2a−NはCDN3−NおよびIPネットワークで接続されている。
【0093】
ここで、受信端末2a−1,2a−2,・・2a−Nは、「第2通信装置」の一例であり、「第2通信装置」の一例は、受信端末2a−1,2a−2,・・2a−Nに限るものではない。また、受信端末2a−1,2a−2,・・2a−Nの構成は、第2実施例の受信端末2aの構成と同じ構成である。
【0094】
<第3実施形態に係る「IP放送/中継装置」の構成>
図13を参照して、第3実施形態に係るIP放送/中継装置1bの構成について説明する。図13は、第3実施形態に係るIP放送/中継装置1bの構成図である。
IP放送/中継装置1bは、データ受信部11と、ヘッダ解析部12bと、伝送時間予測部13a−1〜13a−Nと、MMT−SI解析部14−1〜14−Nと、送出制御部15a−1〜15a−Nと、送出バッファ16−1〜16−Nと、データ送出部17−1〜17−Nと、を備えて構成されている。ここで、第2実施形態と同様な構成要素については、同一の符号を付して説明を省略する。
【0095】
ここで、送出制御部15a−1〜15a−Nは、「第4時刻情報算出部」の一例であり、「第4時刻情報算出部」の一例は、送出制御部15a−1〜15a−Nに限るものではない。
また、データ送出部17−1〜17−Nは、「第2出力部」の一例であり、「第2出力部」の一例は、データ送出部17−1〜17−Nに限るものではない。
また、伝送時間予測部13a−1〜13a−Nは、「遅延時間情報生成部」の一例であり、「遅延時間情報生成部」の一例は、伝送時間予測部13a−1〜13a−Nに限るものではない。
【0096】
ヘッダ解析部12bは、MMTPパケットのヘッダを解析し、ペイロードがMMT−SIの場合にMMTPパケットをMMT−SI解析部14−1〜14−Nに渡す。それ以外の場合には、送出バッファ16−1〜16−NにMMTPパケットを渡す。また、ヘッダ解析部12bは、MMTPパケットヘッダのMMTPパケットID、MMTPパケットシーケンス番号、及びタイムスタンプ値を伝送時間予測部13a−1に通知する。
【0097】
伝送時間予測部13a−I(I=1〜N)、MMT−SI解析部14−I、送出制御部15a−I、送出バッファ16−I、データ送出部17−I、受信端末2a−I、CDN3−Iは、「I=1〜N」ごとに同様の構成をとるため、「I=1」の構成のみの説明に留める。
【0098】
伝送時間予測部13a−1は、CDN3−1を介して受信端末2a−1と接続されており、受信端末2a−1からデータ伝送時間を受信する。過去のデータ伝送時間を基にして将来の伝送時間を予測し、その予測値「estimated_time(#1,t)」を送出制御部15a−1に通知する。
【0099】
送出制御部15a−1は、MMT−SI解析部14−1から送られるMPU/AUの復号時刻「DT(n,k)」であり、「I=1」に関わるMPU/AUの復号時刻と、伝送時間予測部13a−1から送られる伝送時間予測値であり、「I=1」に関わる伝送時間予測値「estimated_time(#1,t)」を基にしてデータ送信のタイミングを決定し、データ送出部17−1に各AUの送出時刻を通知する。
【0100】
データ送出部17−1は、CDN3−1と接続されており、送出制御部15a−1から通知された送出時刻に、MMTPパケットを受信端末2a−1に対して送出する。
【0101】
≪第3実施形態に係るIP放送/中継システムの動作について≫
第3の実施形態の動作は、第2の実施形態の動作において、伝送時間予測部13aを伝送時間予測部13a−1〜13a−N、MMT−SI解析部14をMMT−SI解析部14−1〜14−N、送出制御部15aを送出制御部15a−1〜15a−N、送出バッファ16を送出バッファ16−1〜16−N、データ送出部17をデータ送出部17−1〜17−N、受信端末2aを受信端末2a−1〜2a−N、IPネットワーク3をCDN3−1〜3−Nとした場合の動作と同じである。
【0102】
図14は、IP放送/中継装置1bが放送波を受信してから、受信端末2a−1〜2a−Nがデータを提示するまでのデータ送受信時刻と復号・表示時刻までを時系列で表現したものである。
IP放送/中継装置1bが放送波を受信してからCDN3−1〜3−Nに対してデータを送出するまではIP放送/中継装置1bにデータが存在し、IP放送/中継装置1bのデータ送出後から受信端末2a−1〜2a−Nがデータを受け取るまではCDN3−1〜3−Nにデータが存在する。
【0103】
図14の符号#1〜#Nは、CDN3−1/受信端末2a−1〜CDN3−N/受信端末2a―NのIP伝送系を示している。
未来のある時点での時刻「t」において、伝送時間予測部13a−Iにおけるデータ伝送時間予測値「estimated_time(#I,t)」は、CDN3−Iの状態により異なるため、IP放送/中継装置1bからCDN3−1〜3−Nにデータ送出する時刻はCDN毎に異なっている。一方、受信端末2a−Iにおいては、MPUシーケンス番号が「n」でMPU内の復号時刻順でk番目のAUの提示時刻「PT(n,k)」がIP伝送系に依存していないため、異なるCDNに接続された受信端末2a−1〜2a−Nにおいて、メディアの提示時刻を同期することができる。
【0104】
以上のように、第3実施形態に係るIP放送/中継システムSbによれば、伝送時間予測部13a−1〜13a−Nにおけるデータ伝送時間の予測をCDN毎に行うため、各CDNのネットワーク特性・状況に応じたMMTPパケットの中継が可能である。
また、MPテーブル内のMPUタイムスタンプ記述子、MPU拡張タイムスタンプ記述子は変更していないため、受信端末2a−1〜2a−Nにおいてメディアの提示時刻を同期することができる。
【0105】
[変形例]
以上、本発明の実施形態について説明したが、本発明はこれに限定されるものではなく、特許請求の範囲の趣旨を変えない範囲で実施することができる。実施形態の変形例を以下に示す。
【0106】
第1〜第3実施形態では、IP放送/中継装置1,1a,1bの入力として、ARIB−MMT規格で規定される放送波としているが、MMT−SIと同等の時刻情報を保持した蓄積形式のファイルを入力としても良い。
【0107】
例えば、「ISO/IEC 23008-1」にある「ISOBMFF-based MPU」形式でMMTヒントトラックを含むファイル、及び「PresentationInformation(例えば、ISO/IEC 23008-11 MMT CompositionInformation)」を入力とした場合、「PresentationInformation」により指定された各MPUの提示時刻とMMTヒントトラックから各MPU/AUの復号時刻、提示時刻の算出が可能である。そのため、これらの情報をIP放送/中継装置1,1a,1bの入力として適用可能である。
【0108】
ただし、IP放送/中継装置1,1a,1bのデータ受信部11、ヘッダ解析部12,12a,12b、及びMMT−SI解析部14,14−1〜14−Nでは、「ISOBMFF-based MPU」形式の「box」、及び「PresentationInformation」の解析を行い、各MPU/AUの復号時刻、提示時刻の算出を行うと共に、ARIB−MMTのMMT−SI運用に従ったMMT−SIのMMTPパケットの生成、送出を行う必要がある。
【0109】
ここで、変形例でのデータ受信部11は、「第2入力部」の一例であり、「第2入力部」の一例は、データ受信部11に限るものではない。
また、変形例でのMMT−SI解析部14,14−1〜14−Nは、「第2取得部」の一例であり、「第2取得部」の一例は、MMT−SI解析部14,14−1〜14−Nに限るものではない。
【符号の説明】
【0110】
1,1a,1b IP放送/中継装置
2,2a,2a−1〜2a−N 受信端末
11 データ受信部
12,12a,12b ヘッダ解析部
13a,13a−1〜13a−N 伝送時間予測部
14,14−1〜14−N MMT−SI解析部
15,15a,15a−1〜15a−N 送出制御部
16,16−1〜16−N 送出バッファ
17,17−1〜17−N データ送出部
21,21a データ受信部
22,22a ヘッダ解析部
23a 伝送時間通知部
24 MMT−SI解析部
25 復号・表示制御部
26 アセット解析部
27 復号バッファ
28 デコーダ
29 表示バッファ
210 データ表示部
S,Sa,SB IP放送/中継システム
B ARIB−MMT放送送信装置
CDN 3−1〜3−N
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14