【文献】
青木 秀一, 外2名,MMTを用いた放送・通信ハイブリッド配信の検討,第75回(平成25年)全国大会講演論文集(3),一般社団法人情報処理学会,2013年 3月 6日,pp. 3-25 - 3-26
(58)【調査した分野】(Int.Cl.,DB名)
前記パケット構成部により構成されたパケットに格納されたデータの重要度又は振り分けられる伝送路の性質に応じてFEC処理を行うFEC処理部を有することを特徴とする請求項5又は6に記載の送信装置。
【発明を実施するための形態】
【0013】
本実施形態では、例えば符号化器等で生成されたTS方式のストリームや既にハードディスク等の記憶部に蓄積されたTS方式のストリームデータを、MMT方式のIPフローに多重化し、IP伝送路上での伝送を可能とする多重化方式の変換手法と、上述した実施形態を適用した送信装置及び受信装置について説明する。
【0014】
<TSとMMTの概要について>
まず、TSとMMTの概要について説明する。
図1は、レガシーメディア活用を考慮したMMTサービスのレイヤモデルの一例を示す図である。
【0015】
例えば、放送及び通信を連携させたハイブリッドなコンテンツ配信サービス(MMTサービス)等では、
図1に示すように「放送、通信」、「TLV(Type Length Value)」、「IP」、「MMT、ファイル伝送」、「TLV−SI、IP−SI、MMT−SI」、「映像HEVC(High Efficiency Video Coding)、音声AAC(Advanced Audio Coding)、データ、字幕、レガシーメディア(TS)、アプリ/EPG(Electronic Program Guide)、コンテンツダウンロード」等が、各レイヤに存在している。
【0016】
なお、
図1に示すTLVとは、例えばデジタル放送等の高度化においてIPパケットを効率的に多重する多重化方式である。また、TLV−SIは、IPパケットの多重に関する伝送制御信号であり、例えば選局のための情報やIPアドレスとサービスの対応情報である。また、IP−SIは、IPパケットに関する伝送制御信号である。また、MMI−SIは、放送番組の構成等を示す伝送制御信号である。MMI−SIは、MMTの制御メッセージの形式とし、MMTPペイロードに乗せてMMTPパケット化し、IPパケットで伝送する。
【0017】
MMTでは、
図1の例に示すようにTSと同等の多重化機能を有すると共に、IP伝送を前提に設計されている。そのため、これまで「TS over IP」が用いられてきたアプリケーションにおいてMMTの採用が進むと考えられる。しかしながら、TS形式で蓄積されたコンテンツ資産やTS信号を入出力とする符号化器や復号器等の映像処理装置が数多く流通している現状を見ると、
図1に示すようなレガシーメディアとしてのTSが今後も共存していく可能性が高い。このような状況下では、MMTを用いた次世代放送サービスにおいて、これらのレガシーメディアをサービスの一部としてどのように活用するかが課題の一つとなっている。
【0018】
本実施形態では、ハイブリッド伝送等のMMTの特徴を活用可能なTS形式コンテンツの多重方式である「TS over MMT」を用いて、上述したような次世代放送サービスにおけるレガシーメディアの活用を実現する。
【0019】
ここで、「TS over IP」、「HTTP(HyperText Transfer Protocol)ストリーミングにおけるTSの利用」、及び「MMTによって実現されるハイブリッド伝送」の概要について説明する。
【0020】
<「TS over IP」について>
TSは、当初はATM伝送路をターゲットに設計されたが、現在ではIP伝送路を用いた「TS over IP」がより一般的である。「TS over IP」では、アプリケーション層のプロトコルとしてRTPが標準的に用いられる。RTPパケットに対するTSパケットのカプセル化は、例えば「IETF RFC 2250」に規定されており、この内容を参照する形で幾つかの標準規格が策定されている。なお、素材伝送規格としては、例えば「SMPTE 2022−2」があり、IPTV規格としては、例えば「DVB−IPTV」や「IPTVFJ STD−0004」等がある。
【0021】
<TSパケットのカプセル化と誤り訂正について>
次に、「TS over IP」におけるTSパケットのカプセル化と誤り訂正の概要について説明する。
図2は、RTPパケットに対するTSパケットのカプセル化の一例を示す図である。なお、
図2において、Vはビデオ(Video)データを示し、Aはオーディオ(Audio)データを示している。PAT(Program Association Table)は、あるTS内に含まれるプログラム一覧をPMT(Program Map Table)のPID(パケット識別子)一覧で格納した情報である。また、PMT(Program Map Table)は、あるプログラムに含まれる画像や音声等の各PIDを格納した情報である。また、PCR(Program Clock Reference)は、送信装置と受信装置との時刻同期を行う際の基準となるクロックである。また、PCRは、符号化した時の基準時間を復号側のSTC(System Time Clock)で再現するための情報である。
【0022】
図2の例に示すように、IP伝送路のMTU(Maximum Transmission Unit)に収まるようにTSパケット列を単純分割して順次IPパケットに格納する。例えば、物理層にイーサネット(登録商標)が用いられる場合、MTUは1500バイトが標準であり、最大7個のTSパケットを1個のRTPパケットに格納することができる。
図2に示すように、RTPパケットのヘッダ部には、シーケンスナンバー(Sequence_Number)が付与され、受信したパケットのリオーダーやパケットロスの検出に利用できる。
【0023】
ここで、「RFC 2250」には規定されないが、伝送データの削減を目的に有効なデータを持たないヌル(Null)TSパケットを送信側で削除する実装もある。この場合には、受信側で受信したデータを元通りのTS信号として再生させるために、
図2に示すように全てのTSパケットにSTCに基づく32ビットのタイムスタンプ(Timestamp)が付与される。
【0024】
また、ネットワークにおける伝送路の性質と必要なサービス品質に応じて、誤り訂正が実装される。この場合には、伝送路上でロスしたパケットの復元を可能とするAL−FEC(Application Layer−Forward Error Correction)アルゴリズムとして「Pro−MPEG CoP3r2」に規定される方式が多く採用されている。「Pro−MPEG FEC」では、複数RTPパケットの排他的論理和によってリペアパケットが生成される。
【0025】
また、ネットワークが双方向伝送路の場合には、RTCP(RTP Control Protocol)によるパケットロス通知を用いることで、FECで復元不可能となったパケットの再送を行うARQ(Automatic Repeat reQuest)の実装が可能である。
【0026】
IP伝送に適した多重化方式が存在しない中、既存方式を組み合わせて実装と普及が進んだ経緯から、多重機能はTSが担い、伝送機能はRTPが担う形で役割が明確に分かれている。1個のRTPパケット内に複数のコンポーネントや制御情報が混在しているため、伝送機能からはTS信号内におけるGOP(Group of Picture)やアクセスユニットの切れ目の位置を認識できない。
【0027】
「TS over IP」は、伝送とコンテンツを分離したいアプリケーションにおいては有効なソリューションであるが、次世代放送サービスで求められるハイブリッド伝送等の実現においては機能的な限界がある。したがって、MMTを用いた次世代放送サービスにおいて、今後、上述したレガシーメディアとなるTSを活用するためには、「TS over IP」に代わる新たな伝送方式の実現が課題となる。
【0028】
<HTTPストリーミングにおけるTSの利用について>
次に、HTTPストリーミングにおけるTSの利用について説明する。近年では、HTTPを用いた映像コンテンツのストリーミング配信が注目されている。例えば、HLS(HTTP Live Streaming)やSmooth Streaming等のベンダー規格が先行し,それらの技術を持ち寄る形でMPEG−DASH(Dynamic Adaptive Streaming over HTTP)が策定された。
【0029】
これらの方式では、数秒単位に分割したストリームファイルであるセグメントをWebサーバ上に置き、受信装置はプレイリストに記述されたURL(Uniform Resource Locator)を参照して、これら連続的に取得し再生する。HLSでは、ストリーム形式としてTSを採用しており、MPEG−DASHでもTSを対象とするプロファイルを規定している。
【0030】
セグメント化されたTSは、初期化情報として必要なTS制御情報とランダムアクセスポイントのアクセスユニットを先頭に持つため、任意のセグメントからの再生開始が可能である。放送システム等のストリーミング配信で利用する符号化器は、これらの規則に従ったストリームファイルを出力するように実装されている必要がある。
【0031】
<MMTによるハイブリッド伝送について>
MMTの最大の特徴は、例えば映像,音声,字幕,データ等の多様なアセット(例えば、映像や音声等のコンポーネント)を複数の伝送路を用いて伝送するハイブリッド伝送にある。ハイブリッド伝送の機能要素としては、例えば、(1)アセット単位での伝送路割り当て、(2)シームレスな伝送路切り替え、(3)UTC(Coordinated Universal Time)時刻に同期したメディアプレゼンテーション、(4)アセットの表示レイアウト指定、(5)アセットの重要度に応じた誤り訂正である。
【0032】
上述の(1)では、MMTパケットID(識別情報)によってアセットや制御情報のフローを分離でき、MMT多重装置でMMTパケットIDに基づいたルーティングが行われる。また、上述の(2)では、伝送路の状態に応じた動的な伝送路切り替えの要求に対し、ランダムアクセスポイントの位置を考慮したシームレスな伝送路切り替えを実現できる。例えば、あるアセットの伝送路を放送から通信に切り替えるという送信側の操作に加え、同種のアセットについて放送伝送される高階層アセットから通信伝送される低階層アセットへ切り替えるという受信側の操作がある。
【0033】
また、(3)では、UTC形式で統一されたプレゼンテーションタイムスタンプが付与されることで、異なるMMT多重装置から送出されたアセット間や、異なる受信機間においても正確に同期したメディアプレゼンテーションが可能である。また、(4)では、レイアウト設定テーブルとMPU提示領域指定記述子の伝送により、メインディスプレイとセカンドディスプレイ上におけるアセットの提示位置を指定することができる。
【0034】
また、(5)では、MMTに規定されるAL−FECフレームワークでは、アセットの重要度や割り当てられた伝送路の性質に応じて、適用するFECアルゴリズムやそのパラメータを設定することができる。
【0035】
<「TS over MMT」について>
次に、本実施形態における「TS over MMT」の一例について図を用いて説明する。
図3は、「TS over MMT」を用いた放送システムの一例を示す図である。
図3の例に示す放送システム10は、ストリーム多重化における送信装置の一例としてのMMT多重装置11と、受信装置の一例としての受信機12とを有し、MMT多重装置11と、受信機12とは、放送電波やインターネット等の通信ネットワーク等に代表されるネットワーク13によりデータの送信又は送受信が可能な状態で接続されている。ネットワーク13は、1又は複数の伝送路を有する。
【0036】
図3に示す放送システム10は、SHV(スーパーハイビジョン)放送として、例えば8K映像、22.2ch音声、低階層映像、解説音声、字幕、データ等のMMTネイティブなアセットをMMT多重装置11で多重して伝送する。これらの情報は、例えば
図3に示すようなSHV受信機12−1等で出力される。SHV受信機12−1としては、例えば、スーパーハイビジョンテレビ等があるが、これに限定されるものではなく、例えば受信機能のみを有する装置であってもよく、復号処理や表示処理等を行う機能を有する装置であってもよい。
【0037】
更に、放送システム10において、MMT多重装置11は、付加サービスとして2K映像、5.1ch音声、字幕等のTS形式で多重されて供給されるTSコンポーネントをMMTに多重して伝送する。つまり、MMT多重装置11は、入力されたTSコンポーネントに対し、TSからMMTへのデータの変換を行う変換装置としての機能を有する。このような、付加サービスの情報は、例えば
図3に示すような受信装置の一例であるセカンドスクリーン(セカンドディスプレイ)12−2等で出力される。セカンドスクリーン12−2としては、例えばタブレット端末やスマートフォン等の情報通信端末等があるが、これに限定されるものではない。
【0038】
MMT標準規格では、TS等のレガシーメディアの伝送方法について規定されていない。そのため、本実施形態では、例えば
図3に示すMMT多重装置11等に、TSパケットのカプセル化とシグナリングとを新たに規定する必要がある。
【0039】
「TS over MMT」によって多重されるTSコンポーネントについてもハイブリッド伝送を始めとしたMMTの特徴を活用可能とするため、MMT多重装置11でのルーティングや誤り訂正の適用においてMMTネイティブアセットと区別なく扱うことができるようなTSパケットのカプセル化とシグナリングを採用する。
【0040】
<MMT多重装置11及び受信機12の機能構成例>
次に、上述した放送システム10における送信装置の一例であるMMT多重装置11及び受信装置の一例である受信機12の各機能構成例について、図を用いて説明する。
【0041】
<送信装置の一例>
図4は、MMT多重装置の機能構成例を示す図である。なお、
図4に示すMMT多重装置11は、一例として、入力したTSをMMTに変換してMMT多重を行う機能を有する構成について説明するが、これに限定されるものではない。例えば、上述した
図3に示すように、MMTネイティブアセットのデータ入力に対しても既存の多重方式を用いてMMT多重を行うこともできる。
【0042】
図4に示すMMT多重装置11は、TS信号入力部101と、TSパケット解析・分離部102と、制御情報バッファ103と、STC再生部104と、PES(Packetized Elementary Stream)バッファ105と、ランダムアクセスポイント判定部106と、MMTP(MMT Protocol)パケット構成部107と、FEC処理部108と、MMT信号出力部109と、UTC時計110と、MPUタイムスタンプ生成部111とを有する。
【0043】
TS信号入力部101は、図示しない符号化器から出力されるTS方式のストリームや予め記録装置に記録されたTSファイルから読み出されたTS方式のストリームデータを入力する。これらのデータは、映像や音声等の符号データを多重化したTS信号である。なお、MMT多重装置11は符号化されていない映像音声等を入力とし、内部に映像や音声等を符号化し、TS信号を出力する符号化部(符号化器)が設けられていてもよい。
【0044】
TS信号入力部101のインタフェースとしては、例えばDVB−ASI等の同軸シリアル通信、IEEE1394通信、USB(Universal Serial Bus)通信、イーサネット通信、無線LAN(Local Area Network)通信等であるが、これに限定されるものではない。
【0045】
TSパケット解析・分離部102は、TS信号入力部101により得られるTS信号のパケットを解析し、TS信号に多重化されたコンポーネントや制御情報の識別と分離を行う。例えば、TSパケット解析・分離部102は、PATやPMT等のTS制御情報を解析すると共に、それらのTSパケット列を制御情報バッファ103に格納する。また、TSパケット解析・分離部102は、例えばTSパケットのヘッダにある「payload_unit_start_indicator」を解析して、PESの開始点を判定し、TSパケット列をPESバッファ105に格納する。
【0046】
また、TSパケット解析・分離部102は、PCRを参照して、STC再生部104で再生されるSTCの情報を補正する。STC再生部104は、例えば27MHzのクロックで自走しているが、上述したようにTS信号内のPCRによって補正することもできる。
【0047】
ランダムアクセスポイント判定部106は、TS信号のコンポーネントのPESの先頭の情報に含まれるピクチャ種別からランダムアクセスポイントを判定し、判定結果に対応するMPU番号及びMFU番号を付与する。例えば、ランダムアクセスポイント判定部106は、PESの冒頭に格納されているメディア符号データのヘッダ情報の一部を解析することで、MPEG−2のIピクチャやH.264のIDRピクチャ等といったランダムアクセスポイントのPESであるか否かを判定する。
【0048】
MPU番号及びMFU番号は、変数である。ランダムアクセスポイント判定部106がPESバッファ105に格納中のPESがランダムアクセスポイントのPESであると判定した場合には、MPU番号(例えば、MMT規格上ではMMTP payloadヘッダに記述されるMPU_sequence_number等)をカウントアップ(加算)し、MFU番号(例えば、MMT規格上ではMMTP payloadヘッダに記述されるsample_number等)をMPU先頭であることを示す値(例えば、0)にリセットする。
【0049】
また、ランダムアクセスポイント以外のPESの場合には、MFU番号のみをカウントアップする。なお、PESバッファ105及びMPU番号、MFU番号は、例えばTSのコンポーネント毎に独立して存在する。
【0050】
MMTPパケット構成部(パケット構成部)107は、TS信号に多重化されたコンポーネントと、MMT情報とを用いて1又は複数の伝送路に振り分け可能なパケットを構成する。
【0051】
また、MMTPパケット構成部107は、TSコンポーネントに対応するTSパケット識別情報(例えば、TSパケットID)とMMTパケット識別情報(例えば、MMTパケットID)とを関連付け、TSパケット列を格納したMMTPパケットを生成する。なお、生成されるパケットは、TS信号に多重化されたコンポーネントを複数伝送路に振り分け可能なパケットであることが好ましいが、これに限定されるものではない。また、MMTPパケット構成部107は、上述した関連付けのリスト情報を伝送するため、例えばTSコンポーネントリスト記述子をMMTの例えばエントリポイントの制御情報パケットに記述して伝送してもよい。また、MMTPパケット構成部107は、例えばMMT信号に含まれるgeneral_location_infoにTSパケット識別情報と前記MMTパケット識別情報との対応を記述するが、これに限定されるものではない。
【0052】
例えば、MMTPパケット構成部107は、ランダムアクセスポイント判定部106でランダムアクセスポイントと判定されると、制御情報バッファ103内のPAT、PMT、及びSTC再生部104の値を参照して生成したPCRからなるTSパケット列をMPU先頭のMFUとしてMMTPパケットを生成する。つまり、MMTPパケット構成部107は、MPUの先頭のMFUにTSの制御情報(例えばPAT、PMT等)を格納することで、MPUの独立性を持たせることができる。MPU先頭のMFUは、制御情報のみとしてもよいが、例えば制御信号と共にIピクチャ等、ランダムアクセスポイントのPESを格納してもよい。
【0053】
また、MMTPパケット構成部107は、新しいPESが開始したことをトリガとして、PESバッファ105内のTSパケット列を読み出してMMTPパケットに格納する。MMTPパケットには、TSのコンポーネント毎に異なるMMTパケットID(識別情報)を付与する。
【0054】
また、各MFUの先頭TSパケットには、例えばSTC再生部104のサンプル値の下位4バイトをタイムスタンプとして付与する。なお、全てのTSパケットに同様のタイムスタンプとして付与してもよい。MFUのサイズが伝送路のMTUサイズよりも大きくなる場合には、複数のMMTPパケットにフラグメントしてもよい。また、MMTPパケット構成部107は、MMTの制御信号を生成してもよい。例えば、MMTPパケット構成部107は、TSのコンポーネントのPESをMMTのMFU(例えば、MMT規格上のsample又はaccess unit)に対応付けてMMTPをパケット化する。ただし、伝送路のMTUサイズの制限からPESと1対1に対応するMFUを1つのMMTPパケットに格納できない場合には、複数のMMTPパケットにフラグメントされるが、この場合のフラグメントされたデータを更にMFUと呼んでもよい。
【0055】
FEC処理部108は、生成されたMMTPパケットのパケットロスやビット誤りを訂正するための符号(FEC符号)を生成し、生成したFEC符号を格納するMMTPパケットを構成する。
【0056】
なお、MMTPパケットが格納している符号データの種類(コンポーネント種別等)が既知であるため、その重要度に応じたFEC処理が可能である。したがって、FEC処理部108は、MFU等に対応して設定された重要度に応じて上述したFEC処理を行う。
【0057】
MMT信号出力部109では、生成されたMMTPパケットを1つの伝送路(例えば、伝送路1)のみ、又は、複数の伝送路(例えば、伝送路1及び伝送路2)へ出力する。例えば、MMT信号出力部109は、MMTパケットID毎に伝送路1と伝送路2のどちらか一方又は両方に出力してもよい。なお、出力先伝送路の数は、2系統に限定されるものではない。
【0058】
MMT信号出力部109のインタフェースは、一般にイーサネット通信であるが、インタフェースは限定しない。本実施形態では、出力先伝送路の系統数と同様、出力インタフェースの系統数は問わない。
【0059】
ここで、本実施形態では、MMTネイティブなアセットとTSコンポーネントを同期提示する要求がある場合がある。そこで、MMTでは、映像音声等のメディアの提示時刻をMPUタイムスタンプ記述子に記述し、制御信号のMMTPパケットに格納して伝送してもよい。このように、MPUの提示時刻を伝送する必要がある場合には、MMT多重装置11は、
図4に示すようにUTC時計110とMPUタイムスタンプ生成部111とを有する構成にすることが好ましい。
【0060】
UTC時計110は、UTC時刻情報を保持する時計であり、外部から与えられるUTC時刻校正信号に同期する。例えば、UTC時刻校正信号は、NTP(Network Time Protocol)やPTP(Precision Time Protocol)によるネットワーク配信やGPS(Global Positioning System)電波、JJY(登録商標)標準電波等が考えられるが、これに限定されるものではない。
【0061】
MPUタイムスタンプ生成部(タイムスタンプ生成部)111は、STC再生部104とUTC時計110とを参照し、PESバッファ105に格納されたPESヘッダ部のPTSをUTC時刻に変換し、MPUタイムスタンプを生成する。なお、MPUタイムスタンプ生成部111は、例えば提示時刻をSTC時刻からUTC時刻に変換する際には、外部から設定されるオフセット調整値や変換処理等の遅延を加算してもよい。
【0062】
MPUタイムスタンプ生成部111で生成されたMPUタイムスタンプは、MMTPパケット構成部107に出力される。MMTPパケット構成部107は、構成する制御信号パケット内のMPUタイムスタンプ記述子に記述し、MPU先頭のアクセスユニットのPESを格納するMMTPパケットよりも前に出力する。
【0063】
MPUタイムスタンプ記述子では、MPU番号と提示時刻の対応がリスト形式で記述される。MPUの提示時刻情報では、MPU先頭アクセスユニットの提示時刻をUTC(世界協定時刻)の時間軸上で表す。一方、TSでは、PES単位でSTCの時間軸上での提示時刻が与えられ、PESヘッダにPTS(Presentation Time Stamp)として記述される。本実施形態においては、MPU先頭のPESのPESヘッダに記述されたPTSをUTC時刻に変換して、MPUタイムスタンプ記述子に記述してもよい。
【0064】
また、STCからUTCへの変換については、TSのPCRを参照して再生されるSTCとUTCの差分をオフセット調整値として用いてもよい。このオフセットには、本発明の変換処理による処理遅延や他の信号源のメディアとの同期を考慮した調整値を別途加算してもよい。MPUタイムスタンプ記述子を格納した制御信号パケットは、MPU先頭のメディアデータの前に送出する。
【0065】
なお、MMT多重装置11は、MPUの提示時刻を伝送する必要がない場合、UTC時計110とMPUタイムスタンプ生成部111とを有しない構成にしてもよい。
【0066】
<ランダムアクセスポイント判定部106における処理の具体例>
ここで、上述したランダムアクセスポイント判定部106におけるPESの判定例について具体的に説明する。例えば、TSパケットの映像符号化方式がMPEG−2の場合には、PES先頭のピクチャヘッダを参照することで、IピクチャのPESであること判定できる。また、映像符号化方式がH.264の場合には、PES先頭のVCL(Video Codec Layer)−NAL(Network Abstraction Layer)ユニットのNALユニットタイプを参照することで、IDRピクチャのPESであることを判定できる。
【0067】
ランダムアクセスポイント判定部106は、例えばMPEG−2のIピクチャ、H.264のIDRピクチャ等のメディア符号データのランダムアクセスポイントを判定し、上述したようにMPUを構成する。具体的には、MPU番号(MMT規格上では「MMTP payloadヘッダ」に記述されるMPU_sequence_number)を加算するだけであり、MPU全体をバッファするような必要はない。すなわち、PES単位でTSパケット列をバッファし、次のPESが開始したところでMFU番号(MMT規格上ではMMTP payload ヘッダに記述されるsample_number)をカウントアップし、逐次MMTPパケットを構成して出力すればよい。
【0068】
また、ランダムアクセスポイント判定部106は、音声符号化方式がMPEG−2 AACの場合、符号化された音声フレームはADTS(Audio Data Transport Stream)パケットとしてTSパケットに格納される。1つのPESには1又は複数のADTSが格納されている。ADTSは、復号処理において互いに依存関係はないため、1つのPESを1つのMPUとして構成してもよい。しかしながら、その場合には、MPU毎に制御情報を格納したMFUを出力する必要があるため、伝送されるデータの総量が増えてしまう。このため、本実施形態では、映像MPUと同等程度の周期で複数の音声PESをまとめて1つのMPUとしてもよい。
【0069】
<受信装置の一例>
次に、本実施形態における受信装置(受信機)側の機能構成につき、2つの実施例を説明する。なお、以下の各実施例では、主に上述した送信装置(MMT多重装置11)等が送信したMMT信号からTS信号を取得する例について説明するが、受信機12の処理については、これに限定されるものではなく、例えば多重化された通常のMMT信号を受信し、受信したMMT信号からメディア符号データ等を取得する機能を有していてもよい。また、受信機12は、符号データから復号処理を行って、
図3に示すようなMMTネイティブアセットやTSコンポーネントを取得する機能を有していてもよく、画面に表示したり、音声を出力するような機能を有していてもよい。
【0070】
<受信機12:第1実施例>
図5は、第1実施例における受信機の機能構成例を示す図である。なお、
図5に示す第1実施例の受信機12は、例えばTS信号を多重化したMMTフローを受信し、TS信号を復元するTS復元型の受信装置の一例である。
【0071】
受信機12は、MMT信号入力部201と、誤り訂正処理部202と、MMTPパケット分離部203と、MFUリオーダー部204と、タイミング再生・シリアル化部205と、TS信号出力部206とを有する。
【0072】
MMT信号入力部201は、イーサネットインタフェース等から、上述した送信装置の一例であるMMT多重装置11が送信したMMTPパケットを取得する。なお、MMT信号入力部201は、MMTPパケットを1つの伝送路だけでなく、複数の伝送路から受信することも可能である。入力系統数については、特に限定されるものではない。
【0073】
誤り訂正処理部202は、例えばMMT信号等に含まれるFEC符号を用いてパケットロス等を訂正する。
【0074】
MMTPパケット分離部(パケット分離部)203は、受信されたMMTPパケットのMMTパケット識別情報(例えば、MMTパケットID)等を参照して、必要なパケットのみフィルタする。
【0075】
ここで、変換前のTS信号に含まれていたコンポーネントを含むTS信号を復元するためには、コンポーネントのTSパケットID(識別情報)と、そのコンポーネントのTSパケット列を格納したMMTPパケットのMMTパケットID(識別情報)とが関連付けられた対応情報が必要である。そこで、上述したようにMMT多重装置11は、TSコンポーネントリスト記述子の情報(リスト情報)をMMTの制御信号として伝送しておく。これにより、MMTPパケット分離部203は、上述のリスト情報を用いて出力対象のTSコンポーネントを伝送するMMTPパケットを分離し、TSパケット列を取り出すことができる。
【0076】
MFUリオーダー部204は、MFU先頭のTSパケットに付与されたタイムスタンプに基づいて、MFUをリオーダーする。リオーダーとは、フラグメントされた復号処理単位であるアクセスユニット(MFU)を正しい順序に並べ替えることをいうが、これに限定されるものではない。また、MFUリオーダー部204は、並べ替えたMFUを結合する。なお、MFUリオーダー部204は、コンポーネント数によらず一つであるが、これに限定されるものではない。
【0077】
タイミング再生・シリアル化部205では、MFUリオーダー部204内でリオーダーされたTSパケット列を時系列に並べてシリアル化する。TS信号の制御情報は、複数のMPUに同じTSパケットが複製される可能性があるため、複製されたものは破棄してもよい。また、複製されたTSパケットか否かは、例えばTSパケットヘッダのcontinuity_counterやversion_numberの重複により判定することができる。
【0078】
TS信号出力部(出力部)206は、DVB−ASI等のインタフェースによりTS信号を出力する。また、TS信号出力部206は、TS信号に対して復号処理を行って、映像信号や音声信号等のメディアデータを取得し、表示部等の画面に表示させたり、スピーカ等から音声出力させる機能を有していてもよい。
【0079】
<受信機12:第2実施例>
図6は、第2実施例における受信機の機能構成例を示す図である。なお、
図6に示す第2実施例の受信機12'は、ES分離型受信装置の一例である。受信機12'は、MMT信号入力部301と、誤り訂正処理部302と、MMTPパケット分離部303と、MFUリオーダー部304と、TSヘッダ除去部305と、PES出力部306と、MPUタイムスタンプ抽出部307とを有する。
図6に示す第2実施例の受信機12'は、例えばTS信号を多重化したMMTフローを受信し、メディア符号データのESを分離し、復号器等に対して出力する。
【0080】
MMT信号入力部301は、送信装置(例えば、MMT多重装置11)等が送出したMMTPパケットをイーサネットインタフェース等から取得する。なお、MMTPパケットは、ネットワーク13の複数の伝送路から受信することも可能であり、入力系統数は問わない。
【0081】
誤り訂正処理部302は、FEC符号を用いてパケットロス等を訂正する。MMTPパケット分離部(パケット分離部)303は、受信されたMMTPパケットのMMTパケットIDを参照し、必要なパケットのみをフィルタする。
【0082】
ここで、必要なコンポーネントを伝送するMMTパケットIDについては、MMTの制御信号で与えられる。MMTの制御信号では、後述するように、general_location_info記述子を用いてメディアのコンポーネントを参照する。
【0083】
つまり、送信側でMMT信号上のgeneral_location_infoにTSパケット識別情報とMMTパケット識別情報との対応を記述して送信されているため、MMTPパケット分離部303は、ロケーション記述に基づいて、MMT信号内に多重されたTSのコンポーネントを、MMTパッケージのアセットとして参照することができ、必要なMMTPパケットを分離したうえでTSパケットを取り出すことができる。
【0084】
また、第2実施例において、MMTPパケット分離部303は、MMTパケットIDとタイムスタンプの付与モードを特定することで、MFU内のTSパケット列からESを分離することができる。なお、タイムスタンプの付与モードについては、送信側から伝送される情報を用いずに、TSパケットの同期バイト等を用いて受信側が独自に判断することも可能である。
【0085】
MFUリオーダー部304は、MFU先頭のTSパケットに付与されたタイムスタンプに基づいて、MFUをリオーダーする。また、MFUリオーダー部304は、フラグメントされたMFUを結合させる。MPU先頭のMFUのTS制御信号については必要がないため破棄する。
【0086】
TSヘッダ除去部305は、MFUリオーダー部304内でリオーダーされたTSパケット列からTSパケットヘッダ部分を除去する。また、TSヘッダ除去部305は、TSパケット列からアダプテーションフィールドやタイムスタンプ部分等を除去する。
【0087】
PES出力部(出力部)306は、PES単位で復号器に対してメデイア符号データを出力する。なお、PES出力部306は、メデイア符号データに対して復号処理を行い、その処理結果のメディアデータを表示部等の画面に表示させたり、音声を出力させる機能を有していてもよい。また、PES出力部306は、チップ内配線等が考えられるが、インタフェースはこれに限定されるものではない。
【0088】
MPUタイムスタンプ抽出部307は、第2実施例において他の信号源のメディアと同期を取る目的等でUTC時間軸上での提示時刻が必要な場合に、MMT制御信号内のMPUタイムスタンプ記述子を解析し、PES出力部306から出力されるPESのUTC上での提示時刻を合わせて出力する。
【0089】
この提示時刻を用いることで、例えば
図3に示すようなSHV受信機12−1及びセカンドスクリーン12−2とで同期提示を実現することができる。
【0090】
なお、上述した第1及び第2実施例に対応する受信機12、12'は、例えば上述したSHV受信機12−1やセカンドスクリーン12−2に適用することができる。
【0091】
<「TS over MMT」におけるTSコンポーネントの復号方法、及びTS標準規格とのコンフォーマンスの考え方について>
次に、「TS over MMT」におけるTSコンポーネントの復号方法、及びTS標準規格とのコンフォーマンスの考え方について説明する。例えば、
図3に示すようなSHV(スーパーハイビジョン)受信機12−1には、現行2K放送との互換機能として2K解像度対応の復号器が実装される。また、セカンドスクリーン12−2のように、タブレット端末やスマートフォン等のモバイル向けチップセットには、ハードウェアアクセラレーション機能として2K解像度対応の復号器が実装されているものが多い。
【0092】
これらの復号器は、TS分離機能と映像・音声の復号器をワンパッケージに集積化し、TS信号入力を前提としたLSI(Large Scale Integration)として実装されることが多く、処理性能とインタフェースの観点においてレガシーメディアの復号に適していると考えられる。
【0093】
ここで、
図7は、「TS over MMT」に対応する受信機に実装されるメディアプロセッサの機能構成の一例を示す図である。
図7に示す受信機12''は、MMT分離部401と、復号部402と、提示処理部403と、制御部404とを有する。また、復号部402は、例えばLSIとして実装された8K HEVC復号器、22.2ch AAC復号器、及び2K現行放送互換機能であるTS入力復号器を有するが、これに限定されるものではない。
【0094】
MMT分離部401は、上述した第1及び第2実施例に示した受信機12、12'に相当し、例えば受信したMMT信号に基づいて、制御信号やメディア符号化データ(例えば、NALストリーム、LATM(Low Overhead MPEG−4 Audio Transport Multiplex)ストリーム、TSストリーム)等を出力する。
【0095】
例えば、MMT分離部401は、8K HECV復号器へのNALストリーム出力や、22.2ch AAC復号器へのLATMストリーム出力、TS入力復号器へのTSのシリアル信号出力を行う。なお、TS信号は、例えば2K現行放送として取得したTSと切り替えてTS入力復号器に出力してもよい。つまり、
図7に示す受信機12''は、MMT分離部401(言い換えると、受信機12,12'の出力部)から出力されるTS信号と、TS方式を採用した他の放送サービス(例えば、現行のデジタル放送サービス等)から別途受信されるTS信号とを、スイッチ(切替部)等により排他的に切り替えて共用の復号部402に入力可能な内部構成を有していてもよい。
【0096】
復号部402は、MMT分離部401から得られる各信号(ストリーム)に対し、制御部404からの制御情報に基づいて、
図7に示すように対応する復号器で復号処理を行う。なお、復号部402のTS入力復号器は、MMT分離部401から得られるTS信号のみを復号するだけでなく、例えば上述したようにMMT分離部401から得られるTS信号と、他の放送サービスから得られたTS信号とが排他的に切り替えられたTS信号を入力して復号処理を行うことができる。
【0097】
ここで、
図7に示す復号部402のTS入力復号器は、TS分離部411と、第2復号部412とを有する。第2復号部412は、2K MPEG−2映像復号器、2K Video、H.264復号器、5.1ch AAC復号器を集積化したLSIである。
【0098】
TS入力復号器は、
図7に示すように、TS分離部411により、TS信号からPES、NAL、又はADTSの信号に分離され、第2復号部412により、復号された映像や音声等のメディアデータが、提示処理部403に入力される。
【0099】
提示処理部403は、制御部404による制御信号により、映像を出力する表示部や音声を出力する音声出力部(スピーカ)等を有する。これにより、復号された映像を表示部の画面に表示したり、音声を出力して、ユーザ等に提示することができる。
【0100】
<TS標準規格とのコンフォーマンスの考え方>
ここで、TS標準規格では、仮想デコーダモデルによるバッファ管理やPCRの送出周期、許容ジッタ等が細かく規定されている。しかしながら、これらは標準化当時において現実的だったハードウェアプロセス、メモリ等のリソースコスト、ATMの様な均一な伝送路環境を基に規定されており、必ずしも現状に即していない。
【0101】
例えば、現在のTS入力復号器の実装では、IP伝送路上で実際に発生し得る遅延やジッタに対する堅牢性を確保するため、標準規格範囲外の信号であっても問題なく処理できるものが多い。
【0102】
「TS over MMT」では、MMTPパケットに対するTSパケットのカプセル化方式を規定するが、受信機12が受信したTSパケットをどのようにシリアル信号として再生しTS入力復号器へ入力させるかについては、個々の受信機12の実装要件として委ねることができる。特に、受信機内に実装されたMMT分離部401と復号部402のTS入力復号器間の内部配線においては、対象となるTS入力復号器のコンフォーマンス要求に応じて、必ずしも標準規格準拠ではない"TSライク"なシリアル信号として再生し入力すればよい。
【0103】
一方、受信機12からDVB−ASI等の外部インタフェースにシリアル信号を出力し、不特定の復号器と接続する可能性がある場合には、標準準拠のTS信号へ復元する必要があると考えられる。放送サービスとして、このような外部信号出力を許可し、コンフォーマンスを担保する必要がある場合のため、本実施形態では、標準規格に準拠したTS信号としての再生を容易にするモードの選択を可能とする。
【0104】
次に、TSパケットのカプセル化とシグナリングの具体例について説明する。
【0105】
<TSパケットのカプセル化>
本実施形態では、上述したように、MMTで導入されたMPUやMFUの概念に従ったTSパケットのカプセル化を行う。
図8は、MMTPパケットに対するTSパケットのカプセル化の一例を示す図である。
【0106】
図8に示すように、TS信号をコンポーネント毎のTSパケット列に分離し、アクセスユニット単位でカプセル化を行う。具体的には、PESをMFUと一対一に対応させ、MMTの定義通りにGOP等ランダムアクセスポイントで区切られるMFUの集合をMPUとする。また、MMTPパケットには、コンポーネント毎に異なるMMTパケットIDを付与する。
【0107】
なお、音声コンポーネントは1個のアクセスユニットをMPUとすることもできるが,オーバヘッドの増加を考慮し、映像GOPと同等の周期でMPUを構成する。また、受信したTSパケット列をシリアル信号として再生するためのタイミング情報として、TSパケットにSTCサンプル値のタイムスタンプを付与する。タイムスタンプ(Timestamp)の付与の具体例として、以下の2つの付与モードを選択可能とする。
【0108】
<付与モード1:MFU先頭のTSパケットのみにタイムスタンプを付与>
付与モード1では、MFU先頭のTSパケットのみにタイムスタンプを付与する。この場合、MFU先頭以外のTSパケットの送出タイミング情報が失われるため、単純にシリアル信号として再生するとアクセスユニットの符号データがまとめてTS入力復号器に入力される。上述した
図7に示すような復号部(例えば、TS入力復号器)402の実装によっては、入力バッファのオーバーフローを防ぐためにTSパケットの送出タイミングを平均化し、分散させる必要がある。
【0109】
<付与モード2:全てのTSパケットにタイムスタンプを付与>
付与モード2では、全てのTSパケットにタイムスタンプを付与する。これにより、MFU先頭以外の個々のTSパケットについても送出タイミング情報が保持され、元のTS信号と同じタイミングで再生できる。
【0110】
また、任意のMPUからの受信を可能にするため、MPUの先頭に初期化情報として必要なPAT,PMT,PCR等のTS制御情報を与える必要がある。そこで、上述したタイムスタンプの付与モードによらず、MPU先頭にこれらのTS制御情報のTSパケット列を1個のMFUとして格納する。初期化情報として格納するPCRについては、入力されるTS信号のPCRを参照してSTCを再生し、MPU先頭でのSTCサンプル値をもとに実際のPCR格納位置との誤差を補正して生成する。
【0111】
PAT,PMTについては、MPU先頭時点で最新のものを複製して格納する。PMTについては、対象のコンポーネントを含むプログラムのPMTのみでよい。この他の初期化情報として、暗号化を用いている場合にはCAT(Conditional Access Table),ECM(Entitlement Control Message)等、MPU先頭からの復号を始めるために必要な制御情報を加える必要がある。
【0112】
なお、PCRの伝送方法については、例えば以下の2つの伝送モードから選択可能とする。
【0113】
<伝送モード1:MPU先頭の初期化情報として生成したPCRのみを伝送>
伝送モード1では、MPU先頭の初期化情報として生成したPCRのみを伝送する。例えば一般的なGOP周期は、約0.5秒程度であるため、PCR送出周期がTS標準規格に規定される0.1秒以下を満たさない。例えばTS入力復号器内部のSTCを駆動するPLL(Phase Lock Loop)の安定性が高ければ問題はないと考えられるが、実際に0.1秒以下の頻度で補正を行わなければ不定値となる実装の場合には、受信機12側で補間生成したPCRを挿入してTS入力復号器に入力する必要がある。
【0114】
<伝送モード2:入力TS内のPCRを全て残し、PESを格納するMFU内にもPCRを格納して伝送>
伝送モード2では、入力TS内のPCRを全て残し,PESを格納するMFU内にもPCRを格納して伝送する。PCRを残してもその送出タイミングが失われては意味がないため、全てのTSパケットにSTCタイムスタンプを付与するモードを同時に選択する必要がある。
【0115】
本実施形態におけるカプセル化では、一つひとつのMPUが初期化情報として必要なTS制御情報を先頭に持ち、ランダムアクセスポイントのアクセスユニットから開始する。これらの条件は、HLSやDASH等に用いられるセグメントTSと同じであるが、本実施形態におけるカプセル化は、符号化器の実装に依存せず、任意のTS信号に適用可能である。
【0116】
<制御情報(シグナリング)>
次に、本実施形態における制御情報(シグナリング)について説明する。本実施形態では、MMTパッケージのアセットとしてTSコンポーネントを参照する。ここで、
図9は、「TS over MMT」で伝送されるTSコンポーネントのgeneral_location_info記述例を示す図である。なお、
図9に示す数値はビット数を示すが、値についてはこれに限定されるものではない。
【0117】
図9の例に示すように、general_location_infoにコンポーネントを伝送するMMTパケットIDとTSパケットIDとを記述して各IDを関連付ける。
【0118】
例えば、
図9に示すこのロケーションタイプ(location_type)(8ビット)は、例えばMMTパケットID(16ビット)、reserved(3ビット)、TSパケットID(13ビット)が設定されているが、順序や内容、ビット数等については、これに限定されるものではない。
【0119】
また、本実施形態では、他のアセットとの同期提示を可能とするため、UTC時刻でのMPUのプレゼンテーションタイムスタンプを生成し、MMTタイムスタンプ記述子を用いて伝送する。また、本実施形態では、表示領域指定記述子を伝送することで、表示領域の指定が可能となる。これらのシグナリングは、MMTネイティブアセットの場合と同様である。
【0120】
更に、本実施形態では、MMTに多重されたTSの識別やTSパケットIDとMMTパケットIDの対応検索を可能とするための情報(例えば、TSコンポーネントリスト記述)を設定する。
【0121】
図10は、TSコンポーネントリスト記述子の一例を示す図である。なお、
図10に示す数値はビット数を示すが、値についてはこれに限定されるものではない。また、本実施形態では、
図10に示すような記述子ではなく、独立したテーブルとして伝送してもよい。
【0122】
本実施形態では、例えば
図10に示すように、同一の記述子タグ内にあるTS数N毎に、TS識別子(16ビット)と、その中のコンポーネント数Mで繰り返されるstream_type(8ビット)、MMTパケットID(16ビット)、タイムスタンプの付与モード(3ビット)、TSパケットID(13ビット)の対応リストをTSコンポーネントリスト記述子に記述し、MMT制御情報として伝送する。なお、順序や内容、ビット数等については、
図10の例に限定されるものではない。
【0123】
また、上述した
図10に示すstream_type(8ビット)は、TS標準規格で規定される値を記述することが好ましいが、これに限定されるものではない。また、
図10に示すタイムスタンプの付与モード(timestamp mode)は、例えば、タイムスタンプなし、MFU先頭のTSパケットのみタイムスタンプを付与する場合、全てのTSパケットにタイムスタンプを付与する場合とが、それぞれ識別できる情報を設定する。なお、
図10に例に示すTSコンポーネントリスト記述子の伝送は、必須ではなく、例えば、同様のリスト情報が予め送信装置と受信装置間で共有されていれば、受信側でTS信号を復元することが可能である。
【0124】
本実施形態では、上述したように、カプセル化とシグナリングとを行うことで、MMT多重装置11において、「TS over MMT」によって多重されるTSコンポーネントとMMTネイティブアセットとを区別なく扱うことができる。これにより、例えばハイブリッド伝送等のMMTの特徴を最大限に活用することが可能となる。
【0125】
<受信機12側で処理されるデータの具体例について>
次に、上述したMMT多重装置11により「TS over MMT」で伝送されたTSパケットを受信して出力するための受信機12側で処理されるデータの具体例について説明する。なお、受信機12では、標準規格に準拠したTS信号として復元することは必須ではなく、受信機12に実装される個別のTS入力復号器のコンフォーマンス要求に応じた信号となるようにTSパケットを再生すればよい。ここでは、その一例について具体的に説明する。
【0126】
図11は、MMTPパケットから取り出したTSパケットのシリアル化の一例を示す図である。
図11の例では、上述した
図8の例で伝送された映像コンポーネントを、上述した
図7に示すような復号部(例えば、TS入力復号器)402へ入力する場合のTSパケットのシリアル化を示している。
【0127】
また、本実施形態では、TS入力復号器がTS標準規格の通りに0.1秒以下の周期でPCRを入力しなければならない場合には、実際に伝送されたPCRに加え、受信側で補間生成したPCRを挿入する。なお、本実施形態において、例えばTS入力復号器内部のSTCが、GOP周期で伝送されるPCRのみで安定動作するのであれば、補間PCRの挿入は不要である。
【0128】
また、
図12は、TSパケットのシリアル化を行うための処理の具体例を示す図である。
図12では、例えばTSパケットのシリアル化再生処理を行う。
図12の例では、MMTパケットIDによって出力対象(所望)のコンポーネントを指定し、必要なMMTPパケットを分離する。次に、パケットのペイロード部を解析し、取り出したTSパケットをTSパケットバッファの末尾に追加する。また、伝送されたPCRを元に再生されるSTCを参照し、TSパケットに付与したタイムスタンプに基づいて、TSパケットバッファ内のTSパケットを送出する。
【0129】
なお、
図12の点線で示した「PCR補間」は、上述した
図11に示すようにSTCを参照して補間生成したPCRを送出する場合に必要となる。送出すべきTSパケットがない期間は、TS入力復号器に対してヌルTSパケットを送出する。
【0130】
上述したように、本実施形態では、ハイブリッド伝送等のMMTの特徴を活用可能なTS形式コンテンツの多重方式である「TS over MMT」によりTS方式のストリームのTSパケット列をMMT方式のMMTPパケットにカプセル化し、IP伝送路での伝送が可能となる。また、本実施形態によれば、MMT方式で採用されたMPUやMFUの概念を導入し、メディアを意識したカプセル化を行うことで、パケットに格納されたデータの重要度や伝送路の性質に応じた誤り訂正を適応的に利用することができる。また、本実施形態によれば、複数伝送路を用いたハイブリッド配信を行う場合に、ランダムアクセスポイントを用いて画像の破たん等が生じないシームレスな伝送路切り替えや、コンポーネント単位での伝送路の割り当て、他のMMTフロー上のコンポーネントと同期した映像や音声等の提示が可能となる。なお、本実施形態は、例えば次世代デジタル放送やIPTV、素材伝送等に適用することができる。
【0131】
以上、各実施例について詳述したが、特定の実施例に限定されるものではなく、特許請求の範囲に記載された範囲内において、上記変形例以外にも種々の変形及び変更が可能である。