(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-12-06
(45)【発行日】2024-12-16
(54)【発明の名称】信号切替装置および信号切替方法
(51)【国際特許分類】
H04N 21/238 20110101AFI20241209BHJP
H04N 21/24 20110101ALI20241209BHJP
H04H 60/02 20080101ALI20241209BHJP
【FI】
H04N21/238
H04N21/24
H04H60/02
(21)【出願番号】P 2020160976
(22)【出願日】2020-09-25
【審査請求日】2023-09-20
(73)【特許権者】
【識別番号】598076591
【氏名又は名称】東芝インフラシステムズ株式会社
(73)【特許権者】
【識別番号】000004352
【氏名又は名称】日本放送協会
(74)【代理人】
【識別番号】110003708
【氏名又は名称】弁理士法人鈴榮特許綜合事務所
(72)【発明者】
【氏名】山影 朋夫
(72)【発明者】
【氏名】蔡 豐宇
(72)【発明者】
【氏名】大西 直哉
(72)【発明者】
【氏名】今村 浩一郎
(72)【発明者】
【氏名】河村 侑輝
(72)【発明者】
【氏名】山上 悠喜
(72)【発明者】
【氏名】永田 裕靖
(72)【発明者】
【氏名】楠 知也
【審査官】醍醐 一貴
(56)【参考文献】
【文献】特開2018-142753(JP,A)
【文献】特開2018-125741(JP,A)
【文献】特開2019-176371(JP,A)
【文献】特開2002-290384(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 21/00-21/858
H04N 60/00-60/98
(57)【特許請求の範囲】
【請求項1】
切替前のIPデータフローから、切替後のIPデータフローへ切り替えるための信号切替装置であって、
上流側から送られるIPデータフローおよびpacket_id
を参照し、切替前および切替後のMMTP(MPEG Media Transport Protocol)パケットから、MPU(Media Processing Unit)を構成するアセットのパケットおよびMPT(MMT Package Table)を含むPA(Package Access)メッセージのパケットをそれぞれ分離するMMTPパケットヘッダ解析部と、
前記MMTPパケットヘッダ解析部によって分離された各MPUのMPUタイムスタンプ記述子から、前記各MPUのMPU番号をそれぞれ取得し、前記各MPU番号の変化点で、アクセスユニット数のカウンタをゼロに初期化したMMTPパケットをそれぞれ出力するMMTPペイロードヘッダ解析部と、
前記MMTPパケットヘッダ解析部によって分離された各MPU番号と、前記各MPUに含まれるアクセスユニットの最初の提示時刻とを、前記MPUタイムスタンプ記述子から取得するMPUタイムスタンプ記述子解析書換部と、
前記各MPUのMPU拡張タイムスタンプ記述子から、前記各MPUのMPU番号と、前記MPUの各アクセスユニットの提示時刻とを求め、さらに前記各アクセスユニットの最後の提示時刻を求めるMPU拡張タイムスタンプ記述子解析書換部と、
指定された切替時刻と、前記MPU拡張タイムスタンプ記述子解析書換部からの切替前の最後のMPUの提示時刻と、前記MPUタイムスタンプ記述子解析書換部からの切替後の最初のMPUの提示時刻とに基づいて、切替前の最後のMMTPパケットと、切替後の最初のMMTPパケットを選択するMMTPパケット選択部とを備えた、信号切替装置。
【請求項2】
前記MPUタイムスタンプ記述子解析書換部は、前記MPUタイムスタンプ記述子を、前記MPU拡張タイムスタンプ記述子解析書換部が、前記MPU拡張タイムスタンプ記述子を解釈することにより、あるMPU番号のMPUに含まれる各アクセスユニットの提示時刻を認識することを、切替前と切替後のMMT
(MPEG Multimedia Transport)ストリームに対して行い、
前記MMTPパケット選択部は、切替後のMMTストリームにおいて、前記切替時刻を含むMPUを、切替後に最初に送出するMPUとし、そのMPUの最初の提示時刻に対し、切替前のMMTストリームを構成するMPUの最後の提示時刻が前になるように、切替前の最後のMPUを決定する、請求項1に記載の信号切替装置。
【請求項3】
前記MPUタイムスタンプ記述子解析書換部および前記MPU拡張タイムスタンプ記述子解析書換部が、切替前のMPU中の各アクセスユニットの提示時刻を、当該MPUに対する前記MPU番号に対応する前記MPUタイムスタンプ記述子および前記MPU拡張タイムスタンプ記述子から求め、
前記MMTPパケット選択部は、SOP境界となるピクチャを求め、SOPの提示終了が切替時刻より前、かつ、前記SOPの送出タイミングが切替後のMPUの送出タイミングが重ならないように切替前のMPUおよびそのMPU内のSOP境界を求める、請求項1に記載の信号切替装置。
【請求項4】
前記MPU拡張タイムスタンプ記述子解析書換部は、切替前のMPUに対応する前記MPU拡張タイムスタンプ記述子として、前記SOP境界以降のアクセスユニットの情報を削除したものを、前記MMTPパケット選択部へ送出する、請求項3に記載の信号切替装置。
【請求項5】
前記MMTPペイロードヘッダ解析部は、同一のIPデータフローおよび同一のpacket_idのMMTPパケットを解析し、「mpu_sequence_number」が変化したところで、MPU中のアクセスユニット数を0に初期化し、以降、「aggregation_flag=1」のMMTPパケットを見つけるたびに、アクセスユニットの数をインクリメントし、
前記MMTPパケット選択部は、前記インクリメントされた数と、前記SOP境界までのMPU中のアクセスユニットの数とを比較し、切替前の最後のSOPの最後のアクセスユニットまで送出を終えたら、切替前のMMTPパケットの読み出しをやめ、切替後のMMTPパケットバッファからの読み出し待ちとする、請求項3に記載の信号切替装置。
【請求項6】
前記MMTPペイロードヘッダ解析部が、前記MMTPパケットヘッダ解析部によって分離された各MPUについて、MMTPペイロードの「fragmentation_indicator」の値を認識することによって、映像パケットの終了を認識する、請求項3に記載の信号切替装置。
【請求項7】
前記MMTPパケット選択部は、切替後のMPUが、前記切替時刻を含むか否かを調べるために、前記MPUタイムスタンプ記述子および前記MPU拡張タイムスタンプ記述子から、当該MPUの提示期間を求める、請求項1に記載の信号切替装置。
【請求項8】
切替前の前記MPUの送出終了タイミングが判明するまで、前記切替前のMPUを格納するための切替前MMTPパケットバッファをさらに備えた、請求項1に記載の信号切替装置。
【請求項9】
あらかじめ所定の画像を符号化多重化して作成したMPUを格納した挿入用MMTPパケットバッファをさらに備え、
切替前のMPUで最後に提示する映像フレームの提示時刻と、切替後に最初に提示する映像フレームの提示時刻との間に欠落フレームがある場合、前記MMTPパケット選択部は、前記欠落フレームに、前記挿入用MMTPパケットバッファに格納されているMPUを挿入する、請求項1に記載の信号切替装置。
【請求項10】
切替前後のMPUの各映像音声フレームの提示時刻の差が、映像フレームレートから算出される所定の時間または音声フレーム中のサンプル数およびサンプリング周波数から算出される所定の時間となっていない場合、前記MPUタイムスタンプ記述子解析書換部は、切替後のMPUの前記MPUタイムスタンプ記述子中の提示時刻を補正する、請求項1に記載の信号切替装置。
【請求項11】
あらかじめ無音の音声を符号化多重化して作成したMPUを格納する挿入用MMTPパケットバッファをさらに備え、
切替前のMPUで最後に提示する音声フレームの提示時刻と、切替後に最初に提示する音声フレームの提示時刻との間に欠落フレームがある場合、前記MMTPパケット選択部は、前記欠落フレームに、前記挿入用MMTPパケットバッファに格納されたMPUを挿入する、請求項1に記載の信号切替装置。
【請求項12】
切替前後のMPUの各映像音声フレームの提示時刻の差が、映像フレームレートから算出される所定の時間または音声フレーム中のサンプル数およびサンプリング周波数から算出される所定の時間となっていない場合、前記MPUタイムスタンプ記述子解析書換部は、切替後のMPUのMPUタイムスタンプ記述子中の提示時刻を補正する、請求項1に記載の信号切替装置。
【請求項13】
切替前のIPデータフローから、切替後のIPデータフローへ切り替えるために信号切替装置によって実行される信号切替方法であって、
前記信号切替装置が、
上流側から送られるIPデータフローおよびpacket_id
を参照し、切替前および切替後のMMTP(MPEG Media Transport Protocol)パケットから、MPU(Media Processing Unit)を構成するアセットのパケットおよびMPT(MMT Package Table)を含むPA(Package Access)メッセージのパケットをそれぞれ分離し、
前記分離された各MPUのMPUタイムスタンプ記述子から、前記各MPUのMPU番号をそれぞれ取得し、前記各MPU番号の変化点で、アクセスユニット数のカウンタをゼロに初期化したMMTPパケットをそれぞれ出力し、
前記分離された各MPU番号と、前記各MPUに含まれるアクセスユニットの最初の提示時刻とを、前記MPUタイムスタンプ記述子から取得し、
前記各MPUのMPU拡張タイムスタンプ記述子から、前記各MPUのMPU番号と、前記MPUの各アクセスユニットの提示時刻とを求め、さらに前記各アクセスユニットの最後の提示時刻を求め、
指定された切替時刻と、前記切替前の最後のMPUの提示時刻と、前記切替後の最初のMPUの提示時刻とに基づいて、切替前の最後のMMTPパケットと、切替後の最初のMMTPパケットを選択する、信号切替方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、地上デジタル放送、衛星放送、CATV、およびIP再送信等を含む放送システムにおいて使用される信号切替装置および信号切替方法に関する。
【背景技術】
【0002】
TS(Transport Stream)やMMT(MPEG Multimedia Transport)を利用する現在のデジタル放送システムでは、番組切替を符号化前のベースバンド信号で行うことで、番組切替時に意図しない画面が一瞬見えること(チラ見え)を防止している(非特許文献1)。
【0003】
また、機器故障による放送中断を防止するため、現用系と予備系とを備えた冗長系統を構成しており、機器の定期保守時は系統切替を行った結果、受信機で画音のショックが発生しないシームレスな切替を行っている。切替点では、エンコーダに対し、切替点で新たなGOPを開始することと、切替前の系統の最後のGOPと切替後の系統の最初のGOPを連結した際の送出タイミングが連続(規定のタイミングを満足)するよう制御している(非特許文献2、3)。
【先行技術文献】
【特許文献】
【0004】
【文献】特開2018-125741号公報
【文献】特開2018-125742号公報
【文献】特開2018-157467号公報
【文献】特開2018-160787号公報
【非特許文献】
【0005】
【文献】東芝レビュー、Vol.59、No.2(2004)、pp.24~27、「地上デジタル放送用スタジオシステム機器、2.スイッチャ装置」
【文献】NEC技報、Vol.57、No.4(2004)、pp.31~34、「多重化装置の開発、4章.システムとしての特長」
【文献】東芝レビュー、Vol.59、No.2(2004)、pp.7~17、「 地上デジタル放送マスタ送出システム、6.2 SCS」
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、従来、番組切替を行う場合、ベースバンドで行う必要があり、事前に放送用にエンコードを行った素材を収録したストリーマとライブエンコーダ、ストリーマとストリーマ間の番組切替を実現できない。
【0007】
また、冗長系統の現用系から予備系への切替時、エンコーダに対してGOP開始位置と符号量の制御を行う必要があり、この制御のための設備対応を必要としている。
【0008】
本発明が解決しようとする課題は、ベースバンドで行う必要も、GOP開始位置と符号量の制御も必要もなく、切替時における画音のショックがない、もしくは、ショックを低減した切り替えを実現することができる信号切替装置および信号切替方法を提供することである。
【課題を解決するための手段】
【0009】
実施形態の信号切替装置は、切替前のIPデータフローから、切替後のIPデータフローへ切り替えるための信号切替装置であって、MMTPパケットヘッダ解析部と、MMTPペイロードヘッダ解析部と、MPUタイムスタンプ記述子解析書換部と、MPU拡張タイムスタンプ記述子解析書換部と、MMTPパケット選択部とを備えている。MMTPパケットヘッダ解析部は、上流側から送られるIPデータフローおよびpacket_idを参照し、切替前および切替後のMMTP(MPEG Media Transport Protocol)から、アセット(MPU:Media Processing Unit)のパケットおよびPA(Package Access)メッセージ(MPT:MMT Package Table)のパケットをそれぞれ分離する。MMTPペイロードヘッダ解析部は、MMTPパケットヘッダ解析部によって分離されたMPTに含まれる各MPUのMPUタイムスタンプ記述子から各MPUのMPU番号をそれぞれ取得し、また、アセットを構成する各MPU番号の変化点で、アクセスユニット数のカウンタをゼロに初期化する。MPUタイムスタンプ記述子解析書換部は、MMTPパケットヘッダ解析部によって分離された各MPU番号と、各MPUに含まれるアクセスユニットの最初の提示時刻とを、MPUタイムスタンプ記述子から取得する。MPU拡張タイムスタンプ記述子解析書換部は、各MPUのMPU拡張タイムスタンプ記述子から、各MPUのMPU番号と、前述のアクセスユニットの最初の提示時刻に基づきMPUの各アクセスユニットの提示時刻とを求め、さらに各アクセスユニットの最後の提示時刻を求める。MMTPパケット選択部は、指定された切替時刻と、MPU拡張タイムスタンプ記述子解析書換部からの切替前の最後のMPU内の最後のアクセスユニットの提示時刻と、MPUタイムスタンプ記述子解析書換部からの切替後の最初のMPUの提示時刻とに基づいて、切替前の最後のMMTPパケットと、切替後の最初のMMTPパケットとを選択する。
【図面の簡単な説明】
【0010】
【
図1】
図1は、放送システムに適用される一般的な圧縮多重系制御装置の構成例を示す機能ブロック図である。
【
図2】
図2は、本発明の実施形態の信号切替方法が適用された信号切替装置の構成例を示す機能ブロック図である(切替前後のMMTPパケットが同じインターフェースから入力される場合)。
【
図3】
図3は、ARIB STD-B60で規定されているMMTPパケットのデータ構造を示す図である。
【
図4】
図4は、ARIB STD-B60で規定されているMPUタイムスタンプ記述子のデータ構造を示す図である。
【
図5】
図5は、ARIB STD-B60で規定されているMPU拡張タイムスタンプ記述子のデータ構造を示す図である。
【
図6】
図6は、ARIB STD-B60で規定されているMMTPペイロードのデータ構造を示す図である。
【
図7】
図7は、切替前後のMMTPパケットが異なるインターフェースから入力される場合におけるMMTP処理部の構成例を示す機能ブロック図である。
【
図8】
図8は、動作例AにおいてMMTPパケット選択部によってなされる切替前の最後のMPUおよび切替後の最初のMPUの決定方法を示すタイミング図である。
【
図9】
図9は、SOPの構造(リオーダリング適用時)を示す図である。
【
図10】
図10は、SOPの構造(リオーダリング非適用時)を示す図である。
【
図11】
図11は、動作例BにおいてMMTPパケット選択部によってなされる切替前の最後のMPUおよび切替後の最初のMPUの決定方法を示すタイミング図である。
【
図12】
図12は、動作例Cを説明するための、MPU拡張タイムスタンプ記述子の構成例を示す図である。
【
図13】
図13は、パケットが時系列的に入力される状態を示す図である。
【
図14】
図14は、動作例FにおいてMMTPパケット選択部によってなされる切替前の最後のMPUおよび切替後の最初のMPUの決定方法を示すタイミング図である。
【発明を実施するための形態】
【0011】
以下に、本発明の実施形態を、図面を参照して説明する。なお、以下の各実施形態の説明に用いる図中の符号は、同一部分については同一符号を付して示すことにより、重複説明を避ける。
【0012】
本発明の実施形態の信号切替方法が適用された信号切替装置について説明する。
【0013】
本発明の実施形態の信号切替方法が適用された信号切替装置は、切替時にストリーム上で完全なシームレスを保証するが、画像は、切替直前の静止画や黒画面、音声は、無音が発生することを許容する。さらに、TSには存在しないMMT特有の情報(例えば、MMTPペイロードに含まれる「aggregation_flag」、MMTPパケットに含まれる「packet_id」、MPUタイムスタンプ記述子に含まれる「mpu_sequence_number」、「mpu_presentation_time」、MPU拡張タイムスタンプ記述子に含まれる「mpu_sequence_number」、「mpu_decoding_time_offset」、「dts_pts_offset」等)を用い、MMTP(MMTProtocol)パケットヘッダ、MMTPペイロードヘッダ、MPU(Media Processing Unit)タイムスタンプ記述子、およびMPU拡張タイムスタンプ記述子を解析することで、エレメンタリーストリームの解析を不要とし、受信機で画音のショックがない切り替えを放送システム側で実現するものである。
【0014】
図1は、放送システムに適用される一般的な圧縮多重系制御装置の構成例を示す機能ブロック図である。
【0015】
放送システム100は、地上デジタル放送、衛星放送、CATV、およびIP再送信等のための放送システム(配信システムを含む)である。
【0016】
圧縮多重系制御装置110は、映像音声を圧縮符号化し、所定の放送方式に準拠したMMTP/TLV(MMTP over TLV)を生成し、STL伝送装置/OFDM変調器のような送信設備へ出力する。ここで所定の放送方式とは、今後地上デジタル放送方式の高度化が見込まれ、そこで策定された放送方式や、新4K8K衛星放送などを意味する。また、送信設備のSTL伝送装置/OFDM変調器は一例であり、例えば、今後IP網を用いて送信設備へ出力することも考えられ、送信設備への出力インターフェースを特定する必要はない。
【0017】
圧縮多重系制御装置110は、冗長化のために、同一の構成をしている現用系システム120Aと予備系システム120Bとを備えており、現用系システム120Aと予備系システム120Bとのそれぞれが、複数のエンコーダ122(#1)~(#4)と、多重化装置124と、スクランブラ125とを備えている。
【0018】
圧縮多重系制御装置110はまた、現用系システム120Aと予備系システム120Bとに共通して設けられた系統切替装置130を備えている。
【0019】
圧縮多重系制御装置110はさらに、複数のエンコーダ122(#1)~(#4)、多重化装置124、および系統切替装置130へ同期信号を配信する同期信号発生装置140を備えている。
【0020】
圧縮多重系制御装置110はさらにまた、ISDB-T(Integrated Services Digital Broadcasting-Terrestrial)フレーム同期信号を生成し、生成したISDB-Tフレーム同期信号を多重化装置124へ出力するフレーム同期信号生成装置150を備えている。尚、ここではISDB-Tフレーム同期を例示しているが、ISDB-S3フレーム同期や、ISDB-T方式を将来拡張した場合のフレーム同期も適用しても良い。
【0021】
エンコーダ(HDエンコーダ)122(#1)、(SD1エンコーダ)(#2)、(SD2エンコーダ)(#3)、および(SD3エンコーダ)はそれぞれ、映像音声を圧縮符号化し、圧縮符号化された映像音声を、同期信号発生装置(#4)140から出力された同期信号を用いて、MMTP/TLV(MMTP over TLV)に置き換え、多重化装置124へ出力する。
【0022】
多重化装置124は、各エンコーダ122(#1)、(#2)、(#3)、(#4)によって圧縮符号化された映像音声を、同期信号発生装置140から出力された同期信号と、フレーム同期信号生成装置150から出力されたISDB-Tフレーム同期信号とを用いて、ISDB-Tフレーム構成を有する放送TS信号に多重化し、スクランブラ125へ出力する。
【0023】
スクランブラ125は、多重化装置124から出力されたMMTまたはMMTP/TLVに対して、スクランブル処理を施し、スクランブル処理されたMMTまたはMMTP/TLVを、系統切替装置130へ出力する。
【0024】
系統切替装置130は、スクランブラ125から出力されたMMTまたはMMTP/TLVに対して、同期信号発生装置140から出力された同期信号を用いて、フレーム位相調整を行い、フレーム位相調整されたMMTまたはMMTP/TLVを、STL伝送装置、OFDM変調器等の送信設備へ出力する。
【0025】
本発明の実施形態の信号切替方法が適用された信号切替装置は、
図1に示すような圧縮多重系制御装置110において、各エンコーダ122と多重化装置124との間に備えられる。あるいは、多重化装置124の中に組み込むこともできる。
【0026】
また、本発明の実施形態の信号切替方法が適用された信号切替装置は、事前に放送用にエンコードされた素材を収録したストリーマとライブエンコーダ、ストリーマとストリーマ間の番組切替を実現するために、
図1に示すような圧縮多重系制御装置110に適用されるのに限定されず、ストリーマの中に組み込むこともできる。
【0027】
図2は、本発明の実施形態の信号切替方法が適用された信号切替装置の構成例を示す機能ブロック図である(切替前後のMMTPパケットが同じインターフェースから入力される場合)。
【0028】
図2に例示する信号切替装置10は、切替前後のMMTPパケットが同じインターフェースから入力される場合の構成例であって、MMTP処理部20、MPT処理部30、MMTPパケットバッファ(挿入用)40、MMTPパケット選択部50、およびMMTPパケット読出制御部60を備え、MMTP処理部20はさらに、MMTPパケットヘッダ解析部22、MMTPペイロードヘッダ解析部24、MMTPパケットバッファ(切替前)26、MMTPパケットバッファ(切替後)28を備え、MPT処理部30はさらに、MPUタイムスタンプ記述子解析書換部32およびMPU拡張タイムスタンプ記述子解析書換部34を備えている。
【0029】
MMTPパケットヘッダ解析部22は、上流側(例えば、
図1に示すエンコーダ122や、図示しないストリーマ)から送られる切替前IPデータフロー/packet_ID a、および切替後IPデータフロー/packet_ID bから、切替前および切替後のMMTPパケット(MPU)およびPAメッセージ(MPT)のパケットをそれぞれ分離する。
【0030】
図3は、ARIB STD-B60で規定されているMMTPパケットのデータ構造を示す図である。
【0031】
上流側から送られる切替前および切替後のIPデータフローには、ARIB STD-B60で規定されているMPUタイムスタンプ記述子、MPU拡張タイムスタンプ記述子が含まれている。
【0032】
図4は、ARIB STD-B60で規定されているMPUタイムスタンプ記述子のデータ構造を示す図である。
【0033】
図5は、ARIB STD-B60で規定されているMPU拡張タイムスタンプ記述子のデータ構造を示す図である。
【0034】
図6は、ARIB STD-B60で規定されているMMTPペイロードのデータ構造を示す図である。
【0035】
MMTPペイロードヘッダ解析部24は、MMTPパケットヘッダ解析部22によって分離された各MPUのMPUタイムスタンプ記述子(
図4)の「mpu_sequecne_number」から各MPUのMPU番号をそれぞれ取得し、各MPU番号の変化点で、アクセスユニット数のカウンタをゼロに初期化したMMTPパケットをそれぞれ出力する。出力先は、MMTPパケットが切替前のものである場合、MMTPパケットバッファ(切替前)26であり、切替後のものである場合、MMTPパケットバッファ(切替後)28である。カウンタは、MMTPペイロード(
図6)の「aggregation_flag」=1が発見されるたびにインクリメントされる。「aggregation_flag」=1は、新たな映像アクセスユニットの開始を表す。
【0036】
MPT処理部30にあるMPUタイムスタンプ記述子解析書換部32は、MMTPパケットヘッダ解析部22によって分離されたPAメッセージ(MPT)のパケットに含まれるMPUタイムスタンプ記述子(
図4)から、各MPU番号「mpu_sequecne_number」と、各MPUに含まれるアクセスユニットの最初の提示時刻「mpu_presentation_time」とを取得する。
【0037】
MPT処理部30にあるMPU拡張タイムスタンプ記述子解析書換部34は、MPU拡張タイムスタンプ記述子(
図5)において、各MPUのMPU番号と「mpu_decoding_time_offset」と、各MPUの各アクセスユニットに付与された「dts_pts_offset」から、各アクセスユニットの提示時刻を求め、各MPUの最後のアクセスユニットの提示時刻を求める。
【0038】
MMTPパケット読出制御部60は、MPU拡張タイムスタンプ記述子解析書換部34からの出力を、切替時刻cに応じてMMTPパケット選択部50へ出力する。
【0039】
MMTPパケットバッファ(挿入用)40は、挿入用のMMTPパケットをバッファしている。挿入用のMMTPパケットとは、切替前のMPUの最後の提示時刻のアクセスユニット(A)と、切替後のMPUの最初の提示時刻のアクセスユニット(B)の間に、ギャップがある場合に挿入するものである。ギャップとは、例えば60フレーム/秒の映像の場合、AとBの時間差が1/60秒より大きい場合(N/60秒、N≧2)を意味する。挿入用のパケットは、映像であれば例えば黒画面や特定の静止画または動画、音声であれば例えば無音をあらかじめ符号化してMMTPパケット化したものである。前記の例では、(N-1)枚の映像フレームを符号化したもの、または、1枚の映像フレームを符号化したものを(N-1)回連結してギャップ期間挿入用のMMTPパケットとする。MMTPパケットバッファ(挿入用)40には、異なるNに対応した挿入用MMTPパケットや、異なる映像や音声を符号化したものをあらかじめ保存しておき、外部からどれを挿入用に使うか指定しても良い。
【0040】
MMTPパケット選択部50は、MMTPパケット読出制御部60を介して入力される切替時刻cと、MPU拡張タイムスタンプ記述子解析書換部34からの切替前の最後のMPUの提示時刻と、MPUタイムスタンプ記述子解析書換部32からの切替後の最初のMPUの提示時刻とに基づいて、MMTPパケットバッファ(切替前)26から、切替前の最後のMMTPパケットを、MMTPパケットバッファ(切替後)28から、切替後の最初のMMTPパケットを選択し、出力する。
【0041】
なお、切替前のMMTPパケットと、切替後のMMTPパケットとの間にMMTPパケットを挿入する場合には、MMTPパケットバッファ(挿入用)40から挿入用のMMTPパケットを受け取り、切替前の最後のMMTPパケットと、挿入用のMMTPパケットと、切替後の最初のMMTPパケットとを、この順序で出力する。
【0042】
図7は、切替前後のMMTPパケットが異なるインターフェースから入力される場合におけるMMTP処理部の構成例を示す機能ブロック図である。
【0043】
なお、信号切替装置10に入力される切替前後のMMTPパケットが異なるインターフェースから入力される場合は、MMTP処理部20の構成が、
図7に示すMMTP処理部20aに置き換えられる。
【0044】
図7において、MMTPパケットヘッダ解析部22(#1)、MMTPペイロードヘッダ解析部24(#1)、およびMMTPパケットバッファ(切替前)26は、切替前のMMTPパケットを処理する系統を構成し、MMTPパケットヘッダ解析部22(#2)、MMTPペイロードヘッダ解析部24(#2)、およびMMTPパケットバッファ(切替後)28は、切替後のMMTPパケットを処理する系統を構成する。
【0045】
MMTPパケットヘッダ解析部22(#1)およびMMTPペイロードヘッダ解析部24(#1)は、切替前のMMTPパケットに対して、MMTPパケットヘッダ解析部22およびMMTPペイロードヘッダ解析部24と同様な処理を行い、MMTPパケットヘッダ解析部22(#2)およびMMTPペイロードヘッダ解析部24(#2)は、切替後のMMTPパケットに対して、MMTPパケットヘッダ解析部22およびMMTPペイロードヘッダ解析部24と同様な処理を行う。
【0046】
次に、このような構成をした信号切替装置10による動作例を説明する。
【0047】
(動作例A)
動作例Aでは、MPUタイムスタンプ記述子解析書換部32がMPUタイムスタンプ記述子(
図4)を、MPU拡張タイムスタンプ記述子解析書換部34が、MPU拡張タイムスタンプ記述子(
図5)を解釈することにより、あるMPU番号のMPUに含まれる各アクセスユニットの提示時刻を認識することを、切替前と切替後のMMTストリームに対して行い、MMTPパケット選択部50は、切替後のMMTストリームにおいて、切替時刻cを含むMPUを切替後に最初に送出するMPUとし、そのMPUの最初の提示時刻に対し、切替前のMMTストリームを構成するMPUの最後の提示時刻が前になるように、切替前の最後のMPUを決定する。
【0048】
図8は、動作例AにおいてMMTPパケット選択部によってなされる切替前の最後のMPUおよび切替後の最初のMPUの決定方法を示すタイミング図である。
【0049】
すなわち、MMTPパケット選択部50は、
図8に示すように、切替前のMPUおよび切替後のMPUのそれぞれ(この場合、切替前のMPUはa1~a3であり、切替後のMPUはb1~b3である)における提示期間に基づいて、切替時刻cを含む切替後のMPU(この場合、b3)を、切替後の先頭MPUとし、切替前の最後のMPUの提示期間と重ならないように、切替前の最後のMPUを特定する。
【0050】
このような特定の例を、
図8における切替例1と切替例2とを用いて説明する。切替例1は、切替前の直前のMPU(この場合、a2)を提示する場合であり、切替例2は、それよりも前のMPU(この場合、a1)を提示する場合を示している。
この場合、切替例1では、切替前の最後のMPUがa2となり、切替例2では、切替前の最後のMPUがa1となる。
切替例1、切替例2ともに、切替前の最後のMPUが、切替後の先頭MPUであるb3と重ならない。
【0051】
なお、切替前の最後のMPUの決定時に、切替後のMPUの最初の提示時刻から所定の時刻を引いた(過去に戻した)時刻を用いても良い。
【0052】
このように、MMTPパケット選択部50は、指定された切替時刻cから、あらかじめ決めた時間だけ遡った時刻から切替前後のMMT入力をそれぞれ解析してMPUの切れ目(境界)とそれぞれのMPUの提示期間をMPUタイムスタンプ記述子およびMPU拡張タイムスタンプ記述子から調べ、提示期間およびMMTストリームの送出タイミングが重ならず、切替後のMPUが指定された切替時刻を含むよう、切替前のMPUと切替後のMPUを選択する。これは、映像と音声との両方に適用される。
【0053】
(動作例B)
動作例Bは、切替前のMPUの提示期間解析時に、MPU拡張タイムスタンプ記述子(
図5)からMPU(GOP(Group Of Picture))内のSOP(Structure Of Picture)構造を調べてSOPの切れ目(境界)となるピクチャを求め、そのSOPの提示終了が切替時刻より前、かつ、そのSOPの送出タイミングが切替後のMPUの送出タイミングが重ならないように切替前のMPUおよびそのMPU内のSOP境界を求める。これは、映像に適用される。
【0054】
具体的には、MPT処理部30のMPUタイムスタンプ記述子解析書換部32とMPU拡張タイムスタンプ記述子解析書換部34とが、切替前のMPU中の各アクセスユニットの提示時刻を当該MPUに対する(MPU番号に対応する)MPUタイムスタンプ記述子(
図4)およびMPU拡張タイムスタンプ記述子(
図5)から求め、MMTPパケット選択部50は、SOPの切れ目(境界)となるピクチャを求め、SOPの提示終了が切替時刻より前、かつ、SOPの送出タイミングが切替後のMPUの送出タイミングが重ならないように切替前のMPUおよびそのMPU内のSOP境界を求める。
【0055】
図9は、SOPの構造(リオーダリング適用時)を示す図である。
【0056】
図10は、SOPの構造(リオーダリング非適用時)を示す図である。
【0057】
図11は、動作例BにおいてMMTPパケット選択部によってなされる切替前の最後のMPUおよび切替後の最初のMPUの決定方法を示すタイミング図である。
【0058】
図9のような階層B構造の場合、符号化順(送出順)と提示順が入れ替わっており、SOP境界までのアクセスユニットは提示順で連続する。従って、各アクセスユニットの提示時刻を求めた後、昇順に並べていき、MPUタイムスタンプ記述子で示される提示時刻から連続に提示時刻が並んだアクセスユニットまでがSOPの境界となる(
図11の切替例1)。なお、
図10のような構造では、全てのアクセスユニットの境界でSOPを終了させることができる。ここで求めたSOP境界に基づき、切替前後のパケット送出が重ならないよう、切替前の最終MPU中の最終SOPを決める(
図11の切替例2)。
【0059】
(動作例C)
動作例Cは、映像に適用される。MMTPパケットバッファ(切替前)26にバッファされた切替前の最終MPUは、元のMPUのアクセスユニット数から少なくなっている。そのため、MPU拡張タイムスタンプ記述子解析書換部34は、MPU拡張タイムスタンプ記述子(
図5)のアクセスユニット数を減らし、最終SOPに含まれるアクセスユニットの情報だけが含まれるように削除する。
【0060】
図12は、動作例Cを説明するための、MPU拡張タイムスタンプ記述子の構成例を示す図である。
【0061】
MPU拡張タイムスタンプ記述子解析書換部34は、MMTPパケットバッファ(切替前)26にバッファされた切替前のMPUに対応するMPU拡張タイムスタンプ記述子として、
図12に示すように、求めたSOP境界以降のアクセスユニットの情報を削除したものをMMTPパケット選択部50へ送出する。これによって、MPT中に複数のMPUタイムスタンプ記述子(
図4)およびMPU拡張タイムスタンプ記述子(
図5)が入っている場合に、MPTのアセットループから不要な(切替により使わなくなる)記述子を削除することができる。
【0062】
(動作例D)
動作例Dは、求めたSOP境界がMPUの先頭から何(N)個目のアクセスユニットまでを含むのかを判定し、MPUの先頭からMMTPペイロードヘッダの「aggregation_flag」が1になっているパケットの数を数え、(N+1)個目のパケットから送出を停止するようにしたもので、映像に適用される。
【0063】
具体的には、MMTPペイロードヘッダ解析部24が、同一のIPデータフローおよび同一のpacket_idのMMTPパケット(アセット)を解析し、「mpu_sequence_number」が変化したところで、MPU中のアクセスユニット数を0に初期化し、以降、「aggregation_flag=1」のMMTPパケットを見つけるたびに、アクセスユニットの数をインクリメントする。
【0064】
この結果と、動作例Bで求めたSOP境界までのMPU中のアクセスユニット数をMMTPパケット選択部50が比較し、切替前の最後のSOPの最後のアクセスユニットまで送出を終えたら、以降はMMTPパケットバッファ(切替前)からの読み出しをやめ、MMTPパケットバッファ(切替後)からの読み出し待ちとする。
【0065】
なお、非VCL NALユニットは、アクセスユニットの先頭に必ず複数存在し、それ以外の場所には存在しない。従って、「aggregation_flag」が1であるMMTPペイロードを含むMMTPパケットがアクセスユニットの先頭となる。なお、packet-ID毎にMMTPパケットを解析することは、MMT規格から自明である。
【0066】
(動作例D’)
動作例D’は、映像に適用され、MMTPペイロードヘッダ解析部24が、MMTPパケットヘッダ解析部22によって分離された各MPUについて、MMTPペイロード(
図6)の「fragmentation_indicator」が、ある特定値を示すことに着目して、映像の先頭、最後、それ以外(先頭であり最後である場合もある)を識別し、次の「aggregation_flag」をカウントしない。
【0067】
そして、「fragmentation_indicator」を認識することによって、動作例Dのように「aggregation_flag」で認識するよりも、映像の終了を早く認識することができる。
【0068】
【0069】
図13は、パケットが時系列的に入力される状態を示す図である。
【0070】
図13において1つの映像パケットは、ハッチングされた四角形のブロックで示す先頭の1個の非VCLパケットと、ハッチングされていないブロックで示す後続する1個以上のVCLパケットとから構成される。
【0071】
非VCLパケットには、「aggregation_flag」=1が設定されている。動作例Dでは、MMTPパケット選択部50は、「aggregation_flag」を識別することにより、映像パケットの塊を識別している。したがって、動作例Dの場合、ある映像パケットの終了を認識するためには、次の映像パケットの最初の「aggregation_flag」を認識する必要がある。例えば、4つ目の映像パケット4の終了を認識するためには、5つ目の映像パケット5の「aggregation_flag」を認識することによってなされる。
【0072】
しかしながら、動作例D’では、「aggregation_flag」ではなく、「fragmentation_indicator」で映像パケットの塊を識別する。
【0073】
MPUを含むMMTPパケットの場合、「fragmentation_indicator」がMMTPペイロードのヘッダに設定されており、「01」がfragmentの最初のパケットであることを、「10」が最初でも最後でもないパケットであることを、「11」が最後のパケットであることを、「00」が1つ以上のNALユニットを含むパケットであることをそれぞれ示している。
【0074】
すなわち、「aggregation_flag」=0のVCLパケットで「fragmentation_indicator」が「11」または「00」を認識することによってアクセスユニットの終了を検出することが可能になり、次のアクセスユニットの先頭に出現する非VCLパケットの「aggregation_flag」を受信して認識する前に、映像アクセスユニットを構成するパケットの塊の最後を判断することができる。これは、黒画面の時のように映像符号量が少なく、結果としてパケットの間隔が長い場合に有効な判断手段となる。
【0075】
このようにして、MMTPペイロードヘッダ解析部24は、動作例Dの場合よりも、映像の終了を早く認識することができる。
【0076】
(動作例E)
動作例Eは、映像に適用され、MMTPパケット選択部50は、切替後のMPUが指定された切替時刻を含むか否かを調べるために、MPUタイムスタンプ記述子(
図4)およびMPU拡張タイムスタンプ記述子(
図5)から、当該MPUの提示期間を求める。
【0077】
(動作例F)
図14は、動作例FにおいてMMTPパケット選択部によってなされる切替前の最後のMPUおよび切替後の最初のMPUの決定方法を示すタイミング図である。
【0078】
動作例Fは、映像に適用され、切替前のMPU(またはMPU内のSOP)の送出終了タイミングが判明するまで、切替前のMPU(またはMPU内のSOP)を送出することができないため、切替前のMPU(またはMPU内のSOP)をバッファし、固定遅延を実現するMMTPパケットバッファ(切替前)26を設ける。もし
図14の切替前の最後のMPUを送出し、切替後の切替時刻を含むMPUも送出すると、同じ提示時刻に提示する映像フレームが2個存在することになる。本動作例は、このような事態を防ぐためのものである。また、映像符号化では、各フレームのピクチャタイプに応じて符号化した後の符号量が異なるため、映像の提示タイミングが重なっていなくてもMMTPストリームの送出タイミング(MMTPパケット選択部に入力されるタイミング)が重なる場合があり、そのような場合、切替前後のMMTPパケットを交互に(切替前がN回→切替後がM回→切替前がL→切替後がK回→・・・)送出されるため、正常に受信・再生できなくなる。そこで、切替前のMMTPストリームが切替後のMMTPストリームの送出タイミングに重ならないよう、本バッファでバッファリングを行い、切替前のMPU(またはMPU内のSOP)を打ち切るフレーム位置を決定する。
【0079】
(動作例G)
動作例Gは、映像に適用され、MMTPパケット選択部50が、切替前のMPU(またはMPU内のSOP)で最後に提示する映像フレームの提示時刻と、切替後に最初に提示する映像フレームの提示時刻を、MPU拡張タイムスタンプ記述子(
図4)から求め、両者の間に欠落フレームがある場合、あらかじめ所定の画像を符号化多重化して作成したMPUを、MMTPパケットバッファ(挿入用)40から挿入する。
【0080】
これは、動作例Bや動作例Fで切り替えを行う場合、提示する映像音声フレームにギャップが生じる場合があり、受信機にショックを与える恐れがあることを回避するための措置である。
【0081】
動作例B(
図8に示す切替例2)や、動作例F(
図8における切替例1)のように、切り替えにより提示される映像音声フレームが欠落する場合、MMTPパケットバッファ(挿入用)40から、事前に所定の映像音声を符号化しておいた結果を読み出して挿入する。所定の映像音声とは、黒画面、番組終了/開始時の静止画画面、無音等であり、番組情報と挿入する映像音声フレーム数等に基づいて、適切なものを選択する。
【0082】
(動作例H)
動作例Hは映像に適用され、動作例GでMMTPパケットを挿入する場合の提示時刻の連続性を守るためのMPUタイムスタンプ記述子内の時刻情報の補正方法であり、切替前のMPUの最後の映像フレームの提示時刻に基づき、フレームレートから算出される時刻の整数倍を加算した時刻となるように、挿入するMPUと切替後のMPUの提示時刻を設定または補正する。
【0083】
具体的には、切替前後のMPUの各映像音声フレームの提示時刻の差が、映像フレームレートから算出される所定の時間または音声フレーム中のサンプル数およびサンプリング周波数から算出される所定の時間となっていない場合、MPUタイムスタンプ記述子解析書換部32は、切替後のMPUのMPUタイムスタンプ記述子中の提示時刻を補正する。また、挿入するMPUについても同様にする。もし、1フレーム以上の時間の補正が必要と判断された場合、挿入するMPUのフレーム数を1フレーム減らすことで、当初想定していた提示時刻からのズレを1フレーム以内に抑える。
【0084】
(動作例I)
動作例Iは、音声に適用され、MMTPパケット選択部50が、切替前のMPUで最後に提示する音声フレームの提示時刻と、切替後に最初に提示する音声フレームの提示時刻とを、MPUタイムスタンプ記述子(
図4)およびMPU拡張タイムスタンプ記述子(
図5)から求め、両者の間に欠落フレームがある場合、MMTPパケットバッファ(挿入用)40から、あらかじめ無音の音声を符号化多重化して作成したMPUを挿入する。
【0085】
この効果は、動作例Gと同様であるので重複説明を避ける。
【0086】
(動作例J)
動作例Jは音声に適用され、動作例Iにおいて、切替前のMPUの最後の音声フレームの提示時刻に基づき、音声フレームに相当する時刻の整数倍を加算した時刻となるよう、挿入するMPUと切替後のMPUの提示時刻を設定または補正する。
【0087】
具体的には、切替前後のMPUの各映像音声フレームの提示時刻の差が、映像フレームレートから算出される所定の時間または音声フレーム中のサンプル数およびサンプリング周波数から算出される所定の時間となっていない場合、MPUタイムスタンプ記述子解析切替部32は、切替後のMPUのMPUタイムスタンプ記述子(
図4)中の提示時刻(「mpu_presentation_time」)を補正する。また、挿入するMPUについても同様にする。もし、1フレーム以上の時間の補正が必要と判断された場合、挿入するMPUのフレーム数を1フレーム減らすことで、当初想定していた提示時刻からのズレを1フレーム以内に抑える。
【0088】
この効果は、動作例Hと同様であるので重複説明を避ける。
【0089】
上述したように、本実施形態の信号切替方法が適用された信号切替装置によれば、MMT層の解析だけで、GOP開始位置や符号量があらかじめ収録時に決まっているストリーマと、エンコーダもしくはストリーマの間での切替が可能になるので、エンコーダが、ベースバンドで行う必要も、GOP開始位置や符号量を制御する必要もなく、切替時における画音のショックなく、番組切替や冗長系統の切替が可能となる。
【0090】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【0091】
10・・信号切替装置、20、20a・・MMTP処理部、22・・MMTPパケットヘッダ解析部、24・・MMTPペイロードヘッダ解析部、26・・MMTPパケットバッファ(切替前)、28・・MMTPパケットバッファ(切替後)、30・・MPT処理部、32・・MPUタイムスタンプ記述子解析書換部、34・・MPU拡張タイムスタンプ記述子解析書換部、40・・MMTPパケットバッファ(挿入用)、50・・MMTPパケット選択部、60・・MMTPパケット読出制御部、100・・放送システム、110・・圧縮多重系制御装置、120A・・現用系システム、120B・・予備系システム、122・・エンコーダ、124・・多重化装置、125・・スクランブラ、130・・系統切替装置、140・・同期信号発生装置、150・・フレーム同期信号生成装置