(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023180769
(43)【公開日】2023-12-21
(54)【発明の名称】メディア伝送システム、送信装置、送信システム、受信装置及び受信システム
(51)【国際特許分類】
H04N 21/236 20110101AFI20231214BHJP
H04N 21/8547 20110101ALI20231214BHJP
H04N 21/43 20110101ALI20231214BHJP
H04L 7/06 20060101ALI20231214BHJP
【FI】
H04N21/236
H04N21/8547
H04N21/43
H04L7/06
【審査請求】有
【請求項の数】12
【出願形態】OL
(21)【出願番号】P 2022094336
(22)【出願日】2022-06-10
(11)【特許番号】
(45)【特許公報発行日】2023-07-26
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.Linux
(71)【出願人】
【識別番号】591230295
【氏名又は名称】NTTイノベーティブデバイス株式会社
(74)【代理人】
【識別番号】100083806
【弁理士】
【氏名又は名称】三好 秀和
(74)【代理人】
【識別番号】100101247
【弁理士】
【氏名又は名称】高橋 俊一
(74)【代理人】
【識別番号】100095500
【弁理士】
【氏名又は名称】伊藤 正和
(74)【代理人】
【識別番号】100098327
【弁理士】
【氏名又は名称】高松 俊雄
(72)【発明者】
【氏名】山口 高弘
(72)【発明者】
【氏名】大野 吉仁
(72)【発明者】
【氏名】増井 優貴
(72)【発明者】
【氏名】一口 銀
【テーマコード(参考)】
5C164
5K047
【Fターム(参考)】
5C164GA03
5C164MC06P
5C164SB10S
5C164SB14P
5C164SB24S
5C164UB04P
5C164UB21S
5K047AA06
(57)【要約】
【課題】映像信号の出力遅延を低減し、映像信号の位相の揺らぎによる映像品質の低下を回避する。
【解決手段】メディア伝送システムであって、メディア送信装置1は、アライメントポイントのタイミングに対応付けて生成された映像信号を受信する映像信号受信回路111と、映像信号をフレーム単位で複数のパケットに変換するパケット化回路112と、各パケットに、生成時のアライメントポイントのタイミングのタイムスタンプを付与するタイムスタンプ付与回路113と、各パケットをIP信号として送信するIP信号送信回路114とを含み、メディア受信装置2は、 前記パケットを受信するIP信号受信回路211と、パケットから映像信号のフレームを再生するデパケット化回路212と、再生したフレームを前記タイムスタンプのアライメントポイントにオフセットを加算した出力タイミングで出力するオフセット制御回路213と、オフセット制御回路213から出力されるフレームを出力する映像信号送信回路214とを含む。
【選択図】
図1
【特許請求の範囲】
【請求項1】
送信装置と受信装置とを備えるメディア伝送システムであって、
前記送信装置は、
各フレームがSMPTE_EPOCHに基づくアライメントポイントのタイミングに対応付けて生成された映像信号を受信する映像信号受信回路と、
前記映像信号をフレーム単位で複数のパケットに変換するパケット化回路と、
各パケットに、対応するフレームに設定された生成時の前記アライメントポイントのタイミングに相当するタイムスタンプを付与するタイムスタンプ付与回路と、
前記タイムスタンプが付与された各パケットをIP信号として送信するIP信号送信回路と、を含み、
前記受信装置は、
前記パケットを受信するIP信号受信回路と、
受信したパケットから前記映像信号のフレームを再生するデパケット化回路と、
再生した前記フレームを、対応するパケットに付与された前記タイムスタンプのアライメントポイントに、所定のオフセットを加算した出力タイミングで出力するオフセット制御回路と、
前記オフセット制御回路から出力されるフレームを、前記映像信号として出力する映像信号送信回路と、を含む
メディア伝送システム。
【請求項2】
前記映像信号は、複数の系列に分割されて前記送信装置に送信され、
前記送信装置において、
前記映像信号受信回路は、複数の系列の映像信号を受信し、
前記パケット化回路は、各系列の映像信号を複数のパケットに変換し、
前記タイムスタンプ付与回路は、各系列のパケットに、対応するフレームに設定された前記アライメントポイントのタイミングに相当するタイムスタンプを付与し、
前記IP信号送信回路は、前記タイムスタンプが付与された各系列のパケットをIP信号として送信し、
前記受信装置において、
前記IP信号受信回路は、各系列の前記パケットを受信し、
前記デパケット化回路は、各系列の前記パケットから各系列のフレームを再生し、
前記オフセット制御回路は、再生した各系列のフレームを、対応するパケットに付与された前記タイムスタンプのアライメントポイントに、所定のオフセット値を加算した出力タイミングで出力し、
前記映像信号送信回路は、前記オフセット制御回路から出力される各系列のフレームを出力する
請求項1に記載のメディア伝送システム。
【請求項3】
前記送信装置および前記受信装置の組を、複数備える
請求項1または2に記載のメディア伝送システム。
【請求項4】
前記送信装置および前記受信装置の組を複数備え、
前記複数の組は、マスタ系列用の組と、少なくとも1つのスレーブ系列用の組とを含み、
前記映像信号は、前記マスタ系列と、少なくとも1つの前記スレーブ系列とに分割して送信され、
各送信装置において、
前記映像信号受信回路は、自身の系列の映像信号を受信し、
前記パケット化回路は、受信した前記映像信号を複数のパケットに変換し、
前記タイムスタンプ付与回路は、自身の系列がマスタ系列の場合は、前記パケットに対応するフレームに設定された前記アライメントポイントのタイミングに相当するタイムスタンプを付与し、自身の系列がスレーブ系列の場合は、前記マスタ系列で付与されたタイムスタンプに対して、少なくとも1フレーム分進んだ或いは遅れたタイムスタンプを前記パケットに付与し、
前記IP信号送信回路は、前記タイムスタンプが付与されたパケットをIP信号として送信し、
各受信装置において、
前記IP信号受信回路は、自身の系列の前記パケットを受信し、
前記デパケット化回路は、受信したパケットからフレームを再生し、
前記オフセット制御回路は、自身の系列がマスタ系列の場合は、再生したフレームを、対応するパケットに付与された前記タイムスタンプのアライメントポイントに、所定のオフセット値を加算した出力タイミングで出力し、自身の系列がスレーブ系列の場合は、再生したフレームを、前記マスタ系列のタイムスタンプのアライメントポイントに前記オフセット値を加算した出力タイミングで出力し、
前記映像信号送信回路は、前記オフセット制御回路から出力されるフレームを、映像信号として出力する
請求項1に記載のメディア伝送システム。
【請求項5】
前記映像信号は、m個の系列に分割して送信され、n番目のフレーム系列がマスタ系列で、マスタ系列より後のn+1番目~n+m-1番目のフレーム系列がスレーブ系列の場合、
前記タイムスタンプ付与回路は、自身の系列が前記スレーブ系列の場合、前記マスタ系列で付与されたタイムスタンプよりも後の時刻のタイムスタンプをパケットに付与する
請求項4に記載のメディア伝送システム。
【請求項6】
前記映像信号は、m個の系列に分割して送信され、n番目のフレームの系列がマスタ系列で、マスタ系列より前のn-1番目~n-m+1番目のフレーム系列がスレーブ系列の場合、
前記タイムスタンプ付与回路は、自身の系列が前記スレーブ系列の場合、前記マスタ系列で付与されたタイムスタンプよりも前の時刻のタイムスタンプをパケットに付与する
請求項4に記載のメディア伝送システム。
【請求項7】
送信装置と受信装置とを含むメディア伝送システムにおける前記送信装置であって、
各フレームがSMPTE_EPOCHに基づくアライメントポイントのタイミングに対応付けて生成された映像信号を受信する映像信号受信回路と、
前記映像信号をフレーム単位で複数のパケットに変換するパケット化回路と、
各パケットに、対応するフレームに設定された生成時の前記アライメントポイントのタイミングに相当するタイムスタンプを付与するタイムスタンプ付与回路と、
前記タイムスタンプが付与された各パケットをIP信号として送信するIP信号送信回路と、を含む
送信装置。
【請求項8】
前記映像信号は、複数の系列に分割して送信され、
前記映像信号受信回路は、複数の系列の映像信号を受信し、
前記パケット化回路は、各系列の映像信号を複数のパケットに変換し、
前記タイムスタンプ付与回路は、各系列のパケットに、対応するフレームに設定された前記アライメントポイントのタイミングに相当するタイムスタンプを付与し、
前記IP信号送信回路は、前記タイムスタンプが付与された各系列のパケットをIP信号として送信する
請求項7に記載の送信装置。
【請求項9】
請求項7に記載の送信装置を複数備える送信システムであって、
前記複数の送信装置は、マスタ系列用の送信装置と、少なくとも1つのスレーブ系列用の送信装置とを含み、
前記映像信号は、前記マスタ系列と、少なくとも1つの前記スレーブ系列とに分割して送信され、
各送信装置において、
前記映像信号受信回路は、自身の系列の映像信号を受信し、
前記パケット化回路は、受信した前記映像信号を複数のパケットに変換し、
前記タイムスタンプ付与回路は、自身の系列がマスタ系列の場合は、前記パケットに対応するフレームに設定された前記アライメントポイントのタイミングに相当するタイムスタンプを付与し、自身の系列がスレーブ系列の場合は、前記マスタ系列で付与されたタイムスタンプに対して、少なくとも1フレーム分進んだ或いは遅れたタイムスタンプを前記パケットに付与し、
前記IP信号送信回路は、前記タイムスタンプが付与されたパケットをIP信号として送信する
送信システム。
【請求項10】
送信装置と受信装置とを含むメディア伝送システムにおける前記受信装置であって、
各フレームがSMPTE_EPOCHに基づくアライメントポイントのタイミングに対応付けて生成された映像信号のパケットを、前記送信装置から受信するIP信号受信回路であって、前記パケットには、対応するフレームに設定された生成時のSMPTE_EPOCHに基づくアライメントポイントのタイミングに相当するタイムスタンプが付与されたIP信号受信回路と、
受信したパケットから前記映像信号のフレームを再生するデパケット化回路と、
再生した前記フレームを、対応するパケットに付与された前記タイムスタンプのアライメントポイントに、所定のオフセットを加算した出力タイミングで出力するオフセット制御回路と、
前記オフセット制御回路から出力されるフレームを、前記映像信号として出力する映像信号送信回路と、を含む
受信装置。
【請求項11】
前記映像信号は、複数の系列に分割して送信され、
前記IP信号受信回路は、各系列の前記パケットを受信し、
前記デパケット化回路は、各系列の前記パケットから各系列のフレームを再生し、
前記オフセット制御回路は、再生した各系列のフレームを、対応するパケットに付与された前記タイムスタンプのアライメントポイントに、所定のオフセット値を加算した出力タイミングで出力し、
前記映像信号送信回路は、前記オフセット制御回路から出力される各系列のフレームを出力する
請求項10に記載の受信装置。
【請求項12】
請求項10に記載の受信装置を複数備える受信システムであって、
前記複数の受信装置は、マスタ系列用の受信装置と、少なくとも1つのスレーブ系列用の受信装置とを含み、
前記映像信号は、前記マスタ系列と、少なくとも1つの前記スレーブ系列とに分割して送信され、
各受信装置において、
前記IP信号受信回路は、自身の系列の前記パケットを受信し、
前記デパケット化回路は、受信したパケットからフレームを再生し、
前記オフセット制御回路は、自身の系列がマスタ系列の場合は、再生したフレームを、対応するパケットに付与された前記タイムスタンプのアライメントポイントに、所定のオフセット値を加算した出力タイミングで出力し、自身の系列がスレーブ系列の場合は、再生したフレームを、前記マスタ系列のタイムスタンプのアライメントポイントに前記オフセット値を加算した出力タイミングで出力し、
前記映像信号送信回路は、前記オフセット制御回路から出力されるフレームを、映像信号として出力する
受信システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、メディア伝送システム、送信装置、送信システム、受信装置及び受信システムに関する。
【背景技術】
【0002】
近年、映像等のメディア信号(映像信号)が、番組制作のためにIP化されてネットワークを介して伝送されるシステムが急速に進展している。例えば、非圧縮の映像信号であるSDI(Serial Digital Interface)信号が、IPパケット化されてEthernetを介して伝送される。SMPTE(米国映画テレビ技術者協会)において、このようなシステムの標準化が行われており、随時改定が重ねられている。
【0003】
特許文献1では、SMPTEに準拠した映像信号のIP伝送システムにおいて、映像信号の位相を簡易な構成で調整できる受信機が開示されている。
【0004】
また、特許文献2には、デジタル放送に用いられているMPEG-2 TS方式に代わる新たな方式として規定されたMMT方式において、符号化された映像信号をIPパケット化してインターネット等を経由して伝送する方式が開示されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2021-77940号公報
【特許文献2】特開2018-74480号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
特許文献1の受信機では、受信側の再生SDIの出力タイミングは、SMPTEの規定に従って、SMPTE_EPOCHを基準としたアライメントポイントの単位となる。アライメントポイントの単位は、フレーム単位に相当する。従って、受信側では、受信したIPパケットからSDI信号が再生できても、場合によっては、1フレーム近く出力を待つ必要がある。
【0007】
また、特許文献1の送信機では、SDI 信号から生成したRTPパケットからフレームの境界を検出し、その時点でキャプチャされたタイムスタンプをRTPパケットに設定している。すなわち、従来の送信機では、SDI信号のフレーム或いはそれをパケット化したRTPパケットのフレームが回路に入力した時刻を、タイムスタンプとして打刻する。
【0008】
しかしながら、外部のカメラから送信機に供給されるSDI信号には、ジッタ等によって位相の揺らぎ、即ちアクティブ映像区間とブランキング区間のエッジのタイミングの揺らぎが存在する。そのため、RTPパケット及びそれから検出するフレームの境界にも、位相の揺らぎが発生する。
【0009】
本発明は上記の課題に鑑みてなされたものであって、本発明は、映像信号の出力遅延を低減し、映像信号の位相の揺らぎによる映像品質の低下を回避することを目的とする。
【課題を解決するための手段】
【0010】
上記目的を達成するため、本発明の一態様は、送信装置と受信装置とを備えるメディア伝送システムであって、前記送信装置は、各フレームがSMPTE_EPOCHに基づくアライメントポイントのタイミングに対応付けて生成された映像信号を受信する映像信号受信回路と、前記映像信号をフレーム単位で複数のパケットに変換するパケット化回路と、各パケットに、対応するフレームに設定された生成時の前記アライメントポイントのタイミングに相当するタイムスタンプを付与するタイムスタンプ付与回路と、前記タイムスタンプが付与された各パケットをIP信号として送信するIP信号送信回路と、を含み、前記受信装置は、前記パケットを受信するIP信号受信回路と、受信したパケットから前記映像信号のフレームを再生するデパケット化回路と、再生した前記フレームを、対応するパケットに付与された前記タイムスタンプのアライメントポイントに、所定のオフセットを加算した出力タイミングで出力するオフセット制御回路と、前記オフセット制御回路から出力されるフレームを、前記映像信号として出力する映像信号送信回路と、を含む。
【0011】
本発明の一態様は、送信装置と受信装置とを含むメディア伝送システムにおける前記送信装置であって、各フレームがSMPTE_EPOCHに基づくアライメントポイントのタイミングに対応付けて生成された映像信号を受信する映像信号受信回路と、前記映像信号をフレーム単位で複数のパケットに変換するパケット化回路と、各パケットに、対応するフレームに設定された生成時の前記アライメントポイントのタイミングに相当するタイムスタンプを付与するタイムスタンプ付与回路と、前記タイムスタンプが付与された各パケットをIP信号として送信するIP信号送信回路と、を含む。
【0012】
本発明の一態様は、送信装置と受信装置とを含むメディア伝送システムにおける前記受信装置であって、各フレームがSMPTE_EPOCHに基づくアライメントポイントのタイミングに対応付けて生成された映像信号のパケットを、前記送信装置から受信するIP信号受信回路であって、前記パケットには、対応するフレームに設定された生成時のSMPTE_EPOCHに基づくアライメントポイントのタイミングに相当するタイムスタンプが付与されたIP信号受信回路と、受信したパケットから前記映像信号のフレームを再生するデパケット化回路と、再生した前記フレームを、対応するパケットに付与された前記タイムスタンプのアライメントポイントに、所定のオフセットを加算した出力タイミングで出力するオフセット制御回路と、前記オフセット制御回路から出力されるフレームを、前記映像信号として出力する映像信号送信回路と、を含む。
【発明の効果】
【0013】
本発明によれば、映像信号の出力遅延を低減し、映像信号の位相の揺らぎによる映像品質の低下を回避することができる。
【図面の簡単な説明】
【0014】
【
図1】
図1は、メディア伝送システムの全体構成図である。
【
図2】
図2は、第1の実施形態のメディア伝送システムの構成図である。
【
図3】
図3は、第1の実施形態のタイムスタンプの打刻方法を説明する図である。
【
図4】
図4は、第1の実施形態のメディア受信装置の出力タイミングを説明する図である。
【
図5】
図5は、メディア送信装置およびメディア受信装置の実装例である。
【
図6】
図6は、第2の実施形態のメディア伝送システムの構成図である。
【
図7】
図7は、第2の実施形態のメディア伝送システムの処理フローチャートである。
【
図8】
図8は、第2の実施形態のメディア伝送システムの動作タイムチャートである。
【
図9】
図9は、第3の実施形態のメディア伝送システムの構成図である。
【
図10】
図10は、第3の実施形態のメディア伝送システムの動作を説明する図である。
【
図11】
図11は、第3の実施形態のメディア伝送システムの他の動作を説明する図である。
【発明を実施するための形態】
【0015】
以下、本発明の実施形態を、図面を用いて説明する。複数の図面中同一のものには同じ参照符号を付し、説明は繰り返さない。
【0016】
図1は、本発明に係るメディア伝送システムを示す図である。メディア生成部3は、カメラ等で構成され、映像・音声・補助データが重畳されたデジタル信号であるSDI信号(メディア信号、映像信号)を出力する。メディア伝送システムは、このSDI信号をネットワークを介して伝送するシステムである。メディア伝送システムは、SDI信号を、ネットワークを介して伝送する際に、一般的には、SMPTE ST2110またはSMPTE ST2022-8規格に対応したIP信号(映像パケット、メディアパケット)に変換して伝送する。なお、本明細書おいて、「メディア」及び「メディア信号」は、映像、音声、及び補助データ(アンシラリデータ)及びその信号を示す。また、「メディア信号」は、「映像信号」ともいう。
【0017】
メディア伝送システムは、メディア送信装置1と、メディア受信装置2を含む。メディア送信装置1は、SDI信号をIP信号に変換するSDI/IP変換回路11と、PTPタイミング生成回路12とを含む。メディア受信装置2は、IP信号をSDI信号に変換するIP/SDI変換回路21と、PTPタイミング生成回路22とを含む。
【0018】
PTPグランドマスタ4(以下、「GM」)は、PTP(Precision Time Protocol)に対応した高精度な時刻を配信する装置である。PTPは、IEEE1588にて定義された高精度にクロックや時刻を同期させるプロトコルである。GM4は、メディア送信装置1及びメディア受信装置2内のPTPタイミング生成回路12、22と時刻情報パケットを定期的に送受信する。これにより、PTPタイミング生成回路12、22のクロックまたは時刻情報を、GM4のクロックまたは時刻情報に同期させることができる。この時、GM4のクロックをGPS(全地球測位システム)信号に同期させることで、GM4の時刻情報及びPTPタイミング生成回路12、22の時刻情報を、TAI(国際原子時)やUTC(協定世界時)の絶対時刻にナノ秒レベルの誤差で同期させることができる。
【0019】
映像信号の伝送においては、SMPTE ST2059-1規格及びST2059-2規格に、1970年1月1日午前0時0分0秒(SMPTE_EPOCH)の時刻を基準とすることが規定されている。特に、これらの規格には、SDI信号の映像フレーム同期信号として、SMPTE_EPOCHを基準とした時刻によって示されるアライメントポイントが定義されている。即ち、映像信号を生成する際または再生する際には、一般的にはアライメントポイントのタイミングでSDI信号の各フレームが生成および出力される。アライメントポイントは、GM4のクロックに同期した高精度クロックから計算される。
【0020】
また、PTPタイミング生成回路12、22のクロックは、システムクロックとして、メディア送信装置1及びメディア受信装置2の各回路の処理動作に使用される。本明細書では、PTPタイミング生成回路12、22からのシステムクロックを「PTPクロック」、時刻情報を「SMPTE_EPOCHに基づいたPTP時刻」、或いは単に「PTP時刻」と称する。
【0021】
メディア送信装置1は、SDI/IP変換回路11において、メディア生成部3からの映像・音声・補助データが重畳されたSDI信号(デジタル信号)を、SMPTE ST2110またはSMPTE ST2022-8規格に対応したメディアパケット(IP信号)に変換し、Ethernetフレームとしてネットワークに送信する。この時、メディアパケットには、SDI信号のフレームがメディア送信装置1に入力された時刻ではなく、各フレームが生成される時に対応付けられているSMPTE_EPOCHに基づいたアライメントポイントのタイミングがタイムスタンプとして打刻される。なお、SMPTE ST2110では、映像、音声及び補助データをそれぞれIPパケット化する方法が、SMPTE ST2022-8では、映像、音声及び補助データが重畳されたSDI信号をそのまままとめてIPパケット化する方法が規定されている。
【0022】
メディア受信装置2は、IP/SDI変換回路21において、SMPTE ST2110またはSMPTE ST2022-8規格に対応したメディアパケット(IP信号)をEthernetフレームとして受信し、映像・音声・補助データの重畳されたSDI信号(デジタル信号)に変換し出力する。この時、SDI信号の各フレームは、一般的にはSMPTE_EPOCHに基づいたアライメントポイントのタイミング(フレーム単位のタイミング)を待って出力される。
【0023】
しかし、本実施形態では、SDI信号の各フレームは、各フレームに打刻されたタイムスタンプに対応するアライメントポイントに、所定のオフセットを加えたタイミングで即時に出力される。即ち、本実施形態では、直近(次の)アライメントポイントのタイミングを待つことはしない。所定のオフセットには、メディア送信装置1およびメディア受信装置2による処理時間、及び、装置間1、2の伝送遅延時間が含まれる。これにより、次のアライメントポイントのタイミングを待つ従来の方式に比べて、低遅延でのフレームの出力が可能となる。
【0024】
また、各フレームに打刻されたタイムスタンプに対応するアライメントポイントを基準としたタイミングでフレームを出力することにより、マルチリンク伝送の場合、高精度なフレーム同期出力を実現することができる。マルチリンク伝送において、タイムスタンプ値が揃わない信号が受信側に送信された場合、受信側においてもマルチリンク間で、出力されるSDI信号のフレーム境界がずれる可能性があり、これによって合成時の画面が乱れる恐れがあるが、本実施形態では、受信側で画面内の乱れを生じさせることなく高品質な映像・音声を復元できる。
【0025】
<第1の実施形態>
図2は、本発明の第1の実施形態に係るメディア伝送システムの構成を示す図である。
【0026】
メディア送信装置1のSDI/IP変換回路11は、SDI信号受信回路111、RTPパケット化回路112、タイムスタンプ付与回路113、及びIP信号送信回路114を有する。メディア受信装置2のIP/SDI変換回路21は、IP信号受信回路211、RTPデパケット化回路212、オフセット制御回路、213及びSDI信号送信回路214を有する。
【0027】
SDI信号受信回路111は、PTPタイミング生成回路12からPTPクロックを受信し、これに基づいてSMPTE ST2059-1及び2059-2に規定されたSMPTE_EPOCHに基づいた映像同期信号(GenLock)を生成し、メディア生成部3に供給する。メディア生成部3は、GenLockに基づいて生成したSDI信号を、SDI信号受信回路111へ供給する。この時、SDI信号の各フレームは、SMPTE_EPOCHに基づいたアライメントポイントのタイミングに対応付けられて生成される。
【0028】
SDI信号受信回路111は、各フレームがSMPTE_EPOCHに基づいたアライメントポイントのタイミングに対応付けて生成された映像信号を受信する。具体的には、SDI信号受信回路111は、このSDI信号を内部のPTPクロックと同期して受信し、受信したSDI信号をRTPパケット化回路112へ送る。
【0029】
RTPパケット化回路112は、SDI信号をフレーム単位で複数のパケットに変換する。具体的には、 RTPパケット化回路112は、SDI信号受信回路111から供給されてきたSDI信号をSMPTE ST2110-20/30/40又はST2022-8で規定されるメディアパケット(RTPパケット)に変換する。ここでは、RTPパケット化回路112は、SDI信号を所定のバイトごとに区切ってメディアペイロードとし、ペイロードヘッダ及びRTPヘッダを付加してRTPパケットにカプセル化する。
【0030】
RTPとは、IETF RFC3550で規定されるReal-time Transport Protocolを示し、動画や音声等のデータストリームを一連のRTPパケットに分けて、リアルタイムに転送するためのデータ通信プロトコルである。一連のRTPパケットは、データのストリームを構成する。以降、このデータのストリームをRTPストリームと称する。RTPストリームは、複数のRTPパケット毎にフレームを構成する。このフレームは、SDI信号において定義されたフレームと同じである。なお、RTPストリームは、後段のIP信号送信回路114においてIPパケット化されてIP信号となり、インターネット等のネットワークを介して相手先(メディア受信装置2)に伝送される。
【0031】
タイムスタンプ付与回路113は、各RTPパケットに、対応するフレームに設定された生成時の前記アライメントポイントのタイミングに相当するタイムスタンプを付与する。ここでは、タイムスタンプ付与回路113は、RTPパケット化回路112から送られてくるRTPパケットに対して、タイムスタンプを打刻する。タイムスタンプは、RTPヘッダに設定される。具体的には、SDI信号から生成された一連のメディアパケット(RTPパケット)に、SDI信号のフレームの生成時のアライメントポイントのタイミングを示すタイムスタンプ値を打刻する。なお、本実施形態では、タイムスタンプを時刻として表したり、或いは時刻を示す別の指標値(例えば、クロックのカウント値)として表す場合がある。また、タイムスタンプとタイムスタンプ値は同意である。また、タイムスタンプの打刻、付与及び設定は同意である。
【0032】
IP信号送信回路114は、タイムスタンプが付与された各RTPパケットをIP信号として送信する。具体的には、IP信号送信回路114は、タイムスタンプが付与されたRTPストリームをIPパケット化したIP信号を、イーサネットフレームに乗せて、SMPTE ST2110-10に従ったタイミングでネットワークへ出力する。なお、IP信号送信回路114は、GM4とPTPタイミング生成回路12の間で時刻情報パケットを交信するための送受信装置の役目も果たす。
【0033】
ネットワークとしては、例えばインターネットを利用できるが、IP信号を伝送できるネットワークであればどのネットワークも利用できる。
【0034】
次に、メディア送信装置のタイムスタンプ付与回路113の動作について説明する。
【0035】
図3は、本実施形態のタイムスタンプの打刻方法について説明する図である。
図3の横軸は、SMPTE_EPOCHから経過した時刻、即ちPTP時刻を示す。
(a)は、メディア送信装置1の出力(IP信号)の理想的なフレームタイミングを示している。メディア生成部3からメディア送信装置1へのSDI信号に遅延や揺らぎがなく、メディア送信装置1内部の処理時間も無視した場合を想定している。従って、ここでは、メディア生成部3から受信したSDI信号によるフレームのタイミングが、そのままのタイミングでIP信号によるフレームのタイミングとして出力される様子を示している。
【0036】
IP信号の出力について、時刻T0、T1、T2・・・において、フレーム0、1、2、・・・のRTPパケットが出力される。時刻T0、T1、T2・・・のタイミングは、SMPTE_EPOCHに基づいたアライメントポイントのタイミングであり、そのタイミングでメディア生成部3からSDI信号の各フレームが連続して送られてくる。SMPTE_EPOCHに基づいたアライメントポイントは、メディア送信装置1からメディア生成部3に対して、GenLockとして提供される。従って、メディア送信装置1は、どのタイミングでメディア生成部3から信号が送られているかは既知である。
【0037】
また、この時、フレーム0の全RTPパケットには、時刻T0に相当するタイムスタンプが打刻され、同様に、フレーム1の全RTPパケットには、時刻T1に相当するタイムスタンプが、フレーム2の全RTPパケットには時刻T2に相当するタイムスタンプが打刻される。なお、時刻T1と時刻T0との間の時間、時刻T2と時刻T1との間の時間は、フレーム周期である。実際に設定するタイムスタンプ値は、時刻をクロックのカウント値(整数)に変換した値である。フレーム周期のカウント値が小数点を持つと、カウント値で表した周期は各フレームで必ずしも同一にはならない。
【0038】
メディア生成部3から入力されるSDI信号は、ジッタ等によって時間的な揺らぎが生じる場合がある。
【0039】
(b)は、メディア送信装置1の出力(IP信号)の実際のフレームタイミングを示している。ここでは、SDI信号に時間的な揺らぎがある場合を想定している。(b)では、SDI信号受信回路111は、フレーム0を時刻T0で受信した後、フレーム1をT1よりもΔt1だけ早く受信し、フレーム2を時刻T2よりもΔt2だけ遅く受信した例を示している。なお、実際にはフレーム0の受信時刻のT0に対しても揺らぎが生じるかもしれないが、説明の都合上、ここでは、フレーム0の受信時刻T0には揺らぎはないものと仮定する。
【0040】
上記の例では、フレーム0、1、2のRTPパケットのタイムスタンプには、一般的にはSDI信号受信回路111が各フレームを受信した際にキャプチャしたPTP時刻、即ち、それぞれ、T0、T1-Δt1、T2+Δt2に相当する値が打刻される。
【0041】
しかし、本実施形態では、メディア送信装置1がSDI信号の各フレームをキャプチャした時刻を用いたタイムスタンプの打刻は行わない。本実施形態では、受信したSDI信号に時間的な揺らぎがあったとしても、(a)に示すような理想的なタイムスタンプ値を各フレームに打刻する。具体的には、フレーム0には、時刻T0に相当するタイムスタンプ値を、フレーム1には、時刻T1に相当するタイムスタンプ値を、フレーム2には、時刻T2に相当するタイムスタンプ値を打刻する。以降のフレームについても同様に打刻する。
【0042】
その具体例を、(c)を用いて説明する。
【0043】
(c)は、(b)の実際のフレームタイミングにおける具体的なタイムスタンプ値を示している。 SMPTE_EPOCHに基づいたPTP時刻は、規格においては80ビットで表現されて、48ビットの秒フィールド(secondsField)と、ナノ秒単位の時刻を表す32ビットのナノ秒フィールド(nanosecondsField)で構成される。タイムスタンプ付与回路113は、このPTPの時刻情報を、90kHzクロックの32ビットのカウンタ値に変換し、このカウンタ値をタイムスタンプとして打刻する。PTPの時刻情報をタイムスタンプ値に変換する場合、タイムスタンプ値は整数と規定されているので、一般的にはカウント値は、小数分が四捨五入される。
【0044】
SDI信号のフレーム0が入力された場合、フレーム0に対応付けられたアライメントポイントによる時刻T0に相当する90kHzカウント値CT0が、そのフレーム0の全てのRTPパケットにタイムスタンプとして打刻される。続いてフレーム1が入力された場合、フレーム1に対応付けられたアライメントポイントによる時刻T1に相当する90kHzカウント値CT1が、そのフレーム1の全てのRTPパケットにタイムスタンプとして打刻される。更にフレーム2が入力された場合、フレーム2に対応付けられたアライメントポイントによる時刻T2に相当する90kHzカウント値CT2が、そのフレーム2の全てのRTPパケットにタイムスタンプとして打刻される。以降も同様である。
【0045】
例えば、フレームレートが59.94Hzの場合、フレーム周期は1/59.94Hzであるので、90kHzクロックのカウント数では、1/59.94x90,000=1501.50150150150・・・カウントとなる。即ち、フレーム0の時刻T0に対応するカウント値がCT0の場合、以降のフレームのカウント値は、CT1=CT0+1501.50150150150・・・×1、CT2=CT0+1501.50150150150・・・×2、・・・となる。ここで、仮に(実際にはないが)、CT0=0とすると、CT1=1501.50150150150・・・、CT2=3003.003003003・・となる。小数点を四捨五入して整数にすると、CT0=0、CT1=1502、CT2=3003となる。即ち、このような値がタイムスタンプ値として打刻される。この時、CT1-CT0=1502、CT2-CT1=1501となる。上記の例では、フレームが進むにつれてしばらく、周期は、1502と1501が交互に繰り返される。ただし、小数点2位以下の端数(0.00150150150・・・)が累積によって1を超えた時点で、1502なる周期が連続する場合が生じる。このようなタイムスタンプの設定によって、フレームレート59.94Hzを維持することができる。
【0046】
以上が、理想的なフレームタイミングにおける実際のタイムスタンプ値である。また、フレーム0におけるタイムスタンプ値CT0についても、T0を90kHzクロックでカウントした値を四捨五入等によって整数化した値を設定する。なお、フレームの境界については、RTPパケットのヘッダに、Marker bit (M): 1 bit が設定されており、それをフレームの終了時に1とすることになっている。このため、タイムスタンプ付与回路113は、Marker bit (M)を用いてフレームの境界を判別できる。
【0047】
上述したように、タイムスタンプ付与回路113は、SDI信号の生成時のSMPTE_EPOCHに基づいたアライメントポイントによる理想的なフレームタイミングを、タイムスタンプとして設定する。このようなタイムスタンプが設定された各RTPパケットは、RTPストリームとなり、IP信号送信回路114において、IP信号となってネットワークへ出力される。すなわち、本実施形態では、各フレームの受信時にキャプチャされたPTP時刻情報をタイムスタンプとして使用しない。
【0048】
図2に戻り、メディア送信装置1から送出されたIP信号は、ネットワークを介して、メディア受信装置2で受信される。
【0049】
メディア受信装置2で受信されたIP信号は、IP信号受信回路211に供給される。IP信号受信回路211は、IP信号(IPパケット)を受信する。具体的には、IP信号受信回路211は、イーサネットフレームに乗せられたIP信号から、RTPパケットで構成されるRTPストリームを抽出して、RTPデパケット化回路212へ送る。なお、IP信号受信回路211は、メディア送信装置1のIP信号送信回路114と同様に、GM4とPTPタイミング生成回路22との間で時刻情報パケットを交信するための送受信装置の役目も果たす。
【0050】
RTPデパケット化回路212は、受信したIP信号からSDI信号のフレームを再生する。具体的には、RTPデパケット化回路212は、IP信号受信回路211から供給されたRTPストリームから、SMPTE ST2110-20/30/40又はST2022-8に規定に基づいて、SDI信号を構成するビット列(フレームデータ)を生成する。このSDI信号は、オフセット制御回路213へ送られる。
【0051】
オフセット制御回路213は、再生したSDI信号のフレームを、対応するRTPパケットに付与されたタイムスタンプのアライメントポイントに、所定のオフセットを加算した出力タイミングで出力する。すなわち、オフセット制御回路213では、メディア送信装置1で打刻されたタイムスタンプ値の時刻にオフセットを加えたタイミングで、SDI信号を後段のSDI信号送信回路214に送る。オフセットには、伝送遅延時間と、送信側及び受信側のSDI/IP変換処理時間とを加算した総合遅延時間以上の時間を用いる。
【0052】
SDI信号送信回路214は、オフセット制御回路213から出力されるフレームを、SDI信号として出力する。すなわち、SDI信号送信回路214は、オフセット制御回路213から出力されるSDI信号を直ちに出力する。
【0053】
以下に、オフセット制御回路213の動作について説明する。
【0054】
図4は、本実施形態のメディア受信装置2の出力タイミングを説明する図である。横軸は、SMPTE_EPOCHに基づくPTP時刻である。
【0055】
(a)は、メディア送信装置1のSDI信号受信回路111に入力されるSDI信号のイメージを示す。SDI信号のフレーム0、1、2・・・が、アライメントポイントのタイミングである時刻T0、T1、T2・・・で、SDI信号受信回路111に入力される。
図3で説明したように、メディア生成部3から送られてくるSDI信号のフレームタイミングT0、T1、T2は、メディア送信装置1において既知である。なお、ここでは
図3で説明したSDI信号の時間的な揺らぎは説明の都合上示していない。
【0056】
(b)は、メディア送信装置1のIP信号送信回路114から出力されるIP信号のイメージを示す。SDI信号受信回路111が受信したSDI信号は、RTPストリームに変換された後さらにIP信号として出力される。フレーム内の各RTPパケットには、
図3で説明したタイムスタンプ値CT0、CT1、CT2・・・が打刻されている。また、IP信号は、SDI信号からIP信号へ変換する処理遅延分、遅延が生じる。
【0057】
(c)は、メディア受信装置2のIP信号受信回路211に入力されるIP信号のイメージを示す。メディア受信装置2が受信したIP信号は、ネットワーク伝送による伝送遅延が生じている。
【0058】
(d)は、メディア受信装置2のRTPデパケット化回路212から出力されるSDI信号のイメージを示す。メディア受信装置2で受信されたIP信号は、RTPデパケット化回路212において、SDI信号に組み立てられる。この時、IP信号からSDI信号へ変換する処理遅延が追加される。
【0059】
(e)は、メディア受信装置2のオフセット制御回路213から出力されるSDI信号′のイメージを示す。オフセット制御回路213は、メディア送信装置1の処理時間、伝送遅延時間、及びメディア受信装置2の処理時間を加算した総合遅延時間を算出し、オフセットとする。伝送遅延時間については、予め、測定用のパケットをメディア送信装置1およびメディア受信装置2で送受信することで測定しておく。実際の伝送遅延時間は、事前に測定した伝送遅延時間に対して多少変動する可能性がある。そのため、総合遅延時間には、伝送遅延時間の変動分を含む必要がある。変動分は、伝送遅延のばらつきを考慮して、ほぼすべてのケースにおいて、オフセットで指定したタイミングで出力できるように、例えば、伝送遅延時間の平均値を求めた際の3σ(標準偏差)を変動分として算出する。オフセット制御回路213は、総合遅延時間にこの変動分の付加時間を含んだオフセット値を算出してもよい。
【0060】
オフセット制御回路213は、フレーム0の出力タイミングが時刻T0+オフセット(指定時刻)になるように制御してSDI信号を出力する。具体的には、オフセット制御回路213は、その出力タイミングになるまでSDI信号をバッファ回路(不図示)に待機させてから出力する。なお、時刻T0、T1、T2・・・は、各フレームのタイムスタンプ値とアライメントポイントから容易に算出できる。各フレームのタイムスタンプ値は、
図3で説明したように整数値であるため、その値から直接正確なPTP時刻に基づくアライメントポイントは計算できないが、アライメントポイントは離散的な値であるため直近のアライメントポイントは容易に求められる。
【0061】
メディア受信装置2のSDI信号送信回路214は、原則、オフセット制御回路213から出力されたSDI信号を直ちに出力する。このため、メディア受信装置2が出力するSDI信号は、時刻T0に対してオフセット分だけ遅れたタイミングで出力される。
【0062】
(f)は、比較例として、SMPTE ST2110又はST2022-8に規定に基づいた一般的な伝送システムにおけるメディア受信装置から出力されるSDI信号のイメージを示す。(f)に示すように、一般的なメディア受信装置では、SDI信号は、当該SDI信号がメディア送信装置に入力された時刻毎に出力される。(f)の場合、SDI信号のフレーム0、1、2・・・がメディア送信装置に入力された時刻T0、T1、T2・・・毎に出力される。すなわち、一般的なメディア受信装置では、フレーム0を時刻T1まで待ってから出力する。
【0063】
これに対し、本実施形態では、フレーム0を時刻T1まで待たずに、時刻T0にオフセットを加えた時刻で出力する。このため、本実施形態では、待機時間を少なくして、メディア受信装置2の出力遅延を低減することができる。
【0064】
以下に具体的な例を説明する。一般的に、映像、音声、補助データを含むSDI信号と、IP信号との間の変換処理時間は、送信側および受信側で合計1ms以内である。また、ネットワークとして80kmの光ファイバ伝送を仮定すると、光ファイバ中の光速を20万km/秒とした場合、光ファイバの伝送遅延は0.4msとなる。従って、総合遅延時間は、1.4msとなる。変動分を想定した付加時間を0.1ms(伝送遅延の約25%)とした場合、オフセットは1.5msと設定できる。
【0065】
一方、一般的なメディア受信装置の場合、フレームレートが59.94Hzの場合に1周期は約16.68msであるため、最大16.68ms待って出力される。従って、本実施形態のメディア受信装置2では、余裕時間を考慮しない場合、オフセットの1.5ms後にほぼ即時に出力できる。よって、本実施形態では出力遅延を大幅に低減することができる。
【0066】
以上説明した、本実施形態のメディア伝送システムは、メディア送信装置1とメディア受信装置2とを備える。メディア送信装置1は、各フレームがSMPTE_EPOCHに基づくアライメントポイントのタイミングに対応付けて生成された映像信号を受信する映像信号受信回路111と、前記映像信号をフレーム単位で複数のパケットに変換するパケット化回路112と、各パケットに、対応するフレームに設定された生成時の前記アライメントポイントのタイミングに相当するタイムスタンプを付与するタイムスタンプ付与回路113と、前記タイムスタンプが付与された各パケットをIP信号として送信するIP信号送信回路114とを含む。メディア受信装置2は、前記パケットを受信するIP信号受信回路211と、受信したパケットから前記映像信号のフレームを再生するデパケット化回路212と、再生した前記フレームを、対応するパケットに付与された前記タイムスタンプのアライメントポイントに、所定のオフセットを加算した出力タイミングで出力するオフセット制御回路213と、前記オフセット制御回路213から出力されるフレームを、前記映像信号として出力する映像信号送信回路214とを含む。
【0067】
このように、本実施形態のメディア送信装置1では、映像信号(SDI信号)の各フレームが生成される時に対応付けられているSMPTE_EPOCHに基づいたアライメントポイントのタイミングをタイムスタンプとして打刻する。これにより、メディア送信装置1の各回路に入力される映像信号に時間的な揺らぎがあっても、常に理想的なフレームのタイミングを示す時刻がタイムスタンプとして設定できる。したがって、本実施形態では、映像信号の位相の揺らぎによる映像品質の低下を回避することができる。
【0068】
また、本実施形態のメディア受信装置2では、各フレームに打刻されたタイムスタンプに対応するアライメントポイントに、処理時間及び伝送遅延時間を考慮したオフセットを加えたタイミングで出力する。これにより、次のアライメントポイントのタイミングを待って出力する従来の方式に比べて、低遅延での出力が可能となる。
【0069】
図5は、本実施形態のメディア送信装置1およびメディア受信装置2の実装イメージを示す図である。
【0070】
メディア送信装置1およびメディア受信装置2テムには、例えば、
図5に示すようなホワイトボックス・スイッチを用いることができる。ホワイトボックス・スイッチは、CPU、Memory、Storage等 x86サーバーアーキテクチャに、Ethernet ASIC、クライアントトランシーバ等を組みわせたネットワーク機器であって、ハードとソフトが分離されており、必要な機能を持つネットワークOS/ソフトをユーザが選択し搭載できる。ホワイトボックス・スイッチの中には、Edgecore社 Cassini、Wistron社Galileo1のように、ハードウェアとしてトランスポンダ機能をプラグ・イン・ユニットの形で付加できるような拡張スロットを有しているものがある。
【0071】
図5では、メディア送信装置1の機能を有する送信モジュール1x及びメディア受信装置2の機能を有する受信モジュール2xをイーサのインタフェースを介して装着している。片方向の通信を構成する場合は、どちらか一方のモジュール1x、2xを装着し、両方向の通信を構成する場合は、両方のモジュール1x、2xを装着する。
【0072】
図5に例示した送信モジュール1x及び受信モジュール2xは、それぞれ4系統のSDI信号の入力端子及び出力端子を有する。
図2の例では、1系統のみ使用した場合であり、次に示す
図6の例では2系統使用する。4系統同時に伝送することも可能である。また、それ以上に増やすことも可能である。なお、本明細書では、ハードウェアに関係なく1系列の信号を送信または受信する経路を1系統と定義する。一組の送信装置及び受信装置で1つの系統を構成する場合、或いは複数の系統を構成する場合がある。
【0073】
図5では、メディア送信装置1およびメディア受信装置2の実装例として、外部からプログラムやインタフェースを搭載することで所望の機能を実現するホワイトボックスを示した。しかしながら、専用の装置を用いてメディア送信装置1およびメディア受信装置2を実現してもよい。
【0074】
【0075】
・SAI:オーブンなEthernet ASIC制御API。ネットワークOSにおいて複数ベンダのEthernet ASICを抽象化したHAL(Hardware Abstraction Layer)として利用される。(https://github.com/opencomputeproject/SAI 参照)。
【0076】
・DAI:Digital-media Abstraction Interface、Ethernet ASIC向けのSAIと同様の、Encapsulator/De-encapsulator, Encoder/Decoder等Digital Media Converterを抽象化したHAL。メディア送信装置1の送信モジュール1xおよびメディア受信装置2の受信のモジュール毎2x毎に、スイッチと接続するネットワークインターフェースオブジェクトhostifと、デジタルメディアと接続するメディアインタフェースオブジェクトmediaifを有している。mediaifの中に、genlock mode、playout offset等のアトリビュートが存在する。
【0077】
・DAI-SH:上記アトリビュートを設定するための専用CLI。
【0078】
・Bridge Adapter:ホワイトボックス・スイッチのネットワークOSのKernel-spaceと、DAI-VMをブリッジするIFアダプタ。これにより、送信モジュール1xおよび受信モジュール2xを、Linux Kernelから制御するためのi2cコマンドをSocketメッセージとしてControl Planeを経由してKernel側へ送ったり、DAIコマンドをSocketメッセージとしてData Planeを経由して送ることができるようになる。
【0079】
・DAI-VM:ネットワークOSと切り離して、Digital Media Converterを制御するためのKVM環境を提供する。
【0080】
図2に示す第1の実施形態のメディア送信装置1およびメディア受信装置2を、
図5のホワイトボックス・スイッチをそれぞれ用いて実現する場合、送信側のホワイトボックス・スイッチでは、メディア生成部3(カメラ等)を送信モジュール1xの1系統に接続し、クライアントトランシーバのインタフェースをネットワークに接続する。また、受信側のホワイトボックス・スイッチでは、クライアントトランシーバのインタフェースをネットワークに接続し、受信モジュール2xの1系統から、再生されたSDI信号を得る。
【0081】
<第2の実施形態>
第2の実施形態は、マルチリンク伝送の実施形態である。4Kや8Kのような超高精細映像の非圧縮信号の伝送には、高速の通信手段が必要であり、これについてもSMPTEにおいて規格化が行われている。例えば、HD(ハイビジョン)映像は、複数の信号に分けて伝送するようなことはないが、4Kや8Kでは、高速の伝送線路が用意できない場合、複数の信号に分けてマルチリンクとして伝送する場合がある。4K映像は、1本の通信ケーブルで伝送する場合(シングルリンク)、12Gbpsを通せるケーブル(12G-SDI)が必要となるが、4本のケーブルに分けて伝送する場合(マルチリンク)は、3Gbpsを通せるケーブルを4本用意すればよい(3G-SDI×4本)。同様に、8K映像は、1本の通信ケーブルで伝送する場合(シングルリンク)、48Gbpsを通せるケーブル(48G-SDI)が必要となるが、4本のケーブルに分けて伝送する場合(マルチリンク)は、12Gbpsを通せるケーブルを4本用意すればよい(12G-SDI×4本)。なお、通信分野では1チャネル当たり100Gbpsレベルの伝送が実用化されつつあるが、48G-SDIは規格化も済んでいない非常に難しい技術であるため、8K映像の伝送にはマルチリンク伝送が欠かせない。
【0082】
このようなマルチリンク伝送において重要なことは、送信側で複数の信号に分解した画面(映像フレーム)等を受信側でいかに正確に復元するかである。マルチリンクの場合、受信側のマルチリンク間でフレームの精確な同期を得ないと、合成時の画面が乱れる可能性がある。
【0083】
また、クロック信号とフレームの周期との関係により、カウンタ値が常に整数にならない場合があり、このような場合は一般的には四捨五入によってカウンタ値を整数化してタイムスタンプとして使用する。その場合、位相の揺らぎによって同じ周期の信号でも常に同じタイムスタンプ値にならない場合がある。前述の特許文献1の装置をマルチリンク伝送に適用する場合、マルチリンク伝送する信号の間で、タイムスタンプ値が揃わない場合が生じる可能性がある。なお、ジッタ等による位相の揺らぎは、カメラと送信機(送信装置)との間だけでなく、場合によっては送信機がSDI信号を受信する際に受信するデータのタイミングと送信機内部のクロックのタイミングとのずれによって発生する場合もある。マルチリンク間でタイムスタンプ値が揃わない信号が受信側に送信された場合、受信側においてもマルチリンク間で、出力されるSDI信号のフレーム境界がずれる可能性があり、これによって合成時の画面が乱れる恐れがある。
【0084】
また、前述の特許文献2では、複数経路の遅延の違いを吸収するために共通PTSオフセットを設定しているが、その設定基準は、PTSに対してである。PTSは、受信側での映像信号等を提示する予定の時刻である。従って、複数経路の遅延差を吸収するためのオフセットを計算する上で、基準が予定時刻のため計算が複雑になる。また、特許文献2では、複数の受信端末において、同じタイミングで映像信号を同期して再生するものの、その映像信号内部のフレームの周期や位相も含めて精確に同期することは考慮されておらず、合成時の画面の乱れが発生する恐れがある。また、特許文献2の時刻同期は、msecオーダーの同期精度のNTP(Network Time Protocol)を対象にしており、SMPTE規格のようにnsecオーダーの同期精度のPTP(Precision Time Protocol)を対象にする同期に比べて、同期精度が悪く、これによっても映像品質の低下は避け得ない。なお、特許文献2は、符号化された信号のIP伝送であり、符号化前の非圧縮信号をIP伝送するものではない。
【0085】
本実施形態では、各フレームに打刻されたタイムスタンプに対応するアライメントポイントを基準としたタイミングでフレームを出力することにより、マルチリンク伝送の場合であっても、高精度なフレーム同期出力を実現する。
【0086】
なお、4K及び8K映像を含むメディアのIP伝送規格は、SMPTE ST2110スイートに規定されている。また、SDIを用いた4Kのマルチリンクに関する規定は、クワッドリンクとしてSMPTE ST425-5に、8Kのマルチリンクに関する規定は、クワッドリンクとしてSMPTE ST2082-12に規定されている。
【0087】
図6は、本発明の第2の実施形態のメディア伝送システムの構成を示す図である。
【0088】
本実施形態のメディア送信装置1及びメディア受信装置2は、
図5に示す実装構成において、それぞれ複数の系統を使用する。
図5の例では、メディア送信装置1の機能を有する送信モジュール1x及びメディア受信装置2の機能を有する受信モジュールは、それぞれは4系統まで実装できる。ただし、
図5のホワイトボックス・スイッチが送信または受信の片方向の機能しか使用しない場合は、送信モジュール1xを2台、または、受信モジュール2xを2台搭載することで、8系統まで実装できる。このように複数の系統で複数の系列の信号を伝送する方式をマルチリンク伝送という。
【0089】
例えば、3G-SDIを用いて4K/59.94pの映像を伝送する場合は、Quad 3G-SDI(3Gbps伝送×4系統)が必要となる。また、12G-SDIを用いて8K/59.94p映像を伝送する場合も、Quad 12G-SDI(12Gbps伝送×4系統)が必要となる。
図5の実装構成では、送信側に4系統のSDIインタフェースを実装し、受信側にも4系統のSDIインタフェースを実装することで実現できる。
【0090】
図6に示す本実施形態のメディア伝送システムの個々の回路の動作については、
図2に示した第1の実施形態のメディア伝送システムの個々の回路と基本的は同じある。ただし、
図6の本実施形態のメディア伝送システムは、個々の回路がそれぞれn系統(複数の系統)の動作を並行して(同時に)行う。本明細書では、系統を「#」として表し、n番目の系統の信号を「#n」を付けて区別する。また、系統の数は、回路の数とは一致しない。本実施形態では、1つの回路で複数の系統の信号を処理する構成であるが、後述する第3の実施形態では、1つの回路で1つの系統を処理する構成とする。
【0091】
メディア送信装置1およびメディア受信装置2は、それぞれPTPタイミング生成回路12、22を1つ備える。本メディア伝送システムで用いるGM4は、1つである。PTPタイミング生成回路12、22の機能については、第1の実施形態と同じであり、GM4と同期したPTPクロック及びPTP時刻情報を装置毎に各回路へ供給する。
【0092】
メディア生成部3は、SDI信号受信回路111から映像同期信号であるGenLockが供給され、GenLockに基づいてSDI信号を生成する。SDI信号の各フレームは、アライメントポイントのタイミングで生成される。メディア生成部3は、生成したSDI信号の各フレームを、フレーム単位でn個の系列に分割してメディア送信装置1へ供給する。図示する例では、SDI信号は、フレーム単位で送信SDI#1~#nに分割してメディア送信装置1へ供給されている。
【0093】
メディア送信装置1のSDI信号受信回路111は、送信SDI#1~#nを受信し、RTPパケット化回路112へ送信SDI#1′~#n′を送る。RTPパケット化回路112は、送信SDI#1′~#n′をそれぞれRTPパケット化した送信RTPパケット#1~#nをタイムスタンプ付与回路113へ送る。
【0094】
タイムスタンプ付与回路113は、送信RTPパケット#1~#nのそれぞれに、
図3で説明したタイムスタンプをフレーム毎に付与した送信RTPストリーム#1~#nを出力する。IP信号送信回路114は、送信RTPストリーム#1~#nをそれぞれIP信号に変換した送信IP#1~#nをネットワークへ送信する。
図5に示す実装構成では、送信IP信号はEthernet ASICおよびクライアントトランシーバを介してネットワークへ送信される。
【0095】
メディア受信装置2のIP信号受信回路211は、ネットワークを介して受信IP#1~#nを受信し、RTPパケットで構成されるRTPストリームを抽出した受信RTPストリーム#1~#nを、RTPデパケット化回路212へ送る。RTPデパケット化回路212は、受信RTPストリーム#1~#nをそれぞれRTPデパケット化した受信SDI#1~#nをオフセット制御回路213へ送る。オフセット制御回路213は、受信SDI#1~#nに
図4で説明したオフセットをそれぞれ設定した受信SDI#1′~#n′を指定時刻にSDI信号送信回路214に出力する。SDI信号送信回路214は、受信SDI#1′~#n′を直ちに受信SDI#1″~#n″として出力する。
【0096】
図7は、本実施形態のメディア伝送システムの処理フローチャートである。
図8は、本実施形態のメディア伝送システムの動作タイムチャートである。
図7及び
図8では、
図6の構成図において、2系統、即ちn=2の場合について示している。
【0097】
図8において、(a)は、メディア送信装置1のSDI信号受信回路111の入力(送信SDI#1、送信SDI#2)を示し、(b)は、メディア送信装置1のIP信号送信回路114の出力(送信IP#1、送信IP#2)を示し、(c)は、メディア受信装置2のIP信号受信回路211の入力(受信IP#1、受信IP#2)を示し、(d)は、メディア受信装置2のSDI信号送信回路214の出力(受信SDI#1″、受信SDI#2″)を示す。また、(f)は、一般的なメディア受信装置のSDI信号の出力タイミングを比較例として示す。
【0098】
なお、
図7及び
図8は、一例として2系統の場合について示したが、これに限定されない。3系統以上でも、同様である。
【0099】
図7に示すように、送信側では、最初のステップとして、メディア送信装置1のPTPタイミング生成部12は、PTPタイミングを生成し、メディア生成部3(不図示)に供給する(S70)。メディア生成部3は、供給されたGenLockに基づいて、映像・音声・補助データを含む送信SDI#1及び送信SDI#2を生成し、メディア送信装置1に入力する。GenLockは、SMPTE_EPOCHに基づいた映像同期信号であり、アライメントポイントを生成する。メディア生成部3は、アライメントポイントのタイミングで、SDI#1及びSDI#2のフレームを構成する。SDI#1とSDI#2は、1つの装置(メディア生成部3)で同時に生成されてもよいし、また異なる場所に配置された複数の装置で別々に生成されてもよい。GenLockに基づいて生成されることで、メディア受信装置2が配置された受信側で、同時刻に生成された画像等は同じタイミングで再生したり、合成することができる。
【0100】
メディア送信装置1のSDI信号受信回路111は、送信SDI#1及び送信SDI#2を受信する(
図7:S71、
図8(a))。
図8(a)では、送信SDI#1(SDI信号)は、フレーム0(#1)、フレーム1(#1)、フレーム2(#1)・・・を含み、送信SDI#2(SDI信号)は、フレーム0(#2)、フレーム1(#2)、フレーム2(#2)・・・を含む。なお、送信SDI#1の、フレーム0(#1)、フレーム1(#1)、フレーム2(#1)は、メディア送信装置1の系統#1に入力されたフレームの順番を示す。送信SDI#2の、フレーム0(#2)、フレーム1(#2)、フレーム2(#2)は、メディア送信装置1の系統#2に入力されたフレームの順番を示す。したがって、例えばフレーム0(#1)と、フレーム0(#2)とは異なるフレームである。
【0101】
各フレームは、メディア生成部3に供給されたGenLockに基づいて、アライメントポイントのタイミングT0、T1、T2・・・で生成され、それぞれのタイミングでSDI信号受信回路111に供給される。即ち、各SDI信号のフレーム0(#1)、フレーム0(#2)、フレーム1(#1)、フレーム1(#2)、フレーム2(#1)、フレーム2(#2)・・・には、アライメントポイントのタイミングT0、T1、T2・・・が対応付けられている。
【0102】
仮に、フレームレートが59.94Hzの場合、フレーム周期は、1/59.94Hzであるので、90kHzクロックのカウント数では、1周期あたり1/59.94x90,000=1501.50150150150・・・カウントとして表せる。
図8(a)では、簡略して1501.5カウントと表記している。
【0103】
次に、RTPパケット化回路112は、送信SDI#1及び送信SDI#2を、それぞれRTPパケット#1及びRTPパケット#2に変換する(
図7:S72)。この変換は、一般的にEncapsulation(Encap)と称される。タイムスタンプ付与回路113は、RTPパケット#1及びRTPパケット#2に、タイムスタンプを設定し(
図7:S73)、送信RTPストリーム#1及び送信RTPストリーム#2を生成する。IP信号送信回路114は、送信RTPストリーム#1及び送信RTPストリーム#2をIPパケット化した送信IP#1及び送信IP#2をネットワークへ送信する(
図7:S74、
図8(b))。
【0104】
以下に、
図8を参照して、タイムスタンプ付与回路113のタイムスタンプの付与方法について説明する。
【0105】
まず、系統#1のフレーム0(#1)内の全てのRTPパケットには、送信SDI#1のフレーム0がアライメントポイントによって対応付けられた時刻T0に相当するカウント値CT0が打刻され、系統#2のフレーム0(#2)内の全てのRTPパケットにも同じCT0が打刻される。
【0106】
続いて、系統#1のフレーム1(#1)内の全てのRTPパケットには、アライメントポイントにおける時刻T1に相当するカウント値CT1が打刻され、系統#2のフレーム1(#2)内の全てのRTPパケットにも同じCT1が打刻される。更に、系統#1のフレーム2(#1)内の全てのRTPパケットには、アライメントポイントにおける時刻T2に相当するカウント値CT2が打刻され、系統#2のフレーム2(#2)内の全てのRTPパケットにも同じCT2が打刻される。以降も同様である。
【0107】
例えば、フレーム周期が1/59.94Hzでクロックが90kHzの場合、1周期に相当するカウント値は、1501.50150150150・・・なので、このカウント値をフレーム毎に積算した値を四捨五入して、CT0、CT1、CT2・・・が生成される。本実施形態においても、
図3で説明したように、各フレームのカウント差は、1502と1501がしばらくの間交互になり、ある時点で1502が繰り返される場合が生じる。但し、フレームレートとカウンタ用クロックとの関係によっては、上述した繰り返しの態様に限定されない。
【0108】
このように、系統#1及び系統#2の各フレームの全てのRTPパケットには、各フレームがSDI信号受信回路111又はRTPパケット化回路112に供給された時刻ではなく、フレーム生成時のSMPTE_EPOCHに基づいたアライメントポイントのタイミング(実際にはクロック値に換算した値)が、系統#1及び系統#2で揃うように打刻される。それは、メディア生成部3から受信するSDI信号に時間的な揺らぎがあっても変わらない。その結果、IP信号送信回路114の出力は、
図8(b)に示すように、送信IP#1及び送信IP#2のタイムスタンプ値は、同じフレームタイミングでは同じ値となっている。
【0109】
これによって、メディア送信装置1に入力される複数の系列のSDI信号に遅延差がある場合、または、各系列のSDI信号にジッタがある場合でも、同じフレームタイミングにおいて複数の系列でタイムスタンプは異なることなく、同じタイムスタンプが打刻される。
【0110】
図7に戻り、メディア送信装置1からネットワークに出力された送信IP#1及び送信IP#2は、メディア受信装置2のIP信号受信回路211へそれぞれ入力される(
図7:S75)。一般的に複数の系列のIP信号がネットワークを経由すると、
図8(c)に示すように、系列間で伝送遅延差が生じる場合がある。IP信号受信回路211に入力されるIP信号を受信IP#1及び受信IP#2と表す。
図8(c)では、受信IP#1が受信IP#2よりも先に入力される様子が示されている。
【0111】
RTPデパケット化回路212は、受信IP#1及び受信IP#2を、Decap開始タイミングでそれぞれデパケット化して受信SDI#1及び受信SDI#2に変換する(
図7:S76、S77)。この変換は、一般的にDe-Encapsulation(Decap)と称される。なお、PTPタイミング生成部22は、PTPタイミングを生成し、各回路に供給する(
図7:S80)。
【0112】
図8(c)では、Decap開始指示タイミングが、受信IP#1のフレーム1(#1)の受信直後で、且つ受信IP#2のフレーム1(#2)の受信直前に提供された例が示されている。この場合、受信IP#1において、RTPパケットからSDI信号に変換するためのデータが揃うのは、フレーム2(#1)以降であり、受信IP#2において、RTPパケットからSDI信号に変換するためのデータが揃うのはフレーム1(#2)以降となる。なお、Decap開始指示は、例えばユーザが出すことができる。
【0113】
従って、
図8(d)に示すように、SDI信号に変換後、最終的にSDI信号送信回路214から出力される受信SDI#1″はフレーム2(#1)以降、受信SDI#2″はフレーム1(#2)以降となる。この時、オフセット制御回路213は、各フレームの出力タイミングにオフセットを設定する(
図7:S78)。これにより、各系統の各フレームは、当該フレームに打刻されたタイムスタンプに対応するアライメントポイントにオフセットを加えたタイミングで直ちに出力される(
図7:S79)。
【0114】
具体的には、受信SDI#1″のフレーム2(#1)は、時刻T2+オフセットのタイミングで出力され、フレーム3(#1)は、時刻T3+オフセットのタイミングで出力される。また、受信SDI#2″のフレーム1(#2)は、時刻T1+オフセットのタイミングで出力され、フレーム2(#2)は、時刻T2+オフセットのタイミングで出力され、フレーム3(#2)は、時刻T3+オフセットのタイミングで出力される。
【0115】
なお、オフセットは、
図4で説明したように、伝送遅延の変動分を見込んだ付加時間を総合遅延時間(処理時間+伝送遅延)に加えた時間である。また、各受信SDI信号は、オフセット制御回路213内のバッファ回路(不図示)で、それぞれの出力タイミングまで待機している。
【0116】
なお、SMPTE ST2110またはSMPTE ST2022-8規格によると、一般的なSDI信号は、データが揃った時点以降の次のアライメントポイントのタイミングで出力される(
図8(f))。即ち、系統#1では、フレーム2(#1)は時刻T3で、フレーム3(#1)は時刻T4で出力され、系統#2では、フレーム1(#2)は時刻T2で、フレーム2(#2)は時刻T3で、フレーム3(#2)は時刻T4で出力される。
【0117】
しかし、本実施形態では、複数の系統において、次のアライメントポイントのタイミングを待たずに、SDI信号のフレームの生成時に対応付けられたアライメントポイントにオフセットを加えたタイミングで出力することができる。従って、本実施形態では、出力までの遅延を一般的なシステムより低減できる。
【0118】
また、オフセット設定によって、複数系統でマルチリンク伝送の場合、受信側でフレームの再生のタイミングがずれることを防ぎ、高精度なフレーム同期出力を得ることができる。
【0119】
また、出力タイミングの精度は、SMPTE_EPOCHに基づくPTP時刻を使用するためナノ秒オーダーにまで可能になる。また、
図8に示すように、伝送経路によって伝送遅延差が生じた場合においても、その最大の伝送遅延に合せたオフセットを設定することで、各系統のフレームの出力タイミングを高精度で一致させることができる。これにより、メディア受信装置2が出力するSDI信号を再生する受信側で、送信側の映像をより高品質に復元することができる。すなわち、映像信号を複数に分けてマルチリンク伝送を行う場合でも、受信側で画面内の乱れを生じさせることなく高品質な映像・音声を復元できる。
【0120】
なお、送信側のメディア送信装置1で、マルチリンク間で各フレームのタイムスタンプ値を同じ値に揃えているので、受信側のメディア受信装置2の出力タイミングをアライメントポイントにオフセットを加えたタイミングではなく、仮にタイムスタンプ値から直接計算した時刻にオフセットを加えたタイミングとしても、出力タイミングにずれを生じさせないようにできる。
【0121】
<第3の実施形態>
第3の実施形態は、マルチリンク伝送の他の実施形態である。
【0122】
図9は、本発明の第3の実施形態3に係るメディア伝送システムの構成を示す図である。図示するメディア伝送システムは、1系統のメディア送信装置及び1系統のメディア受信装置を、並列に2組に構成した例である。
【0123】
各装置の構成要素は、後に述べる管理時刻以外は、第1の実施形態と同じである。第2の実施形態では、1組のメディア送信装置及びメディア受信装置で、複数の系統のマルチリンクの例を示したが、本実施形態では、複数組のメディア送信装置及びメディア受信装置が、複数の系統を構成するマルチリンクの例を示す。
【0124】
本システムは、フレームレートが高速なHFRの伝送に有用と考える。例えば、4K/119.88pの伝送システムは、1組で3G-SDIを構成する場合、8組で構成される。また、8K/119.88pを12G-SDI 8組で構成する場合にも適用可能である。
【0125】
本実施形態では、説明の都合上、HFRの映像伝送を2組で構成した場合について示す。
【0126】
図9のメディア伝送システムでは、メディア送信装置1-1及びメディア受信装置2-1をマスタ側装置と位置づけ、メディア送信装置1-2及びメディア受信装置2-2をスレーブ側装置と位置付けている。マスタ側のメディア送信装置1-1及びメディア受信装置2-1では、SDI信号の各フレームに対して、SMPTE_EPOCHに基づいたPTP時刻により取得した現在時刻を管理時刻として動作するが、スレーブ側のメディア送信装置1-2及びメディア受信装置2-2では、マスタ側の管理時刻に対して1フレーム分進んだ時刻、或いは1フレーム分遅れた時刻を管理時刻として動作する。管理時刻とは、フレームに対応付けている時刻を示す。
【0127】
図10は、本実施形態のメディア伝送システムの動作を説明する図である。
図10では、メディア生成部3(以下、「カメラ」)で生成されたSDI信号のフレーム(1)、(2)、(3)・・・のうち、奇数(odd)番目のフレーム(1)、(3)・・・が、マスタ側のメディア送信装置1-1に入力され、偶数(even)番目のフレーム(2)、(4)・・・が、スレーブ側のメディア送信装置1-2に入力される場合を示している。このように、奇数番目のフレームと偶数番目のフレームとを同時に2組の送受信装置で伝送する(odd/even伝送)ことで、1組の送受信装置あたりの負荷(伝送速度)を減らすことができる。
【0128】
図10において、n、n+1、・・・は、タイムスタンプ値であって、ここでは、フレームの順番を模擬した値(整数)を用い、1周期のタイムスタンプの増分(1/119.88×90,000=750.750750・・・)を1とした。また、f(n)は、タイムスタンプ値nのSMPTE_EPOCHに基づいたPTP時刻(アライメントポイント)を示している。これによると、カメラからのフレーム(1)、(2)、(3)・・・は、時刻f(n-2)、f(n-1)、f(n)・・・のタイミングで出力される。
【0129】
カメラからの出力は、
図10(a)に示すように、奇数番目のフレームと偶数番目のフレームに分けられて、メディア送信装置1-1、1-2にそれぞれ入力される。マスタ側のメディア送信装置1-1のSDI信号受信回路111に入力されるフレーム(1)、(3)・・・は、送信SDI#1とし、スレーブ側のメディア送信装置1-2のSDI信号受信回路111に入力されるフレーム(2)、(4)・・・は、送信SDI#2とした。送信SDI#1と送信SDI#2の伝送速度は、奇数および偶数のフレームが連続している場合に比べて半分になっており、フレーム(1)とフレーム(2)は同じタイミング及びレートで各SDI信号受信回路111に入力される。フレーム(3)とフレーム(4)、フレーム(5)とフレーム(6)、及び以降のフレームも同様である。
【0130】
各フレームは、RTPパケット化回路112によってRTPパケット化され、さらにタイムスタンプ付与回路113によって、タイムスタンプが打刻される。
図10(b)は、タイムスタンプが打刻されIP信号送信回路114から出力される送信IP#1及び送信IP#2のイメージを示している。この時、マスタ側のタイムスタンプ付与回路113では、フレーム(1)に対応付けられた時刻f(n)のタイムスタンプ値nが、フレーム(1)の全RTPパケットに打刻される。時刻f(n)は、前述の管理時間である。スレーブ側のタイムスタンプ付与回路113では、フレーム(2)のタイムスタンプ値として、マスタ側のフレーム(1)のタイムスタンプ値nに対して1(1周期のタイムスタンプの増分)だけ進んだn+1が打刻される。
【0131】
また、マスタ側のフレーム(3)のタイムスタンプ値としては、フレーム(3)に対応付けられた時刻f(n+2)のタイムスタンプ値n+2が打刻される。スレーブ側のフレーム(4)のタイムスタンプ値としては、マスタ側のフレーム(3)のタイムスタンプ値n+2に対して1だけ進んだn+3が打刻される。同様に、マスタ側のフレーム(5)のタイムスタンプ値としては、タイムスタンプ値n+4が打刻され、スレーブ側のフレーム(6)のタイムスタンプ値として、マスタが側のフレーム(5)のタイムスタンプ値n+4に対して1だけ進んだn+5が打刻される。
【0132】
タイムスタンプ付与回路113でタイムスタンプが打刻されたRTPパケットは、それぞれのIP信号送信回路114を経て送信IP#1及び送信IP#2となり、ネットワークに出力される。
【0133】
続いて、
図10(c)に示すように、マスタ側のメディア送信装置1-1からの送信IP#1は、ネットワークを経て、マスタ側のメディア受信装置2-1のIP信号受信回路211に受信IP#1として入力される。また、スレーブ側のメディア送信装置1-2からの送信IP#2は、ネットワークを経て、スレーブ側のメディア受信装置2-2のIP信号受信回路211に、受信IP#2として入力される。
【0134】
受信IP#1及び受信IP#2は、それぞれのRTPデパケット化回路212によって、SDI信号に組み立てられて、それぞれ受信SDI#1及び受信SDI#2となる。この時、マスタ及びスレーブの各オフセット制御回路213が、同じオフセットをそれぞれのフレームの出力タイミングに設定する。オフセットは、マスタ及びスレーブの両方のネットワークの伝送遅延時間および処理時間の最大値を加味した時間である。具体的には、各フレームは、マスタ側のフレームのタイムスタンプに対応するアライメントポイントに、オフセットを加えたタイミングでメディア受信装置2-1、メディア受信装置2-2からそれぞれ出力される。
【0135】
図10は、オフセットを1msにした場合の例を示している。
【0136】
図10(d)に示すSDI信号送信回路214の出力では、マスタ側では、フレーム(1)が、受信SDI#1″として、f(n)+オフセットのタイミングで出力され、スレーブ側では、フレーム(2)が、受信SDI#2″として、f(n)+オフセットのタイミングで出力される。更に、マスタ側では、フレーム(3)が、f(n+2)+オフセットのタイミングで出力され、スレーブ側では、フレーム(4)が、f(n+2)+オフセットのタイミングで出力される。続いて、マスタ側では、フレーム(5)が、f(n+4)+オフセットのタイミングで出力され、スレーブ側では、フレーム(6)が、f(n+4)+オフセットのタイミングで出力される。以降も同様である。
【0137】
なお、SDI信号を再生するモニタは、受信装置から同じタイミングで出力される受信SDI#1″及び受信SDI#2″のフレーム(1)とフレーム(2)、フレーム(3)とフレーム(4)、・・・・と言った奇数番目のフレームと偶数番目のフレームのペアを、再び、フレーム(1)、(2)、(3)、(4)・・・の順に組み立て直して画面表示する。
【0138】
図11は、本実施形態のメディア伝送システムの他の動作を説明する図である。
図11の動作は、
図10の変形例で、カメラで生成されたフレーム(1)、(2)、(3)・・・のうち、偶数(even)番目のフレーム(2)、(4)・・・が、マスタ側のメディア送信装置1-1に入力され、奇数(odd)番目のフレーム(1)、(3)・・・が、スレーブ側のメディア送信装置1-2に入力される場合を示す。この場合も
図10と同様に、奇数番目のフレームと偶数番目のフレームとを同時に2組の送受信装置で伝送する(odd/even伝送)ことで1組の送受信装置あたりの負荷を減らすことができる。
図11のパラメータは、
図10と同様である。n、n+1、・・・は、タイムスタンプ値であって、ここでは、フレームの順番を模擬した値(整数)を用い、1周期のタイムスタンプの増分(1/119.88×90,000=750.750750・・・)を1とした。
【0139】
図11においても、カメラからのフレーム(1)、(2)、(3)・・・は、時刻f(n-2)、f(n-1)、f(n)・・・のタイミングで出力される。カメラからの出力は、
図11(a)に示すように、奇数番目のフレームと偶数番目のフレームに分けられて、メディア送信装置1-1、1-2にそれぞれ入力される。マスタ側(メディア送信装置1-1)のSDI信号受信回路111に入力されるフレーム(2)、(4)・・・は、送信SDI#1で表され、スレーブ側(メディア送信装置1-2)のSDI信号受信回路111に入力されるフレーム(1)、(3)・・は、送信SDI#2で表される。
図11においても、送信SDI#1と送信SDI#2の伝送速度は、偶数および奇数のフレームが連続して1つのメディア送信装置に入力される場合に比べて半分になっており、フレーム(1)とフレーム(2)は同じタイミング及びレートで各SDI信号受信回路111に入力される。フレーム(3)とフレーム(4)、フレーム(5)とフレーム(6)、及び以降のフレームも同様である。
【0140】
各フレームは、RTPパケット化回路112によってRTPパケット化され、さらにタイムスタンプ付与回路113によって、タイムスタンプが打刻される。
図11(b)には、タイムスタンプが打刻されIP信号送信回路114から出力される送信IP#1及び送信IP#2のイメージを示している。この時、マスタ側のタイムスタンプ付与回路113では、フレーム(2)に対応付けられた時刻f(n)のタイムスタンプ値nが、フレーム(2)の全RTPパケットに打刻される。スレーブ側のタイムスタンプ付与回路113では、フレーム(1)のタイムスタンプ値として、マスタ側のフレーム(2)のタイムスタンプ値nに対して1だけ遅れた値(過去にさかのぼった値)であるn-1が打刻される。
【0141】
また、マスタ側のフレーム(4)のタイムスタンプ値としては、フレーム(4)に対応付けられた時刻f(n+2)のタイムスタンプ値n+2が打刻される。スレーブ側のフレーム(3)のタイムスタンプ値としては、マスタ側のフレーム(4)のタイムスタンプ値n+2に対して1だけ遅れた値であるn+1が打刻される。同様に、マスタ側のフレーム(6)のタイムスタンプ値としては、タイムスタンプ値n+4が、スレーブ側のフレーム(5)のタイムスタンプ値としては、マスタが側のフレーム(6)のタイムスタンプ値n+4に対して1だけ遅れた値であるn+3が打刻される。
【0142】
タイムスタンプが打刻されたRTPパケットは、それぞれのIP信号送信回路114を経て送信IP#1及び送信IP#2となり、ネットワークに出力される。
【0143】
続いて、
図11(c)に示すように、マスタ側のメディア送信装置1-1から送信された送信IP#1は、ネットワークを経て、マスタ側のメディア受信装置2-1のIP信号受信回路211に受信IP#1として入力される。また、スレーブ側のメディア送信装置1-2から送信された送信IP#2は、ネットワークを経て、スレーブ側のメディア受信装置2-2のIP信号受信回路211に、受信IP#2として入力される。
【0144】
受信IP#1及び受信IP#2は、各RTPデパケット化回路212によって、SDI信号に組み立てられて、それぞれ受信SDI#1及び受信SDI#2となる。この時、マスタ及びスレーブの各オフセット制御回路213が、同じオフセットをそれぞれのフレームの出力タイミングに設定する。オフセットは、マスタ及びスレーブの両方のネットワーク伝送遅延時間および処理時間の最大値を加味した時間である。具体的には、各フレームは、マスタ側のフレームのタイムスタンプに対応するアライメントポイントに、オフセットを加えたタイミングでメディア受信装置2-1、メディア受信装置2-2からそれぞれ出力される。
【0145】
図11では、オフセットを1msにした場合の例を示している。
【0146】
SDI信号送信回路214の出力では、マスタ側では、フレーム(2)が、受信SDI#1″として、f(n)+オフセットのタイミングで出力され、スレーブ側では、フレーム(1)が、受信SDI#2″として、f(n)+オフセットのタイミングで出力される。更に、マスタ側では、フレーム(4)が、f(n+2)+オフセットのタイミングで出力され、スレーブ側では、フレーム(3)が、f(n+2)+オフセットのタイミングで出力される。続いて、マスタ側では、フレーム(6)が、f(n+4)+オフセットのタイミングで出力され、スレーブ側では、フレーム(5)が、f(n+4)+オフセットのタイミングで出力される。以降も同様である。
【0147】
なお、SDI信号を再生するモニタは、受信装置から同じタイミングで出力される受信SDI#1″及び受信SDI#2″のフレーム(1)とフレーム(2)、フレーム(3)とフレーム(4)、・・・・と言った奇数番目のフレームと偶数番目のフレームのペアを、再び、フレーム(1)、(2)、(3)、(4)・・・の順に組み立て直して画面表示する。
【0148】
以上説明した本実施形態のメディア伝送システムは、メディア送信装置およびメディア受信装置の組を複数備え、前記複数の組は、マスタ系列用の組と、少なくとも1つのスレーブ系列用の組とを含み、 映像信号(SDI信号)は、マスタ系列と、少なくとも1つのスレーブ系列とに分割して送信される。各メディア送信装置1において、映像信号受信回路111は、自身の系列の映像信号を受信し、パケット化回路112は、受信した映像信号を複数のパケットに変換し、タイムスタンプ付与回路113は、自身の系列がマスタ系列の場合は、前記パケットに対応するフレームに設定された前記アライメントポイントのタイミングに相当するタイムスタンプを付与し、自身の系列がスレーブ系列の場合は、前記マスタ系列で付与されたタイムスタンプに対して、少なくとも1フレーム分進んだ或いは遅れたタイムスタンプを前記パケットに付与し、IP信号送信回路114は、前記タイムスタンプが付与されたパケットをIP信号として送信する。各メディア受信装置において、IP信号受信回路211は、自身の系列の前記パケットを受信し、デパケット化回路212は、受信したパケットからフレームを再生し、オフセット制御回路213は、自身の系列がマスタ系列の場合は、再生したフレームを、対応するパケットに付与された前記タイムスタンプのアライメントポイントに、所定のオフセット値を加算した出力タイミングで出力し、自身の系列がスレーブ系列の場合は、再生したフレームを、前記マスタ系列のタイムスタンプのアライメントポイントに前記オフセット値を加算した出力タイミングで出力し、映像信号送信回路214は、オフセット制御回路213から出力されるフレームを、映像信号として出力する。
【0149】
このように、本実施形態は、外部から受信した映像信号を複数組のメディア送信装置及びメディア受信装置でマルチリンク伝送を行う構成について示した。本実施形態では、特に、フレームレートが高速なHFR伝送を行う場合に、2組のメディア送信装置とメディア受信装置を用いて、偶数フレームと奇数フレームとを分けて伝送すれば、それぞれ半分のレートで伝送できる。その場合、1つの系統をマスタとし、その他の系統をスレーブとし、スレーブ装置の保持する時刻をマスタ装置の保持するPTPで同期した正確な時刻に対して、進めさせたり、遅れさせたりする。これにより、メディア送信装置とメディア受信装置間で送受信されるマルチリンク伝送の各ストリームのRTPタイムスタンプが、マルチリンク間でも正しい順序になるように制御できる。
【0150】
本実施形態においても、メディア送信装置のタイムスタンプ付与については、各フレームの受信時のキャプチャ時刻ではなく、フレーム生成時のSMPTE_EPOCHに基づいたアライメントポイントのタイミングで打刻している。これによって、複数の系統であってもタイムスタンプ値を適正な値とすることができる。高速レートのIP伝送において、2組の送受信装置を備えることでレートを1/2に落とすことで、品質の劣化を防ぐとともに、HFRに未対応のデバイスにおいてもHFRの映像信号の送受信を行うことができる。
【0151】
また、メディア受信装置において、SDI信号のフレームの出力にオフセットを設けることによって、次のアライメントポイントまで待たずに出力することができるため、メディア受信装置の出力遅延を低減できる。
【0152】
また、本実施形態は、
図9の構成に限定されず、
図6の第2の実施形態の構成においても実現できる。この場合は、複数の系統のうち1つがマスタとなり、残りの系統がスレーブとなることで実現できる。それぞれの動作は
図10及び
図11で示した動作と同じである。
【0153】
また、
図9は、2組のメディア送信装置およびメディア受信装置の構成例を示したが、これに限定されない。m組のメディア送信装置およびメディア受信装置の場合、mごとのフレームの伝送とすることができる。例えば、m組のメディア送信装置およびメディア受信装置の場合、n番目のフレーム、n+1番目のフレーム、n+2番目のフレーム、・・・、n+m-1番目のフレームを、同時に伝送することができる。すなわち、m個の系列のフレームを並列で処理することができる。この場合、各組の伝送速度を1/mに低減でき装置構成を簡易化することができる。或いは各組の伝送速度を維持する場合は、m倍の容量の映像データを送ることができる。
【0154】
例えば、SDI信号(映像信号)が、m個の系列に分割して送信され、n番目のフレーム系列がマスタ系列で、マスタ系列より後のn+1番目~n+m-1番目のフレーム系列がスレーブ系列の場合、タイムスタンプ付与回路113は、自身の系列がスレーブ系列の場合、マスタ系列で付与されたタイムスタンプよりも後の時刻のタイムスタンプをパケットに付与する。
【0155】
また、SDI信号が、m個の系列に分割して送信され、n番目のフレームの系列がマスタ系列で、マスタ系列より前のn-1番目~n-m+1番目のフレーム系列がスレーブ系列の場合、タイムスタンプ付与回路113は、自身の系列がスレーブ系列の場合、マスタ系列で付与されたタイムスタンプよりも前の時刻のタイムスタンプをパケットに付与する。
【0156】
また、本実施形態は、
図9の構成に限定されず、
図6に示す第2の実施形態の構成と組み合わせてもよい。即ち、スレーブ装置もマスタ装置と同じPTPで同期した正確な時刻のままとして、第2の実施形態のような1組の送受信装置のSDIインタフェースでは足りない複数系統の信号系列のマルチリンク伝送を、第3の実施形態のような複数の組の送受信装置で実現してもよい。
【0157】
例えば、第2の実施形態で4系統の送受信を実現し、更に、第3の実施形態において2組の送受信装置を実現すれば、合計で8系統のマルチリンク伝送を実現できる。横7680画素×縦2160画素のワイド映像の伝送システムを、第2の実施形態の構成でQuad 3G-SDI(3Gbps伝送×4系統)を実現し、それを第3の実施形態の構成で2組用意することで実現できる。但し、この場合、スレーブのタイムスタンプは、マスタと同じにする。
【0158】
一般的な伝送システムでは、メディア受信装置にIPパケット(メディアパケット)が到着してから、SMPTE EPOCHにもとづいた次のフレーム周期まで出力されないが、上記説明した第1から第3の実施形態でのメディア伝送システムでは、次のフレーム周期まで待つことなく、任意のタイミングで出力か可能であり、低遅延での出力を実現できる。
【0159】
また、第2および第3の実施形態のメディア伝送システムでは、高臨場の8K映像等をマルチリンクを介して、複数のデジタル信号として伝送する際に、SMPTE ST2082-12等で規定される位相差内で出力できる。これにより、高いリアルタイム性が要求されるリモート合唱や合奏の伝送においても、受信側で複数のパートをずれなく低遅延で合成することができる。また、双方向コミュニケーションの場合でも遅延を感じさせない、円滑なコミュニケーションを実現できる。
【0160】
<ハードウェア構成>
上記説明したメディア送信装置およびメディア受信装置には、汎用的なコンピュータシステムを用いることができる。コンピュータシステムは、例えば、CPU(Central Processing Unit、プロセッサ)と、メモリと、ストレージ(HDD:Hard Disk Drive、SSD:Solid State Drive)と、通信装置と、入力装置と、出力装置とを備える。メモリおよびストレージは、記憶装置である。このコンピュータシステムにおいて、CPUがメモリ上にロードされたメディア送信装置用のプログラムまたはメディア受信装置2用のプログラムを実行することにより、メディア送信装置またはメディア受信装置の各機能が実現される。
【0161】
また、メディア送信装置およびメディア受信装置は、1つのコンピュータで実装されてもよく、あるいは複数のコンピュータで実装されても良い。また、メディア送信装置およびメディア受信装置は、コンピュータに実装される仮想マシンであっても良い。メディア送信装置用のプログラム、および、メディア受信装置用のプログラムは、HDD、SSD、USB(Universal Serial Bus)メモリ、CD (Compact Disc)、DVD (Digital Versatile Disc)などのコンピュータ読取り可能な記録媒体に記憶することも、ネットワークを介して配信することもできる。
【0162】
なお、本発明は上記実施形態および変形例に限定されるものではなく、その要旨の範囲内で数々の変形が可能である。
【符号の説明】
【0163】
1 :メディア送信装置(送信装置)
11 :SDI/IP変換回路
111:SDI信号受信回路
112:RTPパケット化回路
113:タイムスタンプ付与回路
114:IP信号送信回路
12 :PTPタイミング生成回路
2 :メディア受信装置(受信装置)
21 :IP/SDI変換回路
211:IP信号受信回路
212:RTPデパケット化回路
213:オフセット制御回路
214:SDI信号送信回路
22 :PTPタイミング生成回路
3 :メディア生成部3
4 :PTPグランドマスタ(GM)