7315758 メディア伝送システム、送信装置、送信システム、受信装置及び受信システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2023-07-18

(45)【発行日】2023-07-26

(54)【発明の名称】メディア伝送システム、送信装置、送信システム、受信装置及び受信システム

(51)【国際特許分類】

   H04N 21/236 20110101AFI20230719BHJP

   H04N 21/8547 20110101ALI20230719BHJP

   H04N 21/43 20110101ALI20230719BHJP

   H04L 7/06 20060101ALI20230719BHJP

【ＦＩ】

H04N21/236

H04N21/8547

H04N21/43

H04L7/06

【請求項の数】 12

(21)【出願番号】P 2022094336

(22)【出願日】2022-06-10

【審査請求日】2022-06-10

(73)【特許権者】

【識別番号】591230295

【氏名又は名称】ＮＴＴエレクトロニクス株式会社

(74)【代理人】

【識別番号】100083806

【弁理士】

【氏名又は名称】三好 秀和

(74)【代理人】

【識別番号】100101247

【弁理士】

【氏名又は名称】高橋 俊一

(74)【代理人】

【識別番号】100095500

【弁理士】

【氏名又は名称】伊藤 正和

(74)【代理人】

【識別番号】100098327

【弁理士】

【氏名又は名称】高松 俊雄

(72)【発明者】

【氏名】山口 高弘

(72)【発明者】

【氏名】大野 吉仁

(72)【発明者】

【氏名】増井 優貴

(72)【発明者】

【氏名】一口 銀

【審査官】大西 宏

(56)【参考文献】

【文献】特開２０１８－０４２０２０（ＪＰ，Ａ）

【文献】特開２０１８－０７４４８０（ＪＰ，Ａ）

【文献】特開２０２１－０７７９４０（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１６／０１４２７５６（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２１／００ －２１／８５８

Ｈ０４Ｌ ７／００ － ７／１０

(57)【特許請求の範囲】

【請求項1】

送信装置と受信装置とを備えるメディア伝送システムであって、
前記送信装置は、
各フレームがSMPTE_EPOCHに基づくアライメントポイントのタイミングに対応付けて生成された映像信号を受信する映像信号受信回路と、
前記映像信号をフレーム単位で複数のパケットに変換するパケット化回路と、
各パケットに、対応するフレームに設定された生成時の前記アライメントポイントのタイミングに相当するタイムスタンプを付与するタイムスタンプ付与回路と、
前記タイムスタンプが付与された各パケットをIP信号として送信するIP信号送信回路と、を含み、
前記受信装置は、
前記パケットを受信するIP信号受信回路と、
受信したパケットから前記映像信号のフレームを再生するデパケット化回路と、
再生した前記フレームを、対応するパケットに付与された前記タイムスタンプのアライメントポイントに、所定のオフセットを加算した出力タイミングで出力するオフセット制御回路と、
前記オフセット制御回路から出力されるフレームを、前記映像信号として出力する映像信号送信回路と、を含む
メディア伝送システム。

【請求項2】

前記映像信号は、複数の系列に分割されて前記送信装置に送信され、
前記送信装置において、
前記映像信号受信回路は、複数の系列の映像信号を受信し、
前記パケット化回路は、各系列の映像信号を複数のパケットに変換し、
前記タイムスタンプ付与回路は、各系列のパケットに、対応するフレームに設定された前記アライメントポイントのタイミングに相当するタイムスタンプを付与し、
前記IP信号送信回路は、前記タイムスタンプが付与された各系列のパケットをIP信号として送信し、
前記受信装置において、
前記IP信号受信回路は、各系列の前記パケットを受信し、
前記デパケット化回路は、各系列の前記パケットから各系列のフレームを再生し、
前記オフセット制御回路は、再生した各系列のフレームを、対応するパケットに付与された前記タイムスタンプのアライメントポイントに、所定のオフセット値を加算した出力タイミングで出力し、
前記映像信号送信回路は、前記オフセット制御回路から出力される各系列のフレームを出力する
請求項１に記載のメディア伝送システム。

【請求項3】

前記送信装置および前記受信装置の組を、複数備える
請求項１または２に記載のメディア伝送システム。

【請求項4】

前記送信装置および前記受信装置の組を複数備え、
前記複数の組は、マスタ系列用の組と、少なくとも１つのスレーブ系列用の組とを含み、
前記映像信号は、前記マスタ系列と、少なくとも１つの前記スレーブ系列とに分割して送信され、
各送信装置において、
前記映像信号受信回路は、自身の系列の映像信号を受信し、
前記パケット化回路は、受信した前記映像信号を複数のパケットに変換し、
前記タイムスタンプ付与回路は、自身の系列がマスタ系列の場合は、前記パケットに対応するフレームに設定された前記アライメントポイントのタイミングに相当するタイムスタンプを付与し、自身の系列がスレーブ系列の場合は、前記マスタ系列で付与されたタイムスタンプに対して、少なくとも１フレーム分進んだ或いは遅れたタイムスタンプを前記パケットに付与し、
前記IP信号送信回路は、前記タイムスタンプが付与されたパケットをIP信号として送信し、
各受信装置において、
前記IP信号受信回路は、自身の系列の前記パケットを受信し、
前記デパケット化回路は、受信したパケットからフレームを再生し、
前記オフセット制御回路は、自身の系列がマスタ系列の場合は、再生したフレームを、対応するパケットに付与された前記タイムスタンプのアライメントポイントに、所定のオフセット値を加算した出力タイミングで出力し、自身の系列がスレーブ系列の場合は、再生したフレームを、前記マスタ系列のタイムスタンプのアライメントポイントに前記オフセット値を加算した出力タイミングで出力し、
前記映像信号送信回路は、前記オフセット制御回路から出力されるフレームを、映像信号として出力する
請求項１に記載のメディア伝送システム。

【請求項5】

前記映像信号は、ｍ個の系列に分割して送信され、ｎ番目のフレーム系列がマスタ系列で、マスタ系列より後のｎ＋１番目～ｎ＋ｍ－１番目のフレーム系列がスレーブ系列の場合、
前記タイムスタンプ付与回路は、自身の系列が前記スレーブ系列の場合、前記マスタ系列で付与されたタイムスタンプよりも後の時刻のタイムスタンプをパケットに付与する
請求項４に記載のメディア伝送システム。

【請求項6】

前記映像信号は、ｍ個の系列に分割して送信され、ｎ番目のフレームの系列がマスタ系列で、マスタ系列より前のｎ－１番目～ｎ－ｍ＋１番目のフレーム系列がスレーブ系列の場合、
前記タイムスタンプ付与回路は、自身の系列が前記スレーブ系列の場合、前記マスタ系列で付与されたタイムスタンプよりも前の時刻のタイムスタンプをパケットに付与する
請求項４に記載のメディア伝送システム。

【請求項7】

送信装置と受信装置とを含むメディア伝送システムにおける前記送信装置であって、
各フレームがSMPTE_EPOCHに基づくアライメントポイントのタイミングに対応付けて生成された映像信号を受信する映像信号受信回路と、
前記映像信号をフレーム単位で複数のパケットに変換するパケット化回路と、
各パケットに、対応するフレームに設定された生成時の前記アライメントポイントのタイミングに相当するタイムスタンプを付与するタイムスタンプ付与回路と、
前記タイムスタンプが付与された各パケットをIP信号として送信するIP信号送信回路と、を含む
送信装置。

【請求項8】

前記映像信号は、複数の系列に分割して送信され、
前記映像信号受信回路は、複数の系列の映像信号を受信し、
前記パケット化回路は、各系列の映像信号を複数のパケットに変換し、
前記タイムスタンプ付与回路は、各系列のパケットに、対応するフレームに設定された前記アライメントポイントのタイミングに相当するタイムスタンプを付与し、
前記IP信号送信回路は、前記タイムスタンプが付与された各系列のパケットをIP信号として送信する
請求項７に記載の送信装置。

【請求項9】

請求項７に記載の送信装置を複数備える送信システムであって、
前記複数の送信装置は、マスタ系列用の送信装置と、少なくとも１つのスレーブ系列用の送信装置とを含み、
前記映像信号は、前記マスタ系列と、少なくとも１つの前記スレーブ系列とに分割して送信され、
各送信装置において、
前記映像信号受信回路は、自身の系列の映像信号を受信し、
前記パケット化回路は、受信した前記映像信号を複数のパケットに変換し、
前記タイムスタンプ付与回路は、自身の系列がマスタ系列の場合は、前記パケットに対応するフレームに設定された前記アライメントポイントのタイミングに相当するタイムスタンプを付与し、自身の系列がスレーブ系列の場合は、前記マスタ系列で付与されたタイムスタンプに対して、少なくとも１フレーム分進んだ或いは遅れたタイムスタンプを前記パケットに付与し、
前記IP信号送信回路は、前記タイムスタンプが付与されたパケットをIP信号として送信する
送信システム。

【請求項10】

送信装置と受信装置とを含むメディア伝送システムにおける前記受信装置であって、
各フレームがSMPTE_EPOCHに基づくアライメントポイントのタイミングに対応付けて生成された映像信号のパケットを、前記送信装置から受信するIP信号受信回路であって、前記パケットには、対応するフレームに設定された生成時のSMPTE_EPOCHに基づくアライメントポイントのタイミングに相当するタイムスタンプが付与されたIP信号受信回路と、
受信したパケットから前記映像信号のフレームを再生するデパケット化回路と、
再生した前記フレームを、対応するパケットに付与された前記タイムスタンプのアライメントポイントに、所定のオフセットを加算した出力タイミングで出力するオフセット制御回路と、
前記オフセット制御回路から出力されるフレームを、前記映像信号として出力する映像信号送信回路と、を含む
受信装置。

【請求項11】

前記映像信号は、複数の系列に分割して送信され、
前記IP信号受信回路は、各系列の前記パケットを受信し、
前記デパケット化回路は、各系列の前記パケットから各系列のフレームを再生し、
前記オフセット制御回路は、再生した各系列のフレームを、対応するパケットに付与された前記タイムスタンプのアライメントポイントに、所定のオフセット値を加算した出力タイミングで出力し、
前記映像信号送信回路は、前記オフセット制御回路から出力される各系列のフレームを出力する
請求項１０に記載の受信装置。

【請求項12】

請求項１０に記載の受信装置を複数備える受信システムであって、
前記複数の受信装置は、マスタ系列用の受信装置と、少なくとも１つのスレーブ系列用の受信装置とを含み、
前記映像信号は、前記マスタ系列と、少なくとも１つの前記スレーブ系列とに分割して送信され、
各受信装置において、
前記IP信号受信回路は、自身の系列の前記パケットを受信し、
前記デパケット化回路は、受信したパケットからフレームを再生し、
前記オフセット制御回路は、自身の系列がマスタ系列の場合は、再生したフレームを、対応するパケットに付与された前記タイムスタンプのアライメントポイントに、所定のオフセット値を加算した出力タイミングで出力し、自身の系列がスレーブ系列の場合は、再生したフレームを、前記マスタ系列のタイムスタンプのアライメントポイントに前記オフセット値を加算した出力タイミングで出力し、
前記映像信号送信回路は、前記オフセット制御回路から出力されるフレームを、映像信号として出力する
受信システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、メディア伝送システム、送信装置、送信システム、受信装置及び受信システムに関する。

【背景技術】

【0002】

近年、映像等のメディア信号（映像信号）が、番組制作のためにIP化されてネットワークを介して伝送されるシステムが急速に進展している。例えば、非圧縮の映像信号であるSDI（Serial Digital Interface)信号が、IPパケット化されてEthernetを介して伝送される。SMPTE（米国映画テレビ技術者協会）において、このようなシステムの標準化が行われており、随時改定が重ねられている。

【0003】

特許文献１では、SMPTEに準拠した映像信号のIP伝送システムにおいて、映像信号の位相を簡易な構成で調整できる受信機が開示されている。

【0004】

また、特許文献２には、デジタル放送に用いられているMPEG-2 TS方式に代わる新たな方式として規定されたMMT方式において、符号化された映像信号をIPパケット化してインターネット等を経由して伝送する方式が開示されている。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０２１－７７９４０号公報

【文献】特開２０１８－７４４８０号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

特許文献１の受信機では、受信側の再生SDIの出力タイミングは、SMPTEの規定に従って、SMPTE_EPOCHを基準としたアライメントポイントの単位となる。アライメントポイントの単位は、フレーム単位に相当する。従って、受信側では、受信したIPパケットからSDI信号が再生できても、場合によっては、１フレーム近く出力を待つ必要がある。

【0007】

また、特許文献１の送信機では、SDI 信号から生成したRTPパケットからフレームの境界を検出し、その時点でキャプチャされたタイムスタンプをRTPパケットに設定している。すなわち、従来の送信機では、SDI信号のフレーム或いはそれをパケット化したRTPパケットのフレームが回路に入力した時刻を、タイムスタンプとして打刻する。

【0008】

しかしながら、外部のカメラから送信機に供給されるSDI信号には、ジッタ等によって位相の揺らぎ、即ちアクティブ映像区間とブランキング区間のエッジのタイミングの揺らぎが存在する。そのため、RTPパケット及びそれから検出するフレームの境界にも、位相の揺らぎが発生する。

【0009】

本発明は上記の課題に鑑みてなされたものであって、本発明は、映像信号の出力遅延を低減し、映像信号の位相の揺らぎによる映像品質の低下を回避することを目的とする。

【課題を解決するための手段】

【0010】

上記目的を達成するため、本発明の一態様は、送信装置と受信装置とを備えるメディア伝送システムであって、前記送信装置は、各フレームがSMPTE_EPOCHに基づくアライメントポイントのタイミングに対応付けて生成された映像信号を受信する映像信号受信回路と、前記映像信号をフレーム単位で複数のパケットに変換するパケット化回路と、各パケットに、対応するフレームに設定された生成時の前記アライメントポイントのタイミングに相当するタイムスタンプを付与するタイムスタンプ付与回路と、前記タイムスタンプが付与された各パケットをIP信号として送信するIP信号送信回路と、を含み、前記受信装置は、前記パケットを受信するIP信号受信回路と、受信したパケットから前記映像信号のフレームを再生するデパケット化回路と、再生した前記フレームを、対応するパケットに付与された前記タイムスタンプのアライメントポイントに、所定のオフセットを加算した出力タイミングで出力するオフセット制御回路と、前記オフセット制御回路から出力されるフレームを、前記映像信号として出力する映像信号送信回路と、を含む。

【0011】

本発明の一態様は、送信装置と受信装置とを含むメディア伝送システムにおける前記送信装置であって、各フレームがSMPTE_EPOCHに基づくアライメントポイントのタイミングに対応付けて生成された映像信号を受信する映像信号受信回路と、前記映像信号をフレーム単位で複数のパケットに変換するパケット化回路と、各パケットに、対応するフレームに設定された生成時の前記アライメントポイントのタイミングに相当するタイムスタンプを付与するタイムスタンプ付与回路と、前記タイムスタンプが付与された各パケットをIP信号として送信するIP信号送信回路と、を含む。

【0012】

本発明の一態様は、送信装置と受信装置とを含むメディア伝送システムにおける前記受信装置であって、各フレームがSMPTE_EPOCHに基づくアライメントポイントのタイミングに対応付けて生成された映像信号のパケットを、前記送信装置から受信するIP信号受信回路であって、前記パケットには、対応するフレームに設定された生成時のSMPTE_EPOCHに基づくアライメントポイントのタイミングに相当するタイムスタンプが付与されたIP信号受信回路と、受信したパケットから前記映像信号のフレームを再生するデパケット化回路と、再生した前記フレームを、対応するパケットに付与された前記タイムスタンプのアライメントポイントに、所定のオフセットを加算した出力タイミングで出力するオフセット制御回路と、前記オフセット制御回路から出力されるフレームを、前記映像信号として出力する映像信号送信回路と、を含む。

【発明の効果】

【0013】

本発明によれば、映像信号の出力遅延を低減し、映像信号の位相の揺らぎによる映像品質の低下を回避することができる。

【図面の簡単な説明】

【0014】

【図1】図１は、メディア伝送システムの全体構成図である。

【図2】図２は、第１の実施形態のメディア伝送システムの構成図である。

【図3】図３は、第１の実施形態のタイムスタンプの打刻方法を説明する図である。

【図4】図４は、第１の実施形態のメディア受信装置の出力タイミングを説明する図である。

【図5】図５は、メディア送信装置およびメディア受信装置の実装例である。

【図6】図６は、第２の実施形態のメディア伝送システムの構成図である。

【図7】図７は、第２の実施形態のメディア伝送システムの処理フローチャートである。

【図8】図８は、第２の実施形態のメディア伝送システムの動作タイムチャートである。

【図9】図９は、第３の実施形態のメディア伝送システムの構成図である。

【図10】図１０は、第３の実施形態のメディア伝送システムの動作を説明する図である。

【図11】図１１は、第３の実施形態のメディア伝送システムの他の動作を説明する図である。

【発明を実施するための形態】

【0015】

以下、本発明の実施形態を、図面を用いて説明する。複数の図面中同一のものには同じ参照符号を付し、説明は繰り返さない。

【0016】

図１は、本発明に係るメディア伝送システムを示す図である。メディア生成部３は、カメラ等で構成され、映像・音声・補助データが重畳されたデジタル信号であるSDI信号（メディア信号、映像信号）を出力する。メディア伝送システムは、このSDI信号をネットワークを介して伝送するシステムである。メディア伝送システムは、SDI信号を、ネットワークを介して伝送する際に、一般的には、SMPTE ST2110またはSMPTE ST2022-8規格に対応したIP信号（映像パケット、メディアパケット）に変換して伝送する。なお、本明細書おいて、「メディア」及び「メディア信号」は、映像、音声、及び補助データ（アンシラリデータ）及びその信号を示す。また、「メディア信号」は、「映像信号」ともいう。

【0017】

メディア伝送システムは、メディア送信装置１と、メディア受信装置２を含む。メディア送信装置１は、SDI信号をIP信号に変換するSDI/IP変換回路１１と、PTPタイミング生成回路１２とを含む。メディア受信装置２は、IP信号をSDI信号に変換するIP/SDI変換回路２１と、PTPタイミング生成回路２２とを含む。

【0018】

PTPグランドマスタ４（以下、「GM」）は、PTP（Precision Time Protocol）に対応した高精度な時刻を配信する装置である。PTPは、IEEE1588にて定義された高精度にクロックや時刻を同期させるプロトコルである。GM４は、メディア送信装置１及びメディア受信装置２内のPTPタイミング生成回路１２、２２と時刻情報パケットを定期的に送受信する。これにより、PTPタイミング生成回路１２、２２のクロックまたは時刻情報を、GM４のクロックまたは時刻情報に同期させることができる。この時、GM４のクロックをGPS（全地球測位システム）信号に同期させることで、GM４の時刻情報及びPTPタイミング生成回路１２、２２の時刻情報を、TAI（国際原子時）やUTC（協定世界時）の絶対時刻にナノ秒レベルの誤差で同期させることができる。

【0019】

映像信号の伝送においては、SMPTE ST2059-1規格及びST2059-2規格に、1970年１月1日午前０時０分０秒（SMPTE_EPOCH）の時刻を基準とすることが規定されている。特に、これらの規格には、SDI信号の映像フレーム同期信号として、SMPTE_EPOCHを基準とした時刻によって示されるアライメントポイントが定義されている。即ち、映像信号を生成する際または再生する際には、一般的にはアライメントポイントのタイミングでSDI信号の各フレームが生成および出力される。アライメントポイントは、GM４のクロックに同期した高精度クロックから計算される。

【0020】

また、PTPタイミング生成回路１２、２２のクロックは、システムクロックとして、メディア送信装置１及びメディア受信装置２の各回路の処理動作に使用される。本明細書では、PTPタイミング生成回路１２、２２からのシステムクロックを「PTPクロック」、時刻情報を「SMPTE_EPOCHに基づいたPTP時刻」、或いは単に「PTP時刻」と称する。

【0021】

メディア送信装置１は、SDI/IP変換回路１１において、メディア生成部３からの映像・音声・補助データが重畳されたSDI信号（デジタル信号）を、SMPTE ST2110またはSMPTE ST2022-8規格に対応したメディアパケット（IP信号）に変換し、Ethernetフレームとしてネットワークに送信する。この時、メディアパケットには、SDI信号のフレームがメディア送信装置１に入力された時刻ではなく、各フレームが生成される時に対応付けられているSMPTE_EPOCHに基づいたアライメントポイントのタイミングがタイムスタンプとして打刻される。なお、SMPTE ST2110では、映像、音声及び補助データをそれぞれIPパケット化する方法が、SMPTE ST2022-8では、映像、音声及び補助データが重畳されたSDI信号をそのまままとめてIPパケット化する方法が規定されている。

【0022】

メディア受信装置２は、IP/SDI変換回路２１において、SMPTE ST2110またはSMPTE ST2022-8規格に対応したメディアパケット（IP信号）をEthernetフレームとして受信し、映像・音声・補助データの重畳されたSDI信号（デジタル信号）に変換し出力する。この時、SDI信号の各フレームは、一般的にはSMPTE_EPOCHに基づいたアライメントポイントのタイミング（フレーム単位のタイミング）を待って出力される。

【0023】

しかし、本実施形態では、SDI信号の各フレームは、各フレームに打刻されたタイムスタンプに対応するアライメントポイントに、所定のオフセットを加えたタイミングで即時に出力される。即ち、本実施形態では、直近（次の）アライメントポイントのタイミングを待つことはしない。所定のオフセットには、メディア送信装置１およびメディア受信装置２による処理時間、及び、装置間１、２の伝送遅延時間が含まれる。これにより、次のアライメントポイントのタイミングを待つ従来の方式に比べて、低遅延でのフレームの出力が可能となる。

【0024】

また、各フレームに打刻されたタイムスタンプに対応するアライメントポイントを基準としたタイミングでフレームを出力することにより、マルチリンク伝送の場合、高精度なフレーム同期出力を実現することができる。マルチリンク伝送において、タイムスタンプ値が揃わない信号が受信側に送信された場合、受信側においてもマルチリンク間で、出力されるSDI信号のフレーム境界がずれる可能性があり、これによって合成時の画面が乱れる恐れがあるが、本実施形態では、受信側で画面内の乱れを生じさせることなく高品質な映像・音声を復元できる。

【0025】

＜第１の実施形態＞
図２は、本発明の第１の実施形態に係るメディア伝送システムの構成を示す図である。

【0026】

メディア送信装置１のSDI/IP変換回路１１は、SDI信号受信回路１１１、RTPパケット化回路１１２、タイムスタンプ付与回路１１３、及びIP信号送信回路１１４を有する。メディア受信装置２のIP/SDI変換回路２１は、IP信号受信回路２１１、RTPデパケット化回路２１２、オフセット制御回路、２１３及びSDI信号送信回路２１４を有する。

【0027】

SDI信号受信回路１１１は、PTPタイミング生成回路１２からPTPクロックを受信し、これに基づいてSMPTE ST2059-１及び2059-2に規定されたSMPTE_EPOCHに基づいた映像同期信号（GenLock）を生成し、メディア生成部３に供給する。メディア生成部３は、GenLockに基づいて生成したSDI信号を、SDI信号受信回路１１１へ供給する。この時、SDI信号の各フレームは、SMPTE_EPOCHに基づいたアライメントポイントのタイミングに対応付けられて生成される。

【0028】

SDI信号受信回路１１１は、各フレームがSMPTE_EPOCHに基づいたアライメントポイントのタイミングに対応付けて生成された映像信号を受信する。具体的には、SDI信号受信回路１１１は、このSDI信号を内部のPTPクロックと同期して受信し、受信したSDI信号をRTPパケット化回路１１２へ送る。

【0029】

RTPパケット化回路１１２は、SDI信号をフレーム単位で複数のパケットに変換する。具体的には、 RTPパケット化回路１１２は、SDI信号受信回路１１１から供給されてきたSDI信号をSMPTE ST2110-20/30/40又はST2022-8で規定されるメディアパケット（RTPパケット）に変換する。ここでは、RTPパケット化回路１１２は、SDI信号を所定のバイトごとに区切ってメディアペイロードとし、ペイロードヘッダ及びRTPヘッダを付加してRTPパケットにカプセル化する。

【0030】

RTPとは、IETF RFC3550で規定されるReal-time Transport Protocolを示し、動画や音声等のデータストリームを一連のRTPパケットに分けて、リアルタイムに転送するためのデータ通信プロトコルである。一連のRTPパケットは、データのストリームを構成する。以降、このデータのストリームをRTPストリームと称する。RTPストリームは、複数のRTPパケット毎にフレームを構成する。このフレームは、SDI信号において定義されたフレームと同じである。なお、RTPストリームは、後段のIP信号送信回路１１４においてIPパケット化されてIP信号となり、インターネット等のネットワークを介して相手先（メディア受信装置２）に伝送される。

【0031】

タイムスタンプ付与回路１１３は、各RTPパケットに、対応するフレームに設定された生成時の前記アライメントポイントのタイミングに相当するタイムスタンプを付与する。ここでは、タイムスタンプ付与回路１１３は、RTPパケット化回路１１２から送られてくるRTPパケットに対して、タイムスタンプを打刻する。タイムスタンプは、RTPヘッダに設定される。具体的には、SDI信号から生成された一連のメディアパケット（RTPパケット）に、SDI信号のフレームの生成時のアライメントポイントのタイミングを示すタイムスタンプ値を打刻する。なお、本実施形態では、タイムスタンプを時刻として表したり、或いは時刻を示す別の指標値(例えば、クロックのカウント値)として表す場合がある。また、タイムスタンプとタイムスタンプ値は同意である。また、タイムスタンプの打刻、付与及び設定は同意である。

【0032】

IP信号送信回路１１４は、タイムスタンプが付与された各RTPパケットをIP信号として送信する。具体的には、IP信号送信回路１１４は、タイムスタンプが付与されたRTPストリームをIPパケット化したIP信号を、イーサネットフレームに乗せて、SMPTE ST2110-10に従ったタイミングでネットワークへ出力する。なお、IP信号送信回路１１４は、GM４とPTPタイミング生成回路１２の間で時刻情報パケットを交信するための送受信装置の役目も果たす。

【0033】

ネットワークとしては、例えばインターネットを利用できるが、IP信号を伝送できるネットワークであればどのネットワークも利用できる。

【0034】

次に、メディア送信装置のタイムスタンプ付与回路１１３の動作について説明する。

【0035】

図３は、本実施形態のタイムスタンプの打刻方法について説明する図である。図３の横軸は、SMPTE_EPOCHから経過した時刻、即ちPTP時刻を示す。
（ａ）は、メディア送信装置１の出力(IP信号)の理想的なフレームタイミングを示している。メディア生成部３からメディア送信装置１へのSDI信号に遅延や揺らぎがなく、メディア送信装置１内部の処理時間も無視した場合を想定している。従って、ここでは、メディア生成部３から受信したSDI信号によるフレームのタイミングが、そのままのタイミングでIP信号によるフレームのタイミングとして出力される様子を示している。

【0036】

IP信号の出力について、時刻T0、T1、T2・・・において、フレーム０、１、２、・・・のRTPパケットが出力される。時刻T0、T1、T2・・・のタイミングは、SMPTE_EPOCHに基づいたアライメントポイントのタイミングであり、そのタイミングでメディア生成部３からSDI信号の各フレームが連続して送られてくる。SMPTE_EPOCHに基づいたアライメントポイントは、メディア送信装置１からメディア生成部３に対して、GenLockとして提供される。従って、メディア送信装置１は、どのタイミングでメディア生成部３から信号が送られているかは既知である。

【0037】

また、この時、フレーム０の全RTPパケットには、時刻T0に相当するタイムスタンプが打刻され、同様に、フレーム１の全RTPパケットには、時刻T1に相当するタイムスタンプが、フレーム２の全RTPパケットには時刻T2に相当するタイムスタンプが打刻される。なお、時刻T1と時刻T0との間の時間、時刻T2と時刻T1との間の時間は、フレーム周期である。実際に設定するタイムスタンプ値は、時刻をクロックのカウント値（整数）に変換した値である。フレーム周期のカウント値が小数点を持つと、カウント値で表した周期は各フレームで必ずしも同一にはならない。

【0038】

メディア生成部３から入力されるSDI信号は、ジッタ等によって時間的な揺らぎが生じる場合がある。

【0039】

（ｂ）は、メディア送信装置１の出力(IP信号)の実際のフレームタイミングを示している。ここでは、SDI信号に時間的な揺らぎがある場合を想定している。(ｂ)では、SDI信号受信回路１１１は、フレーム０を時刻T0で受信した後、フレーム１をT1よりもΔt1だけ早く受信し、フレーム２を時刻T２よりもΔt2だけ遅く受信した例を示している。なお、実際にはフレーム０の受信時刻のT0に対しても揺らぎが生じるかもしれないが、説明の都合上、ここでは、フレーム０の受信時刻T0には揺らぎはないものと仮定する。

【0040】

上記の例では、フレーム０、１、２のRTPパケットのタイムスタンプには、一般的にはSDI信号受信回路１１１が各フレームを受信した際にキャプチャしたPTP時刻、即ち、それぞれ、T0、T1-Δt1、T2+Δt2に相当する値が打刻される。

【0041】

しかし、本実施形態では、メディア送信装置１がSDI信号の各フレームをキャプチャした時刻を用いたタイムスタンプの打刻は行わない。本実施形態では、受信したSDI信号に時間的な揺らぎがあったとしても、（ａ）に示すような理想的なタイムスタンプ値を各フレームに打刻する。具体的には、フレーム０には、時刻T0に相当するタイムスタンプ値を、フレーム１には、時刻T1に相当するタイムスタンプ値を、フレーム２には、時刻T2に相当するタイムスタンプ値を打刻する。以降のフレームについても同様に打刻する。

【0042】

その具体例を、(ｃ)を用いて説明する。

【0043】

（ｃ）は、（ｂ）の実際のフレームタイミングにおける具体的なタイムスタンプ値を示している。 SMPTE_EPOCHに基づいたPTP時刻は、規格においては80ビットで表現されて、48ビットの秒フィールド（secondsField）と、ナノ秒単位の時刻を表す32ビットのナノ秒フィールド（nanosecondsField）で構成される。タイムスタンプ付与回路１１３は、このPTPの時刻情報を、90ｋHzクロックの32ビットのカウンタ値に変換し、このカウンタ値をタイムスタンプとして打刻する。PTPの時刻情報をタイムスタンプ値に変換する場合、タイムスタンプ値は整数と規定されているので、一般的にはカウント値は、小数分が四捨五入される。

【0044】

SDI信号のフレーム０が入力された場合、フレーム０に対応付けられたアライメントポイントによる時刻T0に相当する90ｋHzカウント値CT0が、そのフレーム０の全てのRTPパケットにタイムスタンプとして打刻される。続いてフレーム１が入力された場合、フレーム１に対応付けられたアライメントポイントによる時刻T1に相当する90ｋHzカウント値CT1が、そのフレーム１の全てのRTPパケットにタイムスタンプとして打刻される。更にフレーム２が入力された場合、フレーム２に対応付けられたアライメントポイントによる時刻T2に相当する90ｋHzカウント値CT2が、そのフレーム２の全てのRTPパケットにタイムスタンプとして打刻される。以降も同様である。

【0045】

例えば、フレームレートが59.94Hzの場合、フレーム周期は1/59.94Hzであるので、90kHzクロックのカウント数では、1/59.94x90,000=1501.50150150150・・・カウントとなる。即ち、フレーム０の時刻T0に対応するカウント値がCT0の場合、以降のフレームのカウント値は、CT1＝CT0＋1501.50150150150・・・×1、CT2＝CT0＋1501.50150150150・・・×2、・・・となる。ここで、仮に（実際にはないが）、CT0＝0とすると、CT1＝1501.50150150150・・・、CT2＝3003.003003003・・となる。小数点を四捨五入して整数にすると、CT0=0、CT1=1502、CT2=3003となる。即ち、このような値がタイムスタンプ値として打刻される。この時、CT1-CT0＝1502、CT2-CT1＝1501となる。上記の例では、フレームが進むにつれてしばらく、周期は、1502と1501が交互に繰り返される。ただし、小数点２位以下の端数（0.00150150150・・・）が累積によって１を超えた時点で、1502なる周期が連続する場合が生じる。このようなタイムスタンプの設定によって、フレームレート59.94Ｈｚを維持することができる。

【0046】

以上が、理想的なフレームタイミングにおける実際のタイムスタンプ値である。また、フレーム０におけるタイムスタンプ値CT0についても、T0を90kHzクロックでカウントした値を四捨五入等によって整数化した値を設定する。なお、フレームの境界については、RTPパケットのヘッダに、Marker bit (M): 1 bit が設定されており、それをフレームの終了時に１とすることになっている。このため、タイムスタンプ付与回路１１３は、Marker bit (M)を用いてフレームの境界を判別できる。

【0047】

上述したように、タイムスタンプ付与回路１１３は、SDI信号の生成時のSMPTE_EPOCHに基づいたアライメントポイントによる理想的なフレームタイミングを、タイムスタンプとして設定する。このようなタイムスタンプが設定された各RTPパケットは、RTPストリームとなり、IP信号送信回路１１４において、IP信号となってネットワークへ出力される。すなわち、本実施形態では、各フレームの受信時にキャプチャされたPTP時刻情報をタイムスタンプとして使用しない。

【0048】

図２に戻り、メディア送信装置１から送出されたIP信号は、ネットワークを介して、メディア受信装置２で受信される。

【0049】

メディア受信装置２で受信されたIP信号は、IP信号受信回路２１１に供給される。IP信号受信回路２１１は、IP信号（IPパケット）を受信する。具体的には、IP信号受信回路２１１は、イーサネットフレームに乗せられたIP信号から、RTPパケットで構成されるRTPストリームを抽出して、RTPデパケット化回路２１２へ送る。なお、IP信号受信回路２１１は、メディア送信装置１のIP信号送信回路１１４と同様に、GM４とPTPタイミング生成回路２２との間で時刻情報パケットを交信するための送受信装置の役目も果たす。

【0050】

RTPデパケット化回路２１２は、受信したIP信号からSDI信号のフレームを再生する。具体的には、RTPデパケット化回路２１２は、IP信号受信回路２１１から供給されたRTPストリームから、SMPTE ST2110-20/30/40又はST2022-8に規定に基づいて、SDI信号を構成するビット列（フレームデータ）を生成する。このSDI信号は、オフセット制御回路２１３へ送られる。

【0051】

オフセット制御回路２１３は、再生したSDI信号のフレームを、対応するRTPパケットに付与されたタイムスタンプのアライメントポイントに、所定のオフセットを加算した出力タイミングで出力する。すなわち、オフセット制御回路２１３では、メディア送信装置１で打刻されたタイムスタンプ値の時刻にオフセットを加えたタイミングで、SDI信号を後段のSDI信号送信回路２１４に送る。オフセットには、伝送遅延時間と、送信側及び受信側のSDI/IP変換処理時間とを加算した総合遅延時間以上の時間を用いる。

【0052】

SDI信号送信回路２１４は、オフセット制御回路２１３から出力されるフレームを、SDI信号として出力する。すなわち、SDI信号送信回路２１４は、オフセット制御回路２１３から出力されるSDI信号を直ちに出力する。

【0053】

以下に、オフセット制御回路２１３の動作について説明する。

【0054】

図４は、本実施形態のメディア受信装置２の出力タイミングを説明する図である。横軸は、SMPTE_EPOCHに基づくPTP時刻である。

【0055】

（ａ）は、メディア送信装置１のSDI信号受信回路１１１に入力されるSDI信号のイメージを示す。SDI信号のフレーム０、１、２・・・が、アライメントポイントのタイミングである時刻T0、T1、T2・・・で、SDI信号受信回路１１１に入力される。図３で説明したように、メディア生成部３から送られてくるSDI信号のフレームタイミングT0、T1、T2は、メディア送信装置１において既知である。なお、ここでは図３で説明したSDI信号の時間的な揺らぎは説明の都合上示していない。

【0056】

（ｂ）は、メディア送信装置１のIP信号送信回路１１４から出力されるIP信号のイメージを示す。SDI信号受信回路１１１が受信したSDI信号は、RTPストリームに変換された後さらにIP信号として出力される。フレーム内の各RTPパケットには、図３で説明したタイムスタンプ値CT0、CT1、CT2・・・が打刻されている。また、IP信号は、SDI信号からIP信号へ変換する処理遅延分、遅延が生じる。

【0057】

（ｃ）は、メディア受信装置２のIP信号受信回路２１１に入力されるIP信号のイメージを示す。メディア受信装置２が受信したIP信号は、ネットワーク伝送による伝送遅延が生じている。

【0058】

（ｄ）は、メディア受信装置２のRTPデパケット化回路２１２から出力されるSDI信号のイメージを示す。メディア受信装置２で受信されたIP信号は、RTPデパケット化回路２１２において、SDI信号に組み立てられる。この時、IP信号からSDI信号へ変換する処理遅延が追加される。

【0059】

（ｅ）は、メディア受信装置２のオフセット制御回路２１３から出力されるSDI信号′のイメージを示す。オフセット制御回路２１３は、メディア送信装置１の処理時間、伝送遅延時間、及びメディア受信装置２の処理時間を加算した総合遅延時間を算出し、オフセットとする。伝送遅延時間については、予め、測定用のパケットをメディア送信装置１およびメディア受信装置２で送受信することで測定しておく。実際の伝送遅延時間は、事前に測定した伝送遅延時間に対して多少変動する可能性がある。そのため、総合遅延時間には、伝送遅延時間の変動分を含む必要がある。変動分は、伝送遅延のばらつきを考慮して、ほぼすべてのケースにおいて、オフセットで指定したタイミングで出力できるように、例えば、伝送遅延時間の平均値を求めた際の３σ（標準偏差）を変動分として算出する。オフセット制御回路２１３は、総合遅延時間にこの変動分の付加時間を含んだオフセット値を算出してもよい。

【0060】

オフセット制御回路２１３は、フレーム０の出力タイミングが時刻T0＋オフセット（指定時刻）になるように制御してSDI信号を出力する。具体的には、オフセット制御回路２１３は、その出力タイミングになるまでSDI信号をバッファ回路（不図示）に待機させてから出力する。なお、時刻T0、T1、T2・・・は、各フレームのタイムスタンプ値とアライメントポイントから容易に算出できる。各フレームのタイムスタンプ値は、図３で説明したように整数値であるため、その値から直接正確なPTP時刻に基づくアライメントポイントは計算できないが、アライメントポイントは離散的な値であるため直近のアライメントポイントは容易に求められる。

【0061】

メディア受信装置２のSDI信号送信回路２１４は、原則、オフセット制御回路２１３から出力されたSDI信号を直ちに出力する。このため、メディア受信装置２が出力するSDI信号は、時刻T0に対してオフセット分だけ遅れたタイミングで出力される。

【0062】

（ｆ）は、比較例として、SMPTE ST2110又はST2022-8に規定に基づいた一般的な伝送システムにおけるメディア受信装置から出力されるSDI信号のイメージを示す。（ｆ）に示すように、一般的なメディア受信装置では、SDI信号は、当該SDI信号がメディア送信装置に入力された時刻毎に出力される。（ｆ）の場合、SDI信号のフレーム０、１、２・・・がメディア送信装置に入力された時刻T0、T1、T2・・・毎に出力される。すなわち、一般的なメディア受信装置では、フレーム０を時刻T1まで待ってから出力する。

【0063】

これに対し、本実施形態では、フレーム０を時刻T１まで待たずに、時刻T0にオフセットを加えた時刻で出力する。このため、本実施形態では、待機時間を少なくして、メディア受信装置２の出力遅延を低減することができる。

【0064】

以下に具体的な例を説明する。一般的に、映像、音声、補助データを含むSDI信号と、IP信号との間の変換処理時間は、送信側および受信側で合計1ms以内である。また、ネットワークとして80kmの光ファイバ伝送を仮定すると、光ファイバ中の光速を20万km/秒とした場合、光ファイバの伝送遅延は0.4msとなる。従って、総合遅延時間は、1.4msとなる。変動分を想定した付加時間を0.1ms（伝送遅延の約25％）とした場合、オフセットは1.5msと設定できる。

【0065】

一方、一般的なメディア受信装置の場合、フレームレートが59.94Hzの場合に１周期は約16.68ｍｓであるため、最大16.68ｍｓ待って出力される。従って、本実施形態のメディア受信装置２では、余裕時間を考慮しない場合、オフセットの1.5ms後にほぼ即時に出力できる。よって、本実施形態では出力遅延を大幅に低減することができる。

【0066】

以上説明した、本実施形態のメディア伝送システムは、メディア送信装置１とメディア受信装置２とを備える。メディア送信装置１は、各フレームがSMPTE_EPOCHに基づくアライメントポイントのタイミングに対応付けて生成された映像信号を受信する映像信号受信回路１１１と、前記映像信号をフレーム単位で複数のパケットに変換するパケット化回路１１２と、各パケットに、対応するフレームに設定された生成時の前記アライメントポイントのタイミングに相当するタイムスタンプを付与するタイムスタンプ付与回路１１３と、前記タイムスタンプが付与された各パケットをIP信号として送信するIP信号送信回路１１４とを含む。メディア受信装置２は、前記パケットを受信するIP信号受信回路２１１と、受信したパケットから前記映像信号のフレームを再生するデパケット化回路２１２と、再生した前記フレームを、対応するパケットに付与された前記タイムスタンプのアライメントポイントに、所定のオフセットを加算した出力タイミングで出力するオフセット制御回路２１３と、前記オフセット制御回路２１３から出力されるフレームを、前記映像信号として出力する映像信号送信回路２１４とを含む。

【0067】

このように、本実施形態のメディア送信装置１では、映像信号（SDI信号）の各フレームが生成される時に対応付けられているSMPTE_EPOCHに基づいたアライメントポイントのタイミングをタイムスタンプとして打刻する。これにより、メディア送信装置１の各回路に入力される映像信号に時間的な揺らぎがあっても、常に理想的なフレームのタイミングを示す時刻がタイムスタンプとして設定できる。したがって、本実施形態では、映像信号の位相の揺らぎによる映像品質の低下を回避することができる。

【0068】

また、本実施形態のメディア受信装置２では、各フレームに打刻されたタイムスタンプに対応するアライメントポイントに、処理時間及び伝送遅延時間を考慮したオフセットを加えたタイミングで出力する。これにより、次のアライメントポイントのタイミングを待って出力する従来の方式に比べて、低遅延での出力が可能となる。

【0069】

図５は、本実施形態のメディア送信装置１およびメディア受信装置２の実装イメージを示す図である。

【0070】

メディア送信装置１およびメディア受信装置２テムには、例えば、図５に示すようなホワイトボックス・スイッチを用いることができる。ホワイトボックス・スイッチは、CPU、Memory、Storage等 x86サーバーアーキテクチャに、Ethernet ASIC、クライアントトランシーバ等を組みわせたネットワーク機器であって、ハードとソフトが分離されており、必要な機能を持つネットワークOS/ソフトをユーザが選択し搭載できる。ホワイトボックス・スイッチの中には、Edgecore社 Cassini、Wistron社Galileo1のように、ハードウェアとしてトランスポンダ機能をプラグ・イン・ユニットの形で付加できるような拡張スロットを有しているものがある。

【0071】

図５では、メディア送信装置１の機能を有する送信モジュール１ｘ及びメディア受信装置２の機能を有する受信モジュール２ｘをイーサのインタフェースを介して装着している。片方向の通信を構成する場合は、どちらか一方のモジュール１ｘ、２ｘを装着し、両方向の通信を構成する場合は、両方のモジュール１ｘ、２ｘを装着する。

【0072】

図５に例示した送信モジュール１ｘ及び受信モジュール２ｘは、それぞれ４系統のSDI信号の入力端子及び出力端子を有する。図２の例では、１系統のみ使用した場合であり、次に示す図６の例では２系統使用する。４系統同時に伝送することも可能である。また、それ以上に増やすことも可能である。なお、本明細書では、ハードウェアに関係なく１系列の信号を送信または受信する経路を１系統と定義する。一組の送信装置及び受信装置で１つの系統を構成する場合、或いは複数の系統を構成する場合がある。

【0073】

図５では、メディア送信装置１およびメディア受信装置２の実装例として、外部からプログラムやインタフェースを搭載することで所望の機能を実現するホワイトボックスを示した。しかしながら、専用の装置を用いてメディア送信装置１およびメディア受信装置２を実現してもよい。

【0074】

以下に、図５に示す主な機能について説明する。

【0075】

・SAI：オーブンなEthernet ASIC制御API。ネットワークOSにおいて複数ベンダのEthernet ASICを抽象化したHAL（Hardware Abstraction Layer）として利用される。（https://github.com/opencomputeproject/SAI 参照）。

【0076】

・DAI：Digital-media Abstraction Interface、Ethernet ASIC向けのSAIと同様の、Encapsulator/De-encapsulator, Encoder/Decoder等Digital Media Converterを抽象化したHAL。メディア送信装置１の送信モジュール１ｘおよびメディア受信装置２の受信のモジュール毎２x毎に、スイッチと接続するネットワークインターフェースオブジェクトhostifと、デジタルメディアと接続するメディアインタフェースオブジェクトmediaifを有している。mediaifの中に、genlock mode、playout offset等のアトリビュートが存在する。

【0077】

・DAI-SH：上記アトリビュートを設定するための専用CLI。

【0078】

・Bridge Adapter：ホワイトボックス・スイッチのネットワークOSのKernel-spaceと、DAI-VMをブリッジするIFアダプタ。これにより、送信モジュール１ｘおよび受信モジュール２ｘを、Linux Kernelから制御するためのi2cコマンドをSocketメッセージとしてControl Planeを経由してKernel側へ送ったり、DAIコマンドをSocketメッセージとしてData Planeを経由して送ることができるようになる。

【0079】

・DAI-VM：ネットワークOSと切り離して、Digital Media Converterを制御するためのKVM環境を提供する。

【0080】

図２に示す第１の実施形態のメディア送信装置１およびメディア受信装置２を、図５のホワイトボックス・スイッチをそれぞれ用いて実現する場合、送信側のホワイトボックス・スイッチでは、メディア生成部３（カメラ等）を送信モジュール１ｘの１系統に接続し、クライアントトランシーバのインタフェースをネットワークに接続する。また、受信側のホワイトボックス・スイッチでは、クライアントトランシーバのインタフェースをネットワークに接続し、受信モジュール２ｘの１系統から、再生されたSDI信号を得る。

【0081】

＜第２の実施形態＞
第２の実施形態は、マルチリンク伝送の実施形態である。4Kや8Kのような超高精細映像の非圧縮信号の伝送には、高速の通信手段が必要であり、これについてもSMPTEにおいて規格化が行われている。例えば、HD（ハイビジョン）映像は、複数の信号に分けて伝送するようなことはないが、4Kや8Kでは、高速の伝送線路が用意できない場合、複数の信号に分けてマルチリンクとして伝送する場合がある。４K映像は、１本の通信ケーブルで伝送する場合（シングルリンク）、12Gbpsを通せるケーブル（12G-SDI）が必要となるが、４本のケーブルに分けて伝送する場合（マルチリンク）は、3Gbpsを通せるケーブルを４本用意すればよい（3G-SDI×4本）。同様に、８K映像は、１本の通信ケーブルで伝送する場合（シングルリンク）、48Gbpsを通せるケーブル（48G-SDI）が必要となるが、４本のケーブルに分けて伝送する場合（マルチリンク）は、12Gbpsを通せるケーブルを４本用意すればよい（12G-SDI×4本）。なお、通信分野では1チャネル当たり100Gｂｐｓレベルの伝送が実用化されつつあるが、48G-SDIは規格化も済んでいない非常に難しい技術であるため、8K映像の伝送にはマルチリンク伝送が欠かせない。

【0082】

このようなマルチリンク伝送において重要なことは、送信側で複数の信号に分解した画面（映像フレーム）等を受信側でいかに正確に復元するかである。マルチリンクの場合、受信側のマルチリンク間でフレームの精確な同期を得ないと、合成時の画面が乱れる可能性がある。

【0083】

また、クロック信号とフレームの周期との関係により、カウンタ値が常に整数にならない場合があり、このような場合は一般的には四捨五入によってカウンタ値を整数化してタイムスタンプとして使用する。その場合、位相の揺らぎによって同じ周期の信号でも常に同じタイムスタンプ値にならない場合がある。前述の特許文献１の装置をマルチリンク伝送に適用する場合、マルチリンク伝送する信号の間で、タイムスタンプ値が揃わない場合が生じる可能性がある。なお、ジッタ等による位相の揺らぎは、カメラと送信機（送信装置）との間だけでなく、場合によっては送信機がSDI信号を受信する際に受信するデータのタイミングと送信機内部のクロックのタイミングとのずれによって発生する場合もある。マルチリンク間でタイムスタンプ値が揃わない信号が受信側に送信された場合、受信側においてもマルチリンク間で、出力されるSDI信号のフレーム境界がずれる可能性があり、これによって合成時の画面が乱れる恐れがある。

【0084】

また、前述の特許文献２では、複数経路の遅延の違いを吸収するために共通PTSオフセットを設定しているが、その設定基準は、PTSに対してである。PTSは、受信側での映像信号等を提示する予定の時刻である。従って、複数経路の遅延差を吸収するためのオフセットを計算する上で、基準が予定時刻のため計算が複雑になる。また、特許文献２では、複数の受信端末において、同じタイミングで映像信号を同期して再生するものの、その映像信号内部のフレームの周期や位相も含めて精確に同期することは考慮されておらず、合成時の画面の乱れが発生する恐れがある。また、特許文献２の時刻同期は、msecオーダーの同期精度のNTP（Network Time Protocol）を対象にしており、SMPTE規格のようにnsecオーダーの同期精度のPTP（Precision Time Protocol）を対象にする同期に比べて、同期精度が悪く、これによっても映像品質の低下は避け得ない。なお、特許文献２は、符号化された信号のIP伝送であり、符号化前の非圧縮信号をIP伝送するものではない。

【0085】

本実施形態では、各フレームに打刻されたタイムスタンプに対応するアライメントポイントを基準としたタイミングでフレームを出力することにより、マルチリンク伝送の場合であっても、高精度なフレーム同期出力を実現する。

【0086】

なお、4K及び8K映像を含むメディアのIP伝送規格は、SMPTE ST2110スイートに規定されている。また、SDIを用いた4Kのマルチリンクに関する規定は、クワッドリンクとしてSMPTE ST425-5に、8Kのマルチリンクに関する規定は、クワッドリンクとしてSMPTE ST2082-12に規定されている。

【0087】

図６は、本発明の第２の実施形態のメディア伝送システムの構成を示す図である。

【0088】

本実施形態のメディア送信装置１及びメディア受信装置２は、図５に示す実装構成において、それぞれ複数の系統を使用する。図５の例では、メディア送信装置１の機能を有する送信モジュール１ｘ及びメディア受信装置２の機能を有する受信モジュールは、それぞれは4系統まで実装できる。ただし、図５のホワイトボックス・スイッチが送信または受信の片方向の機能しか使用しない場合は、送信モジュール１ｘを2台、または、受信モジュール２ｘを2台搭載することで、8系統まで実装できる。このように複数の系統で複数の系列の信号を伝送する方式をマルチリンク伝送という。

【0089】

例えば、3G-SDIを用いて4K/59.94pの映像を伝送する場合は、Quad 3G-SDI（3Gbps伝送×4系統）が必要となる。また、12G-SDIを用いて8K/59.94p映像を伝送する場合も、Quad 12G-SDI（12Gbps伝送×4系統）が必要となる。図５の実装構成では、送信側に4系統のSDIインタフェースを実装し、受信側にも4系統のSDIインタフェースを実装することで実現できる。

【0090】

図６に示す本実施形態のメディア伝送システムの個々の回路の動作については、図２に示した第１の実施形態のメディア伝送システムの個々の回路と基本的は同じある。ただし、図６の本実施形態のメディア伝送システムは、個々の回路がそれぞれn系統（複数の系統）の動作を並行して（同時に）行う。本明細書では、系統を「＃」として表し、n番目の系統の信号を「＃n」を付けて区別する。また、系統の数は、回路の数とは一致しない。本実施形態では、1つの回路で複数の系統の信号を処理する構成であるが、後述する第３の実施形態では、1つの回路で1つの系統を処理する構成とする。

【0091】

メディア送信装置１およびメディア受信装置２は、それぞれPTPタイミング生成回路１２、２２を１つ備える。本メディア伝送システムで用いるGM４は、１つである。PTPタイミング生成回路１２、２２の機能については、第１の実施形態と同じであり、GM４と同期したPTPクロック及びPTP時刻情報を装置毎に各回路へ供給する。

【0092】

メディア生成部３は、SDI信号受信回路１１１から映像同期信号であるGenLockが供給され、GenLockに基づいてSDI信号を生成する。SDI信号の各フレームは、アライメントポイントのタイミングで生成される。メディア生成部３は、生成したSDI信号の各フレームを、フレーム単位でn個の系列に分割してメディア送信装置１へ供給する。図示する例では、SDI信号は、フレーム単位で送信SDI＃１～＃ｎに分割してメディア送信装置１へ供給されている。

【0093】

メディア送信装置１のSDI信号受信回路１１１は、送信SDI＃１～＃ｎを受信し、RTPパケット化回路１１２へ送信SDI＃１′～＃ｎ′を送る。RTPパケット化回路１１２は、送信SDI＃１′～＃ｎ′をそれぞれRTPパケット化した送信RTPパケット＃１～＃ｎをタイムスタンプ付与回路１１３へ送る。

【0094】

タイムスタンプ付与回路１１３は、送信RTPパケット＃１～＃ｎのそれぞれに、図３で説明したタイムスタンプをフレーム毎に付与した送信RTPストリーム＃１～＃ｎを出力する。IP信号送信回路１１４は、送信RTPストリーム＃１～＃ｎをそれぞれIP信号に変換した送信IP＃１～＃ｎをネットワークへ送信する。図５に示す実装構成では、送信IP信号はEthernet ASICおよびクライアントトランシーバを介してネットワークへ送信される。

【0095】

メディア受信装置２のIP信号受信回路２１１は、ネットワークを介して受信IP＃１～＃ｎを受信し、RTPパケットで構成されるRTPストリームを抽出した受信RTPストリーム＃１～＃ｎを、RTPデパケット化回路２１２へ送る。RTPデパケット化回路２１２は、受信RTPストリーム＃１～＃ｎをそれぞれRTPデパケット化した受信SDI＃１～＃ｎをオフセット制御回路２１３へ送る。オフセット制御回路２１３は、受信SDI＃１～＃ｎに図４で説明したオフセットをそれぞれ設定した受信SDI＃１′～＃ｎ′を指定時刻にSDI信号送信回路２１４に出力する。SDI信号送信回路２１４は、受信SDI＃１′～＃ｎ′を直ちに受信SDI＃１″～＃ｎ″として出力する。

【0096】

図７は、本実施形態のメディア伝送システムの処理フローチャートである。図８は、本実施形態のメディア伝送システムの動作タイムチャートである。図７及び図８では、図６の構成図において、2系統、即ちn=2の場合について示している。

【0097】

図８において、(ａ)は、メディア送信装置１のSDI信号受信回路１１１の入力(送信SDI＃１、送信SDI＃２)を示し、(ｂ)は、メディア送信装置１のIP信号送信回路１１４の出力(送信IP＃１、送信IP＃２)を示し、(ｃ)は、メディア受信装置２のIP信号受信回路２１１の入力(受信IP＃１、受信IP＃２)を示し、(ｄ)は、メディア受信装置２のSDI信号送信回路２１４の出力(受信SDI＃１″、受信SDI＃２″)を示す。また、(ｆ)は、一般的なメディア受信装置のSDI信号の出力タイミングを比較例として示す。

【0098】

なお、図7及び図８は、一例として2系統の場合について示したが、これに限定されない。3系統以上でも、同様である。

【0099】

図７に示すように、送信側では、最初のステップとして、メディア送信装置１のPTPタイミング生成部１２は、PTPタイミングを生成し、メディア生成部３（不図示）に供給する（Ｓ７０）。メディア生成部３は、供給されたGenLockに基づいて、映像・音声・補助データを含む送信SDI＃１及び送信SDI＃２を生成し、メディア送信装置１に入力する。GenLockは、SMPTE_EPOCHに基づいた映像同期信号であり、アライメントポイントを生成する。メディア生成部３は、アライメントポイントのタイミングで、SDI＃１及びSDI＃２のフレームを構成する。SDI＃１とSDI＃２は、１つの装置（メディア生成部３）で同時に生成されてもよいし、また異なる場所に配置された複数の装置で別々に生成されてもよい。GenLockに基づいて生成されることで、メディア受信装置２が配置された受信側で、同時刻に生成された画像等は同じタイミングで再生したり、合成することができる。

【0100】

メディア送信装置１のSDI信号受信回路１１１は、送信SDI＃１及び送信SDI＃２を受信する（図７：Ｓ７１、図８(ａ)）。図８(ａ)では、送信SDI＃１（SDI信号）は、フレーム０（＃１）、フレーム１（＃１）、フレーム２（＃１）・・・を含み、送信SDI＃２（SDI信号）は、フレーム０（＃２）、フレーム１（＃２）、フレーム２（＃２）・・・を含む。なお、送信SDI＃１の、フレーム０（＃１）、フレーム１（＃１）、フレーム２（＃１）は、メディア送信装置１の系統＃１に入力されたフレームの順番を示す。送信SDI＃２の、フレーム０（＃２）、フレーム１（＃２）、フレーム２（＃２）は、メディア送信装置１の系統＃２に入力されたフレームの順番を示す。したがって、例えばフレーム０（＃１）と、フレーム０（＃２）とは異なるフレームである。

【0101】

各フレームは、メディア生成部３に供給されたGenLockに基づいて、アライメントポイントのタイミングT0、T1、T2・・・で生成され、それぞれのタイミングでSDI信号受信回路１１１に供給される。即ち、各SDI信号のフレーム０（＃１）、フレーム０（＃２）、フレーム１（＃１）、フレーム１（＃２）、フレーム２（＃１）、フレーム２（＃２）・・・には、アライメントポイントのタイミングT0、T1、T2・・・が対応付けられている。

【0102】

仮に、フレームレートが59.94Hzの場合、フレーム周期は、1/59.94Hzであるので、90kHzクロックのカウント数では、1周期あたり1/59.94x90,000=1501.50150150150・・・カウントとして表せる。図８(ａ)では、簡略して1501.5カウントと表記している。

【0103】

次に、RTPパケット化回路１１２は、送信SDI＃１及び送信SDI＃２を、それぞれRTPパケット＃１及びRTPパケット＃２に変換する（図７：Ｓ７２）。この変換は、一般的にEncapsulation(Encap)と称される。タイムスタンプ付与回路１１３は、RTPパケット＃１及びRTPパケット＃２に、タイムスタンプを設定し（図７：Ｓ７３）、送信RTPストリーム＃１及び送信RTPストリーム＃２を生成する。ＩＰ信号送信回路１１４は、送信RTPストリーム＃１及び送信RTPストリーム＃２をIPパケット化した送信IP＃１及び送信IP＃２をネットワークへ送信する(図７：Ｓ７４、図８(ｂ))。

【0104】

以下に、図８を参照して、タイムスタンプ付与回路１１３のタイムスタンプの付与方法について説明する。

【0105】

まず、系統＃１のフレーム０（＃１）内の全てのRTPパケットには、送信SDI＃１のフレーム０がアライメントポイントによって対応付けられた時刻T0に相当するカウント値CT0が打刻され、系統＃２のフレーム０（＃２）内の全てのRTPパケットにも同じCT0が打刻される。

【0106】

続いて、系統＃１のフレーム１（＃１）内の全てのRTPパケットには、アライメントポイントにおける時刻T１に相当するカウント値CT1が打刻され、系統＃２のフレーム１（＃２）内の全てのRTPパケットにも同じCT1が打刻される。更に、系統＃１のフレーム２（＃１）内の全てのRTPパケットには、アライメントポイントにおける時刻T2に相当するカウント値CT2が打刻され、系統＃２のフレーム２（＃２）内の全てのRTPパケットにも同じCT2が打刻される。以降も同様である。

【0107】

例えば、フレーム周期が1/59.94Hzでクロックが90kHzの場合、1周期に相当するカウント値は、1501.50150150150・・・なので、このカウント値をフレーム毎に積算した値を四捨五入して、CT0、CT1、CT2・・・が生成される。本実施形態においても、図３で説明したように、各フレームのカウント差は、1502と1501がしばらくの間交互になり、ある時点で1502が繰り返される場合が生じる。但し、フレームレートとカウンタ用クロックとの関係によっては、上述した繰り返しの態様に限定されない。

【0108】

このように、系統＃１及び系統＃２の各フレームの全てのRTPパケットには、各フレームがSDI信号受信回路１１１又はRTPパケット化回路１１２に供給された時刻ではなく、フレーム生成時のSMPTE_EPOCHに基づいたアライメントポイントのタイミング(実際にはクロック値に換算した値)が、系統＃１及び系統＃２で揃うように打刻される。それは、メディア生成部３から受信するSDI信号に時間的な揺らぎがあっても変わらない。その結果、IP信号送信回路１１４の出力は、図８(ｂ)に示すように、送信IP＃１及び送信IP＃２のタイムスタンプ値は、同じフレームタイミングでは同じ値となっている。

【0109】

これによって、メディア送信装置１に入力される複数の系列のSDI信号に遅延差がある場合、または、各系列のSDI信号にジッタがある場合でも、同じフレームタイミングにおいて複数の系列でタイムスタンプは異なることなく、同じタイムスタンプが打刻される。

【0110】

図７に戻り、メディア送信装置１からネットワークに出力された送信IP＃１及び送信IP＃２は、メディア受信装置２のIP信号受信回路２１１へそれぞれ入力される（図７：Ｓ７５）。一般的に複数の系列のIP信号がネットワークを経由すると、図８（ｃ）に示すように、系列間で伝送遅延差が生じる場合がある。IP信号受信回路２１１に入力されるIP信号を受信IP＃１及び受信IP＃２と表す。図８（ｃ）では、受信IP＃１が受信IP＃２よりも先に入力される様子が示されている。

【0111】

RTPデパケット化回路２１２は、受信IP＃１及び受信IP＃２を、Decap開始タイミングでそれぞれデパケット化して受信SDI＃１及び受信SDI＃２に変換する（図７：Ｓ７６、Ｓ７７）。この変換は、一般的にDe-Encapsulation(Decap)と称される。なお、PTPタイミング生成部２２は、PTPタイミングを生成し、各回路に供給する（図７：Ｓ８０）。

【0112】

図８（ｃ）では、Decap開始指示タイミングが、受信IP＃１のフレーム１（＃１）の受信直後で、且つ受信IP＃２のフレーム１（＃２）の受信直前に提供された例が示されている。この場合、受信IP＃１において、RTPパケットからSDI信号に変換するためのデータが揃うのは、フレーム２（＃１）以降であり、受信IP＃２において、RTPパケットからSDI信号に変換するためのデータが揃うのはフレーム１（＃２）以降となる。なお、Decap開始指示は、例えばユーザが出すことができる。

【0113】

従って、図８（ｄ）に示すように、SDI信号に変換後、最終的にSDI信号送信回路２１４から出力される受信SDI＃１″はフレーム２（＃１）以降、受信SDI＃２″はフレーム１（＃２）以降となる。この時、オフセット制御回路２１３は、各フレームの出力タイミングにオフセットを設定する（図７：Ｓ７８）。これにより、各系統の各フレームは、当該フレームに打刻されたタイムスタンプに対応するアライメントポイントにオフセットを加えたタイミングで直ちに出力される（図７：Ｓ７９）。

【0114】

具体的には、受信SDI＃１″のフレーム２（＃１）は、時刻T2+オフセットのタイミングで出力され、フレーム３（＃１）は、時刻T3＋オフセットのタイミングで出力される。また、受信SDI＃２″のフレーム１（＃２）は、時刻T１+オフセットのタイミングで出力され、フレーム２（＃２）は、時刻T２＋オフセットのタイミングで出力され、フレーム３（＃２）は、時刻T3＋オフセットのタイミングで出力される。

【0115】

なお、オフセットは、図４で説明したように、伝送遅延の変動分を見込んだ付加時間を総合遅延時間(処理時間+伝送遅延)に加えた時間である。また、各受信SDI信号は、オフセット制御回路２１３内のバッファ回路（不図示）で、それぞれの出力タイミングまで待機している。

【0116】

なお、SMPTE ST2110またはSMPTE ST2022-8規格によると、一般的なSDI信号は、データが揃った時点以降の次のアライメントポイントのタイミングで出力される（図８（ｆ））。即ち、系統＃１では、フレーム２（＃１）は時刻T3で、フレーム３（＃１）は時刻T4で出力され、系統＃２では、フレーム１（＃２）は時刻T2で、フレーム２（＃２）は時刻T3で、フレーム３（＃２）は時刻T4で出力される。

【0117】

しかし、本実施形態では、複数の系統において、次のアライメントポイントのタイミングを待たずに、SDI信号のフレームの生成時に対応付けられたアライメントポイントにオフセットを加えたタイミングで出力することができる。従って、本実施形態では、出力までの遅延を一般的なシステムより低減できる。

【0118】

また、オフセット設定によって、複数系統でマルチリンク伝送の場合、受信側でフレームの再生のタイミングがずれることを防ぎ、高精度なフレーム同期出力を得ることができる。

【0119】

また、出力タイミングの精度は、SMPTE_EPOCHに基づくPTP時刻を使用するためナノ秒オーダーにまで可能になる。また、図８に示すように、伝送経路によって伝送遅延差が生じた場合においても、その最大の伝送遅延に合せたオフセットを設定することで、各系統のフレームの出力タイミングを高精度で一致させることができる。これにより、メディア受信装置２が出力するSDI信号を再生する受信側で、送信側の映像をより高品質に復元することができる。すなわち、映像信号を複数に分けてマルチリンク伝送を行う場合でも、受信側で画面内の乱れを生じさせることなく高品質な映像・音声を復元できる。

【0120】

なお、送信側のメディア送信装置１で、マルチリンク間で各フレームのタイムスタンプ値を同じ値に揃えているので、受信側のメディア受信装置２の出力タイミングをアライメントポイントにオフセットを加えたタイミングではなく、仮にタイムスタンプ値から直接計算した時刻にオフセットを加えたタイミングとしても、出力タイミングにずれを生じさせないようにできる。

【0121】

＜第３の実施形態＞
第３の実施形態は、マルチリンク伝送の他の実施形態である。

【0122】

図９は、本発明の第３の実施形態３に係るメディア伝送システムの構成を示す図である。図示するメディア伝送システムは、1系統のメディア送信装置及び1系統のメディア受信装置を、並列に2組に構成した例である。

【0123】

各装置の構成要素は、後に述べる管理時刻以外は、第１の実施形態と同じである。第２の実施形態では、1組のメディア送信装置及びメディア受信装置で、複数の系統のマルチリンクの例を示したが、本実施形態では、複数組のメディア送信装置及びメディア受信装置が、複数の系統を構成するマルチリンクの例を示す。

【0124】

本システムは、フレームレートが高速なHFRの伝送に有用と考える。例えば、4K/119.88pの伝送システムは、1組で3G-SDIを構成する場合、8組で構成される。また、8K/119.88pを12G-SDI 8組で構成する場合にも適用可能である。

【0125】

本実施形態では、説明の都合上、HFRの映像伝送を2組で構成した場合について示す。

【0126】

図９のメディア伝送システムでは、メディア送信装置１－１及びメディア受信装置２－１をマスタ側装置と位置づけ、メディア送信装置１－２及びメディア受信装置２－２をスレーブ側装置と位置付けている。マスタ側のメディア送信装置１－１及びメディア受信装置２－１では、SDI信号の各フレームに対して、SMPTE_EPOCHに基づいたPTP時刻により取得した現在時刻を管理時刻として動作するが、スレーブ側のメディア送信装置１－２及びメディア受信装置２－２では、マスタ側の管理時刻に対して１フレーム分進んだ時刻、或いは１フレーム分遅れた時刻を管理時刻として動作する。管理時刻とは、フレームに対応付けている時刻を示す。

【0127】

図１０は、本実施形態のメディア伝送システムの動作を説明する図である。図１０では、メディア生成部３（以下、「カメラ」）で生成されたSDI信号のフレーム（1）、(2)、(3)・・・のうち、奇数(odd)番目のフレーム(1)、(3)・・・が、マスタ側のメディア送信装置１－１に入力され、偶数(even)番目のフレーム(2)、(4)・・・が、スレーブ側のメディア送信装置１－２に入力される場合を示している。このように、奇数番目のフレームと偶数番目のフレームとを同時に2組の送受信装置で伝送する(odd/even伝送)ことで、1組の送受信装置あたりの負荷（伝送速度）を減らすことができる。

【0128】

図１０において、n、n+1、・・・は、タイムスタンプ値であって、ここでは、フレームの順番を模擬した値(整数)を用い、1周期のタイムスタンプの増分（1/119.88×90,000=750.750750・・・）を1とした。また、f(n)は、タイムスタンプ値ｎのSMPTE_EPOCHに基づいたPTP時刻（アライメントポイント）を示している。これによると、カメラからのフレーム（1）、(2)、(3)・・・は、時刻f(n-2)、f(n-1)、f(n)・・・のタイミングで出力される。

【0129】

カメラからの出力は、図１０(ａ)に示すように、奇数番目のフレームと偶数番目のフレームに分けられて、メディア送信装置１－１、１－２にそれぞれ入力される。マスタ側のメディア送信装置１－１のSDI信号受信回路１１１に入力されるフレーム(1)、(3)・・・は、送信SDI＃１とし、スレーブ側のメディア送信装置１－２のSDI信号受信回路１１１に入力されるフレーム(2)、(4)・・・は、送信SDI＃２とした。送信SDI＃１と送信SDI＃２の伝送速度は、奇数および偶数のフレームが連続している場合に比べて半分になっており、フレーム(1)とフレーム(2)は同じタイミング及びレートで各SDI信号受信回路１１１に入力される。フレーム(3)とフレーム(4)、フレーム(5)とフレーム（6）、及び以降のフレームも同様である。

【0130】

各フレームは、RTPパケット化回路１１２によってRTPパケット化され、さらにタイムスタンプ付与回路１１３によって、タイムスタンプが打刻される。図１０(ｂ)は、タイムスタンプが打刻されIP信号送信回路１１４から出力される送信IP＃１及び送信IP＃２のイメージを示している。この時、マスタ側のタイムスタンプ付与回路１１３では、フレーム(1)に対応付けられた時刻f(n)のタイムスタンプ値ｎが、フレーム(1)の全RTPパケットに打刻される。時刻f(n)は、前述の管理時間である。スレーブ側のタイムスタンプ付与回路１１３では、フレーム(2)のタイムスタンプ値として、マスタ側のフレーム(1)のタイムスタンプ値nに対して１（1周期のタイムスタンプの増分）だけ進んだn+1が打刻される。

【0131】

また、マスタ側のフレーム(3)のタイムスタンプ値としては、フレーム(3)に対応付けられた時刻f(n+2)のタイムスタンプ値n+2が打刻される。スレーブ側のフレーム(4)のタイムスタンプ値としては、マスタ側のフレーム(3)のタイムスタンプ値n+2に対して1だけ進んだn+3が打刻される。同様に、マスタ側のフレーム(5)のタイムスタンプ値としては、タイムスタンプ値n+4が打刻され、スレーブ側のフレーム(6)のタイムスタンプ値として、マスタが側のフレーム(5)のタイムスタンプ値n+4に対して1だけ進んだn+5が打刻される。

【0132】

タイムスタンプ付与回路１１３でタイムスタンプが打刻されたRTPパケットは、それぞれのIP信号送信回路１１４を経て送信IP＃１及び送信IP＃２となり、ネットワークに出力される。

【0133】

続いて、図１０（ｃ）に示すように、マスタ側のメディア送信装置１－１からの送信IP＃１は、ネットワークを経て、マスタ側のメディア受信装置２－１のIP信号受信回路２１１に受信IP＃１として入力される。また、スレーブ側のメディア送信装置１－２からの送信IP＃２は、ネットワークを経て、スレーブ側のメディア受信装置２－２のIP信号受信回路２１１に、受信IP＃２として入力される。

【0134】

受信IP＃１及び受信IP＃２は、それぞれのRTPデパケット化回路２１２によって、SDI信号に組み立てられて、それぞれ受信SDI＃１及び受信SDI＃２となる。この時、マスタ及びスレーブの各オフセット制御回路２１３が、同じオフセットをそれぞれのフレームの出力タイミングに設定する。オフセットは、マスタ及びスレーブの両方のネットワークの伝送遅延時間および処理時間の最大値を加味した時間である。具体的には、各フレームは、マスタ側のフレームのタイムスタンプに対応するアライメントポイントに、オフセットを加えたタイミングでメディア受信装置２－１、メディア受信装置２－２からそれぞれ出力される。

【0135】

図１０は、オフセットを1msにした場合の例を示している。

【0136】

図１０（ｄ）に示すSDI信号送信回路２１４の出力では、マスタ側では、フレーム(1)が、受信SDI＃１″として、f(n)＋オフセットのタイミングで出力され、スレーブ側では、フレーム(2)が、受信SDI＃２″として、f(n)＋オフセットのタイミングで出力される。更に、マスタ側では、フレーム(3)が、f(n+2)＋オフセットのタイミングで出力され、スレーブ側では、フレーム(4)が、f(n+2)＋オフセットのタイミングで出力される。続いて、マスタ側では、フレーム(5)が、f(n+4)＋オフセットのタイミングで出力され、スレーブ側では、フレーム(6)が、f(n+4)＋オフセットのタイミングで出力される。以降も同様である。

【0137】

なお、SDI信号を再生するモニタは、受信装置から同じタイミングで出力される受信SDI＃１″及び受信SDI＃２″のフレーム(1)とフレーム(2)、フレーム(3)とフレーム(4)、・・・・と言った奇数番目のフレームと偶数番目のフレームのペアを、再び、フレーム（1）、(2)、(3)、(4)・・・の順に組み立て直して画面表示する。

【0138】

図１１は、本実施形態のメディア伝送システムの他の動作を説明する図である。図１１の動作は、図１０の変形例で、カメラで生成されたフレーム（1）、(2)、(3)・・・のうち、偶数(even)番目のフレーム(2)、(4)・・・が、マスタ側のメディア送信装置１－１に入力され、奇数(odd)番目のフレーム(1)、(3)・・・が、スレーブ側のメディア送信装置１－２に入力される場合を示す。この場合も図１０と同様に、奇数番目のフレームと偶数番目のフレームとを同時に2組の送受信装置で伝送する(odd/even伝送)ことで1組の送受信装置あたりの負荷を減らすことができる。図１１のパラメータは、図１０と同様である。n、n+1、・・・は、タイムスタンプ値であって、ここでは、フレームの順番を模擬した値(整数)を用い、1周期のタイムスタンプの増分（1/119.88×90,000=750.750750・・・）を1とした。

【0139】

図１１においても、カメラからのフレーム（1）、(2)、(3)・・・は、時刻f(n-2)、f(n-1)、f(n)・・・のタイミングで出力される。カメラからの出力は、図１１(ａ)に示すように、奇数番目のフレームと偶数番目のフレームに分けられて、メディア送信装置１－１、１－２にそれぞれ入力される。マスタ側（メディア送信装置１－１）のSDI信号受信回路１１１に入力されるフレーム（2）、(4)・・・は、送信SDI＃１で表され、スレーブ側（メディア送信装置１－２）のSDI信号受信回路１１１に入力されるフレーム（1）、(3)・・は、送信SDI＃２で表される。図１１においても、送信SDI＃１と送信SDI＃２の伝送速度は、偶数および奇数のフレームが連続して１つのメディア送信装置に入力される場合に比べて半分になっており、フレーム(1)とフレーム(2)は同じタイミング及びレートで各SDI信号受信回路１１１に入力される。フレーム(3)とフレーム(4)、フレーム(5)とフレーム(6)、及び以降のフレームも同様である。

【0140】

各フレームは、RTPパケット化回路１１２によってRTPパケット化され、さらにタイムスタンプ付与回路１１３によって、タイムスタンプが打刻される。図１１(ｂ)には、タイムスタンプが打刻されIP信号送信回路１１４から出力される送信IP＃１及び送信IP＃２のイメージを示している。この時、マスタ側のタイムスタンプ付与回路１１３では、フレーム(2)に対応付けられた時刻f(n)のタイムスタンプ値nが、フレーム(2)の全RTPパケットに打刻される。スレーブ側のタイムスタンプ付与回路１１３では、フレーム(1)のタイムスタンプ値として、マスタ側のフレーム(2)のタイムスタンプ値nに対して１だけ遅れた値（過去にさかのぼった値）であるn-1が打刻される。

【0141】

また、マスタ側のフレーム(4)のタイムスタンプ値としては、フレーム(4)に対応付けられた時刻f(n+2)のタイムスタンプ値n+2が打刻される。スレーブ側のフレーム(3)のタイムスタンプ値としては、マスタ側のフレーム(4)のタイムスタンプ値n+2に対して1だけ遅れた値であるｎ+1が打刻される。同様に、マスタ側のフレーム(6)のタイムスタンプ値としては、タイムスタンプ値n+4が、スレーブ側のフレーム(5)のタイムスタンプ値としては、マスタが側のフレーム(6)のタイムスタンプ値n+4に対して1だけ遅れた値であるn+3が打刻される。

【0142】

タイムスタンプが打刻されたRTPパケットは、それぞれのIP信号送信回路１１４を経て送信IP＃１及び送信IP＃２となり、ネットワークに出力される。

【0143】

続いて、図１１（ｃ）に示すように、マスタ側のメディア送信装置１－１から送信された送信IP＃１は、ネットワークを経て、マスタ側のメディア受信装置２－１のIP信号受信回路２１１に受信IP＃１として入力される。また、スレーブ側のメディア送信装置１－２から送信された送信IP＃２は、ネットワークを経て、スレーブ側のメディア受信装置２－２のIP信号受信回路２１１に、受信IP＃２として入力される。

【0144】

受信IP＃１及び受信IP＃２は、各RTPデパケット化回路２１２によって、SDI信号に組み立てられて、それぞれ受信SDI＃１及び受信SDI＃２となる。この時、マスタ及びスレーブの各オフセット制御回路２１３が、同じオフセットをそれぞれのフレームの出力タイミングに設定する。オフセットは、マスタ及びスレーブの両方のネットワーク伝送遅延時間および処理時間の最大値を加味した時間である。具体的には、各フレームは、マスタ側のフレームのタイムスタンプに対応するアライメントポイントに、オフセットを加えたタイミングでメディア受信装置２－１、メディア受信装置２－２からそれぞれ出力される。

【0145】

図１１では、オフセットを1msにした場合の例を示している。

【0146】

SDI信号送信回路２１４の出力では、マスタ側では、フレーム(2)が、受信SDI＃１″として、f(n)＋オフセットのタイミングで出力され、スレーブ側では、フレーム(1)が、受信SDI＃２″として、f(n)＋オフセットのタイミングで出力される。更に、マスタ側では、フレーム(4)が、f(n+2)＋オフセットのタイミングで出力され、スレーブ側では、フレーム(3)が、f(n+2)＋オフセットのタイミングで出力される。続いて、マスタ側では、フレーム(6)が、f(n+4)＋オフセットのタイミングで出力され、スレーブ側では、フレーム(5)が、f(n+4)＋オフセットのタイミングで出力される。以降も同様である。

【0147】

なお、SDI信号を再生するモニタは、受信装置から同じタイミングで出力される受信SDI＃１″及び受信SDI＃２″のフレーム(1)とフレーム(2)、フレーム(3)とフレーム(4)、・・・・と言った奇数番目のフレームと偶数番目のフレームのペアを、再び、フレーム（1）、(2)、(3)、(4)・・・の順に組み立て直して画面表示する。

【0148】

以上説明した本実施形態のメディア伝送システムは、メディア送信装置およびメディア受信装置の組を複数備え、前記複数の組は、マスタ系列用の組と、少なくとも１つのスレーブ系列用の組とを含み、 映像信号（SDI信号）は、マスタ系列と、少なくとも１つのスレーブ系列とに分割して送信される。各メディア送信装置１において、映像信号受信回路１１１は、自身の系列の映像信号を受信し、パケット化回路１１２は、受信した映像信号を複数のパケットに変換し、タイムスタンプ付与回路１１３は、自身の系列がマスタ系列の場合は、前記パケットに対応するフレームに設定された前記アライメントポイントのタイミングに相当するタイムスタンプを付与し、自身の系列がスレーブ系列の場合は、前記マスタ系列で付与されたタイムスタンプに対して、少なくとも１フレーム分進んだ或いは遅れたタイムスタンプを前記パケットに付与し、IP信号送信回路１１４は、前記タイムスタンプが付与されたパケットをIP信号として送信する。各メディア受信装置において、IP信号受信回路２１１は、自身の系列の前記パケットを受信し、デパケット化回路２１２は、受信したパケットからフレームを再生し、オフセット制御回路２１３は、自身の系列がマスタ系列の場合は、再生したフレームを、対応するパケットに付与された前記タイムスタンプのアライメントポイントに、所定のオフセット値を加算した出力タイミングで出力し、自身の系列がスレーブ系列の場合は、再生したフレームを、前記マスタ系列のタイムスタンプのアライメントポイントに前記オフセット値を加算した出力タイミングで出力し、映像信号送信回路２１４は、オフセット制御回路２１３から出力されるフレームを、映像信号として出力する。

【0149】

このように、本実施形態は、外部から受信した映像信号を複数組のメディア送信装置及びメディア受信装置でマルチリンク伝送を行う構成について示した。本実施形態では、特に、フレームレートが高速なHFR伝送を行う場合に、2組のメディア送信装置とメディア受信装置を用いて、偶数フレームと奇数フレームとを分けて伝送すれば、それぞれ半分のレートで伝送できる。その場合、1つの系統をマスタとし、その他の系統をスレーブとし、スレーブ装置の保持する時刻をマスタ装置の保持するPTPで同期した正確な時刻に対して、進めさせたり、遅れさせたりする。これにより、メディア送信装置とメディア受信装置間で送受信されるマルチリンク伝送の各ストリームのRTPタイムスタンプが、マルチリンク間でも正しい順序になるように制御できる。

【0150】

本実施形態においても、メディア送信装置のタイムスタンプ付与については、各フレームの受信時のキャプチャ時刻ではなく、フレーム生成時のSMPTE_EPOCHに基づいたアライメントポイントのタイミングで打刻している。これによって、複数の系統であってもタイムスタンプ値を適正な値とすることができる。高速レートのIP伝送において、2組の送受信装置を備えることでレートを1/2に落とすことで、品質の劣化を防ぐとともに、HFRに未対応のデバイスにおいてもHFRの映像信号の送受信を行うことができる。

【0151】

また、メディア受信装置において、SDI信号のフレームの出力にオフセットを設けることによって、次のアライメントポイントまで待たずに出力することができるため、メディア受信装置の出力遅延を低減できる。

【0152】

また、本実施形態は、図９の構成に限定されず、図６の第２の実施形態の構成においても実現できる。この場合は、複数の系統のうち１つがマスタとなり、残りの系統がスレーブとなることで実現できる。それぞれの動作は図１０及び図１１で示した動作と同じである。

【0153】

また、図９は、2組のメディア送信装置およびメディア受信装置の構成例を示したが、これに限定されない。m組のメディア送信装置およびメディア受信装置の場合、mごとのフレームの伝送とすることができる。例えば、m組のメディア送信装置およびメディア受信装置の場合、n番目のフレーム、n+1番目のフレーム、n+2番目のフレーム、・・・、n+m-1番目のフレームを、同時に伝送することができる。すなわち、m個の系列のフレームを並列で処理することができる。この場合、各組の伝送速度を1/mに低減でき装置構成を簡易化することができる。或いは各組の伝送速度を維持する場合は、m倍の容量の映像データを送ることができる。

【0154】

例えば、SDI信号（映像信号）が、m個の系列に分割して送信され、n番目のフレーム系列がマスタ系列で、マスタ系列より後のn+１番目～n+m-1番目のフレーム系列がスレーブ系列の場合、タイムスタンプ付与回路１１３は、自身の系列がスレーブ系列の場合、マスタ系列で付与されたタイムスタンプよりも後の時刻のタイムスタンプをパケットに付与する。

【0155】

また、SDI信号が、m個の系列に分割して送信され、n番目のフレームの系列がマスタ系列で、マスタ系列より前のn-1番目～n-m+１番目のフレーム系列がスレーブ系列の場合、タイムスタンプ付与回路１１３は、自身の系列がスレーブ系列の場合、マスタ系列で付与されたタイムスタンプよりも前の時刻のタイムスタンプをパケットに付与する。

【0156】

また、本実施形態は、図９の構成に限定されず、図６に示す第２の実施形態の構成と組み合わせてもよい。即ち、スレーブ装置もマスタ装置と同じPTPで同期した正確な時刻のままとして、第２の実施形態のような１組の送受信装置のSDIインタフェースでは足りない複数系統の信号系列のマルチリンク伝送を、第３の実施形態のような複数の組の送受信装置で実現してもよい。

【0157】

例えば、第２の実施形態で4系統の送受信を実現し、更に、第３の実施形態において2組の送受信装置を実現すれば、合計で8系統のマルチリンク伝送を実現できる。横7680画素×縦2160画素のワイド映像の伝送システムを、第２の実施形態の構成でQuad 3G-SDI（3Gbps伝送×4系統）を実現し、それを第３の実施形態の構成で2組用意することで実現できる。但し、この場合、スレーブのタイムスタンプは、マスタと同じにする。

【0158】

一般的な伝送システムでは、メディア受信装置にIPパケット（メディアパケット）が到着してから、SMPTE EPOCHにもとづいた次のフレーム周期まで出力されないが、上記説明した第１から第３の実施形態でのメディア伝送システムでは、次のフレーム周期まで待つことなく、任意のタイミングで出力か可能であり、低遅延での出力を実現できる。

【0159】

また、第２および第３の実施形態のメディア伝送システムでは、高臨場の8K映像等をマルチリンクを介して、複数のデジタル信号として伝送する際に、SMPTE ST2082-12等で規定される位相差内で出力できる。これにより、高いリアルタイム性が要求されるリモート合唱や合奏の伝送においても、受信側で複数のパートをずれなく低遅延で合成することができる。また、双方向コミュニケーションの場合でも遅延を感じさせない、円滑なコミュニケーションを実現できる。

【0160】

＜ハードウェア構成＞
上記説明したメディア送信装置およびメディア受信装置には、汎用的なコンピュータシステムを用いることができる。コンピュータシステムは、例えば、ＣＰＵ（Central Processing Unit、プロセッサ）と、メモリと、ストレージ（HDD：Hard Disk Drive、SSD：Solid State Drive）と、通信装置と、入力装置と、出力装置とを備える。メモリおよびストレージは、記憶装置である。このコンピュータシステムにおいて、ＣＰＵがメモリ上にロードされたメディア送信装置用のプログラムまたはメディア受信装置２用のプログラムを実行することにより、メディア送信装置またはメディア受信装置の各機能が実現される。

【0161】

また、メディア送信装置およびメディア受信装置は、１つのコンピュータで実装されてもよく、あるいは複数のコンピュータで実装されても良い。また、メディア送信装置およびメディア受信装置は、コンピュータに実装される仮想マシンであっても良い。メディア送信装置用のプログラム、および、メディア受信装置用のプログラムは、HDD、SSD、USB（Universal Serial Bus）メモリ、ＣＤ (Compact Disc)、DVD (Digital Versatile Disc)などのコンピュータ読取り可能な記録媒体に記憶することも、ネットワークを介して配信することもできる。

【0162】

なお、本発明は上記実施形態および変形例に限定されるものではなく、その要旨の範囲内で数々の変形が可能である。

【符号の説明】

【0163】

１ ：メディア送信装置（送信装置）
１１ ：SDI/IP変換回路
１１１：SDI信号受信回路
１１２：RTPパケット化回路
１１３：タイムスタンプ付与回路
１１４：IP信号送信回路
１２ ：PTPタイミング生成回路
２ ：メディア受信装置（受信装置）
２１ ：IP/SDI変換回路
２１１：IP信号受信回路
２１２：RTPデパケット化回路
２１３：オフセット制御回路
２１４：SDI信号送信回路
２２ ：PTPタイミング生成回路
３ ：メディア生成部３
４ ：PTPグランドマスタ（GM）

【要約】

【課題】映像信号の出力遅延を低減し、映像信号の位相の揺らぎによる映像品質の低下を回避する。
【解決手段】メディア伝送システムであって、メディア送信装置１は、アライメントポイントのタイミングに対応付けて生成された映像信号を受信する映像信号受信回路１１１と、映像信号をフレーム単位で複数のパケットに変換するパケット化回路１１２と、各パケットに、生成時のアライメントポイントのタイミングのタイムスタンプを付与するタイムスタンプ付与回路１１３と、各パケットをIP信号として送信するIP信号送信回路１１４とを含み、メディア受信装置２は、 前記パケットを受信するIP信号受信回路２１１と、パケットから映像信号のフレームを再生するデパケット化回路２１２と、再生したフレームを前記タイムスタンプのアライメントポイントにオフセットを加算した出力タイミングで出力するオフセット制御回路２１３と、オフセット制御回路２１３から出力されるフレームを出力する映像信号送信回路２１４とを含む。
【選択図】図１

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】