IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 日本電信電話株式会社の特許一覧

特許7598062映像送信装置、映像受信装置、映像送信方法、映像受信方法、映像送信プログラム、及び、映像受信プログラム
<>
  • 特許-映像送信装置、映像受信装置、映像送信方法、映像受信方法、映像送信プログラム、及び、映像受信プログラム 図1
  • 特許-映像送信装置、映像受信装置、映像送信方法、映像受信方法、映像送信プログラム、及び、映像受信プログラム 図2
  • 特許-映像送信装置、映像受信装置、映像送信方法、映像受信方法、映像送信プログラム、及び、映像受信プログラム 図3
  • 特許-映像送信装置、映像受信装置、映像送信方法、映像受信方法、映像送信プログラム、及び、映像受信プログラム 図4
  • 特許-映像送信装置、映像受信装置、映像送信方法、映像受信方法、映像送信プログラム、及び、映像受信プログラム 図5
  • 特許-映像送信装置、映像受信装置、映像送信方法、映像受信方法、映像送信プログラム、及び、映像受信プログラム 図6
  • 特許-映像送信装置、映像受信装置、映像送信方法、映像受信方法、映像送信プログラム、及び、映像受信プログラム 図7
  • 特許-映像送信装置、映像受信装置、映像送信方法、映像受信方法、映像送信プログラム、及び、映像受信プログラム 図8
  • 特許-映像送信装置、映像受信装置、映像送信方法、映像受信方法、映像送信プログラム、及び、映像受信プログラム 図9
  • 特許-映像送信装置、映像受信装置、映像送信方法、映像受信方法、映像送信プログラム、及び、映像受信プログラム 図10
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-12-03
(45)【発行日】2024-12-11
(54)【発明の名称】映像送信装置、映像受信装置、映像送信方法、映像受信方法、映像送信プログラム、及び、映像受信プログラム
(51)【国際特許分類】
   H04N 21/23 20110101AFI20241204BHJP
   H04N 21/262 20110101ALI20241204BHJP
【FI】
H04N21/23
H04N21/262
【請求項の数】 7
(21)【出願番号】P 2023542075
(86)(22)【出願日】2021-08-18
(86)【国際出願番号】 JP2021030132
(87)【国際公開番号】W WO2023021595
(87)【国際公開日】2023-02-23
【審査請求日】2024-01-26
(73)【特許権者】
【識別番号】000004226
【氏名又は名称】日本電信電話株式会社
(74)【代理人】
【識別番号】100083806
【弁理士】
【氏名又は名称】三好 秀和
(74)【代理人】
【識別番号】100129230
【弁理士】
【氏名又は名称】工藤 理恵
(72)【発明者】
【氏名】持田 康弘
(72)【発明者】
【氏名】白井 大介
(72)【発明者】
【氏名】山口 拓郎
【審査官】大西 宏
(56)【参考文献】
【文献】特開2013-211897(JP,A)
【文献】特表2014-533466(JP,A)
【文献】国際公開第2016/036295(WO,A2)
【文献】国際公開第2017/065128(WO,A1)
【文献】国際公開第2020/178126(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 21/00 -21/858
(57)【特許請求の範囲】
【請求項1】
高フレームレートの映像データを映像フレーム単位で時間的に先行する順に割り振ることにより分割した同期した複数の低フレームレートの映像データを並列に各IPパケットにそれぞれ変換して送信する複数の送信部
前記高フレームレートの映像データの分割順に前記各低フレームレートの映像データにそれぞれ付された番号に応じて定数倍に大きくなるオフセットを前記各IPパケットのRTPパケットのRTPタイムスタンプにそれぞれ加算する複数の加算部と、
を備える映像送信装置。
【請求項2】
前記複数の送信部は、それぞれ、
送信する低フレームレートの映像データの優先度が高い場合、又は映像送信装置に接続されたIP網の通信品質が低い場合、前記低フレームレートの映像データのRTPパケットを複製して送信する請求項に記載の映像送信装置。
【請求項3】
高フレームレートの映像データを映像フレーム単位で時間的に先行する順に割り振ることにより分割した同期した複数の低フレームレートの映像データのIPパケットであって、各IPパケットのRTPパケットのRTPタイムスタンプに、前記高フレームレートの映像データの分割順に前記各低フレームレートの映像データにそれぞれ付された番号に応じて定数倍に大きくなるオフセットをそれぞれ加算した各IPパケットから、前記オフセットをそれぞれ減算する複数の減算部と、
前記オフセットを減算した各IPパケットを受信して並列に低フレームレートの映像データに変換する複数の受信部
を備える映像受信装置。
【請求項4】
映像送信装置で行う映像送信方法において、
複数の送信部が、高フレームレートの映像データを映像フレーム単位で時間的に先行する順に割り振ることにより分割した同期した複数の低フレームレートの映像データを並列に各IPパケットにそれぞれ変換して送信し、
複数の加算部が、前記高フレームレートの映像データの分割順に前記各低フレームレートの映像データにそれぞれ付された番号に応じて定数倍に大きくなるオフセットを前記各IPパケットのRTPパケットのRTPタイムスタンプにそれぞれ加算する、
像送信方法。
【請求項5】
映像受信装置で行う映像受信方法において、
複数の減算部が、高フレームレートの映像データを映像フレーム単位で時間的に先行する順に割り振ることにより分割した同期した複数の低フレームレートの映像データのIPパケットであって、各IPパケットのRTPパケットのRTPタイムスタンプに、前記高フレームレートの映像データの分割順に前記各低フレームレートの映像データにそれぞれ付された番号に応じて定数倍に大きくなるオフセットをそれぞれ加算した各IPパケットから、前記オフセットをそれぞれ減算し、
複数の受信部が、前記オフセットを減算した各IPパケットを受信して並列に低フレームレートの映像データに変換する
像受信方法。
【請求項6】
請求項1又は2に記載の映像送信装置としてコンピュータを機能させる映像送信プログラム。
【請求項7】
請求項に記載の映像受信装置としてコンピュータを機能させる映像受信プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、映像送信装置、映像受信装置、映像送信方法、映像受信方法、映像送信プログラム、及び、映像受信プログラムに関する。
【背景技術】
【0002】
従来、SDI(Serial Digital Interface)で入力された映像データをIPフローに変換して送信する映像送信装置が知られている。IPフローを受信して映像データをSDIに変換する映像受信装置が知られている。
【0003】
映像送信装置は、映像データをRTP(Real-time Transport Protocol)パケットに格納してIPパケットで送信可能である(非特許文献1)。SDIに入力されたSDI信号の映像データをRTPパケットに変換して送信する場合、同一の映像フレームから取り出した映像データが格納された各RTPパケットに付与されるRTPタイムスタンプは、全て同じになる。映像のRTPパケットにおけるRTPタイムスタンプのクロック周波数Fは、F=9.0×10である。
【0004】
また、映像送信装置と映像受信装置は、PTP(Precision Time Protocol)等を用いて、TAI(International Atomic Time)に時刻を同期して動作可能である。クロックカウンタの原点は、1970年1月1日0時0分0秒TAIである(非特許文献2)。この仕組みにより、映像送信装置及び映像受信装置は、同期したクロックカウンタを保持している。
【0005】
また、映像送信装置と映像受信装置は、完全冗長伝送によってIPパケットで伝送される映像データをパケットロスから保護するシームレスプロテクションを実行可能である(非特許文献3)。例えば、映像送信装置は、RTPパケットを複製して2本のIPフロー(2本のパス)で送信する。映像受信装置は、常時2本のIPフローを受信し、それぞれのIPフローから取得したRTPパケットを統合する。そのため、同一箇所が同時にパケットロスしない限り、欠損の無い映像データを出力可能となる。
【0006】
ここで、映像データに着目する。
【0007】
UHD(Ultra High Definition)映像データの場合、標準的な標準フレームレートは、50FPS(Frames Per Second)、59.94FPS、60FPS等である。動きの速いシーンを表現する場合には、120FPS等の高フレームレートが適している。以降、高フレームレートfは、標準フレームレートfのN倍(Nは2以上の自然数)とする。
【0008】
また、高フレームレートの映像データを複数の標準フレームレートの映像データに分割し、複数本の同期したSDI信号にマッピングすることにより、高フレームレートの映像データの入出力インタフェースとして利用可能である。このとき、高フレームレートの映像データは、映像フレーム単位で時間的に先行する順に各標準フレームレートの映像データに割り振られる。
【0009】
このようにして高フレームレートの映像データを複数の標準フレームレートの映像データに分割することを、phase分割と呼ぶことにする。Phase分割後の標準フレームレートの映像データに対して、順にphase1、2、・・・、Nのようにphase番号がラベル付けされる。
【0010】
例えば、4K/120FPS映像データは、phase 1の4K/60FPS映像データとphase 2の4K/60FPS映像データとの2本に分割される。4K/60FPS映像データは1本の12G-SDIで入出力可能なので、同期した2本の12G-SDIで4K/120FPS映像データを入出力可能となる。
【0011】
同様に、8K/120FPS映像データは、phase 1の8K/60FPS映像データとphase 2の8K/60FPS映像データとの2本に分割される。8K/60FPS映像データは4本の12G-SDI(1組のクアッドリンク12G-SDI)で入出力可能なので、同期した2組のクアッドリンク12G-SDIで8K/120FPS映像を入出力可能となる。
【0012】
また、SDIを並列化することで、高フレームレートの映像データの入力インタフェースとして利用可能である。例えば、映像送信装置では、1つの入力部が、それぞれの12G-SDIから4K/60FPS映像データを取り出し、phase1の映像フレーム(4K/60FPS映像データ)とphase 2の映像フレーム(4K/60FPS映像データ)とを交互に1つの送信部に渡す。
【0013】
送信部は、入力部から渡された映像データを順にRTPパケットに格納し、4K/120FPS映像データを1本のIPフローとして送信する。RTPタイムスタンプは、映像フレーム毎にF/fずつ増加するので、4K/120FPS映像データの場合、F=9.0×10、f=120なので、増加幅は750となる。
【先行技術文献】
【非特許文献】
【0014】
【文献】SMPTE ST2110-20、“Professional Media Over Managed IP Networks: Uncompressed Active Video”、2017年
【文献】SMPTE ST2059-1、“Generation and Alignment of Interface Signals to the SMPTE Epoch”、2015年
【文献】SMPTE ST2022-7、“Seamless Protection Switching of RTP Datagrams”、2019年
【文献】SMPTE RP2110-23、“Single Video Essence Transport over Multiple ST 2110-20 Streams”、2019年
【発明の概要】
【発明が解決しようとする課題】
【0015】
しかしながら、従来の映像送信装置は、高フレームレートの映像データをIPパケットに変換するため、同じ解像度の標準フレームレートの映像データをIPパケットに変換する場合に比べて、N倍の高速処理が必要となり、映像送信装置の実装難度が大きい。同様に、従来の映像受信装置も高フレームレートの映像データを直接処理するため、映像受信装置の実装難度が大きい。
【0016】
また、高フレームレートの映像データを1本のIPフローとして送信するため、待ち合わせ遅延時間が増大する。一定のビットレートでIPパケットの送信を継続するためには、(N-1)/fの待ち合わせ遅延時間が必要になるので、4K/120FPS映像データの場合、映像フレーム間で約8ミリ秒もの遅延時間が発生することになる。
【0017】
本発明は、上記事情に鑑みてなされたものであり、本発明の目的は、映像送信装置と映像受信装置の実装を容易にし、待ち合わせ遅延時間の発生を解消可能な技術を提供することである。
【課題を解決するための手段】
【0018】
本発明の一態様の映像送信装置は、高フレームレートの映像データを映像フレーム単位で時間的に先行する順に割り振ることにより分割した各低フレームレートの映像データを並列に各IPパケットにそれぞれ変換して送信する複数の送信部、を備える。
【0019】
本発明の一態様の映像受信装置は、高フレームレートの映像データを映像フレーム単位で時間的に先行する順に割り振ることにより分割した各低フレームレートの映像データのIPパケットを受信して並列に低フレームレートの映像データに変換する複数の受信部、を備える。
【0020】
本発明の一態様の映像送信方法は、映像送信装置で行う映像送信方法において、複数の送信部が、高フレームレートの映像データを映像フレーム単位で時間的に先行する順に割り振ることにより分割した各低フレームレートの映像データを並列に各IPパケットにそれぞれ変換して送信するステップ、を行う。
【0021】
本発明の一態様の映像受信方法は、映像受信装置で行う映像受信方法において、複数の受信部が、高フレームレートの映像データを映像フレーム単位で時間的に先行する順に割り振ることにより分割した各低フレームレートの映像データのIPパケットを受信して並列に低フレームレートの映像データに変換するステップ、を行う。
【0022】
本発明の一態様の映像送信プログラムは、上記映像送信装置としてコンピュータを機能させる。
【0023】
本発明の一態様の映像受信プログラムは、上記映像受信装置としてコンピュータを機能させる。
【発明の効果】
【0024】
本発明によれば、映像送信装置と映像受信装置の実装を容易にし、待ち合わせ遅延時間の発生を解消可能な技術を提供できる。
【図面の簡単な説明】
【0025】
図1図1は、第1の実施形態に係る映像伝送システムの全体構成を示す図である。
図2図2は、phase分割の例を示す図である。
図3図3は、映像送信装置の処理フローを示す図である。
図4図4は、映像受信装置の処理フローを示す図である。
図5図5は、第2の実施形態に係る映像送信装置の構成を示す図である。
図6図6は、第2の実施形態に係る映像受信装置の構成を示す図である。
図7図7は、phase番号・リンク毎のパケットロス率の例を示す図である。
図8図8は、従来の映像送信装置の構成を示す図である。
図9図9は、従来の映像送信装置による待ち合わせ遅延時間を示す図である。
図10図10は、映像送信装置のハードウェア構成の例を示す図である。
【発明を実施するための形態】
【0026】
以下、図面を参照して、本発明の実施形態を説明する。図面の記載において同一部分には同一符号を付し説明を省略する。
【0027】
[発明の概要]
本発明は、SDIで入力された高フレームレートの映像データをIPフローに変換して送信する映像送信装置、IPフローを受信して高フレームレートの映像データをSDIに変換する映像データを受信する映像受信装置、映像送信装置と映像受信装置の間のIPフローの並列伝送を制御する並列伝送制御装置、に関する発明である。
【0028】
上記課題を解決するため、本発明は、標準フレームレートの映像データを処理する送信部を並列化する。これにより、標準フレームレート対応の送信部のみであっても高フレームレートの映像データの処理を実施可能となり、映像送信装置と映像受信装置の実装が容易となり、かつ、待ち合わせ遅延時間の発生を解消可能となる。
【0029】
また、シームレスプロテクションを実行すると、IP網の帯域消費量が大きくなるという更なる課題もある。4K/120FPS映像データを伝送する場合、その帯域消費は21Gbpsであるが、高信頼化のためにシームレスプロテクションを適用すると、2倍の42Gbpsの帯域が必要である。
【0030】
そこで、上記更なる課題に対して、本発明は、標準フレームレートの映像データに対して優先度を付与し、可用帯域の範囲内で優先度の高いものからシームレスプロテクションの実行を適用する。これにより、可用帯域を有効に活用した伝送の高信頼化を実現可能となる。
【0031】
以降、2つの実施形態を説明する。
【0032】
[第1の実施形態]
[映像伝送システムの構成]
図1は、第1の実施形態に係る映像伝送システム1の全体構成を示す図である。映像伝送システム1は、4K/120FPS対応の映像送信装置11と、4K/120FPS対応の映像受信装置12と、映像送信装置11と映像受信装置12の間のIPフローの並列伝送を制御する並列伝送制御装置13と、を備える。
【0033】
各装置11、12、13は、IP網14を介して相互通信可能に接続されている。映像送信装置11と映像受信装置12は、必ずしも単一のハードウェアとして実装される必要は無い。
【0034】
[映像送信装置の機能]
映像送信装置11は、同期した2本の12G-SDIで入力された4K/120FPS映像データを2本のIPフローに変換して送信する装置である。4K/120FPS映像データは、図2に示すように、phase1の4K/60FPS映像データとphase 2の4K/60FPS映像データとにphase分割され、それぞれが12G-SDIにマッピングされて、映像送信装置11に入力される。映像送信装置11は、非特許文献4(RP2110-23)に準拠し、phase毎にIPフローとして送信する。
【0035】
Phase分割とは、高フレームレートの映像データを映像フレーム単位で時間的に先行する順に割り振ることにより、複数の標準フレームレートの映像データに分割する方法である。本実施形態では、4K/120FPS映像データを高フレームレートの映像データとし、4K/60FPS映像データを標準フレームレートの映像データとする。なお、標準フレームレートは、高フレームレートよりもフレーム数の少ない低フレームレートの例である。
【0036】
映像送信装置11は、図1に示したように、例えば、SDI信号を入力する第1入力部111a及び第2入力部111bと、4K/60FPS対応のST2110準拠の第1送信部112a及び第2送信部112bと、タイムスタンプを加算する第1加算部113a及び第2加算部113bと、を備える。
【0037】
第1入力部111aは、同期した2本の12G-SDIのうち一方のSDI信号を入力し、当該SDI信号からphase1の4K/60FPS映像データを抽出する機能を備える。第2入力部111bは、他方のSDI信号を入力し、当該SDI信号からphase2の4K/60FPS映像データを抽出する機能を備える。第1入力部111aと第2入力部111bは、互いの処理を並列に実行する。
【0038】
第1送信部112aは、phase1の4K/60FPS映像データをIPパケットに格納する機能を備える。第2送信部112bは、phase2の4K/60FPS映像データをIPパケットに格納する機能を備える。第1送信部112aと第2送信部112bは、互いの処理を並列に実行する。
【0039】
第1加算部113aと第2加算部113bは、4K/120FPS映像データの分割順に各4K/60FPS映像データの映像データにそれぞれラベル付けされたphase k(k=1、2)に応じたオフセットΔ=(k-1)×F/fを、各IPパケットのRTPパケットのRTPタイムスタンプに加算する機能を備える。Fは、映像のRTPパケットにおけるRTPタイムスタンプのクロック周波数であり、F=9.0×10である。fは、4K/120FPS映像データのフレームレートであり、f=120である。第1加算部113aと第2加算部113bは、互いの処理を並列に実行する。
【0040】
[映像受信装置の機能]
映像受信装置12は、IP網14を介して映像送信装置11から送信された2本のIPフローを受信し、同期した2本の12G-SDIにマッピングして出力する装置である。
【0041】
例えば、映像受信装置12は、図1に示したように、タイムスタンプを減算する第1減算部121a及び第2減算部121bと、4K/60FPS対応のST2110準拠の第1受信部122a及び第2受信部122bと、SDI信号を出力する第1出力部123a及び第2出力部123bと、を備える。
【0042】
第1減算部121aは、phase1の4K/60FPS映像データのIPパケットを受信し、当該IPパケットのRTPパケットのRTPタイムスタンプからオフセットを減算する機能を備える。第2減算部121bは、phase2の4K/60FPS映像データのIPパケットを受信し、当該IPパケットのRTPパケットのRTPタイムスタンプからオフセットを減算する機能を備える。第1減算部121aと第2減算部121bは、互いの処理を並列に実行する。
【0043】
第1受信部122aは、オフセット減算後のphase1の4K/60FPS映像データのIPパケットからphase 1の4K/60FPS映像データを抽出する機能を備える。第2受信部122bは、オフセット減算後のphase2の4K/60FPS映像データのIPパケットからphase 2の4K/60FPS映像データを抽出する機能を備える。第1受信部122aと第2受信部122bは、互いの処理を並列に実行する。
【0044】
第1出力部123aは、phase1の4K/60FPS映像データを12G-SDIにマッピングしてSDI信号を出力する機能を備える。第2出力部123bは、phase2の4K/60FPS映像データを12G-SDIにマッピングしてSDI信号を出力する機能を備える。第1出力部123aと第2出力部123bは、互いの処理を並列に実行する。
【0045】
[並列伝送制御装置の機能]
並列伝送制御装置13は、映像送信装置11と映像受信装置12の間のIPフローの並列伝送を制御する装置である。
【0046】
例えば、並列伝送制御装置13は、図1に示したように、phase kの番号(k値)を指定する第1指定部131a及び第2指定部131bと、シームレスプロテクションの有効/無効を決定する第1決定部132a及び第2決定部132bと、を備える。
【0047】
第1指定部131aは、映像送信装置11の第1加算部113aと第2加算部113bに対して、各加算部で処理する映像データのphase kのk値を指定する機能を備える。第2指定部131bは、映像受信装置12の第1減算部121aと第2減算部121bに対して、各減算部で処理する映像データのphase kのk値を指定する機能を備える。
【0048】
第1決定部132aは、映像送信装置11の第1送信部112aと第2送信部112bに対して、phaseの優先度に基づいてシームレスプロテクションの有効/無効を決定する機能を備える。第2決定部132bは、映像受信装置12の第1受信部122aと第2受信部122bに対して、phaseの優先度に基づいてシームレスプロテクションの有効/無効を決定する機能を備える。
【0049】
[オフセットの加算理由]
ここで、オフセットを加算する理由を説明する。
【0050】
非特許文献4(RP2110-23)には、phase分割された高フレームレートの映像データをphase毎に個別のIPフローで伝送する方法が規定されている。非特許文献4に準拠して高フレームレートの映像データを複数のIPフローで送出する場合、phase k(1≦k≦N。Nは2以上の自然数。)の映像データを格納したIPパケットのRTPタイムスタンプには、標準フレームレートのRTPタイムスタンプに対して、オフセットΔ=(k-1)×F/fを加算する必要がある。4K/120FPS映像の場合、F=9.0×10、f=120なので、Δ=0、Δ=750、…、となる。
【0051】
しかし、一般に、標準フレームレート対応のST2110準拠の送信部(第1送信部112a及び第2送信部112b)は、処理する映像のphaseを関知しないため、映像データのphaseに関わらず同じRTPタイムスタンプを打刻してしまう。
【0052】
そこで、第1加算部113aと第2加算部113bは、RTPタイムスタンプを非特許文献4に準拠させるため、同じRTPタイムスタンプに対して、処理する映像データのphase kに応じたオフセットΔ=(k-1)×F/fを加算する。
【0053】
[映像送信装置の動作]
図3は、映像送信装置11の処理フローを示す図である。映像送信装置11は、4K/60FPS対応のST2110準拠の第1送信部112aと第2送信部112bを並列化することで、4K/120FPS映像データを処理する。
【0054】
ステップS101;
まず、第1入力部111aが、同期した2本の12G-SDIのうち一方のSDI信号を入力し、当該SDI信号からphase1の4K/60FPS映像データを抽出して第1送信部112aに渡す。同時に、第2入力部111bが、他方のSDI信号を入力し、当該SDI信号からphase2の4K/60FPS映像データを抽出して第2送信部112bに渡す。
【0055】
ステップS102;
次に、第1送信部112aが、phase1の4K/60FPS映像データをST2110に準拠してIPパケットに格納する。同時に、第2送信部112bが、phase2の4K/60FPS映像データをST2110に準拠してIPパケットに格納する。
【0056】
ステップS103;
最後に、第1送信部112aは、phase1の4K/60FPS映像データのIPパケットをIP網14を介して映像受信装置12へ送信する。同時に、第2送信部112bは、phase 2の4K/60FPS映像データのIPパケットをIP網14を介して映像受信装置12へ送信する。
【0057】
このとき、第1送信部112aと第2送信部112bは、並列伝送制御装置13から、シームレスプロテクションを有効にするか否かが指定されている。第1送信部112aと第2送信部112bは、シームレスプロテクションが有効の場合には、映像データのRTPパケットを複製して2本のIPフローで映像データを送信し、無効の場合は、1本のIPフローで映像データを送信する。
【0058】
また、このとき、第1加算部113aが、RTPタイムスタンプを非特許文献4に準拠させるため、phase1のIPパケットのRTPパケットのRTPタイムスタンプに対して、phase k(k=1)に応じたオフセットΔ=(k-1)×F/f=0を加算する。同様に、第2加算部113bが、phase 2のIPパケットのRTPパケットのRTPタイムスタンプに対して、phase k(k=2)に応じたオフセットΔ=(k-1)×F/f=750を加算する。なお、phase kは、並列伝送制御装置13から指定されている。
【0059】
[映像受信装置の動作]
図4は、映像受信装置12の処理フローを示す図である。映像受信装置12は、4K/60FPS対応のST 2110準拠の第1受信部122aと第2受信部122bを並列化することで、4K/120FPS映像データを処理する。
【0060】
ステップS201;
映像受信装置12が受信するIPパケットに含まれるRTPタイムスタンプは、ステップS103で行われたオフセットの加算により、phase毎に異なっている。しかし、RTPタイムスタンプは映像出力タイミングの制御に使用されるため、このままIPパケットを第1受信部122aと第2受信部122bに渡すと、phase毎に異なるタイミングでSDI信号が出力されてしまう。
【0061】
そこで、まず、第1減算部121aが、phase1の4K/60FPS映像データのIPパケットを受信すると、当該IPパケットのRTPパケットのRTPタイムスタンプからphase k(k=1)に応じたオフセットΔ=0を減算する。同時に、第2減算部121bが、phase 2の4K/60FPS映像データのIPパケットを受信すると、当該IPパケットのRTPパケットのRTPタイムスタンプからphase k(k=2)に応じたオフセットΔ=750を減算する。これにより、全てのphaseのRTPタイムスタンプが揃うことになる。なお、phase kは、並列伝送制御装置13から指定されている。
【0062】
ステップS202;
次に、第1受信部122aが、オフセット減算後のphase1の4K/60FPS映像データのIPパケットからphase 1の4K/60FPS映像データを抽出して第1出力部123aに渡す。同時に、第2受信部122bが、オフセット減算後のphase2の4K/60FPS映像データのIPパケットからphase 2の4K/60FPS映像データを抽出して第2出力部123bに渡す。
【0063】
このとき、第1受信部122aと第2受信部122bは、並列伝送制御装置13から、シームレスプロテクションを有効にするか否かが指定されている。第1受信部122aと第2受信部122bは、シームレスプロテクションが有効の場合には、受信した2本のIPフローを統合した後に4K/60FPS映像データを抽出する。例えば、一方のIPフローの映像データが欠損している場合、他方のIPフローの映像データで補完する。第1受信部122aと第2受信部122bは、シームレスプロテクションが無効の場合には、受信した1本のIPフローから4K/60FPS映像データを抽出する。
【0064】
ステップS203;
最後に、第1出力部123aが、phase1の4K/60FPS映像データを12G-SDIにマッピングしてSDI信号を出力する。同時に、第2出力部123bが、phase2の4K/60FPS映像データを12G-SDIにマッピングしてSDI信号を出力する。
【0065】
[シームレスプロテクションの有効/無効の決定方法]
並列伝送制御装置13は、phaseの優先度に応じて、第1送信部112aと第2送信部112bのシームレスプロテクションを有効にするか否かを決定して指定する。例えば、並列伝送制御装置13は、可用帯域を超えない範囲で、番号(k値)の若いphaseから優先的にシームレスプロテクションを適用する。映像送信装置11の第1送信部112aと第2送信部112bは、各送信部で送信処理するphaseの優先度が高い場合、当該phaseの標準フレームレートの映像データのRTPパケットを複製して送信する。
【0066】
phase 1とphase 2の両方が安定して受信できれば4K/120FPS映像データの出力が可能であるが、phaseの優先度に応じてシームレスプロテクションの有効/無効を決定・指定するので、phase1だけでも安定して受信できれば4K/60FPS映像データを出力可能であり、出力映像が途絶えるという最悪の事態を回避できる。
【0067】
ここで、Bを可用帯域、bを標準フレームレートの映像データの1本あたりのIPフローのビットレートとすると、シームレスプロテクションで保護できるphaseの最大値kmaxは、式(1)のように定義できる。
【0068】
【数1】
【0069】
4K/60FPS映像データをSMPTE ST2110で伝送する場合の消費帯域bは、b=10.5Gbpsである。可用帯域Bを40Gbpsとすると、全パケットのシームレスプロテクション伝送は2倍の帯域を消費するため、適用することができない。式(1)によると、kmax=1なので、phase1のみシームレスプロテクションで保護することが可能であり、消費帯域は31.5Gbpsとなる。
【0070】
[第2の実施形態]
図5は、第2の実施形態に係る映像送信装置11の構成を示す図である。図6は、第2の実施形態に係る映像受信装置12の構成を示す図である。
【0071】
映像送信装置11は、同期した2組のクアッドリンク12G-SDIで入力された8K/120P映像データを、RP2110-23に準拠して12G-SDIのリンク毎にST2110の8本のIPフローに変換して送信する。映像受信装置12は、これらの8本のIPフローを受信し、同期した2組のクアッドリンク12G-SDIにマッピングして出力する。
【0072】
本実施形態に係る映像送信装置11は、4K/60FPS対応のST2110準拠の送信部112を8並列することで、8K/120P映像データを処理する。8つの入力部111は、それぞれのSDI信号から4K/60FPS映像データを抽出して送信部112に渡す。
【0073】
本実施形態に係る映像受信装置12は、4K/60FPS対応のST2110準拠の受信部122を8並列することで、8K/120P映像データを処理する。8つの受信部122は、それぞれのIPフローから4K/60FPS映像データを抽出して出力部123に渡す。
【0074】
本実施形態に係る並列伝送制御装置13は、IP網14の通信品質に応じて、各送信部112のシームレスプロテクションを有効にするか否かを指定する。可用帯域を超えない範囲で、通信品質の悪いIPフローに対応する送信部112と受信部122から優先的にシームレスプロテクションを適用する。映像送信装置11の各送信部112は、IP網14の通信品質が低い場合、各送信部で送信処理する標準フレームレートの映像データのRTPパケットを複製して送信する。
【0075】
通信品質は、受信部122におけるパケットロス率を判断基準として使用してもよい。8K/120FPS映像データの場合の消費帯域は、84Gbpsである。可用帯域が100Gbpsとすると、4K/60FPSの1本のIPフローを追加することが可能である。例えば、図7に示すようなパケットロス率が観測された場合、最もパケットロス率の高いphase 1のリンクAに対応する送信部112と受信部122でシームレスプロテクションを有効化する。このとき、消費帯域は94.5Gbpsである。
【0076】
[効果]
従来の4K/120FPS対応の映像送信装置11’の構成を図8に示す。従来の映像送信装置11’は、並列化された2本の12G-SDIで入力される4K/120FPS映像データをST2110に準拠して送信する。1つの入力部111’が、それぞれの12G-SDIから4K/60FPS映像データを取り出し、phase1の映像フレーム(4K/60FPS映像データ)とphase 2の映像フレーム(4K/60FPS映像データ)とを交互に送信部112’に渡す。送信部112’は、入力部111’から渡された映像データを順にRTPパケットに格納し、4K/120FPS映像データを1本のIPフローとして送信する。
【0077】
図1図5に示した各実施形態に係る映像送信装置11と比べて、送信部112’は1つしかなく、その1つの送信部112’が4K/120FPS映像データをIPパケットに変換する。そのため、上述した通り、同じ解像度の標準フレームレートの映像データをIPパケットに変換する場合に比べて、N倍の高速処理が必要となり、映像送信装置の実装難度が大きい。
【0078】
また、図9に示すように、一定のビットレートでIPパケットの送信を継続するためには、(N-1)/fの待ち合わせ遅延時間が必要になるので、4K/120FPS映像データの場合、映像フレーム間で約8ミリ秒もの遅延時間が発生することになる。
【0079】
[第1の効果]
一方、第1の実施形態と第2の実施形態では、映像送信装置11は、高フレームレートの映像データをphase分割した各標準フレームレートの映像データを並列に各IPパケットにそれぞれ変換して送信する複数の送信部112を備える。
【0080】
また、第1の実施形態と第2の実施形態では、映像受信装置12は、高フレームレートの映像データをphase分割した各標準フレームレートの映像データのIPパケットを受信して並列に低フレームレートの映像データに変換する複数の受信部122を備える。
【0081】
このように、標準フレームレートに対応した送信部112と受信部122をそれぞれ並列化することによって高フレームレートの映像データを処理する構成により、従来のように高フレームレートを直接処理する場合に比べて、送信部112と受信部122で必要となるスループットを下げることができるため、映像送信装置11と映像受信装置12の実装が容易になり、かつ、待ち合わせ遅延時間の発生を解消可能となる。
【0082】
また、並列数を増やすことによって、より高フレームレートに対応可能なスケーラビリティを有する。映像送信装置11と映像受信装置12は必ずしも単一のハードウェアとして実装される必要は無いため、例えば、第1の実施形態の映像送信装置11を2個用いて、4K/60FPS対応の送信部112を4並列することにより、4K/240FPSに対応可能である。4K/60FPS対応の送信部112を4つ搭載した8K/60FPS対応の映像送信装置11を2並列で用いる構成等も可能である。映像送信装置11、入力部111、送信部112、加算部113、映像受信装置12、減算部121、受信部122、出力部123の各個数は、4Kや8K等の画像解像度、60FPS等のフレームレートに応じて任意に変更可能である。
【0083】
さらに、既存の標準フレームレート対応の映像送部と映像受信部の設計資源を活用して、効率的な開発が可能となる。
【0084】
[第2の効果]
また、第1の実施形態と第2の実施形態では、映像送信装置11は、高フレームレートの映像データの分割順に各標準フレームレートの映像データにそれぞれ付された番号に応じて定数倍に大きくなるオフセット(標準フレームレート映像データのphase k(1≦k≦N)に応じたオフセットΔ=(k-1)×F/f)を各IPパケットのRTPパケットのRTPタイムスタンプにそれぞれ加算する複数の加算部113を備える。
【0085】
また、第1の実施形態と第2の実施形態では、映像受信装置12は、高フレームレートの映像データの分割順に各標準フレームレートの映像データにそれぞれ付された番号に応じて定数倍に大きくなるオフセット(標準フレームレート映像データのphase k(1≦k≦N)に応じたオフセットΔ=(k-1)×F/f)を各IPパケットのRTPパケットのRTPタイムスタンプからそれぞれ減算する複数の減算部121を備える。
【0086】
上述の通り、標準フレームレート対応の映像送信部はphaseについて関知しないため、PR2110-23に準拠しないRTPタイムスタンプを打刻してしまう。一方、各実施形態では、加算部113がRP2110-23に準拠したRTPタイムスタンプに変換するため、相互接続性を確保可能である。
【0087】
RP2110-23に準拠したIPフローにおいては、phase間で異なるRTPタイムスタンプが打刻されているため、標準フレームレート対応の映像受信部からの出力タイミングがずれてしまう可能性がある。一方、各実施形態では、減算部121が、全てのphaseのタイムスタンプを揃えるため、標準フレームレート対応の映像受信部からの出力タイミングを揃えることが可能である。
【0088】
また、高フレームレート映像データを1本のIPフローで送出する場合には待ち合わせ遅延時間が必要であるが、各実施形態では映像データの待ち合わせを行うことなく、タイムスタンプ操作を行うことにより、低遅延化が可能である。
【0089】
[第3の効果]
また、第1の実施形態と第2の実施形態では、並列伝送制御装置13は、並列化された映像送信装置11の送信部112と映像受信装置12の受信部122のそれぞれについて冗長送信を有効にするか否かをphaseの優先度又はIP網14の通信品質に基づいて自動的に決定する決定部132を備える。
【0090】
また、第1の実施形態と第2の実施形態では、映像送信装置11の複数の送信部112は、それぞれ、送信する標準フレームレートの映像データの優先度が高い場合、又は映像送信装置11に接続されたIP網14の通信品質が低い場合、その標準フレームレートの映像データのRTPパケットを複製して送信する。
【0091】
このように、高フレームレート映像データが複数の標準フレームレートの映像データに分割されて伝送されることを利用した細かい粒度でシームレスプロテクションの制御を行うので、可用帯域を有効に活用した伝送の高信頼化が可能である。
【0092】
[その他]
本発明は、上記実施形態に限定されない。本発明は、本発明の要旨の範囲内で数々の変形が可能である。
【0093】
上記説明した本実施形態の映像送信装置11は、例えば、図10に示すように、CPU901と、メモリ902と、ストレージ903と、通信装置904と、入力装置905と、出力装置906と、を備えたコンピュータシステムを用いて実現できる。メモリ902及びストレージ903は、記憶装置である。当該コンピュータシステムにおいて、CPU901がメモリ902上にロードされた所定のプログラムを実行することにより映像送信装置11の各機能が実現される。
【0094】
映像送信装置11用のプログラムは、HDD、SSD、USBメモリ、CD、DVD等のコンピュータ読取り可能な記録媒体に記憶できる。映像送信装置11用のプログラムは、通信ネットワークを介して配信することもできる。
【0095】
映像受信装置12も図10に示したハードウェア構成と同様のハードウェア構成を備える。
【符号の説明】
【0096】
1:映像伝送システム
11:映像送信装置
111:入力部
112:送信部
113:加算部
12:映像受信装置
121:減算部
122:受信部
123:出力部
13:並列伝送制御装置
131:指定部
132:決定部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10