特許 7602150 映像伝送システム、映像伝送方法、映像送信装置、映像受信装置およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-10

(45)【発行日】2024-12-18

(54)【発明の名称】映像伝送システム、映像伝送方法、映像送信装置、映像受信装置およびプログラム

(51)【国際特許分類】

   H04N 21/24 20110101AFI20241211BHJP

【ＦＩ】

H04N21/24

【請求項の数】 7

(21)【出願番号】P 2022568014

(86)(22)【出願日】2020-12-11

(86)【国際出願番号】 JP2020046307

(87)【国際公開番号】W WO2022123774

(87)【国際公開日】2022-06-16

【審査請求日】2023-05-23

(73)【特許権者】

【識別番号】000004226

【氏名又は名称】日本電信電話株式会社

(74)【代理人】

【識別番号】100083806

【弁理士】

【氏名又は名称】三好 秀和

(74)【代理人】

【識別番号】100129230

【弁理士】

【氏名又は名称】工藤 理恵

(72)【発明者】

【氏名】持田 康弘

(72)【発明者】

【氏名】山口 拓郎

(72)【発明者】

【氏名】白井 大介

(72)【発明者】

【氏名】山口 高弘

【審査官】富樫 明

(56)【参考文献】

【文献】特開２０１８－１２１２１４（ＪＰ，Ａ）

【文献】国際公開第２０１３／０６５４７７（ＷＯ，Ａ１）

【文献】特開２０１５－１７７２９６（ＪＰ，Ａ）

【文献】米国特許出願公開第２００６／０２６８７０１（ＵＳ，Ａ１）

【文献】特開２０１７－１８４１６５（ＪＰ，Ａ）

【文献】特開平９－６４８９２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２１／００ － ２１／８５８

(57)【特許請求の範囲】

【請求項1】

映像データのパケットを送信バッファに格納し、前記送信バッファに格納されたパケットを送信する映像送信装置と、
前記パケットを受信する映像受信装置と、
前記映像受信装置における各パケットの到着時刻から、前記映像送信装置および前記映像受信装置の間の伝送路の特性を推定する推定部を備え、
前記映像送信装置は、前記伝送路の特性の逆特性から特定されるタイミングで前記パケットを送信し、
前記特性は、各パケットの遅延ジッタから推定され、
前記推定部は、各パケット群の各パケットの各遅延ジッタから特定される遅延ジッタパターンを推定する
映像伝送システム。

【請求項2】

前記映像送信装置は、前記映像データのパケットを第１の伝送路と第２の伝送路のそれぞれに送信し、
前記映像受信装置は、前記第１の伝送路と前記第２の伝送路のそれぞれから受信した前記パケットを使って、前記映像データを補完し、
前記推定部は、前記特性を、前記第１の伝送路から受信したパケットと前記第２の伝送路から受信したパケットの到着時間差から推定し、
前記映像送信装置は、到着時間が遅い伝送路へパケットを送信してから前記到着時間差に従った時間が経過した後に、到着時間が早い伝送路へのパケットを送信する
請求項１に記載の映像伝送システム。

【請求項3】

前記映像送信装置および前記映像受信装置は、それぞれ、FPGAを備える同じ仕様のハードウエアにおいて、それぞれの機能を実現するプログラムにより実装され、
前記映像送信装置側の送信バッファのバッファサイズと、前記映像受信装置側の、前記第１の伝送路で受信するパケットを格納する第１の受信バッファのバッファサイズと、前記第２の伝送路で受信するパケットを格納する第２の受信バッファのバッファサイズを合計する合計バッファサイズは、同じである
請求項２に記載の映像伝送システム。

【請求項4】

映像送信装置が、映像データのパケットを送信バッファに格納し、前記送信バッファに格納されたパケットを送信するステップと、
映像受信装置が、前記パケットを受信するステップと、
コンピュータが、前記映像受信装置における各パケットの到着時刻から、前記映像送信装置および前記映像受信装置の間の伝送路の特性を推定するステップと、
前記映像送信装置が、前記伝送路の特性の逆特性から特定されるタイミングで前記パケットを送信するステップ
を備え、
前記特性は、各パケットの遅延ジッタから推定され、
前記推定するステップは、各パケット群の各パケットの各遅延ジッタから特定される遅延ジッタパターンを推定する映像伝送方法。

【請求項5】

映像データのパケットを格納する送信バッファと、
前記送信バッファに格納されたパケットを、映像受信装置に送信する送信部と、
前記映像受信装置から、各パケットの到着時刻から推定された、映像送信装置および前記映像受信装置の間の伝送路の特性を受信し、前記送信部が、前記伝送路の特性の逆特性から特定されるタイミングで前記パケットを送信する制御を行う制御部
を備え、
前記特性は、各パケットの遅延ジッタから推定され、各パケット群の各パケットの各遅延ジッタから特定される遅延ジッタパターンである映像送信装置。

【請求項6】

映像データのパケットを送信バッファに格納し、前記送信バッファに格納されたパケットを送信する映像送信装置に接続し、
前記映像送信装置から、前記パケットを受信する受信部と、
各パケットの到着時刻から、前記映像送信装置および映像受信装置の間の伝送路の特性を推定する推定部
を備え、
前記特性は、各パケットの遅延ジッタから推定され、
前記推定部は、各パケット群の各パケットの各遅延ジッタから特定される遅延ジッタパターンを推定する映像受信装置。

【請求項7】

コンピュータを、請求項５に記載の映像送信装置または請求項６に記載の映像受信装置として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、映像伝送システム、映像伝送方法、映像送信装置、映像受信装置およびプログラムに関する。

【背景技術】

【0002】

通信ネットワークを通して非圧縮映像および音声を伝送する方式に関して、非特許文献１ないし非特許文献３がある。

【0003】

非特許文献１は、映像エッセンスをＲｅａｌ－ｔｉｍｅ Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ（ＲＴＰ）ペイロードに格納したパケットを、伝送する方法を開示する。非圧縮映像伝送において、ＲＴＰパケットへの画素マッピング方法および映像パラメタが変わらない限り、フレーム当たりのパケット数は一定である。

【0004】

非特許文献２は、非圧縮映像伝送における望ましいＲＴＰパケットの送信タイミングモデルを開示する。Ｌｉｎｅａｒモデルにおいて、ＲＴＰパケット送出間隔は、常に一定である。Ｇａｐｐｅｄモデルは、Ｓｅｒｉａｌ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ（ＳＤＩ）をベースにしたタイミングモデルである。Ｇａｐｐｅｄモデルにおいて、各フレーム内でＳＤＩの有効画素に相当する期間にのみ一定間隔で、ＲＴＰパケットが送出される。受信装置は、送信タイミングモデルに基づいて設計される。

【0005】

非特許文献３は、通信ネットワーク上でのパケット損失に対応するための完全冗長伝送（シームレスプロテクション）を開示する。シームレスプロテクションにおいて、同一のＲＴＰパケットは、異なる二経路で送出される。受信側は、二経路からそれぞれ受信したＲＴＰパケットをＲＴＰヘッダのシーケンス番号に基づいて統合する。一方の経路におけるＲＴＰパケットの損失の補償が可能になる。

【先行技術文献】

【非特許文献】

【0006】

【文献】ＳＭＰＴＥ ＳＴ ２１１０－２０：２０１７ Ｐｒｏｆｅｓｓｉｏｎａｌ Ｍｅｄｉａ Ｏｖｅｒ Ｍａｎａｇｅｄ ＩＰ Ｎｅｔｗｏｒｋｓ：Ｕｎｃｏｍｐｒｅｓｓｅｄ Ａｃｔｉｖｅ Ｖｉｄｅｏ

【文献】ＳＭＰＴＥ ＳＴ ２１１０－２１：２０１７ Ｐｒｏｆｅｓｓｉｏｎａｌ Ｍｅｄｉａ Ｏｖｅｒ Ｍａｎａｇｅｄ ＩＰ Ｎｅｔｗｏｒｋｓ：Ｔｒａｆｆｉｃ Ｓｈａｐｉｎｇ ａｎｄ Ｄｅｌｉｖｅｒｙ Ｔｉｍｉｎｇ ｆｏｒ Ｖｉｄｅｏ

【文献】ＳＭＰＴＥ ＳＴ ２０２２－７：２０１３ Ｓｅａｍｌｅｓｓ Ｐｒｏｔｅｃｔｉｏｎ Ｓｗｉｔｃｈｉｎｇ ｏｆ ＳＭＰＴＥ ＳＴ ２０２２ ＩＰ Ｄａｔａｇｒａｍｓ

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかしながら伝送路によって、受信側において映データが設定されたＲＴＰパケットの受信タイミングに影響が生じる場合がある。例えば、伝送路上のネットワーク装置におけるパケットの滞留により、遅延ジッタが発生する場合がある。遅延ジッタによるＲＴＰパケット到着の遅れを補償するため、遅延ジッタの変動幅よりも大きい容量の受信バッファが必要となる。またＲＴＰパケットの到着間隔が詰まった場合、受信側のハードウエア等の仕様により、受信側は、受信バッファにＲＴＰパケットを取り込むことができず、ＲＴＰパケットを取りこぼす場合がある。

【0008】

本発明は、上記事情に鑑みてなされたものであり、本発明の目的は、伝送路が、映像データが設定されたパケットの到着タイミングに与えた影響を相殺可能な技術を提供することである。

【課題を解決するための手段】

【0009】

本発明の一態様の映像伝送システムは、映像データのパケットを送信バッファに格納し、前記送信バッファに格納されたパケットを送信する映像送信装置と、前記パケットを受信する映像受信装置と、前記映像受信装置における各パケットの到着時刻から、前記映像送信装置および前記映像受信装置の間の伝送路の特性を推定する推定部を備え、前記映像送信装置は、前記伝送路の特性の逆特性から特定されるタイミングで前記パケットを送信する。

【0010】

本発明の一態様の映像伝送方法は、映像送信装置が、映像データのパケットを送信バッファに格納し、前記送信バッファに格納されたパケットを送信するステップと、映像受信装置が、前記パケットを受信するステップと、コンピュータが、前記映像受信装置における各パケットの到着時刻から、前記映像送信装置および前記映像受信装置の間の伝送路の特性を推定するステップと、前記映像送信装置が、前記伝送路の特性の逆特性から特定されるタイミングで前記パケットを送信するステップを備える。

【0011】

本発明の一態様の映像送信装置は、映像データのパケットを格納する送信バッファと、前記送信バッファに格納されたパケットを、映像受信装置に送信する送信部と、前記映像受信装置から、各パケットの到着時刻から推定された、映像送信装置および前記映像受信装置の間の伝送路の特性を受信し、前記送信部が、前記伝送路の特性の逆特性から特定されるタイミングで前記パケットを送信する制御を行う制御部を備える。

【0012】

本発明の一態様の映像受信装置は、映像データのパケットを送信バッファに格納し、前記送信バッファに格納されたパケットを送信する映像送信装置に接続し、前記映像送信装置から、前記パケットを受信する受信部と、各パケットの到着時刻から、前記映像送信装置および映像受信装置の間の伝送路の特性を推定する推定部を備える。

【0013】

本発明の一態様は、上記映像送信装置または映像受信装置として、コンピュータを機能させるプログラムである。

【発明の効果】

【0014】

本発明によれば、伝送路が、映像データが設定されたパケットの到着タイミングに与えた影響を相殺可能な技術を提供することができる。

【図面の簡単な説明】

【0015】

【図1】図１は、本発明の第１の実施の形態に係る映像伝送システムのシステム構成、映像送信装置および映像受信装置の各機能ブロックを説明する図である。

【図2】図２は、本発明の第１の実施の形態に係る映像伝送システムにおける映像伝送方法を説明するシーケンス図である。

【図3】図３は、パケットの理想的な到着時間、観察された到着時間および遅延ジッタの状況を説明する一例である。

【図4】図４は、本発明の第２の実施の形態に係る映像伝送システムのシステム構成、映像送信装置および映像受信装置の各機能ブロックを説明する図である。

【図5】図５は、本発明の第３の実施の形態により拡大されるジッタ許容時間を説明する図である。

【図6】図６は、映像送信装置および映像受信装置に用いられるコンピュータのハードウエア構成を説明する図である。

【発明を実施するための形態】

【0016】

以下、図面を参照して、本発明の実施形態を説明する。図面の記載において同一部分には同一符号を付し説明を省略する。

【0017】

（第１の実施の形態）
（映像伝送システム）
映像伝送システム１は、映像送信装置２と映像受信装置３を備える。映像送信装置２と映像受信装置３は、伝送路４により相互に通信可能に接続される。映像送信装置２と映像受信装置３は、Ｐｒｅｃｉｓｉｏｎ Ｔｉｍｅ Ｐｒｏｔｏｃｏｌ（ＰＴＰ）等により時刻を同期する。

【0018】

映像送信装置２は、映像データを複数のパケットに変換する。映像送信装置２は、変換されたパケットを、伝送路４を介して映像受信装置３に送信する。映像データは、再生対象の映像エッセンスである。

【0019】

映像受信装置３は、映像送信装置２から伝送路４を介してパケットを受信する。映像受信装置３は、受信した各パケットから映像データを生成して、生成された映像データを再生する。

【0020】

第１の実施の形態において映像送信装置２は、送信バッファ２２を備え、送信バッファ２２にパケットを一時格納する。映像送信装置２は、映像受信装置３において推定された伝送路４の特性の逆特性に従って、送信バッファ２２に格納されたパケットを送信する。第１の実施の形態において伝送路４の特性は、パケットの到着時刻から推定される。

【0021】

第１の実施の形態に係る映像伝送システム１において、映像受信装置３は、映像データが設定されたパケットの到着タイミングに伝送路４が与えた影響として、遅延ジッタを算出する。映像受信装置３は、遅延ジッタから伝送路４の特性を特定する。映像送信装置２は、パケットを送信バッファ２２に一時的に格納し、映像受信装置３で遅延ジッタから特定された伝送路４の特性の逆特性に従って、パケットを送信することにより、特定された伝送路４の特性を相殺する。これにより映像伝送システム１は、送信バッファ２２により映像送信装置２による送信タイミングを調整することで、映像受信装置３における遅延ジッタを補償することが可能になる。

【0022】

映像送信装置２は、生成部２１、送信バッファ２２、送信部２３および制御部２４を備える。生成部２１、送信部２３および制御部２４は、CPU９０１に実装される。送信バッファ２２は、メモリ９０２またはストレージ９０３に形成される。映像送信装置２は、映像データのパケットを送信バッファ２２に格納し、送信バッファ２２に格納されたパケットを送信する。

【0023】

生成部２１は、映像データのパケットを生成して、生成したパケットを送信バッファ２２に格納する。パケットは、ＲＴＰパケットなど、リアルタイムに映像データを転送するプロトコルによるパケットである。映像データをＲＴＰパケット化する方法として、例えば非特許文献１がある。

【0024】

送信バッファ２２は、映像データのＲＴＰパケットを格納する。送信バッファ２２は、制御部２４が制御する送信タイミングになるまで、各ＲＴＰパケットを格納する。

【0025】

送信部２３は、送信バッファ２２に格納されたＲＴＰパケットを、映像受信装置３に送信する。送信部２３は、制御部２４によって指定されたタイミングでパケットを送信する。具体的には送信部２３は、伝送路４の特性の逆特性から特定されるタイミングでパケットを送信する。

【0026】

送信部２３は、ＲＴＰパケットを任意のネットワークプロトコルパケットに、格納して、伝送路４に送出する。ネットワークプロトコルとして、Ｕｓｅｒ Ｄａｔａｇｒａｍ Ｐｒｏｔｏｃｏｌ（ＵＤＰ）／Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ（ＩＰ）／Ｅｔｈｅｒｎｅｔを使用してもよい。伝送路の種類は問わない。専用に波長が割り当てられた波長パスが用いられても良い。

【0027】

制御部２４は、映像受信装置３から、伝送路４の特性を受信し、送信部２３が、伝送路４の特性の逆特性から特定されるタイミングでパケットを送信する制御を行う。具体的には制御部２４は、映像受信装置３において推定された伝送路４の特性の逆特性から、送信部２３がパケットを送信するタイミングを決定する。ここで逆特性とは、推定された伝送路４の特性によって生じた遅延ジッタを相殺する特性である。なお制御部２４は、伝送路４またはそれ以外の通信ネットワークを介して、映像受信装置３から伝送路４の特性を受信する。

【0028】

制御部２４による送信タイミングの制御方法として、任意の方法を用いる。例えば、送信タイミングが到達した際に制御部２４が送信部２３に知らせる方法、制御部２４が送信タイミングを送信部２３に通知し送信部２３が通知された送信タイミングに従って送信する方法などがある。

【0029】

映像受信装置３は、受信部３１、受信バッファ３２、再生部３３および推定部３４を備える。受信部３１、再生部３３および推定部３４は、CPU９０１に実装される。受信バッファ３２は、メモリ９０２またはストレージ９０３に形成される。映像受信装置３は、各パケットの到着時刻から推定された、映像送信装置２および映像受信装置３の間の伝送路４の特性を特定し、映像送信装置２に送信する。

【0030】

受信部３１は、映像送信装置２から伝送路４を介してパケットを受信する。受信部３１は、受信したパケットを受信バッファ３２に格納する。具体的には受信部３１は、送信部２３が格納した任意のネットワークプロトコルパケットからＲＴＰパケットを取り出して、ＲＴＰパケットを受信バッファ３２に格納する。

【0031】

受信バッファ３２は、受信部３１が取り出したＲＴＰパケットを一時格納する。受信バッファ３２は、各パケットの到着時刻を記録して、推定部３４に入力する。各パケットの到着時刻は、受信部３１によって計測されても良い。

【0032】

再生部３３は、受信バッファ３２に格納されたＲＴＰパケットから映像データを構成して、ディスプレイ（図示せず）等に再生する。

【0033】

推定部３４は、映像受信装置３における各パケットの到着時刻から、映像送信装置２および映像受信装置３間の伝送路４の特性を推定する。ここで、伝送路４の特性は、各パケットの遅延ジッタから推定される。推定部３４の処理については、後に詳述する。

【0034】

なお本発明の実施の形態において、映像送信装置２が制御部２４を備え、映像受信装置３が推定部３４を備える場合を説明するがこれに限らない。例えば、制御部２４と推定部３４は、映像送信装置２および映像受信装置３のそれぞれと通信可能なサーバ内に備えられても良い。また映像送信装置２および映像受信装置３のいずれか一方が、制御部２４および推定部３４の両方を備えても良い。映像送信装置２が、伝送路の特性の逆特性でパケットを送信することができれば、映像伝送システム１はどのように形成されても良い。

【0035】

図２を参照して、本発明の実施の形態に係る映像伝送方法を説明する。図２に示す例では、映像送信装置２は、まず、逐次パケットを送信する。映像受信装置３において伝送路４の特性が推定された後、映像送信装置２は、推定された特性の逆特性に従って、パケットを送信する場合を説明する。

【0036】

まずステップＳ１において映像送信装置２は、映像データから複数のＲＴＰパケットを生成する。映像送信装置２は、生成した各ＲＴＰパケットを送信バッファ２２に格納する。ステップＳ２において映像送信装置２は、送信バッファ２２に格納されたＲＴＰパケットを、逐次、映像受信装置３に送信する。ステップＳ３においてＲＴＰパケットは、映像送信装置２から映像受信装置３に送信される。

【0037】

ステップＳ４において映像受信装置３は、受信したＲＴＰパケットを受信バッファ３２に格納する。ステップＳ５において映像受信装置３は、受信したＲＴＰパケットから映像データを生成して再生する。

【0038】

ステップＳ６において映像受信装置３は、各ＲＴＰパケットの到着時刻から、伝送路４の特性を推定する。ステップＳ７において映像受信装置３は、推定した伝送路４の特性を、映像送信装置２に送信する。

【0039】

ステップＳ８において映像送信装置２は、ステップＳ６で送信された伝送路４の特性の逆特性から特定されるタイミングで、ＲＴＰパケットを送信する。ステップＳ９においてＲＴＰパケットは、映像送信装置２から映像受信装置３に送信される。

【0040】

このような映像伝送システム１によれば、伝送路の特性の逆特性に従ってＲＴＰパケットが映像送信装置２から映像受信装置３に送信される。映像伝送システム１は、映像受信装置３内で発生する遅延ジッタ、およびＲＴＰパケットの取りこぼしを抑制する。また映像伝送システム１は、映像受信装置３内のＲＴＰパケットの到着タイミングを平滑化することが可能になる。

【0041】

伝送路４の特性の推定方法の例を説明する。推定部３４は、推定対象となるＲＴＰパケット群について、映像受信装置３における到着時刻を取得する。推定対象は、例えば映像データの１フレームを構成するためのパケット群である。他の例として推定対象は、１秒などの所定時間内に受信したパケット群であっても良い。

【0042】

推定対象のパケット群の理想的なパケットの到着時刻の系列を、Ｔ_{ＩＤＥＡＬ}（ｋ）とする。ただし、ｋはフレーム内におけるＲＴＰパケットのインデックスで、推定対象のパケット数をＮとすると、０≦ｋ≦Ｎ－１である。理想的なＲＴＰパケットの到着時刻は、送信タイミングモデルから特定される。

【0043】

推定対象の最初のＲＴＰパケット到着時刻を０とすると、Ｔ_{ＩＤＥＡＬ}（ｋ）＝Ｃ＊ｋとなる。Ｃは送信タイミングモデルに基づく理想的なＲＴＰパケット送信間隔である。

【0044】

映像受信装置３で観察された推定対象のパケット群の各ＲＴＰパケット到着時刻の系列をＴ_{ＯＢＳＥＲＶＥＤ}（ｋ）とする。ｋ番目のＲＴＰパケットが受けた遅延ジッタＴ_{ＪＩＴＴＥＲ}（ｋ）は、Ｔ_{ＪＩＴＴＥＲ}（ｋ）＝Ｔ_{ＯＢＳＥＲＶＥＤ}（ｋ）－Ｔ_{ＩＤＥＡＬ}（ｋ）となる。

【0045】

図３に、Ｔ_{ＩＤＥＡＬ}（ｋ）、Ｔ_{ＯＢＳＥＲＶＥＤ}（ｋ）、Ｔ_{ＪＩＴＴＥＲ}（ｋ）の例を示す。図３に示す例において、Ｔ_{ＩＤＥＡＬ}（ｋ）は、２＊ｋで表され、純増する。これに対し、Ｔ_{ＯＢＳＥＲＶＥＤ}（ｋ）は、Ｔ_{ＩＤＥＡＬ}（ｋ）に対して遅延が生じる。

【0046】

推定部３４は、推定した遅延ジッタパターンＪ（ｋ）を、伝送路４の特性として特定する。推定部３４は、複数フレームについてＴ_{ＪＩＴＴＥＲ}（ｋ）を平均化した遅延ジッタパターンをＪ（ｋ）として採用してもよい。推定部３４は、直近の複数フレームにおけるＴ_{ＪＩＴＴＥＲ}（ｋ）から深層学習等で予測した遅延ジッタパターンをＪ（ｋ）として採用してもよい。推定部３４は、推定した伝送路４の特性を、映像送信装置２に送信する。

【0047】

次に、ＲＴＰパケットの送信タイミングの特定方法を説明する。映像送信装置２の制御部２４は、映像受信装置３において推定された伝送路４の特性を取得する。制御部２４は、送信部２３によるＲＴＰパケットの送信タイミング送信タイミングＴ_{ＣＯＮＴＲＯＬ}（ｋ）を、Ｔ_{ＣＯＮＴＲＯＬ}（ｋ）＝Ｃ＊ｋ－Ｊ（ｋ）となるように制御する。ここで制御部２４は、推定部３４が推定した推定対象の後続のパケットに対して、送信タイミングを制御する。推定部３４が推定したフレームの次以降に送信されるフレームのパケットに対して、送信タイミングを制御する。

【0048】

推定部３４は、ＲＴＰパケットの送信開始時に上記のような推定を行い、Ｔ_{ＣＯＮＴＲＯＬ}（ｋ）を固定して動作させてもよい。または、推定部３４は、動作中に随時推定を行い、Ｔ_{ＣＯＮＴＲＯＬ}（ｋ）を動的に変化させてもよい。随時推定の場合、推定部３４は、定期的に推定してもよい。あるいは推定部３４は、映像受信装置３における遅延ジッタの大きさを監視し、基準値が閾値を超えたときに推定しても良い。基準値として、Ｔ_{ＪＩＴＴＥＲ}（ｋ）のＬ１ノルムやＬ２ノルムが、用いられてもよい。

【0049】

これにより、受信バッファ３２で観察されるＲＴＰパケット到着間隔が平滑化され、ＲＴＰパケットの取りこぼしの防止効果が期待できる。また、遅延ジッタを吸収するために必要な受信バッファサイズの削減効果が期待できる。さらに、バッファサイズが小さくなることにより、遅延削減効果も期待できるとともに、必要なメモリデバイス容量の削減に寄与し、コストおよび実装面積の削減が期待できる。

【0050】

（第２の実施の形態）
図４を参照して、第２の実施の形態に係る映像伝送システム６を説明する。第１の実施の形態に係る映像伝送システム１は、パケットの遅延ジッタから伝送路４の特性を特定するのに対し、第２の実施の形態に係る映像伝送システム６は、映像データが設定されたパケットの到着タイミングに第１の伝送路９および第２の伝送路１０が与えた影響として、シームレスプロテクションのＲＴＰパケット到着時間差を算出する。映像伝送システム６は、ＲＴＰパケットの到着時間差から第１の伝送路９および第２の伝送路１０の特性を特定する。第２の実施の形態において、第１の実施の形態との差異に着目して説明する。

【0051】

映像伝送システム６は、映像送信装置７および映像受信装置８を備える。映像送信装置７と映像受信装置８は、第１の伝送路９および第２の伝送路１０のそれぞれにより相互に通信可能に接続される。

【0052】

第２の実施の形態において映像送信装置７は、送信バッファ７２を備え、送信バッファ７２にパケットを一時格納する。映像送信装置７は、映像受信装置３において推定された第１の伝送路９および第２の伝送路１０の特性の逆特性に従って、送信バッファ７２に格納されたパケットを送信することにより、特定された第１の伝送路９および第２の伝送路１０の特性を相殺する。第１の伝送路９および第２の伝送路１０の特性は、第１の伝送路９から受信したパケットと第２の伝送路１０から受信したパケットの到着時間差から推定される。

【0053】

映像送信装置７は、生成部７１、送信バッファ７２、第１の送信部７３、第２の送信部７４および制御部７５を備える。生成部７１、第１の送信部７３、第２の送信部７４および制御部７５は、CPU９０１に実装される。送信バッファ７２は、メモリ９０２またはストレージ９０３に形成される。映像送信装置７は、映像データのパケットを送信バッファ７２に格納し、送信バッファ７２に格納されたパケットを第１の伝送路９と第２の伝送路１０のそれぞれに送信する。

【0054】

生成部７１は、映像データのＲＴＰパケットを生成して、生成したＲＴＰパケットを送信バッファ７２に格納する。

【0055】

送信バッファ７２は、映像データのＲＴＰパケットを格納する。送信バッファ７２は、第１の送信部７３および第２の送信部７４のそれぞれについて、制御部２４が制御する送信タイミングになるまで、各ＲＴＰパケットを格納する。送信バッファ７２は、シーケンス番号１つに対して、１つのＲＴＰパケットを格納する。この１つのＲＴＰパケットは、第１の送信部７３および第２の送信部７４のそれぞれによって映像受信装置８に送信されるまで、送信バッファ７２に格納される。

【0056】

第１の送信部７３および第２の送信部７４は、送信バッファ２２に格納されたＲＴＰパケットを、映像受信装置３に送信する。第１の送信部７３は、第１の伝送路９を介してＲＴＰパケットを送信する。第２の送信部７４は、第２の伝送路１０を介してＲＴＰパケットを送信する。第１の送信部７３および第２の送信部７４は、制御部７５によって指定されたタイミングでパケットを送信する。具体的には第１の送信部７３および第２の送信部７４は、到着時間が遅い伝送路へパケットを送信してから到着時間差に従った時間が経過した後に、到着時間が早い伝送路へのパケットを送信する。

【0057】

制御部７５は、映像受信装置８から、第１の伝送路９および第２の伝送路１０の特性を受信し、第１の送信部７３および第２の送信部７４が、第１の伝送路９および第２の伝送路１０の特性の逆特性から特定されるタイミングでパケットを送信する制御を行う。ここで第１の伝送路９および第２の伝送路１０の特性は、シーケンス番号が同じＲＴＰパケットを映像送信装置７が同時に映像受信装置８に送信した際の、到着時間の差分である。逆特性とは、シーケンス番号が同じＲＴＰパケットが、第１の伝送路９と第２の伝送路１０のそれぞれを介して送信される際の遅延を相殺する特性である。具体的には制御部２４は、シーケンス番号が同じＲＴＰパケットが、映像受信装置８において同時に到着するように、第１の送信部７３および第２の送信部７４それぞれが、そのパケットを送信するタイミングを決定する。なお制御部７５は、第１の伝送路９、第２の伝送路１０またはそれ以外の通信ネットワークを介して、映像受信装置８から特性を受信する。

【0058】

映像受信装置８は、第１の受信部８１、第２の受信部８２、第１の受信バッファ８３、第２の受信バッファ８４、再生部８５および推定部８６を備える。第１の受信部８１、第２の受信部８２、再生部８５および推定部８６は、CPU９０１に実装される。第１の受信バッファ８３、第２の受信バッファ８４は、メモリ９０２またはストレージ９０３に形成される。映像受信装置８は、第１の伝送路９と第２の伝送路１０のそれぞれから受信したパケットを補完して、再生する。映像受信装置８は、各パケットの到着時間差から推定された、映像送信装置２および映像受信装置３間の第１の伝送路９および第２の伝送路１０の特性を、映像送信装置７に送信する。

【0059】

第１の受信部８１は、第１の伝送路９から、ＲＴＰパケットを受信する。第１の受信部８１は、受信したＲＴＰパケットを第１の受信バッファ８３に格納する。

【0060】

第２の受信部８２は、第２の伝送路１０から、ＲＴＰパケットを受信する。第２の受信部８２は、受信したＲＴＰパケットを第２の受信バッファ８４に格納する。

【0061】

再生部８５は、第１の受信バッファ８３および第２の受信バッファ８４に格納されたＲＴＰパケットから映像データを構成して、ディスプレイ（図示せず）等に再生する。再生部８５は、同一のシーケンス番号が付された２つのＲＴＰパケットを統合して、ＲＴＰパケットの欠落を補償して、映像データを再生する。

【0062】

推定部８６は、映像受信装置３における各パケットの到着時刻から、映像送信装置２および映像受信装置３間の第１の伝送路９および第２の伝送路１０の特性を推定する。ここで、伝送路４の特性は、第１の伝送路９から受信したパケットと第２の伝送路１０から受信したパケットの到着時間差から推定される。

【0063】

映像受信装置８の推定部８６におけるＲＴＰパケット到着時間差の推定方法の例を以下に示す。推定部８６は、ＲＴＰヘッダのシーケンス番号を参照することで、二経路間で同じ映像エッセンスを伝送するＲＴＰパケットを特定することができる。

【0064】

対応するＲＴＰパケットの組について、第１の伝送路９側のパケット到着時刻をＴ_１、第２の伝送路１０側のパケット到着時刻をＴ_２とすると、到着時間差はＴ_２－Ｔ_１として計算される。値が正の場合、第２の伝送路１０側のＲＴＰパケットが遅れている。値が負の場合、第１の伝送路９側のＲＴＰパケットが遅れている。

【0065】

推定部８６は、到着時間差の推定値Ｄを映像送信装置７の制御部７５に送信する。遅延ジッタの影響を低減するため、Ｔ_２－Ｔ_１の平均値が、Ｄとして採用されてもよい。

【0066】

次に、ＲＴＰパケットの送信タイミングの特定方法を説明する。映像送信装置７の制御部７５は、ＲＴＰパケット到着時間差の推定値Ｄを受け取ると、制御部７５は、固定遅延を、第１の送信部７３または第２の送信部７４に設定する。Ｄが正の場合、第１の送信部７３は、第１の伝送路９への送出を、第２の送信部７４が第２の伝送路１０に送出してからＤだけ遅延させる。Ｄが負の場合、第２の送信部７４は、第２の伝送路１０への送出を、第１の送信部７３が第１の伝送路９に送出してから｜Ｄ｜だけ遅延させる。

【0067】

一般的にシームレスプロテクション伝送において、経路長の差に起因したＲＴＰパケット到着時間差が発生する場合がある。シームレスプロテクションでは、ＲＴＰパケット統合のために受信側での待ち合わせが必要であるが、到着時間差が大きすぎる場合にはバッファオーバーフローが発生する可能性がある。バッファオーバーフローの発生を防止するためには、やはり受信バッファを大きく取る必要がある。

【0068】

これに対し第２の実施の形態に係る映像伝送システム６は、シーケンス番号が同じＲＴＰパケットが同時に映像受信装置８に到着するように、映像送信装置７による送信タイミングが調整される。これにより、映像受信装置８におけるＲＴＰパケットの待ち合わせ時間を削減することができる。

【0069】

第２の実施の形態において、削減可能なバッファサイズを見積もる。なおこのバッファサイズは、送信バッファ７２、第１の受信バッファ８３と第２の受信バッファ８４の各バッファについて、削減可能なバッファサイズの合計である。前提として、受信バッファにおけるジッタ許容時間の最大値を、Δとする。Δは、映像受信装置の設計パラメタで、所与の値である。また、ＲＴＰパケット到着時間差をＤとする。Ｄは、第１の伝送路９および第２の伝送路１０によって決まる値である。また、映像一本当たりのビットレートをＲとする。Ｒは映像フォーマットによって決まる値である。

【0070】

まず、シームプロテクションを用いる一般的な映像伝送システムにおいて、遅延ジッタと到着時間差を受信バッファのみで吸収する場合、必要なバッファサイズは、第１の受信バッファおよび第２の受信バッファの両方で吸収可能な容量を確保するため２Ｒ＊（Δ＋Ｄ）である。一方、第２の実施の形態で必要な送信バッファサイズはＲ＊Ｄ、必要な受信バッファサイズは第１の受信バッファ８３および第２の受信バッファ８４の両方で２Ｒ＊Δ、合計で必要なバッファサイズはＲ＊（２Δ＋Ｄ）である。従って、第２の実施の形態に係る映像伝送システム６において、バッファサイズをＲ＊Ｄだけ削減することが可能である。

【0071】

（第３の実施の形態）
第３の実施の形態において、映像送信装置７および映像受信装置８は、それぞれ、FPGA（Field Programmable Gate Array）を備える同じ仕様のハードウエアにおいて、それぞれの機能を実現するプログラムにより実装される場合を説明する。ハードウエアは、FPGA、メモリおよび通信装置を備え、さらにCPU、ストレージ、入力装置および出力装置を備えても良い。同じ仕様のハードウエアを、設置現場において映像送信装置７および映像受信装置８のうちのいずれかとして機能させることにより、設置現場におけるコストの軽減が期待できる。

【0072】

第３の実施の形態において映像送信装置７の送信バッファ７２のバッファサイズと、映像受信装置８の第１の受信バッファ８３と第２の受信バッファ８４の合計バッファサイズが、同じＭである。

【0073】

映像一本当たりのビットレートをＲ、ＲＴＰパケット到着時間差をＤ、ジッタ許容時間をΔとする。

【0074】

Ｄ≦Ｍ／Ｒの場合、送信バッファ７２でＲＴＰパケット到着時間差を吸収し、第１の受信バッファ８３および第２の受信バッファ８４で遅延ジッタを吸収する。このとき、Δ＝Ｍ／（２Ｒ）である。

【0075】

Ｄ＞Ｍ／Ｒの場合、送信バッファ７２でＲＴＰパケット到着時間差を吸収し、第１の受信バッファ８３および第２の受信バッファ８４でＲＴＰ到着時間差の残差と遅延ジッタを吸収する。このとき、Δ＝（３Ｍ）／（２Ｒ）－Ｄである。

【0076】

一方、ＲＴＰパケット到着時間差と遅延ジッタを第１の受信バッファ８３および第２の受信バッファ８４のみで吸収する場合、吸収可能なジッタ許容時間Δは、Δ＝Ｍ／（２Ｒ）－Ｄとなる。ただし、Ｄ≦Ｍ／（２Ｒ）。

【0077】

従って、第３の実施の形態により拡大されるジッタ許容時間は、図５における実線と破線の差に相当する領域である。

【0078】

上記説明した本実施形態の映像送信装置２、７および映像受信装置３、８のそれぞれは、例えば、CPU（Central Processing Unit、プロセッサ）９０１と、メモリ９０２と、ストレージ９０３（HDD：Hard Disk Drive、SSD：Solid State Drive）と、通信装置９０４と、入力装置９０５と、出力装置９０６とを備える汎用的なコンピュータシステムが用いられる。このコンピュータシステムにおいて、CPU９０１がメモリ９０２上にロードされたプログラムを実行することにより、映像送信装置２、７および映像受信装置３、８のそれぞれの各機能が実現される。

【0079】

なお、映像送信装置２、７および映像受信装置３、８のそれぞれは、１つのコンピュータで実装されてもよく、あるいは複数のコンピュータで実装されても良い。また映像送信装置２、７および映像受信装置３、８のそれぞれは、コンピュータに実装される仮想マシンであっても良い。

【0080】

映像送信装置２、７および映像受信装置３、８のそれぞれのプログラムは、HDD、SSD、USB（Universal Serial Bus）メモリ、CD (Compact Disc)、DVD (Digital Versatile Disc)などのコンピュータ読取り可能な記録媒体に記憶することも、ネットワークを介して配信することもできる。

【0081】

なお、本発明は上記実施形態に限定されるものではなく、その要旨の範囲内で数々の変形が可能である。

【符号の説明】

【0082】

１ 映像伝送システム
２、７ 映像送信装置
３、８ 映像受信装置
４、９、１０ 伝送路
２１、７１ 生成部
２２、７２ 送信バッファ
２３、７３、７４ 送信部
２４、７５ 制御部
３１、８１、８２ 受信部
３２、８３、８４ 受信バッファ
３３、８５ 再生部
３４、８６ 推定部
９０１ CPU
９０２ メモリ
９０３ ストレージ
９０４ 通信装置
９０５ 入力装置
９０６ 出力装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】