(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023182982
(43)【公開日】2023-12-27
(54)【発明の名称】映像伝送システム、映像伝送装置、及び映像伝送プログラム
(51)【国際特許分類】
H04N 21/266 20110101AFI20231220BHJP
H04N 21/234 20110101ALI20231220BHJP
H04N 19/436 20140101ALI20231220BHJP
【FI】
H04N21/266
H04N21/234
H04N19/436
【審査請求】未請求
【請求項の数】9
【出願形態】OL
(21)【出願番号】P 2022096312
(22)【出願日】2022-06-15
(71)【出願人】
【識別番号】000004352
【氏名又は名称】日本放送協会
(74)【代理人】
【識別番号】100106002
【弁理士】
【氏名又は名称】正林 真之
(74)【代理人】
【識別番号】100120891
【弁理士】
【氏名又は名称】林 一好
(72)【発明者】
【氏名】白戸 諒
(72)【発明者】
【氏名】中戸川 剛
【テーマコード(参考)】
5C159
5C164
【Fターム(参考)】
5C159KK13
5C159RA06
5C159RC02
5C159UA01
5C159UA04
5C164GA03
5C164SA32S
5C164SB01P
5C164SB21S
5C164SC01P
5C164SC22S
(57)【要約】
【課題】映像分割による圧縮伸張処理の分散処理化と、分散処理の自動化と、を提供する映像伝送システム。
【解決手段】並列分散処理サーバを備える並列分散処理システムと、映像を分割して各分割映像を並列分散処理システムに並列伝送する送信装置としての映像伝送装置と、並列分散処理システムから各分割映像を受信して統合することで分割前の映像を取得する受信装置としての映像伝送装置と、を備え、送信装置としての映像伝送装置は、映像の分割数に応じて、分割された映像の伝送先であって、分割映像を軽圧縮する並列分散処理サーバを割り当て、受信装置としての映像伝送装置は、映像の分割数に応じて、分割された映像の軽圧縮された映像を伸張し、伸張された各分割映像を受信装置としての映像伝送装置にそれぞれ伝送する並列分散処理サーバを割り当てる映像伝送システム。
【選択図】
図1
【特許請求の範囲】
【請求項1】
並列分散処理サーバを備える並列分散処理システムと、
映像を分割して、分割されたそれぞれの分割映像を前記並列分散処理システムに並列伝送する映像送信装置としての映像伝送装置と、
前記並列分散処理システムからそれぞれ前記分割映像を受信して統合することで分割前の映像を取得する映像受信装置としての映像伝送装置と、を備える映像伝送システムであって、
前記映像送信装置としての映像伝送装置は、映像の分割数に応じて、前記分割された映像の伝送先であって、前記分割された映像を軽圧縮する並列分散処理サーバを割り当て、
前記映像受信装置としての映像伝送装置は、映像の分割数に応じて、前記分割された映像の軽圧縮された映像を伸張し、伸張された前記分割された映像を前記映像受信装置としての映像伝送装置にそれぞれ伝送する並列分散処理サーバを割り当て、
前記分割された映像を軽圧縮する並列分散処理サーバと、前記軽圧縮された前記分割された映像を伸張する並列分散処理サーバと、を対応づけることで、
前記分割された映像の伝送先としての並列分散処理サーバは、軽圧縮した前記分割された映像を、前記対応づけられた並列分散処理サーバに伝送する映像伝送システム。
【請求項2】
前記映像送信装置としての映像伝送装置及び前記映像受信装置としての映像伝送装置は、映像伝送時の映像圧縮伸張処理を並列分散化する際の映像圧縮伸張処理及び映像分割統合処理方法を定義するSDPファイルに基づいて、それぞれ前記分割された映像の伝送先であって、前記分割された映像を軽圧縮する並列分散処理サーバ、及び前記軽圧縮された前記分割された映像を伸張する並列分散処理サーバを割り当てるとともに、前記分割された映像を軽圧縮する並列分散処理サーバと、前記軽圧縮された前記分割された映像を伸張する並列分散処理サーバと、の対応を前記SDPファイルに記録する、請求項1に記載の映像伝送システム。
【請求項3】
前記SDPファイルは、少なくとも映像の分割数、映像の分割手法、映像の圧縮率、映像伝送時の遅延要求、並列分散処理サーバの冗長性、及びサーバリソース使用状況通知頻度を記述するパラメータを含む、請求項2に記載の映像伝送システム。
【請求項4】
前記映像送信装置としての映像伝送装置及び前記映像受信装置としての映像伝送装置は、前記サーバリソース使用状況通知頻度に応じて、それぞれ前記分割された映像を軽圧縮する並列分散処理サーバ及び前記軽圧縮された前記分割された映像を伸張する並列分散処理サーバからサーバリソース使用状況を取得し、
前記サーバリソース使用状況から、動作不安定と判定された場合、前記並列分散処理システムから、新たに並列分散処理サーバを確保し、動作不安定と判定された並列分散処理サーバを置き換える、請求項3に記載の映像伝送システム。
【請求項5】
映像を分割して、分割されたそれぞれの分割映像を、並列分散処理サーバを備える並列分散処理システムに並列伝送する映像送信装置としての映像伝送装置であって、
前記映像伝送装置は、映像の分割数に応じて、前記分割された映像の伝送先であって、前記分割された映像を軽圧縮する並列分散処理サーバを、
映像伝送時の映像圧縮伸張処理を並列分散化する際の映像圧縮伸張処理及び映像分割統合処理方法を定義するSDPファイルに基づいて割り当てる映像伝送装置。
【請求項6】
並列分散処理サーバを備える並列分散処理システムから、複数個に分割された映像のそれぞれの分割映像を受信して統合することで分割前の映像を取得する映像受信装置としての映像伝送装置であって、
前記映像伝送装置は、映像の分割数に応じて、前記分割された映像の軽圧縮された映像を伸張し、伸張された前記分割された映像を前記映像伝送装置にそれぞれ伝送する並列分散処理サーバを、
映像伝送時の映像圧縮伸張処理を並列分散化する際の映像圧縮伸張処理及び映像分割統合処理方法を定義するSDPファイルに基づいて割り当てる映像伝送装置。
【請求項7】
前記SDPファイルは、少なくとも映像の分割数、映像の分割手法、映像の圧縮率、映像伝送時の遅延要求、並列分散処理サーバの冗長性、及びサーバリソース使用状況通知頻度を記述するパラメータを含む、請求項5又は請求項6に記載の映像伝送装置。
【請求項8】
プログラムであって、前記プログラムをコンピュータが実行することにより、前記コンピュータを、請求項5に記載の映像送信装置としての映像伝送装置として機能させる映像伝送プログラム。
【請求項9】
プログラムであって、前記プログラムをコンピュータが実行することにより、前記コンピュータを、請求項6に記載の映像受信装置としての映像伝送装置として機能させる映像伝送プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、映像伝送システム、映像伝送装置、及び映像伝送プログラムに関する。
【背景技術】
【0002】
現在、番組制作機能のソフトウェア化が進んでいる。ソフトウェア化された機能群間のデータ伝送において、局内ネットワークを用いる場合、例えば処理部A(オンプレミスサーバ)から処理部B(オンプレミスサーバ)までの映像伝送が必要となる。また局外ネットワーク(例えば商用通信回線利用)を用いた場合であって、例えばクラウドサーバに処理部を設置する場合、放送局オンプレミスサーバからクラウドサーバまでの映像伝送が必要となる。
このとき、非圧縮の2K(60i)映像のデータレートは1.3Gbps、非圧縮の4K(60p)映像のデータレートは12Gbps、非圧縮の8K(60p)映像のデータレートは約40Gbps、非圧縮の8K(120p)映像のデータレートは約144Gbpsであり、合計で数十、数百もの映像を扱う場合、局外ネットワークはもちろん、局内ネットワークにおいても、データレートの大きさは大きな課題となる。
このため、現在では、低遅延かつ画質を保って圧縮できるJPEG XSといった軽圧縮技術を用いて軽圧縮した映像データを伝送することがなされるようになっている。
【0003】
JPEG XSは、比較的処理が軽量な圧縮技術だが、例えば4K/8Kの映像データを処理する場合において、番組制作では、1F(16.6ms)以内(又は未満)といった低遅延で処理することが要求される。
このため、圧縮以外の処理も含めて1F(16.6ms)以内(又は未満)に実施するためには、圧縮処理を例えば8.3ms以内に実施することが必要になる。
図5Aは、高スペックのサーバで各映像データ(2K、4K、及び8K)のエンコードに必要となるスレッド数、また、
図5Bは、高スペックのサーバで各映像データ(2K、4K、及び8K)のデコードに必要となるスレッド数を表す図である。
図5A及び
図5Bに示すとおり、例えば8K映像データの場合、高スペックのサーバでも、例えば100スレッド以上のリソースを割当てることが必要となり、現状のサーバでは、実現が難しいことが考えられる。
【0004】
この点、例えば、非特許文献1には、8K映像を16枚の2K映像に分割して伝送する方式が紹介されている。具体的には、8K送信装置が、8K映像を16枚の2K映像(以下、「サブピクチャー」という)に分割し、各サブピクチャーをST2110-20形式で伝送する。そして、8K映像の処理を行う代わりに、各サブピクチャーの処理を、2K対応の映像処理装置で並列に行う。映像処理の内容としては、例えば、映像のカット・ディゾルブ切り替えや色変換等、該当ピクセル情報から計算できる処理が可能としている。そして、8K受信装置側で、16枚のサブピクチャーから8K映像を復元する方式が紹介されている。
この伝送方式の利点として、8K映像を2K映像に分割することで、各ST2110-20フローの伝送に必要な帯域を小さくすることができる点、すなわち、例えば60fps、4:2:2、10ビットの8K映像を16枚のサブピクチャーに分割した場合、各サブピクチャーの伝送に必要な帯域は約2.6Gbpsであり、10Gイーサネットや25Gイーサネットを利用することができることが挙げられている。
本方式を導入することで、8K受信装置では複数の2Kサブピクチャーを同期させて8K映像に復元する処理が必要となるが、ST2110スイートは、PTP(Precision Time Protocol)を用いることで複数の映像フローや音声フローの同期が行えるように設計された規格であることから、特別な機能拡張なしに2Kサブピクチャー間の同期をとることが可能であることが紹介されている。
また、高解像度の映像を複数の低解像度映像に分割する方式として、代表的な2つの方法が紹介されている。1つ目の分割方式は、高解像度映像を空間的に分割する方式であり、2つ目の分割方式は、画素ごとに振り分けて低解像度映像を作成する方式である。
なお、非特許文献1に記載された8K送信装置(8K/2K変換装置)では、マルチスレッド処理によって8K映像を16枚の2Kサブピクチャー映像に分割し、リアルタイム処理を行うために、SIMD(Single Instruction/Multiple Data)を用いて処理の高速化を行い、各サブピクチャーは、それぞれST2110-20フローとして多重出力している。他方、8K受信装置(2K/8K変換装置)は、16本のST2110-20フローを受信し、RTPタイムスタンプ値を基に同期処理を行い、8K映像へと変換する。8K受信装置(2K/8K変換装置)は、8K送信装置(8K/2K変換装置)と同様に、SIMDを用いて処理の高速化を図っている。
【0005】
非特許文献1では、8K映像を16枚の2K映像に分割して伝送する方式であるのに対して、非特許文献2では、送信機側で、8K(120p)映像を4並列処理で4K映像に4分割して、それぞれの4K映像を軽圧縮した映像データをIPフォーマットで伝送し、受信機側で軽圧縮された4K映像を4並列処理で復号化し、PTPに基づいて、同期処理を行い、8K(120p)映像に復元する方式が紹介されている。具体的には、送信機は、SDI信号を介して入力された8K(120p)映像を4分割し、分割されて得られた4個の4K映像をそれぞれ軽圧縮処理して(分散化処理)、それぞれイーサネットフォーマットで受信機に伝送する。受信機は受信した4個の4K映像をそれぞれ伸張処理して(分散化処理)、伸張された4個の4K画像を統合して、8K(120p)映像に復元して、SDI信号を介して出力する。このように映像データを分割し、分割された各映像信号に対して軽圧縮技術を適用することで、伝送帯域を削減しながら、高画質低遅延伝送を実現している。
【0006】
そうすると、例えば非特許文献1に記載されたように、映像圧縮処理の並列化、例えば4K/8K映像を2Kに分割し、さらに、非特許文献2に記載されたように軽圧縮する処理を並列的にマルチスレッド処理することで2K相当の処理として扱うことができる。
【先行技術文献】
【非特許文献】
【0007】
【非特許文献1】8K映像を分割して伝送・処理を行うIP制作システム,NHK技研 R&D/No.179/2020.1.(8K番組制作のための光・IP伝送技術特集号)[online],[令和4年5月20日検索],インターネット<https://www.nhk.or.jp/strl/publica/rd/179/pdf/rd179.pdf>
【非特許文献2】リモートプロダクションを実現する軽圧縮8K IP伝送装置の開発,NHK技研 R&D/No.179/2020.1.(8K番組制作のための光・IP伝送技術特集号)[online],[令和4年5月20日検索],インターネット<https://www.nhk.or.jp/strl/publica/rd/179/pdf/rd179.pdf>
【発明の概要】
【発明が解決しようとする課題】
【0008】
しかしながら、非特許文献2に記載の発明は、送信機において映像を分割した後、送信機においてマルチスレッド処理でそれぞれの分割された映像データを軽圧縮し、それぞれの分割されたデータを受信機に対して伝送するものであり、また受信機においても、マルチスレッド処理でそれぞれの分割された映像データを受信したうえで復元し、8Kに統合するものである。また、非特許文献1においても、送信機において映像を予め設定された分割数に分割した後、それぞれの分割されたデータを受信機に対して伝送するものであり、また受信機においても、マルチスレッド処理でそれぞれの予め設定された分割数に分割された映像データを受信したうえで、復元し、8Kに統合するものである。
このように、両者ともに、スペックの高い1つの装置におけるマルチスレッド処理を前提としており、また、予め画像の分割数を設定したうえで、送信機及び受信機上に分割数に対応してマルチスレッド処理による制御を実行するように設定されている。このため、例えば送信機又は受信機において、負荷が増大した場合等に、分散処理を動的に対応できるものではない。また、分割数についても、動的に対応できるものでもない。このため、映像を分割して圧縮伸張を分散処理する場合に、自動的に分散化したリソースを確保し割当て制御できることが望まれている。
【0009】
本発明は、映像伝送時のソフトウェアによる圧縮伸張処理における単一リソース規模の低減と低遅延化を可能とする、映像分割による圧縮伸張処理の分散処理化と、分散処理の自動化と、を提供する映像伝送システムを提供することを目的とする。
【課題を解決するための手段】
【0010】
本発明に係る映像伝送システムは、並列分散処理サーバを備える並列分散処理システムと、映像を分割して、分割されたそれぞれの分割映像を前記並列分散処理システムに並列伝送する映像送信装置としての映像伝送装置と、前記並列分散処理システムからそれぞれ前記分割映像を受信して統合することで分割前の映像を取得する映像受信装置としての映像伝送装置と、を備える映像伝送システムであって、前記映像送信装置としての映像伝送装置は、映像の分割数に応じて、前記分割された映像の伝送先であって、前記分割された映像を軽圧縮する並列分散処理サーバを割り当て、前記映像受信装置としての映像伝送装置は、映像の分割数に応じて、前記分割された映像の軽圧縮された映像を伸張し、伸張された前記分割された映像を前記映像受信装置としての映像伝送装置にそれぞれ伝送する並列分散処理サーバを割り当て、前記分割された映像を軽圧縮する並列分散処理サーバと、前記軽圧縮された前記分割された映像を伸張する並列分散処理サーバと、を対応づけることで、前記分割された映像の伝送先としての並列分散処理サーバは、軽圧縮した前記分割された映像を、前記対応づけられた並列分散処理サーバに伝送する。
【0011】
前記映像送信装置としての映像伝送装置及び前記映像受信装置としての映像伝送装置は、映像伝送時の映像圧縮伸張処理を並列分散化する際の映像圧縮伸張処理及び映像分割統合処理方法を定義するSDPファイルに基づいて、それぞれ前記分割された映像の伝送先であって、前記分割された映像を軽圧縮する並列分散処理サーバ、及び前記軽圧縮された前記分割された映像を伸張する並列分散処理サーバを割り当てるとともに、前記分割された映像を軽圧縮する並列分散処理サーバと、前記軽圧縮された前記分割された映像を伸張する並列分散処理サーバと、の対応を前記SDPファイルに記録するようにしてもよい。
【0012】
前記SDPファイルは、少なくとも映像の分割数、映像の分割手法、映像の圧縮率、映像伝送時の遅延要求、並列分散処理サーバの冗長性、及びサーバリソース使用状況通知頻度を記述するパラメータを含むようにしてもよい。
【0013】
前記映像送信装置としての映像伝送装置及び前記映像受信装置としての映像伝送装置は、前記サーバリソース使用状況通知頻度に応じて、それぞれ前記分割された映像を軽圧縮する並列分散処理サーバ及び前記軽圧縮された前記分割された映像を伸張する並列分散処理サーバからサーバリソース使用状況を取得し、前記サーバリソース使用状況から、動作不安定と判定された場合、前記並列分散処理システムから、新たに並列分散処理サーバを確保し、動作不安定と判定された並列分散処理サーバを置き換えるようにしてもよい。
【0014】
本発明に係る映像伝送装置は、映像を分割して、分割されたそれぞれの分割映像を、並列分散処理サーバを備える並列分散処理システムに並列伝送する映像送信装置としての映像伝送装置であって、前記映像伝送装置は、映像の分割数に応じて、前記分割された映像の伝送先であって、前記分割された映像を軽圧縮する並列分散処理サーバを映像伝送時の映像圧縮伸張処理を並列分散化する際の映像圧縮伸張処理及び映像分割統合処理方法を定義するSDPファイルに基づいて割り当てる。
【0015】
本発明に係る映像伝送装置は、並列分散処理サーバを備える並列分散処理システムから、複数個に分割された映像のそれぞれの分割映像を受信して統合することで分割前の映像を取得する映像受信装置としての映像伝送装置であって、前記映像伝送装置は、映像の分割数に応じて、前記分割された映像の軽圧縮された映像を伸張し、伸張された前記分割された映像を前記映像伝送装置にそれぞれ伝送する並列分散処理サーバを、映像伝送時の映像圧縮伸張処理を並列分散化する際の映像圧縮伸張処理及び映像分割統合処理方法を定義するSDPファイルに基づいて割り当てる。
【0016】
前記SDPファイルは、少なくとも映像の分割数、映像の分割手法、映像の圧縮率、映像伝送時の遅延要求、並列分散処理サーバの冗長性、及びサーバリソース使用状況通知頻度を記述するパラメータを含むようにしてもよい。
【0017】
本発明に係る映像伝送プログラムは、映像送信装置としての映像伝送装置としてコンピュータを機能させるためのものである。
【0018】
本発明に係る映像伝送プログラムは、映像受信装置としての映像伝送装置としてコンピュータを機能させるためのものである。
【発明の効果】
【0019】
本発明によれば、映像伝送時のソフトウェアによる圧縮伸張処理における単一リソース規模の低減と低遅延化を可能とする、映像分割による圧縮伸張処理の分散処理化と、分散処理の自動化と、を提供する映像伝送システムを提供することができる。
【図面の簡単な説明】
【0020】
【
図1】実施形態における映像伝送システムの構成を示す図である。
【
図2】SDPファイルに記述される主要なパラメータを示す図である。
【
図3】実施形態における並列分散処理サーバにおける動作が不安定の問題があると判定した場合の処理の概要を示す図である。
【
図4A】実施形態における映像送信装置としての映像伝送装置の分散制御処理を示すフローチャートである。
【
図4B】実施形態における映像受信装置としての映像伝送装置の分散制御処理を示すフローチャートである。
【
図5A】高スペックのサーバで映像データ(2K、4K、及び8K)のエンコードに必要となるスレッド数を表す図である。
【
図5B】高スペックのサーバで各映像データ(2K、4K、及び8K)のデコードに必要となるスレッド数を表す図である。
【発明を実施するための形態】
【0021】
以下、本発明の実施形態の一例について説明する。
図1は、本実施形態における映像伝送システム1の構成を示す図である。
映像伝送システム1は、映像送信装置としての映像伝送装置10A(以下、「映像伝送装置(送信側)10A」又は、「映像伝送装置(送)10A」ともいう)と、映像受信装置としての映像伝送装置10B(以下、「映像伝送装置(受信側)10B」、又は「映像伝送装置(受)10B」ともいう)と、並列分散処理システム2と、を備える。並列分散処理システム2は、複数の並列分散処理サーバ20を備える。なお、本実施形態において、映像伝送は、特に断らない限り、RTP(Real-time Transport Protocol)を用いた伝送を想定する。
最初に、並列分散処理サーバ20について説明する。
【0022】
並列分散処理サーバ20は、ネットワークインタフェース(図示せず)、CPU(図示せず)、主記憶装置(図示せず)、二次記憶装置(図示せず)及び、これらを相互に接続するバス(またはインターコネクト)(図示せず)を備える計算機である。並列分散処理サーバ20-1~20-nの構成は同様とする。なお、計算機はクラウド、オンプレミス環境における仮想サーバ等であってもよい。
ネットワークインタフェース(図示せず)は、並列分散処理サーバ20をネットワーク(図示せず)に接続するためのインタフェースである。CPU(図示せず)は主記憶装置(図示せず)に記憶されているプログラムを実行することによって並列分散処理サーバの所定の機能を実現する演算処理装置である。主記憶装置(図示せず)は、CPU(図示せず)によって実行されるプログラム、及び、プログラムの実行に必要なデータを記憶するRAM等の記憶装置である。プログラムとは、例えばOS(図示せず)、及び、後述する並列分散処理の機能を実現するためのプログラムである。二次記憶装置(図示せず)は、並列分散処理サーバ20が所定の機能を実現するために必要なプログラム、及び、入力データ、出力データ等のデータを格納するハードディスク装置等の不揮発性記憶媒体である。なお、二次記憶装置(図示せず)は、ハードディスク装置等の磁気的記憶媒体に限定されるものではなく、フラッシュメモリなどの不揮発性の半導体記憶媒体であってもよい。
【0023】
本実施形態における並列分散処理サーバ20は、映像送信側の機能部としてサーバを機能させるプログラムと、映像受信側の機能部としてサーバを機能させるプログラムと、を備えるようにしてもよい。
並列分散処理サーバ20は、映像送信側の機能部としてサーバを機能させるプログラムを実行することにより、並列分散処理(送信側)サーバ20Aとして機能する。以降、簡単のため、並列分散処理(送信側)サーバ20Aを「並列分散処理(送)サーバ20A」ともいう。また、並列分散処理サーバ20は、映像受信側の機能部としてサーバを機能させるプログラムを実行することにより、並列分散処理(受信側)サーバ20Bとして機能する。以降、簡単のため、並列分散処理(受信側)サーバ20Bを「並列分散処理(受)サーバ20B」ともいう。
【0024】
並列分散処理サーバ20は、映像送信側の機能部としてサーバを機能させるプログラムと、映像受信側の機能部としてサーバを機能させるプログラムと、を両方備えるようにしてもよい。また、並列分散処理サーバ20は、サーバリソース使用状況(例えば、CPU利用率、CPU温度、メモリ使用率、ネットワーク使用率等)を取得して、例えば、予め設定された装置(例えば、後述する映像伝送装置10等)からサーバリソース使用状況の問い合わせを受けた場合、サーバリソース使用状況を通知するプログラムを実行するようにしてもよい。さらに、通知頻度が指定された場合、指定された通知頻度でサーバリソース状況を通知するようにしてもよい。
そうすることで、後述する映像伝送装置10は、並列分散処理サーバ20からサーバリソース使用状況を取得して、充分なサーバリソース容量のあるサーバを確保して、例えば並列分散処理(送)サーバ20A又は並列分散処理(受)サーバ20Bとして稼動させることができる。
具体的には、確保した並列分散処理サーバ20に、映像送信側の機能部としてサーバを機能させるプログラムを実行させることにより、確保した並列分散処理サーバ20を送信側としての分散制御部201A、映像圧縮部202A、及び映像送信部203Aを備える並列分散処理(送)サーバ20Aとして、機能させることができる。他方、後述する映像伝送装置(受)10Bにより、確保された並列分散処理サーバ20に、映像受信側の機能部としてサーバを機能させるプログラムを実行させることにより、確保した並列分散処理サーバ20を受信側としての分散制御部201B、映像伸張部202B、及び映像受信部203Bを備える並列分散処理(受)サーバ20Bとして、機能させることができる。
このように、映像伝送装置(送)10A及び映像伝送装置(受)10Bは、並列分散処理システム2から、必要に応じて動的に並列分散処理(送)サーバ20A及び並列分散処理(受)サーバ20Bを確保することができる。
【0025】
なお、並列分散処理サーバ20は、前述した並列分散処理の機能を実現するためのプログラムの外に、映像圧縮伝送以外の他の業務における並列分散処理の機能を実行するプログラムを備えるようにしてもよい。その場合、並列分散処理サーバ20を他の業務でも使用することができる。
【0026】
並列分散処理サーバ20は、自身のリソース使用状況を管理し、後述する映像伝送装置(送)10A又は映像伝送装置(受)10Bからのリソース使用状況の問い合わせに対して、自身のサーバリソース使用状況を通知する。
そうすることで、前述したように映像伝送装置(送)10A又は映像伝送装置(受)10Bは、並列分散処理サーバ20のサーバリソース使用状況に基づいて、並列分散処理サーバ20を並列分散処理(送)サーバ20A又は並列分散処理(受)サーバ20Bとして割り当てる(確保する)ことができる。
【0027】
なお、並列分散処理サーバ20は、それぞれ、並列分散処理(送)サーバ20A又は並列分散処理(受)サーバ20Bとして機能するように予め設定されている構成としてもよい。その場合、後述する映像伝送装置(送)10Aは、並列分散処理(送)サーバ20Aとして設定された複数のサーバから並列分散処理(送)サーバ20Aを確保し、また、後述する映像伝送装置(受)10Bは、予め並列分散処理(受)サーバ20Bとして設定された複数のサーバから並列分散処理(受)サーバ20Bを確保するようにしてもよい。その場合、映像伝送装置(送)10Aは、並列分散処理(送)サーバ20Aとして設定された複数のサーバから、サーバリソース使用状況に基づいて、並列分散処理(送)サーバ20Aを確保するようにしてもよい。また、映像伝送装置(受)10Bは、並列分散処理(受)サーバ20Bとして設定された複数のサーバから、サーバリソース使用状況に基づいて、並列分散処理(受)サーバ20Bを確保するようにしてもよい。
【0028】
次に、並列分散処理(送)サーバ20Aについて説明する。
並列分散処理サーバ20が、映像伝送装置(送)10Aにより、並列分散処理(送)サーバ20Aとして割り当てられた(確保された)場合、前述したように、並列分散処理サーバ20を並列分散処理(送)サーバ20Aとして機能させるプログラムを実行することにより、並列分散処理(送)サーバ20Aは、機能部として、送信側としての分散制御部201A、映像圧縮部202A、及び映像送信部203Aを備える。
【0029】
分散制御部201Aは、映像伝送装置(送)10Aから送信相手先となる並列分散処理(受)サーバ20BのIPアドレス等を受信するとともに、後述するSDPファイルの要件(圧縮率、遅延要件(秒数)、映像分割数、映像分割手法、冗長性、及びサーバリソース使用状況通知頻度等)を受信する。
分散制御部201Aは、SDPファイルの要件を踏まえて、サーバリソースを確保し、映像圧縮部202A及び映像送信部203Aを制御する。分散制御部201Aは、圧縮率、遅延要件(秒数)等を監視するとともに、サーバリソース使用状況通知頻度に基づいて、映像伝送装置(送)10Aに対してサーバリソース使用状況を通知する。そうすることで、後述する映像伝送装置(送)10Aは、当該並列分散処理(送)サーバ20Aの動作に不安定等の問題があると判定した場合、当該並列分散処理(送)サーバ20Aの機能を、新たに確保した並列分散処理サーバ20に移すようにしてもよい。
また、分散制御部201Aは、映像伝送装置(送)10A又は映像伝送装置(受)10BからRTP通信終了の通知を受信すると、確保しているサーバリソースを解放する。
【0030】
映像圧縮部202Aは、映像伝送装置(送)10Aから、SDPファイルの要件(映像分割数及び映像分割手法)に基づいて分割された分割映像を受信し、軽圧縮(「エンコード」ともいう)する。映像圧縮部202Aは、軽圧縮された信号を例えばRTP(Real-time Transport Protocol)ペイロードにマッピングし、イーサネットフレームとして構成する。具体的には、映像圧縮部202Aは、1つの映像フレームを複数映像ラインから構成される領域に分割し、各領域で映像ライン毎にウェーブレット変換を用いた圧縮を行い(「スライス」ともいう)、スライスを構成するスライスデータをRTPペイロードにマッピングする。
なお、映像分割伝送については、分割映像のRTPパケット作成手法及び映像を分割して伝送していることを示すSDP表記が、映像データ等を伝送するための規格であるSMPTE ST2110スイートに規定されている。また、映像圧縮伝送についても圧縮映像のRTPパケット作成手法及び圧縮映像を伝送していることを示すSDP表記が映像データ等を伝送するための規格であるSMPTE ST2110スイートに規定されている。したがって、本実施形態の分割圧縮伝送処理において、RTPパケット作成手法とSDP表記とを、映像分割伝送と映像圧縮伝送の規格にそれぞれ準拠することで、PTPによる同期を取ることができる。
【0031】
映像送信部203Aは、映像圧縮部202Aにより生成されたRTPパケットを通信相手先となる並列分散処理(受)サーバ20Bにネットワーク(図示せず)を介して送信する。
【0032】
次に、並列分散処理(受)サーバ20Bの機能部について説明する。
並列分散処理サーバ20が、映像伝送装置(受)10Bにより、並列分散処理(受)サーバ20Bとして割り当てられた(確保された)場合、前述したように、並列分散処理サーバ20を並列分散処理(受)サーバ20Bとして機能させるプログラムを実行することにより、並列分散処理(受)サーバ20Bは、機能部として、受信側としての分散制御部201B、映像伸張部202B、及び映像受信部203Bを備える。
【0033】
分散制御部201Bは、映像伝送装置(受)10Bから送信相手先となる並列分散処理(送)サーバ20AのIPアドレス等を受信するとともに、後述するSDPファイルの要件(圧縮率、遅延要件(秒数)、映像分割数、映像分割手法、冗長性、及びサーバリソース使用状況通知頻度等)を受信する。
分散制御部201Bは、SDPファイルの要件を踏まえて、サーバリソースを確保し、映像伸張部202B及び映像受信部203Bを制御する。分散制御部201Bは、圧縮率、遅延要件(秒数)等を監視するとともに、サーバリソース使用状況通知頻度に基づいて、映像伝送装置(受)10Bに対してサーバリソース使用状況を通知する。そうすることで、映像伝送装置(受)10Bは、当該並列分散処理(受)サーバ20Bの動作に不安定等の問題があると判定した場合、別の並列分散処理サーバ20を確保し、当該並列分散処理(受)サーバ20Bの機能を、新たに確保した並列分散処理サーバ20に移すようにしてもよい。
また、分散制御部201Bは、映像伝送装置(送)10A又は映像伝送装置(受)10BからRTP通信終了の通知を受信すると、確保しているサーバリソースを解放する。
【0034】
映像受信部203Bは、通信相手先となる並列分散処理(送)サーバ20Aの映像送信部203AからRTPパケットを、ネットワーク(図示せず)を介して受信する。
【0035】
映像伸張部202Bは、通信相手先となる並列分散処理(送)サーバ20Aから受信した軽圧縮された映像データを伸張(「デコード」ともいう)し、伸張した映像データを、分散制御部201Bを介して、映像伝送装置(受)10Bに送信する。
以上、並列分散処理サーバ20の備える機能について説明した。
次に、映像伝送装置10について説明する。映像伝送装置10は、映像を分割して各並列分散処理(送)サーバ20Aに送信する、送信装置としての映像伝送装置(送)10Aと、分割された映像を統合する受信装置としての映像伝送装置(受)10Bと、に分類できる。
【0036】
映像伝送装置(送)10A及び映像伝送装置(受)10Bは、それぞれネットワークインタフェース(図示せず)、CPU(図示せず)、主記憶装置(図示せず)、二次記憶装置(図示せず)及び、これらを相互に接続するバス(またはインターコネクト)(図示せず)を備える計算機である。なお、計算機はクラウド、オンプレミス環境における仮想サーバ等であってもよい。
ネットワークインタフェース(図示せず)は、映像伝送装置(送)10A又は映像伝送装置(受)10Bがそれぞれネットワーク(図示せず)に接続するためのインタフェースである。CPU(図示せず)は主記憶装置(図示せず)に記憶されているプログラムを実行することによって映像伝送装置(送)10A又は映像伝送装置(受)10Bの所定の機能を実現する演算処理装置である。主記憶装置(図示せず)は、CPU(図示せず)によって実行されるプログラム、及び、プログラムの実行に必要なデータを記憶するRAM等の記憶装置である。プログラムとは、例えば、OS(図示せず)、及び、後述する映像伝送装置(送)10A又は映像伝送装置(受)10Bの機能を実現するためのプログラムである。二次記憶装置(図示せず)は、映像伝送装置(送)10A又は映像伝送装置(受)10Bが所定の機能を実現するために必要なプログラム、及び、入力データ、出力データ等のデータを格納するハードディスク装置等の不揮発性記憶媒体である。なお、二次記憶装置(図示せず)は、ハードディスク装置等の磁気的記憶媒体に限定されるものではなく、フラッシュメモリなどの不揮発性の半導体記憶媒体であってもよい。
【0037】
本実施形態における映像伝送装置10は、映像送信側の機能部として映像伝送装置10を機能させるプログラムと、映像受信側の機能部として映像伝送装置10を機能させるプログラムと、を備えるようにしてもよい。そうすることで、本実施形態における映像伝送装置10は、映像送信側の機能部として映像伝送装置10を機能させるプログラムを実行することにより、映像伝送装置(送)10Aとして機能する。
同様に、本実施形態における映像伝送装置10は、映像受信側の機能部として映像伝送装置10を機能させるプログラムを実行することにより、映像伝送装置(受)10Bとして機能する。
映像伝送装置(送)10A及び映像伝送装置(受)10Bを総称して、映像伝送装置という。映像伝送装置10を説明する前に、本件発明の特徴となる、映像を送受信するセッションを開始するために必要な情報を記述するSDPファイルについて説明する。SDPファイルは、本実施形態において、並列分散処理(送)サーバ及び並列分散処理(受)サーバ間で映像圧縮処理の分散化を制御する際に必要なパラメータを備える。具体的には、SDPファイルには、圧縮率、遅延要件(例えば秒数)、映像の分割数、映像の分割手法、並列分散処理サーバの冗長度、及びサーバリソース使用状況通知頻度等が記述され、映像伝送装置(送)10A及び映像伝送装置(受)10B間、並びに並列分散処理(送)サーバ20A及び並列分散処理(受)サーバ20B間で共有する。
【0038】
図2は、SDPファイルに記述される主要なパラメータを示す図である。
例えば、遅延要求における特定の数値については、例えば8.3ms以下、16.6ms以下とする指定、又は8.3ms-16.6msといった範囲による指定、また、事前に定義した範囲、例えばLow、Mid、High等による指定を記述するようにしてもよい。ここで、Lowは、事前に例えば8.3ms以下と定義され、Midは例えば8.3ms-16.6msといった範囲と定義され、Highは、例えば16.6ms以上と定義するようにしてもよい。
圧縮率については、圧縮比による表現(例えば、1:10、1:20等)、又は圧縮率による表現(例えば、1/10、1/20等)による指定を記述してもよい。
分割数については、数値のみの指定(例えば、4、16等)を記述してもよい。なお、分割数とは、映像の分割数を意味する。
分割手法については、番組制作分野で規格化されている分割方式(例えば、2SI(2 Sample Interleave)、SQD(Square Division)等)を記述してもよい。また、その他の分割方式を用いる場合は、適宜その名称を記述してもよい。
冗長性については、並列分散処理サーバ20の冗長化無しの場合はnoneを、処理機能に問題があれば並列分散処理サーバ20毎に冗長化するRedundancyを、また、すべての並列分散処理サーバ20を常に2重化するDupRedundancyを記述するようにしてもよい。
サーバリソース使用状況通知頻度については、例えば通知頻度を秒数(例えば、1s、10s、60s等)により指定するようにしてもよい。ここで、サーバリソース使用状況とは、例えば並列分散処理サーバ20におけるCPU利用率、CPU温度、メモリ使用率、ネットワーク使用率等を指す。なお、サーバの動作が不安定にならずに、遅延要件を満たす場合の、サーバリソース使用状況(CPU利用率、CPU温度、メモリ使用率、ネットワーク使用率等)の閾値等については、例えば、予め並列分散処理サーバ20を稼動させて測定することにより、予め閾値等を求めるようにしてもよい。また、所定の算出式により、予め閾値等を求めるようにしてもよい。
【0039】
映像伝送装置(送)10Aは、機能部として、映像入力インタフェース(図示せず)と、送信側としての分散制御部101Aと、映像分割部102Aと、を備える。他方、映像伝送装置(受)10Bは、機能部として、映像出力インタフェース(図示せず)と、受信側としての分散制御部101Bと、映像統合部102Bと、を備える。以下、簡単のため、分散制御部101Bを(受信側)分散制御部101Bともいう。
【0040】
分散制御部101Aは、映像入力インタフェース(図示せず)を介して、例えばカメラ映像等が入力されると、映像伝送装置(受)10Bの備える分散制御部101Bと、圧縮伸張処理の分散処理を開始する旨のセッションを開始するための通信を行う。具体的には、分散制御部101Aは、(受信側)分散制御部101Bに対して、映像伝送装置(受)10Bとのセッションを開始するためのSDPファイルを含む通知を行う。SDPファイルには、前述したように、分散処理を行うためのパラメータ、例えば圧縮率、遅延要件、分割数、分割手法、並列分散処理サーバの冗長度、及びサーバリソース使用状況通知頻度等が記述される。
分散制御部101Aは、SDPファイルの記述された分散処理要件に基づいて、例えば、分割された映像毎に伝送するために必要となる並列分散処理(送)サーバ20Aを、並列分散処理システム2の備えるそれぞれの並列分散処理サーバ20のリソース使用状況に基づいて確保して、並列分散処理(送)サーバ20Aとして割り当てる。
【0041】
同様に、(受信側)分散制御部101Bは、SDPファイルに記述された分散処理要件に基づいて、例えば、分割された映像毎に伝送(受信)するために必要となる並列分散処理(受)サーバ20Bを、並列分散処理システム2の備えるそれぞれの並列分散処理サーバ20のリソース使用状況に基づいて確保して、並列分散処理(受)サーバ20Bとして割り当てる。
【0042】
分散制御部101A及び(受信側)分散制御部101Bは、分割された映像毎に、対となって伝送処理する並列分散処理(送)サーバ20AのIPアドレスと並列分散処理(送)サーバ20AのIPアドレスの情報を含めて、SDPファイルに追記し、交換する。
【0043】
分散制御部101Aは、各並列分散処理(送)サーバ20Aに対して、対となって伝送処理する並列分散処理(受)サーバ20BのIPアドレスを通知する。同様に、(受信側)分散制御部101Bは、各並列分散処理(受)サーバ20Bに対して、対となって伝送処理する並列分散処理(送)サーバ20AのIPアドレスを通知する。
そのうえで、分散制御部101Aは、各並列分散処理(送)サーバ20Aに対して、また(受信側)分散制御部101Bは、各並列分散処理(受)サーバ20Bに対して、SDPファイルの要件を与える。こうすることで、各並列分散処理(送)サーバ20Aと、各並列分散処理(受)サーバ20Bと、は分割された映像(「分割映像」ともいう)を伝送するためのセッションを開始することができる。
【0044】
具体的には、映像伝送装置(送信側)10Aの映像分割部102Aは、入力インタフェース(図示せず)を介して入力された映像を分割し、分割された映像(「分割映像」ともいう)を各並列分散処理(送)サーバ20Aの映像圧縮部202Aに送信する。それにより、前述したように、各並列分散処理(送)サーバ20Aは、対となる各並列分散処理(受)サーバ20Bに対して軽圧縮伝送を開始する。
各並列分散処理(受)サーバ20Bは、対となる各並列分散処理(送)サーバ20Aから受信した軽圧縮映像を、映像受信部203Bを介して受信し、映像伸張部202Bにおいて伸張し、伸張された分割映像を映像伝送装置(受信側)10B(映像統合部102B)に対して送信する。
このように、映像伝送装置(受信側)10Bは、各並列分散処理(受)サーバ20Bから伸長された分割映像を受信し、分割前の映像に統合することで、元の映像を得ることができる。なお、分割映像を伝送する際のタイムスタンプ値は、分割前の映像のタイムスタンプ値を適用することから、映像伝送装置(受信側)10Bは、タイムスタンプ値に基づいて、同期をとって分割前の映像に統合することで、元の映像を得ることができる。
【0045】
前述したように、分散制御部101Aは、並列分散処理(送)サーバ20Aから、SDPファイルに記述されたサーバリソース使用状況通知頻度に基づいて、サーバリソース使用状況を受信する。同様に、分散制御部(受信側)101Bは、並列分散処理(受)サーバ20Bから、SDPファイルに記述されたサーバリソース使用状況通知頻度に基づいて、サーバリソース使用状況を受信する。
そうすることで、分散制御部101A及び(受信側)分散制御部101Bは、それぞれの並列分散処理サーバ20間での映像伝送動作が不安定になっていないかを判定することができる。
【0046】
前述したように、分散制御部101A及び(受信側)分散制御部101Bは、それぞれの並列分散処理サーバ20におけるCPU利用率、CPU温度、メモリ使用率、ネットワーク使用率等に基づいて、所定の閾値を超えるか否かを判定するようにしてもよい。なお動作が予め設定された閾値を超えると判定した場合、分散制御部101A及び(受信側)分散制御部101Bは、前述したように、該並列分散処理サーバ20の機能を、新たに確保した並列分散処理サーバ20に移すようにしてもよい。この場合の処理については、後述する。
このように、分散制御部101A及び(受信側)分散制御部101Bは、SDPファイルの要件を踏まえて、それぞれ並列分散処理(送)サーバ20Aの動作及び並列分散処理(受)サーバ20Bの動作が遅延していないか、を判定しながら、映像伝送状況を監視することができる。
【0047】
その後、分散制御部101A及び(受信側)分散制御部101Bは、映像の伝送が不要となった場合、その旨を対となる並列分散処理(送)サーバ20A又は並列分散処理(受信側)サーバ20Bに通知する。それにより、並列分散処理(送)サーバ20A又は並列分散処理(受信側)サーバ20Bは、対となる並列分散処理(送)サーバ20A又は並列分散処理(受信側)サーバ20Bに対してRTP通信終了を通知する。RTP通信終了を通知された並列分散処理サーバ20は、速やかに、サーバリソースを解放する。
以上、主要な分散処理について説明した。
【0048】
次に、分散制御部101A及び(受信側)分散制御部101Bが、それぞれの並列分散処理サーバ20における動作が不安定等の問題があると判定した場合の処理について説明する。
図3は、並列分散処理サーバ20における動作が不安定で遅延要件を満たさない等問題があると判定した場合の処理の概要を示す図である。
図3を参照しながら説明する。
前述したように、並列分散処理(送)サーバ20A及び並列分散処理(受信側)サーバ20Bはそれぞれ、サーバリソース使用状況を予め設定された通知頻度で映像伝送装置(送)10A、及び映像伝送装置(受)10Bに対して通知している。
【0049】
図3に示すように、例えば、映像伝送装置(送)10Aが並列分散処理(送信側)サーバXにおいて動作が不安定等の問題があると判定した場合に、予め冗長性を確保していた場合(例えば、サーバNを確保していた場合)、映像伝送装置(送)10Aは、サーバXの機能をサーバNに移すとともに、サーバNのIPアドレスを、映像伝送装置(受)10Bに通知する。それに応じて、映像伝送装置(受)10Bは、並列分散処理(送信側)サーバXから映像受信していた並列分散処理(受信側)サーバYに対して、サーバNのIPアドレスを通知することで、サーバNからサーバYへの映像圧縮伝送を開始させる。サーバYはサーバNから分割画像を受信することができた場合、映像伝送装置(受)10Bに通知する。それに応じて、映像伝送装置(受)10Bは、映像伝送装置(送)10Aに対して、サーバNからサーバYへの映像圧縮伝送ができたことを通知する。映像伝送装置(送)10Aは、当該通知結果を受けて、並列分散処理(送信側)サーバXのRTP通信を終了させる。こうすることで、並列分散処理(受信側)サーバYは、分割映像をサーバNから滞りなく、受信することが可能となる。
なお、映像伝送装置(受)10Bが並列分散処理(受信側)サーバYにおいて動作が不安定等の問題があると判定した場合、前述した映像伝送装置(送)10Aの処理と同様の処理を映像伝送装置(受)10Bが行うことで対応することができる。また、分割映像の圧縮伸張処理の対となる並列分散処理(送信側)サーバXと並列分散処理(受信側)サーバYとが、ともに動作不安定の場合、例えば、先ず並列分散処理(送信側)サーバXの置き換え処理を実行した後、並列分散処理(受信側)サーバYの置き換え処理をするようにしてもよい。又は、並列分散処理(送信側)サーバXの置き換え処理、及び並列分散処理(受信側)サーバYの置き換え処理を同時に実行するようにしてもよい。
以上の処理により、映像伝送システム1は、映像圧縮伝送の分散処理を維持することができる。
【0050】
次に、映像伝送装置(送信側)10A及び映像伝送装置(受信側)10Bの、映像伝送分散処理に係る制御処理フローを説明する。
図4Aは、本実施形態における映像伝送装置(送信側)10Aの分散制御処理を示すフローチャートである。ここでは、映像伝送処理対象となる、例えば8K映像のカメラ映像等が入力されたものとする。
図4Bは、本実施形態における映像伝送装置(受信側)10Bの分散制御処理を示すフローチャートである。
【0051】
図4Aを参照すると、映像伝送装置(送信側)10Aは、ステップST01において、映像送信先となる映像伝送装置(受信側)10Bに対して、映像圧縮処理の分散化を制御する際に必要なパラメータを含むSDPファイルとともに、映像伝送の圧縮伸張処理の分散処理開始メッセージを送信する。
図4Bを参照すると、映像伝送装置(受信側)10Bは、ステップST11において、映像伝送の圧縮伸張処理の分散処理開始メッセージを受信する。
【0052】
映像伝送装置(送信側)10Aは、ステップST02において、SDPファイルの要件を踏まえて、映像の分割数に応じて並列分散処理(送)サーバ20Aを確保する。また、映像伝送装置(受信側)10Bは、ステップST12において、SDPファイルの要件を踏まえて、映像の分割数に応じて並列分散処理(受)サーバ20Bを確保する。
【0053】
映像伝送装置(送信側)10Aは、ステップST03において、各並列分散処理(送)サーバ20Aからリソースを確保した旨の通知を受信する。また、映像伝送装置(受信側)10Bは、ステップST13において、各並列分散処理(受)サーバ20Bからリソースを確保した旨の通知を受信する。
【0054】
映像伝送装置(送信側)10Aは、ステップST04において、各並列分散処理(送)サーバ20AのIPアドレスをSDPファイルに追記し、映像伝送装置(受信側)10Bと交換する。また映像伝送装置(受信側)10Bは、ステップST14において、各並列分散処理(受)サーバ20BのIPアドレスをSDPファイルに追記し、映像伝送装置(送信側)10Aと交換する。
【0055】
映像伝送装置(送信側)10Aは、ステップST05において、各並列分散処理(送)サーバ20AにSDPファイルを通知する。映像伝送装置(受信側)10Bは、ステップST15において、各並列分散処理(受)サーバ20BにSDPファイルを通知する。
【0056】
映像伝送装置(送信側)10Aは、ステップST06において、8K映像を分割し、分割映像を各並列分散処理(送)サーバ20Aに渡す。各並列分散処理(送)サーバ20Aは、対となる各並列分散処理(受)サーバ20Bへの軽圧縮伝送をする。また、映像伝送装置(受信側)10Bは、ステップST16において、各並列分散処理(受)サーバ20Bから伸張された分割映像を受信し、分割映像を8K映像に統合して8K映像を得る。以降、映像伝送が終了するまで、当該ステップを繰り返す。
【0057】
映像伝送装置(送信側)10Aは、ステップST07において、映像伝送が不要となったか否か、判定する。不要と判定した場合(NOの場合)ステップST08に移る。必要と判定した場合(YESの場合)、ステップST06に移る。また、映像伝送装置(受信側)10Bは、ステップST17において、映像伝送が不要となったか否か、判定する。不要と判定した場合(NOの場合)ステップST18に移る。必要と判定した場合(YESの場合)、ステップST16に移る。
なお、ステップST06及びステップST16の繰返し処理中に、映像伝送装置(送信側)10A及び映像伝送装置(受信側)10Bは、それぞれ各並列分散処理(送)サーバ20A及び各並列分散処理(受)サーバ20Bのサーバリソース使用状況を定期的に収集して、動作が不安定となっていないか、判断する。映像伝送装置(送信側)10A及び映像伝送装置(受信側)10Bは、それぞれいずれかの並列分散処理(送)サーバ20A及び/又はいずれかの並列分散処理(受)サーバ20Bの動作が不安定と判断した場合、並列分散処理サーバ20の入替を動的に行うことで、並列分散処理を維持する。
【0058】
映像伝送装置(送信側)10Aは、ステップST08において、映像伝送装置(受信側)10B、及び各並列分散処理(送)サーバ20AにRTP通信終了を通知するとともに、並列分散処理サーバ20Aのサーバリソースを解放する。また、映像伝送装置(受信側)10Bは、ステップST18において、各並列分散処理(受)サーバ20BにRTP通信終了を通知するとともに、並列分散処理サーバ20Bのサーバリソースを解放する。
以上、映像伝送装置(送信側)10A及び映像伝送装置(受信側)10Bの、映像伝送分散処理に係る制御フローについて説明した。
【0059】
本実施形態によれば、映像伝送システム1は、並列分散処理サーバ20を備える並列分散処理システム2と、映像を分割して、分割されたそれぞれの分割映像を並列分散処理システム2に並列伝送する映像送信装置としての映像伝送装置10Aと、並列分散処理システム2からそれぞれ分割映像を受信して統合することで分割前の映像を取得する映像受信装置としての映像伝送装置10Bと、を備える映像伝送システム1であって、映像送信装置としての映像伝送装置10Aは、映像の分割数に応じて、分割された映像の伝送先であって、分割された映像を軽圧縮する並列分散処理サーバ20Aを割り当て、映像受信装置としての映像伝送装置10Bは、映像の分割数に応じて、分割された映像の軽圧縮された映像を伸張し、伸張された分割された映像を映像受信装置としての映像伝送装置10Bにそれぞれ伝送する並列分散処理サーバ20Bを割り当て、分割された映像を軽圧縮する並列分散処理サーバ20Aと、記軽圧縮された分割された映像を伸張する並列分散処理サーバ20Bと、を対応づけることで、分割された映像の伝送先としての並列分散処理サーバ20Aは、軽圧縮した分割された映像を、対応づけられた並列分散処理サーバ20Bに伝送する。
これにより、映像伝送システム1は、映像伝送時のソフトウェアによる圧縮伸張処理における単一リソース規模の低減と低遅延化を可能とする、映像分割による圧縮伸張処理の分散処理化と、分散処理の自動化と、を行うことができる。
【0060】
また、映像送信装置としての映像伝送装置10A及び映像受信装置としての映像伝送装置10Bは、映像伝送時の映像圧縮伸張処理を並列分散化する際の映像圧縮伸張処理及び映像分割統合処理方法を定義するSDPファイルに基づいて、それぞれ分割された映像の伝送先であって、分割された映像を軽圧縮する並列分散処理サーバ20A、及び軽圧縮された分割された映像を伸張する並列分散処理サーバ20Bを割り当てるとともに、分割された映像を軽圧縮する並列分散処理サーバ20Aと、軽圧縮された分割された映像を伸張する並列分散処理サーバ20Bと、の対応をSDPファイルに記録するようにしてもよい。
これにより、映像伝送システム1は、映像分割による圧縮伸張処理を実行する、複数の並列分散処理サーバ20A、20Bを自動的に割り当てることができる。
【0061】
前記SDPファイルは、少なくとも映像の分割数、映像の分割手法、映像の圧縮率、映像伝送時の遅延要求、並列分散処理サーバの冗長性、及びサーバリソース使用状況通知頻度を記述するパラメータを含むようにしてもよい。
これにより、映像伝送システム1は、映像分割による圧縮伸張処理を実行する複数の並列分散処理サーバ20A、20Bによる、映像伝送における映像分割による圧縮伸張処理の分散処理を自動的に行うことができる。
【0062】
映像送信装置としての映像伝送装置10A及び映像受信装置としての映像伝送装置10Bは、サーバリソース使用状況通知頻度に応じて、それぞれ分割された映像を軽圧縮する並列分散処理サーバ20A及び軽圧縮された分割された映像を伸張する並列分散処理サーバ20Bからサーバリソース使用状況を取得し、サーバリソース使用状況から、動作不安定と判定された場合、並列分散処理システム2から、新たに並列分散処理サーバ20を確保し、動作不安定と判定された並列分散処理サーバ20を置き換えるようにしてもよい。
これにより、映像伝送システム1は、並列分散処理サーバ20に動作不安定等の問題があった時点で、即時に並列分散処理サーバ20を置き換え、映像伝送における映像分割による圧縮伸張処理の分散処理を維持することができる。
【0063】
以上、本発明の実施形態について説明したが、本発明は前述した実施形態に限るものではない。また、前述の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、実施形態に記載されたものに限定されるものではない。
【0064】
前述の実施形態では、分割された映像を軽圧縮する並列分散処理サーバ20Aと、軽圧縮された分割映像を伸張する並列分散処理サーバ20Bをそれぞれ、映像の分割数のサーバを確保し、1対1対応としたが、これに限られない。
例えば、2台の、分割された映像を軽圧縮する並列分散処理サーバ20Aに対して、2つのプロセスを低遅延で処理可能な、1台の軽圧縮された分割映像を伸張する並列分散処理サーバ20Bを対応づけるようにしてもよい。
【0065】
本実施形態では、主に映像伝送システム1の構成と動作について説明したが、本発明はこれに限られず、各構成要素を備え、映像分割による圧縮伸張処理の分散処理化と、分散処理の自動化と、を行うための方法、又はプログラムとして構成されてもよい。
【0066】
さらに、映像伝送システム1の機能を実現するためのプログラムをコンピュータで読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステム(計算機)に読み込ませ、実行することによって実現してもよい。また、コンピュータシステム(計算機)はクラウド、オンプレミス環境における仮想サーバ等であってもよい。
【0067】
ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータで読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【0068】
さらに「コンピュータで読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時刻の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時刻プログラムを保持しているものも含んでもよい。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
【符号の説明】
【0069】
1 映像伝送システム
10 映像伝送装置
10A 映像伝送装置(送信側)
101A 分散制御部
102A 映像分割部
10B 映像伝送装置(受信側)
101B 分散制御部
102B 映像統合部
2 並列分散処理システム
20 並列分散処理サーバ
20A 並列分散処理(送信側)サーバ
201A 分散制御部
202A 映像圧縮部
203A 映像送信部
20B 並列分散処理(受信側)サーバ
201B 分散制御部
202B 映像伸張部
203B 映像受信部