特開 2024-133759 映像フレーム制御システム、放送マスタシステム、映像フレーム制御方法および映像フレーム制御プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024133759

(43)【公開日】2024-10-03

(54)【発明の名称】映像フレーム制御システム、放送マスタシステム、映像フレーム制御方法および映像フレーム制御プログラム

(51)【国際特許分類】

   H04N 21/235 20110101AFI20240926BHJP

   H04N 21/2389 20110101ALI20240926BHJP

   H04H 20/28 20080101ALI20240926BHJP

   H04H 20/12 20080101ALI20240926BHJP

   H04H 20/10 20080101ALI20240926BHJP

   H04H 60/04 20080101ALI20240926BHJP

   H04H 60/73 20080101ALI20240926BHJP

   H04H 60/82 20080101ALI20240926BHJP

【ＦＩ】

H04N21/235

H04N21/2389

H04H20/28

H04H20/12

H04H20/10

H04H60/04

H04H60/73

H04H60/82

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2023043711

(22)【出願日】2023-03-20

(71)【出願人】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100103090

【弁理士】

【氏名又は名称】岩壁 冬樹

(74)【代理人】

【識別番号】100124501

【弁理士】

【氏名又は名称】塩川 誠人

(72)【発明者】

【氏名】千代島 智也

【テーマコード（参考）】

5C164

【Ｆターム（参考）】

5C164FA29

5C164MB11S

5C164SB06P

5C164SB25P

(57)【要約】

【課題】映像フレームを正確なタイミングで制御できる放送マスタシステムを提供する。
【解決手段】放送マスタシステム４０は、映像送信元システム５０と、映像フレーム制御システム６０とを含む放送マスタシステムである。映像フレーム制御システム６０は、映像送信元システム５０から送信された映像フレームであって、撮影された時刻を示す時刻情報を含む映像フレームである時刻付映像フレームが格納されたフレームバッファに格納されているメタデータに、その時刻に撮影された映像フレームに対する制御の内容を示す制御情報を挿入する挿入部６１を含む。
【選択図】図９

【特許請求の範囲】

【請求項1】

撮影された時刻を示す時刻情報を含む映像フレームである時刻付映像フレームが格納されたフレームバッファに格納されているメタデータに、当該時刻に撮影された映像フレームに対する制御の内容を示す制御情報を挿入する挿入部を含む
ことを特徴とする映像フレーム制御システム。

【請求項2】

制御情報を用いて、第１の映像データを構成する第１の時刻付映像フレームから第２の映像データを構成する第２の時刻付映像フレームに放送対象の映像フレームを切り替える切替部を含む
請求項１記載の映像フレーム制御システム。

【請求項3】

切替部は、制御情報が所定の時刻で放送対象の映像フレームを第１の時刻付映像フレームから第２の時刻付映像フレームに切り替えることを示している場合、時刻情報が示す時刻が前記所定の時刻より前の第２の時刻付映像フレームを破棄する
請求項２記載の映像フレーム制御システム。

【請求項4】

制御情報を用いて、放送対象の映像フレームを加工する加工部を含む
請求項１記載の映像フレーム制御システム。

【請求項5】

映像フレームは、IP(Internet Protocol)パケットである
請求項１から請求項４のうちのいずれか１項に記載の映像フレーム制御システム。

【請求項6】

映像送信元システムと、映像フレーム制御システムとを含む放送マスタシステムであって、
前記映像フレーム制御システムは、
前記映像送信元システムから送信された映像フレームであって、撮影された時刻を示す時刻情報を含む映像フレームである時刻付映像フレームが格納されたフレームバッファに格納されているメタデータに、当該時刻に撮影された映像フレームに対する制御の内容を示す制御情報を挿入する挿入部を含む
ことを特徴とする放送マスタシステム。

【請求項7】

映像送信元システムは、映像フレームに時刻情報を付加することによって前記映像フレームから時刻付映像フレームを生成する付加部を含む
請求項６記載の放送マスタシステム。

【請求項8】

映像送信元システムは、映像データを基にIPパケットである映像フレームを生成する生成部を含む
請求項６または請求項７記載の放送マスタシステム。

【請求項9】

撮影された時刻を示す時刻情報を含む映像フレームである時刻付映像フレームが格納されたフレームバッファに格納されているメタデータに、当該時刻に撮影された映像フレームに対する制御の内容を示す制御情報を挿入する
ことを特徴とする映像フレーム制御方法。

【請求項10】

コンピュータに、
撮影された時刻を示す時刻情報を含む映像フレームである時刻付映像フレームが格納されたフレームバッファに格納されているメタデータに、当該時刻に撮影された映像フレームに対する制御の内容を示す制御情報を挿入する挿入処理
を実行させるための映像フレーム制御プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、映像フレーム制御システム、放送マスタシステム、映像フレーム制御方法および映像フレーム制御プログラムに関する。

【背景技術】

【0002】

放送マスタシステムは、制作された番組やCMの映像音声データや、時刻、天気予報、データ放送等の放送に付帯するデータ等を集め、放送時間に合わせて順番通りに間違いなくデータを送り出すリアルタイム映像送出システムである。

【0003】

放送マスタシステムがオンプレミスサーバで構成される場合、高速かつ安定な専用回線が用いられてデータが伝送されるため、データ伝送において遅延は殆ど生じない。

【0004】

また、FPGA(Field Programmable Gate Array)が組み込まれた専用ボードを放送マスタシステムが用いる場合、放送マスタシステムは、専用ボードが提供する高速で安定した処理性能により、フレーム精度で映像フレームを制御できる。

【0005】

例えば、放送マスタシステムは、制御時刻に到達したタイミングで制御装置から制御電文を受け取る。専用ボードはフレーム周期に合わせて正確に割り込みを発生させるため、放送マスタシステムは、制御電文を受けた次の映像フレームに対して映像および音声処理（以下、映音処理と呼ぶ。）を実行できる。すなわち、放送マスタシステムは、次の映像フレームの表示タイミングで映音処理を実行できる。

【0006】

また、特許文献１には、映像切替の前後で画像処理の連続性を保つことが可能なスマートカメラシステムが記載されている。特許文献１に記載されているスマートカメラシステムは、映像データにタイムスタンプを打刻し、打刻されたタイムスタンプを基準に映像データを制御する。

【0007】

また、特許文献１に記載されているスマートカメラシステムでは、選択部により別の撮像部が選択される度に、選択された撮像部からの映像データが、他の撮像部からの映像データとフレーム位相が同期された上で、他の撮像部からの映像データから切り替えて出力される。

【先行技術文献】

【特許文献】

【0008】

【特許文献1】特開２０１９－０４７２１４号公報

【発明の概要】

【発明が解決しようとする課題】

【0009】

ソフトウェアのみで上記のデータ伝送を実現するためには、正確に制御するために、例えばフレーム境界の周期を時刻等から生成し、タイマ等を用いてフレーム境界のタイミングでイベントを発生させて映像フレームを制御することが求められる。

【0010】

しかし、ソフトウェアのみで上記のデータ伝送を実現する場合、映像フレームの制御タイミングが揺らぐ可能性がある。その理由は、専用のハードウェアに比べると、ソフトウェアの処理による遅延やOS(Operating System)のコンテキストスイッチによる揺らぎが生じるため、ソフトウェアのみでフレーム周期のイベントを正確なタイミングで発生させることが技術的に難しいからである。特許文献１には、ソフトウェアのみで上記のデータ伝送を実現することは記載されていない。

【0011】

そこで、本発明は、映像フレームを正確なタイミングで制御できる映像フレーム制御システム、放送マスタシステム、映像フレーム制御方法および映像フレーム制御プログラムを提供することを目的とする。

【課題を解決するための手段】

【0012】

本発明による映像フレーム制御システムは、撮影された時刻を示す時刻情報を含む映像フレームである時刻付映像フレームが格納されたフレームバッファに格納されているメタデータに、その時刻に撮影された映像フレームに対する制御の内容を示す制御情報を挿入する挿入部を含むことを特徴とする。

【0013】

本発明による放送マスタシステムは、映像送信元システムと、映像フレーム制御システムとを含む放送マスタシステムであって、映像フレーム制御システムは、映像送信元システムから送信された映像フレームであって、撮影された時刻を示す時刻情報を含む映像フレームである時刻付映像フレームが格納されたフレームバッファに格納されているメタデータに、その時刻に撮影された映像フレームに対する制御の内容を示す制御情報を挿入する挿入部を含むことを特徴とする。

【0014】

本発明による映像フレーム制御方法は、撮影された時刻を示す時刻情報を含む映像フレームである時刻付映像フレームが格納されたフレームバッファに格納されているメタデータに、その時刻に撮影された映像フレームに対する制御の内容を示す制御情報を挿入することを特徴とする。

【0015】

本発明による映像フレーム制御プログラムは、コンピュータに、撮影された時刻を示す時刻情報を含む映像フレームである時刻付映像フレームが格納されたフレームバッファに格納されているメタデータに、その時刻に撮影された映像フレームに対する制御の内容を示す制御情報を挿入する挿入処理を実行させることを特徴とする。

【発明の効果】

【0016】

本発明によれば、映像フレームを正確なタイミングで制御できる。

【図面の簡単な説明】

【0017】

【図1】一般的な放送マスタシステムの構成例を示すブロック図である。

【図2】本発明の実施形態の放送マスタシステムの構成例を示すブロック図である。

【図3】本実施形態の外部ソース切替部１２３による映像フレームの切替処理の例を示す説明図である。

【図4】本実施形態の外部ソース切替部１２３による映像フレームの他の切替処理の例を示す説明図である。

【図5】本実施形態の放送マスタシステム１００による映像フレーム制御処理の動作を示すフローチャートである。

【図6】本発明による映像送信元システム１１０のハードウェア構成例を示す説明図である。

【図7】本発明によるクラウドシステム１２０のハードウェア構成例を示す説明図である。

【図8】本発明による映像フレーム制御システムの概要を示すブロック図である。

【図9】本発明による放送マスタシステムの概要を示すブロック図である。

【発明を実施するための形態】

【0018】

最初に、ソフトウェアのみでデータ伝送が実現される場合に映像フレームの制御タイミングが揺らぐ具体例を説明する。図１は、一般的な放送マスタシステムの構成例を示すブロック図である。

【0019】

図１に示す放送マスタシステム９００は、映像送信元システム９１０と、クラウドシステム９２０とを含む。

【0020】

図１に示す映像送信元システム９１０は、クラウドシステム９２０に対して映像データの送信元となるシステムである。映像送信元システム９１０は、例えばオンプレミスで運用されるシステムである。

【0021】

図１に示す映像送信元システム９１０は、IP(Internet Protocol)化部９１１～９１２を含む。また、映像送信元システム９１０は、IPネットワークを介してクラウドシステム９２０と通信可能に接続されている。

【0022】

図１に示す映像送信元システム９１０内の映像データは、例えばカメラから入力されるライブ映像データ、または再生機で素材ファイルが再生されることによって生成されたデータである。例えば、IP化部９１１に入力される映像データは、キー局から送られる映像データである。また、IP化部９１２に入力される映像データは、ローカル局から送られる映像データである。

【0023】

図１に示す映像送信元システム９１０のIP化部９１１～９１２は、IPネットワークをそのまま使用して映像データを授受する機能を有する。なお、映像送信元システム９１０は、３つ以上のIP化部を含んでいてもよい。

【0024】

例えば、IP化部９１１～９１２は、カメラから入力されたライブ映像データをIPパケットにパケタイズする。次いで、IP化部９１１～９１２は、IPパケットにパケタイズされた映像データを、IPネットワークを介してクラウドシステム９２０へ送信する。

【0025】

図１に示すクラウドシステム９２０は、映像フレームに対して映音処理を実行するシステムである。クラウドシステム９２０は、制御部９２１と、外部ソース切替部９２２と、DVE(Digital Video Effect)９２３と、DSK(Downstream Key)９２４と、ENC/MUX９２５と、フレームバッファ９２６とを含む。

【0026】

制御部９２１は、外部ソース切替部９２２、DVE９２３、DSK９２４、およびENC/MUX９２５を制御する機能を有する。制御部９２１は、例えば制御アプリケーションにより実現される。

【0027】

外部ソース切替部９２２は、映像送信元システム９１０から送信されたIPパケットである第１映像ソースと第２映像ソースに対して、放送対象の映像ソースを切り替える機能を有する。図１に示す例では、第１映像ソースがIP化部９１１から送信された映像ソース、第２映像ソースがIP化部９１２から送信された映像ソースにそれぞれ対応する。

【0028】

DVE９２３は、デジタルデータ化（例えば、パケタイズ化）された映像データを加工する機能を有する。例えば、DVE９２３は、画面の分割、分割された画面の部分の縮小または拡大、画面のＬ字加工等を行う。

【0029】

DSK９２４は、既にエフェクトがかけられていたり合成が行われていたりする映像データに、さらに画像や文字を合成する機能を有する。例えば、DSK９２４は、映像に字幕を挿入する。

【0030】

ENC/MUX９２５は、エンコーダとMPEG最多重装置の各機能を有する。ENC/MUX９２５は、加工が終了した映像データを映像再生システムに送信したり、動画配信サイト上で再生したりする。

【0031】

フレームバッファ９２６は、放送対象の映像データを構成する映像フレームを格納する機能を有する。外部ソース切替部９２２は、映像送信元システム９１０から送信されたIPパケットである映像フレームをフレームバッファ９２６に格納する。DVE９２３、DSK９２４、およびENC/MUX９２５は、フレームバッファ９２６に格納されている映像フレームに対して加工処理等を行う。

【0032】

上記のように、図１に示すクラウドシステム９２０は、送信された映像データを受信し、外部ソース切替部９２２、DVE９２３、DSK９２４、およびENC/MUX９２５を介して受信された映像データに対して映音処理を実行する。

【0033】

図１に示す放送マスタシステム９００には、以下の３つの問題がある。

【0034】

第１の問題は、映像送信元システム９１０からクラウドシステム９２０に映像データが送信される際、IPネットワークの経路の違いにより、２つの映像データがクラウドシステム９２０に到達するまでの時間が異なる可能性があることである。

【0035】

２つの映像データが到達するまでの時間が異なると、制御部９２１が映像ソースを切り替えるタイミングを特定することが困難になる。すなわち、映像データの送信において秒単位の遅延が想定される場合、制御部９２１が映像フレームをフレーム精度で制御することが困難になる。

【0036】

第２の問題は、制御部９２１が制御アプリケーション等のソフトウェアにより実現されるため、制御タイミングが揺らぐ可能性があることである。すなわち、外部ソース切替部９２２、DVE９２３、DSK９２４、およびENC/MUX９２５が制御部９２１の制御を受けてから処理を完了させるまでの処理時間が揺らぐ可能性がある。

【0037】

第３の問題は、複数の伝送元から映像データを受け取って映像ソースを切り替える場合、伝送元ごとに伝送遅延の時間や伝送遅延の揺らぎが異なることによって、放送対象として期待される切替先の一部の映像フレームが保持されない可能性があることである。

【0038】

以下、上記の３つの問題を解決できる本発明の実施形態を、図面を参照して説明する。

【0039】

［構成の説明］
図２は、本発明の実施形態の放送マスタシステムの構成例を示すブロック図である。本実施形態の放送マスタシステム１００は、IPネットワークを介して別のシステムに伝送されたライブ映像データに対して、フレーム精度で映音処理できるシステムである。

【0040】

図２に示す放送マスタシステム１００は、映像送信元システム１１０と、クラウドシステム１２０とを含む。

【0041】

図２に示す映像送信元システム１１０は、クラウドシステム１２０に対して映像データの送信元となるシステムである。映像送信元システム１１０は、例えばオンプレミスで運用されるシステムである。

【0042】

図２に示す映像送信元システム１１０は、IP化部１１１～１１２を含む。また、映像送信元システム１１０は、IPネットワークを介してクラウドシステム１２０と通信可能に接続されている。

【0043】

図２に示す映像送信元システム１１０内の映像データは、図１に示す映像送信元システム９１０内の映像データと同様である。

【0044】

図２に示す映像送信元システム１１０のIP化部１１１～１１２が有する機能は、図１に示す映像送信元システム９１０のIP化部９１１～９１２が有する機能と同様である。なお、映像送信元システム１１０は、３つ以上のIP化部を含んでいてもよい。

【0045】

また、本実施形態のIP化部１１１～１１２は、IPネットワークを介して映像フレーム（IPパケット）をクラウドシステム１２０に送信する際、映像フレーム自体にタイムスタンプを打刻する機能をさらに有する。

【0046】

例えば、図２に示す映像送信元システム１１０内の映像データは、10:00:00.00に撮影された映像データである。よって、IP化部１１１～１１２は、映像フレームに撮影時刻「10:00:00.00」を打刻する。「10:00:00.00」と記載された矩形は、IP化部１１１～１１２によりタイムスタンプが打刻された映像フレームを表す。

【0047】

なお、映像データ、音声データ、およびANCデータで構成される映像が入力される場合、IP化部１１１～１１２は、映像データ、音声データ、ANCデータそれぞれに同じタイムスタンプを打刻してもよい。

【0048】

それぞれに同じタイムスタンプが打刻されると、例えば映像データ、音声データ、ANCデータそれぞれに相当する異なるパケットが送られたクラウドシステム１２０は、同一フレームのデータとして映像データ、音声データ、ANCデータの同期をとることができる。

【0049】

本実施形態のクラウドシステム１２０は、放送マスタシステム１００においてタイムスタンプを用いて映像フレームを制御するシステムである。例えば、クラウドシステム１２０は、タイムスタンプを用いて異なる放送局から送られてきた各映像フレームの同期をとる。

【0050】

図２に示すクラウドシステム１２０は、制御部１２１と、制御メタ挿入部１２２と、外部ソース切替部１２３と、DVE１２４と、DSK１２５と、ENC/MUX１２６と、フレームバッファ１２７とを含む。

【0051】

図２に示すように、IP化部１１１から送信された映像フレームは、10:00:02.00に受信されている。また、IP化部１１２から送信された映像フレームは、10:00:03.00に受信されている。すなわち、IPネットワークの経路の違いにより、各映像フレームがクラウドシステム１２０に到達するまでの時間が異なっている。

【0052】

制御部１２１は、制御メタ挿入部１２２、外部ソース切替部１２３、DVE１２４、DSK１２５、およびENC/MUX１２６を制御する機能を有する。制御部１２１は、例えば制御アプリケーションにより実現される。制御部１２１は、映像フレームに打刻されたタイムスタンプを基準に映像フレームを制御する。

【0053】

また、制御部１２１は、プレイリストに従って映像フレームを制御する。本実施形態のプレイリストは、放送マスタシステム１００の運行データに沿っていつ、どの映像フレームにどのような制御を行うかを示すイベントリストである。

【0054】

例えば、プレイリストは、番組表をイベントごとに分割することによって生成される。図２に示す「10:00:00.00 外部ソース切替」のプレイリストは、入力された２つの映像ソースから出力する映像ソースを選択するイベントを表す。

【0055】

制御メタ挿入部１２２は、映像送信元システム１１０から送信されたIPパケットである映像フレームに打刻されたタイムスタンプを読み出す。次いで、制御メタ挿入部１２２は、映像フレームをフレームバッファ１２７に格納する。

【0056】

次いで、制御メタ挿入部１２２は、制御部１２１から入力されたプレイリストに基づいた制御データが示す制御時刻と読み出されたタイムスタンプが合致する映像フレームが格納されたフレームバッファ１２７に格納されているメタデータに制御メタデータ（以下、制御メタと呼ぶ。）を挿入する。

【0057】

制御メタは、例えば、制御時刻、制御内容を示すデータである。制御内容は、例えば「外部ソース切替」等の機能識別子と、機能に応じた内容とを含む。機能が外部ソース切替であれば、機能に応じた内容は、例えば「トランジションタイプ」、「トランジション時間尺」、「方向」になる。

【0058】

図２に示す外部ソース切替部１２３、DVE１２４、DSK１２５、およびENC/MUX１２６が有する各機能は、図１に示す外部ソース切替部９２２、DVE９２３、DSK９２４、およびENC/MUX９２５が有する各機能とそれぞれ同様である。

【0059】

また、外部ソース切替部１２３、DVE１２４、DSK１２５、およびENC/MUX１２６は、フレームバッファ１２７に格納されているメタデータに挿入された制御メタに基づいて映音処理することによって、フレーム精度で映像フレームを制御する。メタデータは、フレームバッファ１２７に格納される。

【0060】

例えば、外部ソース切替部１２３は、切替先の映像フレームを保持するフレームバッファ１２７の容量を削減するために、放送マスタシステム１００が事前に知り得る切替時刻を用いて、切替時刻以前のタイムスタンプが打刻された映像フレームを破棄する。

【0061】

切替時刻以前のタイムスタンプが打刻された映像フレームが破棄された場合、切替先の映像フレームを保持するフレームバッファ１２７は、切替時刻以降のタイムスタンプが打刻された映像フレームのみを保持できる。

【0062】

図３は、本実施形態の外部ソース切替部１２３による映像フレームの切替処理の例を示す説明図である。図３に示す例の場合、伝送経路が原因で、Ａ局から入力された映像フレームの到達タイミングとＢ局から入力された映像フレームの到達タイミングとの間に差が生じている。

【0063】

すなわち、同一のタイムスタンプが打刻された複数の映像フレームであってもそれぞれの到達タイミングが異なる。よって、外部ソース切替部１２３は、映像フレームに打刻されたタイムスタンプを基準に映像を切り替えることによって、正確なタイミングで映像を制御する。

【0064】

図３に示す例は、09:30:00.00からＡ局のスタジオの映像を放送し、10:00:00.00からはＢ局のスタジオの映像を放送する例である。すなわち、10:00:00.00のタイミングでＡ局からの映像がＢ局からの映像に切り替えられる。

【0065】

図３に示す例では、Ａ局から入力された映像フレームとＢ局から入力された映像フレームがそれぞれ、フレームバッファ１２７に格納されている。なお、図３に示す各表記の意味は、図２に示す各表記の意味とそれぞれ同様である。また、時刻が記載された白色の矩形は、Ａ局の映像フレームを表す。また、時刻が記載された黒色の矩形は、Ｂ局の映像フレームを表す。

【0066】

外部ソース切替部１２３は、フレームバッファ１２７に格納された同一のタイムスタンプが打刻された映像フレーム（図３に示す星印付きの映像フレーム）の時点で、Ａ局からの映像をＢ局からの映像に切り替える。よって、外部ソース切替部１２３は、撮影時刻が「10:00:00.00」を過ぎてからはＢ局の映像フレームを出力する。

【0067】

図３に示す切替方法には、以下の課題がある。フレームバッファ１２７のバッファサイズが可変であれば、状況の変化に応じてバッファサイズが変更されるため、切替先の映像フレームが脱落しない。しかし、フレームバッファ１２７のバッファサイズが固定されている場合、フレームバッファ１２７が切替先の映像フレームを保持できない可能性があることである。

【0068】

その理由は、局毎の伝送遅延の差や伝送遅延の揺らぎが生じると、映像フレームの欠損を防ぐために、フレームバッファ１２７に想定以上の量の映像フレームを保持することが求められるためである。例えば、フレームバッファ１２７には、切替時刻以降のタイムスタンプが打刻された映像フレームだけでなく、切替時刻以前のタイムスタンプが打刻された映像フレームも念のために保持することが求められる。

【0069】

図４は、本実施形態の外部ソース切替部１２３による映像フレームの他の切替処理の例を示す説明図である。

【0070】

図４に示す例も、09:30:00.00からＡ局のスタジオの映像を放送し、10:00:00.00からはＢ局のスタジオの映像を放送する例である。すなわち、10:00:00.00のタイミングでＡ局からの映像がＢ局からの映像に切り替えられる。

【0071】

上記のように、放送マスタシステム１００は、プレイリストで事前に切替時刻を知ることができる。また、切替先であるＢ局のスタジオの映像としては、切替時刻以降の映像フレームがフレームバッファ１２７に保持されていればよい。

【0072】

よって、図４に示す外部ソース切替部１２３は、切替先であるＢ局のスタジオの映像に関して、挿入された制御メタを用いて切替時刻以前のタイムスタンプが打刻された映像フレームを破棄する。また、外部ソース切替部１２３は、切替時刻以降のタイムスタンプが打刻された映像フレームのみをフレームバッファ１２７に保持する。

【0073】

次いで、外部ソース切替部１２３は、フレームバッファ１２７に格納された同一のタイムスタンプが打刻された映像フレーム（図４に示す星印付きの映像フレーム）の時点で、Ａ局からの映像をＢ局からの映像に切り替える。よって、外部ソース切替部１２３は、撮影時刻が「10:00:00.00」を過ぎてからはＢ局の映像フレームを出力する。

【0074】

上記のように、図４に示す外部ソース切替部１２３は、切替時刻以前のタイムスタンプが打刻された映像フレームを破棄する。外部ソース切替部１２３は、挿入された制御メタを用いて破棄の判断を行うことができるため、破棄すべきではない映像フレームを誤って破棄することがない。

【0075】

以上のように、本実施形態の放送マスタシステム１００は、映像送信元システム１１０と、映像フレーム制御システムであるクラウドシステム１２０とを含む放送マスタシステムである。

【0076】

クラウドシステム１２０は、映像送信元システム１１０から送信された映像フレームであって、撮影された時刻を示す時刻情報（タイムスタンプ）を含む映像フレームである時刻付映像フレーム（図２等に示すタイムスタンプが打刻された映像フレーム）が格納されたフレームバッファ１２７に格納されているメタデータに、その時刻に撮影された映像フレームに対する制御の内容を示す制御情報（制御メタ）を挿入する制御メタ挿入部１２２を含む。

【0077】

また、クラウドシステム１２０は、制御情報を用いて、第１の映像データを構成する第１の時刻付映像フレームから第２の映像データを構成する第２の時刻付映像フレームに放送対象の映像フレームを切り替える外部ソース切替部１２３を含む。

【0078】

外部ソース切替部１２３は、制御情報が所定の時刻で放送対象の映像フレームを第１の時刻付映像フレームから第２の時刻付映像フレームに切り替えることを示している場合、時刻情報が示す時刻が所定の時刻より前の第２の時刻付映像フレームを破棄してもよい。

【0079】

また、クラウドシステム１２０は、制御情報を用いて、放送対象の映像フレームを加工する加工部に相当するDVE１２４、DSK１２５、およびENC/MUX１２６を含む。

【0080】

また、映像送信元システム１１０は、映像データを基にIPパケットである映像フレームを生成し、映像フレームに時刻情報を付加することによって映像フレームから時刻付映像フレームを生成するIP化部１１１～１１２を含む。

【0081】

［動作の説明］
以下、本実施形態の放送マスタシステム１００の映像フレームを制御する動作を図５を参照して説明する。図５は、本実施形態の放送マスタシステム１００による映像フレーム制御処理の動作を示すフローチャートである。

【0082】

最初に、映像送信元システム１１０のIP化部１１１～１１２は、映像データをIPパケットにパケタイズする（ステップS101）。

【0083】

次いで、IP化部１１１～１１２は、IPパケットである映像フレームにタイムスタンプを打刻する（ステップS102）。タイムスタンプを打刻した後、IP化部１１１～１１２は、映像フレームをクラウドシステム１２０に送信する。

【0084】

次いで、クラウドシステム１２０の制御メタ挿入部１２２は、送信されたIPパケットである映像フレームに打刻されたタイムスタンプを読み出す（ステップS103）。次いで、制御メタ挿入部１２２は、映像フレームをフレームバッファ１２７に格納する。

【0085】

次いで、制御メタ挿入部１２２は、制御部１２１から入力された制御データが示す制御時刻と読み出されたタイムスタンプが合致する映像フレームが格納されたフレームバッファ１２７に格納されているメタデータに制御メタを挿入する（ステップS104）。

【0086】

次いで、外部ソース切替部１２３は、挿入された制御メタに基づいて外部の映像ソースを切り替える（ステップS105）。

【0087】

次いで、DVE１２４は、挿入された制御メタに基づいて映像フレームを加工する（ステップS106）。

【0088】

次いで、DSK１２５は、挿入された制御メタに基づいて映像フレームに画像や文字を合成する（ステップS107）。

【0089】

次いで、ENC/MUX１２６は、挿入された制御メタに基づいて加工が終了した映像フレームを送信先に送信する（ステップS108）。送信した後、放送マスタシステム１００は、映像フレーム制御処理を終了する。

【0090】

［効果の説明］
本実施形態の制御メタ挿入部１２２は、制御時刻と合致するタイムスタンプが付加されたメディアデータである映像フレームが格納されたフレームバッファ１２７に格納されているメタデータに制御内容を制御メタとして挿入する。

【0091】

また、外部ソース切替部１２３、DVE１２４、DSK１２５、およびENC/MUX１２６は、挿入された制御メタから制御内容を読み出して映音処理を実行できる。よって、IPネットワークを介して接続された映像送信元システム１１０から離れた場所に存在する、ソフトウェアに従って動作するクラウドシステム１２０は、フレーム精度で映音処理を実行できる。

【0092】

具体的には、クラウドシステム１２０は、送信された映像フレームのIPネットワークの経路等に起因する伝送時間の揺らぎの影響を受けずに映音処理を実行できる。また、クラウドシステム１２０は、ソフトウェア処理に特有の制御タイミングの揺らぎの影響を受けずに映音処理を実行できる。

【0093】

また、外部ソース切替部１２３は、切替先の映像フレームを保持するフレームバッファ１２７の容量を削減するために、放送マスタシステム１００が事前に知り得る切替時刻を用いて、制御メタを基に切替時刻以前のタイムスタンプが打刻された映像フレームを破棄できる。また、外部ソース切替部１２３は、切替時刻以降のタイムスタンプが打刻された映像フレームのみをフレームバッファ１２７に保持できる。

【0094】

すなわち、クラウドシステム１２０は、切替先として期待される映像フレームを確実に保持でき、かつフレームバッファ１２７の容量も削減できる。

【0095】

以下、本実施形態の映像送信元システム１１０のハードウェア構成の具体例を説明する。図６は、本発明による映像送信元システム１１０のハードウェア構成例を示す説明図である。

【0096】

図６に示す映像送信元システム１１０は、ＣＰＵ（Central Processing Unit ）１１と、主記憶部１２と、通信部１３と、補助記憶部１４とを備える。また、ユーザが操作するための入力部１５や、ユーザに処理結果または処理内容の経過を提示するための出力部１６を備える。

【0097】

映像送信元システム１１０は、図６に示すＣＰＵ１１が各構成要素が有する機能を提供するプログラムを実行することによって、ソフトウェアにより実現される。

【0098】

すなわち、ＣＰＵ１１が補助記憶部１４に格納されているプログラムを、主記憶部１２にロードして実行し、映像送信元システム１１０の動作を制御することによって、各機能がソフトウェアにより実現される。

【0099】

なお、図６に示す映像送信元システム１１０は、ＣＰＵ１１の代わりにＤＳＰ（Digital Signal Processor）を備えてもよい。または、図６に示す映像送信元システム１１０は、ＣＰＵ１１とＤＳＰとを併せて備えてもよい。

【0100】

主記憶部１２は、データの作業領域やデータの一時退避領域として用いられる。主記憶部１２は、例えばＲＡＭ（Random Access Memory）である。

【0101】

通信部１３は、有線のネットワーク（IPネットワーク）を介して、周辺機器との間でデータを入力および出力する機能を有する。

【0102】

補助記憶部１４は、一時的でない有形の記憶媒体である。一時的でない有形の記憶媒体として、例えば磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ（Compact Disk Read Only Memory ）、ＤＶＤ－ＲＯＭ（Digital Versatile Disk Read Only Memory ）、半導体メモリが挙げられる。

【0103】

入力部１５は、データや処理命令を入力する機能を有する。入力部１５は、例えばキーボードやマウス等の入力デバイスである。

【0104】

出力部１６は、データを出力する機能を有する。出力部１６は、例えば液晶ディスプレイ装置等の表示装置、またはプリンタ等の印刷装置である。

【0105】

また、図６に示すように、映像送信元システム１１０において、各構成要素は、システムバス１７に接続されている。

【0106】

補助記憶部１４は、本実施形態の映像送信元システム１１０において、IP化部１１１～１１２を実現するためのプログラムを記憶している。

【0107】

なお、映像送信元システム１１０は、例えば内部に図２に示すような機能を実現するＬＳＩ（Large Scale Integration）等のハードウェア部品が含まれる回路が実装されてもよい。

【0108】

また、本実施形態のクラウドシステム１２０のハードウェア構成の具体例を説明する。図７は、本発明によるクラウドシステム１２０のハードウェア構成例を示す説明図である。

【0109】

図７に示すクラウドシステム１２０は、ＣＰＵ２１と、主記憶部２２と、通信部２３と、補助記憶部２４とを備える。また、ユーザが操作するための入力部２５や、ユーザに処理結果または処理内容の経過を提示するための出力部２６を備える。

【0110】

クラウドシステム１２０は、図７に示すＣＰＵ２１が各構成要素が有する機能を提供するプログラムを実行することによって、ソフトウェアにより実現される。

【0111】

すなわち、ＣＰＵ２１が補助記憶部２４に格納されているプログラムを、主記憶部２２にロードして実行し、クラウドシステム１２０の動作を制御することによって、各機能がソフトウェアにより実現される。

【0112】

なお、図７に示すクラウドシステム１２０は、ＣＰＵ２１の代わりにＤＳＰを備えてもよい。または、図７に示すクラウドシステム１２０は、ＣＰＵ２１とＤＳＰとを併せて備えてもよい。

【0113】

主記憶部２２は、データの作業領域やデータの一時退避領域として用いられる。主記憶部２２は、例えばＲＡＭである。フレームバッファ１２７は、主記憶部２２で実現される。

【0114】

通信部２３は、有線のネットワーク（IPネットワーク）を介して、周辺機器との間でデータを入力および出力する機能を有する。

【0115】

補助記憶部２４は、一時的でない有形の記憶媒体である。一時的でない有形の記憶媒体として、例えば磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、半導体メモリが挙げられる。

【0116】

入力部２５は、データや処理命令を入力する機能を有する。入力部２５は、例えばキーボードやマウス等の入力デバイスである。

【0117】

出力部２６は、データを出力する機能を有する。出力部２６は、例えば液晶ディスプレイ装置等の表示装置、またはプリンタ等の印刷装置である。

【0118】

また、図７に示すように、クラウドシステム１２０において、各構成要素は、システムバス２７に接続されている。

【0119】

本実施形態のクラウドシステム１２０において、補助記憶部２４は、制御部１２１、制御メタ挿入部１２２、外部ソース切替部１２３、DVE１２４、DSK１２５、およびENC/MUX１２６を実現するためのプログラムを記憶している。

【0120】

また、映像送信元システム１１０は、ＣＰＵ等の素子を用いるコンピュータ機能を含まないハードウェアにより実現されてもよい。例えば、各構成要素の一部または全部は、汎用の回路（circuitry ）または専用の回路、プロセッサ等やこれらの組み合わせによって実現されてもよい。これらは、単一のチップ（例えば、上記のＬＳＩ）によって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。各構成要素の一部または全部は、上述した回路等とプログラムとの組み合わせによって実現されてもよい。

【0121】

また、映像送信元システム１１０およびクラウドシステム１２０の各構成要素の一部または全部は、演算部と記憶部とを備えた１つまたは複数の情報処理装置で構成されていてもよい。

【0122】

各構成要素の一部または全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントアンドサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。

【0123】

次に、本発明の概要を説明する。図８は、本発明による映像フレーム制御システムの概要を示すブロック図である。本発明による映像フレーム制御システム３０は、撮影された時刻を示す時刻情報を含む映像フレームである時刻付映像フレームが格納されたフレームバッファ（例えば、フレームバッファ１２７）に格納されているメタデータに、その時刻に撮影された映像フレームに対する制御の内容を示す制御情報を挿入する挿入部３１（例えば、制御メタ挿入部１２２）を含む。

【0124】

そのような構成により、映像フレーム制御システムは、映像フレームを正確なタイミングで制御できる。

【0125】

また、映像フレーム制御システム３０は、制御情報を用いて、第１の映像データを構成する第１の時刻付映像フレームから第２の映像データを構成する第２の時刻付映像フレームに放送対象の映像フレームを切り替える切替部（例えば、外部ソース切替部１２３）を含んでもよい。

【0126】

そのような構成により、映像フレーム制御システムは、正確なタイミングで放送対象の映像フレームを切り替えることができる。

【0127】

また、切替部は、制御情報が所定の時刻で放送対象の映像フレームを第１の時刻付映像フレームから第２の時刻付映像フレームに切り替えることを示している場合、時刻情報が示す時刻が所定の時刻より前の第２の時刻付映像フレームを破棄してもよい。

【0128】

そのような構成により、映像フレーム制御システムは、映像フレームが格納されるフレームバッファの容量を削減できる。

【0129】

また、映像フレーム制御システム３０は、制御情報を用いて、放送対象の映像フレームを加工する加工部（例えば、DVE１２４、DSK１２５、ENC/MUX１２６）を含んでもよい。

【0130】

そのような構成により、映像フレーム制御システムは、映像フレームを放送用に加工できる。

【0131】

また、映像フレームは、IPパケットでもよい。

【0132】

また、図９は、本発明による放送マスタシステムの概要を示すブロック図である。本発明による放送マスタシステム４０は、映像送信元システム５０（例えば、映像送信元システム１１０）と、映像フレーム制御システム６０（例えば、クラウドシステム１２０）とを含む放送マスタシステムであって、映像フレーム制御システム６０は、映像送信元システム５０から送信された映像フレームであって、撮影された時刻を示す時刻情報を含む映像フレームである時刻付映像フレームが格納されたフレームバッファ（例えば、フレームバッファ１２７）に格納されているメタデータに、その時刻に撮影された映像フレームに対する制御の内容を示す制御情報を挿入する挿入部６１（例えば、制御メタ挿入部１２２）を含む。

【0133】

そのような構成により、放送マスタシステムは、映像フレームを正確なタイミングで制御できる。

【0134】

また、映像送信元システム５０は、映像フレームに時刻情報を付加することによって映像フレームから時刻付映像フレームを生成する付加部（例えば、IP化部１１１～１１２）を含んでもよい。また、映像送信元システム５０は、映像データを基にIPパケットである映像フレームを生成する生成部（例えば、IP化部１１１～１１２）を含んでもよい。

【0135】

そのような構成により、放送マスタシステムは、IPネットワークをそのまま使用して映像フレームを制御できる。

【符号の説明】

【0136】

１１、２１ ＣＰＵ
１２、２２ 主記憶部
１３、２３ 通信部
１４、２４ 補助記憶部
１５、２５ 入力部
１６、２６ 出力部
１７、２７ システムバス
３０、６０ 映像フレーム制御システム
３１、６１ 挿入部
４０、１００、９００ 放送マスタシステム
５０、１１０、９１０ 映像送信元システム
１１１、１１２、９１１、９１２ IP化部
１２０、９２０ クラウドシステム
１２１、９２１ 制御部
１２２ 制御メタ挿入部
１２３、９２２ 外部ソース切替部
１２４、９２３ DVE
１２５、９２４ DSK
１２６、９２５ ENC/MUX
１２７、９２６ フレームバッファ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】