▶ 日本放送協会の特許一覧 ▶ さくら映機株式会社の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-11-28
(45)【発行日】2022-12-06
(54)【発明の名称】リアルタイム編集システム
(51)【国際特許分類】
G09G 5/00 20060101AFI20221129BHJP
H04N 5/91 20060101ALI20221129BHJP
H04N 21/854 20110101ALI20221129BHJP
H04N 21/436 20110101ALI20221129BHJP
H04N 21/431 20110101ALI20221129BHJP
【ＦＩ】
G09G5/00 530M
H04N5/91
H04N21/854
H04N21/436
H04N21/431
G09G5/00 550X
G09G5/00 555D
【請求項の数】
5
(21)【出願番号】P 2018168530
(22)【出願日】2018-09-10
(65)【公開番号】P2020042125
(43)【公開日】2020-03-19
【審査請求日】2021-08-27
(73)【特許権者】
【識別番号】000004352
【氏名又は名称】日本放送協会
(73)【特許権者】
【識別番号】506381153
【氏名又は名称】さくら映機株式会社
(74)【代理人】
【識別番号】110001807
【氏名又は名称】弁理士法人磯野国際特許商標事務所
(72)【発明者】
【氏名】小出 大一
(72)【発明者】
【氏名】瀧口 吉郎
(72)【発明者】
【氏名】吉田 智晃
(72)【発明者】
【氏名】村田 輝幸
【審査官】西島 篤宏
(56)【参考文献】
【文献】国際公開第２０１８／００８０７６（ＷＯ，Ａ１）
【文献】特開２０１３－１４１０６５（ＪＰ，Ａ）
【文献】特開２００９－０１０７１４（ＪＰ，Ａ）
【文献】特開２０１２－２４９０２５（ＪＰ，Ａ）
【文献】特開２０１１－１６９９３５（ＪＰ，Ａ）
【文献】特開２０１３－２１８００２（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０９Ｇ ５／００ － ５／４２
Ｈ０４Ｎ ５／９１
Ｈ０４Ｎ ２１／８５４
Ｈ０４Ｎ ２１／４３６
Ｈ０４Ｎ ２１／４３１
(57)【特許請求の範囲】
【請求項1】
超高解像度の素材映像を分割した分割領域が予め割り当てられ、前記分割領域の素材映像である分割素材映像をデコードして合成する複数の合成装置と、前記合成装置を制御する１台の制御装置と、圧縮された前記分割素材映像を記憶する記憶装置とを備えるリアルタイム編集システムであって、前記制御装置は、
前記分割素材映像の合成を前記合成装置に指令するレンダリングジョブを生成するレンダリングジョブ生成手段、を備え、
前記合成装置は、
前記制御装置が生成したレンダリングジョブで指定された分割素材映像のデコードを指令するデコードジョブを生成するデコードジョブ生成手段と、
前記デコードジョブ生成手段が生成したデコードジョブに基づいて、前記記憶装置の分割素材映像をデコードする１以上のデコード手段と、
前記レンダリングジョブに基づいて、前記デコード手段がデコードした分割素材映像を合成する１以上の合成手段と、
合成が最も遅れている前記合成装置に合わせて、前記合成手段が合成した分割合成映像を同期して出力する出力ボードと、を備え、
前記出力ボードは、ＬＶＤＳによりリング接続されたＳＤＩボードであり、何れか１台の前記合成装置に備えられたＳＤＩボードがマスタＳＤＩボードとして予め設定され、他の前記合成装置に備えられたＳＤＩボードがスレーブＳＤＩボードとして予め設定され、
前記マスタＳＤＩボードは、
前記分割合成映像の次フレーム番号を各スレーブＳＤＩボードに問い合わせる問合手段と、
前記各スレーブＳＤＩボードが応答した次フレーム番号、及び、当該マスタＳＤＩボードを備える合成装置が出力予定の次フレーム番号のうち、最小となる前記次フレーム番号の前記分割合成映像の出力を指令する指令手段と、
前記指令手段から指令された次フレーム番号の前記分割素材映像を同期して出力する第１の同期出力手段と、を備え、
前記スレーブＳＤＩボードは、
前記問合手段からの問い合わせに応じて、当該スレーブＳＤＩボードを備える合成装置が出力予定の次フレーム番号を前記問合手段に応答する応答手段と、
前記指令手段から指令された次フレーム番号の前記分割素材映像を同期して出力する第２の同期出力手段と、を備えることを特徴とするリアルタイム編集システム。
【請求項2】
超高解像度の素材映像を分割した分割領域が予め割り当てられ、前記分割領域の素材映像である分割素材映像をデコードして合成する複数の合成装置と、前記合成装置を制御する１台の制御装置と、圧縮された前記分割素材映像を記憶する記憶装置とを備えるリアルタイム編集システムであって、
前記制御装置は、
前記分割素材映像の合成を前記合成装置に指令するレンダリングジョブを生成するレンダリングジョブ生成手段、を備え、
前記合成装置は、
前記制御装置が生成したレンダリングジョブで指定された分割素材映像のデコードを指令するデコードジョブを生成するデコードジョブ生成手段と、
前記デコードジョブ生成手段が生成したデコードジョブに基づいて、前記記憶装置の分割素材映像をデコードする１以上のデコード手段と、
前記レンダリングジョブに基づいて、前記デコード手段がデコードした分割素材映像を合成する１以上の合成手段と、
合成が最も遅れている前記合成装置に合わせて、前記合成手段が合成した分割合成映像を同期して出力する出力ボードと、を備え、
前記合成装置は、
全分割領域の前記分割素材映像を格納するバッファを有し、リング接続された光ＩＦボード、をさらに備え、
前記制御装置は、
他の前記合成装置が記憶している分割素材映像を参照する場合、前記光ＩＦボードのバッファを予約するバッファ予約手段と、
前記分割素材映像をデコード及び合成して予約済みの前記バッファに格納する指令である第２レンダリングジョブを生成する第２レンダリングジョブ生成手段と、をさらに備え、
前記合成装置は、
前記デコード手段が、前記第２レンダリングジョブに基づいて、前記記憶装置の分割素材映像をデコードして前記予約済みのバッファに格納し、
前記予約済みのバッファに格納された前記分割素材映像を、他の前記合成装置が備える光ＩＦボードのバッファにＲＤＭＡ処理により格納することで、各合成装置が備える光ＩＦボードのバッファに前記全分割領域の分割素材映像が格納され、
前記合成手段が、前記第２レンダリングジョブに基づいて、前記バッファに格納された全分割領域の分割素材映像を合成することを特徴とするリアルタイム編集システム。
【請求項3】
超高解像度の素材映像を分割した分割領域が予め割り当てられ、前記分割領域の素材映像である分割素材映像をデコードして合成する複数の合成装置と、前記合成装置を制御する１台の制御装置と、圧縮された前記分割素材映像を記憶する記憶装置とを備えるリアルタイム編集システムであって、
前記制御装置は、
前記分割素材映像の合成を前記合成装置に指令するレンダリングジョブを生成するレンダリングジョブ生成手段、を備え、
前記合成装置は、
前記制御装置が生成したレンダリングジョブで指定された分割素材映像のデコードを指令するデコードジョブを生成するデコードジョブ生成手段と、
前記デコードジョブ生成手段が生成したデコードジョブに基づいて、前記記憶装置の分割素材映像をデコードする１以上のデコード手段と、
前記レンダリングジョブに基づいて、前記デコード手段がデコードした分割素材映像を合成する１以上の合成手段と、
合成が最も遅れている前記合成装置に合わせて、前記合成手段が合成した分割合成映像を同期して出力する出力ボードと、を備え、
前記出力ボードは、ＬＶＤＳによりリング接続されたＳＤＩボードであり、何れか１台の前記合成装置に備えられたＳＤＩボードがマスタＳＤＩボードとして予め設定され、他の前記合成装置に備えられたＳＤＩボードがスレーブＳＤＩボードとして予め設定され、
前記マスタＳＤＩボードは、
前記分割合成映像の次フレーム番号を各スレーブＳＤＩボードに問い合わせる問合手段と、
前記各スレーブＳＤＩボードが応答した次フレーム番号、及び、当該マスタＳＤＩボードを備える合成装置が出力予定の次フレーム番号のうち、最小となる前記次フレーム番号の前記分割合成映像の出力を指令する指令手段と、
前記指令手段から指令された次フレーム番号の前記分割素材映像を同期して出力する第１の同期出力手段と、を備え、
前記スレーブＳＤＩボードは、
前記問合手段からの問い合わせに応じて、当該スレーブＳＤＩボードを備える合成装置が出力予定の次フレーム番号を前記問合手段に応答する応答手段と、
前記指令手段から指令された次フレーム番号の前記分割素材映像を同期して出力する第２の同期出力手段と、を備え、
前記合成装置は、
全分割領域の前記分割素材映像を格納するバッファを有し、リング接続された光ＩＦボード、をさらに備え、
前記制御装置は、
他の前記合成装置が記憶している分割素材映像を参照する場合、前記光ＩＦボードのバッファを予約するバッファ予約手段と、
前記分割素材映像をデコード及び合成して予約済みの前記バッファに格納する指令である第２レンダリングジョブを生成する第２レンダリングジョブ生成手段と、をさらに備え、
前記合成装置は、
前記デコード手段が、前記第２レンダリングジョブに基づいて、前記記憶装置の分割素材映像をデコードして前記予約済みのバッファに格納し、
前記予約済みのバッファに格納された前記分割素材映像を、他の前記合成装置が備える光ＩＦボードのバッファにＲＤＭＡ処理により格納することで、各合成装置が備える光ＩＦボードのバッファに前記全分割領域の分割素材映像が格納され、
前記合成手段が、前記第２レンダリングジョブに基づいて、前記バッファに格納された全分割領域の分割素材映像を合成することを特徴とするリアルタイム編集システム。
【請求項4】
前記合成装置は、前記分割合成映像を縮小した分割縮小映像を生成する分割縮小映像生成手段、をさらに備え、
前記制御装置は、
前記分割領域に応じて前記分割縮小映像を並べた縮小映像を生成する縮小映像生成手段、をさらに備えることを特徴とする請求項１から請求項３の何れか一項に記載のリアルタイム編集システム。
【請求項5】
偶数台の前記合成装置が、同一台数の前記合成装置で構成される処理系統に予めグループ分けされ、前記処理系統毎に時分割処理を行うことを特徴とする請求項１から請求項４の何れか一項に記載のリアルタイム編集システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、超高解像度映像のリアルタイム編集システムに関する。
【背景技術】
【0002】
近年、８Ｋ６０Ｐのように映像の超高解像度化・高フレームレート化が進んでおり、その超高解像度映像をリアルタイムで編集できるリアルタイム編集システムが提案されている（例えば、特許文献１参照）。特許文献１に記載されたリアルタイム編集システムは、レンダリングジョブを生成する制御装置と、圧縮素材映像をデコードするデコード装置と、デコードされた素材映像を合成する合成装置とを備えるものである。そして、従来のリアルタイム編集システムでは、１台の合成装置及び２台のデコード装置からなる処理系統を４系統構成し、それぞれの処理系統で８Ｋ６０Ｐの映像を時分割処理する。
なお、８Ｋ６０Ｐとは、解像度が８Ｋ（７６８０×４３２０画素）であり、フレームレートが６０Ｐ（６０ｆｐｓ：frame per second）であることを意味する。
なお、８Ｋ６０Ｐとは、解像度が８Ｋ（７６８０×４３２０画素）であり、フレームレートが６０Ｐ（６０ｆｐｓ：frame per second）であることを意味する。
【先行技術文献】
【特許文献】
【0003】
【文献】国際公開第２０１８／００８０７６号
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、従来のリアルタイム編集システムは、莫大なデータ量の超高解像度映像を処理する際、装置内部のバス帯域が不足することがあり、さらなる超高解像度化・高フレームレート化への対応が困難である。例えば、サンプリング構造がＹＣｂＣｒ４：２：２の８Ｋ６０Ｐ映像を２ストリーム合成する場合を考える。この場合、映像の帯域が９７．３４４Ｇバイト／秒であるのに対し、ＣＰＵとメモリ間のバス帯域が実測値で約５０Ｇバイト／秒となり、バス帯域が不足する。
【0005】
さらに、従来のリアルタイム編集システムは、各装置の役割が固定されているが、超高解像度映像の内容により、装置間で処理負荷が大きく異なることがある。このため、従来のリアルタイム編集システムでは、システム全体の処理能力に余裕を持たせる必要があり、その処理能力を柔軟に増減できる余地（スケーラビリティ）が乏しいという問題もある。つまり、従来のリアルタイム編集システムにおいて、映像の解像度（４Ｋ、８Ｋ、１６Ｋ）やフレームレート（６０Ｐ、１２０Ｐ）を向上させようとしても、柔軟にシステム構成を変更できないという問題を示している。
【0006】
そこで、本発明は、バス帯域の制約を受けにくく、スケーラビリティに優れたリアルタイム編集システムを提供することを課題とする。
【課題を解決するための手段】
【0007】
前記した課題に鑑みて、本発明に係るリアルタイム編集システムは、超高解像度の素材映像を分割した分割領域が予め割り当てられ、分割領域の素材映像である分割素材映像をデコードして合成する複数の合成装置と、合成装置を制御する１台の制御装置と、圧縮された分割素材映像を記憶する記憶装置を備えるリアルタイム編集システムであって、制御装置が、レンダリングジョブ生成手段、を備え、合成装置が、デコードジョブ生成手段と、１以上のデコード手段と、１以上の合成手段と、出力ボードと、を備える構成とした。
【0008】
かかる構成によれば、制御装置は、レンダリングジョブ生成手段によって、分割素材映像の合成を合成装置に指令するレンダリングジョブを生成する。
合成装置は、デコードジョブ生成手段によって、制御装置が生成したレンダリングジョブで指定された分割素材映像のデコードを指令するデコードジョブを生成する。
合成装置は、デコード手段によって、デコードジョブ生成手段が生成したデコードジョブに基づいて、記憶手段の分割素材映像をデコードする。
合成装置は、合成手段によって、レンダリングジョブに基づいて、デコード手段がデコードした分割素材映像を合成する。
合成装置は、出力ボードによって、合成が最も遅れている合成装置に合わせて、合成手段が合成した分割合成映像を同期して出力する。この分割合成映像を分割領域の位置に応じて配置すれば、合成された超高解像度映像が得られる。
出力ボードは、ＬＶＤＳによりリング接続されたＳＤＩボードであり、何れか１台の前記合成装置に備えられたＳＤＩボードがマスタＳＤＩボードとして予め設定され、他の前記合成装置に備えられたＳＤＩボードがスレーブＳＤＩボードとして予め設定される。
マスタＳＤＩボードは、分割合成映像の次フレーム番号を各スレーブＳＤＩボードに問い合わせる問合手段と、各スレーブＳＤＩボードが応答した次フレーム番号、及び、マスタＳＤＩボードを備える合成装置が出力予定の次フレーム番号のうち、最小となる次フレーム番号の前記分割合成映像の出力を指令する指令手段と、指令手段から指令された次フレーム番号の分割素材映像を同期して出力する第１の同期出力手段と、を備える。
スレーブＳＤＩボードは、問合手段からの問い合わせに応じて、スレーブＳＤＩボードを備える合成装置が出力予定の次フレーム番号を問合手段に応答する応答手段と、指令手段から指令された次フレーム番号の分割素材映像を同期して出力する第２の同期出力手段と、を備える。
合成装置は、デコードジョブ生成手段によって、制御装置が生成したレンダリングジョブで指定された分割素材映像のデコードを指令するデコードジョブを生成する。
合成装置は、デコード手段によって、デコードジョブ生成手段が生成したデコードジョブに基づいて、記憶手段の分割素材映像をデコードする。
合成装置は、合成手段によって、レンダリングジョブに基づいて、デコード手段がデコードした分割素材映像を合成する。
合成装置は、出力ボードによって、合成が最も遅れている合成装置に合わせて、合成手段が合成した分割合成映像を同期して出力する。この分割合成映像を分割領域の位置に応じて配置すれば、合成された超高解像度映像が得られる。
出力ボードは、ＬＶＤＳによりリング接続されたＳＤＩボードであり、何れか１台の前記合成装置に備えられたＳＤＩボードがマスタＳＤＩボードとして予め設定され、他の前記合成装置に備えられたＳＤＩボードがスレーブＳＤＩボードとして予め設定される。
マスタＳＤＩボードは、分割合成映像の次フレーム番号を各スレーブＳＤＩボードに問い合わせる問合手段と、各スレーブＳＤＩボードが応答した次フレーム番号、及び、マスタＳＤＩボードを備える合成装置が出力予定の次フレーム番号のうち、最小となる次フレーム番号の前記分割合成映像の出力を指令する指令手段と、指令手段から指令された次フレーム番号の分割素材映像を同期して出力する第１の同期出力手段と、を備える。
スレーブＳＤＩボードは、問合手段からの問い合わせに応じて、スレーブＳＤＩボードを備える合成装置が出力予定の次フレーム番号を問合手段に応答する応答手段と、指令手段から指令された次フレーム番号の分割素材映像を同期して出力する第２の同期出力手段と、を備える。
【0009】
このように、合成装置は、超高解像度の素材映像を分割した分割素材映像を扱うので、分割素材映像のデータ量が低減し、装置内部のバス帯域が不足する事態を防止することができる。
さらに、合成装置は、任意の数のデコード手段及び合成手段を備えるので、超高解像度映像の内容に応じて、システム全体の処理能力を柔軟に増減することができる。
さらに、合成装置は、任意の数のデコード手段及び合成手段を備えるので、超高解像度映像の内容に応じて、システム全体の処理能力を柔軟に増減することができる。
【発明の効果】
【0010】
本発明に係るリアルタイム映像編集システムは、バス帯域の制約を受けにくく、スケーラビリティに優れているので、さらなる超高解像度化・高フレームレート化にも対応することができる。
【図面の簡単な説明】
【0011】
【図1】第１実施形態に係るリアルタイム編集システムの全体構成図である。
【図2】第１実施形態において、各合成装置に割り当てた超高解像度映像の分割領域を説明する説明図である。
【図3】第１実施形態において、リアルタイム編集システムでの編集処理を示すシーケンス図である。
【図6】第１実施形態において、デコードプロセスの並列処理を説明する説明図である。
【図7】第１実施形態において、８Ｋ座標系から４Ｋ座標系への座標変換を説明する説明図である。
【図8】第１実施形態において、ＳＤＩボードを説明する説明図である。
【図9】第１実施形態において、ＳＤＩボードによる同期制御を説明する説明図である。
【図10】第１実施形態において、リアルタイム編集システムでの他領域レンダリング処理を説明する説明図である。
【図11】第１実施形態において、リアルタイム編集システムでの他領域レンダリング処理を示すシーケンス図である。
【図12】第２実施形態に係るリアルタイム編集システムの全体構成図である。
【図13】第２実施形態において、処理系統毎の時分割処理を説明する説明図である。
【発明を実施するための形態】
【0012】
（第１実施形態）
以下、本発明の各実施形態について、適宜図面を参照しながら詳細に説明する。なお、各実施形態において、同一の手段及び同一の処理には同一の符号を付し、説明を省略した。
以下、本発明の各実施形態について、適宜図面を参照しながら詳細に説明する。なお、各実施形態において、同一の手段及び同一の処理には同一の符号を付し、説明を省略した。
【0013】
[リアルタイム編集システムの全体構成]
図１及び図２を参照し、リアルタイム編集システム１の全体構成について説明する。
図１に示すように、リアルタイム編集システム１は、制御装置１０と、合成装置２０と、記憶装置（ＨＤＤ：Hard Disk Drive）３０と、８Ｋディスプレイ（６０Ｐ）４０と、４Ｋディスプレイ５０とを備える。
図１及び図２を参照し、リアルタイム編集システム１の全体構成について説明する。
図１に示すように、リアルタイム編集システム１は、制御装置１０と、合成装置２０と、記憶装置（ＨＤＤ：Hard Disk Drive）３０と、８Ｋディスプレイ（６０Ｐ）４０と、４Ｋディスプレイ５０とを備える。
【0014】
図２に示すように、リアルタイム編集システム１は、超高解像度の素材映像を空間的に４分割し、各分割領域の映像をそれぞれ合成する４台の合成装置２０を備える。つまり、リアルタイム編集システム１では、４分割した分割領域のそれぞれを４台の合成装置２０１～２０４に予め割り当てる。例えば、１台目の合成装置２０１に左上の分割領域を割り当て、２台目の合成装置２０２に左下の分割領域を割り当てる。また、３台目の合成装置２０３に右上の分割領域を割り当て、４台目の合成装置２０４に右下の分割領域を割り当てる。そして、各合成装置２０は、割り当てられた分割領域の映像を合成する。
【0015】
なお、超高解像度の素材映像とは、８Ｋ６０Ｐのような超高解像度・高フレームレートの素材映像のことである。本実施形態では、素材映像の解像度が７６８０×４３２０画素であり、素材映像のフレームレートが６０ｆｐｓ（Frame Per Second）であることとして説明する。また、本実施形態では、素材映像を構成するピクセル（画素）のサンプリング構造が、放送用映像で一般的なＹＣｂＣｒ４：２：２であることとして説明する。このＹＣｂＣｒ４：２：２は、２つの色差信号Ｃｂ，Ｃｒを水平方向に１／２のデータ量に間引くので、主観的な画質をほとんど損なわずに総データ量を２／３に抑えることができる。
【0016】
以後、超高解像度の素材映像を各分割領域に分割したものを「分割素材映像」と記載する場合がある。本実施形態では、８Ｋの素材映像（７６８０画素×４３２０画素）を４分割しているので、分割素材映像の解像度は４Ｋ（３８４０画素×２１６０画素）となる。
また、圧縮された分割素材映像を「圧縮分割素材映像」と記載する場合がある。
また、分割素材映像に合成処理を施したものを「分割合成映像」と記載する場合がある。
また、分割合成映像を縮小（ダウンコンバート）したものを「縮小映像」と記載する場合がある。また、各合成装置２０で縮小された解像度が２Ｋ（１９２０画素×１０８０画素）の縮小映像を「２Ｋ縮小映像」と記載し、この２Ｋ縮小映像を４枚並べたものを「４Ｋ縮小映像」と記載する場合がある。
また、圧縮された分割素材映像を「圧縮分割素材映像」と記載する場合がある。
また、分割素材映像に合成処理を施したものを「分割合成映像」と記載する場合がある。
また、分割合成映像を縮小（ダウンコンバート）したものを「縮小映像」と記載する場合がある。また、各合成装置２０で縮小された解像度が２Ｋ（１９２０画素×１０８０画素）の縮小映像を「２Ｋ縮小映像」と記載し、この２Ｋ縮小映像を４枚並べたものを「４Ｋ縮小映像」と記載する場合がある。
【0017】
ここで、特許文献１に記載のリアルタイム編集システム（以後、「従来のリアルタイム編集システム」）との相違について説明する。従来のリアルタイム編集システムでは、８Ｋ６０Ｐの映像を４つの処理系統で時分割し、各処理系統を１５Ｐのフレームレートで並行動作させている。これに対し、リアルタイム編集システム１は、合成装置２０で動作する１以上のプロセスで実装することで、４Ｋ６０Ｐの映像を１台の合成装置２０で扱うことができる。そして、リアルタイム編集システム１は、この合成装置２０を４台組み合わせることで、８Ｋ６０Ｐの超高解像度映像を合成可能としたものである。
【0018】
制御装置１０は、合成装置２０を制御するものである。具体的には、制御装置１０は、レンダリングジョブを生成し、生成したレンダリングジョブを各合成装置２０に出力する。
このレンダリングジョブは、分割素材映像の合成を各合成装置２０に指令するものである。
また、制御装置１０は、他領域レンダリングジョブを生成し、生成した他領域レンダリングジョブを各合成装置２０に出力する。この他領域レンダリングジョブは、ピクチャーインピクチャー（ＰｉｎＰ：Picture In Picture）など、他の合成装置２０が記憶している分割素材映像を参照するレンダリングジョブである。
また、制御装置１０は、各合成装置２０から入力された２Ｋ縮小映像を並べて４Ｋ縮小映像を生成し、生成した４Ｋ縮小映像を４Ｋディスプレイ５０に表示する。
このレンダリングジョブは、分割素材映像の合成を各合成装置２０に指令するものである。
また、制御装置１０は、他領域レンダリングジョブを生成し、生成した他領域レンダリングジョブを各合成装置２０に出力する。この他領域レンダリングジョブは、ピクチャーインピクチャー（ＰｉｎＰ：Picture In Picture）など、他の合成装置２０が記憶している分割素材映像を参照するレンダリングジョブである。
また、制御装置１０は、各合成装置２０から入力された２Ｋ縮小映像を並べて４Ｋ縮小映像を生成し、生成した４Ｋ縮小映像を４Ｋディスプレイ５０に表示する。
【0019】
本実施形態では、制御装置１０は、図１に示すように、２個のＣＰＵ（Central Processing Unit）１００と、ＳＤＩ（Serial Digital Interface）ボード１１０と、１０Ｇｂｐｓイーサネットボート１２０とを備える。
以後、１０Ｇｂｐｓイーサネットボートを「１０ＧｂＥボード」と略記する場合がある。
なお、図１では、マウス、キーボード、ディスプレイ、メモリ等の一般的なハードウェア構成の図示を省略した。
以後、１０Ｇｂｐｓイーサネットボートを「１０ＧｂＥボード」と略記する場合がある。
なお、図１では、マウス、キーボード、ディスプレイ、メモリ等の一般的なハードウェア構成の図示を省略した。
【0020】
ＣＰＵ１００は、制御装置１０で必要な各種演算を行う中央演算装置であり、例えば、デュアルＣＰＵで構成される。
ＳＤＩボード１１０は、ＳＤＩにより映像の出力を行う映像入出力ボードである。このＳＤＩボード１１０は、４Ｋ縮小映像を４Ｋディスプレイ５０に出力する。
１０ＧｂＥボード１２０は、制御装置１０と合成装置２０との間でデータ通信を行うネットワークＩＦである。この１０ＧｂＥボード１２０は、通信速度が１０Ｇｂｐｓであり、レンダリングジョブや他領域レンダリングジョブを各合成装置２０に送信する。また、１０ＧｂＥボード１２０は、各合成装置２０から２Ｋ縮小映像を受信する。
ＳＤＩボード１１０は、ＳＤＩにより映像の出力を行う映像入出力ボードである。このＳＤＩボード１１０は、４Ｋ縮小映像を４Ｋディスプレイ５０に出力する。
１０ＧｂＥボード１２０は、制御装置１０と合成装置２０との間でデータ通信を行うネットワークＩＦである。この１０ＧｂＥボード１２０は、通信速度が１０Ｇｂｐｓであり、レンダリングジョブや他領域レンダリングジョブを各合成装置２０に送信する。また、１０ＧｂＥボード１２０は、各合成装置２０から２Ｋ縮小映像を受信する。
【0021】
合成装置２０は、制御装置１０からの指令に応じて、記憶装置３０に記憶されている圧縮分割素材映像をデコードして合成するものである。そして、合成装置２０は、ＳＤＩボード２４０を介して、合成した分割映像を８Ｋディスプレイ（６０Ｐ）４０に出力する。
【0022】
本実施形態では、合成装置２０は、２個のＣＰＵ２００と、ＳＤＩボード２４０と、光ＩＦボード２５０と、１０ＧｂＥボード２６０とを備える。
ＣＰＵ２００は、合成装置２０で必要な各種演算を行う中央演算装置であり、例えば、デュアルＣＰＵで構成される。ＣＰＵ２００は、分割素材映像を合成する１以上の合成プロセス２１０と、分割素材映像をデコードする１以上のデコードプロセス２２０とを備える（図５）。合成プロセス２１０及びデコードプロセス２２０の数は任意に設定可能であり、例えば、合成プロセス２１０が２つ、デコードプロセス２２０が４つである。合成プロセス２１０及びデコードプロセス２２０は、マルチタスクＯＳ（Operating System）のプロセスとして実装されているので、これらのプロセス数を容易に増減できる。
ＣＰＵ２００は、合成装置２０で必要な各種演算を行う中央演算装置であり、例えば、デュアルＣＰＵで構成される。ＣＰＵ２００は、分割素材映像を合成する１以上の合成プロセス２１０と、分割素材映像をデコードする１以上のデコードプロセス２２０とを備える（図５）。合成プロセス２１０及びデコードプロセス２２０の数は任意に設定可能であり、例えば、合成プロセス２１０が２つ、デコードプロセス２２０が４つである。合成プロセス２１０及びデコードプロセス２２０は、マルチタスクＯＳ（Operating System）のプロセスとして実装されているので、これらのプロセス数を容易に増減できる。
【0023】
ＳＤＩボード２４０は、図１に示すように、ＬＶＤＳ（Low Voltage Differential Signaling）によりリング接続されている。このＬＶＤＳは、１対１の片方向通信を高速に行うことができるシリアルインタフェースである。つまり、４台の合成装置２０１～２０４が備える４台のＳＤＩボード２４０１～２４０４は、デイジーチェーン接続されている。そして、４台のＳＤＩボード２４０１～２４０４が、合成が最も遅れている合成装置２０に合わせて、分割合成映像を同期して出力する。このように、フレーム同期した４つの分割合成映像（解像度４Ｋ）を並べるだけで、超高解像度映像（解像度８Ｋ）を容易に再構成できる。なお、ＳＤＩボード２４０の詳細は後記する。
【0024】
光ＩＦボード２５０は、光リング通信網に接続するネットワークＩＦである。例えば、光ＩＦボード２５０は、４０Ｇｂｐｓの光モジュールを２個搭載すると共に、ＰＣＩ Ｅｘｐｒｅｓｓ（ｒｅｖ３）×８レーンでＣＰＵ２００に接続される。
１０ＧｂＥボード２６０は、制御装置１０と合成装置２０との間でデータ通信を行うネットワークＩＦである。この１０ＧｂＥボード２６０は、制御装置１０から、レンダリングジョブや他領域レンダリングジョブが入力される。また、１０ＧｂＥボード２６０は、制御装置１０に２Ｋ縮小映像を送信する。
１０ＧｂＥボード２６０は、制御装置１０と合成装置２０との間でデータ通信を行うネットワークＩＦである。この１０ＧｂＥボード２６０は、制御装置１０から、レンダリングジョブや他領域レンダリングジョブが入力される。また、１０ＧｂＥボード２６０は、制御装置１０に２Ｋ縮小映像を送信する。
【0025】
記憶装置３０は、圧縮分割素材映像を予め記憶するものである。本実施形態では、リアルタイム編集システム１は、合成装置２０１～２０４と１対１で対応するように、４台の記憶装置３０１～３０４を備える。そして、記憶装置３０１～３０４は、合成装置２０１～２０４に対応する圧縮分割素材映像をそれぞれ記憶する。例えば、図２に示すように、１台目の記憶装置３０１が左上の圧縮分割素材映像を記憶し、２台目の記憶装置３０２が左下の圧縮分割素材映像を記憶する。また、３台目の記憶装置３０３が右上の圧縮分割素材映像を記憶し、４台目の記憶装置３０４が右下の圧縮分割素材映像を記憶する。
【0026】
記憶装置３０に圧縮分割素材映像を記憶させる手法は、特に制限されない。超高解像度映像のビットレートは非常に大きいため、超高解像度映像を分割して記憶する映像記録装置が従来より開発されており、これを利用できる。例えば、この映像記録装置で分割した分割素材映像を圧縮し、記憶装置３０に予め記憶すればよい。
【0027】
８Ｋディスプレイ（６０Ｐ）４０は、８Ｋ６０Ｐ等の超高解像度映像を表示するものである。本実施形態では、８Ｋディスプレイ（６０Ｐ）４０は、超高解像度映像を表示可能なＦＰＤ（Flat Panel Display）、ＣＲＴ（Cathode Ray Tube）等のディスプレイである。
４Ｋディスプレイ５０は、制御装置１０から入力された４Ｋ縮小映像を表示可能なＦＰＤ、ＣＲＴ等のディスプレイである。
４Ｋディスプレイ５０は、制御装置１０から入力された４Ｋ縮小映像を表示可能なＦＰＤ、ＣＲＴ等のディスプレイである。
【0028】
[リアルタイム編集システムでの編集処理]
図３を参照し、リアルタイム編集システム１での編集処理について説明する。
まず、リアルタイム編集システム１の利用者（編集者）は、図示を省略したキーボード、マウス、スライダ等の入力手段を操作して、編集作業に必要な各種情報を制御装置１０に設定する。例えば、各種情報には、合成装置２０で行う合成処理の種類、分割素材映像の識別情報（ＩＤ）、分割素材映像のフレーム番号等の情報が含まれる。
図３を参照し、リアルタイム編集システム１での編集処理について説明する。
まず、リアルタイム編集システム１の利用者（編集者）は、図示を省略したキーボード、マウス、スライダ等の入力手段を操作して、編集作業に必要な各種情報を制御装置１０に設定する。例えば、各種情報には、合成装置２０で行う合成処理の種類、分割素材映像の識別情報（ＩＤ）、分割素材映像のフレーム番号等の情報が含まれる。
【0029】
この分割素材映像の識別情報は、１回の編集処理において、分割素材映像ファイルをオープンするときに決定される一意な識別子である。例えば、分割素材映像の識別情報として、制御装置１０が分割素材映像をオープンしたとき、制御装置１０のオペレーティングシステムが自動的に生成するファイル識別子を利用できる。
【0030】
制御装置１０は、利用者が設定した情報に基づいて、レンダリングジョブを生成し（ステップＳ１）、生成したレンダリングジョブを合成装置２０に送信する（ステップＳ２）。
合成プロセス２１０は、制御装置１０からレンダリングジョブを受信し、指定された識別情報及びフレーム番号の圧縮分割素材映像を記憶装置３０から読み出し、プロセス間共有メモリ２３０に書き込む（ステップＳ３）。そして、合成プロセス２１０は、読み出した圧縮分割素材映像のデコード指令を、デコードジョブとしてデコードプロセス２２０に送信する（ステップＳ４）。
合成プロセス２１０は、制御装置１０からレンダリングジョブを受信し、指定された識別情報及びフレーム番号の圧縮分割素材映像を記憶装置３０から読み出し、プロセス間共有メモリ２３０に書き込む（ステップＳ３）。そして、合成プロセス２１０は、読み出した圧縮分割素材映像のデコード指令を、デコードジョブとしてデコードプロセス２２０に送信する（ステップＳ４）。
【0031】
デコードプロセス２２０は、合成プロセス２１０から送信されたデコードジョブに基づいて、圧縮分割素材映像をデコードする（ステップＳ５）。そして、デコードプロセス２２０は、デコードした分割素材映像をプロセス間共有メモリ２３０に書き込む（ステップＳ６）。
【0032】
合成プロセス２１０は、レンダリングジョブに基づいて、プロセス間共有メモリ２３０に書き込まれた分割素材映像を合成する（ステップＳ７）。
合成プロセス２１０は、４Ｋの分割合成映像を縮小した２Ｋ縮小映像を生成する（ステップＳ８）。
合成プロセス２１０は、１０ＧｂＥボード２６０を介して、ステップＳ８で生成した２Ｋ縮小映像を制御装置１０に送信する（ステップＳ９）。
合成プロセス２１０は、ＳＤＩボード２４０を介して、分割合成映像を８Ｋディスプレイ（６０Ｐ）４０に出力する（ステップＳ１０）。
合成プロセス２１０は、４Ｋの分割合成映像を縮小した２Ｋ縮小映像を生成する（ステップＳ８）。
合成プロセス２１０は、１０ＧｂＥボード２６０を介して、ステップＳ８で生成した２Ｋ縮小映像を制御装置１０に送信する（ステップＳ９）。
合成プロセス２１０は、ＳＤＩボード２４０を介して、分割合成映像を８Ｋディスプレイ（６０Ｐ）４０に出力する（ステップＳ１０）。
【0033】
ここで、ステップＳ３～Ｓ９の処理が４台の合成装置２０で並列に実行されるので、４つの分割領域に対応した分割合成映像が得られる。そして、ステップＳ１０において、ＳＤＩボード２４０が、最も合成の遅れている合成装置２０に合わせて、４つの分割合成映像を同期して出力する。これにより、リアルタイム編集システム１では、４つの分割合成映像を並べるだけで、合成後の超高解像度映像を容易に再構成できる。
【0034】
その後、制御装置１０は、合成装置２０から受信した２Ｋ縮小映像を４つ並べ、ＳＤＩボード１１０を介して、４Ｋ縮小映像として４Ｋディスプレイ５０に出力する（ステップＳ１１）。
これにより、リアルタイム編集システム１では、合成後の超高解像度映像を即座にプレビュー表示することができる。
これにより、リアルタイム編集システム１では、合成後の超高解像度映像を即座にプレビュー表示することができる。
【0035】
［制御装置の構成］
図４を参照し、制御装置１０の構成について説明する。
図４に示すように、制御装置１０のＣＰＵ１００は、レンダリングジョブ生成手段１０１と、バッファ予約手段１０２と、他領域レンダリングジョブ生成手段（第２レンダリングジョブ生成手段）１０３と、４Ｋ縮小映像生成手段１０４とを備える。
なお、２個のＣＰＵ１００がデュアルＣＰＵとして協調動作するため、図４ではＣＰＵ１００を１個のみ図示した。
図４を参照し、制御装置１０の構成について説明する。
図４に示すように、制御装置１０のＣＰＵ１００は、レンダリングジョブ生成手段１０１と、バッファ予約手段１０２と、他領域レンダリングジョブ生成手段（第２レンダリングジョブ生成手段）１０３と、４Ｋ縮小映像生成手段１０４とを備える。
なお、２個のＣＰＵ１００がデュアルＣＰＵとして協調動作するため、図４ではＣＰＵ１００を１個のみ図示した。
【0036】
レンダリングジョブ生成手段１０１は、利用者が設定した情報に基づいて、各合成装置２０のレンダリングジョブを生成するものである。前記したように、レンダリングジョブは、分割素材映像の合成を合成装置２０の合成プロセス２１０に指令するものである。例えば、このレンダリングジョブには、合成装置２０で行う合成処理の種類、分割素材映像の識別情報（ＩＤ）、分割素材映像のフレーム番号等の情報が含まれる。
【0037】
バッファ予約手段１０２は、他の合成装置２０が記憶している分割素材映像を参照するか否かを判定するものである。そして、バッファ予約手段１０２は、その分割素材映像を参照する場合、各合成装置２０が備える光ＩＦボード２５０のバッファ２５１（図５）を予約する。
他領域レンダリングジョブ生成手段１０３は、他領域レンダリングジョブ（第２レンダリングジョブ）を生成するものである。この他領域レンダリングジョブは、他の合成装置２０が記憶している分割素材映像を参照する場合において、分割素材映像をデコード及び合成して予約済みのバッファ２５１に格納する指令である。
なお、バッファ予約手段１０２及び他領域レンダリングジョブ生成手段１０３の詳細は、後記する。
他領域レンダリングジョブ生成手段１０３は、他領域レンダリングジョブ（第２レンダリングジョブ）を生成するものである。この他領域レンダリングジョブは、他の合成装置２０が記憶している分割素材映像を参照する場合において、分割素材映像をデコード及び合成して予約済みのバッファ２５１に格納する指令である。
なお、バッファ予約手段１０２及び他領域レンダリングジョブ生成手段１０３の詳細は、後記する。
【0038】
４Ｋ縮小映像生成手段１０４は、分割領域の位置に応じて２Ｋ縮小映像を並べた４Ｋ縮小映像を生成するものである。つまり、４Ｋ縮小映像生成手段１０４は、各合成装置２０が生成した２Ｋ縮小映像を、その合成装置２０に割り当てられた分割領域の位置に応じて並べることで４Ｋ縮小映像を生成する。例えば、４Ｋ縮小映像生成手段１０４は、１台目の合成装置２０１が生成した２Ｋ縮小映像を左上に配置し、２台目の合成装置２０２が生成した２Ｋ縮小映像を左下に配置する。また、４Ｋ縮小映像生成手段１０４は、３台目の合成装置２０３が生成した２Ｋ縮小映像を右上に配置し、４台目の合成装置２０４が生成した２Ｋ縮小映像を右下に配置する。
その後、４Ｋ縮小映像生成手段１０４は、ＳＤＩボード１１０を介して、生成した４Ｋ縮小映像を４Ｋディスプレイ５０に出力する。
その後、４Ｋ縮小映像生成手段１０４は、ＳＤＩボード１１０を介して、生成した４Ｋ縮小映像を４Ｋディスプレイ５０に出力する。
【0039】
［合成装置の構成］
図５を参照し、合成装置２０の構成について説明する。ここでは、４台の合成装置２０が同一構成のため、１台の合成装置２０についてのみ説明する。
図５のように、合成装置２０のＣＰＵ２００は、合成プロセス２１０と、デコードプロセス２２０と、プロセス間共有メモリ２３０とを備える。前記したように、各合成装置２０は、マルチタスクＯＳのプロセスとして、合成プロセス２１０及びデコードプロセス２２０を任意の数だけ起動し、並列処理を行うことができる。
図５を参照し、合成装置２０の構成について説明する。ここでは、４台の合成装置２０が同一構成のため、１台の合成装置２０についてのみ説明する。
図５のように、合成装置２０のＣＰＵ２００は、合成プロセス２１０と、デコードプロセス２２０と、プロセス間共有メモリ２３０とを備える。前記したように、各合成装置２０は、マルチタスクＯＳのプロセスとして、合成プロセス２１０及びデコードプロセス２２０を任意の数だけ起動し、並列処理を行うことができる。
【0040】
＜デコードプロセスの並列処理＞
図６を参照し、デコードプロセス２２０の並列処理について説明した後、合成装置２０の構成を説明する。
合成装置２０では、合成処理よりデコード処理に時間を要するため、合成プロセス２１０の数よりデコードプロセス２２０の数を多くするとよい。図６では、１台目の合成装置２０１が、１つの合成プロセス２１０を起動し、４つのデコードプロセス２２０１～２２０４を起動することとして説明する。つまり、図６の例では、４つのデコードプロセス２２０１～２２０４が並列処理を行う。
図６を参照し、デコードプロセス２２０の並列処理について説明した後、合成装置２０の構成を説明する。
合成装置２０では、合成処理よりデコード処理に時間を要するため、合成プロセス２１０の数よりデコードプロセス２２０の数を多くするとよい。図６では、１台目の合成装置２０１が、１つの合成プロセス２１０を起動し、４つのデコードプロセス２２０１～２２０４を起動することとして説明する。つまり、図６の例では、４つのデコードプロセス２２０１～２２０４が並列処理を行う。
【0041】
図６に示すように、合成装置２０１は、２つの圧縮分割素材映像Ｖ１，Ｖ２をデコードして合成することとする。具体的には、合成装置２０１は、フレーム番号（０）で圧縮分割素材映像Ｖ１をデコードし、フレーム番号（１）～（４）で圧縮分割素材映像Ｖ１，Ｖ２をデコードして合成する。
【0042】
合成装置２０１は、４つのデコードプロセス２２０１～２２０４に対し、順番にデコードするフレームを割り当てる。つまり、合成装置２０１は、４つのデコードプロセス２２０１～２２０４で処理するフレーム番号（０）～（４）を決定する。本実施形態では、各デコードプロセス２２０１～２２０４が４フレーム間隔で処理を行うことになる。従って、フレーム番号（０），（４）が１つめのデコードプロセス２２０１で処理され、フレーム番号（１）が２つめのデコードプロセス２２０２で処理される。また、フレーム番号（２）が３つめのデコードプロセス２２０３で処理され、フレーム番号（３）が４つめのデコードプロセス２２０４で処理されることになる。
なお、図６では、デコードされた後の映像をＯ１，Ｏ２とする。また、Ｖ１，Ｖ２，Ｏ１，Ｏ２に付したカッコ書きの数値は、フレーム番号を意味する。
なお、図６では、デコードされた後の映像をＯ１，Ｏ２とする。また、Ｖ１，Ｖ２，Ｏ１，Ｏ２に付したカッコ書きの数値は、フレーム番号を意味する。
【0043】
以下、１つめのデコードプロセス２２０１に着目する。フレーム番号（０）では、１つめのデコードプロセス２２０１が圧縮分割素材映像Ｖ１（０）を分割素材映像Ｏ１（０）としてデコードする。そして、合成プロセス２１０が、この分割素材映像Ｏ１（０）をそのまま分割合成映像として出力する。
【0044】
フレーム番号（４）では、デコードプロセス２２０１が圧縮分割素材映像Ｖ１（４）を分割素材映像Ｏ１（４）としてデコードし、圧縮分割素材映像Ｖ２（４）を分割素材映像Ｏ２（４）としてデコードする。さらに、合成プロセス２１０が、分割素材映像Ｏ１（４）に分割素材映像Ｏ２（４）を合成し、分割合成映像Ｏ１（４）として出力する。
【0045】
図５に戻り、合成装置２０の構成について、説明を続ける。
合成プロセス２１０は、デコードジョブ生成手段２１１と、圧縮分割素材映像読出手段２１２と、合成手段２１３と、２Ｋ縮小映像生成手段２１４とを備える。
合成プロセス２１０は、デコードジョブ生成手段２１１と、圧縮分割素材映像読出手段２１２と、合成手段２１３と、２Ｋ縮小映像生成手段２１４とを備える。
【0046】
デコードジョブ生成手段２１１は、制御装置１０が生成したレンダリングジョブで指定された分割素材映像のデコードを指令するデコードジョブを生成するものである。具体的には、デコードジョブ生成手段２１１は、制御装置１０からレンダリングジョブを受信すると、圧縮分割素材映像の読み出しを圧縮分割素材映像読出手段２１２に依頼する。そして、デコードジョブ生成手段２１１は、読み出した圧縮分割素材映像のデコード指令を、デコードジョブとして合成手段２１３に送信する。
【0047】
圧縮分割素材映像読出手段２１２は、デコードジョブ生成手段２１１から依頼された圧縮分割素材映像を記憶装置３０から読み出すものである。具体的には、圧縮分割素材映像読出手段２１２は、制御装置１０から受信したレンダリングジョブで指定された識別情報及びフレーム番号の圧縮分割素材映像を記憶装置３０から読み出す。そして、圧縮分割素材映像読出手段２１２は、読み出した圧縮分割素材映像をプロセス間共有メモリ２３０に格納する。
【0048】
合成手段２１３は、制御装置１０が生成したレンダリングジョブに基づいて、後記するデコード手段２２１がデコードした分割素材映像を合成するものである。例えば、合成手段２１３は、ディゾルブ、ワイプ等の合成処理をプロセス間共有メモリ２３０の分割素材映像に施す。そして、合成手段２１３は、生成した分割合成映像をＳＤＩボード２４０のバッファ２４３（図８）に書き込み、当該分割合成映像が出力可能になった旨をＳＤＩボード２４０に送信する。このように、合成手段２１３は、ＳＤＩボード２４０を介して、生成した分割合成映像を８Ｋディスプレイ（６０Ｐ）４０に出力する。
【0049】
＜８Ｋ座標系から４Ｋ座標系への変換＞
ここで、各合成装置２０は、８Ｋの素材映像を分割した４Ｋの分割素材映像を扱う。このため、各合成装置２０は、以下で説明するように、レンダリングジョブに含まれる８Ｋ座標系を４Ｋ座標系に変換する。
ここで、各合成装置２０は、８Ｋの素材映像を分割した４Ｋの分割素材映像を扱う。このため、各合成装置２０は、以下で説明するように、レンダリングジョブに含まれる８Ｋ座標系を４Ｋ座標系に変換する。
【0050】
図７に示すように、素材映像の右下に「○○○…○○○」という文字スーパー画像を重畳する場合を考える。例えば、４台目の合成装置２０４は、右下の分割領域が割り当てられているので、文字スーパー画像の一部を重畳する必要がある。このため、４台目の合成装置２０４は、レンダリングジョブに含まれる合成処理の対象範囲として、文字スーパーの範囲を示す左上座標（ｘ１，ｙ１）～右下座標（ｘ２，ｙ２）を取得する。そして、合成装置２０４は、取得した左上座標（ｘ１，ｙ１）～右下座標（ｘ２，ｙ２）から、割り当てられた分割領域の左上座標（３８４０，２１６０）を減算し、正値に切り上げる座標変換を行う。座標変換後、文字スーパーの範囲は、左上座標（ｘ１－３８４０，ｙ１－２１６０）～右下座標（ｘ２－３８４０，ｙ２－２１６０）となる。
【0051】
なお、２台目の合成装置２０２であれば、合成処理の対象範囲から、割り当てられた分割領域の左上座標（０，２１６０）を減算すればよい。また、３台目の合成装置２０３であれば、合成処理の対象範囲から、割り当てられた分割領域の左上座標（３８４０，０）を減算すればよい。
また、重畳対象である文字スーパーは、静止画であり、再生開始前に内容が確定することから、合成装置２０のＣＰＵ２００やメモリ（不図示）の容量・性能を圧迫しないので、８Ｋの静止画のまま扱ってもよい。
また、重畳対象である文字スーパーは、静止画であり、再生開始前に内容が確定することから、合成装置２０のＣＰＵ２００やメモリ（不図示）の容量・性能を圧迫しないので、８Ｋの静止画のまま扱ってもよい。
【0052】
図５に戻り、合成装置２０の構成について、説明を続ける。
２Ｋ縮小映像生成手段２１４は、合成手段２１３が合成した分割合成映像を縮小し、２Ｋ縮小映像（分割縮小映像）を生成するものである。つまり、２Ｋ縮小映像生成手段２１４は、分割合成映像の解像度を４Ｋから２Ｋまでダウンコンバートする。そして、２Ｋ縮小映像生成手段２１４は、１０ＧｂＥボード２６０を介して、生成した２Ｋ縮小映像を制御装置１０に出力する。
２Ｋ縮小映像生成手段２１４は、合成手段２１３が合成した分割合成映像を縮小し、２Ｋ縮小映像（分割縮小映像）を生成するものである。つまり、２Ｋ縮小映像生成手段２１４は、分割合成映像の解像度を４Ｋから２Ｋまでダウンコンバートする。そして、２Ｋ縮小映像生成手段２１４は、１０ＧｂＥボード２６０を介して、生成した２Ｋ縮小映像を制御装置１０に出力する。
【0053】
デコードプロセス２２０は、デコード手段２２１を備える。
デコード手段２２１は、デコードジョブ生成手段２１１が生成したデコードジョブに基づいて、圧縮分割素材映像をデコードするものである。このデコード手段２２１は、デコードジョブで指定された内容のデコード処理を、プロセス間共有メモリ２３０に格納された圧縮分割素材映像に施す。そして、デコード手段２２１は、デコードした分割素材映像をプロセス間共有メモリ２３０に格納する。
デコード手段２２１は、デコードジョブ生成手段２１１が生成したデコードジョブに基づいて、圧縮分割素材映像をデコードするものである。このデコード手段２２１は、デコードジョブで指定された内容のデコード処理を、プロセス間共有メモリ２３０に格納された圧縮分割素材映像に施す。そして、デコード手段２２１は、デコードした分割素材映像をプロセス間共有メモリ２３０に格納する。
【0054】
プロセス間共有メモリ２３０は、マルチタスクＯＳにおいて、プロセス間で共有可能なメモリである。本実施形態では、プロセス間共有メモリ２３０は、合成プロセス２１０とデコードプロセス２２０との間で共有される。例えば、プロセス間共有メモリ２３０は、圧縮分割素材映像読出手段２１２が読み出した圧縮分割素材映像や、デコード手段２２１がデコードした分割素材映像を格納する。
【0055】
＜ＳＤＩボードの構成＞
図８を参照し、合成装置２０が備えるＳＤＩボード２４０の構成について説明する。
リアルタイム編集システム１では、何れか１台の合成装置２０に備えられたＳＤＩボード２４０がマスタＳＤＩボードとして予め設定される。また、リアルタイム編集システム１では、他の合成装置２０に備えられたＳＤＩボード２４０がスレーブＳＤＩボードとして予め設定される。本実施形態では、図８に示すように、１台目の合成装置２０１のＳＤＩボード２４０がマスタＳＤＩボード２４０１として設定されている。また、２台目から４台目までの合成装置２０２～２０４のＳＤＩボード２４０がスレーブＳＤＩボード２４０２～２４０４として設定されていることとする。
図８を参照し、合成装置２０が備えるＳＤＩボード２４０の構成について説明する。
リアルタイム編集システム１では、何れか１台の合成装置２０に備えられたＳＤＩボード２４０がマスタＳＤＩボードとして予め設定される。また、リアルタイム編集システム１では、他の合成装置２０に備えられたＳＤＩボード２４０がスレーブＳＤＩボードとして予め設定される。本実施形態では、図８に示すように、１台目の合成装置２０１のＳＤＩボード２４０がマスタＳＤＩボード２４０１として設定されている。また、２台目から４台目までの合成装置２０２～２０４のＳＤＩボード２４０がスレーブＳＤＩボード２４０２～２４０４として設定されていることとする。
【0056】
ＳＤＩボード２４０は、外部同期信号を入力するＳｙｎｃ端子２４１と、３個のＳＤＩ端子２４２とを有する。また、ＳＤＩボード２４０は、バッファ２４３としてＤＤＲ３ ＳＤＲＡＭ（Double Data Rate3 Synchronous Dynamic Random Access Memory）を搭載する。また、ＳＤＩボード２４０は、ＰＣＩ Ｅｘｐｒｅｓｓ（ｒｅｖ３）×８レーンでＣＰＵ２００に接続される（符号２４４）。また、各合成装置２０に備えられたＳＤＩボード２４０を同期させるため、ＬＶＤＳ入力端子２４５ＩＮ及びＬＶＤＳ出力端子２４５ＯＵＴを備える。
なお、前記したＳＤＩボード２４０の構成は、マスタＳＤＩボード２４０１及びスレーブＳＤＩボード２４０２～２４０４で共通する。
なお、前記したＳＤＩボード２４０の構成は、マスタＳＤＩボード２４０１及びスレーブＳＤＩボード２４０２～２４０４で共通する。
【0057】
また、ＳＤＩボード２４０は、ＬＶＤＳによりリング接続されている。つまり、デイジーチェーンの先頭から末尾に順に接続され、デイジーチェーンの末尾から先頭に戻るように、４台のＳＤＩボード２４０が全体でリング状に接続されている。具体的には、マスタＳＤＩボード２４０１のＬＶＤＳ出力端子２４５ＯＵＴが、スレーブＳＤＩボード２４０２のＬＶＤＳ入力端子２４５ＩＮに接続される。また、スレーブＳＤＩボード２４０２のＬＶＤＳ出力端子２４５ＯＵＴが、スレーブＳＤＩボード２４０３のＬＶＤＳ入力端子２４５ＩＮに接続される。また、スレーブＳＤＩボード２４０３のＬＶＤＳ出力端子２４５ＯＵＴが、スレーブＳＤＩボード２４０４のＬＶＤＳ入力端子２４５ＩＮに接続される。また、スレーブＳＤＩボード２４０４のＬＶＤＳ出力端子２４５ＯＵＴが、マスタＳＤＩボード２４０１のＬＶＤＳ入力端子２４５ＩＮに接続される。これにより、各ＳＤＩボード２４０は、受信したデータを接続先のＳＤＩボード２４０に即座に送信することができ、伝送クロックで数クロック以内という略同時刻に同一データを共有できる。
【0058】
前記したように、ＳＤＩボード２４０は、合成が最も遅れている合成装置２０に合わせて、分割合成映像を同期して出力する。このため、マスタＳＤＩボード２４０１は、問合手段２４６と、指令手段２４７と、同期出力手段（第１の同期出力手段）２４８Ｍとを備える。
問合手段２４６は、分割合成映像の次フレーム番号をスレーブＳＤＩボード２４０２～２４０４に問い合わせるものである。
指令手段２４７は、最小の次フレーム番号の分割合成映像の出力をマスタＳＤＩボード２４０１及びスレーブＳＤＩボード２４０２～２４０４に指令するものである。この最小の次フレーム番号は、スレーブＳＤＩボード２４０２～２４０４が応答した次フレーム番号、及び、マスタＳＤＩボード２４０１を備える合成装置２０１が出力予定の次フレーム番号のうち、最小のものである。
同期出力手段２４８Ｍは、指令手段２４７から指令された次フレーム番号の分割合成映像を同期して出力するものである。
問合手段２４６は、分割合成映像の次フレーム番号をスレーブＳＤＩボード２４０２～２４０４に問い合わせるものである。
指令手段２４７は、最小の次フレーム番号の分割合成映像の出力をマスタＳＤＩボード２４０１及びスレーブＳＤＩボード２４０２～２４０４に指令するものである。この最小の次フレーム番号は、スレーブＳＤＩボード２４０２～２４０４が応答した次フレーム番号、及び、マスタＳＤＩボード２４０１を備える合成装置２０１が出力予定の次フレーム番号のうち、最小のものである。
同期出力手段２４８Ｍは、指令手段２４７から指令された次フレーム番号の分割合成映像を同期して出力するものである。
【0059】
また、スレーブＳＤＩボード２４０２～２４０４は、応答手段２４９と、同期出力手段（第２の同期出力手段）２４８Ｓとを備える。
応答手段２４９は、問合手段２４６からの問い合わせに応じて、そのスレーブＳＤＩボード２４０２～２４０４を備える合成装置２０２～２４０４が出力予定の次フレーム番号を、問合手段２４６に応答するものである。
同期出力手段２４８Ｓは、指令手段２４７から指令された次フレーム番号の分割合成映像を同期して出力するものである。
なお、スレーブＳＤＩボード２４０３，２４０４の符号は、図面を見やすくするために省略した。
応答手段２４９は、問合手段２４６からの問い合わせに応じて、そのスレーブＳＤＩボード２４０２～２４０４を備える合成装置２０２～２４０４が出力予定の次フレーム番号を、問合手段２４６に応答するものである。
同期出力手段２４８Ｓは、指令手段２４７から指令された次フレーム番号の分割合成映像を同期して出力するものである。
なお、スレーブＳＤＩボード２４０３，２４０４の符号は、図面を見やすくするために省略した。
【0060】
＜ＳＤＩボードによる同期制御＞
図９を参照し、ＳＤＩボード２４０による同期制御について説明する。
図９は、合成装置２０がバッファ２４３に分割合成映像を格納するタイミングと、ＳＤＩボード２４０がバッファ２４３の分割合成映像を出力するタイミングと、ビデオクロックを出力するタイミングと、ＳＤＩボード２４０による同期制御とを表している。
なお、図９では、横軸が時間の経過を表し、分割素材映像や分割合成映像で連続する４枚のフレーム画像を異なるハッチングで図示した。
図９を参照し、ＳＤＩボード２４０による同期制御について説明する。
図９は、合成装置２０がバッファ２４３に分割合成映像を格納するタイミングと、ＳＤＩボード２４０がバッファ２４３の分割合成映像を出力するタイミングと、ビデオクロックを出力するタイミングと、ＳＤＩボード２４０による同期制御とを表している。
なお、図９では、横軸が時間の経過を表し、分割素材映像や分割合成映像で連続する４枚のフレーム画像を異なるハッチングで図示した。
【0061】
図９上段に示すように、各合成装置２０が合成を終えて、ＳＤＩボード２４０のバッファ２４３に分割合成映像を格納するタイミングは異なっている。例えば、１枚目及び２枚目の分割合成映像では、４台目の合成装置２０４が最も遅いタイミングとなる。また、３枚目及び４枚目の分割合成映像では、２台目の合成装置２０２が最も遅いタイミングとなる。
【0062】
このように、４台の合成装置２０が分割合成映像を生成するタイミングが異なるため、８Ｋの合成映像を得るためには、分割合成映像を同期させる必要がある。
ここで、ＳＤＩボード２４０をはじめとして、映像入出力インタフェースのタイミング同期の手段として、外部同期信号を用いる方法が一般的である。例えば、単一の同期信号源から送信される水平同期信号及び垂直同期信号に一致するタイミングで各装置が映像信号を出力することにより、複数の装置間でタイミングを同期させることができる。この方法によれば、複数の装置で映像信号を単純に同期させるだけであれば十分であるが、分割合成映像間で時刻の整合性を保つには不十分である。つまり、リアルタイム編集システム１では、４台の合成装置２０から出力される４Ｋの分割合成映像を８Ｋの合成映像として再構築する。このとき、リアルタイム編集システム１では、同時刻に出力される分割合成映像のフレーム画像が、同時刻の素材映像から分割されたものでなければならない。一般的な外部同期信号による同期では、分割合成映像間で時刻の整合性を保てず、不十分である。
ここで、ＳＤＩボード２４０をはじめとして、映像入出力インタフェースのタイミング同期の手段として、外部同期信号を用いる方法が一般的である。例えば、単一の同期信号源から送信される水平同期信号及び垂直同期信号に一致するタイミングで各装置が映像信号を出力することにより、複数の装置間でタイミングを同期させることができる。この方法によれば、複数の装置で映像信号を単純に同期させるだけであれば十分であるが、分割合成映像間で時刻の整合性を保つには不十分である。つまり、リアルタイム編集システム１では、４台の合成装置２０から出力される４Ｋの分割合成映像を８Ｋの合成映像として再構築する。このとき、リアルタイム編集システム１では、同時刻に出力される分割合成映像のフレーム画像が、同時刻の素材映像から分割されたものでなければならない。一般的な外部同期信号による同期では、分割合成映像間で時刻の整合性を保てず、不十分である。
【0063】
また、８Ｋ映像を４つの４Ｋ映像に分割して取り扱う記録再生装置についても検討する。この場合、再生対象が圧縮分割素材映像そのものであるため、記録再生装置で再生開始時の素材フレームと再生開始時刻を一致させておく。その後、同期信号に従って同じ枚数のフレームを順次、４台の記録再生装置から出力する同期方式が考えられる。しかし、リアルタイム編集システム１では、以下で述べるように、この同期方式の適用が困難である。再生開始時刻として、最もレンダリング処理の完了が遅くなる合成装置２０で分割合成映像を出力できる時刻を設定しなければならず、この設定は容易でない。さらに、合成に１／６０秒以上要する処理負荷の高いフレーム画像が連続する場合、いわゆる「コマ落ち」の状態となり、この状態で４Ｋ映像間の同期を取ることも容易ではない。
【0064】
そこで、リアルタイム編集システム１では、４台の合成装置２０に備えられたＳＤＩボード２４０が自律協調し、同一時刻に同一フレームの分割合成映像を出力する方式を採用した。図９下段に示すように、各ＳＤＩボード２４０は、バッファ２４３に格納された分割合成映像を１／６０秒間隔でＳＤＩ信号として８Ｋディスプレイ（６０Ｐ）４０に出力する。レンダリング（合成）が１／６０秒未満で完了すれば、１／６０秒後には次フレームの分割合成映像をバッファ２４３から出力できるので、４Ｋ６０Ｐの動画再生が可能となる。
【0065】
実際に出力したい合成映像の解像度が８Ｋであるのに対し、分割合成映像の解像度が４Ｋである。従って、リアルタイム編集システム１では、正しい合成映像を出力するために、４台のＳＤＩボード２４０からの分割合成映像がフレーム単位で同期しなければならない。
【0066】
前記したように、４台のＳＤＩボード２４０のうち、何れか１台がマスタＳＤＩボード２４０１として設定され、他の３台がスレーブＳＤＩボード２４０２～２４０４として設定されている。そして、マスタＳＤＩボード２４０１が、次のフレームとして出力すべき映像のフレーム番号（「次フレーム番号」）をスレーブＳＤＩボード２４０２～２４０４に送信する。これにより、全てのスレーブＳＤＩボード２４０２～２４０４が同時刻に同一フレームを出力できる。
【0067】
ここで、リアルタイム編集システム１では、各合成装置２０がレンダリングを非同期に行って分割合成映像を生成し、生成した分割合成映像がＳＤＩボード２４０に順次バッファリングする。この処理過程を踏まえると、次フレーム番号は、全合成装置２０がバッファリングを完了した（すなわち出力可能な）フレーム画像の中で最も古いフレーム画像を表すことになる。また、制御装置１０がレンダリング指令を１回生成する毎に、フレーム番号を更新して付与する単調増加する整数値とする。この場合、次フレーム番号は、全合成装置２０の出力可能フレーム番号の最小値を表すことになる。従って、マスタＳＤＩボード２４０１は、スレーブＳＤＩボード２４０２～２４０４に対し、次フレーム番号の問い合わせをＬＶＤＳリングで行い、各合成装置２０の出力フレームの同期を取る。
【0068】
図９下段に示すように、マスタＳＤＩボード２４０１の問合手段２４６は、ＬＶＤＳリングで接続されたスレーブＳＤＩボード２４０２に対し、次フレーム番号を問い合わせる（ステップＳ２０）。
スレーブＳＤＩボード２４０２の応答手段２４９は、ＬＶＤＳリングで接続されたスレーブＳＤＩボード２４０３に対し、２台目の合成装置２０２の次フレーム番号を送信する（ステップＳ２１）。
スレーブＳＤＩボード２４０３の応答手段２４９は、ＬＶＤＳリングで接続されたスレーブＳＤＩボード２４０４に対し、３台目の合成装置２０３の次フレーム番号を送信する（ステップＳ２２）。
スレーブＳＤＩボード２４０４の応答手段２４９は、ＬＶＤＳリングで接続されたマスタＳＤＩボード２４０１に対し、４台目の合成装置２０４の次フレーム番号を送信する（ステップＳ２３）。
スレーブＳＤＩボード２４０２の応答手段２４９は、ＬＶＤＳリングで接続されたスレーブＳＤＩボード２４０３に対し、２台目の合成装置２０２の次フレーム番号を送信する（ステップＳ２１）。
スレーブＳＤＩボード２４０３の応答手段２４９は、ＬＶＤＳリングで接続されたスレーブＳＤＩボード２４０４に対し、３台目の合成装置２０３の次フレーム番号を送信する（ステップＳ２２）。
スレーブＳＤＩボード２４０４の応答手段２４９は、ＬＶＤＳリングで接続されたマスタＳＤＩボード２４０１に対し、４台目の合成装置２０４の次フレーム番号を送信する（ステップＳ２３）。
【0069】
すなわち、ステップＳ２３で生成した送信には、２台目の合成装置２０２～４台目の合成装置２０２の次フレーム番号が含まれている。また、マスタＳＤＩボード２４０１は、バッファリングされている分割合成映像より、１台目の合成装置２０１の次フレーム番号がわかる。
【0070】
そこで、指令手段２４７は、１台目の合成装置２０１の次フレーム番号と、スレーブＳＤＩボード２４０２～２４０４が応答した次フレーム番号とのうち、最小となる次フレーム番号を求める。そして、指令手段２４７は、求めた次フレーム番号の分割合成映像の出力をスレーブＳＤＩボード２４０２～２４０４に指令する。この指令は、ＬＶＤＳリングを介して、スレーブＳＤＩボード２４０２～２４０４に順次送信される。
さらに、指令手段２４７は、その次フレーム番号の分割合成映像の出力を、マスタＳＤＩボード２４０１の同期出力手段２４８Ｓに指令する（ステップＳ２４）。
さらに、指令手段２４７は、その次フレーム番号の分割合成映像の出力を、マスタＳＤＩボード２４０１の同期出力手段２４８Ｓに指令する（ステップＳ２４）。
【0071】
同期出力手段２４８Ｍ，２４８Ｓは、次フレームのビデオクロックで、次フレーム番号の分割合成映像を出力すると設定する（ステップＳ２５）。
次フレームのビデオクロックに合わせ、同期出力手段２４８Ｍ，２４８Ｓは、次フレーム番号の分割合成映像を出力する（ステップＳ２６）。
次フレームのビデオクロックに合わせ、同期出力手段２４８Ｍ，２４８Ｓは、次フレーム番号の分割合成映像を出力する（ステップＳ２６）。
【0072】
ステップＳ２０～Ｓ２５の処理は、１ビデオクロック期間（１／６０秒）以内に十分に収まる。そして、ステップＳ２６の処理において、ビデオクロックと同期して、分割合成映像の各フレーム画像をＳＤＩ出力する。２枚目以降のフレーム画像でもステップＳ２０～Ｓ２６の処理を繰り返すので、リアルタイムで分割合成映像を同期出力できる。
【0073】
この同期制御により、再生処理開始から最初のフレーム画像を出力するまでの時間を、最も合成が遅い合成装置２０において、合成処理が完了したフレームの次フレームを出力するという最短時間にできる。この最短時間とは、最も遅い合成装置２０が合成を完了した時刻が８Ｋの映像として成立する時刻であり、その時刻から次のフレーム出力タイミングで映像を出力するという意味である。さらに、４Ｋの各分割合成映像を制御装置１０や合成装置２０に集める必要がないため、メモリやＣＰＵの処理負荷を抑えることができる。
【0074】
なお、図９では、マスタＳＤＩボード２４０１が、内部クロック又は外部同期によりビデオクロック信号を生成し、スレーブＳＤＩボード２４０２～２４０４にＬＶＤＳリングで送信していることとする。
【0075】
図５に戻り、合成装置２０の構成について、説明を続ける。
合成装置２０の光ＩＦボード２５０は、バッファ２５１と、アドレステーブル２５２とを備える。
バッファ２５１は、４台の合成装置２０が生成した４つの分割合成映像を記憶するバッファメモリである。つまり、各合成装置２０は、それぞれのバッファ２５１に、各合成装置２０が生成した４つの分割合成映像を格納する。このバッファ２５１は、複数（例えば６４個）のフレームデータを格納可能なリングバッファであり、後記するバッファ番号で各リングバッファを特定できる。
アドレステーブル２５２は、バッファ２５１のバッファ領域を管理するテーブルである。
合成装置２０の光ＩＦボード２５０は、バッファ２５１と、アドレステーブル２５２とを備える。
バッファ２５１は、４台の合成装置２０が生成した４つの分割合成映像を記憶するバッファメモリである。つまり、各合成装置２０は、それぞれのバッファ２５１に、各合成装置２０が生成した４つの分割合成映像を格納する。このバッファ２５１は、複数（例えば６４個）のフレームデータを格納可能なリングバッファであり、後記するバッファ番号で各リングバッファを特定できる。
アドレステーブル２５２は、バッファ２５１のバッファ領域を管理するテーブルである。
【0076】
＜他領域レンダリング処理＞
図１０及び図１１を参照し、バッファ２５１を用いた他領域レンダリング処理について説明する。
前記したように、合成処理の際、他の合成装置２０に割り当てられた分割領域の素材映像を参照することもある。図１０に示すように、８Ｋ映像の右上にＰｉｎＰを行う場合を考える。このとき、右上の分割領域が割り当てられた３台目の合成装置２０３のみで８Ｋ映像のデコード処理を行うことを考える。この場合、３台目の合成装置２０３の演算量のみが増大し、各合成装置２０の演算量に大きな偏りが生じるために好ましくない。そこで、各合成装置２０で素材映像をデコードし、デコードされた素材映像を３台目の合成装置２０３が取得する手法を検討する。
図１０及び図１１を参照し、バッファ２５１を用いた他領域レンダリング処理について説明する。
前記したように、合成処理の際、他の合成装置２０に割り当てられた分割領域の素材映像を参照することもある。図１０に示すように、８Ｋ映像の右上にＰｉｎＰを行う場合を考える。このとき、右上の分割領域が割り当てられた３台目の合成装置２０３のみで８Ｋ映像のデコード処理を行うことを考える。この場合、３台目の合成装置２０３の演算量のみが増大し、各合成装置２０の演算量に大きな偏りが生じるために好ましくない。そこで、各合成装置２０で素材映像をデコードし、デコードされた素材映像を３台目の合成装置２０３が取得する手法を検討する。
【0077】
本実施形態では、各合成装置２０の光ＩＦボード２５０が、リング状のトポロジにより通信路を形成するので、各合成装置２０の間でＲＤＭＡ（Remote Direct Memory Access）通信が可能となる。このように、光ＩＦボード２５０は、各合成装置２０の間で分割合成映像を送受信するための通信路を構成する。以下、具体的な処理手順について説明する。
【0078】
図１１に示すように、バッファ予約手段１０２は、他の合成装置２０が記憶している分割素材映像を参照するか否かを判定する。例えば、バッファ予約手段１０２は、レンダリングジョブで、他の合成装置２０に割り当てられた分割領域が指定されている場合、他の合成装置２０が記憶している分割素材映像を参照すると判定する（ステップＳ３０）。
【0079】
バッファ予約手段１０２は、ステップＳ３０で分割素材映像を参照すると判定した場合、各合成装置２０が備える光ＩＦボード２５０のバッファ２５１を予約する。このとき、バッファ予約手段１０２は、各合成装置２０が記憶する４つの分割素材映像を格納できるだけのバッファ２５１を予約する。例えば、バッファ予約手段１０２は、アドレステーブル２５２を参照し、未使用のバッファ番号を連番で４つ予約済みとする（ステップＳ３１）。
【0080】
他領域レンダリングジョブ生成手段１０３は、予約したバッファ番号の最小値、及び、分割素材映像のフレーム番号が含まれる他領域レンダリングジョブを生成する（ステップＳ３２）。
他領域レンダリングジョブ生成手段１０３は、生成した他領域レンダリングジョブを合成装置２０に送信する（ステップＳ３３）。
他領域レンダリングジョブ生成手段１０３は、生成した他領域レンダリングジョブを合成装置２０に送信する（ステップＳ３３）。
【0081】
合成プロセス２１０は、制御装置１０からレンダリングジョブを受信し、指定されたフレーム番号の圧縮分割素材映像を記憶装置３０から読み出し、プロセス間共有メモリ２３０に書き込む（ステップＳ３４）。そして、合成プロセス２１０は、読み出した圧縮分割素材映像のデコード指令を、デコードジョブとしてデコードプロセス２２０に送信する（ステップＳ３５）。
【0082】
デコード手段２２１は、合成プロセス２１０から送信されたデコードジョブに基づいて、圧縮分割素材映像をデコードする（ステップＳ３６）。
デコード手段２２１は、デコードした分割素材映像を予約したバッファ２５１に書き込む。例えば、デコード手段２２１は、合成装置２０の識別番号（１～４）及び予約済みのバッファ番号で特定されるバッファ２５１に書き込む（ステップＳ３７）。
デコード手段２２１は、デコードした分割素材映像を予約したバッファ２５１に書き込む。例えば、デコード手段２２１は、合成装置２０の識別番号（１～４）及び予約済みのバッファ番号で特定されるバッファ２５１に書き込む（ステップＳ３７）。
【0083】
デコード手段２２１は、光ＩＦボード２５０にＲＤＭＡ処理を依頼する（ステップＳ３８）。このＲＤＭＡ処理とは、ある合成装置２０が備える光ＩＦボード２５０のバッファ２５１の内容を、他の合成装置２０が備える光ＩＦボード２５０のバッファ２５１に直接書き込むことである。
光ＩＦボード２５０は、デコード手段２２１からの依頼に応じて、ＲＤＭＡ処理を行う（ステップＳ３９）。
光ＩＦボード２５０は、デコード手段２２１からの依頼に応じて、ＲＤＭＡ処理を行う（ステップＳ３９）。
【0084】
ここで、ステップＳ３４～Ｓ３８の処理が４台の合成装置２０で並列に実行されるので、各合成装置２０に割り当てられた分割領域の素材映像が、その合成装置２０のバッファ２５１に格納された状態となる。そして、ステップＳ３９において、ＲＤＭＡ処理により、ある合成装置２０のバッファ２５１に格納された分割素材映像が他の合成装置２０のバッファ２５１にも格納される。これにより、各合成装置２０のバッファ２５１に全分割素材映像が格納された状態となる。
【0085】
合成手段２１３は、バッファ２５１に格納された全分割素材映像を読み出す（ステップＳ４０）。
合成手段２１３は、制御装置１０が生成した他領域レンダリングジョブに基づいて、読み出した全分割素材映像に合成処理を施す。例えば、合成手段２１３は、バッファ２５１読み出した全分割素材映像を縮小して重畳するＰｉｎＰ処理を行う（ステップＳ４１）。
合成手段２１３は、制御装置１０が生成した他領域レンダリングジョブに基づいて、読み出した全分割素材映像に合成処理を施す。例えば、合成手段２１３は、バッファ２５１読み出した全分割素材映像を縮小して重畳するＰｉｎＰ処理を行う（ステップＳ４１）。
【0086】
バッファ予約手段１０２は、ステップＳ３１で予約したバッファ２５１を解放する。例えば、バッファ予約手段１０２は、アドレステーブル２５２を参照し、連番で予約したバッファ番号を未予約状態とする（ステップＳ４２）。
なお、ステップＳ８～Ｓ１１の処理は、図３の編集処理と同様のため、説明を省略した。
また、ステップＳ８，Ｓ１０，Ｓ４１の処理は、ＰｉｎＰを行う３台目の合成装置２０３のみで実行すればよい。
なお、ステップＳ８～Ｓ１１の処理は、図３の編集処理と同様のため、説明を省略した。
また、ステップＳ８，Ｓ１０，Ｓ４１の処理は、ＰｉｎＰを行う３台目の合成装置２０３のみで実行すればよい。
【0087】
他領域レンダリング処理では、リアルタイム編集システム１が、バッファ２５１を用いることで、各合成装置２０にデコード処理を分散できるので、ある合成装置２０のみの演算量が増大する事態を抑制することができる。
【0088】
［作用・効果］
以上のように、リアルタイム編集システム１は、合成装置２０が超高解像度映像を分割して扱うので、分割素材映像のデータ量が低減し、合成装置２０内部のバス帯域が不足する事態を防止することができる。
さらに、リアルタイム編集システム１は、合成装置２０の合成プロセス２１０及びデコードプロセス２２０がマルチタスクＯＳのプロセスとして実装されている。これにより、リアルタイム編集システム１では、超高解像度映像の内容に応じて、それらプロセスの個数を容易に変更し、システム全体の処理能力を柔軟に増減することができる。
以上のように、リアルタイム編集システム１は、合成装置２０が超高解像度映像を分割して扱うので、分割素材映像のデータ量が低減し、合成装置２０内部のバス帯域が不足する事態を防止することができる。
さらに、リアルタイム編集システム１は、合成装置２０の合成プロセス２１０及びデコードプロセス２２０がマルチタスクＯＳのプロセスとして実装されている。これにより、リアルタイム編集システム１では、超高解像度映像の内容に応じて、それらプロセスの個数を容易に変更し、システム全体の処理能力を柔軟に増減することができる。
【0089】
従来のリアルタイム編集システムでは、合成処理及びデコード処理を個別の装置に割り当てるので、最も演算量が多いデコード処理にどの程度ＣＰＵを割り当てるかによって、装置構成が固定化されていた。このため、従来のリアルタイム編集システムでは、デコード処理以外を担当する装置には殆ど処理負荷がかからず、無駄が生じていた。一方、リアルタイム編集システム１は、合成装置２０でデコード処理及び合成処理の両方を行うので、合成装置２０の間で演算量の偏りが少なく、無駄を抑えることができる。
【0090】
（第２実施形態）
［リアルタイム編集システムの全体構成］
第２実施形態に係るリアルタイム編集システム１Ｂについて、第１実施形態と異なる点を説明する。
第１実施形態では超高解像度映像が８Ｋ６０Ｐであるのに対し、第２実施形態では超高解像度映像が８Ｋ１２０Ｐとより高フレームレートになっている。このため、リアルタイム編集システム１Ｂは、偶数台の合成装置２０を複数の処理系統に予めグループ分けし、その処理系統毎に時分割処理を行う点が第１実施形態と異なる。
［リアルタイム編集システムの全体構成］
第２実施形態に係るリアルタイム編集システム１Ｂについて、第１実施形態と異なる点を説明する。
第１実施形態では超高解像度映像が８Ｋ６０Ｐであるのに対し、第２実施形態では超高解像度映像が８Ｋ１２０Ｐとより高フレームレートになっている。このため、リアルタイム編集システム１Ｂは、偶数台の合成装置２０を複数の処理系統に予めグループ分けし、その処理系統毎に時分割処理を行う点が第１実施形態と異なる。
【0091】
８Ｋ－ＳＨＶ（Super High Vision）では、フルスペックＳＨＶを現時点で最高品質の映像と位置付けている。このフルスペックＳＨＶとは、解像度が７６８０×４３２０画素、ビット深度が１２ビット、サンプリング構造がＲＧＢ４：４：４、フレームレートが１２０Ｐの映像のことである。
【0092】
第１実施形態では、超高解像度映像の解像度が７６８０×４３２０画素、サンプリング構造がＹＣｂＣｒ４：２：２、フレームレートが６０Ｐなので、フルスペックＳＨＶに達していない。ビット深度及びサンプリング構造に関しては、素材映像が圧縮されているため増加するデータ量が少ないこと、内部演算のビット幅が元々１６ビット以上であることから、フルスペックＳＨＶへの対応が比較的容易である。一方、フレームレートを６０Ｐから１２０Ｐに上げるためには、各処理を２倍の速度で実行する必要があり、システム構成を変えずに高フレームレート化することは現実的ではない。
【0093】
そこで、リアルタイム編集システム１Ｂは、図１２に示すように、１台の制御装置１０と、８台の合成装置２０と、８台の記憶装置（不図示）と、８Ｋディスプレイ（１２０Ｐ）４０Ｂと、４Ｋディスプレイ５０とを備える。そして、リアルタイム編集システム１Ｂは、８台の合成装置２０を４台ずつ、第１の処理系統２０Ａ及び第２の処理系統２０Ｂにグループ分けし、各処理系統２０Ａ,２０Ｂが６０Ｐの処理を担当することとした。第１実施形態で説明したように、４台の合成装置２０で６０Ｐの超高解像度映像を合成できるので、２つの処理系統２０Ａ,２０Ｂで偶数番フレームと奇数番フレームを交互に処理し出力すれば、１２０Ｐの超高解像度映像が得られる。
【0094】
まず、制御装置１０は、レンダリングジョブを生成する。レンダリングジョブの生成は、合成装置２０が８台あることを除き、第１実施形態と同様である。そして、制御装置１０は、処理系統２０Ａ,２０Ｂのそれぞれに、１フレーム毎に交互にレンダリングジョブを送信する。すると、各合成装置２０は、第１実施形態と同様、レンダリングジョブに従って、分割素材映像のデコード及び合成を行う。
【0095】
そして、処理系統２０Ａ,２０Ｂは、１／６０秒間隔でフレーム画像を８Ｋディスプレイ（１２０Ｐ）４０Ｂに出力する。８Ｋディスプレイ（１２０Ｐ）４０Ｂは、処理系統２０Ａ,２０Ｂからのフレーム画像をフレームバッファに交互に蓄積し、蓄積したフレーム画像を１／１２０秒毎に出力する。
【0096】
図１３に示すように、８Ｋディスプレイ（１２０Ｐ）４０Ｂは、第１の処理系統２０Ａ用に６個のフレームバッファ４１Ａを備え、第２の処理系統２０Ｂ用に６個のフレームバッファ４１Ｂを備える。つまり、８Ｋディスプレイ（１２０Ｐ）４０Ｂは、計１２個のフレームバッファ４１を備える。
なお、図１３には、各フレームバッファ４１のバッファ番号ｂと各フレームバッファ４１のフレーム番号ｆとを図示した。バッファ番号ｂは、６個のフレームバッファ４１Ａ，４１Ｂを一意に識別する番号であり、０～５までの整数となる。フレーム番号ｆは、各フレームバッファ４１に格納されたフレーム画像を一意に識別する番号である。例えば、リアルタイム編集システム１Ｂの起動後から連番で単調増加する整数値である（図１３の例では、０～１１）。
なお、図１３には、各フレームバッファ４１のバッファ番号ｂと各フレームバッファ４１のフレーム番号ｆとを図示した。バッファ番号ｂは、６個のフレームバッファ４１Ａ，４１Ｂを一意に識別する番号であり、０～５までの整数となる。フレーム番号ｆは、各フレームバッファ４１に格納されたフレーム画像を一意に識別する番号である。例えば、リアルタイム編集システム１Ｂの起動後から連番で単調増加する整数値である（図１３の例では、０～１１）。
【0097】
合成装置２０（合成プロセス２１０）は、分割合成映像をＳＤＩ出力する際、レンダリングジョブに含まれるフレーム番号ｆからバッファ番号ｂを算出する。ここで、バッファ番号ｂは、下記の式（１）を用いて算出できる。このバッファ番号ｂは、処理系統２０Ａ，２０Ｂのそれぞれで０～５の間を循環する数値となる。
なお、式（１）では、αが処理系統２０の数、βが処理系統２０毎のバッファの個数である。
ｂ＝（ｆ／α）％β
＝（ｆ／２）％６ …式（１）
なお、式（１）では、αが処理系統２０の数、βが処理系統２０毎のバッファの個数である。
ｂ＝（ｆ／α）％β
＝（ｆ／２）％６ …式（１）
【0098】
８Ｋディスプレイ（１２０Ｐ）４０Ｂは、受信した分割合成映像を、処理系統２０Ａ，２０Ｂで指定されたバッファ番号ｂのフレームバッファ４１Ａ，４１Ｂに格納する。図１３の例では、８Ｋディスプレイ（１２０Ｐ）４０Ｂは、フレーム番号ｆが０～１１のフレーム画像を１２枚、フレームバッファ４１に格納している。このとき、８Ｋディスプレイ（１２０Ｐ）４０Ｂは、1／１２０秒毎にフレームバッファ４１Ａ，４１Ｂからフレーム画像を交互に出力すると、１２０Ｐの超高解像度映像が得られる。
【0099】
なお、ＳＤＩ出力のタイミングは、再生開始からの遅延と処理系統２０Ａ，２０Ｂの処理時間のばらつきを考慮して、処理系統２０Ａの入力時刻から３フレーム後としてもよい。これにより、処理系統２０Ａを基準として、６０Ｐ相当で±２フレームの範囲内で処理系統２０Ｂが得られので、１２０Ｐの超高解像度映像の出力を継続できる。処理系統２０Ａ，２０Ｂでは、１／６０秒のビデオクロックに合わせてＳＤＩ出力を行っているので、±２フレームの範囲内に収まる。
【0100】
［作用・効果］
以上のように、リアルタイム編集システム１Ｂは、第１実施形態と同様の効果に加え、さらなる高フレームレート化を図り、フルスペックＳＨＶにも対応することができる。
以上のように、リアルタイム編集システム１Ｂは、第１実施形態と同様の効果に加え、さらなる高フレームレート化を図り、フルスペックＳＨＶにも対応することができる。
【0101】
（変形例）
以上、本発明の実施形態を詳述してきたが、本発明は前記した各実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
以上、本発明の実施形態を詳述してきたが、本発明は前記した各実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【0102】
超高解像度映像の解像度、フレームレート及びサンプリング構造は、前記した実施形態に限定されないことは言うまでもない。
前記した各実施形態では、合成装置と記憶装置が別々の構成であることとして説明したが、合成装置が記憶装置を内蔵してもよい。
前記した各実施形態では、合成後の超高解像度映像をＳＤＩディスプレイに出力することとして説明したが、その出力先は特に限定されない。
前記した各実施形態では、合成装置と記憶装置が別々の構成であることとして説明したが、合成装置が記憶装置を内蔵してもよい。
前記した各実施形態では、合成後の超高解像度映像をＳＤＩディスプレイに出力することとして説明したが、その出力先は特に限定されない。
【0103】
ＳＤＩ信号の規格（ＡＲＩＢ ＳＴＤ－Ｂ５８）では、超高解像度映像を２Ｋサイズのサブストリームに分割し、このサブストリームを複数の伝送リンクにより送受信する通信方法が規定されている。サブストリームへの分割が２サンプルインタリーブという方式で行われるため、８Ｋ映像の全体を参照しなければ、サブストリームを生成できない。前記した各実施形態では、各合成装置からの出力が４Ｋの分割合成映像であるため、前記した規格に従った８Ｋ映像となっていない。そこで、４つの分割合成映像を一旦、１個のフレームメモリに蓄積し、このフレームメモリから規格に従った８Ｋ映像を出力する変換装置を併用してもよい。この変換装置は、処理が単純なため、ＦＰＧＡ（Field Programmable Gate Array）を用いて、容易に構成可能である。
【符号の説明】
【0104】
１ リアルタイム編集システム
１０ 制御装置
１００ ＣＰＵ
１０１ レンダリングジョブ生成手段
１０２ バッファ予約手段
１０３ 他領域レンダリングジョブ生成手段（第２レンダリングジョブ生成手段）
１０４ ４Ｋ縮小映像生成手段
１１０ ＳＤＩボード
１２０ １０ＧｂＥボード
２０ 合成装置
２００ ＣＰＵ
２１０ 合成プロセス
２１１ デコードジョブ生成手段
２１２ 圧縮分割素材映像読出手段
２１３ 合成手段
２１４ ２Ｋ縮小映像生成手段
２２０ デコードプロセス
２２１ デコード手段
２３０ プロセス間共有メモリ
２４０ ＳＤＩボード
２４０１ マスタＳＤＩボード
２４０２～２４０４ スレーブＳＤＩボード
２４１ Ｓｙｎｃ端子
２４２ ＳＤＩ端子
２４３ バッファ
２４４ ＰＣＩ Ｅｘｐｒｅｓｓ
２４５ＩＮ ＬＶＤＳ入力端子
２４５ＯＵＴ ＬＶＤＳ出力端子
２４６ 問合手段
２４７ 指令手段
２４８Ｍ 同期出力手段（第１の同期出力手段）
２４８Ｓ 同期出力手段（第２の同期出力手段）
２４９ 応答手段
２５０ 光ＩＦボード
２５１ バッファ
２５２ アドレステーブル
２６０ １０ＧｂＥボード
３０ 記憶装置（ＨＤＤ）
４０ ８Ｋディスプレイ（６０Ｐ）
４０Ｂ ８Ｋディスプレイ（１２０Ｐ）
５０ ４Ｋディスプレイ
１０ 制御装置
１００ ＣＰＵ
１０１ レンダリングジョブ生成手段
１０２ バッファ予約手段
１０３ 他領域レンダリングジョブ生成手段（第２レンダリングジョブ生成手段）
１０４ ４Ｋ縮小映像生成手段
１１０ ＳＤＩボード
１２０ １０ＧｂＥボード
２０ 合成装置
２００ ＣＰＵ
２１０ 合成プロセス
２１１ デコードジョブ生成手段
２１２ 圧縮分割素材映像読出手段
２１３ 合成手段
２１４ ２Ｋ縮小映像生成手段
２２０ デコードプロセス
２２１ デコード手段
２３０ プロセス間共有メモリ
２４０ ＳＤＩボード
２４０１ マスタＳＤＩボード
２４０２～２４０４ スレーブＳＤＩボード
２４１ Ｓｙｎｃ端子
２４２ ＳＤＩ端子
２４３ バッファ
２４４ ＰＣＩ Ｅｘｐｒｅｓｓ
２４５ＩＮ ＬＶＤＳ入力端子
２４５ＯＵＴ ＬＶＤＳ出力端子
２４６ 問合手段
２４７ 指令手段
２４８Ｍ 同期出力手段（第１の同期出力手段）
２４８Ｓ 同期出力手段（第２の同期出力手段）
２４９ 応答手段
２５０ 光ＩＦボード
２５１ バッファ
２５２ アドレステーブル
２６０ １０ＧｂＥボード
３０ 記憶装置（ＨＤＤ）
４０ ８Ｋディスプレイ（６０Ｐ）
４０Ｂ ８Ｋディスプレイ（１２０Ｐ）
５０ ４Ｋディスプレイ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】