特許 7406169 同期制御装置、同期制御方法、および、同期制御プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-12-19

(45)【発行日】2023-12-27

(54)【発明の名称】同期制御装置、同期制御方法、および、同期制御プログラム

(51)【国際特許分類】

   H04N 21/44 20110101AFI20231220BHJP

【ＦＩ】

H04N21/44

【請求項の数】 7

(21)【出願番号】P 2022530465

(86)(22)【出願日】2020-06-11

(86)【国際出願番号】 JP2020023061

(87)【国際公開番号】W WO2021250861

(87)【国際公開日】2021-12-16

【審査請求日】2022-11-18

(73)【特許権者】

【識別番号】000004226

【氏名又は名称】日本電信電話株式会社

(74)【代理人】

【識別番号】100083806

【弁理士】

【氏名又は名称】三好 秀和

(74)【代理人】

【識別番号】100129230

【弁理士】

【氏名又は名称】工藤 理恵

(72)【発明者】

【氏名】小野 正人

(72)【発明者】

【氏名】深津 真二

(72)【発明者】

【氏名】星出 高秀

【審査官】富樫 明

(56)【参考文献】

【文献】国際公開第２００７／１２３００８（ＷＯ，Ａ１）

【文献】特開２００４－４０４５０（ＪＰ，Ａ）

【文献】特許第６６４７２４１（ＪＰ，Ｂ２）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２１／００－２１／８５８

(57)【特許請求の範囲】

【請求項1】

送信システムからの信号を受信する受信システムで用いられる同期制御装置であって、
前記受信システムは、受信した信号を対応する提示装置に出力する受信装置と、複数の提示装置とを備え、
前記同期制御装置は、
所定の出力指定時刻を指定した第１テスト信号を提示装置毎に生成し、前記受信装置に送信する第１生成部と、
第１テスト信号が前記受信装置から各提示装置に向けて出力された出力時刻を、提示装置毎に取得し、提示装置毎の前記出力時刻と前記出力指定時刻との差分と、各提示装置のリフレッシュレートとを用いて、前記受信装置が出力する提示装置毎の信号が同期するタイミングを算出する算出部と、
算出した前記タイミングでテストパターンが前記受信装置から出力される第２テスト信号を提示装置毎に生成し、前記受信装置に送信する第２生成部と、を備える
同期制御装置。

【請求項2】

各提示装置の提示を検出する検出装置から、各提示装置での前記テストパターンの提示を検出した結果を取得し、前記結果から前記テストパターンの各提示装置での提示時刻を特定する検出部を備える
請求項１に記載の同期制御装置。

【請求項3】

前記提示時刻と、前記テストパターンを前記受信装置が出力するタイミングとして指定した出力指定時刻とを比較して、各提示装置の遅延量を算出する算出部を備える
請求項２に記載の同期制御装置。

【請求項4】

各提示装置の前記遅延量の中から最も大きい遅延量を選択して前記受信装置に送信し、前記受信装置に出力指定時刻のオフセット値を補正させる補正部を備える
請求項３に記載の同期制御装置。

【請求項5】

前記テストパターンは、映像信号の色の変更、照明の色または制御の変更、および音または音声の少なくとも１つを含む
請求項１から４のいずれか１項に記載の同期制御装置。

【請求項6】

送信システムからの信号を受信する受信システムで用いられる同期制御装置が行う同期制御方法であって、
前記受信システムは、受信した信号を対応する提示装置に出力する受信装置と、複数の提示装置とを備え、
前記同期制御装置は、
所定の出力指定時刻を指定した第１テスト信号を提示装置毎に生成し、前記受信装置に送信する第１生成ステップと、
第１テスト信号が前記受信装置から各提示装置に向けて出力された出力時刻を、提示装置毎に取得し、提示装置毎の前記出力時刻と前記出力指定時刻との差分と、各提示装置のリフレッシュレートとを用いて、前記受信装置が出力する提示装置毎の信号が同期するタイミングを算出する算出ステップと、
算出した前記タイミングでテストパターンが前記受信装置から出力される第２テスト信号を提示装置毎に生成し、前記受信装置に送信する第２生成ステップと、を行う
同期制御方法。

【請求項7】

請求項１から５のいずれか１項に同期制御装置として、コンピュータを機能させる同期制御プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、同期制御装置、同期制御方法、および、同期制御プログラムに関する。

【背景技術】

【0002】

近年の情報機器および情報通信の発達に伴い、多様な映像配信形態が提供されている。映像配信を実現する技術として、国際標準規格のＭＭＴ（MPEG Media Transport）がある（非特許文献１、特許文献１参照）。

【0003】

ＭＭＴでは、送信システムから受信システムに、ＭＭＴＰ（MPEG Media Transport Protocol）データが送信される。このＭＭＴＰデータにおいて、コンテンツの出力時刻をＵＴＣ（Coordinated Universal Time）で指定し、受信システムで映像と音声とを同期して提示することが可能である。受信システムにおいて、ＭＭＴ受信装置が、ＭＭＴＰデータをデコードして、ＵＴＣで指定された出力時刻にコンテンツを提示装置に出力し、提示装置が出力されたデータを再生する。

【先行技術文献】

【特許文献】

【0004】

【文献】特許第6647241号公報

【非特許文献】

【0005】

【文献】一般社団法人 電波産業会、“ARIB STD-B60 デジタル放送におけるMMTによるメディアトランスポート方式 標準規格 ARIB STD-B60 1.4版”

【発明の概要】

【発明が解決しようとする課題】

【0006】

ライブビューイングの増加に伴い、付加価値として、臨場感のあるライブビューイングのニーズが高まっている。臨場感のあるライブビューイングを実現するために、ライブビューイング会場の照明、電飾等の状態を、ライブ会場と同様にすることが考えられる。一般的に照明制御は、ライブ会場内などの限られた広さの環境で実施されるものであり、遠隔地で映像と照明とを同期させるような使い方を想定していない。

【0007】

遠隔地のライブビューイング会場で、映像と照明との同期を実現するためには、ライブビューイング会場において映像信号と照明制御信号とが出力されるタイミングを、ライブ会場と同様に同期させる必要がある。しかしながら、ライブビューイング会場における映像の提示装置と、照明の提示装置との処理時間などの差により、映像信号等と照明制御信号とを同期させることは困難である。

【0008】

本発明は、上記事情に鑑みてなされたものであり、本発明の目的は、ライブビューイング会場などの受信システムで、映像と照明とを同期させるために必要なテストパターンを生成する同期制御装置、同期制御方法、および、同期制御プログラムを提供することにある。

【課題を解決するための手段】

【0009】

上記目的を達成するため、本発明の一態様は、送信システムからの信号を受信する受信システムで用いられる同期制御装置であって、前記受信システムは、受信した信号を対応する提示装置に出力する受信装置と、複数の提示装置とを備え、前記同期制御装置は、所定の出力指定時刻を指定した第１テスト信号を提示装置毎に生成し、前記受信装置に送信する第１生成部と、第１テスト信号が前記受信装置から各提示装置に向けて出力された出力時刻を、提示装置毎に取得し、提示装置毎の前記出力時刻と前記出力指定時刻との差分と、各提示装置のリフレッシュレートとを用いて、前記受信装置が出力する提示装置毎の信号が同期するタイミングを算出する算出部と、算出した前記タイミングでテストパターンが前記受信装置から出力される第２テスト信号を提示装置毎に生成し、前記受信装置に送信する第２生成部と、を備える。

【0010】

本発明の一態様は、送信システムからの信号を受信する受信システムで用いられる同期制御装置が行う同期制御方法であって、前記受信システムは、受信した信号を対応する提示装置に出力する受信装置と、複数の提示装置とを備え、前記同期制御装置は、所定の出力指定時刻を指定した第１テスト信号を提示装置毎に生成し、前記受信装置に送信する第１生成ステップと、第１テスト信号が前記受信装置から各提示装置に向けて出力された出力時刻を、提示装置毎に取得し、提示装置毎の前記出力時刻と前記出力指定時刻との差分と、各提示装置のリフレッシュレートとを用いて、前記受信装置が出力する提示装置毎の信号が同期するタイミングを算出する算出ステップと、算出した前記タイミングでテストパターンが前記受信装置から出力される第２テスト信号を提示装置毎に生成し、前記受信装置に送信する第２生成ステップと、を行う。

【0011】

本発明の一態様は、上記同期制御装置として、コンピュータを機能させる同期制御プログラムである。

【発明の効果】

【0012】

本発明によれば、ライブビューイング会場などの受信システムで、映像と照明とを同期させるために必要なテストパターンを生成する同期制御装置、同期制御方法、および、同期制御プログラムを提供することができる。

【図面の簡単な説明】

【0013】

【図1】実施形態の同期制御システムの概要を示す概略図である。

【図2】実施形態の同期制御システムのシステム構成図である。

【図3】複数種類の信号の同期ズレを説明する説明図である。

【図4】同期ズレの発生原因を説明する説明図である。

【図5】テスト信号を説明する説明図である。

【図6】実施形態の同期制御装置の構成図である。

【図7】リフレッシュレートが異なる信号におけるテストパターンの出力タイミングを説明するための説明図である。

【図8】リフレッシュレートが異なる信号が同期する周期を示す図である。

【図9】テスト信号の出力指定時刻と実際の出力時刻との差を示す説明図である。

【図10】テストパターンを含むテスト信号の一例を示す図である。

【図11A】ライブビューイング会場全体の映像データを取得する検出装置を備える例を示す図である。

【図11B】提示装置毎に検出装置を備える例を示す図である。

【図12】ハードウェア構成例である。

【発明を実施するための形態】

【0014】

以下、本発明の実施の形態について、図面を参照して説明する。

【0015】

本実施形態では、照明制御信号を、ネットワーク経由でカメラ等の映像と同期して伝送する同期制御システムにおいて、ライブビューイング会場で再生されるコンサート会場の映像（映像に映り込む照明の動き）と、ライブビューイング会場の照明の動きと、を同期させるために必要なテストパターンを出力する同期制御装置に関するものである。

【0016】

最初に、本実施形態の同期制御装置が適用される同期制御システムについて説明する。

【0017】

（同期制御システム）
図１は、本実施形態の同期制御システムの概要を示す概略図である。本システムは、映像及び音声以外のライブ会場の情報も遠隔地のライブビューイング会場に伝送することにより、より臨場感のあるライブビューイングを実現する。

【0018】

具体的には、映像及び音声以外のライブ会場の雰囲気を遠隔地で感じるために、ライブビューイング会場では、照明や電飾などの演出状態をライブ会場と同じようにする。このため、照明等の制御信号を、映像及び音声と同期してライブビューイング会場で出力する。なお、本実施形態では、映像と同期させる演出装置として、照明装置および電飾装置を用いるが、これら以外の装置を映像と同期させてもよい。

【0019】

また、ここでは、照明等を映像及び音声と同期させるが、照明等を映像または音声と同期させてもよい。すなわち、照明等は、映像及び音声少なくとも１つと同期するように制御される。

【0020】

ライブビューイングは、コンサート、演劇、スポーツなどの各種ベントにおいて、イベントが行われているライブ会場からのライブ映像を遠隔地の上映会場に向けて観客に提示する。ここでは、ライブ会場として、コンサート会場を例として説明する。

【0021】

図示する同期制御システムにおいて、コンサート会場では、音響装置７の音声信号がコンサート会場で出力されるとともに、カメラ部８に入力される。カメラ部８は、当該カメラ部８が備えるマイクに音響装置７から出力される音声信号が入力され、コンサート会場を撮影した映像信号と音声信号とを重畳し、１つの映像音声信号として出力する。なお、カメラ部８には、映像信号と音声信号とを重畳する機材、音声信号を分割する機材などが含まれる。

【0022】

映像音声信号の送信サーバ３は、映像音声信号を受信すると、当該信号を受信した受信時刻を取得し、受信時刻にオフセット時間（所定の時間）を加算した出力指定時刻を算出する。そして、送信サーバ３は、出力指定時刻を付与した映像音声信号を、ライブビューイング会場の受信サーバ４に送信する。本実施形態では、ＩＰネットワークを介してＭＭＴ(MPEG Media Transport)プロトコルを用いて信号を送受信する。

【0023】

また、コンサート会場では、照明制御装置５は、コンサート会場の照明装置（不図示）を制御する制御信号を照明装置に送信するとともに、当該制御信号を送信サーバ１に送信する。この制御信号は、コンサート会場内で、コンサートの内容、音響装置などと同期するように照明装置を制御するための信号である。これにより、コンサート会場では、コンサートの内容および音響装置と照明装置とが、同期して表現される。

【0024】

制御信号の送信サーバ１は、制御信号を受信すると、当該制御信号を受信した受信時刻を取得し、受信時刻にオフセット時間（所定の時間）を加算した出力指定時刻を算出する。オフセット時間については後述する。

【0025】

ライブビューイング会場では、受信サーバ４は、出力指定時刻が付加された映像音声信号を受信し、当該出力指定時刻に映像音声信号をライブビューイング会場の提示装置（不図示）に出力する。提示装置は、映像音声信号をライブビューイング会場で出力（再生）する装置である。具体的には、提示装置は、映像音声信号の映像をディスプレイに表示し、音声を出力する。また、受信サーバ２は、出力指定時刻が付加された制御信号を受信し、当該出力指定時刻に制御信号をライブビューイング会場の照明装置（提示装置）に送出する。照明装置は、制御信号に従って照明を作動する。

【0026】

これにより、ライブビューイング会場では、コンサート会場と同様に映像および音声と、照明とを同期して表現（演出）する。すなわち、システム全体で時刻同期が取れている状態において、コンサート会場では、送信サーバ３は、映像音声信号を取得した受信時刻にオフセット時間を加算した出力指定時刻を付加したうえで、ＭＭＴプロトコルを用いてライブビューイング会場に送信する。同様に、送信サーバ１は、制御信号を取得した受信時刻に前記オフセット時間を加算した出力指定時刻を付加したうえで、ＭＭＴプロトコルを用いてライブビューイング会場に送信する。

【0027】

ライブビューイング会場では、受信サーバ４は、出力指定時刻を用いて映像音声信号を出力し、受信サーバ２は、出力指定時刻を用いて制御信号を出力する。コンサート会場の送信サーバ１、３は、信号の受信時刻に同じ値のオフセット時間を加算した出力指定時刻を付加し、ライブビューイング会場の受信サーバ２、４は出力指定時刻に信号を出力する。したがって、コンサート会場である時刻に取得された映像音声信号および制御信号は、当該時刻からオフセット時間経過したタイミングで、ライブビューイング会場の受信サーバ２、４から出力されることになる。

【0028】

図２は、同期制御システムの詳細を示すシステム構成図である。本システムは、ＭＭＴプロトコルを利用してＩＰネットワーク経由で制御信号および映像音声信号を、コンサート会場からライブビューイング会場に送信する。

【0029】

また、本システムでは、システム内部の時刻はNTP（Network Time Protocol）サーバなどにより同期しており、信号を取得および出力する時刻は全て同一の時刻系を用いる。すなわち、本実施形態では、システム全体で時刻同期が取れている状態である。

【0030】

同期制御システムは、照明の制御信号を送受信する送信サーバ１と、受信サーバ２とを備える。送信サーバ１は、コンサート会場（ライブ会場）に設置され、受信サーバ２は、ライブビューイング会場に設置される。

【0031】

送信サーバ１は、受信部１１と、調整部１２と、送信部１３とを備える。受信部１１は、イベント会場に設置された照明装置を制御するための制御信号を、照明制御装置５から受信する。照明装置には電飾装置も含まれ、照明には電飾も含む。照明制御装置５は、１つであっても複数であってもよい。制御信号は、例えば、照明の色情報、照明のＯＮ／ＯＦＦ情報、ムービングライトの制御情報などが含まれる。調整部１２は、ライブビューイング会場で臨場感を高めるために、受信部１１が受信した制御信号を調整してもよい。

【0032】

送信部１３は、受信部１１が制御信号を受信した受信時刻にオフセット時間（所定の時間）を加算した出力指定時刻を算出し、出力指定時刻を制御信号に付加してライブビューイング会場の受信サーバ２に送信する。オフセット時間は、送信サーバ１および受信サーバ２の処理遅延時間、ネットワーク遅延、映像音声信号を送受信する送信サーバ３および受信サーバ４の処理遅延時間などを考慮して設定される。例えば、オフセット時間に、ボトルネックとなりうる信号の伝送に必要な時間を設定し、他の信号にも同じ値のオフセット時間を用い、他の信号ではボトルネックとなりうる信号の出力指定時刻に合わせて、出力を待ち合わせるイメージとなる。

【0033】

受信サーバ２は、受信部２１と、調整部２２と、出力制御部２３と、出力監視部２４とを備える。受信部２１は、出力指定時刻が付加された制御信号を、送信サーバ１から受信する。調整部２２は、ライブビューイング会場で臨場感を高めるために、受信部２１が受信した制御信号を調整してもよい。例えば、調整部２２は、コンサート会場の設備情報を用いて、受信した制御信号をライブビューイング会場の照明装置に合わせて調整してもよい。

【0034】

出力制御部２３は、ライブビューイング会場の照明装置６に制御信号を出力指定時刻に出力し、照明装置６の制御をライブビューイング会場で再生する映像および音声の少なくとも１つと同期させる。

【0035】

出力監視部２４は、同期制御装置から送信されたテスト信号が実際に受信サーバ２から出力された出力時刻を照明装置６毎に監視し、当該出力時刻を同期制御装置に送信する。

【0036】

同期制御システムは、映像音声信号を送受信する送信サーバ３と、受信サーバ４とを備える。送信サーバ３は、コンサート会場に設置され、受信サーバ４は、ライブビューイング会場に設置される。送信サーバ３は、カメラ部８から入力された映像音声信号を受信すると、当該信号を受信した受信時刻を取得し、受信時刻にオフセット時間を加算した出力指定時刻を算出し、出力指定時刻を付与した映像音声信号を、ライブビューイング会場の受信サーバ４に送信する。

【0037】

受信サーバ４は、出力指定時刻が付加された映像音声信号を受信し、当該出力指定時刻に映像音声信号をライブビューイング会場の提示装置６に出力する。提示装置６は、映像音声信号をライブビューイング会場で出力（再生）する装置である。具体的には、提示装置６は、映像音声信号の映像をディスプレイに表示するプロジェクタや、音声を出力するスピーカーなどである。本実施形態の受信サーバ４は、受信サーバ２の出力監視部２４と同様の出力監視部を備える。

【0038】

（ライブビューイング会場の同期ズレ）
図３は、ライブビューイング会場の複数種類の信号の同期ズレを説明する説明図である。送信側のコンサート会場では、映像と、照明と、照明とは同期した状態であり、これらの信号は、ネットワークを介してライブビューイング会場の受信サーバ２、４に受信される。受信サーバ２、４は、受信した信号を、中間機材Ａを介して対応する提示装置６に出力する。

【0039】

図示する例では、受信サーバ４は、映像信号をプロジェクタ６に送信する。受信サーバ２は、照明の制御信号を照明６に、電飾の制御信号を電飾６に送信する。映像信号の中間機材Ａは、分配器、スイッチィング機材などである。照明等の制御信号の中間機材Ａは、信号変換器（例えばＡｒｔ－ｎｅｔ→ＤＭＸ信号）などである。

【0040】

各種の中継機材Ａにおける処理遅延の差、各種の提示装置６おける処理遅延の差、受信サーバ２、４から提示装置６までの配線ルートの違いなどより、送信サーバ１、３がＭＴＴで指定した出力指定時刻からの遅延量に差がでてしまう。そのため、各提示装置６が実際に提示（出力）する信号は、図示するように同期ズレが発生する場合がある。

【0041】

なお、同期ズレの発生原因として、図４に示すように、（１）ＭＭＴで指定する出力指定時刻と、リフレッシュレートの刻みのズレによる遅延もある。これについては、利用する提示装置６によっては制御することは難しい。図４では、映像信号を例とし、受信サーバ４は、ＭＭＴの出力指定時刻で指定された映像信号を、次のリフレッシュレートの刻みの信号出力時刻に出力する。一方、（２）中継機材Ａ、提示装置６などの処理遅延の差については、ＭＭＴの出力指定時刻のオフセット値を調整することで同期制御が可能となる。

【0042】

そこで、本実施形態の同期制御装置１００は、適切な同期制御を行うために必要な（２）の処理遅延の差のみの測定を可能とするテスト信号を生成する。

【0043】

（テスト信号）
図５は、本実施形態のテスト信号を説明する説明図である。同期制御装置１００は、各提示装置６に対し、指定した出力指定時刻にテストパターンを出力するようなテスト信号を受信サーバ２、４に配信し、各提示装置６でのテストパターンの提示状況を検出することで、テストパターンの実際の提示時刻を測定する。

【0044】

同期制御を行う際の基準とするべき信号は、最も遅い信号とし、その検出時刻の差分から、同期させるために必要なオフセット値の補正量を算出し、各信号のＭＭＴ伝送におけるオフセット値を調整することで、全ての信号が提示されるタイミングを同期させる。図示する例では、最も遅い映像信号を基準とする。この場合、映像信号は、オフセット値を補正せず、照明および電飾の制御信号については、映像信号とのズレの分をオフセット値に加算して、映像信号と同期するようにオフセット値を補正する。

【0045】

テストパターンは、映像信号の色の変更、照明の色または制御の変更、および音または音声の少なくとも１つを含む。

【0046】

テストパターンには、例えば以下のようなものが考えられる。

【0047】

映像信号：黒→白（白→黒）などの色の切り替わり
照明信号：消灯→点灯（点灯→消灯）の切り替わり、色の変化、ムービングライトの停止→動作（動作→停止）の切り替わり
電飾信号：消灯→点灯（点灯→消灯）の切り替わり、色の変化
音声信号：有音→無音（無音→有音）の切り替わり、音または音声の変化

【0048】

（同期制御装置および検出装置）
図６は、本実施形態の同期制御装置１００と検出装置２００とを示す図である。

【0049】

検出装置２００は、提示装置６によるテスト信号の提示を検出する。提示装置６がプロジェクタ、照明、電飾などの場合、検出装置２００はカメラである。提示装置６が、スピーカーの場合、検出装置２００は、マイクである。検出装置２００は、提示を検出した結果である動画データ、音声データなどを、同期制御装置１００に入力する。

【0050】

同期制御装置１００は、受信サーバ２、４および検出装置２００に接続し、受信サーバ２、４が信号を出力してから提示装置６が提示するまでに生じる遅延量を測定し、各種信号が同期するように受信サーバ２、４のオフセット値を補正する。

【0051】

図示する同期制御装置１００は、テスト信号生成部１１０と、テスト信号検出部１２０と、遅延量算出部１３０と、補正部１４０とを備える。

【0052】

テスト信号生成部１１０は、第１生成部１１１と、算出部１１２と、第２生成部１１３とを備える。第１生成部１１１は、所定の出力指定時刻を指定した第１テスト信号を提示装置毎に生成し、受信サーバ２、４に送信する。また、第１生成部１１１は、所定の出力指定時刻を図示しない記憶部に記憶する。

【0053】

算出部１１２は、第１テスト信号が受信装置２、４から各提示装置６に向けて出力された出力時刻を提示装置６毎に取得し、提示装置６毎の出力時刻と前記出力指定時刻との差分と、各提示装置６のリフレッシュレートとを用いて、受信サーバ２、４が出力する提示装置６毎の信号が同期するタイミングを算出する。

【0054】

第２生成部１１３は、算出したタイミングでテストパターンが受信サーバ２、４から出力される第２テスト信号を提示装置６毎に生成し、受信サーバ２、４に送信する。すなわち、第２テスト信号は、各提示装置６のリフレッシュレートおよび受信サーバ２、４の第１テスト信号の出力情報をもとに、各提示装置６に対するテストパターンが出力される時刻が同期するような信号である。

【0055】

第２生成部１１３は、テストパターンを出力するタイミングとして指定した出力指定時刻を、図示しない記憶部に記憶する。なお、第２生成部１１３は、算出したタイミングで複数回のテストパターンを含む第２のテスト信号を生成してもよい。第１テスト信号および第２テスト信号は、ＭＭＴ化された信号である。

【0056】

テスト信号検出部１２０（検出部）は、各提示装置６の提示を検出する検出装置２００から、各提示装置６でのテストパターンの提示を検出した結果を取得し、前記結果からテストパターンの各提示装置６での提示時刻を特定する。カメラ等を利用する場合、各提示装置６のリフレッシュレートと比較しても十分撮影間隔が短いものを利用することで、検出誤差を最小化する。

【0057】

具体的には、テスト信号検出部１２０は、ライブビューイング会場内に設置された舞台演出効果に使われる機器である提示装置６によるテスト信号の提示が開始されることに伴い、映像、音、音声、照明、その他機器の動作開始による情報の提示または変化を検出する。検出装置２００には、光や電気の入力を検出する信号検出器の他、汎用の動画撮影用のカメラや高速撮影用のカメラ（60fps、240fps）などがある。一般にマイクはサンプリング周波数が充分に細かい（48KHzなど）ため、これを用いることも可能である。

【0058】

遅延量算出部１３０は、テスト信号検出部１２０が特定した提示時刻と、テストパターンを出力するタイミングとして第２生成部１１３が指定した出力指定時刻とを比較して、各提示装置６の遅延量を算出する。具体的には、遅延量算出部１３０は、各提示装置６の提示時刻と、出力指定時刻との差から、各提示装置６の遅延量を算出する。なお、遅延量算出部１３０は、複数回、テストパターンを検出することにより、平均の遅延量を算出してもよい。

【0059】

補正部１４０は、各提示装置６の遅延量の中から最も大きい遅延量を選択して受信サーバ２、４に送信し、受信サーバ２、４に出力指定時刻のオフセット値を補正させる。具体的には、補正部１４０は、遅延量算出部１３０の算出結果を用いて、各提示装置６を同期させるために、最も遅い提示装置６の遅延量を算出し、受信サーバ２、４のオフセット値を補正する。

【0060】

図７は、リフレッシュレートが異なる信号におけるテストパターンの出力タイミングを説明するための説明図である。テスト信号（第２のテスト信号）の生成にあたり、対象となる信号が、フレームレートが同一の複数の映像信号であれば、提示装置６（プロジェクター等の映像出力機材）を同期して動作させることにより、それぞれの映像間で遅延量のズレは発生しない。しかしながら、映像信号と、照明の制御信号との組み合わせのように、提示装置６の規格や装置自体が異なる場合には、提示装置６間の同期を取ることができない。

【0061】

具体的には、提示装置６間でリフレッシュレートが異なる場合、意図したタイミング通りにテストパターンが出力されないケースがあるため、テスト信号を生成する際に対処が必要となる。

【0062】

例えば、映像信号は一般的なフレームレートである60fpsである。一方、照明の制御信号は、一般的な規格であるDMXが利用され44Hzである。この場合、ＭＭＴで指定した出力指定時刻と、実際に受信サーバ２、４から出力される信号の出力時刻との間に、大きなズレが発生するケースがある。コンサートでフラッシュ発光などが用いられるような場合では、映像における１フレーム（60fpsの場合16.6msec）のズレによる影響は非常に目立ちやすく、無視できないズレとなる。

【0063】

図７に示すように、テストパターンの出力指定時刻を時刻ｔ１に指定した場合、映像のテストパターンは時刻ｔ２に出力され、照明の制御信号のテストパターンは時刻ｔ３に出力さてしまう。このように、テスト信号のテストパターンの出力を指定するタイミングによっては、映像と照明とで出力タイミングが大きく異なる（映像の1フレーム以上も異なる）ケースが発生する。この遅延差は、各種の提示装置６および中継機材Ａ等に起因するものではないため、この遅延差をもとにオフセット値を補正してしまうと、本来行うべき同期の補正とはならず、ズレが残る状態となる。

【0064】

したがって、映像信号と照明の制御信号の出力タイミングが同期した時刻ｔ０に、テストパターンの出力を指定すべきである。本実施形態のテスト信号生成部１１０は、リフレッシュレートが異なる信号の場合であっても、同期したタイミングにテストパターンが出力されるテスト信号を生成する。

【0065】

テスト信号生成部１１０の第１生成部１１１は、最初にテストパターンを含まないテスト信号（第1テスト信号）を提示装置６毎に生成し、提示装置６毎に生成したテスト信号の送信を開始する。このとき、テスト信号の出力開始タイミング（出力指定時刻）は各提示装置６に対して同一とする。

【0066】

受信サーバ２、４の出力監視部２４は、テスト信号が実際に受信サーバ２、４から出力された出力時刻を提示装置６毎に監視し、当該出力時刻を同期制御装置１００に送信する。テスト信号生成部１１０の算出部１１２は、提示装置６毎の出力時刻を取得し、当該出力時刻から、どのタイミングで同期したタイミングでのテスト信号の出力が発生するかを算出する。

【0067】

例えば、図８に示すように、映像信号が60fpsで、照明制御信号(DMX)が44Hzの場合、それぞれの信号が同期するタイミングは、0.25秒周期で繰り返す。算出部１１２は、この周期の中で、それぞれの信号の出力タイミングの差が最も小さくなるタイミングを算出する。

【0068】

具体的には、図９に示すように、算出部１１２は、テスト信号の初回のデータに対する実際の出力時刻を、受信サーバ２、４の出力監視部２４から取得し、初回のデータの出力指定時刻Tとの差を出力遅延時間として算出する。

【0069】

出力A（映像）の遅延：delay_A= out_A - T
出力B（照明）の遅延：delay_B= out_B - T
このとき、出力Aと出力Bの差が最小となるタイミングは、「delay_A+(1/f_A)*n - delay_B+(1/f_B)*m」の絶対値が最小となるn,mの組み合わせを算出し、「delay_A+(1/f_A)*n」と「delay_B+(1/f_B)*m」のうちの小さな値を求めればよい。

【0070】

（0 < n < f_A/(f_A・f_Bの最大公約数) 、 0 < m < f_B/(f_A・f_Bの最大公約数) ）
それ以降は、１/(f_A・f_Bの最大公約数) の間隔で出力Aと出力Bの差が最小となることから、第２生成部１１３は、そのタイミング毎に、または、そのタイミングの何れかにテストパターンを含むようなテスト信号を生成し、受信サーバ２、４に送出する。図１０は、テスト信号生成部１１０が生成するテスト信号の一例を示す図である。

【0071】

以上説明した本実施形態の同期制御装置１００は、送信システムからの信号を受信する受信システムで用いられる同期制御装置１００であって、受信システムは、受信した信号を対応する提示装置６に出力する受信装置２、４と、複数の提示装置６とを備え、同期制御装置１００は、所定の出力指定時刻を指定した第１テスト信号を提示装置６毎に生成し、受信装置２、４に送信する第１生成部１１１と、第１テスト信号が受信装置２、４から各提示装置６に向けて出力された出力時刻を、提示装置６毎に取得し、提示装置６毎の前記出力時刻と前記出力指定時刻との差分と、各提示装置６のリフレッシュレートとを用いて、受信装置２、４が出力する提示装置６毎の信号が同期するタイミングを算出する算出部１１２と、算出した前記タイミングでテストパターンが受信装置２，４から出力される第２テスト信号を提示装置６毎に生成し、受信装置２、４に送信する第２生成部１１３と、を備える。

【0072】

これにより本実施形態では、ライブ会場と同様に、ライブビューイング会場で映像と照明とを同期させることができる。すなわち、本実施形態では、ライブビューイング会場などの受信システムで、映像と照明とを同期させるために必要なテストパターンを生成することができる。したがって、本実施形態では、臨場感のあるライブビューイングを実現することができる。

【0073】

なお、コンサート等を実施する際に利用される照明等の提示装置の数は、非常に多いうえ、各提示装置は動作指示の制御信号が入力されても、実際にディスプレイに表示したり、フラッシュが点灯するなどの実動作までには装置固有の時間差があるため、ライブビューイング会場の視聴者が知覚する提示装置の動作開始時間がズレてしまう、いわゆる同期ズレが発生する。ライブビューイング会場の視聴者に違和感がないように、全ての提示装置の同期を調整するには非常に時間がかかる。このため、ライブビューイングを実施する前の限られた準備時間で、全ての提示装置の動作開始の調整を完了させるのは現実的ではない。本実施形態では、映像として検出可能なテストパターンを生成し、送信することで、ライブビューイング会場の撮影映像を通して各提示装置の同期状態を容易に取得することが可能になるため、各提示装置の調整時間の短縮、および、提示装置の調整に要する稼働負荷を軽減することができる。

【0074】

（ハードウェア構成）
上記説明した同期制御装置１００は、例えば、図１２に示すような汎用的なコンピュータシステムを用いることができる。図示するコンピュータシステムは、CPU（Central Processing Unit、プロセッサ）９０１と、メモリ９０２と、ストレージ９０３（HDD：Hard Disk Drive、SSD：Solid State Drive）と、通信装置９０４と、入力装置９０５と、出力装置９０６とを備える。メモリ９０２およびストレージ９０３は、記憶装置である。このコンピュータシステムにおいて、CPU９０１がメモリ９０２上にロードされた所定のプログラムを実行することにより、同期制御装置１００の各機能が実現される。

【0075】

また、同期制御装置１００は、１つのコンピュータで実装されてもよく、あるいは複数のコンピュータで実装されても良い。また、同期制御装置１００は、コンピュータに実装される仮想マシンであっても良い。

【0076】

同期制御装置１００用のプログラムは、HDD、SSD、USB（Universal Serial Bus）メモリ、CD (Compact Disc)、DVD (Digital Versatile Disc)などのコンピュータ読取り可能な記録媒体に記憶することも、ネットワークを介して配信することもできる。

【0077】

なお、本発明は上記実施形態および変形例に限定されるものではなく、その要旨の範囲内で数々の変形が可能である。

【0078】

例えば、検出装置２００は、提示装置６毎には備えても、複数の提示装置６で共有してもよい。例えば、プロジェクタ、照明および電飾の複数の提示装置６に対して、１つの検出装置２００（カメラ）を用いてもよい。この場合、１つの検出装置２００は、図１１Ａに示すように、ライブビューイング会場全体の映像データを取得し、同期制御装置１００に入力する。同期制御装置１００は、入力されたライブビューイング会場全体の映像データの中から各提示装置６の検出範囲を特定し、提示装置６毎にテストパターンが提示された提示時刻を特定する。

【0079】

また、図１１Ｂに示すように、提示装置６毎に検出装置２００を設置し、各検出装置２００は対応する提示装置６の映像データを同期制御装置１００に入力してもよい。

【符号の説明】

【0080】

１００：同期制御装置
１１０：テスト信号生成部
１１１：第１生成部
１１２：算出部
１１３：第２生成部
１２０：テスト信号検出部（検出部）
１３０：遅延量算出部
１４０：補正部
２００：検出装置
２、４：受信サーバ（受信装置）
２１：受信部
２２：調整部
２３：出力制御部
２４：出力監視部
６ ：提示装置
Ａ ：中継機材

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11A】

【図11B】

【図12】