(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-05-25
(54)【発明の名称】遠隔地演出システム及び遠隔地演出方法
(51)【国際特許分類】
H04N 21/6332 20110101AFI20230518BHJP
H04N 21/435 20110101ALI20230518BHJP
H04N 21/242 20110101ALI20230518BHJP
A63J 5/02 20060101ALI20230518BHJP
【FI】
H04N21/6332
H04N21/435
H04N21/242
A63J5/02
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2022562986
(86)(22)【出願日】2021-04-16
(85)【翻訳文提出日】2022-12-02
(86)【国際出願番号】 KR2021004785
(87)【国際公開番号】W WO2021210938
(87)【国際公開日】2021-10-21
(31)【優先権主張番号】10-2020-0046889
(32)【優先日】2020-04-17
(33)【優先権主張国・地域又は機関】KR
(81)【指定国・地域】
(71)【出願人】
【識別番号】521563806
【氏名又は名称】チェ,ジ ソン
【氏名又は名称原語表記】CHOI, Ji Sun
【住所又は居所原語表記】1901-ho, 76, Apgujeong-ro 79-gil, Gangnam-gu, Seoul 06013, Republic of Korea
(74)【代理人】
【識別番号】100121382
【氏名又は名称】山下 託嗣
(72)【発明者】
【氏名】チェ,ジ ソン
【テーマコード(参考)】
5C164
【Fターム(参考)】
5C164MB21S
5C164SB10P
5C164TB22P
5C164UB10P
(57)【要約】
遠隔地演出システムが提供される。前記遠隔地演出システムは、無観客公演演出データに基づいて公演会場で公演される公演データと前記公演データに対応して遠隔地の被制御装置を制御する制御データを生成するサーバを含み、前記サーバは、前記公演データをストリーミング用データに変換して前記遠隔地の観客に伝送し、前記遠隔地の被制御装置は、前記公演データの再生時に前記サーバからブロードキャストされた前記制御データを含む制御信号によって前記公演データに対応して公演演出効果を実現するために制御されることができる。
【特許請求の範囲】
【請求項1】
公演演出データに基づいて公演会場で公演される公演データ及び遠隔地の被制御装置を制御する制御データを生成する制御コンソール装置と、
前記遠隔地の観客に前記公演データを提供し、前記公演データと同期化された制御データを共に処理するデータ処理装置と、
前記公演データの現在の再生区間に対応する前記制御データを基に前記公演データに対応するように制御される被制御装置と、を含み、
前記制御データは、
タイムコード情報を用いて前記公演データと同期化されるように、前記制御データにタイムコード情報をマッピングして構成されたものであり、
前記被制御装置は、前記遠隔地の観客が所持するものである、遠隔地演出システム。
【請求項2】
前記データ処理装置は、
前記公演データを受信して処理する公演データ処理装置と、
前記制御データを受信して処理する制御データ処理装置と、
を含むことを特徴とする請求項1に記載の遠隔地演出システム。
【請求項3】
前記制御データ処理装置は、
前記制御データから前記公演データの現在の再生区間に対応するタイムコード情報とマッピングされた制御データを抽出し、前記被制御装置に提供することを特徴とする請求項2に記載の遠隔地演出システム。
【請求項4】
前記制御データは、
前記公演データのデータ領域のうちの一部の領域に含まれて前記データ処理装置に伝送されることを特徴とする請求項1に記載の遠隔地演出システム。
【請求項5】
前記一部の領域は、
前記公演データの多チャネルトラック情報のうち空き(empty)チャネル領域、フレームの一部の領域及び画素の一部の領域のうちの少なくとも1つを含むことを特徴とする請求項4に記載の遠隔地演出システム。
【請求項6】
前記制御データが前記公演データの画素の一部の領域に含まれる場合、
前記画素の一部の領域は、前記公演データが映像に再生時に、映像の非認知領域と対応することを特徴とする請求項5に記載の遠隔地演出システム。
【請求項7】
前記公演データと同期された制御データは、サーバからブロードキャストされ、
前記遠隔地の被制御装置は、前記公演データの再生時に前記サーバからブロードキャストされた前記制御データを含む制御信号によって前記公演データに対応して公演演出効果を実現するために制御されることを特徴とする請求項1に記載の遠隔地演出システム。
【請求項8】
前記制御コンソール装置は、
前記公演データをストリーミング用データに変換して前記データ処理装置に伝送することを特徴とする請求項1に記載の遠隔地演出システム。
【請求項9】
前記公演データは、映像、音声、イメージ及びテキストのうちの少なくとも1つを含むことを特徴とする請求項1に記載の遠隔地演出システム。
【請求項10】
前記公演データ及び前記制御データは、物理的格納媒体を用いて提供されることを特徴とする請求項1に記載の遠隔地演出システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、遠隔地演出システムに関し、より詳しくは、無観客公演又は撮影などの現場における外部の遠隔地の観客が所持する被制御装置、映像ないしコンテンツを視聴する遠隔地の視聴者が所持する被制御装置を制御する遠隔地演出システム及び遠隔地演出方法に関する。
【背景技術】
【0002】
一般に、照明装置は、光源からの光を反射、屈折及び透過させて照明の目的を達成させる発光装置を意味する。照明装置は、配光によって間接照明装置、半間接照明装置、全般拡散照明装置、半直接照明装置及び直接照明装置などに分類できる。
【0003】
技術の発展に伴い、照明装置は多様な用途に用いられている。一例として、照明装置は、メディアファサード(Media facade)を演出するのに用いられる。メディアファサードとは、建物の外壁などに照明装置を設置し、メディア機能を実現することをいう。
【0004】
他の例として、照明装置は、一定照度以下の環境で行われるスポーツ競技やコンサートなどで小型の応援グッズ又は電子的に実現されるマスゲームや客席イメージの演出手段として用いられることもある。ところが、このような環境では、複数の照明器具が個別に制御されるため、体系的な照明パターンや形状を生成し難い側面がある。また、照明装置に配置された光源を用いるだけでは、期待ほどの応援ないし没入の効果が得られ難い。
【0005】
従って、前記のような問題を具体的に解決するために、複数の照明装置を一括して制御し、このような制御によってスポーツ競技やコンサートなどのような公演会場で多様な公演演出が可能な方策の導入が求められているのが現状である。
【0006】
また、これと共に、公演会場や撮影場などで実行ないし実演又は録画ないし中継される時に含まれ得る多様な公演演出効果を公演会場以外の他の場所(即ち、遠隔地)の観客にも提供することによって、実際の公演現場の観客だけでなく、公演会場に参加できなかった観客にも実際の公演と同じ体験ができるようにする方法が必要である。特に、公演現場に観客がいる場合、遠隔地の観客が所持する、外部によって制御される被制御装置を公演会場の現場の観客の被制御装置と連動させて制御する必要があり、公演現場に観客がいない場合、例えば無観客公演や、YouTube(登録商標)などのストリーミングサービス又は録画映像を送る場合、遠隔地の観客を対象に演出効果を設計した被制御装置を別途に制御することによって、遠隔地でもまるで公演会場内の観客席で公演を見ながら、被制御装置を用いて応援効果を出すのと同じ環境を提供する必要がある。
【0007】
それだけでなく、没入感の高いコンテンツを提供するために、遠隔地で映像やコンテンツを視聴する遠隔地の視聴者が所持する照明装置を映像又はコンテンツの進行状況と対応して照明効果を与え、これによってコンテンツに対する没入感を高め、追加の効果を提供できる環境が必要である。
【発明の概要】
【発明が解決しようとする課題】
【0008】
そこで、本発明は、上記事情に鑑みてなされたものであって、その目的は、無観客公演又は撮影場所の外部の遠隔地の観客の被制御装置を制御する遠隔演出方法及び遠隔演出システムを提供することにある。
【0009】
本発明の他の目的は、公演データと同期化される制御データを用いて遠隔地の観客の被制御装置の発光、音声、振動又は別の識別可能な機能を制御する遠隔演出方法及び遠隔演出システムを提供することにある。
【0010】
本発明の更に他の目的は、映像撮影現場における現場観客の有無に関係なく、遠隔地にて受信したリアルタイム又は過去の映像や実況映像資料など多様な形態で公演を楽しもうとする遠隔地の観客の被制御装置を公演映像とタイミングに合わせて精巧に制御する遠隔演出方法及び遠隔演出システムを提供することにある。
【0011】
本発明の別の目的は、遠隔地の観客に再生される映像と、遠隔地の観客が所持する被制御装置を制御する制御信号を結合して1つのデータに送るか、又は分離して別途伝送できるようにする状況適応型遠隔演出方法及び遠隔演出システムを提供することにある。
【0012】
本発明の他の目的は、遠隔地の観客が所持する被制御装置を制御する制御信号を遠隔地の観客の機器から提供するに当たり、1つの観客の機器を介して近距離に位置する多数の被制御装置を制御できる遠隔演出方法及び遠隔演出システムを提供することにある。
【0013】
本発明の更に他の目的は、遠隔地の観客の所持する被制御装置を制御する制御信号内に同期化のための手段を含んで遠隔地の観客が再生する映像と精巧に同期化された被制御装置を提供できる遠隔演出方法及び遠隔演出システムを提供することにある。
【0014】
本発明の別の目的は、公演に限らず、遠隔地にてリアルタイムに、又は非リアルタイムにコンテンツや映像を楽しむ視聴者の没入感やコンテンツの効果を最大化するために、遠隔地の視聴者が所持する被制御装置を制御して映像やコンテンツ内の変化や反応と対応して発光制御される被制御装置を提供できる遠隔演出方法及び遠隔演出システムを提供することにある。
【0015】
本発明が解決しようとする課題は、以上で言及した課題に限らず、言及されていない更に他の課題は、下記の記載から通常の技術者が明確に理解できるだろう。
【課題を解決するための手段】
【0016】
本発明の一実施例に係る遠隔地演出システムは、無観客公演演出データに基づいて公演会場で公演される公演データと、前記公演データに対応して遠隔地の被制御装置を制御する制御データを生成するサーバとを含み、前記サーバは、前記公演データをストリーミング用データに変換して前記遠隔地の観客に伝送し、前記遠隔地の被制御装置は、前記公演データの再生時に前記サーバからブロードキャストされた前記制御データを含む制御信号により前記公演データに対応して公演演出効果を実現するために制御されることができる。
【0017】
本発明の一実施例において、前記公演演出効果を実現するために、前記公演データ及び前記制御データを同時に処理するデータ処理装置を含むことができる。
【0018】
本発明の一実施例において、前記サーバは、前記制御データを前記データ処理装置及び前記遠隔地の被制御装置に同時に伝送できる。
【0019】
本発明の一実施例において、前記サーバは、前記遠隔地の被制御装置を前記公演データに対応してリアルタイムに制御する前記制御データを前記公演会場に位置する制御コンソール装置から受信できる。
【0020】
本発明の一実施例において、前記公演データは、観客のいない前記公演会場で生成され、遠隔で遠隔地の観客に提供できる。
【0021】
本発明の一実施例において、前記遠隔地の被制御装置は、前記公演会場にて仮想で生成された仮想の座席に対応して前記制御データを基に制御できる。
【0022】
本発明の一実施例において、前記サーバは、タイムコード情報を用いて前記公演データに同期化されるように前記制御データにタイムコード情報をマッピングして無観客公演データを生成できる。
【0023】
本発明の一実施例において、前記サーバは、DAW(Digital Audio Workstation)装置を用いて前記公演データと前記公演データに対応する前記制御データを同期化して無観客公演データを生成できる。
【0024】
本発明の一実施例において、前記公演データ及び前記制御データは、物理的格納媒体を用いて提供できる。
【発明の効果】
【0025】
本発明によると、公演会場の観客席上に演出される公演演出効果を遠隔地の観客にも同じように実現して提供できる。従って、遠隔地の観客は、実際の公演現場で公演を見るのと同じ体験ができる。
【0026】
本発明によると、公演会場で用いられる制御コンソール装置を用いて公演会場の被制御装置だけでなく、遠隔地の被制御装置を共に同期化してリアルタイムに制御できる。
【0027】
本発明によると、公演会場の被制御装置を制御するために生成された制御データを用いて遠隔地の被制御装置と同期化できる。
【0028】
本発明によると、公演会場の公演データを物理的格納媒体を用いて遠隔地の観客に提供することによって、遠隔地の観客が時間/場所に関係なく公演会場で公演を見るのと同じ体験ができる。
【0029】
本発明によると、公演データを再生するとき、再生遅延現象が発生する場合、タイムコード情報を用いて公演データを被制御装置と同期化させて公演データと被制御装置を一致させることによって、観客は、被制御装置が公演データと同じように制御されて没入感を最大化できる。
【0030】
本発明によると、公演データ及び公演データと同期化された制御データをデバイス、例えばスマートフォン、タブレット、PC、セットトップボックス、受信機、コンソールなどが公演データと制御データを同時に制御することによって、公演データの再生時に発生し得る再生エラー又は再生遅延現象などを防止しながら被制御装置を制御できる。
【0031】
本発明によると、公演ないし撮影現場の観客有無に関係なく、無観客公演データと制御データを遠隔地の観客にリアルタイムに提供することによって、遠隔地の観客が視聴する公演に対応してリアルタイムに遠隔地の被制御装置を制御できる。従って、遠隔地の観客は、公演会場で公演を見るのと同じ体験ができる。
【0032】
本発明によると、無観客公演の公演データを物理的格納媒体を用いて遠隔地の観客に提供することによって、遠隔地の観客が時間/場所に関係なく安全に公演会場で公演を見るのと同じ体験ができる。
【0033】
本発明によると、公演に限定されるものではなく、多様な形態のコンテンツ、例えば映画、ドラマ、アニメーションなどを遠隔地で視聴する視聴者が被制御装置を所持し、被制御装置を制御する制御信号を提供して多様な形態のコンテンツと関連性が高く、コンテンツのタイミングと同期化されて多様な特殊効果を与え、コンテンツに対する没入感と視聴効果を最大化できる。
【0034】
本発明の効果は、以上で言及した効果に限らず、言及されていない更に他の効果は、下記の記載から通常の技術者が明確に理解できるだろう。
【図面の簡単な説明】
【0035】
【
図1】本発明の一実施例に係る公演会場と遠隔地とを連動させて観客の被制御装置を同時に制御する遠隔地演出システムの構成を概略的に示す図である。
【
図2】本発明の一実施例に係る公演会場と遠隔地とを連動させて観客の被制御装置を同時に制御する遠隔地演出システムの構成を概略的に示す図である。
【
図3】本発明の一実施例によって公演会場の観客席上に演出される公演演出効果の一例を示す図である。
【
図4】本発明の一実施例に係る被制御装置の構成を示す図である。
【
図5】
図2に示した本発明の一実施例に係る公演会場と遠隔地とを連動させて観客の被制御装置を同時に制御する公演演出方法を示すフローチャートである。
【
図6】本発明の一実施例に係る公演データと同期化された制御データが含まれて提供される場合の実施例を説明する図である。
【
図7】本発明の他の実施例に係る公演会場と遠隔地とを連動させて観客の被制御装置を同時に制御する遠隔地演出システムの構成を概略的に示す図である。
【
図8】
図7に示した本発明の他の実施例に係る公演会場と遠隔地とを連動させて観客の被制御装置を同時に制御する公演演出方法を示すフローチャートである。
【
図9】本発明の他の実施例に係る公演データに同期化された制御データが分離されて提供される場合の実施例を説明する図である。
【
図10】本発明の更に他の実施例に係る無観客公演に対応して遠隔地の観客の被制御装置を制御する遠隔地演出システムの構成を概略的に示す図である。
【
図11】
図10に示した更に他の実施例に係る無観客公演に対応して遠隔地の観客の被制御装置を制御する公演演出方法を示すフローチャートである。
【発明を実施するための形態】
【0036】
本発明の利点及び特徴、そしてそれらを達成する方法は、添付の図面と共に詳細に後述されている実施例を参照すれば明確になる。しかし、本発明は、以下で開示される実施例に制限されるものではなく、互いに異なる多様な形態に実現することができる。但し、本実施例は、本発明の開示を完全なものにし、本発明が属する技術分野における通常の技術者に本発明の範囲を完全に理解させるために提供されるものであり、本発明は請求項の範囲により定義されるに過ぎない。
【0037】
本明細書で用いられる用語は、実施例を説明するためのものであり、本発明を制限しようとするものではない。本明細書において、単数型は特に言及しない限り複数型も含む。明細書で用いられる「含む(comprises)」及び/又は「含んでいる(comprising)」は、言及された構成要素以外に1つ以上の他の構成要素の存在又は追加を排除しない。明細書全体に亘って同一の図面符号は同一の構成要素を示し、「及び/又は」は言及された構成要素のそれぞれ及び1つ以上の全ての組み合わせを含む。たとえ、「第1」、「第2」などが多様な構成要素を叙述するために用いられていても、これらの構成要素は、これらの用語により制限されないのは当然である。これらの用語は、単に1つの構成要素を他の構成要素と区別するために用いる。従って、以下で言及される第1構成要素は、本発明の技術的思想内で第2構成要素でもあり得るのは言うまでもない。
【0038】
他の定義がなければ、本明細書で用いられる全ての用語(技術及び科学的用語を含む)は、本発明が属する技術分野における通常の技術者が共通して理解できる意味として用いられる。また、一般に用いられる辞典に定義されている用語は、明白に特に定義されていない限り、理想的に又は過度に解釈されない。
【0039】
明細書で用いられる「部」又は「モジュール」という用語は、ソフトウェア、FPGA又はASICのようなハードウェアの構成要素を意味し、「部」又は「モジュール」は特定の役割を果たす。しかし、「部」又は「モジュール」は、ソフトウェア又はハードウェアに限定される意味ではない。「部」又は「モジュール」は、アドレッシングできる格納媒体に存在するように構成されてもよく、1つ又はそれ以上のプロセッサを再生させるように構成されてもよい。従って、一例として、「部」又は「モジュール」はソフトウェアの構成要素、オブジェクト指向ソフトウェアの構成要素、クラスの構成要素及びタスクの構成要素のような構成要素と、プロセス、関数、属性、プロシージャ、サブルーチン、プログラムコードのセグメント、ドライバ、ファームウェア、マイクロコード、回路、データ、データベース、データ構造、テーブル、アレイ及び変数を含む。構成要素と「部」又は「モジュール」内で提供される機能は、より少数の構成要素及び「部」又は「モジュール」で結合されるか、追加の構成要素と「部」又は「モジュール」などに更に分離できる。
【0040】
以下、添付の図面を参照し、本発明の実施例を詳細に説明する。
【0041】
図1及び
図2は、本発明の一実施例に係る公演会場と遠隔地とを連動させて、観客の被制御装置を同時に制御する遠隔地演出システムの構成を概略的に示す図である。
【0042】
図1及び
図2を参照すると、本発明の一実施例に係る遠隔地演出システム10は、公演会場20と少なくとも1つの遠隔地30とを連動させて観客が所持する被制御装置110、220を同時に制御できるように実現され得る。
【0043】
公演会場20は、スポーツ競技場やコンサート会場などのような公演会場をいうものであり、実際のスポーツ競技やコンサートなどの公演が行われる場所を意味し得る。
【0044】
公演会場20には、実際の公演を観覧するための観客が自身の被制御装置110_1、・・・、110_nを所持して入場し、公演会場20内のそれぞれの座席に着席できる。
【0045】
遠隔地30は、公演会場20ではない他の場所をいうものであり、実際の公演が行われている公演会場20ではない他の場所で公演会場20と同一の公演演出効果を実現する場所であり得る。例えば、遠隔地30は、劇場などのような多数の人が集まる公共の場であるか、家などのような個人的な空間や小規模空間などとできる。このとき、公演会場20で行われる実際の公演と同一の公演データは、公演会場20から遠隔地30にリアルタイムに送られることが好ましい。
【0046】
複数の他の実施例において、公演データは、YouTube(登録商標)などのようなオンライン動画提供サービスなどを介して遠隔地30にて該当公演データを確認ないし視聴できるように、リアルタイムに送られるストリーミング形態に限らず、CD、DVD、HD-DVD、Bluray(登録商標) DISCのような多様な記録媒体だけでなく、SD(Secure Digital)メモリカード、メモリスティック、又はMMC(Multi-Media Card)のような各種フラッシュメモリなどといった物理的格納媒体(図示せず)を介して公演会場20の公演データを遠隔地30にて確認できる。
【0047】
ここで、公演データは、公演実況データのうちの1つを意味し、公演実況データは、公演実況と関連する全ての形態のデータ、例えば、映像、音声、イメージ、テキストのうちの1つを含むことができる。具体的に、公演実況データは、公演実況映像、公演実況音声、公演実況イメージ、公演実況テキストなどを含むことができる。以下では、公演実況データが公演データの場合を想定して発明の内容を記述するが、これに限定されるものではなく、公演データとして参照される構成は、全ての形態の公演実況データを意味し得る。
【0048】
複数の他の実施例において、公演データは、公演実況と関連する全ての形態のデータを遠隔地30に伝送するのに適した形態に加工又は編集ないし変形されたデータを意味し得る。複数の他の実施例において、公演データは、公演実況に対する映像データのみを含む場合があり、公演データは、公演実況に対する音声データのみを含む場合があり得る。
【0049】
複数の他の実施例において、公演データは、視聴覚コンテンツ、例えばアニメーションや映画、ドラマ、ミュージックビデオ、その他の多様な形態の映像が含まれているコンテンツデータを意味する。後述するように、公演データの視聴中に視聴者が保有している被制御装置を制御するために公演データと同期化された制御データを送り、送られた制御データが所定のタイミングに合わせて被制御装置を制御する信号を伝送して公演データとタイミングが一致するか、所定の対応関係を有する多様な効果を提供できる。例えば、公演データがアニメーションコンテンツを含む場合、アニメーションコンテンツ内の展開状況によって爆発などの特殊効果シーンが登場する場合、公演データの特殊効果シーンでの爆発タイミングと一致する制御データを伝送して爆発タイミングに合わせて発光部を発光させるか、振動を発生させるなどインタラクティブ効果を与えて被制御装置の効果を極大化できる。
【0050】
遠隔地30には、公演会場20で行われる実際の公演と同じ公演場面と公演演出効果の提供を希望する観客が自身の被制御装置220_1、・・・、220_nを所持できる。
【0051】
即ち、本発明の一実施例に係る遠隔地演出システム10は、公演会場20内の観客の被制御装置110と、遠隔地30内の観客の被制御装置220とを連動させて同時に制御できる。
【0052】
具体的に、遠隔地演出システム10は、公演会場20の領域に被制御装置(110_1、・・・、110_n、以下110)、マスタ装置120、及び制御コンソール装置130で構成される公演会場側の制御システム100を含むことができる。また、遠隔地演出システム10は、遠隔地30の領域にデータ処理装置210、及び被制御装置(220_1、・・・、220_n、以下220)で構成される遠隔地側の制御システム200を含むことができる。
【0053】
ここで、説明の便宜上、公演会場側の制御システム100は、第1制御システム100と称し、遠隔地側の制御システム200は、第2制御システム200と称す。また、公演会場20内の被制御装置110は、第1被制御装置110と称し、遠隔地30内の被制御装置220は、第2被制御装置220と称す。
【0054】
第1制御システム100は、制御コンソール装置130が第1被制御装置110の発光状態(例えば、発光色、明るさ値、点滅速度など)を制御することによって、公演会場20の観客席にて多様な形態の公演演出効果(例えば、特定の文字、特定のイメージ、応援席でのウェーブなど)を実現できる。
【0055】
第2制御システム200は、制御コンソール装置130が第1被制御装置110を制御することによって、これと連動して第2被制御装置220も共に制御できる。一実施例として、第2制御システム200は、制御コンソール装置130の制御によって遠隔地30の観客が所持する第2被制御装置220の発光状態を制御することによって、遠隔地30にて多様な形態の公演演出効果を実現できる。
【0056】
第1被制御装置110は、制御コンソール装置130によってリアルタイムに、又は予め定められた制御情報によって多様な形態の公演演出効果を演出する機能を行える。一実施例として、第1被制御装置110は光源を含む装置であって、スポーツ競技場やコンサートなどのような公演会場で用いられる小型の応援用グッズであり得るが、これに限定されるものではなく、複数の他の実施例においてLEDなどの発光素子を含んで外部信号によって発光される構成要素、振動素子を含んで外部信号によって所定の振動パターン、例えば映像と同期化された振動パターンや特殊効果に対する振動パターンを発生させる構成要素、音響出力モジュールを含んで外部信号によって映像と同期化された特殊効果音を発生させる構成要素、機械的駆動のための動力装置、例えば小型のアクチュエータなどを含んで外部信号によって動きが制御される構成要素など 多様な機能要素を含むことができる。
【0057】
複数の他の実施例において、被制御装置110は、所定の形状の玩具や駆動可能な関節の形態の人形ないしアクチュエータなどの小型の動力出力装置を含む装置であって、制御データによって被制御装置110が再生中の公演データの映像と対応する形態にインタラクティブ効果、例えば、爆発場面での振動や、発光制御などを発生させることができる。
【0058】
マスタ装置120は、第1被制御装置110と多様な方式で通信を行って、制御コンソール装置130から受信した多様な制御情報を第1被制御装置110に伝達できる。
【0059】
一実施例として、マスタ装置120は、制御コンソール装置130で生成される制御データを受信し、これを無線信号に変換できる。そして、マスタ装置120は、変換された無線信号を無線通信(例えば、RF通信など)を用いて公演会場20内の第1被制御装置110に送ることができる。ここで、無線信号は、第1被制御装置110を無線通信方式で制御するための形態に制御データを変換して生成されたものであり得る。
【0060】
実施例によって、マスタ装置120は省略でき、制御コンソール装置130が直接第1被制御装置110と有線又は無線通信を介して制御データを伝送できる。
【0061】
複数の他の実施例において、制御データは、前述した公演データと異なる形態のデータであり、遠隔地20にある被制御装置を制御するための多様な形態の制御命令を含むことができる。制御データは、観客が所持する被制御装置に含まれている発光素子、例えばLEDなどの発光を制御する信号だけでなく、被制御装置の振動又は機械的な動作などを制御する目的の信号のうちの少なくとも1つを含むことができる。また、被制御装置の音響出力部を制御するための音声信号を更に含むことができるが、これに限定されるものではない。
【0062】
制御コンソール装置130は、公演会場20にて多様な公演演出効果を実現するために、第1被制御装置110を制御する機能を行える。これと同時に、制御コンソール装置130は、遠隔地30でも公演会場20と同じ公演演出効果を実現するために、第2被制御装置220を制御する機能を行えるが、これに限定されるものではなく、公演現場にて第1被制御装置110を制御する装置と、遠隔地30にて第2被制御装置220を制御する装置を別に分離できる。この場合、第1被制御装置110を制御する装置と、第2被制御装置220を制御する装置は、同一の制御データを共有でき、一方の制御する装置が他方の制御する装置に制御データを伝送する方式であり、相互タイミングを同期化するためのタイムコード又はタイムスタンプのような同期化信号を共有できる。
【0063】
一実施例として、制御コンソール装置130は、スマートフォン、タブレット、デスクトップPC、ラップトップPC、ネットブックコンピュータ、セットトップボックス、PMP、IPTV受信機、放送受信機などのような電子装置であり得るが、これに限定されるものではなく、このような電子装置の構成のうちの一部を含むか、これと連動できる多様な形態で構成されることができる。
【0064】
他の実施例として、制御コンソール装置130は、公演現場で用いられる制御機器であって、公演現場の照明機器、特殊効果機器などを制御する放送及び公演用コンソール装置、例えば公演会場の照明を制御するためのGrandMAのような有無線制御コンソールとできる。例えば、制御コンソール装置130は、照明制御用プロトコルを用いて公演現場の各種機器を制御するコンソール装置であり得る。制御コンソール装置130は、専用ハードウェアに単独又は連係して構成された装置であるか、ラップトップ又はデスクトップなどPC又はワークステーションにインストールされて動作するプログラムの形態であり得る。
【0065】
制御コンソール装置130は、公演場20内の各座席に対応して位置する第1被制御装置110を用いて公演演出効果を具現するために生成された公演演出データを基に、公演演出データに対応して第1被制御装置110を制御する制御データを生成できる。
【0066】
また、制御コンソール装置130は、第1被制御装置110を制御するために用いられる制御データを遠隔地30の第2被制御装置220に提供することによって、第1被制御装置110と第2被制御装置220を共に制御できる。
【0067】
データ処理装置210は、公演会場20にて実現される公演演出効果を遠隔地30にて連動して実現するために、遠隔地30の観客に公演場20で行われる公演を基に生成した公演データと、制御コンソール装置130によって生成された制御データを共に処理できる。即ち、データ処理装置210は、公演データと制御データを同時に制御して遠隔地30に公演データを提供しながら遠隔地30内の観客の第2被制御装置220を同時に制御できる。公演データと制御データをデータ処理装置210が同時に制御することによって、公演データの再生時に発生し得る再生エラー又は再生遅延現象などを防止しながら第2被制御装置220を制御できる。
【0068】
このようなデータ処理装置210は、映像再生機能及び遠隔通信機能が含まれている、例えば、スマートフォン、タブレット、ウェアラブル装置、デスクトップPC、ラップトップPC、ネットブックパソコン、HMD(head mounted display)、PAD(personal digital assistants)、仮想現実(Virtual Reality、VR)装置、スマートカー(smart car)などのような個人が所持できるデバイスであり、又はこのようなデバイスの構成のうちの一部を含むか、これと連動できる多様な形態で構成できる。
【0069】
例えば、データ処理装置210がデバイスのうちスマートフォンからなる場合、スマートフォンの画面を介して公演データを再生しながらアプリケーションプログラム(application program又はアプリケーション(application))を用いて制御データを分析及び確認して有無線通信方式で伝送し、遠隔地30内の観客の第2被制御装置220に伝送して制御できる。このとき、アプリケーションプログラム(application program又はアプリケーション(application))は、無線通信を介して外部サーバ又は公演会場側の制御システム100を介してダウンロードできる。
【0070】
このようなデータ処理装置210は、遠隔地30の第2被制御装置220を個別に、又は同時に制御できる。例えば、遠隔地30が多数の観客が位置する公共の場である場合、複数のデータ処理装置210が複数の第2被制御装置220を個別に制御できる。これとは異なり、遠隔地30が多数の観客が位置する公共の場である場合、1つのデータ処理装置210を用いて複数の第2被制御装置220を同時に制御できる。即ち、データ処理装置210と接続されている再生装置(図示せず)(例えば、ビームプロジェクタ、モニタ、TVなど)を介して公演データを再生しながら制御データを分析及び確認して第2被制御装置220を制御できる。これにより、遠隔地30内の観客が再生装置を介して公演データを共有しながら、それにより第2被制御装置220を用いて演奏を体験できる。
【0071】
また、遠隔地30が個人的な空間の場所である場合、データ処理装置210が対応する被制御装置220を個別に制御できる。このとき、データ処理装置210は、再生装置を介して公演データを再生しながら制御データを分析及び確認して被制御装置220を制御できる。
【0072】
一方、制御データは、公演データと同期化されて提供されるものであって、公演データの現在の再生区間に対応して同期化された制御データであり得る。
【0073】
一実施例として、公演データと同期化された制御データは、公演データに基づいて発生するタイムコード情報又は公演会場20の公演に基づいて発生するタイムコード情報を用いて公演データと同期化されるように、制御データにタイムコード情報をマッピングして構成されるものであり得る。即ち、タイムコード情報を用いて遠隔地30の公演データと遠隔地30の第2被制御装置220が互いに同期化されることができる。これにより、本開示では、タイムコード情報が公演データ又は公演会場20の公演に基づいて発生するものと記載したが、これに限定しない。例えば、公演データの現在の再生区間に対応して同期化された制御データにマッピングされるタイムコード情報は、公演現場の音源装置、カメラ装置、又はメディアサーバ、タイムコード管理/制御生成装置、メディア再生装置、マスタ装置120、制御コンソール装置130、第1被制御装置110、公演データの送出を管理又は担当する総合編集室の同期化装置又は後述されるサーバ140によって発生し得る。換言すると、タイムコード情報は、遠隔地30に送られる公演会場20の公演データに対応する制御データに含まれるので、前記制御データを制御できる遠隔地20内に位置する多様な装置に共有されて制御できる。
【0074】
更に、意図的な遅延中継放送や遠隔地における遠距離送出の技術的な限界により発生する再生遅延現象を解決するために、公演会場20にて公演データによって第1被制御装置110に提供される制御データを遠隔地30に公演データを伝達する際に、共に又は分離して送り、タイムコード情報を制御データに含めて遠隔地30で公演データを再生する際に公演データ内に含まれているタイムコード情報を制御データにマッピングして第2被制御装置220の制御データと公演データを同期化させることができる。これにより、遠隔地30の観客は、公演データと第2被制御装置220が互いに一致してより臨場感あふれる公演を楽しむことができる。また、実際の公演データをCD、DVD、HD-DVD、Bluray(登録商標) DISCなどのような物理的格納媒体を介するか、YouTube(登録商標)などのようなオンライン動画提供サービスなどを介して該当公演データを再生する場合にもタイムコード情報を用いて再生される公演データと第2被制御装置220の制御データを一致させて没入感を最大化させることができる。
【0075】
このとき、データ処理装置210は、公演データと同期化された制御データから公演データの現在の再生区間に対応するタイムコード情報とマッピングされた制御データを抽出し、第2被制御装置220に提供できる。
【0076】
また、データ処理装置210は、YouTube(登録商標)などのようなオンライン動画提供サービスなどを介して該当公演データと公演データによる制御データを受信できる。
【0077】
また、データ処理装置210は、公演データを出力できるディスプレイ装置を含むことができる。
【0078】
一方、データ処理装置210は、公演データ及び公演データによる制御データを物理的格納媒体を介して受信して処理できる。例えば、データ処理装置210は、CD、DVD、HD-DVD、Bluray(登録商標) DISCのような多様な記録媒体だけでなく、SD(Secure Digital)メモリカード、メモリスティック又はMMC(Multi-Media Card)のような各種フラッシュメモリなどを含む物理的格納媒体を介して公演データ及び公演データによる制御データを受信できる。このように、物理的格納媒体を用いて遠隔地で公演データを確認した場合、遠隔地の観客は、時間及び場所に関係なく公演会場で公演を見るのと同じ体験ができる。
【0079】
第2被制御装置220は、制御データに基づいて制御コンソール装置130の制御によって制御される第1被制御装置110と対応してリアルタイムに、又は同期化されて多様な形態の公演演出効果を演出する機能を行える。このとき、第2被制御装置220は、第1被制御装置110と同一の制御データを基に制御されることができる。
【0080】
一実施例として、第2被制御装置220は、光源を含む装置であって、スポーツ競技場やコンサートなどのような公演会場で用いられる小型の応援用グッズであり得る。または、第2被制御装置220は、小型の応援用グッズのような機能を行える多様なスマート機器を活用することもできる。
【0081】
一実施例として、第2被制御装置220は、公演データの現在の再生区間に対応する制御データを基に公演演出データに対応するように制御できる。このとき、第2被制御装置220は、データ処理装置210から制御データを受信することもできる。しかし、これに限定されず、第2被制御装置220と接続されている他の装置を介して制御データを受信することもできる。
【0082】
また、第2被制御装置220は、第1被制御装置110のうちの少なくとも1つと対応して制御データを基に制御されることができる。または、第2被制御装置220は、公演会場20にて仮想で生成された仮想の座席に対応して制御データを基に制御されることができる。
【0083】
以下では、このような構造の本発明の実施例に係る公演会場と遠隔地とを連動させて観客の被制御装置を同時に制御する方法と、前記方法を行う遠隔地演出システム10についてより具体的に説明する。このとき、遠隔地演出システム10は、公演データを提供すると同時に公演データによる制御データを提供するデータ処理装置210を介して公演会場20と少なくとも1つの遠隔地30を連動させて観客が所持する被制御装置110、220を同時に制御できるように実現できる。
【0084】
図3は、本発明の一実施例によって公演会場20の観客席上に演出される公演演出効果の一例を示す図である。
【0085】
遠隔地演出システム10は、公演会場20内の各座席に対応して位置する第1被制御装置110を用いて公演演出効果を実現するために、公演演出データを生成できる。
【0086】
このとき、公演演出データは、制御コンソール装置130で生成することもでき、別の装置(例えば、データ生成装置)で生成されて制御コンソール装置130に提供することもできる。説明の便宜上、以下では、データ生成装置(図示せず)が公演演出データを生成するものとして説明する。
【0087】
データ生成装置は、公演会場20で行われる公演時間中、第1被制御装置110を用いて演出する演出場面(シーン;scene)を生成する。このとき、演出場面によって公演演出区間別に演出場面をそれぞれ構成できる。例えば、第1公演演出区間(例えば、第1時間)では第1演出場面(例えば、第1シーン)を生成し、第2公演演出区間(例えば、第2時間)では第2演出場面(例えば、第2シーン)を生成できる。
図3に示すように、公演会場20内に観客席が構成された場合、第1公演演出区間では
図3のような特定のテキストと共に観客席の座席別に異なる発光色に表示される第1演出場面を生成できる。そして、第2公演演出区間では、第1演出場面とは異なる場面として、例えば特定の図形及び模様に表示されるなどの第2演出場面を生成できる。
【0088】
データ生成装置は、公演演出区間別に生成した各演出場面を基に公演会場20の観客席を複数のグループにグルーピングし、グルーピングした複数のグループに関するグループ情報をそれぞれ生成できる。例えば、第1公演演出区間で演出される第1演出場面に類似するか、同一の発光形態にグルーピングできるグループ単位が複数の場合、公演会場の観客席をグループ単位に複数の領域に分割し、分割された各領域を各グループに生成できる。換言すると、第1公演演出区間の第1演出場面には、複数のグループを含むことができる。
【0089】
図3を参照すると、特定のテキストに表示された観客席の座席を第1グループ310に指定し、観客席内で互いに同一の発光色に演出される座席を区別してそれぞれ第2~第5グループ320、330、340、350に指定できる。
【0090】
データ生成装置は、公演演出区間(公演演出場面)別にそれぞれ生成された複数のグループ情報を観客席内の座席情報とマッピングし、マッピングされた情報を公演演出区間別の公演演出データとして構成できる。例えば、データ生成装置は、下表1のように各区間別の演出情報に対応する複数のグループ情報をマッピングした公演演出データを構成できる。ここで、グループ情報は、公演演出区間別の各演出場面に対応して第1被制御装置110をグループ別に制御するためのグループ別の制御情報を意味する。グループ別の制御情報は、グループ割当情報(即ち、グループ識別情報)及びこれに対応して設定された発光状態情報を含むことができる。即ち、各公演演出区間別に同一のグループ割当情報を有する第1被制御装置110は、互いに同一の発光状態情報を含むことができる。また、同一のグループ割当情報を有する第1被制御装置110は、各公演演出区間別に互いに異なり得る。例えば、第1公演演出区間(第1公演演出場面)でAグループ割当情報を有する被制御装置110_1が第2公演演出区間(第2公演演出場面)ではBグループ割当情報に設定されることができる。換言すると、第1公演演出区間(第1公演演出場面)でAグループに属する被制御装置110と第2公演演出区間(第2公演演出場面)でAグループに属する被制御装置110は互いに異なり得る。
【0091】
【0092】
制御コンソール装置130は、上述したような公演演出データを用いて公演会場20内の各座席に対応して位置する第1被制御装置110を制御でき、このような制御のために制御データを生成できる。一実施例として、制御コンソール装置130は、公演演出データを基に該当公演演出区間で演出する演出場面にマッピングされたグループ別に発光状態情報を含む制御データを生成し、生成された制御データを無線通信を介してブロードキャストできる。このとき、制御コンソール装置130が制御データを直接公演会場20内の第1被制御装置110に伝送することもでき、マスタ装置120を介して制御データを公演会場20内の第1被制御装置110に伝送できる。また、マスタ装置120と有線又は無線で接続された無線送出用アンテナ(図示せず)などを介して伝送できる。この場合、上述したように、マスタ装置120が制御コンソール装置130で生成される制御データを受信し、受信した制御データを通信方式によって定められた形態のデータフォーマットに変換できる。これにより、マスタ装置120は、変換された制御データを特定の通信方式(例えば、RF通信などの無線通信)によって第1被制御装置110に伝送できる。
【0093】
例えば、公演会場で公演を行う過程で第1公演演出区間(例えば、第1時間)に該当する場合、制御コンソール装置130は、第1公演演出区間(例えば、第1時間)の第1演出場面にマッピングされた複数のグループ情報を獲得できる。表1によると、第1演出情報には、5つのグループA、B、C、D、Eがマッピングされており、各グループA、B、C、D、Eは、それに対応する発光状態情報(例えば、RGB情報)が設定されている。制御コンソール装置130は、第1公演演出区間にマッピングされた各グループとそれに対応する発光状態情報を含む5つのグループ情報に対する制御データを生成できる。
【0094】
また、制御コンソール装置130は、公演演出データに対応して生成された制御データを遠隔地30の第2被制御装置220に提供することによって、公演会場20と連動させて遠隔地30でも
図3に示すような公演演出場面(の一部)を実現できる。
【0095】
一方、第1及び第2被制御装置110、220は、観客が所持して公演演出の一部として参加できる発光応援棒又は身体取付型デバイス状であり得る。第1及び第2被制御装置110、220は、観客席に1:1でマッピングされ、公演会場の暗転又はこれに準ずる状態で観客席をディスプレイないし電光板やメディアファサードのようにイメージを表示する役割を果たすこともできる。
【0096】
このとき、第2被制御装置220は、第1被制御装置110のうちの少なくとも1つと対応して制御データを基に同一に制御されることができる。または、第2被制御装置220は、公演会場20内に仮想で生成された仮想の座席に対応して制御データを基に制御されることができる。
【0097】
一実施例において、第1及び第2被制御装置110、220には、公演演出が行われる前に、予め観客席内の第1及び第2被制御装置110、220を活用した公演演出データが含まれていることができる。
【0098】
他の実施例において、第1及び第2被制御装置110、220は、公演演出前に予め場面別に各第1及び第2被制御装置110、220がどのグループに属するかに関するグループ情報のみ格納しておくことができる。この場合、発光状態情報(例えば、色情報)は、事前格納情報から除外され得る。グループ情報は、特定の瞬間や場面で同じ色に制御される被制御装置のグループを意味し得る。
【0099】
このために、第1及び第2被制御装置110、220は、前記割り当てられたグループ別の発光状態情報(例えば、照明色情報)を空(empty)データに維持するか、又はダミー(dummy)データ又は臨時色情報のみ記録できる。即ち、実際のグループ別の照明色情報は、実際の公演を行いながらリアルタイムに伝送できる。
【0100】
即ち、特定の場面で同じ色に共に制御される複数の被制御装置が同じグループ情報を有するようにグループ情報を割り当てることができ、該当グループがどんな色に制御されるかに関する情報は除外され得る。実際の公演演出過程で現場の雰囲気や状況を考慮して色を可変できるため、色情報まで全て応援装置に格納しておく方式とは異なり、柔軟な公演演出が可能になる。
【0101】
図4は、本発明の一実施例に係る被制御装置の構成を示す図である。
図4の被制御装置は、第1被制御装置110及び第2被制御装置220を代表して示す図である。
【0102】
図4を参照すると、本発明の一実施例に係る被制御装置400は、情報受信部410、格納部420、制御部430及び発光部440を含むことができる。
【0103】
情報受信部410は、他の装置と接続して情報を受信できる。一実施例として、情報受信部410は、有線通信モジュール又は無線通信モジュールを含むことができ、例えばRF送/受信機、ジグビー(登録商標)、ブルートゥース(登録商標)、WIFI(登録商標)モジュールなどを含むことができる。
【0104】
情報受信部410は、別のサーバ又は別の装置から自身(該当被制御装置)の観客席位置情報に既に設定された公演演出データを基に公演演出区間別のグループ情報を獲得できる。
【0105】
一実施例として、情報受信部410は、公演演出区間別に自身の観客席位置情報にマッピングされたグループ情報を受信し、下表2のようなグループデータを構成できる。
【0106】
【0107】
前記表2は、1つの特定の被制御装置400に関する演出場面別のグループ情報の例示的なデータであり得る。本被制御装置400は、第1シーンでAグループに属し、Aグループに属する他の被制御装置と同一に制御されることができる。また、第2シーンに場面が切り替わる場合、Cグループに制御できる。
【0108】
前述したように、事前にグループ情報を被制御装置400に記録する過程では、グループに関する情報まで格納され、Aグループがどのような発光状態(例えば、色)に発光されるかは格納されないことができる。従って、制御コンソール装置130が既存の公演演出データを参照して発光状態情報(例えば、色情報)を制御データに含んで生成した後、現場に配置された全て又は一部の被制御装置400に伝送できる。例えば、事前演出企画過程において、第1シーンでAグループが赤色(255,0,0)に制御されると定義されたが、現場の雰囲気や観客との相互作用などを考慮してAグループが緑色(0,255,0)に制御されるように修正された制御データをブロードキャストできる。このとき、緑色に制御されるAグループに属する複数の応援用発光装置は変化がないので、Aグループに属する複数の被制御装置の客席分布及びこれらが構成する模様やパターンのアウトラインはそのまま維持され、Aグループに属する被制御装置の色のみ緑色に発光できる。
【0109】
格納部420は、メモリ、キャッシュ、バッファなどを含んで構成でき、被制御装置400、マスタ装置120、制御コンソール装置130又はデータ処理装置210などの他の構成要素から受信するか生成されたデータを格納できる。一実施例として、格納部420は、情報受信部410により受信した公演会場の観客席位置情報、観客席位置情報によるグループデータを格納できる。これに限定されず、格納部420は、再生可能な動画ファイルと接続でき、物理的格納媒体を介して受信した公演会場20の公演データ及び公演データによる制御データを格納することもできる。
【0110】
上述したように、情報受信部410が外部装置から公演会場20の観客席位置情報、観客席位置情報によるグループデータを受信して格納部420に格納することもできるが、実施例によっては観覧客が公演チケット情報をPCやスマート機器などを介して入力し、情報受信部410が入力されたチケット情報にマッピングされたグループデータを有/無線通信モジュールを介して受信して格納部420に格納することもできる。
【0111】
また、格納部420は、被制御装置400が駆動される多数のアプリケーションプログラム(application program又はアプリケーション(application))、被制御装置400の動作のためのデータ、命令語を格納できる。これらのアプリケーションプログラムのうちの少なくとも一部は、無線通信を介して外部サーバからダウンロードできる。
【0112】
制御部430は、制御コンソール装置130又はマスタ装置120又はデータ処理装置210から制御データを受信できる。このとき、被制御装置400のグループ情報に該当する制御データを選択的に受信できる。一実施例として、制御部430は、観客席位置情報によるグループデータに基づいて被制御装置400のグループ情報に該当する発光状態情報のみ制御データから選択的に抽出し、抽出した発光状態情報によって発光部440を動作するように制御できる。
【0113】
発光部440は、1つ以上の光源素子を含むことができ、光源素子は、例えば発光ダイオード(Light Emitting Diode、LED)などを用いることができる。また、発光部440は、光源素子を用いてRGB色情報による多様な色の光を出力できる。
【0114】
このような構造を有する本発明の一実施例に係る公演会場と遠隔地とを連動させて観客の被制御装置を同時に制御する遠隔地演出システム10の動作は、次の通りである。
図5は、
図2に示した本発明の一実施例に係る公演会場と遠隔地とを連動させて観客の被制御装置を同時に制御する公演演出方法を示すフローチャートである。
図6は、本発明の一実施例に係る公演データに同期化された制御データが含まれて提供される場合の実施例を説明する図である。
【0115】
まず、
図5を参照すると、制御コンソール装置130は、公演会場20内の各座席に対応して位置する第1被制御装置110を用いて公演演出効果を実現するために生成された公演演出データを基に、公演演出データに対応して第1被制御装置110を制御する制御データを生成できる(S100)。
【0116】
一実施例として、制御コンソール装置130は、公演演出区間別の各演出場面を実現するように設定された公演演出データに基づいて、公演会場20で公演を行うことによって、該当公演時間に相応する制御データを生成できる。
【0117】
このとき、制御コンソール装置130は、公演演出データを事前に他の装置(例えば、上述したデータ生成装置)から受信して格納でき、又は他の格納媒体や伝送媒体を介して提供することもできる。また、制御コンソール装置130は、公演中にリアルタイムに公演演出データを受信してそれに相応する制御データを生成することもできる。
【0118】
次に、第1被制御装置110は、制御コンソール装置130又はマスタ装置120から制御データを受信し、第1被制御装置110に既に格納されているグループ情報に該当する制御データを選択的に受信し、受信した制御データに基づいて自身のグループ情報に対応する発光状態(例えば、発光色)によって動作できる(S110)。
【0119】
上述したように、第1被制御装置110は、公演チケットなどを介して指定された公演会場20内の自身の座席に対応して位置することができ、公演開始前に予め自身の座席に対応してマッピングされているグループ情報を含むグループデータを受信して格納できる。
【0120】
実施例によって、制御コンソール装置130は、制御データを直接公演会場20内の第1被制御装置110に無線通信方式で送ることもでき、マスタ装置120を介して制御データを公演会場20内の第1被制御装置110に伝送することもできる。この場合、上述したように、マスタ装置120が制御コンソール装置130で生成される制御データを受信し、受信した制御データを通信方式によって定められた形態のデータフォーマットに変換できる。これにより、マスタ装置120は、変換された制御データを特定の通信方式(例えば、RF通信などの無線通信)によって第1被制御装置110に伝送できる。
【0121】
次に、制御コンソール装置130は、公演データと同期化された制御データを生成できる(S120)。即ち、制御コンソール装置130は、制御データを公演会場20内の第1被制御装置110に提供すると同時に、公演会場20と連動させて遠隔地30にある第2被制御装置220を制御できる。
【0122】
これにより、公演会場20で実現される公演演出効果(即ち、公演演出場面)が遠隔地30で連動してリアルタイムに同期して実現できる。これにより、制御コンソール装置130は、ステップS100で公演演出データに基づいて第1被制御装置110を制御して公演会場20の観客席で実現するために生成された制御データを遠隔地30に提供する必要がある。
【0123】
また、遠隔地30では、観客が公演会場20で行われる公演を撮影した又は公演を基に生成された公演データを見ながら公演会場20と同一の公演演出効果を体験でき、そのために遠隔地30の観客が第2被制御装置220を所持して、第1被制御装置110と共に公演演出データによる公演演出効果を体験できる。
【0124】
従って、制御コンソール装置130は、第1被制御装置110を制御するために生成した制御データを基に、第2被制御装置220を連動させて同期化できるように制御データを加工できる。
【0125】
一実施例として、制御コンソール装置130は、ステップS100で生成された制御データを遠隔地30に提供される公演データと同期するように加工できる。このとき、制御データと公演データなどが遠隔地30に送られる場合、送出時の技術的な問題や遠隔地30の多様な問題によって制御データと公演データが互いにマッチしない場合が発生し得るので、制御データと公演データを同期化させて制御する過程が必要になり得る。これを解決するために、制御データと公演データの再生時点を同期化するためにタイムコード情報を追加できる。即ち、制御コンソール装置130は、公演データに基づいて発生するタイムコード情報又は公演会場20の公演に基づいて発生するタイムコード情報を用いて公演データと同期化されるように、制御データにタイムコード情報をマッピングして構成できる。このとき、タイムコード情報は、公演データの現在の再生区間に対応して同期化された制御データにマッピングされる情報であって、マスタ装置120、制御コンソール装置130、第1被制御装置110又は後述するサーバ140など多様な装置やソフトウェアないしプログラムなどによって発生でき、発生したタイムコードが関連する機器と装置、ソフトウェア又はプログラムに提供されて、システム内の全ての機器と装置が同一のタイムコード情報を共有できる。
【0126】
例えば、制御コンソール装置130は、公演データの再生時間に基づいて発生するタイムコード情報を用いて、公演データ内のフレーム別にタイムコード情報に対応して制御データをマッピングすることによって、公演データと同期化された制御データを生成できる。
【0127】
または、制御コンソール装置130は、公演会場20の公演時の開始時点に基づいて発生するタイムコード情報を用いて、公演時間によるタイムコード情報に対応して制御データをマッピングすることによって、公演データと同期化された制御データを生成できる。
【0128】
ここで、タイムコード情報は時、分、秒、ミリ秒、フレームなどの単位で生成される時間情報であり得る。映像ファイルの場合、再生時間自体がタイムコードとして活用されることができ、タイムコード発生装置を用いて生成することもできる。
【0129】
例えば、制御コンソール装置130は、時、分、秒、ミリ秒、フレームなどの単位で生成される時間情報を含むタイムコード情報に基づいて、被制御装置が制御データによって特定の制御動作を行う開始時点とタイムコード情報をマッピングして、同期化された制御データを生成できる。
【0130】
タイムコード情報は、遠隔地の装置の同期化に適切な形態に変形して適用することができる。一実施例として、時、分、秒、ミリ秒又はフレームからなっているタイムコード情報がメディア再生装置の同期化に適した時、分、秒、ミリ秒の形態に変形されて格納されるか、変形して解釈できる。タイムコード情報の形式のうち、時間表現の正確度を目的に用いられるドロップフレーム形式の場合、補正アルゴリズムを介して現在のタイムコードのフレームに適したミリ秒を算定して適用できる。
【0131】
実施例によって、制御コンソール装置130ではない他の装置(例えば、同期化装置)で上述したような第1被制御装置110を制御するために生成した制御データを基に、第2被制御装置220を連動させて同期化できるように公演データと同期化された制御データを生成することもできる。
【0132】
一方、一般に、公演現場ではGRANDMA、Chamsys、Chroma Vista、High End Systems Hog、Avolites、Obsidian Onyx、MADRIXなどの照明制御コンソール装置が支援するDMX、ART-NET、ETC-NET、sACN、Shownet、KiNetなどの制御用プロトコルを用いて照明データを一般のネットワーク信号に変換して照明制御コンソール装置に伝送することで、各種照明機器を直接的又は間接的に制御できる。このとき、制御用プロトコルを用いて変換されたコンソール装置の制御データは、単方向性であり、フィードバックがなく、特にタイムコードなどの同期化信号を含まない構造であり得る。
【0133】
従って、既存のコンソール装置を公演現場で用いる場合、本発明のように公演会場20での公演演出効果を実現するために生成された制御データを用いて、公演会場20の第1被制御装置110と同時に連動させて遠隔地30の第2被制御装置220を制御できない。
【0134】
しかし、本発明では、制御コンソール装置130が、上述したように、公演会場20の第1被制御装置110を制御することによって生成された制御データにタイムコード情報をマッピングする過程を経て、公演会場20の第1被制御装置110と同時に連動させて遠隔地30の第2被制御装置220を同期化させて制御できる。従って、本発明の制御コンソール装置130を用いる場合、既存のGRANDMAコンソール装置をそのまま活用して公演会場20の第1被制御装置110を制御すると同時に、制御データにタイムコード情報をマッピングして同期化された制御データを生成することによって遠隔地30の第2被制御装置220を共に制御できる。
【0135】
次に、データ処理装置210は、公演データ及び公演データと同期化された制御データを受信及び確認できる(S130)。即ち、データ処理装置210は、公演データと、これと同期化された制御データを共に受信して処理できる。
【0136】
具体的に、
図6を参照すると、映像、音声、イメージ、テキスト、キャプション、メディア情報メタデータの形態で公演データに同期化された制御データが含まれている場合、データ処理装置210は、公演データに含まれている同期化された制御データを抽出し、抽出された同期化された制御データから公演データの現在の再生区間に対応するタイムコード情報とマッピングされた制御データを抽出できる。このとき、タイムコード情報が公演データに基づいて発生すると示したが、これに限定されず、タイムコード情報は、マスタ装置120、制御コンソール装置130又は第1被制御装置110によって共有されて発生し得る。
【0137】
一実施例として、データ処理装置210は、公演会場20(即ち、第1制御システム100)からリアルタイムに、又は一定の時間間隔を置いて公演データと、これと同期化された制御データを受信して処理できる。
【0138】
他の実施例として、データ処理装置210は、公演会場20の公演データとこれと同期された制御データを物理的格納媒体を介して受信できる。物理的格納媒体を介して公演データを受信することによって、遠隔地30の観客は、時間及び場所に影響を受けない。このとき、公演データに同期化された制御データが含まれて提供されることもでき、公演データとは別に公演データと同期化された制御データを提供することもできる。
【0139】
公演データと制御データが遠隔地30のデータ処理装置210に送られる場合、制御データは、公演データに含まれる多チャネルトラック情報の空き格納空間に追加できる。または、制御データは、公演データの字幕データに区別される別の領域に追加されるか、制御データを暗号化又は所定の変換ないし隠匿過程を通じて公演データのフレームの一部又は画素の一部に追加されて、公演データに制御データが結合されて一体に送ることもできる。または、公演データのメタデータや一部のパケットに追加されて公演データに含めることもできる。
【0140】
制御データは、公演データの放送局及び放送送出タイトルロゴが配置される画面領域の一部のピクセルが応援棒と連動する色に追加されるか、応援棒の制御のための応援棒ロゴを生成した後、該当領域に追加できる。公演データに含まれている実況映像の基準座標(0,0)の位置など映像領域の外郭部分に該当する非認知領域に制御データを追加して含むことができる。これを再生時に映像視聴の没入感への妨害を防ぐために、シフト又は拡大補正するか、再生装置の構成要素及びフレームや再生時間表示器などを覆って表示することによって、映像再生画面で制御情報が視覚化されない方法を適用できる。公演データのメタデータ、字幕データ、消音された音声トラックなどの方法で含めることもできる。
【0141】
次に、データ処理装置210は、公演会場20で実現される公演演出効果を遠隔地30で連動させて具現するために、遠隔地30の観客に公演データを提供し、これと共に公演データと同期化された制御データを有無線通信方式で第2被制御装置220に提供できる(S140)。このとき、データ処理装置210は、映像再生機能及び遠隔通信機能が含まれているデバイスであり得る。
【0142】
最後に、第2被制御装置220は、公演映像の現在の再生区間に対応する制御データを基に公演演出データに対応するように制御されることができる(S150)。
【0143】
一実施例として、第2被制御装置220は、公演データの現在の再生区間に対応する制御データを基に、第2被制御装置220に既に格納されているグループ情報に該当する制御データを選択的に受信し、受信した制御データに基づいて自身のグループ情報に対応する発光状態(例えば、発光色)にて動作できる。
【0144】
即ち、第2被制御装置220は、現在再生中の時点の公演データに対応する制御データを受信するので、公演データ内の第1被制御装置110が演出している公演演出効果(即ち、公演演出データ)と正確に同期して動作できる。従って、公演会場20で体験できるのと同じ公演及び公演演出効果を遠隔地30でも受信できる。
【0145】
第2被制御装置220は、ブルートゥース(登録商標)、wifi(登録商標)、有線接続、ドングル装置などを介してデータ処理装置210と接続されて公演データと同期化された制御データを共に受信することもでき、又は他の別の装置(例えば、別のサーバ)や別の伝送媒体を介して公演データと同期化された制御データを共に受信することもできる。
【0146】
図7は、本発明の他の実施例に係る公演会場と遠隔地とを連動させて観客の被制御装置を同時に制御する遠隔地演出システム12の構成を概略的に示す図である。
【0147】
図7を参照すると、本発明の他の実施例に係る遠隔地演出システム12は、公演データを処理する公演データ処理装置2100と、制御データに基づいて第2被制御装置220を制御する制御データ処理装置2120を含むことができる。
【0148】
図7に示した公演データ処理装置2100及び制御データ処理装置2120を除いては、
図2に示した遠隔地演出システム10と同一の特性を有することができる。
【0149】
以下の
図7では、
図2に記載された内容と重複する内容についての詳細な説明を省略し、異なる点を中心に説明する。従って、
図7に示した遠隔地演出システム12と同一の機能を行う構成要素については、
図2と同一の符号を付し、それについての詳細な説明は省略する。
【0150】
公演データ処理装置2100は、公演データを受信して処理できる。即ち、公演データ処理装置2100は、映像、音声、イメージ、テキスト、キャプション、メディア情報及びメタデータのうちの1つである公演データを遠隔地30の観客に提供できる。メタデータは、字幕データの形態又はXMLなどの別途のフォーマットで構成できるが、これに限定されるものではない。
【0151】
制御データ処理装置2120は、公演データと同期化された制御データを受信して処理し、第2被制御装置220に提供できる。即ち、制御データ処理装置2120は、制御データを分析及び確認して有無線通信方式で遠隔地30内の観客の第2被制御装置220に伝送して制御できる。このとき、制御データ処理装置2120は、アプリケーションプログラム(application program又はアプリケーション(application))を用いて制御データを分析及び確認し、有無線通信方式で伝送して遠隔地30内の観客の第2被制御装置220に伝送して制御でき、アプリケーションプログラム(application program又はアプリケーション(application))は、無線通信を介して外部サーバ又は公演会場側の制御システム100を介してダウンロードできる。
【0152】
一方、公演データ及び公演データと同期化された制御データが分離されず、
図2に示したデータ処理装置210を介して提供された場合、公演データは、公演データ処理装置2100が処理し、公演データと同期化された制御データは、制御データ処理装置2120によって分離されて処理することができる。
【0153】
一実施例において、公演データ処理装置2100で公演データ及び公演データと同期化された制御データを受信した後、公演データと制御データを分離して公演データを処理し、制御データを制御データ処理装置2120に伝送できる。
【0154】
一実施例において、公演データ処理装置2100は、ビームプロジェクタ、モニタ、TVなどを含む再生装置であり得る。
【0155】
一実施例において、制御データ処理装置2120は、遠隔通信機能が含まれているデバイスであり得る。
【0156】
このような構造を有する本発明の他の実施例に係る公演会場と遠隔地とを連動させて観客の被制御装置を同時に制御する遠隔地演出システム12の動作は、次の通りである。
図8は、
図7に示した本発明の他の実施例に係る公演会場と遠隔地とを連動させて観客の被制御装置を同時に制御する公演演出方法を示すフローチャートであり、
図9は、本発明の他の実施例に係る公演データと同期化された制御データが分離されて提供される場合の実施例を説明する図である。
【0157】
本実施例では、公演データと同期化された制御データが分離されて提供される場合を限定して説明する。これにより、ステップS200は、
図5に開示されたステップS100と同一であり、ステップS210は、
図5に開示されたステップS110と同一であり、ステップS220は、
図5に開示されたステップS120と同一であり得るので、これについての具体的な説明は省略する。
【0158】
まず、
図8及び
図9を参照すると、公演データに同期化された制御データが含まれていない場合、公演データ処理装置2100は、公演会場20で行われる公演を基に生成された公演データを受信できる(S230)。このとき、公演データは、公演会場20(即ち、第1制御システム100)からリアルタイムに、又は一定の時間間隔を置いて受信するか、物理的格納媒体を介して提供されることができる。
【0159】
次に、公演データに同期化された制御データが含まれていない場合、サーバ140は、制御コンソール装置130から受信した同期化された制御データを制御データ処理装置2120に伝送できる(S240)。
【0160】
一方、本実施例において、ステップS240ステップがS230ステップよりも先に実行されるか、同時に実行できる。
【0161】
次に、制御データ処理装置2120は、サーバ140から受信した同期化された制御データを確認できる(S250)。
【0162】
具体的に、制御データ処理装置2120は、サーバ140から公演データに対応して生成された制御データを獲得し、獲得された制御データから公演データの現在の再生区間に対応するタイムコード情報とマッピングされた制御データを抽出できる。このとき、タイムコード情報が公演データに基づいて発生すると示したが、これに限定されず、タイムコード情報は、マスタ装置120、制御コンソール装置130、第1被制御装置110又はサーバ140によって共有されて発生し得る。
【0163】
最後に、第2被制御装置220は、公演データの現在の再生区間に対応する制御データを基に公演演出データに対応するように制御されることができる(S260)。
【0164】
図10は、本発明の更に他の実施例に係る無観客公演に対応して遠隔地の観客の被制御装置を制御する遠隔地演出システムの構成を概略的に示す図である。
【0165】
図10を参照すると、本発明の更に他の実施例に係る遠隔地演出システム14は、公演会場20の領域内で公演される無観客公演に対応する無観客公演データを生成する公演会場側の制御システム100及び遠隔地30にて無観客公演データに対応して被制御装置220_1、・・・、220_n(以下、第2被制御装置という)を制御する遠隔地側の制御システム200を含むことができる。
【0166】
本実施例において、公演会場20の領域内で公演される無観客公演は、社会的又は物理的問題によって観客の安全のために観客なしで無観客仮想で行われる公演であり得るが、これに限定するものではなく、保安又は撮影用公演の場合にも無観客の状態で撮影が行われるが、撮影した公演データ及び/又は制御データは、外部に伝送されるか、物理的な媒体によって遠隔地30の観客に伝達されることができる。
【0167】
複数の他の実施例によれば、公演や映像撮影、放送過程で現場の観客がいない場合には、遠隔地の被制御装置に独立した遠隔制御データを伝送して遠隔地の観客が視聴する映像やコンテンツに対応して制御される遠隔地の被制御装置を介して所定の演出効果を発生させることもできる。但し、前述したように、制御データによって動作する被制御装置と対応して同じタイミングで動作する公演データは、無観客公演データに限定されるものではなく、観客が現場に存在し、現場の観客が被制御装置を所持して現場で現場制御データによって所定の客席演出場面を実現でき、遠隔地の被制御装置に現場制御データと対応する遠隔制御データが伝送され、現場の被制御装置と遠隔地の被制御装置が対応して一致するタイミング制御によって一体感のある照明装置の制御が可能である。
【0168】
公演会場側の制御システム100は、公演会場20で公演される無観客公演に基づいて無観客公演データを生成し、生成された無観客公演データを遠隔地30に伝送する制御コンソール装置130を含むことができる。
【0169】
具体的に、制御コンソール装置130は、データ送受信部131、データ格納部132、データ処理部133、モニタリング部134及び装置制御部135を含むことができる。
【0170】
データ送受信部131は、公演会場20内で行われる無観客公演から公演データを受信できる。ここで、公演データは、公演会場20内で公演されるデータであって、舞台上で公演される際に発生する音、動き及び空間の状態が含まれる公演データであり得る。
【0171】
データ送受信部131は、無観客公演データを遠隔地側の制御システム200に伝送できる。ここで、無観客公演データは、無観客公演演出データに基づいて、公演データに対応して遠隔地30の第2被制御装置220を制御する制御データと公演データを同期化させて公演演出効果を具現するためのデータであり得る。
【0172】
実施例によって、データ送受信部131は、無観客公演データを受信し、映像を含む公演データを視覚的に再生するための自らのディスプレイ装置を介して再生するために内部信号の形態で伝送するか、又は別の外部再生機器又は装置に公演データを伝送することもできる。
【0173】
また、制御データは、公演会場20で公演される公演データに対応して公演会場20の座席に対応して公演演出効果を出すために遠隔地側の制御システム200の第2被制御装置220を制御できるデータであり得る。
【0174】
実施例によって、制御データは、公演会場20で公演される公演データに対応して公演会場20の仮想の座席に対応して公演演出効果を出すために遠隔地側の制御システム200の第2被制御装置220を制御できるデータであり得る。
【0175】
無観客公演演出データは、公演会場20内で行われる公演データに対応して遠隔地30に位置する第2被制御装置220を用いて公演演出効果を実現するために生成されたデータである制御データを含むことができるが、これに限定されるものではなく、公演データとは別に制御データを遠隔地30に伝送できる。
【0176】
実施例によって、データ送受信部131は、無観客公演データを外部サーバに伝送できる。
【0177】
実施例によって、データ送受信部131は、遠隔地側の制御システム200から無観客公演に対する視聴を要請する信号を受信できる。
【0178】
データ格納部132は、公演会場側の制御システム100と遠隔地側の制御システム200との間に送受信されるデータと、公演会場側の制御システム100の多様な機能を支援するデータを格納できる。
【0179】
データ格納部132は、公演会場側の制御システム100で駆動される多数のアプリケーションプログラム(application program又はアプリケーション(application))、公演会場側の制御システム100の動作のためのデータ、命令語を格納できる。これらのアプリケーションプログラムのうちの少なくとも一部は、無線通信を介して外部サーバからダウンロードできる。
【0180】
実施例によって、データ格納部132は、無観客演出公演データ、公演データ及び制御データを格納できる。ここで、公演データ及び制御データは、無観客演出公演データに基づいて互いに同期化され、無観客公演データとして生成される前のデータであり得る。
【0181】
実施例によって、データ格納部132は、無観客公演演出データを格納できる。
【0182】
データ処理部133は、遠隔地側の制御システム200に無観客公演データが送受信できるように公演データ及び制御データを変換できる。
【0183】
例えば、データ処理部133は、制御データを公演会場20の内部に位置するGRANDMA、Chamsys、MADRIXなどの制御コンソール装置130が支援するDMX512、RDM、ART-NET、ETC-NET、sACN、Shownet、KiNetなどの制御用プロトコルを用いて、照明データの制御信号を含む制御データを一般のネットワーク信号に変換できる。
【0184】
複数の他の実施例によれば、遠隔地に受信される公演データと制御データは、別のチャネルを介して受信でき、そのために公演データを伝送するサーバ又は再生を支援する格納媒体が別に分離され、制御データを遠隔地に提供する別のサーバが提供できる。これにより、公演データが遠隔地の所定の装置又は機器に受信されるとき、公演データ内部の基準情報を基に制御データのタイミングを同期化でき、逆に制御データが遠隔地の所定の装置又は機器に受信されるとき、被制御装置に提供する制御データ内部の基準情報を基に公演データの再生時点や再生区間情報を同期化して制御データとタイミングを一致させることができる。例えば、基準情報は、所定のタイムスタンプの形態又はタイムコード情報の形態であり、再生される公演データの再生時間情報、映像のフレーム番号、映像のフレーム番号を時間に補正又は変換した情報であり得るが、これに限定されるものではなく、公演データと制御データの動作を一致させるための全ての形態の情報を含むことができる。
【0185】
モニタリング部134は、公演会場側の制御システム100と遠隔地側の制御システム200との間に送受信されるデータを画面を介してモニタリングできる。管理者がリアルタイムに公演会場側の制御システム100で生成される無観客公演データを確認することによって、エラーのないより正確な無観客公演データを提供できる。
【0186】
装置制御部135は、無観客公演演出データに基づいて公演データと公演データに対応する制御データを同期化して無観客公演データを生成できる。
【0187】
例えば、装置制御部135は、DAW(Digital Audio Workstation)装置(図示せず)を用いて公演データと公演データに対応する制御データを同期化して無観客公演データを生成できる。
【0188】
具体的に、DAW装置は、公演会場20で受信した公演データをミディ信号方式に変更した後、MR音源トラック、楽器トラック、歌手別マイクトラック、及び現場音のトラック別に該当トラックを除いた残りのトラックは消音(Mute)して該当トラックを調整した後、ポストプロダクション用システム(DAW Tools)のトラックに併合(Merge)した後、制御データと同期化して無観客公演データを生成できる。これにより、無観客公演データを受信した遠隔地側の制御システム200は、無観客公演データに含まれている映像と音声又はイメージと音声の分離なしに一致する映像又はイメージとして聴取できる。
【0189】
実施例によって、装置制御部135は、ライブで受信される公演データをリアルタイムに制御データと同期化させて生成された無観客公演データを遠隔地側の制御システム200にリアルタイムに提供できる。
【0190】
複数の他の実施例によれば、公演や撮影又はリアルタイム放送の送出などが行われる現場には観客がいない状態で、公演データと制御データを送信でき、現場に被制御装置が存在しないため、制御データが現場に無線送信されず、中継、撮影又は編集によって生成した公演データに制御データを同時に、又は事後的に結合又は追加する形態で構成されることができる。公演データと制御データが併合されて共に送信される場合、制御データは、公演データに含まれる多チャネルトラック情報の空き格納空間に追加されることができる。または、制御データは、公演データの字幕データに区別される別の領域に追加されるか、制御データを暗号化又は所定の変換ないし隠匿過程を通じて公演データのフレームの一部又は画素の一部に追加され、公演データに制御データが結合されて一体に送られることもできる。または、公演データのメタデータや一部のパケットに追加され、公演データに含まれることもできる。制御データは、公演データの放送局及び放送送出タイトルロゴが配置される部分に一部のピクセルが応援棒と連動する色に追加されるか、応援棒の制御のための応援棒ロゴを生成した後、その領域に追加されることができる。公演データの座標(0,0)の位置など映像の外郭部分に該当する領域に制御データを追加して含むことができる。これを再生時に映像視聴の没入感への妨害を防ぐために、シフト又は拡大補正するか、再生装置の構成要素及びフレームや再生時間表示器などを覆って表示することによって、映像再生画面で制御情報が視覚化されない方法を適用できる。公演データのメタデータ、字幕データ、消音された音声トラックなどの方法で含めることもできる。
【0191】
複数の他の実施例において、受信又は格納された公演データを再生するための機器又は装置の再生時間情報と制御データを処理するための機器又は装置の制御プログラム間の基準情報の形式が一致しない場合、所定の演算によって補正値を算出して公演データの再生と制御データの送出過程に必要な同期化を行える。
【0192】
ここで、装置制御部135は、リアルタイムに無観客公演データを遠隔地側の制御システム200に提供するために無観客公演演出データに基づいてライブで行われる公演データと制御データをリアルタイムに同期化させて無観客公演データを生成できる。
【0193】
これとは異なり、装置制御部135は、無観客公演演出データに基づいてライブで行われる公演データと制御データを一定の時間間隔を置いて同期化させ無観客公演データを生成できる。
【0194】
実施例によって、装置制御部135は、公演データに対応する制御データを一定の時間間隔を置いて同期化させて無観客公演データを生成できる。
【0195】
実施例によって、装置制御部135は、録画された公演データを制御データと同期化させて生成された無観客公演データを遠隔地側の制御システム200に提供できる。
【0196】
実施例によって、装置制御部135は、同期化された無観客公演データをストリーミング用データに変換して遠隔地側の制御システム200に提供できる。
【0197】
例えば、装置制御部135は、ブイライブ(vlive)、ユーチューブ(YouTube(登録商標))などのようなオンライン動画提供サービスなどを介して実際の無観客公演データを遠隔地側の制御システム200で確認できるように提供できる。
【0198】
複数の他の実施例によれば、公演や撮影又はリアルタイム放送の送出などが行われる現場で観客のいない状態でも、公演データを生成しながら同時に現場に配置されて制御データを生成するマスタ装置などで生成されて送信される制御データを有無線で直接受信して前記制御データを公演データと共に送ることもできる。公演データと制御データを共に伝送する方式が用いられることもでき、制御データを現場のマスタ装置を介して直接受信して公演データと分離して別に制御データを提供する別のサーバを介して制御データが遠隔地の被制御装置に提供されることができる。
【0199】
実施例によって、装置制御部135は、同期化された無観客公演データをCD、DVD、HD-DVD、Bluray(登録商標) DISCのような多様な記録媒体だけでなく、SD(Secure Digital)メモリカード、メモリスティック又はMMC(Multi-Media Card)のような各種フラッシュメモリなどといった物理的格納媒体(図示せず)に記録して遠隔地側の制御システム200に提供できる。
【0200】
複数の他の実施例において、公演実況に対する物理的な格納媒体、例えばブルーレイ(登録商標)やDVD、IPTVのVODサービスなどのような手段によって、既存の過去の公演映像を再生するか、ミュージックビデオなどの映像物を再生する場合にも遠隔地にて映像物を視聴する視聴者が所持する被制御装置に制御データを提供して映像物の公演実況と同期化されて点灯又は点滅など動作する被制御装置を提供できる。格納媒体の場合、映像編集、マスタリング又は補正など公演撮影の後に行われる事後的な過程を通じて映像物に合わせて制御データを別に生成でき、制御データを公演データと共に格納媒体に記録できる。このような格納媒体で既存の再生装置で問題を起こさないために公演データ又は音声データを別のファイルに格納して提供できる。別のファイルに分離格納した制御データは、被制御装置の制御を支援する制御プログラムや制御装置を介して再生して利用できる。格納媒体で公演データ又は音声データとは別に制御データを提供する場合、制御データの形態は、タイムコード情報と結合されることができ、テキスト情報であるか、形式を備えたXML様式であり得る。このような格納媒体を再生する遠隔地の機器が公演データを再生しながら制御データを判読して該当制御データを被制御装置に提供し、遠隔地でもユーザが録画された公演実況と一体に動作する被制御装置を体験でき、臨場感及び公演に対する没入感を高めることができる。
【0201】
実施例によって、装置制御部135は、タイムコード情報を用いて公演データと制御データを同期化して無観客公演データを生成できる。このとき、公演データと同期化された制御データは、無観客公演演出データに基づいて発生するタイムコード情報又は公演会場20の公演データに基づいて発生するタイムコード情報を用いて公演データと同期化されるように制御データにタイムコード情報をマッピングして構成されたものであり得る。即ち、タイムコード情報を用いて遠隔地30の公演データと遠隔地30の第2被制御装置220が互いに同期化されることができる。
【0202】
例えば、装置制御部135は、公演データの開始時点に基づいて発生するタイムコード情報を用いて公演時間によるタイムコード情報に対応して制御データをマッピングすることによって、公演データと同期化された制御データを生成できる。
【0203】
または、装置制御部135は、公演データの再生時間に基づいて発生するタイムコード情報を用いて公演データ内のフレーム別にタイムコード情報に対応して制御データをマッピングすることによって、公演データと同期化された制御データを生成できる。
【0204】
ここで、タイムコード情報は時、分、秒、ミリ秒などの単位で生成される時間情報であり得る。映像ファイルの場合、再生時間自体がタイムコードとして活用でき、タイムコード発生装置を用いて生成することもできる。
【0205】
例えば、装置制御部135は、時、分、秒、ミリ秒などの単位で生成される時間情報を含むタイムコード情報に基づいて、被制御装置が制御データによって特定の制御動作を行う開始時点とタイムコード情報をマッピングして、同期化された制御データを生成できる。実施例によって、装置制御部135は、タイムコード情報を用いて再生される公演データと公演データに対応して制御される第2被制御装置220の制御データが一致しない場合、時間情報を含む無観客公演演出データ又は公演データのタイムコード情報を補正処理して制御データと同期化させて第2被制御装置220を制御できる。
【0206】
実施例によって、装置制御部135は、公演データ及び公演データに対応する制御データを同期化させない無観客公演データを遠隔地側の制御システム200に伝送できる。即ち、装置制御部135は、公演データ及び公演データに対応する制御データを個別に遠隔地側の制御システム200に伝送できる。これにより、公演データに基づいて公演会場20内に位置する装置制御部135が制御データを用いて遠隔地30の第2被制御装置220を制御できる。
【0207】
このとき、装置制御部135は、公演データ及び公演データに対応する制御データを同期化させない無観客公演データをリアルタイムに、又は順次、遠隔地側の制御システム200に伝送できる。
【0208】
これとは異なり、装置制御部135は、同期化されない公演データ及び制御データを別の物理的格納媒体を介して個別に遠隔地側の制御システム200に伝送できる。ここで、公演データ及び制御データは、同一又は互いに異なる格納媒体を介して遠隔地側の制御システム200に伝送できる。
【0209】
実施例によって、装置制御部135は、観客のいない仮想空間で予め撮影された映像を遠隔地側の制御システム200に伝送できる。例えば、装置制御部135は、事前録画又はミュージックビデオのような無観客公演データを遠隔地側の制御システム200に伝送できる。
【0210】
実施例によって、装置制御部135は、実際の公演映像に関係なく予め撮影された映像を視聴する遠隔地30の第2被制御装置220が公演データに対応して制御されるように公演データと制御データを同期化させて無観客公演データを生成できる。
【0211】
実施例によって、装置制御部135は、無観客公演データを無線信号に変換し、前記無線信号を遠隔地側の制御システム200に伝送できる。
【0212】
実施例によって、装置制御部135は、ペアリングされた遠隔地30の第2被制御装置220に公演データと同期化された制御データが含まれている制御信号をブロードキャストして公演データに対応して第2被制御装置220を遠隔で制御できる。
【0213】
このような構造の公演会場側の制御システム100は、公演会場20の領域内に位置し、無観客公演演出に対応する無観客公演データを生成し、これを遠隔地30の遠隔地側の制御システム200に伝送することによって、無観客公演演出に対応して遠隔地30の第2被制御装置220を制御できる。
【0214】
遠隔地側の制御システム200は、遠隔地30に位置するデータ処理装置210及び第2被制御装置220を含むことができる。ここで、データ処理装置210及び第2被制御装置220は、同一の遠隔地30に位置し得るが、これに限定されず、互いに異なる遠隔地30に位置し得る。
【0215】
データ処理装置210は、公演会場側の制御システム100から受信した無観客演出データを同時に処理できる。即ち、データ処理装置210は、公演データと前記公演データと同期化された制御データを同時に制御して遠隔地30の観客に公演データを提供しながら遠隔地30の観客の第2被制御装置220を同時に制御できる。
【0216】
実施例によって、データ処理装置210は、公演会場側の制御システム100からリアルタイムに、又は一定の時間間隔を置いて無観客公演演出データを受信して処理できる。このとき、無観客公演演出データは、観客なしで公演が公演会場又は仮想空間で演出されるように提供されるデータであり得るが、これに限定するものではない。
【0217】
実施例によって、データ処理装置210は、物理的格納媒体を介して無観客公演演出データを受信して処理できる。
【0218】
実施例によって、データ処理装置210は、無観客演出データに含まれている公演データ及び制御データを個別に処理できる。
【0219】
実施例によって、データ処理装置210は、公演データを個別に処理してビームプロジェクタ、モニタ、TVなどの再生装置を介して遠隔地30の観客に提供できる。このとき、遠隔地30の第2被制御装置220は、公演会場側の制御システム100によって制御できる。
【0220】
実施例によって、データ処理装置210は、制御データを個別に処理して遠隔地30の第2被制御装置220を制御できる。
【0221】
このとき、データ処理装置210は、複数の遠隔地30に観客が位置する場合、同時に又は個別に遠隔地30の観客の第2被制御装置220を制御することもできる。
【0222】
実施例によって、データ処理装置210は、無観客公演データに基づいて公演データを処理できる。このとき、無観客公演データには、公演データに基づく制御データを含めないことができる。
【0223】
実施例によって、データ処理装置210は、個別に制御データを処理できる。
【0224】
例えば、データ処理装置210は、タイムコード情報を用いて再生される公演データと第2被制御装置220の制御データが一致しない場合、時間情報を含む無観客公演演出データ又は公演データのタイムコード情報を補正処理して制御データと同期化させて第2被制御装置220を制御できる。このようなデータ処理装置210は、映像再生機能及び遠隔通信機能が含まれているデバイスであり得る。
【0225】
複数の他の実施例において、遠隔地にて制御データを分析及び処理し、これを被制御装置に伝送するデータ処理装置210は、特定の機器又は装置に限定されず、多様な形態や種類を含むことができる。例えば、スマートフォンなどでブルートゥース(登録商標)など無線通信のために複数の被制御装置とペアリング又はマルチペアリングを行うことができ、ブルートゥース(登録商標)など無線通信を介して複数の被制御装置を対象に別のペアリングなしにブロードキャストすることもできる。例えば、スマートフォンなどのブルートゥース(登録商標)ペアリングが可能な機器又は装置で提供するマルチペアリングは、一般に最大8台まで接続される制約があるため、遠隔地での被制御装置が8台を超える場合、同時制御ができない状況が発生する恐れがある。これをブルートゥース(登録商標)ブロードキャスト信号、例えば、ビーコン信号やペアリング又はボンディングのための広告信号(Advertizement Signal)を操作して被制御装置を制御するための制御データ(制御信号)を伝送できる。広告信号は、アクセスアドレス(Access Address)、広告装置のアドレス(Advertiser's Address)、広告データ(Advertiser's Data)、UUID(Universally Unique Iedntifier)などの情報で構成されることができる。広告信号を操作して伝送する一実施例として、広告データをLEDControl1にし、広告装置のアドレス、アクセスアドレス、UUIDを発光用照明装置のための制御情報に操作伝送できる。また、別の実施例として広告データをLEDControl1_にし、広告データに制御情報を繋いで結合してLEDControl1_255.0.0のような形態に伝送することもできる。
【0226】
被制御装置は、マスタ(Master;Central)モードで動作し、ペアリングやボンディング動作をせず、ブロードキャスト信号のみを受信分析して動作できる。これにより、ビーコンや周辺機器(Peripheral)に直接的に接続せず、ブロードキャスト信号を受信して多数の応援棒装置を制御できる。これはペアリングされたそれぞれの装置に接続して信号を伝達する過程を反復的に迅速に行って複数個が連続的に接続されたかのように動作するマルチペアリング過程で発生する持続的な同一周波数帯の信号占有の問題があり、それぞれの被制御装置に同時に制御データが伝達されるのではなく、短時間に分散して互いに異なる時点に制御データを伝送するため、多数の被制御装置が、数ms水準の同期化誤差が発生する問題を解決できる。
【0227】
第2被制御装置220は、公演会場20内で公演される公演データに対応して制御データによって制御されることによって 、実際の公演会場で公演を体験できる効果を提供できるようにする観客が所持する応援グッズであり得る。即ち、第2被制御装置220は、再生装置(図示せず)を介して再生される公演データに対応して公演会場20にて仮想で生成された仮想の座席に対応して制御データを基に制御されることができる。このとき、第2被制御装置220は、有無線通信方式でデータ処理装置210から制御データを受信して制御されることができる。
【0228】
例えば、第2被制御装置220は、ブルートゥース(登録商標)、wifi(登録商標)、有線接続、ドングル装置などを介してデータ処理装置210と接続されて公演データと同期化された制御データを共に受信することもでき、又は他の別の装置(例えば、別のサーバ)や別の伝送媒体を介して公演データと同期化された制御データを共に受信することもできる。
【0229】
実施例によって、第2被制御装置220は、公演会場側の制御システム100から制御データを受信して制御されることができる。
【0230】
例えば、第2被制御装置220は、公演会場20の装置制御部135とペアリングされて装置制御部135からブロードキャストされた制御データを含む制御信号を受信して公演データに対応して制御できる。
【0231】
複数の他の実施例によれば、遠隔地の被制御装置を所持する遠隔地の観客は、公演データの再生が可能な機器を介して公演、映像又は放送を視聴することができ、公演データの再生と同時に制御データが伝送されて公演データと制御データが同じタイミングで設定され、再生される公演データに合わせて被制御装置を発光制御できる。制御データと公演データは、別の受信装置を介して受信されて公演データは映像再生が可能な全ての機器、例えば、モバイル装置、TV、セットトップボックス、デスクトップ、携帯型コンピューティングデバイスなどで再生でき、制御データは、公演データと別の機器又は装置を介して受信され、受信した制御データを被制御装置に伝送できる。
【0232】
複数の他の実施例によれば、遠隔地の被制御装置を所持する遠隔地の観客は、公演データと制御データを1つの機器を介して受信し、前記1つの機器を介して映像再生と制御データを被制御装置に伝送する過程を共に行うこともできる。例えば、スマートフォンで公演データと制御データを受信して公演データをスマートフォンで再生すると同時に、制御データを分析してブルートゥース(登録商標)などの近距離無線通信信号によって周辺の被制御装置に伝送して公演データと制御データが同期化されることができる。
【0233】
このような構造の遠隔地側の制御システム200は、公演会場20から受信した無観客公演データを用いて遠隔地30の観客が所持する第2被制御装置220を制御して公演会場20で公演を見るのと同じ体験ができるようにすることができる。
【0234】
一方、本実施例において、遠隔地演出システム14は、上述したサーバ140を更に含むことができるが、これに限定されない。
【0235】
実施例によって、サーバ140は、公演会場側の制御システム100で生成された無観客データを遠隔地側の制御システム200に伝送できる。
【0236】
実施例によって、サーバ140は、公演会場側の制御システム100から受信した公演データに基づいて遠隔地30の第2被制御装置220を制御できる制御データを生成できる。
【0237】
実施例によって、サーバ140は、制御データに基づいて被制御装置220を制御する制御信号をブロードキャストして遠隔地30の第2被制御装置220を遠隔で制御できる。
【0238】
図11は、
図10に示した更に他の実施例に係る無観客公演に対応して遠隔地の観客の被制御装置を制御する公演演出方法を示すフローチャートである。
【0239】
まず、
図11を参照すると、制御コンソール装置130は、公演会場20内で無観客公演を公演するために無観客公演演出データを生成できる(S300)。
【0240】
これとは異なり、制御コンソール装置130は、無観客公演演出データを事前に他の装置から受信して格納していることができ、又は他の格納媒体や伝送媒体を介して提供を受けることもできる。
【0241】
次に、制御コンソール装置130は、無観客公演演出データに基づいて公演会場20の領域内で公演される無観客公演を介して公演データを獲得できる(S310)。
【0242】
このとき、制御コンソール装置130は、公演データをリアルタイムに獲得することが好ましいが、これに限らず、別の物理的格納媒体を介して記録された公演データを事後に獲得できる。
【0243】
次に、制御コンソール装置130は、無観客公演演出データに基づいて獲得した公演データに対応する制御データを生成できる(S320)。
【0244】
ここで、制御データは、公演会場20で公演される公演データに対応して公演会場20の実際の座席又は仮想の座席に対応して公演演出効果を出すために遠隔地側の制御システム200の第2被制御装置220を制御できるデータであり得る。
【0245】
次に、制御コンソール装置130は、無観客公演演出データに基づいて公演データ及び公演データに対応する制御データを同期化して無観客公演データを生成して遠隔地側の制御システム200に提供できる(S330)。
【0246】
実施例によって、制御コンソール装置130は、生成された無観客公演データをリアルタイムに遠隔地側の制御システム200に提供できる。
【0247】
実施例によって、制御コンソール装置130は、生成された無観客公演データを一定の時間間隔を置いて遠隔地側の制御システム200に提供できる。
【0248】
実施例によって、制御コンソール装置130は、生成された無観客公演データをストリーミング用データに変換して遠隔地側の制御システム200に提供できる。
【0249】
実施例によって、制御コンソール装置130は、生成された無観客公演データを別の物理的格納媒体に記録して遠隔地側の制御システム200に提供できる。
【0250】
実施例によって、制御コンソール装置130は、公演データ及び制御データを個別に変換して別の物理的格納媒体に記録して遠隔地側の制御システム200に提供できる。
【0251】
実施例によって、制御コンソール装置130は、公演データに対応する制御データを一定の時間間隔を置いて同期化させて遠隔地側の制御システム200に提供できる。
【0252】
次に、データ処理装置210は、受信した無観客公演データを同時に処理できる(S340)。
【0253】
実施例によって、データ処理装置210は、公演会場側の制御システム100からリアルタイムに、又は一定の時間間隔を置いて無観客公演演出データを受信して処理できる。
【0254】
次に、データ処理装置210は、公演データと前記公演データと同期化された制御データを同時に制御して遠隔地30の観客に公演データを再生して提供しながら(S350)、遠隔地30の観客の第2被制御装置220を同時に制御できる(S360)。
【0255】
実施例によって、データ処理装置210は、公演会場側の制御システム100からリアルタイムに、又は一定の時間間隔を置いて無観客公演演出データを受信して処理できる。
【0256】
実施例によって、データ処理装置210は、物理的格納媒体を介して無観客公演演出データを受信して処理できる。
【0257】
実施例によって、データ処理装置210は、無観客演出データに含まれている公演データ及び制御データを個別に処理できる。
【0258】
最後に、第2被制御装置220は、公演データの現在の再生区間に対応する制御データを基に制御できる(S370)。
【0259】
例えば、第2被制御装置220は、公演データの現在の再生区間に対応する制御データに基づいて、第2被制御装置220に既に格納されているグループ情報に該当する制御データを選択的に受信し、受信した制御データに基づいて自身のグループ情報に対応する発光状態(例えば、発光色)によって動作できる。
【0260】
実施例によって、第2被制御装置220は、公演会場側の制御システム100から制御データを受信して制御できる。
【0261】
このような構成により、映像撮影現場における観客の有無に関係なく、遠隔地にて受信したリアルタイム又は過去の映像や実況映像資料など多様な形態で公演を楽しもうとする遠隔地の観客の被制御装置を公演映像とタイミングに合わせて精巧に制御する遠隔演出方法及び遠隔演出システムを提供できる。
【0262】
このような構成により、遠隔地の観客に再生される映像と、遠隔地の観客が所持する被制御装置を制御する制御信号を結合して1つのデータに送るか、又は分離して別に伝送できるようにする状況適応型遠隔演出方法及び遠隔演出システムを提供できる。
【0263】
このような構成により、遠隔地の観客が所持する被制御装置を制御する制御信号を遠隔地の観客の機器から提供するに当たり、1つの観客の機器を介して近距離に位置する多数の被制御装置を制御できる遠隔演出方法及び遠隔演出システムを提供できる。
【0264】
このような構成により、遠隔地の観客の所持する被制御装置を制御する制御信号内に同期化のための手段を含んで遠隔地の観客が再生する映像と精巧に同期化された被制御装置を提供できる遠隔演出方法及び遠隔演出システムを提供できる。
【0265】
このような構成により、公演に限らず、遠隔地にてリアルタイムに、又は非リアルタイムにコンテンツや映像を楽しむ視聴者の没入感やコンテンツ効果を最大化するために、遠隔地の視聴者が所持する被制御装置を制御して映像やコンテンツ内の変化や反応と対応して発光制御される被制御装置を提供できる遠隔演出方法及び遠隔演出システムを提供できる。
【0266】
本発明の実施例と関連して説明された方法又はアルゴリズムのステップは、ハードウェアで直接実現されるか、ハードウェアによって実行されるソフトウェアモジュールで実現されるか、又はこれらの結合によって実現できる。ソフトウェアモジュールは、RAM(Random Access Memory)、ROM(Read Only Memory)、EPROM(Erasable Programmable ROM)、EEPROM(Electrically Erasable Programmable ROM)、フラッシュメモリ(Flash Memory)、ハードディスク、着脱型ディスク、CD-ROM、又は本発明が属する技術分野における周知となっている任意の形態のコンピュータ読み取り可能な記録媒体に常に存在することもできる。
【0267】
以上、添付の図面を参照して本発明の実施例を説明したが、本発明が属する技術分野における通常の技術者は、本発明がその技術的思想や必須な特徴を変更することなく、他の具体的な形態に実施されることができることを理解できるだろう。従って、以上で述べた実施例は、あらゆる面で例示的なものであり、制限的ではないものとして理解すべきである。
【国際調査報告】