特許 6913874 映像ステージパフォーマンスシステムおよび映像ステージパフォーマンスの提供方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】6913874

(24)【登録日】2021年7月15日

(45)【発行日】2021年8月4日

(54)【発明の名称】映像ステージパフォーマンスシステムおよび映像ステージパフォーマンスの提供方法

(51)【国際特許分類】

   H04N 5/92 20060101AFI20210727BHJP

【ＦＩ】

   H04N5/92

【請求項の数】11

【全頁数】24

(21)【出願番号】特願2021-518009(P2021-518009)

(86)(22)【出願日】2020年7月25日

(86)【国際出願番号】JP2020028610

【審査請求日】2021年4月6日

【早期審査対象出願】

(73)【特許権者】

【識別番号】507330534

【氏名又は名称】株式会社オギクボマン

(74)【代理人】

【識別番号】100166279

【弁理士】

【氏名又は名称】前渋 正治

(72)【発明者】

【氏名】隨行 勇治

【審査官】 鈴木 順三

(56)【参考文献】

【文献】 国際公開第２０１９／２０８０６７（ＷＯ，Ａ１）

【文献】 国際公開第２００７／０５２３９５（ＷＯ，Ａ１）

【文献】 大津 耕陽、福島 史康、高橋 秀和、平原 実留、福田 悠人、小林 貴訓、久野 義徳、山崎 敬一，Affinity Live：演者と観客の一体感を増強する双方向ライブ支援システム，情報処理学会論文誌，Vol.59 No.11，日本，情報処理学会，2018年11月15日，第2019頁-第2029頁，https://ipsi.ixsq.nii.ac.jp/ej/?action=pages_view_main&active_action=repository_view_main_item_detail&item_id=192353&item_no=1&page_id=13&block_id=8

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／７６ − ５／９５６

Ｈｏ４Ｎ ２１／００ − ２１／８５８

(57)【特許請求の範囲】

【請求項1】

映像を再生することにより聴衆にステージパフォーマンスを提供する映像ステージパフォーマンスシステムであって、
ステージパフォーマンスにおいて再生される映像が複数の映像ファイルに分割されて記憶された映像ファイル記憶媒体と、
前記映像ファイル記憶媒体に記憶された複数の映像ファイルを所定の順序で再生すると共に映像の再生に応じた同期信号を出力する映像再生部と、
前記映像再生部によって再生される映像に同期させる他の要素を前記同期信号に従って再生する同期要素再生部とを含み、
前記映像ファイル記憶媒体は、前記ステージパフォーマンスにおいて再生される映像が時系列に配置された状態を示す時系列配置情報に従って映像と時間情報とが関連付けられた状態で前記映像ファイルを記憶しており、
前記映像再生部が出力する同期信号は、再生されている映像に関連付けられている前記時間情報を含み、
前記同期要素再生部は、前記時系列配置情報に従って前記他の要素と時間情報とを関連付けて記憶しており、これにより前記同期信号に従って再生される他の要素が前記映像再生部によって再生される映像に同期されることを特徴とする映像ステージパフォーマンスシステム。

【請求項2】

前記時系列配置情報は、前記ステージパフォーマンスにおいて再生される映像が前記ステージパフォーマンスにおいて再生される順に時系列に配置された状態を示す情報であることを特徴とする請求項１に記載の映像ステージパフォーマンスシステム。

【請求項3】

前記時系列配置情報は、前記ステージパフォーマンスにおいて再生される映像が前記ステージパフォーマンスにおいて再生される順に時系列に配置されると共に、各映像間に所定の空間期間が設けられて配置された状態を示す情報であり、
前記映像ファイル記憶媒体が記憶している映像ファイルは、前記時系列配置情報の時系列において前記映像が存在する期間がそれぞれ選択されることにより生成された個別の映像ファイルであることを特徴とする請求項２に記載の映像ステージパフォーマンスシステム。

【請求項4】

前記同期要素再生部は、
入力される前記同期信号が示す時間情報が連続した時系列の変化とは異なる変化をした場合、変化前の時間情報に時系列の変化値を加えた時間情報を同期信号として前記他の要素を再生し、
入力される前記同期信号が示す時間情報が連続した時系列の変化とは異なる変化をした後、変化後の時間情報が連続した時系列の変化を所定期間継続した場合に、前記変化後の時間情報を同期信号として前記他の要素を再生することを特徴とする請求項３に記載の映像ステージパフォーマンスシステム。

【請求項5】

前記映像再生部が出力する前記同期信号を前記同期要素再生部が対応する形式に変換する同期信号変換部を含むことを特徴とする請求項１に記載の映像ステージパフォーマンスシステム。

【請求項6】

前記同期信号変換部は、前記映像再生部が出力する同期信号を、時間を示す音声信号に変換することを特徴とする請求項５に記載の映像ステージパフォーマンスシステム。

【請求項7】

前記同期要素再生部は、あらかじめ定められたフレームレートに従って前記同期信号を解釈することを特徴とする請求項１に記載の映像ステージパフォーマンスシステム。

【請求項8】

前記映像再生部を外部から制御する機能および複数の機器から前記映像再生部を操作するための操作信号を受け付ける機能を有する映像再生制御部を有することを特徴とする請求項１に記載の映像ステージパフォーマンスシステム。

【請求項9】

前記時系列配置情報に対応して前記ステージパフォーマンスにおいて再生される映像が時系列に配置された状態を視覚的に表示すると共に、時系列上の任意のタイミングを指定して前記映像再生部での映像の再生を命令する機能を含む映像配置制御部を含み、
前記映像再生部は、
前記映像再生制御部を介して前記時系列上の任意のタイミングが指定された映像の再生命令を取得し、
前記映像ファイル記憶媒体に記憶された前記映像ファイルのうち、指定された前記タイミングに対応する時間情報に関連付けられた映像を含む映像ファイルを、指定された前記タイミングから再生することを特徴とする請求項８に記載の映像ステージパフォーマンスシステム。

【請求項10】

前記映像ファイル記憶媒体、前記映像再生部および前記同期要素再生部によって構成される前記映像及び前記他の要素を再生する構成を複数系統有し、
前記複数系統のそれぞれから出力される映像信号および他の要素の信号のいずれか１系統を選択して出力する切換部を含み、
前記切換部は、主系統か正常動作している場合に常時出力している信号が途切れた場合に、副系統の出力する信号に切り換えることを特徴とする請求項１に記載の映像ステージパフォーマンスシステム。

【請求項11】

映像を再生することにより聴衆にステージパフォーマンスを提供する映像ステージパフォーマンスの提供方法であって、
ステージパフォーマンスにおいて再生される映像を複数の映像ファイルに分割して記憶媒体に記憶し、
前記記憶媒体に記憶された複数の映像ファイルを所定の順序で再生すると共に映像の再生に応じた同期信号を出力し、
再生される映像に同期させる他の要素を前記同期信号に従って再生し、
前記記憶媒体は、前記全ての映像が時系列に配置された状態を示す時系列配置情報に従って映像と時間情報とが関連付けられた状態で前記映像ファイルを記憶しており、
前記映像の再生に伴って出力する同期信号は、再生されている映像に関連付けられている前記時間情報を含み、
前記他の要素は、前記時系列配置情報に従って時間情報とを関連付けて記憶されており、これにより前記同期信号に従って再生される他の要素が再生される前記映像に同期されることを特徴とする映像ステージパフォーマンスの提供方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、映像ステージパフォーマンスシステムおよび映像ステージパフォーマンスの提供方法に関する。

【背景技術】

【0002】

近年、創作されたキャラクターを仮想のアイドルとして売り出すことが行われている。このような仮想アイドルによるパフォーマンスは、その特性からインターネットによるストリーミング配信やＤＶＤをはじめとした映像ソフト等、映像を介して提供されるが、映像技術を駆使した疑似的なステージパフォーマンスが提供されることもある。

【0003】

映像と音声によるステージパフォーマンスを聴者に提供する際には、映像と音声とが意図したタイミングで同期して聴者に知覚されることが大前提となる。映像と音声とを同期させる手法として、映像データの音声トラックにタイムコードを重畳する手法が提案されている（例えば、特許文献１参照）。

【0004】

特許文献１に開示された技術においては、タイムコードが重畳された音声信号を映像と合わせてメインコンテンツとして記録すると共に、メインコンテンツとは別のデータとしてタイムコードに関連付けられた音声信号が記録される。そして、メインコンテンツの再生に際して出力されるタイムコードが重畳された音声信号を復調してタイムコードを生成し、生成されたタイムコードと音声信号に関連付けられたタイムコードとで同期をとることにより音声を再生する。

【0005】

また、大人数の聴衆に対して映像を提供する際の映像とその他の要素との同期の手法として、映像のフレームごとに記録されたタイムコードを用いる手法が提案されている（例えば、特許文献２参照）。特許文献２に開示された技術においては、タイムコードの例としてＬＴＣ（Ｌｉｎｅａｒ Ｔｉｍｅ Ｃｏｄｅ）が用いられることが開示されていると共に、映画館などで映像に対して座席のモーションを同期させる方法が開示されている。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２０１２−１１４７７９号公報

【特許文献2】特開２０１５−５１４４４３号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

このような映像によるステージパフォーマンスの提供においては、上述したような映像と音声やその他の要素とのタイミングの同期が重要であることに加えて、当日までの準備段階、特に映像や音声を準備する作業に大きな労力を要する。そして、映像の最終的な品質に関しては、会場に設置される大掛かりな表示設備によるテストが常に可能なわけではなく、準備段階においてはＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）等の端末のモニタを介して確認することとなる。

【0008】

そして、本番前日等に初めて会場でのテストを行った結果、映像が意図したものと大きく異なる場合には映像を修正する事となる。その際、仮にステージパフォーマンス全編の映像が１つのファイルにまとめられている場合には、一部分の修正であった場合であってもライブ全編の映像を再生用のファイルとして出力し直す必要がある。その際、ＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）を用いた映像であれば、ＣＧのレンダリング処理が必要であるため、膨大な時間を要することとなる。特に本番前日のタイミングであれば時間的な余裕がなく修正が不可能となる場合もある。

【0009】

このため、演奏される楽曲の映像はそれぞれファイルとして楽曲別に用意され、少なくとも数曲ごとに分けられていることが好ましい。これにより、上述したように修正が発生した場合であっても、一部分の修正であればその部分が含まれるファイルのみを出力するだけで目的が達成される。

【0010】

このような場合、次に問題となるのは映像に対して同期して再生させる音声や他の要素の取り扱いである。従前のようにライブ全編の映像が１つのファイルとしてまとまっている場合であれば、映像に同期させる音声や他の要素についても１つのタイムラインに沿って構成することにより、再生中の同期ずれが起こらない限りはすべての要素が同期された状態で出力されることとなる。

【0011】

他方、上述したようにそれぞれの楽曲の映像が異なるファイルとして用意される場合や、数曲ごとにまとめられたファイルとして用意される場合、映像と他の要素との同期を確保するための特別な仕組みが必要となる。例えば、それぞれの映像ファイルに対して１対１で音声や他の要素を用意した場合、ファイル間を対応させて同期再生させるための煩雑な仕組みや手動操作が必要となってしまう。

【0012】

本発明は、上述した課題に対応してなされたものであり、映像によるステージパフォーマンスの提供に際して、再生される映像が複数のファイルに分けて用意される場合であっても、煩雑な仕組みや操作を要することなく容易に他の要素を映像に同期させることを目的とする。

【課題を解決するための手段】

【0013】

上記課題を解決するために、本発明の一態様は、会場内で映像を再生することにより聴衆にステージパフォーマンスを提供する映像ステージパフォーマンスシステムであって、ステージパフォーマンスにおいて再生される映像が複数の映像ファイルに分割されて記憶された映像ファイル記憶媒体と、前記映像ファイル記憶媒体に記憶された複数の映像ファイルを所定の順序で再生すると共に映像の再生に応じた同期信号を出力する映像再生部と、前記映像再生部によって再生される映像に同期させる他の要素を前記同期信号に従って再生する同期要素再生部とを含み、前記映像ファイル記憶媒体は、前記全ての映像が時系列に配置された状態を示す時系列配置情報に従って映像と時間情報とが関連付けられた状態で前記映像ファイルを記憶しており、前記映像再生部が出力する同期信号は、再生されている映像に関連付けられている前記時間情報を含み、前記同期要素再生部は、前記時系列配置情報に従って前記他の要素と時間情報とを関連付けて記憶しており、これにより前記同期信号に従って再生される他の要素が前記映像再生部によって再生される映像に同期されることを特徴とする。

【発明の効果】

【0014】

本発明によれば映像によるステージパフォーマンスの提供に際して、再生される映像が複数のファイルに分けて用意される場合であっても、煩雑な仕組みや操作を要することなく容易に他の要素を映像に同期させることができる。

【図面の簡単な説明】

【0015】

【図1】本発明の実施形態に係る映像ステージパフォーマンス制御システムの全体構成を示す図である。

【図2】本発明の実施形態に係るシステムに含まれる情報機器のハードウェア構成を示す図である。

【図3】本発明の実施形態に係る映像編集ソフトのＧＵＩの例を示す図である。

【図4】本発明の実施形態に係る時系列配置情報のデータ構造を示す図である。

【図5】本発明の実施形態に係る映像書き出し指定情報の例を示す図である。

【図6】本発明の実施形態に係る映像書き出し指定情報の内容を概念的に示す図である。

【図7】本発明の実施形態に係る映像ファイル記憶媒体に記憶された映像ファイル群の例を示す図である。

【図8】本発明の実施形態に係る映像ファイル群が再生された際の曲間を概念的に示す図である。

【図9】本発明の実施形態に係る映像ファイル記憶媒体に記憶される映像ファイルのデータ構造を概念的に示す図である。

【図10】本発明の実施形態に係るコントロールサーバの機能構成を示すブロック図である。

【図11】本発明の実施形態に係るｆｐｓ器によってｆｐｓ変換された映像ファイルを概念的に示す図である。

【図12】本発明の実施形態に係るＤＡＷ端末の機能構成を示すブロック図である。

【図13】本発明の実施形態に係るＬＴＣ処理部が記憶し利用する情報を示す図である。

【図14】本発明の実施形態に係るＬＴＣ処理部によるＬＴＣ処理を示すフローチャートである。

【図15】本発明の実施形態に係るＬＴＣ処理部においてセットリスト中の曲間のタイミングで入力されるＬＴＣ信号の内容の例を示す図である。

【図16】本発明の実施形態に係るＤＡＷアプリケーションのＧＵＩの例を示す図である。

【発明を実施するための形態】

【0016】

以下、図面を参照して、本発明の実施形態を詳細に説明する。本実施形態においては、映像によるステージパフォーマンスを提供するためのシステムおよび用いられるデータのデータ構造やその取扱いの仕組みについて説明する。

【0017】

図１は、本実施形態に係る映像ステージパフォーマンスシステム１の全体構成を示す図である。図１に示すように、本実施形態に係る映像ステージパフォーマンスシステム１は、編集ソフト端末１００、映像ファイル記憶媒体１１０ａ、１１０ｂ（以降、総じて映像ファイル記憶媒体１１０とする）、コントロールサーバ２００、コントロールボックス３００、同期システム４００ａ、４００ｂ（以降、総じて同期システム４００とする）、映像スイッチャー５００、表示装置５１０、音声スイッチャー６００、ＰＡ（Ｐｕｂｌｉｃ Ａｄｄｒｅｓｓ）システム６１０、スピーカー６１１、生バンド用イヤモニ６１２、映像スイッチャー７００、表示装置７１０を含む。また、同期システム４００ａ、４００ｂは、それぞれ映像プレーヤー４０１、ｆｐｓ（ｆｒａｍｅｓ ｐｅｒ ｓｅｃｏｎｄ）変換器４０２、ＬＴＣ（Ｌｉｎｅａｒ Ｔｉｍｅ Ｃｏｄｅ）変換器４０３、ＤＡＷ（Ｄｉｇｉｔａｌ Ａｕｄｉｏ Ｗｏｒｋｓｔａｔｉｏｎ）端末４１０および背景映像端末４２０を含む。

【0018】

編集ソフト端末１００は、ステージパフォーマンスで再生するための映像を制作、編集するための端末であり、専用のソフトウェアがインストールされたＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）によって実現される。また、編集ソフト端末１００は、コントロールサーバ２００を介して同期システム４００に含まれる映像プレーヤー４０１を操作する機能を有する。編集ソフト端末１００はネットワークＡを介してコントロールサーバ２００と通信可能に接続されている。

【0019】

また、編集ソフト端末１００は、制作・編集した映像ファイルを書き出し、映像ファイル記憶媒体１１０に格納する。映像ファイル記憶媒体１１０は映像プレーヤー４０１に挿入される。これにより、格納された映像ファイルが映像プレーヤー４０１によって再生される。

【0020】

ネットワークＡはＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等の双方向通信可能なネットワーク回線である。コントロールサーバ２００は、同期システム４００に含まれる映像プレーヤー４０１をコントロールするための機能を有するサーバである。コントロールボックス３００はステージパフォーマンスの会場にて映像プレーヤー４０１をワンタッチで操作するための操作部であり、専用のＩ／Ｆを介してコントロールサーバ２００と接続されている。

【0021】

コントロールサーバ２００は編集ソフト端末１００やコントロールボックス３００から入力される制御信号に応じて同期システム４００に含まれる映像プレーヤー４０１による映像の再生を制御する。即ち、コントロールサーバ２００が映像再生制御部として機能する。図に示すように本実施形態に係る同期システム４００はメインシステムとバックアップシステムとして二重化されており、コントロールサーバ２００は双方に対して同時に制御信号を送信する。

【0022】

同期システム４００は、映像ファイル記憶媒体１１０に格納された映像ファイルを再生すると共に、映像に同期させて音声や背景映像等を再生する機能を提供するシステムである。映像プレーヤー４０１は、映像ファイル記憶媒体１１０に格納されている映像ファイルを再生し、映像信号を映像スイッチャー５００に対して出力する映像再生部である。

【0023】

映像スイッチャー５００は、原則としてメインシステムである同期システム４００ａの映像プレーヤー４０１から入力される映像信号を選択して表示装置５１０に対して出力するが、映像プレーヤー４０１から入力される映像信号が途切れた場合、サブシステムである同期システム４００ｂの映像プレーヤー４０１から入力される映像信号の選択に自動的に切り替える。表示装置５１０はステージパフォーマンスの会場において聴衆が観覧するための映像を表示する表示装置であり、大型のディスプレイやプロジェクター等によって実現される。

【0024】

また、映像プレーヤー４０１は、映像スイッチャー５００を介して表示装置５１０により表示される映像に対して音声や背景映像等を同期させるための同期信号をｆｐｓ変換器４０２に対して出力する。ｆｐｓ変換器４０２は、映像プレーヤー４０１から入力された同期信号のｆｐｓを後段の機器であるＬＴＣ変換器４０３が対応するものに変換して出力する。ｆｐｓ変換器４０２としては、例えばＢｌａｃｋｍａｇｉｃ Ｄｅｓｉｇｎ社のＴｅｒａｎｅｘ Ｅｘｐｒｅｓｓを用いることができる。

【0025】

ＬＴＣ変換器４０３は、ｆｐｓ変換器４０２から入力された同期信号を一般的なタイムコードであるＬＴＣ信号に変換してＤＡＷ端末４１０や背景映像端末４２０に出力する。ＬＴＣ変換器４０３としては、例えばＢｌａｃｋｍａｇｉｃ Ｄｅｓｉｇｎ社のＴｅｒａｎｅｘ Ｍｉｎｉ Ａｕｄｉｏ ｔｏ ＳＤＩ １２Ｇを用いることができる。

【0026】

ＤＡＷ端末４１０はＤＡＷのソフトウェアがインストールされたＰＣによって構成される。ＤＡＷ端末４１０は、ＬＴＣ変換器４０３から入力されるＬＴＣ信号に同期してＤＡＷの機能により音声信号を出力する。ＤＡＷ端末４１０が出力する音声信号は、同期システム４００ａ、４００ｂ共に音声スイッチャー６００に入力される。

【0027】

背景映像端末４２０は、背景映像を再生する機能を有する端末であり、専用のソフトウェアがインストールされたＰＣによって実現される。背景映像端末４２０は、ＬＴＣ変換器４０３から入力されるＬＴＣ信号に同期してインストールされたソフトウェアの機能により背景映像の映像信号を出力する。背景映像端末４２０が出力する映像信号は、同期システム４００ａ、４００ｂ共に映像スイッチャー７００に入力される。

【0028】

音声スイッチャー６００は、原則としてメインシステムである同期システム４００ａのＤＡＷ端末４１０から入力される音声信号を選択してＰＡシステム６１０対して出力するが、ＤＡＷ端末４１０においてＤＡＷが正常に動作している限り常に発信されている信号が途切れた場合、サブシステムである同期システム４００ｂのＤＡＷ端末４１０から入力される音声信号の選択に自動的に切り替える。

【0029】

ＰＡシステム６１０はスピーカー６１１や生バンド用イヤモニ６１２などの音声系統に対して音声信号を分配するミキサー等の音響機器を含むシステムである。スピーカー６１１はステージパフォーマンスの会場において聴衆に聴かせるための音声を出力する。生バンド用イヤモニ６１２は、ステージパフォーマンスにおいて実際に楽器を演奏する演奏者が装着するものであり、演奏者がテンポを取るための音声を出力する。

【0030】

映像スイッチャー７００は、原則としてメインシステムである同期システム４００ａの背景映像端末４２０から入力される映像信号を選択して表示装置７１０に対して出力するが、背景映像端末４２０から入力される映像信号が途切れた場合、サブシステムである同期システム４００ｂの背景映像端末４２０から入力される映像信号の選択に自動的に切り替える。

【0031】

表示装置７１０はステージパフォーマンスの会場において表示装置５１０に表示される映像に対して背景映像となる映像を聴衆に観覧させるための映像を表示する表示装置であり、大型のディスプレイやプロジェクター等によって実現される。表示装置５１０によって表示される映像とスピーカー６１１が出力する音声や表示装置７１０に表示される背景映像とを同期させることが同期システム４００の主となる機能である。

【0032】

なお、ＤＡＷ端末４１０や背景映像端末４２０は、上述した通りＬＴＣ変換器４０３から入力されるＬＴＣ信号に同期して音声や背景映像を再生して出力するが、そのタイミングはスピーカー６１１、生バンド用イヤモニ６１２、表示装置７１０の出力に応じて手動で調整される。つまり、ＤＡＷ端末４１０や背景映像端末４２０は、ＬＴＣ変換器４０３から入力されるＬＴＣ信号への同期をベースとして、オペレーターによって手動で設定された遅延若しくは前倒しの設定値に従って音声や背景映像を再生して出力することが可能である。これにより、映像ステージパフォーマンスを提供する会場ごとの信号伝達環境の違いに対応することが可能となる。

【0033】

図２は、本実施形態に係るシステムに含まれる編集ソフト端末１００、コントロールサーバ２００、ＤＡＷ端末４１０、背景映像端末４２０等の情報機器のハードウェア構成を示す図である。これらの情報機器は一般的な情報処理機器のハードウェア構成によって実現可能であり、図２に示すように、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）３０、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）４０およびＩ／Ｆ５０がバス８０を介して接続されている。また、Ｉ／Ｆ５０にはＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）６０および操作部７０が接続されている。

【0034】

ＣＰＵ１０は演算手段であり、情報機器全体の動作を制御する。ＲＡＭ２０は、情報の高速な読み書きが可能な揮発性の記憶媒体であり、ＣＰＵ１０が情報を処理する際の作業領域として用いられる。ＲＯＭ３０は、読み出し専用の不揮発性記憶媒体であり、ファームウェア等のプログラムが格納されている。ＨＤＤ４０は、情報の読み書きが可能な不揮発性の記憶媒体であり、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）や各種の制御プログラム、アプリケーション・プログラム等が格納される。

【0035】

Ｉ／Ｆ５０は、バス８０と各種のハードウェアやネットワーク等を接続し制御する。ＬＣＤ６０は、ユーザが情報機器の状態を確認するための視覚的ユーザインタフェースである。操作部７０は、キーボード、マウス、各種のハードボタン、タッチパネル等、ユーザが情報機器に情報を入力するためのユーザインタフェースである。尚、コントロールサーバ２００は、サーバとして運用されるため、ＬＣＤ６０や操作部７０等のユーザインタフェースは省略可能である。

【0036】

このようなハードウェア構成において、ＲＯＭ３０やＨＤＤ４０若しくは図示しない光学ディスク等の記憶媒体に格納されたプログラムがＲＡＭ２０に読み出され、ＣＰＵ１０がそれらのプログラムに従って演算を行うことによりソフトウェア制御部が構成される。このようにして構成されたソフトウェア制御部と、ハードウェアとの組み合わせによって、本実施形態に係る映像ステージパフォーマンスシステムを構成する各機器の機能を実現する機能ブロックが構成される。

【0037】

このようなシステムにおいて、本実施形態に係る要旨は、同期システム４００による映像と音声その他の要素とを同期させて再生する機能を前提として、ステージパフォーマンスにおいて再生される映像や音声の素材となるデータの取り扱いを容易にするための構成である。

【0038】

上述した通り、映像によるステージパフォーマンスの提供に際しては、映像プレーヤー４０１によって再生される映像と、ＤＡＷ端末４１０によって再生される音声や背景映像端末４２０によって再生される背景映像とが同期されて聴衆に提供される。このような構成は、メインとなる映像と音声や背景映像とが別々に用意されるために必要である。また、会場によってＰＡシステム６１０やスピーカー６１１の構成に違いがあり信号の遅延態様が異なるために個別の遅延制御が必要であり、このような構成が適している。

【0039】

このような構成においては、当然ながら映像は映像プレーヤー４０１、音声はＤＡＷ端末４１０、背景映像は背景映像端末４２０によってそれぞれ再生される。従って、映像ステージパフォーマンスを管理するオペレーターは、映像、音声、背景映像それぞれの素材となるデータを個別に管理し、ステージパフォーマンスの当日において個別に再生操作する必要があり、操作が非常に煩雑になってしまう。

【0040】

これに対して、本実施形態に係るシステムにおいては、映像プレーヤー４０１によって再生される映像が編集ソフト端末１００において専用のソフトウェアを用いて制作される際、ステージパフォーマンスにおいて演奏される全楽曲がセットリストに従って時系列に配置されて制作される。そして、そのソフトウェアにおける楽曲の時系列の配置状態を示す情報が、時系列配置情報として音声や背景映像等の同期が必要な他の要素の制作者にも共有される。

【0041】

ＤＡＷ端末４１０や背景映像端末４２０においては、上述した時系列配置情報に従ってタイムコードが合わせられて音声や背景映像が制作・編集される。これにより、ＤＡＷ端末４１０の音声や背景映像端末４２０の背景映像のタイムコードは、映像ファイル記憶媒体１１０に記憶されて映像プレーヤー４０１によって再生される映像ファイルのタイムコードと対応することとなる。

【0042】

従って、ステージパフォーマンスの当日においては、映像プレーヤー４０１において映像ファイル記憶媒体１１０に記憶された映像ファイルをセットリストの順に再生し、その再生タイミング応じたタイムコードを示す同期信号をＤＡＷ端末４１０や背景映像端末４２０に入力すれば、ＤＡＷ端末４１０や背景映像端末４２０においてはタイムコードが対応する音声や背景映像が再生される。このため、オペレーターが再生されるファイルの対応関係を管理するような煩雑な操作が不要となり、素材の取り扱いを容易化することができる。

【0043】

図３は、編集ソフト端末１００にインストールされた映像編集用のソフトウェアのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を示す図である。図３においては、映像トラックが“ＴＲＡＣＫ０１”、音声トラックが“ＴＲＡＣＫ０２”として図視されており、“０１：００：００”〜“０１：０６：００”と示されている通り、左右方向が時系列である。

【0044】

映像トラックのうち素材が配置されている期間には斜線が付されている。なお、編集時の利便性の観点から図３に“ＴＲＡＣＫ０２”として示すように音声トラックも含まれているが、この音声は実際にステージパフォーマンスにおいて再生される音声ではなく編集時の確認用の音声である。

【0045】

図３においては、例として“ＴＲＡＣＫ０１”のみが映像トラックとして図示されているが、複数の映像トラックが重ねて表示される態様であってもよい。映像によるステージパフォーマンスにおいては、主としてＣＧによるキャラクターの映像が用いられるが、その他、手描きによるアニメーション映像や撮影された実写映像等、視覚的に表示される映像であれば同様に適用可能である。

【0046】

しかしながら、本発明の趣旨の１つは、映像によるステージパフォーマンスにおいて再生される映像について、ステージ全編の映像を１つのファイルではなく複数のファイルに分割し、理想的にはセットリストの楽曲ごとに個別のファイルとすることにある。これにより、映像にリテイクが生じた際、ステージ全編の映像を映像ファイル記憶媒体１１０に記憶し直すのではなく、リテイクが生じた部分を含む映像のみを映像ファイル記憶媒体１１０に記憶し直すだけで良くなる。

【0047】

そのような効果は、映像ファイル記憶媒体１１０への映像ファイルの記憶に必要な時間が長い場合に最大化される。そのような場合とは、例えば、ステージパフォーマンスにおいて再生される映像がＣＧであり、映像ファイル記憶媒体１１０への映像ファイルの記憶に際してＣＧのレンダリング処理を要する場合である。

【0048】

また、図３においては、“０１：００：００”〜“０１：０６：００”のように時系列が“０１：００：００”からスタートしている。これは映像制作業界の慣例に従った態様であるが、本件特許の効果を得る上では“００：００：００”からのスタートとしても問題ない。

【0049】

図３に示す通り、１曲の終了タイミングを示すタイミングｔ_０１ＥＤと、次の曲の開始タイミングを示すｔ_０２ＯＰとの間には、無音期間Ｔ_{０１−０２}が設けられている。この無音期間Ｔ_{０１−０２}は、実際のステージパフォーマンスにおける曲間ではなく、それ以上に余裕をもって設けられる。この無音期間Ｔ_{０１−０２}を利用する形で実際のステージパフォーマンスにおける曲間が調整される。詳細は後述する。

【0050】

図３において斜線で示されている楽曲の配置期間を示す情報が、上述した時系列配置情報として用いられる。図４は、本実施形態に係る時系列配置情報のデータ構造を示す図である。図４に示すように、本実施形態に係る時系列配置情報は“セットリストＮｏ”、“開始タイミング”、“コンテンツＩＤ”、“コンテンツ長さ”の情報を含む。

【0051】

“セットリストＮｏ”は、ステージパフォーマンスにおける楽曲の順番を示す値である。“開始タイミング”は、時系列においてそれぞれの楽曲の開始タイミングを示す値である。“コンテンツＩＤ”は、それぞれの楽曲を特定する情報であり、ＤＡＷ端末４１０や背景映像端末４２０のオペレーターに対して時系列配置情報と共に提供されるサンプルデータのファイル名や曲名等が用いられる。

【0052】

“コンテンツ長さ”は、それぞれの楽曲の長さを示す値であり、図３に示す斜線範囲の左端から右端までの期間を示す値である。なお、図４に示す通り、“開始タイミング”や“コンテンツ長さ”等の時間、タイミングを示す情報であるタイムコードは、“０１：００：０＊ ＊＊／６０”のように、時分秒とフレーム数を示す形式の情報である。この形式は、映像のフレームレートに応じて、フレーム単位で時系列の映像や音声を示す上で効果的である。

【0053】

本実施形態に係る編集ソフト端末１００は、６０ｆｐｓのフレームレートで映像を制作・編集する。従って、“０１：００：０＊ ＊＊／６０”の形式で示される時間情報の“＊＊／６０”の分子の部分は、０〜５９までの値をとり、６０になると０に戻って秒数が１増える。換言すると、“＊＊／６０”の部分は１秒の間におけるタイミングをフレームレートに従って示している値である。

【0054】

このような情報が含まれるため、時系列配置情報を共有することにより、図３にＧＵＩを示すような編集ソフト端末１００のソフトウェアによって制作される映像のタイムコードを、他のオペレーターと共有することが可能となる。その結果、映像プレーヤー４０１が映像ファイル記憶媒体１１０に記憶された映像ファイルを再生することにより並行して出力されるタイムコードに、ＤＡＷ端末４１０や背景映像端末４２０において再生される音声や映像のタイムコードを対応させることが可能となる。

【0055】

なお、上述したように、図３に示す無音期間Ｔ_{０１−０２}は、実際のステージパフォーマンスにおける曲間ではない。従って、編集ソフトによって編集した映像を映像ファイルとして書き出し、映像ファイル記憶媒体１１０に格納する際には、セットリストに含まれる楽曲ごとに書き出す期間を指定する必要がある。図５はそのような期間を指定するための映像書き出し指定情報の例を示す図である。

【0056】

図５に示すように、本実施形態に係る映像書き出し指定情報は、“セットリストＮｏ”、“開始タイミング”、“指定長さ”の情報を含む。“セットリストＮｏ”は図４において説明した“セットリストＮｏ”と同様の値である。“開始タイミング”は、それぞれのセットリストＮｏに対応する楽曲を書き出す期間の開始タイミングを指定する値であり、図３に示す時系列に対応している。“コンテンツ長さ”は、それぞれのセットリストＮｏに対応する楽曲を書き出す期間の長さを示す値であり、“開始タイミング”と同様に図３に示す時系列に対応している。

【0057】

図６は、図５に示すような映像書き出し指定情報による書き出し期間の指定を概念的に示す図である。図３において説明したように、Ｓｅｔ_ｎの終端ｔ_ｎＥＤと次の曲の先端ｔ_{ｎ＋１ＯＰ}との期間が編集ソフト上での空間期間Ｔ_{ｎ−ｎ＋１}である。これに対して、図５において説明した書き出し指定情報において、Ｓｅｔ_ｎ＋１の“開始タイミング”は、次の曲の先端ｔ_{ｎ＋１ＯＰ}よりも期間Ｔ´_{ｎ−ｎ＋１}早いｔ´_{ｎ＋１ＯＰ}として指定されている。これにより、Ｓｅｔ_ｎ＋１の楽曲は、実際に映像や音声が始まるタイミングであるｔ_{ｎ＋１ＯＰ}の前に期間Ｔ´_{ｎ−ｎ＋１}分の期間を含む映像ファイルとして書き出される。

【0058】

このようにして、編集ソフト端末１００は、上述した時系列配置情報の時系列において“開始タイミング”で指定されたタイミングから“指定長さ”で指定された期間の映像を、セットリストに含まれる各楽曲の映像ファイルとして書き出す。その際、編集ソフト端末１００は、ファイル名順に自動的に連続して再生した場合に、セットリストの順に各映像ファイルが再生されるようにファイル名を付与する。

【0059】

その結果、図７に示すように、映像ファイル記憶媒体１１０に、セットリストに従ったファイル名で映像ファイルが書き出される。このように映像ファイル記憶媒体１１０に格納された映像ファイルが、映像プレーヤー４０１によってファイル名の順に再生されると、図８に示すように図６に示すＳｅｔ_ｎの楽曲とＳｅｔ_ｎ＋１の楽曲については期間Ｔ´_{ｎ−ｎ＋１}が実際の曲間になる。つまり、書き出し指定情報において期間Ｔ´_{ｎ−ｎ＋１}を調整することにより、ステージパフォーマンス当日の曲間を調整することが可能である。

【0060】

図９は、映像ファイル記憶媒体１１０に格納された映像ファイルのデータ構造を示す図である。映像ファイル記憶媒体１１０に格納された映像ファイルは、所定のフレームレートに従って時系列に“映像”、“音声”および“タイムコード”が含まれる。上述したように、本実地形態に係るフレームレートは６０ｆｐｓである。なお、上述したように、映像ファイル記憶媒体１１０に格納される映像ファイルに含まれる“音声”は、実際のステージパフォーマンスで聴衆に提供されるものではなく映像を確認する際の仮のデータである。図９の例においては、“タイムコード”が、映像に関連付けられた時間情報として用いられる。

【0061】

次に、コントロールサーバ２００の機能について図１０を参照して説明する。図１０に示すように、コントロールサーバ２００は、制御部２１０、ネットワークＩ／Ｆ２２０および専用Ｉ／Ｆ２３０を含む。また、制御部２１０は、コントロールアプリケーション２１１及びネットワーク制御部２１２を含む。

【0062】

ネットワークＩ／Ｆ２２０は、コントロールサーバ２００がネットワークを介して他の機器と通信するためのインターフェースであり、Ｅｔｈｅｒｎｅｔ（登録商標）等のインターフェースが用いられる。専用Ｉ／Ｆ２３０はコントロールサーバ２００が、コントロールボックス３００や映像プレーヤー４０１と信号をやり取りするための専用のインターフェースである。

【0063】

コントロールアプリケーション２１１は、専用Ｉ／Ｆ２３０を介してコントロールボックス３００からのコントロール信号を受け付ける。また、コントロールアプリケーション２１１は、専用Ｉ／Ｆ２３０を介して映像プレーヤー４０１にコントロール信号を送信する。図１０においてはコントロールボックス３００および映像プレーヤー４０１が単一の専用Ｉ／Ｆ２３０に接続されているように示されているが、それぞれ別個の専用Ｉ／Ｆに接続されている場合もあり得る。

【0064】

制御部２１０は、ソフトウェアとハードウェアとの組み合わせによって構成され、コントロールサーバ２００の主となる機能を実現する。コントロールアプリケーション２１１は、コントロールサーバ２００の主となる機能を提供する構成であり、映像プレーヤー４０１をコントロールする。

【0065】

例えば、オペレーターがコントロールボックス３００を操作して映像プレーヤー４０１を操作する場合、コントロールボックス３００がオペレーターの操作に応じた操作信号を専用Ｉ／Ｆ２３０を介してコントロールアプリケーション２１１に送信する。コントロールアプリケーション２１１は、コントロールボックス３００から受信した操作信号に応じて、映像プレーヤー４０１を動作させるためのコントロール信号を専用Ｉ／Ｆ２３０を介して映像プレーヤー４０１に送信する。

【0066】

また、本実施形態に係る編集ソフト端末１００は、映像ファイル記憶媒体１１０に格納するための映像ファイルを編集、制作する機能に加えて、編集ソフトのＧＵＩを介して映像プレーヤー４０１を操作する機能を有する。コントロールアプリケーション２１１は、そのためにコントロール信号を仲介する機能を有する。

【0067】

例えば、図３にて説明した編集ソフト端末１００の編集ソフトのＧＵＩでは、タイムライン上で指定されたタイミングにおけるフレームの映像や音声の波形がＧＵＩ上に表示される。これにより、オペレーターは任意のタイミングにおける映像を容易に確認することが可能である。即ち、編集ソフト端末１００が映像配置制御部として機能する。

【0068】

そのように任意のタイミングが指定された状態で映像プレーヤー４０１での再生が指定されると、編集ソフト端末１００はネットワークＡを介してコントロールサーバ２００に対して制御信号を送信する。この時、編集ソフト端末１００が送信する制御信号には、映像プレーヤー４０１での再生を命令することを示す識別子に加えて、指定されているタイミングを示すタイムコードが含まれる。このタイムコードは図９において説明したタイムコードに対応している。

【0069】

コントロールサーバ２００では、ネットワークＩ／Ｆ２２０、ネットワーク制御部２１２を介して、コントロールアプリケーション２１１が編集ソフト端末１００から送信された制御信号を受信する。コントロールアプリケーション２１１は、制御信号に含まれる識別子に基づいて映像プレーヤー４０１への再生命令であることを解釈し、上述したタイムコードと共に再生命令を専用Ｉ／Ｆ２３０を介して映像プレーヤー４０１に送信する。

【0070】

映像プレーヤー４０１においては、コントロールサーバ２００から受信した制御信号に基づき、まずは指定されたタイムコードをキーとして映像ファイル記憶媒体１１０に記憶されている映像ファイルを検索する。図４等で説明した通り、映像ファイル記憶媒体１１０に記憶されている映像ファイルに含まれるタイムコードは、全楽曲が時系列に並べられた状態のタイムコードである。

【0071】

従って、編集ソフト端末１００において選択された任意のタイミングのタイムコードは、映像ファイル記憶媒体１１０に記憶されている複数の映像ファイルのうちいずれか１つのみが対応している。映像プレーヤー４０１は、その検索の結果としてキーとなるタイムコードを含む映像ファイルを抽出し、指定されたタイムコードのタイミングから映像ファイルを再生する。

【0072】

このような構成により、編集ソフト端末１００を介して各楽曲のタイミングを視覚的に確認し、任意のタイミングにおいて映像プレーヤー４０１に楽曲を再生させることができる。このような構成は、例えばステージパフォーマンスのリハーサル等で有効である。リハーサルにおいては、全楽曲を通してテストする場合の他、特定の楽曲の任意のタイミングのみをテストすることが必要な場合もある。そのような場合、このような構成によりリハーサルを効率的に行うことが可能となる。

【0073】

また、このようなコントロールサーバ２００を介した構成は、映像プレーヤー４０１のインターフェースの制約に応じて採用されている。映像プレーヤー４０１のように動作する機器を外部からコントロールする場合、映像プレーヤー４０１に設けられている外部コントロール用のインターフェースを用いる。

【0074】

しかしながら、外部コントロール用のＩ／Ｆは１対１の接続のみに対応しており、本実施形態のようにコントロールボックス３００および編集ソフト端末１００双方からの制御を直接受け付けるような構成には対応していない事が多い。コントロールサーバ２００を映像プレーヤー４０１と接続し、コントロールサーバ２００が複数の機器からの命令を受け付けることで、そのような制約を回避することが可能である。

【0075】

このようにして、映像プレーヤー４０１は、映像ファイル記憶媒体１１０に格納されている映像ファイルをコントロールサーバ２００からのコントロール信号に基づいて再生し、映像信号を映像スイッチャー５００に出力する。映像プレーヤー４０１による映像信号の出力は、例えばＨＤＭＩ（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）信号などの一般的な映像信号を用いることが可能である。

【0076】

また、映像プレーヤー４０１は、映像ファイルを再生することにより映像スイッチャー５００に対して出力する映像信号と並行して、現在映像信号として出力されているフレームに対応したタイムコードを同期信号としてｆｐｓ変換器４０２に対して出力する。映像フレームとタイムコードとの対応関係は図９において説明した通りである。

【0077】

なお、映像プレーヤー４０１によるｆｐｓ変換器４０２への同期信号の出力としては、タイムコードのみを抽出して出力する態様の他、単に映像信号を映像スイッチャー５００とｆｐｓ変換器４０２との二系統に並行して出力する態様でも良い。このような態様は、例えば映像プレーヤー４０１がＨＤＭＩ出力を二系統備えるのみで実現可能である。

【0078】

ｆｐｓ変換器４０２は、映像プレーヤー４０１から出力された同期信号のフレームレートを後段の機器が対応する形式に変換してＬＴＣ変換器４０３に出力する。上述したように、本実施形態に係る映像ファイルのフレームレートは６０ｆｐｓであり、ｆｐｓ変換器４０２はそれを３０ｆｐｓに変換する。

【0079】

図１０は、図９に示す映像ファイルのフレームレートを３０ｆｐｓに変換した結果の例を示す図である。図１０に示すように、ｆｐｓ変換器によって６０ｆｐｓが３０ｆｐｓに変換されることにより、映像フレームは２フレーム毎に１フレームが間引かれる。また、“タイムコード”は時分秒以下が“＊＊／６０”の形式で示されていたものが“＊＊／３０”の形式に変換される。

【0080】

図１０に示すように同期信号のフレームレートが変換された後であっても、それぞれのフレームにおけるタイムコードが１秒の間において示すタイミングは変換前と変換後で同一である。従って、それぞれの映像フレームに対応した正確なタイムコードが後段の機器に伝達され、ＤＡＷ端末４１０によって再生される音声や背景映像端末４２０によって再生される背景映像が、同期信号に従って映像プレーヤー４０１によって再生される映像に同期されることとなる。

【0081】

ｆｐｓ変換器４０２の趣旨は同期信号のフレームレートを変換する事であるが、上述した通り本実施形態においてｆｐｓ変換器４０２に供給される信号はＨＤＭＩ信号等の映像信号である。従って、本実施形態に係るｆｐｓ変換器４０２は単純に供給される映像信号のフレームレートを変換する機能を有する機器であれば良い。このような構成により、既存の機器の機能によって本実施形態に係る構成を実現することが可能となる。

【0082】

ＬＴＣ変換器４０３はｆｐｓ変換器４０２から入力されるフレームレート変換後の同期信号に基づきＬＴＣ信号を生成してＤＡＷ端末４１０や背景映像端末４２０に出力する。タイムコードを内容とする同期信号をＬＴＣ信号に変換する処理として既存の処理を用いることにより容易に実現可能であるが、本実施形態においては上述したように既存製品の機能を用いて実現される。

【0083】

次に、ＤＡＷ端末４１０の機能について図１２を参照して説明する。図１２に示すように、本実施形態に係るＤＡＷ端末４１０は、図２において説明したＬＣＤ６０、操作部７０に加えて、制御部４１１、音声Ｉ／Ｆ４１２およびＬＴＣ Ｉ／Ｆ４１３を含む。また、制御部４１１は、操作制御部４１４、表示制御部４１５、ＤＡＷアプリケーション４１６、音声Ｉ／Ｆ制御部４１７およびＬＴＣ処理部４１８を含む。

【0084】

音声Ｉ／Ｆ４１２は、ＤＡＷ端末４１０がＤＡＷアプリケーション４１６の機能により音声を再生した際に音声信号を出力するハードウェアである。音声Ｉ／Ｆ４１２としては、ＲＣＡケーブル、ミニケーブル、フォンケーブル、ＸＬＲケーブル等に対応する端子の一般的な音声インターフェースを用いることができる。

【0085】

ＬＴＣ Ｉ／Ｆ４１３は、ＬＴＣ変換器４０３から入力されるＬＴＣ信号を受信するための端子を備えたハードウェアである。ＬＴＣ Ｉ／Ｆ４１２としては、Ｄ−ｓｕｂ端子や同軸端子、ＸＬＲケーブル等、ＬＴＣ信号において用いられる一般的な端子を備えたものを用いることができる。

【0086】

制御部４１１は、ソフトウェアとハードウェアとの組み合わせによって構成され、ＤＡＷ端末４１０全体を制御する制御部である。操作制御部４１４は、操作部７０に対するユーザによる操作内容の信号を取得し、ＤＡＷアプリケーション４１６等のＤＡＷ端末４１０において動作するソフトウェアモジュールに伝達する。表示制御部４１５は、ＤＡＷ端末４１０のＯＳやＤＡＷアプリケーション４１６等、ＤＡＷ端末４１０において動作するソフトウェアのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）をＬＣＤ６０に表示させる。

【0087】

ＤＡＷアプリケーション４１６は、音声に関する様々な機能を提供するソフトウェアであり、本実施形態においてはステージパフォーマンスにおいて聴衆に提供する音声をはじめとした各種の音声の再生処理を行う。特に、本実施形態に係るＤＡＷアプリケーション４１６は、ＬＴＣ処理部４１８から入力されるＭＴＣ（ＭＩＤＩ Ｔｉｍｅ Ｃｏｄｅ）に同期して音声を再生する。これにより、映像プレーヤー４０１において再生された映像に同期してＤＡＷ端末４１０により音声が再生され、ステージパフォーマンスの聴衆に対して映像と音声を同期させて提供することができる。

【0088】

音声Ｉ／Ｆ制御部４１７は、ＤＡＷアプリケーション４１６による音声の再生処理に応じて、音声Ｉ／Ｆ４１２を制御して音声信号を出力させる。音声Ｉ／Ｆ制御部４１７は、音声信号を出力するハードウェアとして構成される音声Ｉ／Ｆを制御するためのドライバ・ソフトウェアとして構成される。

【0089】

ＬＴＣ処理部４１８は、ＬＴＣ変換器４０３からＬＴＣ Ｉ／Ｆ４１３に入力されたＬＴＣ信号を取得し、ＤＡＷアプリケーション４１６に同期タイミングを伝えるための信号であるＭＴＣ信号に変換する。また、本実施形態に係るＬＴＣ処理部４１８は、入力されるＬＴＣ信号にノイズ等が入った場合等、信号が意図しない変化をした場合にその影響を無視するための機能を含む。そのような機能について、図１３、図１４を参照して説明する。

【0090】

図１３は、ＬＴＣ処理部４１８が動作に際して一時的に記憶する情報を示す図である。本実施形態に係るＬＴＣ処理部４１８は、処理に際して“ｆｐｓ設定値”、“出力値”、“変換値”の情報を用いる。“ｆｐｓ設定値”は、ＬＴＣ処理部４１８が動作する際のフレームレートが予め設定される値であり、ｆｐｓ変換器４０２によって変換された後のフレームレートに対応している。上述したように、本実施形態に係る“ｆｐｓ設定値”は「３０ｆｐｓ」である。

【0091】

“出力値”は、ＬＴＣ処理部４１８がＤＡＷアプリケーション４１６に対して出力したＭＴＣの値である。“出力値”は、ＤＡＷアプリケーション４１６へのＭＴＣの出力値として用いられる他、ＬＴＣ処理部４１８が処理の中で前フレームにおけるＭＴＣの出力値を確認する際にも用いられる。

【0092】

“変換値”は、ＬＴＣ処理部４１８がＬＴＣ Ｉ／Ｆ４１３を介して受信したＬＴＣをＭＴＣに変換した変換結果の値である。“変換値”は、ＬＴＣから変換されたＭＴＣの記憶値として用いられるほか、ＬＴＣ処理部４１８が処理の中で前フレームにおけるＭＴＣの変換値を確認する際にも用いられる。図１３に示す各情報は、ＲＡＭ２０内に確保された記憶領域に記憶される。

【0093】

図１４は、本実施形態に係るＬＴＣ処理部４１８の動作を示すフローチャートである。図１３に示すように、ＬＴＣ処理部４１８は、ＬＴＣ Ｉ／Ｆ４１３に入力されているＬＴＣ信号を受信し、その信号をＭＴＣに変換する（Ｓ１４０１）。そして、ＬＴＣ処理部４１８は、図１３において説明した“出力値”として格納されている前フレームにおけるＭＴＣ出力値を参照し、Ｓ１４０１において得られた変換値が前回出力値の次のフレームを示しているか否か確認する（Ｓ１４０２）。

【0094】

図４等において説明した通り、本実施形態に係るタイムコードは時分秒＋フレーム数の形式である。従って、Ｓ１４０２の処理として、フレームが時系列に進行しているか否かの確認を直接的に行うことが可能である。

【0095】

他方、例えばタイムコードが小数点以下の位まで秒数で示されている形式の場合、ＬＴＣ処理部４１８はＳ１４０２の処理として、“ｆｐｓ設定値”に基づいて１フレーム分の想定の変化値を求め、その値と前回出力値とに基づいて想定されるタイムコードを算出して変換値と比較することによりＳ１４０２の判断を行う。

【0096】

ここでいう想定の変化値とは、“ｆｐｓ設定値”の１フレーム分に相当する秒数である。この場合、Ｓ１４０２における判断は必ずしも完全一致を判定する厳密なものである必要はなく、ある程度の誤差を許容して想定の範囲内であるか否かを判断するものであればよい。いずれにしろ、Ｓ１４０２の処理は、入力されるＬＴＣ信号が連続した時系列の変化とは異なる変化をしたことを検知するものであればよく、タイムコードの情報形式に応じて適宜実行される。

【0097】

なお、図１１において説明した通り、本実施形態に係るＬＴＣ処理部４１８に入力されるＬＴＣ信号は、６０ｆｐｓから３０ｆｐｓに変換された結果として、時分秒＋フレーム数の形式であり、フレーム数の部分は“＊＊／３０”の形式である。従って、本実施形態に係るＳ１４０２において、ＬＴＣ処理部４１８は、フレーム数の分子の部分が前回出力値＋１であるか否かを判断する

【0098】

その判断の結果、ＭＴＣの値が前回の次のフレームを示している場合（Ｓ１４０２／ＹＥＳ）、ＬＴＣ処理部４１８は、曲間におけるタイムコードの飛びを判定するための曲間判定カウンタをリセットし（Ｓ１４０３）、Ｓ１４０１の変換処理により得られたＭＴＣを“変換値”、“出力値”として記憶すると共に、“出力値”をＤＡＷアプリケーション４１６に通知し（Ｓ１４０４）、Ｓ１４０１からの処理を繰り返す。

【0099】

他方、ＭＴＣの値が前回の次のフレームを示していない場合（Ｓ１４０２／ＮＯ）、次に、ＬＴＣ処理部４１８は、図１３において説明した“変換値”として格納されている前フレームにおけるＭＴＣ変換値を参照し、Ｓ１４０１において得られた変換値が前回変換値の次のフレームを示しているか否か確認する（Ｓ１４０５）。Ｓ１４０５の処理は、Ｓ１４０２の処理と同様の処理を前回変換値との比較で行うものであり、タイムコードの形式に応じて適宜実行される点も同様である。

【0100】

その判断の結果、ＭＴＣの値が前回変換値の次のフレームを示している場合（Ｓ１４０５／ＹＥＳ）、ＬＴＣ処理部４１８は曲間判定カウンタをインクリメントする（Ｓ１４０６）。ＬＴＣ処理部４１８は、曲間判定カウンタの値をインクリメントすると、その値を予め定められた閾値と比較する（Ｓ１４０７）。

【0101】

その結果、曲間判定カウンタの値が閾値未満であった場合（Ｓ１４０７／ＹＥＳ）、ＬＴＣ処理部４１８は、Ｓ１４０２において判定されたＭＴＣの想定外の変化が未だ一時的な意図しないものである可能性の域を出ていないと判定する。そして、ＬＴＣ処理部４１８は、Ｓ１４０１の変換処理により得られたＭＴＣを“変換値”として記憶すると共に、前フレームにおけるＭＴＣの“出力値”として記憶されている値の次のフレームを示す値を新たな“出力値”として記憶し、その“出力値”をＤＡＷアプリケーション４１６に通知して（Ｓ１４０８）、Ｓ１４０１からの処理を繰り返す。

【0102】

他方、曲間判定カウンタの値が閾値以上であった場合（Ｓ１４０７／ＮＯ）、ＬＴＣ処理部４１８は、Ｓ１４０２において判定されたＭＴＣの想定外の変化が、曲間による正当なものであると判定し、曲間判定カウンタをリセットした上で（Ｓ１４０３）、Ｓ１４０４の処理を行い、Ｓ１４０１からの処理を繰り返す。

【0103】

また、Ｓ１４０５における判定の結果、ＭＴＣの値が前回変換値の次のフレームを示す値ではなかった場合（Ｓ１４０５／ＮＯ）、ＬＴＣ処理部４１８はＬＴＣ信号が不規則な変化をしていると判断して曲間判定カウンタをリセットし（Ｓ１４０９）、Ｓ１４０８の処理を行ってＳ１４０１からの処理を繰り返す。

【0104】

ＬＴＣ処理部４１８は、図１４に示す処理を“ｆｐｓ設定値”に定められたフレームレートで繰り返す。本実施形態においては、ｆｐｓ変換器４０２によって同期信号のフレームレートが３０ｆｐｓに変換された上で、ＬＴＣ変換器４０３によって３０ｆｐｓのＬＴＣ信号が出力される。それに対応して、ＬＴＣ処理部４１８には、予め３０ｆｐｓのフレームレートが設定されており、約０．０３３秒周期でＳ１４０１〜Ｓ１４０９までのサイクルを繰り返す。

【0105】

従って、図１４のＳ１４０７における判断は、ＬＴＣ処理部４１８が受信したＬＴＣ信号が示すタイムスタンプが予期しない変化をしたのち、その変化後の値においてｆｐｓに基づいて想定される変化量の変化が所定フレーム数継続したか否かの判断に等しい。その所定のフレーム数がＳ１４０７における閾値である、この閾値としては、環境において想定されるノイズのレベルと、図８においてＴ´_{ｎ−ｎ＋１}として示される実際の曲間の値とに基づいて適宜設定されるが、例えば１秒分であり３０ｆｐｓにおいては３０である。

【0106】

図１５は、図８において説明したような、セットリスト中で連続する楽曲が連続して再生された場合の曲間におけるフレームの変化とＭＴＣが示すタイムスタンプの変化を示す図である。図６において説明したように、編集ソフト端末１００において一連の時系列上に配置されて制作、編集された映像ファイルは、それぞれの楽曲の個別の映像ファイルとして書き出される際、楽曲間で余裕をもって空白期間を介して配置されている部分が時間的にトリミングされて書き出される。従って、図１５においてフレーム「Ｎ＋３」と「Ｎ＋４」のタイムスタンプに示すように、楽曲間でタイムスタンプの変化が非線型となる。

【0107】

ＤＡＷアプリケーション４１６をこのような変化に追従させるためには、単にＬＴＣ処理部４１８に入力されるＬＴＣ信号に従ってＭＴＣを生成してＤＡＷアプリケーション４１６を動作させれば問題ないが、アナログ信号であるＬＴＣ信号に意図しないノイズが重畳され、その意味するタイムスタンプが意図しない値となってしまう場合もある。そのようなノイズの影響を無視するために、図１４のＳ１４０７のようなある程度の閾値をもった判定が必要となる。

【0108】

なお、図１５に示すフレームＮ＋３からＮ＋４に変化した場合、Ｓ１４０６のような判定を行うことにより、ＬＴＣ処理部４１８はすぐにはＮ＋４に対応するタイムスタンプを出力せず、Ｓ１４０７の処理により、Ｎ＋３に対応するタイムスタンプに３０ｆｐｓの１フレーム分を足したタイムコードを出力する。そのような処理を２９フレームにわたって続けた後、３０フレーム目、即ちＮ＋３３のフレームになってはじめてＭＴＣ変換結果のタイムコードを出力する。

【0109】

３０ｆｐｓにおける３０フレームは１秒である。すなわち、Ｓ１４０７の閾値が３０である場合には、図１５に示すような曲間の処理において、次の曲に対応したＭＴＣの出力が約１秒遅れることとなる。この遅延に関しては、図８において説明したような曲間の期間Ｔ´_{ｎ−ｎ＋１}によって吸収される。

【0110】

なお、本実施形態に係るＬＴＣ処理部４１８は、図１３において説明した“ｆｐｓ設定値”を用いることにより、上述した３０フレーム程度の遅延で早期にＬＴＣ信号に同期してＭＴＣを出力することが可能となっている。対して、フレームレートが予め設定されていない場合、ＬＴＣ処理部４１８はまず所定期間のＬＴＣ信号の変化を観察して信号のフレームレートを判断することとなる。その場合、フレームレートの判定には数秒を要することが一般的である。

【0111】

その後に図１３に示す処理が開始されてようやくＬＴＣ処理部４１８がＭＴＣを出力し始める。従って、その数秒の間は映像プレーヤー４０１が映像ファイルを再生して映像が表示装置５１０に表示され、同期信号が出力されているにも関わらずＤＡＷアプリケーション４１６が動作せずに音声が再生されないことになる。これに対して、本実施形態に係るＬＴＣ処理部４１８は、“ｆｐｓ設定値”を用いる事により、上記の数秒の遅延を排除し、図１４において説明したＬＴＣ信号の飛びに対応するための数フレームでＬＴＣ信号に同期したＭＴＣを出力することができる。

【0112】

このようにしてＬＴＣ処理部４１８がＭＴＣを出力すると、ＤＡＷアプリケーション４１６は入力されたＭＴＣによって指定されたタイムスタンプに応じた音声を再生する。ＤＡＷアプリケーション４１６による音声の再生により、音声Ｉ／Ｆ４１２が音声Ｉ／Ｆ制御部４１７による制御に従って音声信号を出力する。

【0113】

図１６は、ＤＡＷアプリケーション４１６のＧＵＩの例を示す図である。ＤＡＷアプリケーション４１６は、音声に関する機能が統合されたソフトウェアであり、図１６に示すように、複数の音声トラックが時系列に配置されている。また、図１６に示すように、本実施形態に係るＤＡＷアプリケーション４１６は、編集ソフト端末１００から共有された時系列配置データをインポートすることにより、時系列配置データにおいて楽曲が配置された期間を視覚的に表示する。図１６においては、時系列配置データにおいて楽曲が配置された期間が網かけの範囲で示されている。

【0114】

このような機能により、ＤＡＷアプリケーション４１６のオペレーターは、時系列配置データのタイムスタンプに対応させて音声を制作・編集することが可能となる。これにより、ＤＡＷアプリケーション４１６において制作・編集された音声は、図４において説明した時系列配置データのタイムコードに対応した状態となる。このような構成において、ＤＡＷアプリケーション４１６がＬＴＣ処理部４１８から入力されるＭＴＣに同期して音声を再生することにより、再生された音声は映像プレーヤー４０１が再生する映像に同期したものとなる。

【0115】

なお、本実施形態に係る音声スイッチャー６００、ＰＡシステム６１０はＤＡＷ端末４１０の音声トラックに応じて複数のチャンネルを有し、チャンネルに応じてスピーカー６１１や生バンド６１２等の出力先に個別に音声を出力することが可能である。図１６において説明したように、ＤＡＷアプリケーション４１６においては、複数の音声トラックがタイムラインに関連付けられている。この複数の音声トラックのうちの１つは、ステージパフォーマンスにおいて実際に楽器を演奏する演奏者がテンポを取るためのクロック音である。このクロック音は、音声スイッチャー６００、ＰＡシステム６１０のチャンネルのうち生バンド用イヤモニ６１２に対応したチャンネルのみに出力される。

【0116】

ＤＡＷ端末４１０は同期システム４００において音声を司り、図１６に示すように時系列配置情報に従って音声とタイムコードとを関連付けて記憶しており、ＬＴＣ信号に従って関連付けられた音声を同期して出力することができる。これに対して背景映像端末４２０は、同期システム４００において背景映像を司る。

【0117】

従って、ＤＡＷ端末４１０の音声に代えて、ＬＴＣ信号に従って関連付けられた背景映像を同期して出力することができる。その機能構成は図１２において説明したＤＡＷ端末４１０の構成のうち、ＤＡＷアプリケーション４１６が背景映像に関する機能に代わり、音声Ｉ／Ｆ制御部４１７および音声Ｉ／Ｆ４１２が映像出力に関する機能に代わる以外は同様であり、詳細な説明は省略する。

【0118】

以上説明したように、本実施形態に係る同期システム４００は、図４において説明した時系列配置情報を前提としている。そして、映像プレーヤー４０１によって再生される映像ファイルは、映像ファイル記憶媒体１１０において、時系列配置情報が示すタイムコードと映像フレームとが関連付けられて記憶されている。また、ＤＡＷ端末４１０においては、時系列配置情報が示すタイムコードと音声とが関連付けられて記憶されている。また、背景映像端末４２０においては、時系列配置情報が示すタイムコードと背景映像とが関連付けられて記憶されている。

【0119】

そして、ＤＡＷ端末４１０や背景映像端末４２０は、映像プレーヤー４０１が映像の再生に応じて出力する同期信号に同期して音声や背景映像を再生する。その際には、手動によるファイルの選択等の煩雑な操作が不要である。このような構成により、映像によるステージパフォーマンスの提供に際して、再生される映像が複数のファイルに分けて用意される場合であっても、煩雑な仕組みや操作を要することなく容易に他の要素を映像に同期させることが可能となる。本実施形態に係る映像ステージパフォーマンスシステム１は図１に示す全要素によって構成されているが、同期システム４００ａ及び映像ファイル記憶媒体１１０ａが映像ステージパフォーマンスシステムとしての最小構成である。

【0120】

なお、本実施形態においては、ｆｐｓ変換器４０２が同期信号のフレームレートを変換し、ＬＴＣ変換器４０３が同期信号をＬＴＣ信号に変換する場合を例として説明した。即ち、ｆｐｓ変換器４０２およびＬＴＣ変換器４０３が同期信号変換部として機能する。これは、映像プレーヤー４０１が出力する同期信号を、ＤＡＷ端末４１０が対応している形式であるＬＴＣ信号に変換するための構成である。このような構成により、インターフェースをはじめとした信号処理系統として特別な機能を設けることなく既存の仕組みを用いることができる。

【0121】

また、本実施形態に係る時系列配置情報においては、ステージパフォーマンスにおいて演じられるセットリストの順に楽曲が配置されている。これにより、図３や図１６に示すようなＧＵＩにおいて、セットリストに含まれる順に楽曲が配置された状態で表示され、編集や管理をより直感的に行うことが可能となる。

【0122】

しかしながら、仮に時系列配置情報における楽曲の配置順がセットリストの順とは異なる態様であっても、編集ソフト端末１００、ＤＡＷ端末４１０、背景映像端末４２０において共通の時系列配置情報に従ってそれぞれの要素が制作されている限り、映像、音声、背景映像は互いに対応するものが同期されて再生される。そのため、映像ファイル記憶媒体１１０に映像ファイルが格納された後であっても、映像プレーヤー４０１における映像ファイルの再生順を調整することによりセットリストの順番を容易に変更することが可能である。

【0123】

映像プレーヤー４０１における映像ファイルの再生順の調整は、例えば映像プレーヤー４０１が映像ファイルのファイル名に従って順番に映像ファイルを再生する構成において、映像ファイル記憶媒体１１０に記憶された映像ファイルのファイル名を変更することにより行うことが可能である。

【0124】

また、上記実施形態においては、映像プレーヤー４０１によって再生される映像に同期させるための他の要素として、ＤＡＷ端末４１０によって再生される音声や、背景映像端末４２０によって再生される背景映像を例として説明した。即ち、ＤＡＷ端末４１０や背景映像端末４２０が同期要素再生部として機能する。しかしながらこれは一例であり、ステージパフォーマンスにおいて映像に対して同期させる要素であれば同様に適用可能である。他の要素としては、例えば紙吹雪等の特殊効果、照明効果、カメラワーク等である。

【0125】

また、本実施形態に係る映像ファイルは、ステージパフォーマンスにおいて演じられるセットリストに含まれる楽曲の映像であることを例として説明した。しかしながら、映像を再生する事により聴衆に提供されるステージパフォーマンスにおいては、楽曲と楽曲との間のＭＣ（マイク・コメント）も映像によって提供される。従って、映像ファイル記憶媒体１１０に記憶される映像ファイルには楽曲の映像だけでなくＭＣの映像も含まれる。そのような場合、ＤＡＷ端末４１０や背景映像端末４２０においては、ＭＣに対応した音声や背景映像が時系列配置情報に従って制作・編集される。

【0126】

また、上記実施形態においては、図１において説明したように、映像スイッチャー５００、音声スイッチャー６００および映像スイッチャー７００として、メインシステムとバックアップシステムとを切り換える切換部が個別に設けられる場合を例として説明した。この他、映像プレーヤー４０１、ＤＡＷ端末４１０および背景映像端末４２０が出力する信号をすべて受けて切り換える単一の切換部によって切換が行われてもよい。

【符号の説明】

【0127】

１ 映像ステージパフォーマンスシステム
１０ ＣＰＵ
２０ ＲＡＭ
３０ ＲＯＭ
４０ ＨＤＤ
５０ Ｉ／Ｆ
６０ ＬＣＤ
７０ 操作部
８０ バス
１００ 編集ソフト端末
１１０、１１０ａ、１１０ｂ 映像ファイル記憶媒体
２００ コントロールサーバ
２１０、４１１ 制御部
２１１ コントロールアプリケーション
２１２ ネットワーク制御部
２２０ ネットワークＩ／Ｆ
２３０ 専用Ｉ／Ｆ
３００ コントロールボックス
４００、４００ａ、４００ｂ 同期システム
４０１ 映像プレーヤー
４０２ ｆｐｓ変換器
４０３ ＬＴＣ変換機
４１０ ＤＡＷ端末
４１２ 音声Ｉ／Ｆ
４１３ ＬＴＣ Ｉ／Ｆ
４１４ 操作制御部
４１５ 表示制御部
４１６ ＤＡＷアプリケーション
４１７ 音声Ｉ／Ｆ制御部
４１８ ＬＴＣ処理部
４２０ 背景映像端末
５００、７００ 映像スイッチャー
５１０、７１０ 表示装置
６００ 音声スイッチャー
６１０ ＰＡシステム
６１１ スピーカー
６１２ 生バンドイヤモニ

【要約】

【課題】映像によるステージパフォーマンスの提供に際して、演奏させる楽曲が複数のファイルに分けて用意される場合であっても、煩雑な仕組みや操作を要することなく容易に他の要素を映像に同期させること。
【解決手段】全ての映像が時系列に配置された状態を示す時系列配置情報に従って映像と時間情報とが関連付けられた状態で記憶されており、映像の再生に伴って出力される同期信号は、再生対象の映像に関連付けられている時間情報を含み、同期される他の要素は、時系列配置情報に従って時間情報とを関連付けて記憶されており、これにより同期信号に従って再生される他の要素が再生される前記映像に同期される。
【選択図】図１

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】