特許 7232449 データ処理システム、データ処理方法、および、コンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-02-22

(45)【発行日】2023-03-03

(54)【発明の名称】データ処理システム、データ処理方法、および、コンピュータプログラム

(51)【国際特許分類】

   H05B 47/165 20200101AFI20230224BHJP

   A63J 5/02 20060101ALI20230224BHJP

   H05B 45/10 20200101ALI20230224BHJP

   H05B 45/20 20200101ALI20230224BHJP

   H05B 47/105 20200101ALI20230224BHJP

   H05B 47/155 20200101ALI20230224BHJP

   H05B 47/18 20200101ALI20230224BHJP

   H05B 47/19 20200101ALI20230224BHJP

   G06T 19/00 20110101ALI20230224BHJP

   G03B 21/62 20140101ALI20230224BHJP

【ＦＩ】

H05B47/165

A63J5/02

H05B45/10

H05B45/20

H05B47/105

H05B47/155

H05B47/18

H05B47/19

G06T19/00 A

G03B21/62

【請求項の数】 9

(21)【出願番号】P 2020156470

(22)【出願日】2020-09-17

(65)【公開番号】P2022050082

(43)【公開日】2022-03-30

【審査請求日】2021-09-29

(73)【特許権者】

【識別番号】393007053

【氏名又は名称】株式会社スピン

(73)【特許権者】

【識別番号】520362033

【氏名又は名称】株式会社ミラクルプロダクツ

(74)【代理人】

【識別番号】100105957

【弁理士】

【氏名又は名称】恩田 誠

(74)【代理人】

【識別番号】100068755

【弁理士】

【氏名又は名称】恩田 博宣

(72)【発明者】

【氏名】山内 直哉

(72)【発明者】

【氏名】吉田 貴行

(72)【発明者】

【氏名】原田 貴至

(72)【発明者】

【氏名】泉 次雄

【審査官】野木 新治

(56)【参考文献】

【文献】特開２００１－３１９２４４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０５Ｂ ４７／１６５

Ａ６３Ｊ ５／０２

Ｈ０５Ｂ ４５／１０

Ｈ０５Ｂ ４５／２０

Ｈ０５Ｂ ４７／１０５

Ｈ０５Ｂ ４７／１５５

Ｈ０５Ｂ ４７／１８

Ｈ０５Ｂ ４７／１９

Ｇ０６Ｔ １９／００

Ｇ０３Ｂ ２１／６２

(57)【特許請求の範囲】

【請求項1】

二次元の素材映像に対して、前記素材映像に含まれる対象オブジェクト以外の領域を透明とした再生対象オブジェクトを含む再生映像を生成する再生映像生成部と、
仮想空間に、実空間の実照明器具に倣って仮想照明器具を設定することができる仮想空間設定部と、
前記再生対象オブジェクトの輪郭線部分にモノクロのグラデーションを付加することで、特定の方向から照明が前記再生対象オブジェクトに対して当てられた状態を表現するための照明効果用マスクを、前記再生対象オブジェクトに対して設定するマスク設定部と、
前記実空間における前記実照明器具に対する照明制御信号に従った疑似照明効果を前記照明効果用マスクによって前記再生対象オブジェクトに対して付加し、照明効果付き再生対象オブジェクトを含む映像の再生を制御する再生制御部と
を備えるデータ処理システム。

【請求項2】

前記照明制御信号に従って前記照明効果付き再生対象オブジェクトとは別に実空間に存在する面に現れる疑似照明効果オブジェクトを生成する疑似照明効果生成部をさらに備え、
前記再生制御部は、前記疑似照明効果オブジェクトの再生を制御する
請求項１に記載のデータ処理システム。

【請求項3】

前記仮想空間において、前記再生対象オブジェクトに対する照明制御信号の適用タイミングを遅延させる第１ディレイ部をさらに備える
請求項１または２に記載のデータ処理システム。

【請求項4】

前記実照明器具への照明制御信号の出力タイミングを遅延させる第２ディレイ部をさらに備える
請求項１ないし３のうち何れか１項に記載のデータ処理システム。

【請求項5】

前記マスク設定部は、前記照明効果用マスクとして、前記再生対象オブジェクトに対して正面から当てられた照明に対して用いられる正面用照明効果用マスクを前記再生対象オブジェクトに対して設定する
請求項１ないし４のうち何れか１項に記載のデータ処理システム。

【請求項6】

前記マスク設定部は、前記照明効果用マスクとして、さらに、
前記再生対象オブジェクトに対して背面から当てられた照明に対して用いられる背面用照明効果用マスクと、
前記再生対象オブジェクトに対して右側から当てられた照明に対して用いられる右側用照明効果用マスクと、
前記再生対象オブジェクトに対して左側から当てられた照明に対して用いられる左側用照明効果用マスクと
を前記再生対象オブジェクトに対して設定する
請求項５に記載のデータ処理システム。

【請求項7】

前記実空間は、実在する実ステージを備え、
前記実ステージは、
ハーフミラー性能を有するフィルム状のスクリーンであって、前記スクリーンの前後方向に傾斜した状態で設置されている前記スクリーンと、
前記再生制御部から出力された前記照明効果付き再生対象オブジェクトであって、かつ、前記スクリーンに投影される前記照明効果付き再生対象オブジェクトを表示する表示体とを備え、
前記実ステージでは、前記表示体に表示された前記照明効果付き再生対象オブジェクトの虚像が前記スクリーンよりも後方の空間に生成される
請求項１ないし６のうち何れか１項に記載のデータ処理システム。

【請求項8】

再生映像生成部が、二次元の素材映像に対して、前記素材映像に含まれる対象オブジェクトの以外の領域を透明とした再生対象オブジェクトを含む再生映像を生成し、
仮想空間設定部が、仮想空間に、実空間の実照明器具に倣って仮想照明器具を設定し、
マスク設定部が、前記再生対象オブジェクトの輪郭線部分にモノクロのグラデーションを付加することで、特定の方向から照明が前記再生対象オブジェクトに対して当てられた状態を表現するための照明効果用マスクを、前記再生対象オブジェクトに対して設定し、
再生制御部が、前記実空間における前記実照明器具に対する照明制御信号に従った疑似照明効果を前記照明効果用マスクによって前記再生対象オブジェクトに対して付加し、照明効果付き再生対象オブジェクトを含む映像の再生を制御する
データ処理方法。

【請求項9】

請求項８に記載のデータ処理方法を実行するコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、二次元の再生オブジェクトに対して疑似照明効果を付加するデータ処理システム、データ処理方法、および、コンピュータプログラムに関する。

【背景技術】

【0002】

例えば非特許文献１のように、二次元のキャラクタオブジェクトを三次元のキャラクタオブジェクトのように見せるアトラクションがある。このような場合、二次元のキャラクタオブジェクトは、コンピュータグラフィックスの専用ソフトウェアを用いて、照明効果付きキャラクタオブジェクトを生成し、実在感を高めるようにしている。具体的には、実際に設置されている実照明器具により生成される影などの疑似照明効果を再生する二次元のキャラクタオブジェクトに対して付加し、照明効果付きキャラクタオブジェクトを生成する。そして、照明効果付きキャラクタオブジェクトをステージのスクリーンなどに投影するようにしている。

【先行技術文献】

【非特許文献】

【0003】

【文献】株式会社スピン、［令和２年９月１７日検索］、インターネット＜ＵＲＬ：https://www.spin-inc.co.jp/service4/＞

【発明の概要】

【発明が解決しようとする課題】

【0004】

照明効果付きキャラクタオブジェクトを生成するにあたっては、ステージごとに、大きさや広さが異なり、照明設備も異なることから、キャラクタ製作者と照明プログラマとで、ステージごとに、二次元のキャラクタオブジェクトに対して疑似照明効果を付加する作業を行うことになる。このため、作業工程が複雑であり、長期化してしまう。また、場合によっては、照明効果付きキャラクタオブジェクトの仕上がりが製作者の意図とは異なってしまうこともある。

【課題を解決するための手段】

【0005】

上記課題を解決するためのデータ処理システムは、二次元の素材映像に対して、前記素材映像に含まれる対象オブジェクト以外の領域を透明とした再生対象オブジェクトを含む再生映像を生成する再生映像生成部と、仮想空間に、実空間の実照明器具に倣って仮想照明器具を設定することができる仮想空間設定部と、前記再生対象オブジェクトの輪郭線部分にモノクロのグラデーションを付加することで、特定の方向から照明が前記再生対象オブジェクトに対して当てられた状態を表現するための照明効果用マスクを、前記再生対象オブジェクトに対して設定するマスク設定部と、前記実空間における前記実照明器具に対する照明制御信号に従った疑似照明効果を前記照明効果用マスクによって前記再生対象オブジェクトに対して付加し、照明効果付き再生対象オブジェクトを含む映像の再生を制御する再生制御部とを備える。

【0006】

上記構成によれば、実空間において、実照明器具による実照明効果に合わせた照明効果付き再生対象オブジェクトを投影することができる。したがって、照明の影などが再現された実在感の高い照明効果付き再生対象オブジェクトを実空間に再現できる。

【0007】

上記データ処理システムにおいて、前記照明制御信号に従って前記照明効果付き再生対象オブジェクトとは別に実空間に存在する面に現れる疑似照明効果オブジェクトを生成する疑似照明効果生成部をさらに備え、前記再生制御部は、前記疑似照明効果オブジェクトの再生を制御するようにしてもよい。

【0008】

上記構成によれば、照明効果付き再生対象オブジェクトとは別に疑似照明効果オブジェクト（例えば、照明効果付き再生対象オブジェクトから延びる影オブジェクトなど）をステージ床面やステージ背面などの有面体に投影することができる。

【0009】

上記データ処理システムにおいて、前記仮想空間において、前記再生対象オブジェクトに対する照明制御信号の適用タイミングを遅延させる第１ディレイ部をさらに備えるようにしてもよい。上記構成によれば、仮想空間において、再生対象オブジェクトを含む再生映像に対して反映されるべき照明制御信号に基づく照明効果が早まってしまう場合においても、照明制御信号の適応タイミングを遅延させることで、再生対象オブジェクトの再生タイミングに照明制御信号の適応タイミングを同期させることができる。

【0010】

上記データ処理システムにおいて、前記実照明器具への照明制御信号の出力タイミングを遅延させる第２ディレイ部をさらに備えるようにしてもよい。上記構成によれば、再生対象オブジェクトに対する疑似照明効果を生成する処理に伴って、照明効果付き再生対象オブジェクトの表示が実照明器具による実照明効果に対して遅延してしまうことがあるが、このような場合にも、前記実照明器具への照明制御信号の出力タイミングを遅延させることで、実空間での実照明効果と照明効果付き再生対象オブジェクトに対する疑似照明効果とを同期させることができる。

【0011】

上記データ処理システムにおいて、前記マスク設定部は、前記照明効果用マスクとして、前記再生対象オブジェクトに対して正面から当てられた照明に対して用いられる正面用照明効果用マスクを前記再生対象オブジェクトに対して設定するようにしてもよい。上記構成によれば、再生対象オブジェクトに対して正面から当てられた照明に対して疑似照明効果を付加することができる。

【0012】

上記データ処理システムにおいて、前記マスク設定部は、前記照明効果用マスクとして、さらに、前記再生対象オブジェクトに対して背面から当てられた照明に対して用いられる背面用照明効果用マスクと、前記再生対象オブジェクトに対して右側から当てられた照明に対して用いられる右側用照明効果用マスクと、前記再生対象オブジェクトに対して左側から当てられた照明に対して用いられる左側用照明効果用マスクとを前記再生対象オブジェクトに対して設定するようにしてもよい。上記構成によれば、再生対象オブジェクトに対して正面、背面、右側、および、左側から当てられた照明に対して疑似照明効果を付加することができる。

【0013】

上記データ処理システムにおいて、前記実空間は、実在する実ステージを備え、前記実ステージは、ハーフミラー性能を有するフィルム状のスクリーンであって、前記スクリーンの前後方向に傾斜した状態で設置されている前記スクリーンと、前記再生制御部から出力された前記照明効果付き再生対象オブジェクトであって、かつ、前記スクリーンに投影される前記照明効果付き再生対象オブジェクトを表示する表示体とを備え、前記実ステージでは、前記表示体に表示された前記照明効果付き再生対象オブジェクトの虚像が前記スクリーンよりも後方の空間に生成されるようにしてもよい。上記構成によれば、ペッパーズゴースト方式を利用して、照明効果付き再生対象オブジェクトの虚像が前記スクリーンよりも後方の空間に生成することができる。

【0014】

上記課題を解決するためのデータ処理方法は、再生映像生成部が、二次元の素材映像に対して、前記素材映像に含まれる対象オブジェクト以外の領域を透明とした再生対象オブジェクトを含む再生映像を生成し、仮想空間設定部が、仮想空間に、実空間の実照明器具に倣って仮想照明器具を設定し、マスク設定部が、前記再生対象オブジェクトの輪郭線部分にモノクロのグラデーションを付加することで、特定の方向から照明が前記再生対象オブジェクトに対して当てられた状態を表現するための照明効果用マスクを、前記再生対象オブジェクトに対して設定し、再生制御部が、前記実空間における前記実照明器具に対する照明制御信号に従った疑似照明効果を前記照明効果用マスクによって前記再生対象オブジェクトに対して付加し、照明効果付き再生対象オブジェクトを含む映像の再生を制御する。

【0015】

上記課題を解決するためのデータ処理システムは、二次元の素材映像に対して、前記素材映像に含まれる対象オブジェクト以外の領域を透明とした再生対象オブジェクトを含む再生映像を生成する再生映像生成部と、仮想空間に、仮想照明器具を設定する仮想空間設定部と、前記再生対象オブジェクトの輪郭線部分にモノクロのグラデーションを付加することで、特定の方向から照明が前記再生対象オブジェクトに対して当てられた状態を表現するための照明効果用マスクを、前記再生対象オブジェクトに対して設定するマスク設定部と、前記仮想照明器具に対する照明制御信号に従った疑似照明効果を前記照明効果用マスクによって前記再生対象オブジェクトに対して付加し、照明効果付き再生対象オブジェクトを含む映像を出力する出力制御部とを備える。

【0016】

上記構成によれば、仮想照明器具による疑似照明効果に合わせた照明効果付き再生対象オブジェクトの映像のデータを生成し、これを出力できる。例えば、照明効果付き再生対象オブジェクトの映像のデータは、配信サーバを介して情報処理装置に配信することができ、また、光ディスクなどのリムーバル記録媒体や情報処理装置に内蔵されたＨＤＤやＳＳＤなどの内部記録媒体にダウンロードすることができる。さらに、情報処理装置でストリーミング再生できる。

【0017】

上記課題を解決するためのデータ処理方法は再生映像生成部が、二次元の素材映像に対して、前記素材映像に含まれる対象オブジェクト以外の領域を透明とした再生対象オブジェクトを含む再生映像を生成し、仮想空間設定部が、仮想空間に仮想照明器具を設定し、マスク設定部が、前記再生対象オブジェクトのマスクに対して前記対象オブジェクトの輪郭線部分にモノクロのグラデーションを付加することで、特定の方向から照明が前記再生対象オブジェクトに対して当てられた状態を表現するための照明効果用マスクを、前記再生対象オブジェクトに対して設定し、出力制御部が、前記仮想照明器具に対する照明制御信号に従った疑似照明効果を前記照明効果用マスクによって前記再生対象オブジェクトに対して付加し、照明効果付き再生対象オブジェクトを含む映像を出力する。

【0018】

また、本発明は、上記データ処理方法を実行するコンピュータプログラムである。上記コンピュータプログラムは、コンピュータにインストールされ、コンピュータにより処理が実行される。コンピュータプログラムは、光ディスクなどの可搬性記録媒体、配信サーバなどによって拡布される。

【発明の効果】

【0019】

本発明によれば、二次元の素材映像に含まれるオブジェクトに対して疑似照明効果を容易に付加することができる。

【図面の簡単な説明】

【0020】

【図1】ペッパーズゴースト方式に対応した実在する実ステージを説明する図。

【図2】図１の実ステージに設置されるデータ処理システムの構成を示す図。

【図3】映像処理装置のブロック図。

【図4】再生キャラクタオブジェクトに疑似照明効果を付加する処理を説明するフローチャート。

【図5】（ａ）は、素材映像を示す図、（ｂ）は、キャラクタオブジェクトのマスクを示す図。

【図6】ＦＩＬＬ＆ＫＥＹ処理を行って再生映像を示す図。

【図7】（ａ）は、正面用照明効果用マスクを示す図、（ｂ）は、背面用照明効果用マスクを示す図、（ｃ）は、右側用照明効果用マスクを示す図、（ｄ）は、左側用照明効果用マスクを示す図。

【図8】仮想ステージの設定画面を示す図。

【図9】実照明器具に白色の照明光を照光させる照明制御信号が入力された場合における仮想ステージおよび再生キャラクタオブジェクトの状態を示す図。

【図10】実照明器具に赤色の照明光を照光させる照明制御信号が入力された場合における仮想ステージおよび再生キャラクタオブジェクトの状態を示す図。

【図11】実照明器具に青色の照明光を照光させる照明制御信号が入力された場合における仮想ステージ、再生キャラクタオブジェクトおよび疑似照明効果オブジェクトの状態を示す図。

【図12】実ステージにおいて、再生キャラクタオブジェクトの虚像がスクリーンを通して投影された状態であって、照明制御信号に従って実照明器具が動作していない状態を示す図。

【図13】実ステージにおいて、照明制御信号に従って実照明器具が赤色を照光した状態であって、再生キャラクタオブジェクトに照明制御信号による疑似照明効果を付加していない状態を示す図。

【図14】実ステージにおいて、照明制御信号に従って実照明器具が赤色を照光した状態であって、再生キャラクタオブジェクトに照明制御信号による疑似照明効果を付加した状態を示す図。

【図15】実ステージにおいて、照明制御信号に従って左側の実照明器具が緑色を照光し右側の実照明器具が青色を照光した状態であって、再生キャラクタオブジェクトに照明制御信号による疑似照明効果を付加していない状態を示す図。

【図16】実ステージにおいて、照明制御信号に従って左側の実照明器具が緑色を照光し右側の実照明器具が青色を照光した状態であって、再生キャラクタオブジェクトに照明制御信号による疑似照明効果を付加した照明効果付き再生キャラクタオブジェクトおよび疑似照明効果オブジェクトが投影された状態を示す図。

【図17】第２実施形態における、データ処理システムの構成を示す図。

【図18】照明制御信号生成装置の構成を示す図。

【図19】第１地点において設定された領域と第３地点における実照明器具との関係を示す図。

【発明を実施するための形態】

【0021】

以下、本発明が適用されたデータ処理システムについて図面を参照して説明する。
〔第１実施形態〕
〔全体構成〕
データ処理システムは、図１および図２に示すようなステージで映像が上映される。具体的に、実在するステージ１（以下、「実ステージ１」ともいう。）は、実空間に存在するペッパーズゴーストを利用した映像表示システムが設けられている。実ステージ１は、ハーフミラー性能を有するスクリーン２と、スクリーン２に投影される映像を表示する表示体３とを備えている。さらに、実ステージ１は、スクリーン２などの舞台装置などを取り付けるための支持フレーム１ａ、ステージ床面１ｂ、ステージ背面１ｃなどに設置される実在する照明器具４（以下、「実照明器具４」ともいう。）と、ステージ床面１ｂ、ステージ背面１ｃなどの有面体５に映像を投影するプロジェクタ６とを備えている。

【0022】

スクリーン２は、上下方向に斜めに、ステージ床面１ｂに対して斜め４５°に設置される。スクリーン２は、一例として、Ｅｙｅｌｉｎｅｒ（登録商標）である。表示体３は、フラットパネルディスプレイであって、例えば液晶表示パネル、有機ＥＬパネルである。表示体３は、スクリーン２の下方において、表示体３における表示面を上方に向けて配置されている。表示体３の表示面は、スクリーン２の下側に位置し、スクリーン２は、表示体３の表示面に対して斜め４５°である。また、表示体３は、スクリーン２の前方の天井に下方に向けて映像を投射するようにフロントプロジェクタを設置し、フロントプロジェクタによって映像が投影される反射型スクリーンであってもよい。

【0023】

実ステージ１は、スクリーン２の観客席７側の面が前方であり、スクリーン２のステージ背面が後方である。実ステージ１には、表示体３に映像が表示されると、表示体３に表示された照明効果付き再生キャラクタオブジェクト８の虚像８ａがスクリーン２を通して投影される。すなわち、スクリーン２の前方の観客席７にいる観測者からは、スクリーン２を通してスクリーン２よりも後方の空間に、表示体３に表示された照明効果付き再生キャラクタオブジェクト８の虚像８ａが現れる。また、ステージ床面１ｂやステージ背面１ｃなどの有面体５には、照明効果付き再生キャラクタオブジェクト８などの影などの疑似照明効果オブジェクト９が投影される。これにより、観測者からは、スクリーン２よりも後方の空間に照明効果付き再生キャラクタオブジェクト８があたかも実在するかのように見える。ステージ背面１ｃには、反射型スクリーンを配置しておいてもよい。ここで、キャラクタは、芸能人などの有名人、著名人の像、アニメーションにおける主要キャラクタ、被写体となっている人物や動物などである。

【0024】

表示体３に対しては、映像処理装置１１から再生する照明効果付き再生キャラクタオブジェクト８の映像データが出力される。また、プロジェクタ６に対しても、映像処理装置１１から再生する疑似照明効果オブジェクト９の映像データが出力される。

【0025】

また、実照明器具４は、照明制御装置１２から出力される照明制御信号によって制御される。照明制御信号は、ここでは、照明や舞台効果を制御するための通信プロトコルに従ったＤＭＸ信号である。照明制御装置１２では、各実照明器具４のオンオフおよび調光の制御を行うことができ、また、ＬＥＤ照明に対しては色温度やカラーチェンジの制御を行うことができる。照明制御装置１２から出力された照明制御信号は、映像処理装置１１を通じて実照明器具４に出力される。実照明器具４を制御する照明制御信号は、再生する再生映像に合わせて予めプログラミングされたものであってもよい。

【0026】

〔映像処理装置〕
図３に示すように、映像処理装置１１は、一例として、コンピュータであり、入力ＩＦ２１と、出力ＩＦ２２と、メモリ２３と、操作部２５と、モニタ２６と、コントローラ２７とを備えている。入力ＩＦ２１は、一例として、照明制御装置１２と有線または無線のネットワークを介して接続され、照明制御装置１２から照明制御信号が入力される。出力ＩＦ２２は、表示体３に対して照明効果付き再生キャラクタオブジェクト８の映像データを出力するとともに、プロジェクタ６に対して疑似照明効果オブジェクト９の映像データを出力する。また、照明制御装置１２からの照明制御信号を実照明器具４に出力する。

【0027】

メモリ２３は、ＨＤＤやＳＳＤなどの記憶装置であって、コントローラ２７によって各処理が実行される映像処理プログラム２４がインストールされている。映像処理プログラム２４は、実ステージ１での実照明効果を反映させた疑似照明効果をリアルタイムで再生キャラクタオブジェクト３４ａに付加して照明効果付き再生キャラクタオブジェクト８の映像データを生成する。これとともに、疑似照明効果オブジェクト９の映像データを生成する。すなわち、実ステージ１に現れる照明効果付き再生キャラクタオブジェクト８の虚像８ａは、有体物でないため、実照明器具４による実照明効果は反映されない。そこで、映像処理プログラム２４は、再生キャラクタオブジェクト３４ａに対して実照明効果に合わせた疑似照明効果を付加した照明効果付き再生キャラクタオブジェクト８を生成する処理を行う。照明効果付き再生キャラクタオブジェクト８の映像データは、装飾効果（花びら、雨、雪が降る様子など）などの装飾効果オブジェクトも含まれる。

【0028】

また、映像処理プログラム２４は、実照明器具４による実照明効果によっても、映像処理プログラム２４は、キャラクタオブジェクトが実在したならば現れるであろう実照明器具４による照明効果である疑似照明効果オブジェクト９の映像データを生成する処理を行う。疑似照明効果オブジェクト９の映像データは、照明効果付き再生キャラクタオブジェクト８から延びる影であり、ステージ床面１ｂやステージ背面１ｃなどの有面体５に投影される。

【0029】

メモリ２３は、さらに、キャラクタオブジェクトを含む二次元の素材映像のデータが格納されている。素材映像のデータとしては、背景の中にキャラクタオブジェクトが配置されている映像であってもよいし、グリーンバックやブルーバックなどの単色バックの中にキャラクタオブジェクトが配置されたクロマキー合成用映像であってもよい。素材映像のデータは、入力ＩＦを介してビデオカメラから入力された映像データであってもよいし、光ディスクなどの記録媒体の再生ドライブや配信サーバからダウンロードした映像データであってもよい。配信サーバを通じてストリーミングされるライブデータなどであってもよい。そして、素材映像のデータとしては、完成された二次元の素材映像であって、キャラクタオブジェクトのマスクを生成可能な映像である。素材映像がクロマキー合成用映像であれば精度の高いマスクを生成することができる。映像処理プログラム２４では、既存の二次元映像データに対して、そこに含まれるキャラクタオブジェクトに対して疑似装飾効果を付加することができる。

【0030】

操作部２５は、キーボード、マウス、タッチパネルなどの入力装置であり、モニタ２６は、液晶表示パネル、有機ＥＬパネルなどのフラットパネルなどの表示装置である。コントローラ２７は、ＣＰＵ、ＲＯＭ、ＲＡＭなどにより構成されており、操作部２５からの操作信号に応じて映像処理プログラム２４を実行する。そして、処理画面をモニタ２６に表示する。

【0031】

〔映像処理プログラム〕
次に、図４を用いて、コントローラ２７によって実行される映像処理プログラム２４の処理について説明する。ステップＳ１において、コントローラ２７は、映像処理プログラム２４が備える再生映像生成部を実行して、カラーの素材映像３１（図５（ａ）参照）に対してクロマキー、ルミナンスキーなどのキーイング処理を適用し、アルファチャンネルを設定する。ここでは、ＦＩＬＬ＆ＫＥＹ処理でアルファチャンネルを設定する。すなわち、カラーの素材映像３１（図５（ａ）参照）に対してマスク３２（図５（ｂ）参照）を重ねてアルファチャンネルを設定する。このような処理によって、キャラクタオブジェクト３１ａの周囲が透明領域に設定された再生映像３４のデータが生成される（図６参照）。

【0032】

ステップＳ２において、コントローラ２７は、映像処理プログラム２４が備える照明効果用マスク設定部を実行し、照明効果用マスクを生成する。具体的に、コントローラ２７は、マスク３２において、キャラクタオブジェクトの輪郭線内側領域を不透明化し、輪郭線部分に対して、モノクロのグラデーション領域３３を付加することにより、照明効果用マスク３３ａ～３３ｄを生成する。キャラクタオブジェクトの輪郭線内側領域は、不透明、一例として、ベタの黒色に設定され、そこにグラデーション領域３３が付加される。なお、輪郭線部分とは、例えばキャラクタオブジェクトの輪郭線から幅を有した内側および／または外側の領域である。

【0033】

照明効果用マスクは、再生キャラクタオブジェクトに対して照明が正面から当てられた状態を表現するための正面用照明効果用マスク３３ａを備えている（図７（ａ））。正面用照明効果用マスク３３ａは、再生キャラクタオブジェクトの正面に多くの照明光が当たることから、輪郭線部分に明るいグラデーション領域３３が幅広となるように多く設けられる。そして、正面用照明効果用マスク３３ａにおいて、グラデーション領域３３は、基準となる明暗のグラデーションに対して正面から基準より強い照明光が当てられたときは、明るい領域が多いグラデーションに変化し、基準となる明暗のグラデーションに対して正面から基準より弱い照明光が当てられたときは、明るい領域が少ないグラデーションに変化する。

【0034】

すなわち、正面用照明効果用マスク３３ａは、時間的に変化する再生キャラクタオブジェクトの正面から当たる照明光の強度に合わせて、基準となるグラデーション領域３３に対して幅やグラデーションが変化する。また、正面右寄りからの照明に対しては、右側のグラデーション領域３３において明るい領域が増え、正面左寄りからの照明に対しては、左側のグラデーション領域３３において明るい領域が増えるように変化する。また、正面上寄りからの照明に対しては、上側のグラデーション領域３３において明るい領域が増え、正面下寄りからの照明に対しては、下側のグラデーション領域３３において明るい領域が増えるように変化する。

【0035】

また、照明効果用マスクは、再生キャラクタオブジェクトに対して照明が背面から当てられた状態を表現するための背面用照明効果用マスク３３ｂを備えている（図７（ｂ））。背面用照明効果用マスク３３ｂは、再生キャラクタオブジェクトの背面に多くの照明光が当たり正面にはあまり当たらないことから、輪郭線部分に明るいグラデーション領域３３が幅狭となるように設けられる。そして、背面用照明効果用マスク３３ｂも、グラデーション領域３３は、基準となる明暗のグラデーションに対して基準より強い照明光が背面から当てられたときは、明るい領域を若干増やしたグラデーションに変化し、基準となる明暗のグラデーションに対して基準より弱い照明光が背面から当てられたときは、明るい領域を若干少なくしたグラデーションに変化する。

【0036】

すなわち、背面用照明効果用マスク３３ｂは、時間的に変化する再生キャラクタオブジェクトの背面から当たる照明光の強度に合わせて、基準となるグラデーション領域３３に対して幅やグラデーションが変化する。また、背面右寄りからの照明に対しては、右側のグラデーション領域３３において明るい領域が若干増え、背面左寄りからの照明に対しては、左側のグラデーション領域３３において明るい領域が若干増えるように変化する。また、背面上寄りからの照明に対しては、上側のグラデーション領域３３において明るい領域が若干増え、背面下寄りからの照明に対しては、下側のグラデーション領域３３において明るい領域が若干増えるように変化する。

【0037】

また、照明効果用マスクは、再生キャラクタオブジェクトに対して照明が右側から当てられた状態を表現するための右側用照明効果用マスク３３ｃを備えている（図７（ｃ））。右側用照明効果用マスク３３ｃは、再生キャラクタオブジェクトの右側に多くの照明光が当たり左側にはあまり当たらないことから、右側の輪郭線部分に明るいグラデーション領域３３が幅広となるように設けられ左側の輪郭線部分に明るいグラデーション領域３３が幅狭となるように設けられる。そして、右側用照明効果用マスク３３ｃも、グラデーション領域３３は、基準となる明暗のグラデーションに対して基準より強い照明光が右側から当てられたときは、明るい領域を増やしたグラデーションに変化し、基準となる明暗のグラデーションに対して基準より弱い照明光が右側から当てられたときは、明るい領域を少なくしたグラデーションに変化する。

【0038】

すなわち、右側用照明効果用マスク３３ｃは、時間的に変化する再生キャラクタオブジェクトの右側から当たる照明光の強度に合わせて、基準となるグラデーション領域３３に対して幅やグラデーションが変化する。また、上寄りからの照明に対しては、上側のグラデーション領域３３において明るい領域が増え、下寄りからの照明に対しては、下側のグラデーション領域３３において明るい領域が増えるように変化する。

【0039】

また、照明効果用マスクは、再生キャラクタオブジェクトに対して照明が左側から当てられた状態を表現するための左側用照明効果用マスク３３ｄを備えている（図７（ｄ））。左側用照明効果用マスク３３ｄは、再生キャラクタオブジェクトの左側に多くの照明光が当たり右側にはあまり当たらないことから、左側の輪郭線部分に明るいグラデーション領域が３３幅広となるように設けられ右側の輪郭線部分に明るいグラデーション領域３３が幅狭となるように設けられる。そして、左側用照明効果用マスク３３ｄも、グラデーション領域３３は、基準となる明暗のグラデーションに対して基準より強い照明光が左側から当てられたときは、明るい領域を増やしたグラデーションに変化し、基準となる明暗のグラデーションに対して基準より弱い照明光が左側から当てられたときは、明るい領域を少なくしたグラデーションに変化する。

【0040】

すなわち、左側用照明効果用マスク３３ｄは、時間的に変化する再生キャラクタオブジェクトの左側から当たる照明光の強度に合わせて、基準となるグラデーション領域３３に対して幅やグラデーションが変化する。また、上寄りからの照明に対しては、上側のグラデーション領域３３において明るい領域が増え、下寄りからの照明に対しては、下側のグラデーション領域３３において明るい領域が増えるように変化する。

【0041】

ステップＳ３において、コントローラ２７は、映像処理プログラム２４が備える仮想空間設定部を実行し、仮想ステージ３５に対して再生キャラクタオブジェクト３４ａおよび仮想照明器具３６を設定する処理を行う。ここでの仮想ステージ３５は、仮想照明器具を設定するための仮想空間である。具体的に、図８に示すように、コントローラ２７は、操作部２５の操作に従って、モニタ２６に仮想ステージ３５を設定し表示する。この仮想ステージ３５は、実際の実ステージ１に相当するものである。そして、コントローラ２７は、板ポリゴンにテクスチャとして、再生対象オブジェクトである再生キャラクタオブジェクト３４ａを貼り付け、操作部２５の操作に従って、仮想ステージ３５におけるキャラクタオブジェクトを表示する際の基準位置を設定する。また、コントローラ２７は、操作部２５の操作に従って、仮想ステージ３５に仮想照明器具３６を設定する。仮想照明器具３６は、一例として、実ステージ１に設けられた実照明器具４に倣って設定される。

【0042】

一例として、実ステージ１に設置された実照明器具４に対応した仮想照明器具３６が仮想ステージ３５における実ステージ１の実照明器具４の同じ位置で、同じ向きに設定される。これにより、実ステージ１を模した仮想ステージ３５には、実ステージ１と同じように仮想照明器具３６が設定される。モニタ２６には、仮想ステージ３５に設置された仮想照明器具３６および再生キャラクタオブジェクト３４ａが表示される。なお、あわせて、再生対処オブジェクトには、照明効果付き再生キャラクタオブジェクト８の他に、再生対象オブジェクトとして、装飾効果（花びら、雨、雪が降る様子など）などの装飾効果オブジェクトが付加されていてもよい。

【0043】

ステップＳ４において、コントローラ２７は、操作部２５の操作に従ってマスク設定部を実行し、仮想ステージ３５に設定された再生キャラクタオブジェクト３４ａに対して、照明効果用マスク３３ａ～３３ｄを設定する。具体的に、コントローラ２７は、再生キャラクタオブジェクト３４ａに対して正面から当たる照明範囲を正面用照明効果用マスク３３ａで設定する。また、コントローラ２７は、再生キャラクタオブジェクト３４ａに対して背面から当たる照明範囲を背面用照明効果用マスク３３ｂで設定する。さらに、コントローラ２７は、再生キャラクタオブジェクト３４ａに対して右側から当たる照明範囲を右側用照明効果用マスク３３ｃで設定し、左側から当たる照明範囲を左側用照明効果用マスク３３ｄで設定する。これにより、仮想ステージ３５において、再生キャラクタオブジェクト３４ａには、各照明効果用マスク３３ａ～３３ｄのグラデーションに従って、仮想照明器具３６による疑似照明効果が付加される。これにより、疑似照明効果を確認できるようになる。また、コントローラ２７は、照明効果付き再生キャラクタオブジェクト８の映像データを生成し、表示体３に出力する。

【0044】

また、コントローラ２７は、映像処理プログラム２４が備える疑似照明効果生成部を実行する。これにより、疑似照明効果オブジェクト９として、再生キャラクタオブジェクト３４ａの設定位置と仮想照明器具３６との位置関係や照明制御信号に含まれる照明強度や色などの情報から再生キャラクタオブジェクト３４ａから延びる影オブジェクトを生成する。影オブジェクトは、例えば再生キャラクタオブジェクト３４ａとは異なる位置に形成されるオブジェクトである。コントローラ２７は、疑似照明効果オブジェクト９の映像データを、照明効果付き再生キャラクタオブジェクト８の映像データと同期をとってキャッシュメモリにバッファしてから出力する。

【0045】

映像処理装置１１は、照明制御装置１２と有線または無線のネットワークで接続されており、照明制御装置１２からは、実照明器具４を制御する照明制御信号が入力される。コントローラ２７は、仮想空間設定部および疑似照明効果生成部を実行し、照明制御信号に合わせて、仮想照明器具３６を制御し、疑似照明効果を再生キャラクタオブジェクト３４ａに付加した照明効果付き再生キャラクタオブジェクト８の映像データを生成し、表示体３に出力する。また、疑似照明効果オブジェクト９の映像データを生成し、プロジェクタ６に出力する。

【0046】

一例として、図９に示すように、実照明器具４に白色の照明光を照光させる照明制御信号が入力された場合、モニタ２６には、仮想ステージ３５において、再生キャラクタオブジェクト３４ａに白色の疑似照明効果が付加された状態が表示される。また、一例として、図１０に示すように、実照明器具４に赤色の照明光を照光させる照明制御信号が入力された場合、モニタ２６には、仮想ステージ３５において、再生キャラクタオブジェクト３４ａに赤色の疑似照明効果が付加された状態が表示される。さらに、図１１に示すように、再生キャラクタオブジェクト３４ａの正面側から実照明器具４に青色の照明光を照光する照明制御信号が入力された場合、モニタ２６には、仮想ステージ３５において、再生キャラクタオブジェクト３４ａに青の疑似照明効果が付加された状態が表示される。あわせて、モニタ２６の同画面には、再生キャラクタオブジェクト３４ａの後方に位置する仮想ステージの床面や背面には、再生キャラクタオブジェクト３４ａの影オブジェクトなどの疑似照明効果オブジェクト９が表示される。

【0047】

コントローラ２７は、一例として、このようにモニタ２６に表示された仮想ステージ３５の状態を実ステージ１で再現する。すなわち、実ステージ１に現れる照明効果付き再生キャラクタオブジェクト８は、照明制御装置１２からの照明制御信号により制御される実照明器具４の実照明効果に合わせた疑似照明効果がリアルタイムで付加され、その状態が実ステージ１に虚像８ａとして投影される。また、実ステージ１の有面体５には、照明制御装置１２からの照明制御信号により制御される実照明器具４の実照明効果に合わせた疑似照明効果オブジェクト９がリアルタイムに投影される。

【0048】

ステップＳ５において、コントローラ２７は、映像処理プログラム２４の補正部を実行して、再生映像３４の再生タイミングや照明制御信号のタイミングを補正するための補正処理を行う。ここでは、一例として、コントローラ２７は、第１補正処理と第２補正処理とを行い、これらの補正処理は、本番前のリハーサル時などに行われる。

【0049】

リハーサル時などに、再生映像３４を再生し、入力された照明制御信号に基づく照明効果が時間的にずれなく再生キャラクタオブジェクト３４ａに反映されているか確認することがある。この際、その時々の通信環境やハードウェアの性能によって、再生キャラクタオブジェクト３４ａの再生タイミングと照明制御信号の適用タイミングとが同期しないことがある。例えば、再生映像３４のスタートから５秒００フレームで適用されるべき照明制御信号が例えばスタートから４秒２０フレームに適用されてしまい、再生キャラクタオブジェクト３４ａに対して反映されるべき照明効果が早まってしまうことがある。また、これとは逆に、例えばスタートから５秒１０フレームに適用されてしまい、再生キャラクタオブジェクト３４ａに対して反映されるべき照明効果が遅延してしまうことがある。

【0050】

このため、コントローラ２７は、第１補正処理として、映像処理プログラム２４が備える再生映像３４のデータをフレームキャッシュにキャッシュするキャッシュ部と、照明制御装置１２からの照明制御信号の適用を遅延させる第１ディレイ部とを選択的に実行する。コントローラ２７は、仮想ステージ３５において、照明制御信号の適用タイミングが再生キャラクタオブジェクト３４ａの再生に対して早いときは、第１ディレイ部で照明制御信号の適用を遅延させる。また、仮想ステージ３５において、照明制御信号が再生キャラクタオブジェクト３４ａの再生に対して遅延しているときは、キャッシュ部が再生キャラクタオブジェクト３４ａを含む再生映像３４をキャッシュして再生タイミングを遅延させてから照明制御信号を適用する。この場合の補正量は、照明プログラマなどの操作者が仮想ステージ３５の映像を見ながら判定し、秒、フレームの単位で操作部２５から入力される。これにより、モニタ２６に表示される仮想ステージ３５において、再生キャラクタオブジェクト３４ａの再生タイミングに照明制御信号の適用タイミングを同期させることができる。

【0051】

また、映像処理装置１１では、上述した再生キャラクタオブジェクト３４ａに対して照明制御信号に合わせた疑似照明効果や疑似照明効果オブジェクト９を生成する処理を行うことになる。このため、映像処理装置１１のハードウェア性能にもよるが、同じ照明制御信号による実照明器具４に基づく実ステージ１の実照明効果と、照明効果付き再生キャラクタオブジェクト８や疑似照明効果オブジェクト９の表示が時間的にずれてしまうことがある。一例として、実ステージ１の実照明効果に対して照明効果付き再生キャラクタオブジェクト８や疑似照明効果オブジェクト９の表示が遅延してしまうことがある。

【0052】

そこで、第２補正処理として、このような時間的ずれを補正すべく、コントローラ２７は、映像処理プログラム２４が備える実照明器具４への照明制御信号の出力タイミングを遅延させる第２ディレイ部を実行する。この場合の補正量は、一例として、実ステージ１における実照明効果と照明効果付き再生キャラクタオブジェクト８および疑似照明効果オブジェクト９とを照明プログラマなどが見ながらその補正量を判定し、秒、フレームの単位で操作部２５から入力される。コントローラ２７は、入力された補正量に応じて、実照明器具４への照明制御信号の出力タイミングを遅延させる。これにより、同じ照明制御信号に基づく実照明器具４による実照明効果と照明効果付き再生キャラクタオブジェクト８および疑似照明効果オブジェクト９とを時間的に揃えることができる。

【0053】

なお、コントローラ２７は、仮想ステージ３５における仮想照明器具３６の設定、照明効果用マスク３３ａ～３３ｄが設定された再生キャラクタオブジェクト３４ａの映像データ、疑似照明効果オブジェクト９の設定、補正量の設定などをファイルに格納しメモリ２３に保存する。このファイルには楽曲データなども含まれていてもよい。

【0054】

ステップＳ６において、コントローラ２７は、映像処理プログラム２４が備える再生制御部を実行する。これにより、メモリ２３に保存されているファイルを読み出し、映像処理プログラム２４を実行して、再生処理を実行する。再生処理は、本番などで実行される。具体的に、コントローラ２７は、再生キャラクタオブジェクト３４ａの映像データを再生する。このとき、実ステージ１では、照明プログラマなどの操作者による操作に従った照明制御信号が照明制御装置１２から映像処理装置１１に出力される。実照明器具４は、出力タイミングが補正された照明制御信号に従って動作され実ステージ１を照光する。これと同時に、コントローラ２７は、照明制御信号に従った疑似照明効果を再生キャラクタオブジェクト３４ａに付加して照明効果付き再生キャラクタオブジェクト８の映像データを生成し、表示体３に出力する。あわせて、コントローラ２７は、疑似照明効果オブジェクト９の映像データをプロジェクタ６に出力する。

【0055】

かくして、実ステージ１には、表示体３に表示された照明効果付き再生キャラクタオブジェクト８の虚像８ａがスクリーン２を通して投影される。また、ステージ床面やステージ背面などの有面体５には、照明効果付き再生キャラクタオブジェクト８などの影オブジェクトなどの疑似照明効果オブジェクト９がプロジェクタ６によって投影される。照明効果付き再生キャラクタオブジェクト８および疑似照明効果オブジェクト９は、実照明器具４による照明効果に合わせ投影される。

【0056】

図１２は、実ステージ１において、再生キャラクタオブジェクト３４ａの虚像８ａがスクリーン２を通して投影された状態であって、照明制御信号に従って実照明器具４が動作していない状態を示している。図１３は、照明制御信号に従って実照明器具４が赤色を照光した状態であって、再生キャラクタオブジェクト３４ａに照明制御信号による疑似照明効果を付加していない状態を示している。実照明器具４が赤色を照光しているのに対して、再生キャラクタオブジェクト３４ａの虚像８ａに赤色の疑似照明効果が付加されていないので、実ステージ１の色環境と再生キャラクタオブジェクト３４ａの虚像８ａの色が不自然である。

【0057】

これに対して、図１４は、照明制御信号に従って実照明器具４が赤色を照光した状態であって、再生キャラクタオブジェクト３４ａに照明制御信号による疑似照明効果を付加した状態、すなわち照明効果付き再生キャラクタオブジェクト８の虚像８ａを示している。これにより、実ステージ１の実照明効果に合った照明効果付き再生キャラクタオブジェクト８の虚像８ａとなる。

【0058】

図１５は、照明制御信号に従って左側の実照明器具４が緑色を照光し右側の実照明器具４が青色を照光した状態であって、再生キャラクタオブジェクト３４ａに照明制御信号による疑似照明効果を付加していない状態を示している。実照明器具４が青色や緑色を照光しているのに対して、再生キャラクタオブジェクト３４ａに青色や緑色の疑似照明効果が付加されていないので、実ステージ１の色環境と再生キャラクタオブジェクトの虚像８ａの色が不自然な状態となっている。

【0059】

これに対して、図１６は、照明制御信号に従って左側の実照明器具４が緑色を照光し右側の実照明器具４が青色を照光した状態であって、再生キャラクタオブジェクト３４ａに照明制御信号による疑似照明効果を付加した状態、すなわち照明効果付き再生キャラクタオブジェクト８の虚像８ａを示している。さらに、プロジェクタ６によって、有面体５に疑似照明効果オブジェクト９を投影した状態を示している。これにより、実ステージ１の照明にあった状態で照明効果付き再生キャラクタオブジェクト８の虚像８ａが投影される。

【0060】

以上のように構成された第１実施形態におけるデータ処理システムは、以下に列挙する効果を得ることができる。
（１－１）実ステージ１において、実照明器具４による実照明効果に合わせた照明効果付き再生キャラクタオブジェクト８の虚像８ａを投影することができる。したがって、実在感が高く、かつ、立体感の高い照明効果付き再生キャラクタオブジェクト８の虚像８ａを実ステージ１で再現できる。

【0061】

（１－２）実ステージ１において、照明効果付き再生キャラクタオブジェクト８に対する疑似照明効果オブジェクト９を投影することができる。
（１－３）第１補正処理において、再生キャラクタオブジェクト３４ａの再生タイミングと照明制御信号の適用タイミングとを同期させることができる。したがって、仮想ステージ３５の映像を見ながら照明制御信号に基づく再生キャラクタオブジェクト３４ａに対する照明効果のタイミングを確認する作業が容易なものとなる。

【0062】

（１－４）第２補正処理において、同じ照明制御信号による実照明器具４による照明効果と、照明効果付き再生キャラクタオブジェクト８の再生タイミング（照明効果付き再生キャラクタオブジェクト８の疑似照明効果）とを時間的に揃えることができる。

【0063】

（１－５）正面用照明効果用マスク３３ａを再生キャラクタオブジェクト３４ａに適用することで、再生キャラクタオブジェクトに対して照明が正面から当てられた疑似照明効果を付加することができる。

【0064】

（１－６）背面用照明効果用マスク３３ｂを再生キャラクタオブジェクト３４ａに適用することで、再生キャラクタオブジェクトに対して照明が背面から当てられた疑似照明効果を付加することができる。

【0065】

（１－７）右側用照明効果用マスク３３ｃを再生キャラクタオブジェクト３４ａに適用することで、再生キャラクタオブジェクトに対して照明が右側から当てられた疑似照明効果を付加することができる。

【0066】

（１－８）左側用照明効果用マスク３３ｄを再生キャラクタオブジェクト３４ａに適用することで、再生キャラクタオブジェクトに対して照明が左側から当てられた疑似照明効果を付加することができる。

【0067】

（１－９）ペッパーズゴーストを利用した実ステージ１において、実照明器具４の実照明効果に合わせた照明効果付き再生キャラクタオブジェクト８の虚像８ａを投影することができる。

【0068】

（１－１０）ペッパーズゴーストを利用した実ステージ１において、実照明器具４の実照明効果に合わせた照明効果付き再生キャラクタオブジェクト８の虚像８ａと疑似照明効果オブジェクト９を投影することができる。

【0069】

〔第２実施形態〕
図１７に示すように、第２実施形態におけるデータ処理システムは、スタジオなどの第１地点１０１と、会議室、オフィスなどの第２地点１０２と、ステージなどの第３地点１０３をネットワークを繋ぐものである。第１地点１０１では、一例として、第１被写体１０１ａが居り、第１被写体１０１ａは、パフォーマンスを行うパフォーマである。第１地点１０１では、第１被写体１０１ａを撮影する第１被写体カメラ１１１ａと、スタジオセットを撮像する環境撮影カメラ１１１ｂとが設置されている。

【0070】

第２地点１０２では、一例として、第２被写体１０２ａが居り、第２被写体１０２ａは、第１被写体１０１ａと共演するパフォーマである。第２地点１０２では、第２被写体１０２ａを撮影する第２被写体カメラ１１２ａが設置されている。第３地点１０３は、第１実施形態における実ステージ１が設けられており、実ステージ１では、第１被写体１０１ａおよび第２被写体１０２ａが投影される。一例として、第１被写体１０１ａおよび第２被写体１０２ａは、楽曲を演奏する音楽グループであり、また、演芸を行うコンビ芸人である。また、財界人などの有名人や著名人などあってもよい。

【0071】

また、第２実施形態におけるデータ処理システムは、ネットワークを介して、映像処理装置１１と、照明制御信号生成装置１２１とをさらに備えている。第１被写体カメラ１１１ａ、環境撮影カメラ１１１ｂおよび第２被写体カメラ１１２ａは、一例としてビデオカメラである。第１被写体カメラ１１１ａは、第１被写体１０１ａの映像データを映像処理装置１１に出力する。また、環境撮影カメラ１１１ｂは、スタジオセットの映像データを照明制御信号生成装置１２１に出力する。環境撮影カメラ１１１ｂは、スタジオセット内において照明効果の変化が大きい箇所を含んで撮影できるように設定されている。第２被写体カメラ１１２ａは、第２被写体１０２ａの映像データを映像処理装置１１に出力する。第１被写体カメラ１１１ａ、環境撮影カメラ１１１ｂおよび第２被写体カメラ１１２ａは、各々が複数台であってもよい。また、第２地点１０２での撮影は、グリーンバックやブルーバックなどの単色バックの中にキャラクタオブジェクトが配置されたクロマキー合成用映像撮影であってもよい。

【0072】

映像処理装置１１では、第１被写体１０１ａおよび第２被写体１０２ａの映像データから各被写体のマスクを生成し、各被写体の照明効果用マスク３３ａ～３３ｄを生成する。そして、映像処理装置１１は、各被写体の再生キャラクタオブジェクト３４ａを生成し、照明効果用マスク３３ａ～３３ｄを適用する。映像処理装置１１は、第３地点１０３の仮想ステージ３５に、第３地点１０３の実照明器具４に対応する仮想照明器具３６を設定する。

【0073】

照明制御信号生成装置１２１は、一例として、コンピュータであり、映像処理装置１１と同様、入力ＩＦ、出力ＩＦ、メモリ１１９、操作部、モニタ、コントローラ１２０などを備えている。そして、メモリ１１９には、照明制御信号生成プログラム１２２がインストールされている。第１地点１０１のスタジオと第３地点１０３の実ステージ１とは、照明設備、ステージの規模が同じであることは少なく、第１地点１０１の照明効果を第３地点１０３で再現することは困難である。照明制御信号生成プログラム１２２は、第１地点１０１での照明効果から第３地点１０３での照明設備にあった照明制御信号を生成する。

【0074】

図１８に示すように、照明制御信号生成プログラム１２２は、コントローラに１２０によって、処理が実行される。照明制御信号生成プログラム１２２は、領域設定部１２３と、成分抽出部１２４と、照明制御信号生成部１２５とを備えている。

【0075】

領域設定部１２３は、環境撮影カメラ１１１ｂからのスタジオセットの映像データに基づいて第１地点１０１の中で実照明器具の照明効果の大きい領域を複数箇所選択し、その領域を操作部を使って設定する。照明効果の大きい領域は、例えば、第１被写体１０１ａがパフォーマンスを行っているとき、照明器具１０９ａ～１０９ｄによる照明効果が目立つように変化し、また、頻繁に変化する領域である。そして、観客から見て照明効果の変化が目立つ領域である。設定される領域の数は、一例として、第３地点における実照明器具の数に対応させる。

【0076】

図１９では、一例として、第１地点１０１において、照明器具１０９ａは、スタジオの天井などに８台設置されており、照明器具１０９ｂは、スタジオの床面などに６台設置されており、照明器具１０９ｃは、スタジオの左側面などに２台設置されており、照明器具１０９ｄは、スタジオの右側面などに２台設置されている。また、第３地点１０３において、一例として、実照明器具４ａは、実ステージ１の天井などに５台設置されており、実照明器具４ｂは、実ステージ１の床面などに２台設置されており、実照明器具４ｃは、実ステージ１の左側面などに１台設置されており、実照明器具４ｄは、実ステージ１の右側面などに１台設置されている。

【0077】

図１９において、領域Ａ～Ｉが設定されており、領域Ａ～Ｉは、第３地点１０３における実照明器具４ａ～４ｄのａ～ｉの設置位置に対応付けられている。そして、領域設定部１２３は、操作部での操作に応じて、第１地点１０１における各領域Ａ～Ｉを第３地点１０３における実照明器具４ａ～４ｄのａ～ｉに関連付ける。例えば、領域Ａを実照明器具４ａのａに、領域Ｂを実照明器具４ａのｂに、といったように関連付ける。

【0078】

成分抽出部１２４は、各領域Ａ～Ｉにおける赤（Ｒ）、緑（Ｇ）、青（Ｂ）の成分を抽出し、各領域Ａ～Ｉについて平均化して色情報を生成する。または、輝度成分（Ｙ）と青色差成分（Ｃｂ）、赤色差成分（Ｃｒ）を抽出し、各領域Ａ～Ｉについて平均化して色情報を生成する。照明制御信号生成部１２５は、各領域Ａ～Ｉの色情報に基づいて、第３地点１０３における実照明器具４ａ～４ｄのａ～ｉの照明制御信号を生成し、映像処理装置１１に出力する。

【0079】

第３地点１０３における実ステージ１では、映像処理装置１１は、照明制御信号生成装置１２１で生成された照明制御信号に従って実照明器具４を動作させる。これに合わせて、実ステージ１では、表示体３に表示された第１被写体１０１ａおよび第２被写体１０２ａに対応する照明効果付き再生キャラクタオブジェクト８の虚像８ａがスクリーン２を通して投影される。また、ステージ床面やステージ背面などの有面体５には、照明効果付き再生キャラクタオブジェクト８などの影などの疑似照明効果オブジェクト９がプロジェクタ６によって投影される。

【0080】

以上のように構成された第２実施形態におけるデータ処理システムは、以下に列挙する効果を得ることができる。
（２－１）第１地点１０１における第１被写体１０１ａの映像と第２地点１０２における第２被写体１０２ａの映像とを、第３地点１０３で合成して、再生することができる。

【0081】

（２－２）照明制御信号生成装置１２１によって、第１地点１０１での照明効果に類似した照明効果を第３地点１０３で再現できる。例えば、第１地点１０１での照明効果の変化を第３地点１０３で再現することができる。

【0082】

〔第２実施形態の変形例〕
なお、上記第２実施形態は、さらに、以下のように適宜変更して実施することもできる。

【0083】

・領域Ａ～Ｉの中の隣接する複数の領域を、実照明器具４ａ～４ｄのａ～ｉの中の１つの実照明器具に割り当てるようにしてもよい。
・第１被写体カメラ１１１ａおよび環境撮影カメラ１１１ｂを１台にまとめ、１つのカメラで、第１地点１０１のスタジオセットと第１被写体１０１ａを撮影するようにしてもよい。この場合、映像処理装置１１は、このカメラからの映像データから第１被写体１０１ａのマスクや再生キャラクタオブジェクトなどを生成し、照明制御信号生成装置１２１が照明制御信号を生成することになる。

【0084】

・第１地点１０１も、第２地点１０２のような会議室、オフィスなどであってもよい。この場合、環境撮影カメラ１１１ｂは省略することができる。この場合、第１地点１０１および第２地点１０２での撮影は、グリーンバックやブルーバックなどの単色バックの中に被写体が配置されたクロマキー合成用映像撮影であってもよい。そして、この場合、照明制御信号生成装置１２１も省略できる。第３地点１０３の実ステージ１では、第１実施形態のように、照明制御装置１２によって、実ステージ１の実照明器具４を制御し、その照明制御信号に従って、第１地点１０１に居る第１被写体１０１ａおよび第２地点１０２に居る第２被写体１０２ａの再生キャラクタオブジェクト３４ａに対して疑似照明効果を付加することになる。

【0085】

・第１地点１０１は、ライブ会場やコンサート会場で、第３地点１０３は、ライブビューイングを行う小型の劇場や飲食店などであってもよい。照明制御信号生成装置１２１は、第１地点１０１の照明効果の雰囲気を持った類似の照明効果を第３地点１０３の実照明器具４ａ～４ｄを使って再現することができる。

【0086】

・被写体が存在する地点は、２地点に限定されるのではなく、３地点以上であってもよく、この場合、第３地点１０３に相当する場所で、各地点にいる被写体が第３地点の実照明器具４に合わせて照明効果付き再生キャラクタオブジェクト８として投影されることになる。

【0087】

〔第１実施形態および第２実施形態の変形例〕
また、上記第１実施形態および第２実施形態は、さらに、以下のように適宜変更して実施することもできる。

【0088】

・照明効果用マスクは、正面用照明効果用マスク３３ａ、背面用照明効果用マスク３３ｂ、右側用照明効果用マスク３３ｃ、および、左側用照明効果用マスク３３ｄよりもさらに多く設けるようにしてもよい。例えば、正面用であっても、正面上段、正面下段に細かく分けるようにしたり、左側用や右側用も、上段と下段に分けるようにしてもよい。これにより、照明効果がより細かい照明効果付き再生キャラクタオブジェクト８とすることができる。

【0089】

・照明効果用マスクは、正面用照明効果用マスク３３ａおよび背面用照明効果用マスク３３ｂとしてもよいし、正面用照明効果用マスク３３ａ、右側用照明効果用マスク３３ｃ、および、左側用照明効果用マスク３３ｄとしてもよい。さらに、正面用照明効果用マスク３３ａだけとしてもよい。

【0090】

・第１補正処理において、第１ディレイ部だけを省略してもよいし、キャッシュ部だけを省略してもよい。さらに、第１ディレイ部とキャッシュ部を省略してもよい。
・第２ディレイ部を省略してもよい。

【0091】

・プロジェクタ６はいわゆるリアプロジェクタであってもよい。この場合、ステージ背面１ｃなどの有面体５には、透過型スクリーンを配置すればよい。
・実ステージ１において、疑似照明効果オブジェクト９を投影するプロジェクタ６は省略してもよい。

【0092】

・表示体３は、フラットパネルディスプレイではなく、プロジェクタであってもよい。この場合、スクリーン２の前方の天井に下方に向けて映像を投射するようにプロジェクタを設置し、スクリーン２の前方の床面であってスクリーン２の下方に反射型のスクリーンを設置すればよい。

【0093】

・スクリーン２は、表示体３の表示面に対して斜め４５°に限定されるものではなく、設置環境によっては、表示体３の表示面に対して９０°未満であれば斜め４５°以外の角度であってもよい。

【0094】

・対象オブジェクトとしては、上述のようなキャラクタオブジェクトの他に、雨、雪、雲、花びら、落ち葉、飛ぶ鳥など周辺環境オブジェクトであってもよい。また、実ステージ１にセットされた家、城などのセットに対して付加される雪、花びら、落ち葉、小動物などの付加的オブジェクトであってもよい。すなわち、キャラクタオブジェクト無しにして付加的オブジェクトだけとしてもよい。

【0095】

・実ステージ１は、ペッパーズゴースト方式に限定されるものではない。例えば、映写機やプロジェクタなどの表示体で反射型のスクリーンに照明効果付き再生キャラクタオブジェクト８を投影するようにしてもよい。

【0096】

・照明制御信号としては、ＤＭＸ信号に限定されるものではない。その他に、照明制御信号としては、ネットワークを経由するＡｒｔ－Ｎｅｔ信号、ｓＡＣＮ信号などであってもよい。

【0097】

・映像処理プログラム２４は、コントローラ２７によって次のような処理を実行するように構成してもよい。すなわち、コントローラ２７は、ステップＳ４において、映像処理プログラム２４に従って、仮想ステージ３５に対して再生キャラクタオブジェクト３４ａおよび仮想照明器具３６を設定し、ステップＳ５において、再生キャラクタオブジェクト３４ａに対して、照明効果用マスク３３ａ～３３ｄを設定する。

【0098】

そして、照明効果用マスク３３ａ～３３ｄが設定された再生キャラクタオブジェクト３４ａは、仮想ステージ３５とは別の配信用仮想空間に出力される。配信用仮想空間とは、仮想のステージセットが配置された仮想ステージ空間であり、また、草原など自然の中を表した自然仮想空間などである。そして、仮想空間での再生キャラクタオブジェクト３４ａは、照明制御装置１２ではなく、照明プログラマなどの操作者が映像処理装置１１や他の機器を通じて入力した照明制御信号に合わせて照明効果付き再生キャラクタオブジェクト８が生成される。

【0099】

一例として、照明効果付き再生キャラクタオブジェクト８が仮想ステージ空間に配置されている場合、当該仮想ステージに配置された仮想照明器具を制御する照明制御信号に従って疑似照明効果が再生キャラクタオブジェクトに付加される。また、照明効果付き再生キャラクタオブジェクト８が自然仮想空間に配置されている場合、太陽の位置が仮想照明器具の位置であり、照明制御信号によって朝日、夕日など太陽の位置に合わせた日光の当たり方などが表現される。そして、それに合わせた疑似照明効果が再生キャラクタオブジェクトに付加される。このような配信用仮想空間および照明効果付き再生キャラクタオブジェクト８を含む映像のデータが出力制御部より配信サーバに出力され、配信サーバを通じて配信される。

【0100】

この場合、視聴者は、配信映像のデータを小型で携帯型の情報処理装置（スマートホン、タブレットなど）で視聴することができる。情報処理装置では、照明効果付き再生キャラクタオブジェクト８を含む配信映像のデータをストリーミング再生する他、メモリ（リムーバル記録媒体（光ディスクなど）や内蔵の内部記録媒体（ＨＤＤやＳＳＤ））にダウンロードした当該データを再生することができる。

【0101】

・実ステージ１で照明効果付き再生キャラクタオブジェクト８の虚像８ａがスクリーン２を通して投影するライブを行っているときに（第１実施形態）、そのときの照明制御装置１２から入力された照明制御信号に従った照明効果付き再生キャラクタオブジェクト８を含む映像のデータを配信するようにしてもよい。すなわち、コントローラ２７は、出力制御部を実行し、仮想ステージ３５での照明効果付き再生キャラクタオブジェクト８を含む映像のデータを配信する。このデータは、実ステージ１で行われるライブ配信時に配信され、情報処理装置において、ストリーミング再生される。また、データは、情報処理装置において、ライブ後にダウンロードされたり、ストリーミング再生される。

【0102】

・第１実施形態におけるライブ中の実ステージ１を撮影し配信するようにしてもよい。この場合における配信は、ライブ配信であってもよい。このデータも、実ステージ１で行われるライブ配信時に配信され、情報処理装置において、ストリーミング再生される。また、データは、情報処理装置において、ライブ後にダウンロードされたり、ストリーミング再生される。

【符号の説明】

【0103】

１…実ステージ
１ａ…支持フレーム
１ｂ…ステージ床面
１ｃ…ステージ背面
２…スクリーン
３…表示体
４…実照明器具
５…有面体
６…プロジェクタ
７…観客席
８…照明効果付き再生キャラクタオブジェクト
８ａ…虚像
９…疑似照明効果オブジェクト
１１…映像処理装置
１２…照明制御装置
３１…素材映像
３１ａ…キャラクタオブジェクト
３２…マスク
３３…グラデーション領域
３３ａ…正面用照明効果用マスク
３３ｂ…背面用照明効果用マスク
３３ｃ…右側用照明効果用マスク
３３ｄ…左側用照明効果用マスク
３４…再生映像
３４ａ…再生キャラクタオブジェクト
３５…仮想ステージ
３６…仮想照明器具
１０１…第１地点
１０１ａ…第１被写体
１０２…第２地点
１０２ａ…第２被写体
１０３…第３地点
１０９ａ～１０９ｄ…照明器具
１１１ａ…第１被写体カメラ
１１１ｂ…環境撮影カメラ
１１２ａ…第２被写体カメラ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】