特許 7437674 演出制御システム、および、演出制御プランを提示する方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-02-15

(45)【発行日】2024-02-26

(54)【発明の名称】演出制御システム、および、演出制御プランを提示する方法

(51)【国際特許分類】

   G06T 19/00 20110101AFI20240216BHJP

   G06F 3/01 20060101ALI20240216BHJP

【ＦＩ】

G06T19/00 A

G06F3/01 510

【請求項の数】 16

(21)【出願番号】P 2019216242

(22)【出願日】2019-11-29

(65)【公開番号】P2021086478

(43)【公開日】2021-06-03

【審査請求日】2022-08-15

(73)【特許権者】

【識別番号】314012076

【氏名又は名称】パナソニックＩＰマネジメント株式会社

(74)【代理人】

【識別番号】100170575

【弁理士】

【氏名又は名称】森 太士

(74)【代理人】

【識別番号】100141449

【弁理士】

【氏名又は名称】松本 隆芳

(74)【代理人】

【識別番号】100142446

【弁理士】

【氏名又は名称】細川 覚

(72)【発明者】

【氏名】横井 裕

(72)【発明者】

【氏名】土井 祐司

(72)【発明者】

【氏名】平間 信裕

【審査官】淀川 滉也

(56)【参考文献】

【文献】韓国公開特許第１０－２０１７－００３２６７４（ＫＲ，Ａ）

【文献】特開２００３－１２２３７４（ＪＰ，Ａ）

【文献】特開２０１８－００５１１５（ＪＰ，Ａ）

【文献】韓国公開特許第１０－２０１９－００６７０７０（ＫＲ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １９／００

Ｇ０６Ｆ ３／０１

(57)【特許請求の範囲】

【請求項1】

モデリングされた、現実空間の構成要素情報を使用して、仮想空間を生成する仮想空間生成部、
前記現実空間に設置された演出機器の出力情報を制御する演出制御情報によって、前記仮想空間および前記現実空間を演出するためのイメージおよび／またはサウンドを示す演出コンテンツ情報を入力する演出コンテンツ情報入力部、
前記仮想空間の状況を表現する演出ＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）情報を生成するために使用される情報であって、前記演出機器を制御するための情報である前記演出制御情報を生成し、前記演出制御情報を出力する演出制御情報生成部、
前記仮想空間生成部によって生成された前記仮想空間に、前記演出制御情報生成部によって生成された前記演出制御情報を反映させた前記演出ＶＲ情報を生成する演出ＶＲ情報生成部、
前記演出ＶＲ情報を出力する演出ＶＲ情報出力装置、および、
前記演出制御情報を出力する演出制御情報出力部、を含むＶＲ制御システム、並びに
前記演出制御情報に基づいて前記演出機器を制御し、前記現実空間を演出する現実空間制御部、および、
前記現実空間に設置された前記演出機器、を含む現実空間制御システム、
を含む演出制御システム。

【請求項2】

前記演出機器は、照明機器および／または映像機器を含み、前記演出は前記照明機器および／または前記映像機器から放射される光によって実現される請求項１に記載の演出制御システム。

【請求項3】

前記照明機器または前記映像機器は複数あり、前記現実空間制御部は複数の前記照明機器または前記映像機器から照射される光を制御する請求項２に記載の演出制御システム。

【請求項4】

前記演出機器は、音響機器を含み、前記演出は前記照明機器および／または前記映像機器から放射される光および前記音響機器から放音される音響によって実現される請求項２または３に記載の演出制御システム。

【請求項5】

前記演出制御情報生成部は、前記演出ＶＲ情報に対する肯定的な入力情報が入力されると前記演出制御情報を出力する請求項１から請求項４のいずれか一項に記載の演出制御システム。

【請求項6】

前記現実空間制御システムは、演出された前記現実空間をモニタしたモニタ情報を出力するモニタ機器をさらに含み、
前記ＶＲ制御システムは、前記モニタ情報を現実空間情報として出力する現実空間情報出力装置をさらに含み、
前記演出制御情報生成部は、前記現実空間情報と前記演出ＶＲ情報との差異に関連する新たな演出制御情報を生成し、
前記演出ＶＲ情報出力装置は前記新たな演出制御情報に関連する新たな演出ＶＲ情報を出力し、
前記現実空間制御部は前記新たな演出制御情報に基づいて前記演出機器を制御し、前記現実空間を演出する請求項１から請求項５のいずれか一項に記載の演出制御システム。

【請求項7】

前記ＶＲ制御システムは、前記現実空間情報と前記演出ＶＲ情報との差異に関連するユーザ操作情報が入力されるユーザ操作情報入力部をさらに含み、
前記演出制御情報生成部は、前記ユーザ操作情報に基づいて、前記新たな演出制御情報を生成する請求項６に記載の演出制御システム。

【請求項8】

前記モニタ機器は、モニタ角度を変更可能であり、および、前記演出機器が設置されている街空間において移動可能であり、前記ＶＲ制御システムに含まれる前記ユーザ操作情報入力部によって変更制御および移動制御される請求項７に記載の演出制御システム。

【請求項9】

前記モニタ機器および前記演出機器は動作情報を出力し、前記現実空間制御システムまたは前記ＶＲ制御システムにおいて、前記動作情報から前記モニタ機器および前記演出機器が正常に動作しているか否かを判定する請求項６から請求項８のいずれか一項に記載の演出制御システム。

【請求項10】

前記演出制御システムは前記ＶＲ制御システムと前記現実空間制御システムとの間にクラウドを含み、前記クラウドは前記ＶＲ制御システムおよび前記現実空間制御システムの少なくとも一部の機能を実行する請求項１から請求項９のいずれか一項に記載の演出制御システム。

【請求項11】

前記クラウドに接続される前記現実空間制御システムは複数である請求項１０に記載の演出制御システム。

【請求項12】

前記クラウドに接続される前記現実空間制御システムが制御する街空間は、前記クラウドとは未接続の前記現実空間制御システムが制御する街空間よりもエリアが広い請求項１０に記載の演出制御システム。

【請求項13】

前記ＶＲ制御システムは、前記演出機器が設置されている街空間から物理的に離れた遠隔の現実空間に設置される請求項１から請求項１２のいずれか一項に記載の演出制御システム。

【請求項14】

前記演出ＶＲ情報出力装置は、ディスプレイ装置、ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）装置のいずれかである請求項１から請求項１３のいずれか一項に記載の演出制御システム。

【請求項15】

前記演出ＶＲ情報出力装置には、前記演出機器の出力情報を変化させるための制御情報が出力され、前記ユーザ操作情報入力部から入力される前記ユーザ操作情報によって、前記制御情報が変化すると、前記演出機器の変化した出力情報が反映された新たな演出ＶＲ情報が前記演出ＶＲ情報出力装置に出力される請求項７に記載の演出制御システム。

【請求項16】

現実空間である街空間を演出するユーザに、演出制御システムによって前記街空間を演出するための演出制御プランを提示する方法であって、
モデリングされた、前記現実空間の構成要素情報を使用して、仮想空間を生成するステップ、
前記現実空間に設置された演出機器の出力情報を制御する演出制御情報によって、前記仮想空間および前記現実空間を演出するためのイメージおよび／またはサウンドを示す演出コンテンツ情報を入力するステップ、
前記仮想空間の状況を表現する演出ＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）情報に対する肯定的な入力情報に対応して、前記演出ＶＲ情報を生成するために使用される情報であって、前記演出機器を制御するための情報である前記演出制御情報を出力するステップ、
前記仮想空間に、前記演出制御情報を反映させた前記演出ＶＲ情報を生成するステップ、
前記演出ＶＲ情報を出力するステップ、
前記演出制御情報を出力するステップ、
前記演出制御情報に基づいて前記演出機器を制御し、前記現実空間を演出するステップ、
演出された前記現実空間をモニタしたモニタ情報を出力するステップ、
前記モニタ情報に対する肯定的な入力情報に対応して、前記演出コンテンツ情報および前記演出機器を含む演出制御プランを提示するステップを含む演出制御プランを提示する方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、演出制御システム、および、演出制御プランを提示する方法に関する。

【背景技術】

【0002】

従来から、さまざまな情報に基づいて、照明や音響によって空間を演出する手法が知られている。

【0003】

例えば、特許文献１のリアルワールド演出システムは、一群のデバイスで構成され、各デバイスは、オーディオ／ビジュアル特性などの１以上のパラメータを有する。当該一群のデバイスの少なくともひとつは、リアルワールドを描写する記述をマークアップ言語の命令セットの形式で受け取り、前記一群のデバイスは、前記記述にしたがって動作する。マークアップ言語で表現された一般的な言葉は、ローカルサーバによって、あるいはデバイスに配置されたブラウザによって解釈され、リアルワールドな体験を演出するようにデバイスを動作させる。

【先行技術文献】

【特許文献】

【0004】

【文献】特表２００４－５２５７３５号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

上記の演出制御においては、あらかじめ用意されたリアルワールドを描写する記述から、建造物の壁面や造形物等において照明パターン等がどのように知覚されるかをローカルサーバやデバイスが解釈し、ローカルサーバやデバイスにおいて制御情報を生成していた。そして、決定権者を含むユーザが建造物や造形物が配置されている現場に赴いて、照明パターン等による演出効果を確認する必要があった。したがって、ユーザは現場において、照明パターン等による演出効果の良否を判断する必要があり、事前に検証することもなかった。

【0006】

本発明は、このような従来技術の有する課題に鑑みてなされたものである。本発明の目的は、仮想現実における照明等の制御を事前検証し、リアルタイムで遠隔地にある現実空間へ当該制御を反映し、ユーザがモニタされた現実空間の照明効果等を仮想現実と比較してさらに事前検証し、演出コンテンツの良否を容易に判断することにある。

【課題を解決するための手段】

【0007】

上記課題を解決するために、本開示の第一の態様に係る演出制御システムは、モデリングされた、現実空間の構成要素情報を使用して、仮想空間を生成する仮想空間生成部、前記現実空間に設置された演出機器の出力情報を制御する演出制御情報によって、前記仮想空間および前記現実空間を演出するためのイメージおよび／またはサウンドを示す演出コンテンツ情報を入力する演出コンテンツ情報入力部、前記演出コンテンツ情報によって演出された前記仮想空間の状況を表現する演出ＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）情報を出力する演出ＶＲ情報出力装置、および、前記演出ＶＲ情報を生成するために使用される、前記演出機器を制御するための前記演出制御情報を生成し、前記演出制御情報を出力する演出制御情報生成部を含むＶＲ制御システム、並びに、前記演出制御情報に基づいて前記演出機器を制御し、前記現実空間を演出する現実空間制御部、および、前記現実空間に設置された前記演出機器、を含む現実空間制御システムを有する。

【0008】

本開示の第二の態様に係る演出制御プランを提示する方法は、現実空間である街空間を演出するユーザに、演出制御システムによって前記街空間を演出するための演出制御プランを提示する方法であって、モデリングされた、前記現実空間の構成要素情報を使用して、仮想空間を生成するステップ、前記現実空間に設置された演出機器の出力情報によって、前記仮想空間および前記現実空間を演出するためのイメージおよび／またはサウンドを示す演出コンテンツ情報を入力するステップ、前記演出コンテンツ情報によって演出された前記仮想空間の状況を表現する演出ＶＲ情報を出力するステップ、前記演出ＶＲ情報に対する肯定的な入力情報に対応して、前記演出ＶＲ情報を生成するために使用される、前記演出機器を制御するための演出制御情報を出力するステップ、前記演出制御情報に基づいて前記演出機器を制御し、前記現実空間を演出するステップ、演出された前記現実空間をモニタしたモニタ情報を出力するステップ、前記モニタ情報に対する肯定的な入力情報に対応して、前記演出コンテンツ情報および前記演出機器を含む演出制御プランを提示するステップを含む。

【発明の効果】

【0009】

本開示によれば、仮想現実における照明等の制御を事前検証し、リアルタイムで遠隔地にある現実空間へ当該制御を反映し、ユーザがモニタされた現実空間の照明効果等を仮想現実と比較してさらに事前検証し、演出コンテンツの良否を容易に判断できる。

【図面の簡単な説明】

【0010】

【図1】本実施形態に係わる演出制御システムの一例を模式的に示す図である。

【図2】本実施形態に係わるＶＲ制御システムの一例を示すブロック図である。

【図3】本実施形態に係わるＶＲ記憶部に記憶される情報の一例を示す図である。

【図4】本実施形態に係わる現実空間制御システムの一例を示すブロック図である。

【図5A】本実施形態に係わる演出制御システムの動作の一例を示すフローチャートである。

【図5B】本実施形態に係わる演出制御システムの動作の一例を示すフローチャートである。

【図6】本実施形態に係わる演出制御システムのその他の一例を模式的に示す図である。

【発明を実施するための形態】

【0011】

以下、本実施形態に係わる演出制御システム、および、演出制御プランを提示する方法について、図面を参照しながら詳細に説明する。なお、以下で説明する実施形態は、包括的または具体的な例を示すものである。以下の実施形態で示される数値、形状、材料、構成要素、構成要素の配置位置および接続形態、ステップ、ステップの順序などは、一例であり、本開示に限定する主旨ではない。また、以下の実施形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。さらに、図面の寸法比率は説明の都合上誇張されており、実際の比率と異なる場合がある。

【0012】

（演出制御システム１０００の概要）
図１は、演出制御システム１０００の概念を説明するための模式図である。

【0013】

演出制御システム１０００は、ＶＲ制御システム２０００、並びに、現実空間である街空間の照明機器、映像機器および音響機器等を制御し、現実空間をモニタ等するための現実空間制御システム３０００を含む。（ＶＲ：Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）

【0014】

ＶＲ制御システム２０００は、街空間を照明・映像機器および音響機器等によって演出するためのイメージおよび／またはサウンドを示す演出コンテンツを入力し、街空間を仮想化した仮想空間において演出コンテンツによって演出された状況をユーザに提供する。街空間を仮想化した仮想空間において演出コンテンツによって演出されたＶＲを、本明細書では、演出ＶＲと称する場合がある。

【0015】

演出ＶＲを視聴したユーザが、演出ＶＲが街づくりやイベント等のコンセプトに合致していると判断した場合に、ＶＲ制御システム２０００から現実空間制御システム３０００に演出制御情報がリアルタイムに出力される。演出制御情報が入力された現実空間制御システム３０００は、当該演出制御情報に基づいて照明機器、映像機器および音響機器を制御し、街空間における演出状況をモニタ機器によってモニタする。現実空間制御システム３０００は、モニタ情報をＶＲ制御システム２０００に出力する。

【0016】

モニタ情報が入力されたＶＲ制御システム２０００は、モニタ情報をユーザに視聴させ、現実空間において、事前に検証した演出ＶＲと同様の効果が発揮されているか否かをユーザがさらに事前に検証する。事前検証する場所は、現実空間から離れた遠隔地において可能である。現実空間における演出効果が、街づくりやイベント等のコンセプトに合致しているとユーザが判断した場合に、演出コンテンツがユーザに提案される。なお、現実空間における演出効果が、街づくりやイベント等のコンセプトに合致していないとユーザが判断した場合には、その場で演出ＶＲを修正し、モニタ情報によって再度、演出効果を確認することも可能である。

【0017】

上記構成によれば、仮想現実における照明等の制御を事前検証し、リアルタイムで遠隔地にある現実空間へ当該制御を反映し、ユーザがモニタされた現実空間の照明効果等を仮想現実と比較してさらに事前検証し、演出コンテンツの良否を容易に判断できる。

【0018】

（ＶＲ制御システム２０００）
図２は、ＶＲ制御システム２０００の構成の一例を説明するためのブロック図である。

【0019】

ＶＲ制御システム２０００は、ＶＲ制御装置２１００、演出ＶＲ情報出力装置２２００、現実空間情報出力装置２３００、および、監視情報出力装置２４００を含んで構成される。なお、現実空間情報出力装置２３００および監視情報出力装置２４００は別々のハードウェアではなく、１つのハードウェアによって構成されてもよい。また、場合によっては、演出ＶＲ情報出力装置２２００、現実空間情報出力装置２３００および監視情報出力装置２４００も別々のハードウェアではなく、１つのハードウェアによって構成されてもよい。

【0020】

ＶＲ制御装置２１００は、ＶＲ入力部２１１０、ＶＲ記憶部２１２０、ＶＲ制御部２１３０、ＶＲ出力部２１４０を含んで構成される。

【0021】

ＶＲ入力部２１１０は、現実空間構成要素情報入力部２１１１、演出機器情報入力部２１１２、演出コンテンツ情報入力部２１１３、ユーザ操作情報入力部２１１４、モニタ情報入力部２１１５、機器動作情報入力部２１１６を含む。

【0022】

現実空間構成要素情報入力部２１１１は、現実空間である街空間を構成する現実空間構成要素情報を入力し、ＶＲ記憶部２１２０に記憶する。現実空間構成要素情報２１２１には、人工的に設けられたホテル、商業施設、居住するためのビル、オフィスビル、陸橋、駅や競技場等の建造物、街路灯、道路等の人工物情報２１２１ａ、および、樹木、池、丘等の自然物情報２１２１ｂが含まれる。図３に示すように、これらの人工物情報２１２１ａおよび自然物情報２１２１ｂはＶＲ記憶部２１２０に記憶される。

【0023】

演出機器情報入力部２１１２は、演出コンテンツによって街空間を演出するために使用される演出機器３２００に関する情報である演出機器情報２１２２を入力し、ＶＲ記憶部２１２０に記憶する。演出機器３２００の一例として、図４に示す照明機器および映像機器を示す照明・映像機器３２１０、音響機器３２２０が挙げられる。照明・映像機器３２１０には、さまざまな光を放出する機器が含まれる。照明・映像機器３２１０の一例には、画像情報や文字情報等を投影するプロジェクタ等の投影装置、ディスプレイ等の表示装置、および、電球、発光ダイオード、光ケーブル等が挙げられる。図３に示すように、照明・映像機器３２１０に関する照明・映像機器情報２１２２ａ、および、音響機器３２２０に関する音響機器情報２１２２ｂは演出機器情報２１２２に含まれて、ＶＲ記憶部２１２０に記憶される。

【0024】

演出コンテンツ情報入力部２１１３は、演出機器３２００によって街空間を演出するためのイメージおよび／またはサウンドを示す演出コンテンツを入力し、ＶＲ記憶部２１２０に記憶する。図３に示すように、演出コンテンツは演出コンテンツ情報２１２３として、ＶＲ記憶部２１２０に記憶される。また、演出コンテンツ情報２１２３は、演出機器３２００を制御する演出制御情報によって現実空間である街空間をリアルタイムに演出するために使用されることが可能である。

【0025】

ユーザ操作情報入力部２１１４は、ユーザによるさまざまな情報を入力するためのインターフェース機能を有する。ユーザ操作情報入力部２１１４の一例として、キーボード、マウス、タッチパネル、トラックボール、および、音声認識デバイス等が挙げられる。

【0026】

例えば、演出ＶＲ情報出力装置２２００がＶＲ機器である場合には、ユーザ操作情報入力部２１１４はＶＲ機器と一体となって機能してもよい。この場合には、ユーザ操作情報入力部２１１４はユーザの視線や動作を感知して情報を入力するデバイスとして機能することも可能であり、ユーザの視線の移動や動作に対応して、移動した視線から見える演出ＶＲ情報が演出ＶＲ情報出力装置２２００に出力される。

【0027】

また、ユーザ操作情報入力部２１１４は、演出ＶＲ情報出力装置２２００に表示される演出ＶＲ情報を修正するためのインターフェース機能を有することもできる。

【0028】

例えば、演出ＶＲ情報における照度または照明パターンを変更するために、ユーザ操作情報入力部２１１４を使用することができる。また、例えば、演出ＶＲ情報には音響情報も含まれるため、音量または音響パターンを変更するために、ユーザ操作情報入力部２１１４を使用することができる。

【0029】

さらに、ユーザ操作情報入力部２１１４は、演出コンテンツ情報２１２３によって演出された現実空間である街空間をモニタするモニタ機器３３００の撮影方向や撮影場所を移動させるためのユーザインターフェースとして機能することも可能である。

【0030】

なお、ユーザ操作情報入力部２１１４は、現実空間構成要素情報２１２１、演出機器情報２１２２、演出コンテンツ情報２１２３を入力するためのユーザインターフェースとして機能することも可能である。

【0031】

モニタ情報入力部２１１５は、照明・映像機器３２１０や音響機器３２２０を制御する情報である演出制御情報によって演出された現実空間である街空間をモニタするモニタ機器３３００から出力されるモニタ情報を入力する機能を有する。モニタ情報には映像情報および音響情報が含まれるが、モニタ情報入力部２１１５は、フォーマット変換を実行し、ＶＲ制御システム２０００で使用できる情報に変換する機能を有することもできる。

【0032】

機器動作情報入力部２１１６は、照明・映像機器３２１０、音響機器３２２０、および、モニタ機器３３００が正常に動作しているか否かを示す情報を入力する。例えば、照明・映像機器３２１０の一部の照明デバイスが故障していると、演出ＶＲ情報出力装置２２００によって確認された演出効果が現実空間である街空間で得られない場合がある。このような場合に、演出効果がＶＲと現実空間で異なるのか、演出機器３２００の故障によって所望の演出効果が得られないのかが判別できない場合があるので、機器動作情報を監視し、入力する必要がある。

【0033】

ＶＲ記憶部２１２０は、上述したように人工物情報２１２１ａおよび自然物情報２１２１ｂを含む現実空間構成要素情報２１２１、照明・映像機器情報２１２２ａおよび音響機器情報２１２２ｂを含む演出機器情報２１２２、演出コンテンツ情報２１２３を記憶する。

【0034】

ＶＲ制御部２１３０は、モデリング部２１３１、仮想空間生成部２１３２、演出ＶＲ情報生成部２１３３、演出制御情報生成部２１３４、モニタ制御部２１３５、および、機器動作監視部２１３６を含んで構成される。

【0035】

モデリング部２１３１は、現実空間から仮想空間を生成するために、現実空間構成要素情報２１２１をモデリングする機能を有する。現実空間構成要素情報２１２１は現実空間構成要素の寸法、材料、表面の物性等の情報を有する。表面の物性は、照明・映像機器３２１０に含まれる照明機器によって、現実空間構成要素が照明された場合の照明効果を表現するために使用されることができる。また、表面の物性は、音響機器３２２０による現実空間構成要素の音響効果を決定するために使用されることができる。なお、モデリング部２１３１は、外部の情報提供機器または情報提供者から仮想空間を生成するためのモデリングされた情報を読み込むことも可能である。

【0036】

仮想空間生成部２１３２は、モデリング部２１３１によって現実空間構成要素がモデリングされた仮想空間構成要素に基づいて、仮想空間を生成する機能を有する。仮想空間は３次元カラーコンピュータグラフィックスによって表現されることが可能である。仮想空間ではあらゆる位置および角度から仮想空間構成要素を表現することが可能である。

【0037】

演出制御情報生成部２１３４は、演出コンテンツ情報２１２３に基づいて、街空間に演出コンテンツを再現するように照明・映像機器３２１０および音響機器３２２０を制御するための情報を生成する。演出制御情報には、照明・映像機器３２１０および音響機器３２２０から出力される出力情報を制御するための照明・映像機器３２１０および音響機器３２２０への入力情報が含まれる。演出制御情報に含まれる照明・映像機器３２１０および音響機器３２２０への入力情報は演出制御情報出力部２１４２に出力される。

【0038】

また、演出制御情報には、仮想空間における演出機器３２００の演出効果を得るための照明・映像機器３２１０および音響機器３２２０から出力される出力情報も含まれる。演出制御情報に含まれる照明・映像機器３２１０および音響機器３２２０の出力情報は演出ＶＲ情報生成部２１３３に出力される。

【0039】

また、演出制御情報生成部２１３４には、ユーザ操作情報入力部２１１４からユーザ操作情報が入力される場合もある。例えば、演出ＶＲ情報出力装置２２００に出力された演出ＶＲ情報を修正する場合に、ユーザ操作情報入力部２１１４からユーザ操作情報が入力される場合がある。この場合には、ユーザ操作情報によって、照明・映像機器３２１０および音響機器３２２０の出力情報の内容を変更することが可能となる。

【0040】

演出ＶＲ情報生成部２１３３は、仮想空間生成部２１３２によって生成された仮想空間に、演出制御情報生成部２１３４によって生成された照明・映像機器３２１０および音響機器３２２０の出力情報を反映させた演出ＶＲ情報を生成する機能を有する。演出ＶＲ情報は、演出コンテンツ情報２１２３によって演出された演出コンテンツが仮想空間で表現された照明効果および音響効果を含む演出効果を示す情報であって、ユーザの視覚および聴覚で確認可能な視覚情報および音響情報である。演出ＶＲ情報生成部２１３３は、生成された演出ＶＲ情報を、演出ＶＲ情報出力部２１４１に出力する。

【0041】

モニタ制御部２１３５は、モニタ情報入力部２１１５から現実空間である街空間の視覚情報および音響情報を含むモニタ情報、および、ユーザ操作情報入力部２１１４からユーザ操作情報を入力する。モニタ制御部２１３５に入力されるユーザ操作情報には、モニタ機器３３００のモニタ方向を変化させる情報が含まれる場合がある。また、モニタ機器３３００が移動可能である場合には、モニタ機器３３００を移動させる情報である場合がある。モニタ制御部２１３５は、これらのユーザ操作情報をモニタ制御情報として、モニタ制御情報出力部２１４３に出力する。

【0042】

また、モニタ制御情報によって制御されたモニタ機器３３００の街空間の視覚情報および音響情報を含むモニタ情報を現実空間情報として現実空間情報出力部２１４４に出力する。

【0043】

機器動作監視部２１３６は機器動作情報入力部２１１６から入力された照明・映像機器３２１０、音響機器３２２０、および、モニタ機器３３００が正常に動作しているか否かを示す機器動作情報を入力し、機器が正常に動作しているか否かを判定する機能を有する。機器動作監視部２１３６は、照明・映像機器３２１０、音響機器３２２０、および、モニタ機器３３００が正常に動作しているか否かを示す監視情報を監視情報出力部２１４５に出力する。なお、後述する現実空間制御部３１２０が機器動作監視部２１３６の機能を実行することも可能であるが、詳細は後述する。

【0044】

ＶＲ出力部２１４０は、演出ＶＲ情報出力部２１４１、演出制御情報出力部２１４２、モニタ制御情報出力部２１４３、現実空間情報出力部２１４４、および、監視情報出力部２１４５を含んで構成される。

【0045】

演出ＶＲ情報出力部２１４１は演出コンテンツ情報２１２３から生成された演出制御情報によって演出された仮想空間の視覚情報および音響情報を含む演出ＶＲ情報を演出ＶＲ情報生成部２１３３から入力し、演出ＶＲ情報出力装置２２００に出力する機能を有する。演出ＶＲ情報出力装置２２００は、通常のディスプレイ装置の他にＨＭＤ等のＶＲ機器である場合もある。また、演出ＶＲ情報出力装置２２００は、一台である必要はなく、同一の演出ＶＲ情報を複数台に出力することも可能である。（ＨＭＤ：Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）

【0046】

演出制御情報出力部２１４２は、演出制御情報生成部２１３４で生成された照明・映像機器３２１０および音響機器３２２０の出力情報を制御するための入力情報が含まれる演出制御情報を現実空間制御システム３０００に出力する機能を有する。演出制御情報は有線または無線で直接的または間接的に伝送される。例えば、演出制御情報はネットワークを介して伝送されることも可能である。一例として、演出制御情報はインターネットやクラウド等の電子情報機器を間に介して伝送されることも可能である。

【0047】

モニタ制御情報出力部２１４３は、モニタ制御部２１３５で生成されたモニタ機器３３００を制御するためのモニタ制御情報を現実空間制御システム３０００に出力する機能を有する。モニタ制御情報も有線または無線で直接的または間接的に伝送される。例えば、モニタ制御情報もネットワークを介して伝送されることも可能である。一例として、モニタ制御情報もインターネットやクラウド等の電子情報機器を間に介して伝送されることも可能である。

【0048】

現実空間情報出力部２１４４は、モニタ機器３３００によってモニタされた現実空間である街空間の視覚情報および音響情報を含む現実空間情報をモニタ制御部２１３５から入力し、現実空間情報出力装置２３００に出力する機能を有する。また、現実空間情報出力装置２３００は、一台である必要はなく、同一の現実空間情報を複数台に出力することも可能である。

【0049】

監視情報出力部２１４５は、照明・映像機器３２１０、音響機器３２２０、および、モニタ機器３３００が正常に動作しているか否かを示す監視情報を機器動作監視部２１３６から入力し、監視情報出力装置２４００に出力する。

【0050】

ＶＲ制御システム２０００は、演出ＶＲ情報出力装置２２００、現実空間情報出力装置２３００、および、監視情報出力装置２４００を含む。上述したように、現実空間情報出力装置２３００および監視情報出力装置２４００は別々のハードウェアではなく、１つのハードウェアによって構成されてもよい。また、場合によっては、演出ＶＲ情報出力装置２２００、現実空間情報出力装置２３００および監視情報出力装置２４００も別々のハードウェアではなく、１つのハードウェアによって構成されてもよい。

【0051】

演出ＶＲ情報出力装置２２００は、演出コンテンツ情報２１２３から生成された演出制御情報によって演出された仮想空間の視覚情報および音響情報を含む演出ＶＲ情報を出力する機能を有する。上述したように、演出ＶＲ情報出力装置２２００は、通常のディスプレイ装置の他にＨＭＤ等のＶＲ機器である場合もある。また、演出ＶＲ情報出力装置２２００は、一台である必要はなく、同一の演出ＶＲ情報を複数台で視聴することも可能である。ユーザは、演出ＶＲ情報を視聴することによって、仮想空間において演出コンテンツ情報２１２３から生成された演出制御情報による演出効果を確認することが可能になる。仮想空間における演出効果が、ユーザが意図する街づくりやイベントのコンセプトに合致していれば、ＶＲ制御システム２０００は演出制御情報を現実空間制御システム３０００にリアルタイムに出力する。そして、ユーザは現実空間情報出力装置２３００によって現実空間である街空間において演出効果を確認することが可能になる。

【0052】

また、演出ＶＲ情報出力装置２２００が出力する、演出ＶＲ情報には後述する照明・映像機器３２１０および音響機器３２２０の出力情報を制御するための制御情報が含まれていてもよい。この場合には、照明・映像機器３２１０および音響機器３２２０の出力情報を制御するための制御情報が、演出ＶＲ情報出力装置２２００に表示されることができる。そして、ユーザは表示された制御情報を、ユーザ操作情報入力部２１１４を使用して変更することが可能である。演出ＶＲ情報を視聴しているユーザがユーザ操作情報入力部２１１４を使用して当該制御情報を変更すると、変更された当該制御情報が反映された演出ＶＲ情報が演出ＶＲ情報出力装置２２００に表示されることができる。このようにして、ユーザは演出ＶＲ情報を視聴しながら照明・映像機器３２１０および音響機器３２２０の出力情報を変更することが可能となる。この場合に、当該制御情報が表示される領域とユーザ操作情報との対応関係を演出制御情報生成部２１３４および演出ＶＲ情報生成部２１３３が認識しているものとする。したがって、表示された制御情報に対応するユーザ操作情報が、演出制御情報生成部２１３４に入力され、新たな演出制御情報が生成される。なお、制御情報は文字情報やイメージ情報として演出ＶＲ情報出力装置２２００に表示されることが可能であって、ユーザはインタラクティブに演出効果を確認することが可能になる。

【0053】

現実空間情報出力装置２３００は、演出制御情報に基づいて、照明・映像機器３２１０および音響機器３２２０が出力した情報によって演出された現実空間である街空間の視覚情報および音響情報を含む現実空間情報を出力する機能を有する。上述したように、ユーザは現実空間情報出力装置２３００によって現実空間である街空間において演出効果を確認することが可能になる。現実空間における演出効果が、ユーザが意図する街づくりやイベントのコンセプトに合致していなければ、演出制御情報生成部２１３４によって演出情報を修正し、または、演出コンテンツ情報２１２３を入れ替えることが可能になる。

【0054】

監視情報出力装置２４００は、照明・映像機器３２１０、音響機器３２２０、および、モニタ機器３３００が正常に動作しているか否かを示す監視情報を出力する機能を有する。現実空間における演出効果が、ユーザが意図する街づくりやイベントのコンセプトに合致しているか否かを判断するためには、演出機器３２００が正常に動作していることが重要であるため、監視情報出力装置２４００によって監視できることが重要になる。

【0055】

（現実空間制御システム３０００）
図４に示すように、現実空間制御システム３０００は、現実空間制御装置３１００、照明・映像機器３２１０、音響機器３２２０、モニタ機器３３００を含んで構成される。

【0056】

現実空間制御装置３１００は、演出制御情報およびモニタ制御情報を入力する現実空間制御入力部３１１０、現実空間制御部３１２０、現実空間Ｉ／Ｆ部３１３０、並びに、モニタ情報および機器動作情報を出力する現実空間出力部３１４０を含んで構成される。（Ｉ／Ｆ：ＩｎｔｅｒＦａｃｅ）

【0057】

現実空間制御入力部３１１０は、演出制御情報を入力する演出制御情報入力部３１１１、および、モニタ制御情報を入力するモニタ制御情報入力部３１１２を含んで構成される。

【0058】

演出制御情報入力部３１１１は、演出ＶＲ情報出力装置２２００によって演出効果が確認された照明・映像機器３２１０および音響機器３２２０を制御するための演出制御情報を入力し、現実空間制御部３１２０に出力する。

【0059】

モニタ制御情報入力部３１１２は、現実空間情報出力装置２３００によって、モニタ機器３３００を遠隔制御するためのモニタ制御情報を入力し、現実空間制御部３１２０に出力する。

【0060】

現実空間制御部３１２０は、演出制御情報から照明・映像機器３２１０を制御するための照明・映像機器制御情報を抽出し、照明・映像機器Ｉ／Ｆ部３１３１に出力する。また、現実空間制御部３１２０は、演出制御情報から音響機器３２２０を制御するための音響機器制御情報を抽出し、音響機器Ｉ／Ｆ部３１３２に出力する。さらに、現実空間制御部３１２０は、モニタ制御情報からモニタ機器３３００を制御するための情報を抽出し、モニタ機器Ｉ／Ｆ部３１３３に出力する。

【0061】

さらに、現実空間制御部３１２０は、照明・映像機器３２１０の照明・映像機器動作情報を照明・映像機器Ｉ／Ｆ部３１３１から入力し、音響機器３２２０の音響機器動作情報を音響機器Ｉ／Ｆ部３１３２から入力する。現実空間制御部３１２０は、照明・映像機器動作情報および音響機器動作情報を機器動作情報として、機器動作情報出力部３１４２に出力する。なお、現実空間制御部３１２０は、モニタ機器３３００のモニタ機器動作情報をモニタ機器Ｉ／Ｆ部３１３３から入力し、機器動作情報にモニタ機器動作情報を含めることも可能である。

【0062】

さらに、現実空間制御部３１２０は、モニタ機器３３００から現実空間である街空間の視覚情報および音響情報を含むモニタ情報をモニタ機器Ｉ／Ｆ部３１３３を介して入力し、当該モニタ情報をモニタ情報出力部３１４１に出力する。

【0063】

なお、現実空間制御部３１２０は、照明・映像機器動作情報、音響機器動作情報、モニタ機器動作情報から照明・映像機器３２１０、音響機器３２２０、および、モニタ機器３３００が正常に動作しているか否かを判定する機能を有する場合もある。この場合には、機器動作情報に照明・映像機器３２１０、音響機器３２２０、および、モニタ機器３３００が正常に動作しているか否かを示す情報を含めることも可能である。

【0064】

現実空間Ｉ／Ｆ部３１３０は上述した照明・映像機器Ｉ／Ｆ部３１３１、音響機器Ｉ／Ｆ部３１３２およびモニタ機器Ｉ／Ｆ部３１３３を含んで構成される。

【0065】

照明・映像機器Ｉ／Ｆ部３１３１は照明・映像機器制御情報を照明・映像機器３２１０に出力し、照明・映像機器３２１０から照明・映像機器動作情報を入力する機能を有する。

【0066】

音響機器Ｉ／Ｆ部３１３２は音響機器制御情報を音響機器３２２０に出力し、音響機器３２２０から音響機器動作情報を入力する機能を有する。

【0067】

モニタ機器Ｉ／Ｆ部３１３３はモニタ機器制御情報をモニタ機器３３００に出力し、モニタ機器３３００からモニタ機器動作情報を入力する機能を有する。

【0068】

現実空間出力部３１４０はモニタ情報出力部３１４１および機器動作情報出力部３１４２を含んで構成される。

【0069】

モニタ情報出力部３１４１は、モニタ機器３３００が出力したモニタ情報を、現実空間制御部３１２０から入力し、ＶＲ制御システム２０００のモニタ情報入力部２１１５に出力する。

【0070】

機器動作情報出力部３１４２は、照明・映像機器３２１０、音響機器３２２０、モニタ機器３３００が出力した機器動作情報を、現実空間制御部３１２０から入力し、ＶＲ制御システム２０００の機器動作情報入力部２１１６に出力する。機器動作情報には、照明・映像機器動作情報、音響機器動作情報、モニタ機器動作情報が含まれる。

【0071】

モニタ情報および機器動作情報は有線または無線で直接的または間接的に伝送される。例えば、モニタ情報および機器動作情報はインターネットやクラウド等の電子情報機器を間に介して伝送されることも可能である。

【0072】

照明機器および映像機器を示す照明・映像機器３２１０の一例には、画像情報や文字情報等を投影するプロジェクタ等の投影装置、ディスプレイ等の表示装置、および、電球、発光ダイオード、光ケーブル等が挙げられる。投影装置はビルの壁面やスクリーン等に画像情報や文字情報等を投影するプロジェクションマッピング装置であってもよい。なお、ディスプレイにはディスプレイサイズが大型から小型までの任意のサイズのディスプレイが含まれる。また、電球、発光ダイオード、光ケーブル等によってイルミネーションを演出することも可能である。なお、照明・映像機器３２１０はこれらに限定されるわけではなく、あらゆる種類の光を放射する装置が含まれる。

【0073】

音響機器３２２０から出力される音響情報は、照明・映像機器３２１０による照明・映像効果を補助する音響情報、照明・映像機器３２１０による出力情報とは独立した音響情報が含まれる場合がある。また、音響機器３２２０は一台である必要はなく、複数台で構成される場合がある。

【0074】

モニタ機器３３００は固定式または移動式のいずれであってもよい。モニタ機器３３００が移動式の場合には、ユーザは演出機器３２００が設置されている街空間を移動するモニタ機器３３００の視線に合わせて演出効果を視聴することが可能になる。また、モニタ機器３３００はドローンに搭載されて街空間を移動することも可能である。モニタ機器３３００が移動式の場合には、モニタ機器３３００が搭載される移動可能物体に制限はなく、任意の移動可能物体を採用することが可能である。また、モニタ機器３３００は一台である必要はなく、複数台で構成される場合がある。さらに、モニタ機器３３００は、モニタ角度を変更可能であるウェブカメラ等のカメラであってもよい。モニタ機器３３００は、ＶＲ制御システム２０００に含まれるユーザ操作情報入力部２１１４によって変更制御および移動制御されることが可能である。

【0075】

（演出制御システム１０００の動作の一例を示すフローチャート）
次に、演出制御システム１０００の動作の一例のフローチャートについて図５Ａおよび図５Ｂに基づいて説明する。図５Ａおよび図５Ｂにおける処理手順は、演出制御システム１０００が有するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）が実行する。当該ＣＰＵの一部の機能を実行する動作部の一例には、ＶＲ制御部２１３０および現実空間制御部３１２０が挙げられる。この場合において、当該ＣＰＵはＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）（図示せず）に格納されたプログラムにしたがい実行する。

【0076】

なお、以下の処理手順の一部または全部は、例えば、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）やＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等のハードウェアにより実行できる。但し本実施形態では、ＲＯＭのプログラムにしたがってＣＰＵが実行する形態とした場合について説明する。

【0077】

ステップＳ５０１において、現実空間構成要素情報入力部２１１１は、現実空間である街空間を構成する現実空間構成要素情報を入力し、ＶＲ記憶部２１２０に記憶する。現実空間構成要素情報２１２１には、人工的に設けられたホテル、商業施設、居住するためのビル、オフィスビル、陸橋、駅や競技場等の建造物、街路灯、道路等の人工物情報２１２１ａ、および、樹木、池、丘等の自然物情報２１２１ｂが含まれる。次にＶＲ制御システム２０００はステップＳ５０２に進む。

【0078】

ステップＳ５０２において、演出機器情報入力部２１１２は、街空間を演出するために使用される演出機器３２００に関する情報である演出機器情報２１２２を入力し、ＶＲ記憶部２１２０に記憶する。演出機器３２００の一例として、図４に示す照明・映像機器３２１０、音響機器３２２０が挙げられる。なお、照明・映像機器３２１０および音響機器３２２０は複数の機器である場合がある。さらに、複数の照明・映像機器３２１０によって照明・映像システムが構成され、複数の音響機器３２２０によって音響システムが構成される場合がある。次にＶＲ制御システム２０００はステップＳ５０３に進む。

【0079】

ステップＳ５０３において、演出コンテンツ情報入力部２１１３は、照明・映像機器３２１０および音響機器３２２０によって街空間を演出するための演出コンテンツに関する情報である演出コンテンツ情報を入力し、ＶＲ記憶部２１２０に記憶する。次にＶＲ制御システム２０００はステップＳ５０４に進む。

【0080】

ステップＳ５０４において、演出制御情報生成部２１３４は、演出コンテンツ情報２１２３に基づいて、街空間に演出コンテンツを再現するように照明・映像機器３２１０および音響機器３２２０を制御するための演出制御情報を生成する。演出制御情報には、ステップＳ５０７において使用される、照明・映像機器３２１０および音響機器３２２０の出力情報を制御するための照明・映像機器３２１０および音響機器３２２０への入力情報が含まれる。また、当該演出制御情報には、ステップＳ５０５において使用される、仮想空間における演出効果を得るための照明・映像機器３２１０および音響機器３２２０の出力情報も含まれる。次にＶＲ制御システム２０００はステップＳ５０５に進む。

【0081】

ステップＳ５０５において、仮想空間生成部２１３２は、モデリング部２１３１によって現実空間構成要素がモデリングされた仮想空間構成要素に基づいて、仮想空間を生成する。仮想空間は３次元カラーコンピュータグラフィックスによって表現されることが可能である。仮想空間ではあらゆる位置および角度から仮想空間構成要素を表現することが可能である。そして、演出ＶＲ情報生成部２１３３は、仮想空間生成部２１３２によって生成された仮想空間に、演出制御情報生成部２１３４によって生成された照明・映像機器３２１０および音響機器３２２０の出力情報を反映させた演出ＶＲ情報を生成する。演出ＶＲ情報は、演出制御情報によって演出コンテンツ情報２１２３が仮想空間で表現された照明効果および音響効果を含む演出効果を示す情報であって、ユーザの視覚および聴覚で確認可能な視覚情報および音響情報である。ユーザは演出ＶＲ情報出力装置２２００によって、仮想空間における演出制御情報による演出効果を視覚および聴覚で確認することが可能である。次にＶＲ制御システム２０００はステップＳ５０６に進む。

【0082】

ステップＳ５０６において、ユーザ操作情報入力部２１１４によって入力された入力情報が肯定的であるか否かを演出制御情報生成部２１３４が判定する。ユーザ操作情報入力部２１１４によって入力された入力情報が肯定的である場合（ステップＳ５０６：ＹＥＳ）には、ＶＲ制御システム２０００はステップＳ５０６に進む。ユーザ操作情報入力部２１１４によって入力された入力情報が否定的である場合（ステップＳ５０６：ＮＯ）には、ＶＲ制御システム２０００はステップＳ５１５に進む。

【0083】

ステップＳ５０７において、演出制御情報生成部２１３４は、街空間に演出コンテンツ情報２１２３を再現するように照明・映像機器３２１０および音響機器３２２０を制御するための演出制御情報を現実空間制御システム３０００に出力する。

【0084】

ステップＳ５０８において、現実空間制御部３１２０は、入力された演出制御情報に基づいて、照明・映像機器３２１０および音響機器３２２０の出力情報を制御する。次に、現実空間制御システム３０００はステップＳ５０９に進む。

【0085】

ステップＳ５０９において、機器動作監視部２１３６は、機器動作情報入力部２１１６から入力された照明・映像機器３２１０、音響機器３２２０、および、モニタ機器３３００が正常に動作しているか否かを示す機器動作情報を入力する。そして、機器動作監視部２１３６は、機器が正常に動作しているか否かを判定する。または、現実空間制御部３１２０が、照明・映像機器動作情報、音響機器動作情報、モニタ機器動作情報から照明・映像機器３２１０、音響機器３２２０、および、モニタ機器３３００が正常に動作しているか否かを判定する。照明・映像機器３２１０、音響機器３２２０、および、モニタ機器３３００が正常に動作している場合（ステップＳ５０９：ＹＥＳ）には、演出制御システム１０００はステップＳ５１１に進む。照明・映像機器３２１０、音響機器３２２０、および、モニタ機器３３００が正常に動作していない場合（ステップＳ５０９：ＮＯ）には、演出制御システム１０００はステップＳ５１０に進む。

【0086】

ステップＳ５１０において、照明・映像機器３２１０、音響機器３２２０、および、モニタ機器３３００を修正等し、照明・映像機器３２１０、音響機器３２２０、および、モニタ機器３３００を正常に動作させる。

【0087】

ステップＳ５１１において、モニタ機器３３００は、照明・映像機器３２１０および音響機器３２２０によって演出された現実空間である街空間の視覚情報および音響情報をモニタし、モニタ情報をＶＲ制御システム２０００に出力する。

【0088】

ステップＳ５１２において、ＶＲ制御システム２０００に接続された現実空間情報出力装置２３００が照明・映像機器３２１０および音響機器３２２０によって演出された現実空間である街空間の視覚情報および音響情報を出力する。

【0089】

ステップＳ５１３において、ユーザ操作情報入力部２１１４によって入力された入力情報が肯定的であるか否かを演出制御情報生成部２１３４が判定する。ユーザ操作情報入力部２１１４によって入力された入力情報が肯定的である場合（ステップＳ５１３：ＹＥＳ）には、ＶＲ制御システム２０００はステップＳ５１４に進む。ユーザ操作情報入力部２１１４によって入力された入力情報が否定的である場合（ステップＳ５１３：ＮＯ）には、ＶＲ制御システム２０００はステップＳ５１５に進む。

【0090】

ステップＳ５１４において、演出制御システム１０００はステップＳ５１３において肯定的な評価がなされた演出コンテンツ情報２１２３および演出機器３２００に関する情報をユーザに表示装置を用いて提示する。表示装置は任意の装置を用いることができる。

【0091】

ステップＳ５１５において、ユーザ操作情報入力部２１１４によって入力された入力情報が演出コンテンツの入れ替えを指示するものであるか否かを演出制御情報生成部２１３４が判定する。ユーザ操作情報入力部２１１４によって入力された入力情報が演出コンテンツの入れ替えを指示するものである場合（ステップＳ５１５：ＹＥＳ）には、ＶＲ制御システム２０００はステップＳ５１７に進む。ユーザ操作情報入力部２１１４によって入力された入力情報が演出コンテンツの入れ替えを指示するものではない場合（ステップＳ５１５：ＮＯ）には、ＶＲ制御システム２０００はステップＳ５１６に進む。

【0092】

ステップＳ５１６において、ユーザ操作情報入力部２１１４によって入力された入力情報に基づいて、照明・映像機器３２１０および音響機器３２２０の出力情報の一部を変化させ演出制御情報を変化させる。変化した演出制御情報による演出効果を演出ＶＲ情報出力装置に出力する。演出制御情報生成部２１３４は、変化した演出制御情報に基づいて新たな演出コンテンツ情報２１２３を生成し、ＶＲ記憶部２１２０に記憶する。

【0093】

ステップＳ５１７において、ユーザ操作情報入力部２１１４によって入力された入力情報が新たな演出機器３２００を必要とするものであるか否かを演出制御情報生成部２１３４が判定する。ユーザ操作情報入力部２１１４によって入力された入力情報が新たな演出機器３２００を必要とするものである場合（ステップＳ５１７：ＹＥＳ）には、ＶＲ制御システム２０００はステップＳ５０２に進む。ユーザ操作情報入力部２１１４によって入力された入力情報が新たな演出機器３２００を必要とするものではない場合（ステップＳ５１７：ＮＯ）には、ＶＲ制御システム２０００はステップＳ５０３に進む。

【0094】

以上説明したように、ユーザは演出コンテンツ情報２１２３に基づいて生成された制御情報によって仮想空間で演出効果が反映された仮想現実を視聴し、街づくりやイベントに合致した演出コンテンツであるか否かを確認することができる。そして、ユーザの想定した演出コンテンツである場合には、リアルタイムで照明制御等を現実空間へ反映することができる。さらに、現実空間における演出効果と、仮想現実における演出効果を比較し、ユーザの想定した演出コンテンツであることが確認できた場合には、当該演出コンテンツおよび照明・映像機器等の機材をユーザに即座に提案することが可能となる。

【0095】

すなわち、仮想現実における照明等の制御を事前検証し、リアルタイムで遠隔地にある現実空間へ当該制御を反映し、ユーザがモニタされた現実空間の照明効果等を仮想現実と比較してさらに事前検証し、演出コンテンツの良否を容易に判断できる。

【0096】

（変形例）
図６に演出制御システム１０００ａの変形例の一例を示す。図６に示す演出制御システム１０００ａは、１つのＶＲ制御システム２０００ａと現実空間制御システム３０００ａ、現実空間制御システム３０００ｂ、現実空間制御システム３０００ｃを含む。なお、現実空間制御システム３０００の個数は任意の個数とすることができる。例えば、クラウド４０００に接続される現実空間制御システム３０００は一つであってもよい。現実空間制御システム３０００ａは街空間ａの照明・映像機器および音響機器を制御し、現実空間制御システム３０００ｂは街空間ｂの照明・映像機器および音響機器を制御する。現実空間制御システム３０００ｃは街空間ｃの照明・映像機器および音響機器を制御する。また、ＶＲ制御システム２０００ａと現実空間制御システム３０００ａ、現実空間制御システム３０００ｂ、現実空間制御システム３０００ｃとはクラウド４０００によって接続されているとする。

【0097】

１つのＶＲ制御システム２０００ａで複数の街空間または広大な街空間の仮想現実をシミュレートし、複数の街空間の照明・映像機器および音響機器を制御することは負荷が非常に重くなり、実行速度が現実的ではない場合が想定される。また、膨大な記憶容量が必要になる場合が想定される。

【0098】

そこで、上記問題を解決するために、ＶＲ制御システム２０００ａはＶＲ制御システム２０００のＶＲ記憶部２１２０の全部または一部の機能をクラウド４０００に持たせることができる。また、ＶＲ制御システム２０００ａはＶＲ制御システム２０００のＶＲ制御部２１３０の全部または一部の機能をクラウド４０００に持たせることができる。

【0099】

例えば、すべての街空間の現実空間構成要素情報２１２１を記憶するためには、膨大な記憶容量が必要になることが想定されるために、ＶＲ制御システム２０００ａではクラウド４０００に現実空間構成要素情報２１２１の全部または一部の情報を記憶する。

【0100】

また、例えば、街空間が広大な領域になった場合には、仮想空間生成部２１３２、演出ＶＲ情報生成部２１３３の演算量は膨大なものとなる。そのために、ＶＲ制御システム２０００ａではクラウド４０００に仮想空間生成部２１３２、演出ＶＲ情報生成部２１３３の全部または一部の機能を代替させることができる。同様に、ＶＲ制御システム２０００ａではクラウド４０００に演出制御情報生成部２１３４の全部または一部の機能を代替させることができる。

【0101】

以上説明したように、ＶＲ制御システムと現実空間制御システムとの間にクラウドを存在させることによって、街空間のエリアが広大になった場合、街空間が複数になった場合等に、本実施形態の演出制御システムを導入することが可能になる。

【0102】

さらに、ＶＲ制御システムと現実空間制御システムとの間にクラウドを存在させることによって、ＶＲ制御システムを現実空間制御システムが配置されている地域とは別の遠隔の地域に配置することが可能になる。例えば、ＶＲ制御システムを現実空間制御システムが演出する街空間とは遠隔にあるオフィスビルに配置することで、人間が街空間とは異なる空間に居ながら、すべての作業を完結させることが可能になる。

【0103】

以下に、本実施形態の演出制御システム、および、演出制御プランを提示する方法の特徴について記載する。

【0104】

（１） 演出制御システム１０００は以下の構成を有することが好ましい。
演出制御システム１０００はＶＲ制御システム２０００および現実空間制御システム３０００を含むことが好ましい。
ＶＲ制御システム２０００は以下の構成を有することが好ましい。
（ｉ） モデリングされた、現実空間の構成要素情報を使用して、仮想空間を生成する仮想空間生成部２１３２を含むことが好ましい。
（ｉｉ） 現実空間に設置された演出機器３２００の出力情報を制御する演出制御情報によって、仮想空間および現実空間を演出するためのイメージおよび／またはサウンドを示す演出コンテンツ情報２１２３を入力する演出コンテンツ情報入力部２１１３を含む。
（ｉｉｉ） 演出コンテンツ情報２１２３によって演出された仮想空間の状況を表現する演出ＶＲ情報を出力する演出ＶＲ情報出力装置２２００を含むことが好ましい。
（ｉｖ） 演出ＶＲ情報を生成するために使用される、演出機器３２００を制御するための演出制御情報を生成し、演出制御情報を出力する演出制御情報生成部２１３４を含むことが好ましい。
現実空間制御システム３０００は以下の構成を有することが好ましい。
（ｖ） 演出制御情報に基づいて演出機器３２００を制御し、現実空間を演出する現実空間制御部３１２０を含むことが好ましい。
（ｖｉ） 現実空間に設置された演出機器３２００を含むことが好ましい。

【0105】

本開示によれば、仮想現実における照明制御等をリアルタイムで現実空間へ反映することを簡易に可能にし、ユーザが現実空間の照明効果等を仮想現実と比較して確認することで、シミュレーションの良否を容易に判定することが可能となる。

【0106】

（２） 演出機器３２００は、照明・映像機器３２１０を含み、演出は照明・映像機器３２１０から放射される光によって実現されることが好ましい。

【0107】

本開示によれば、演出コンテンツ情報２１２３を、視覚的に街空間を演出する情報とすることが可能になる。

【0108】

（３） 照明・映像機器３２１０は複数あり、現実空間制御部３１２０は複数の照明・映像機器３２１０から照射される光を制御することが好ましい。

【0109】

本開示によれば、視覚的に街空間を演出するためにプロジェクションマッピングやイルミネーションによる景観を生成することが可能になる。

【0110】

（４） 演出機器３２００は、音響機器３２２０を含み、演出は照明・映像機器３２１０から放射される光および音響機器３２２０から放音される音響によって実現されることが好ましい。

【0111】

本開示によれば、視覚的に街空間を演出するばかりではなく、聴覚的にも街空間を演出することが可能になるので、演出を体感するユーザに効果的な演出コンテンツ情報２１２３を提供することが可能になる。

【0112】

（５） 演出制御情報生成部２１３４は、演出ＶＲ情報に対する肯定的な入力情報が入力されると演出制御情報を出力することが好ましい。

【0113】

本開示によれば、演出ＶＲ情報の視聴によって、仮想空間における演出効果が、ユーザが意図した街づくりやイベント等のコンセプトに合致しているとユーザが判断すれば、リアルタイムに演出制御情報を、現実空間を制御するために出力することが可能になる。

【0114】

（６） 演出制御システム１０００は以下の構成をさらに有することが好ましい。
（ｖｉｉ） 現実空間制御システム３０００は、演出された現実空間をモニタしたモニタ情報を出力するモニタ機器３３００をさらに含むことが好ましい。
（ｖｉｉｉ） ＶＲ制御システム２０００は、モニタ情報を現実空間情報として出力する現実空間情報出力装置２３００をさらに含むことが好ましい。
演出制御情報生成部２１３４は、現実空間情報と演出ＶＲ情報との差異に関連する新たな演出制御情報を生成することが好ましい。
演出ＶＲ情報出力装置２２００は新たな演出制御情報に関連する新たな演出ＶＲ情報を出力することが好ましい。
現実空間制御部３１２０は新たな演出制御情報に基づいて演出機器３２００を制御し、現実空間を演出することが好ましい。

【0115】

本開示によれば、演出ＶＲ情報がユーザのコンセプトに合致していても、現実空間における演出効果が演出ＶＲ情報による演出効果とは異なり、ユーザのコンセプトに合致していない場合に、新たな演出ＶＲ情報を生成することが可能になる。さらに、本開示によれば、新たな演出ＶＲ情報に対応する演出制御情報によって、現実空間における演出効果をリアルタイムで確認することが可能になる。

【0116】

（７） 演出制御システム１０００は以下の構成をさらに有することが好ましい。
（ｉｘ） ＶＲ制御システム２０００は、現実空間情報と演出ＶＲ情報との差異に関連するユーザ操作情報が入力されるユーザ操作情報入力部２１１４をさらに含むことが好ましい。
演出制御情報生成部２１３４は、ユーザ操作情報に関連する新たな演出制御情報を生成することが好ましい。

【0117】

本開示によれば、現実空間における演出効果が演出ＶＲ情報による演出効果とは異なり、ユーザのコンセプトに合致していない場合に、ユーザはＶＲ制御システム２０００においてユーザ操作情報を生成し、新たな演出制御情報を生成することが可能になる。

【0118】

（８） モニタ機器３３００は、モニタ角度を変更可能であり、および、演出機器３２００が設置されている街空間において移動可能である。モニタ機器３３００は、ＶＲ制御システム２０００に含まれるユーザ操作情報入力部２１１４によって変更制御および移動制御されることが好ましい。

【0119】

本開示によれば、仮想空間における演出効果をさまざまな方向および位置から確認できるだけではなく、現実空間においても現実空間の演出効果をさまざまな方向および位置から確認することが可能になる。

【0120】

（９） モニタ機器３３００および演出機器３２００は動作情報を出力し、現実空間制御システム３０００またはＶＲ制御システム２０００において、動作情報からモニタ機器３３００および演出機器３２００が正常に動作しているか否かを判定することが好ましい。

【0121】

本開示によれば、現実空間における演出効果が、ユーザが仮想空間において確認した演出効果と異なる場合に、モニタ機器３３００または演出機器３２００が正常に動作していないことに起因するか否かを確認することが可能になる。また、現実空間における演出が正常に継続されているか否かを確認することが可能になる。

【0122】

（１０） 演出制御システム１０００はＶＲ制御システム２０００と現実空間制御システム３０００との間にクラウド４０００を含む。クラウド４０００はＶＲ制御システム２０００および現実空間制御システム３０００の少なくとも一部の機能を実行することが好ましい。

【0123】

本開示によれば、ＶＲ制御システム２０００を現実空間制御システム３０００とは離れた遠隔の地に配置することが可能になり、ユーザは演出機器３２００が配置されている街空間に赴くことなく、シミュレーションとその結果を確認、修正することが可能になる。

【0124】

（１１） クラウド４０００に接続される現実空間制御システム３０００は複数であることが好ましい。
（１２） クラウド４０００に接続される現実空間制御システムが制御する街空間は、クラウド４０００とは未接続の現実空間制御システム３０００が制御する街空間よりもエリアが広いことが好ましい。

【0125】

本開示によれば、クラウド４０００を配置することで、広大な街空間をＶＲ制御システム２０００で制御することが可能になり、広大な領域の街つくりを遠隔地において簡易にシミュレーションし、現実空間の演出効果を容易に確認することが可能になる。

【0126】

（１３） ＶＲ制御システム２０００は、演出機器３２００が設置されている街空間から物理的に離れた遠隔の現実空間に設置されることが好ましい。

【0127】

本開示によれば、ＶＲ制御システム２０００を現実空間制御システム３０００とは離れた遠隔の地に配置することが可能になり、ユーザは演出機器３２００が配置されている街空間に赴くことなく、シミュレーションとその結果を確認、修正することが可能になる。

【0128】

（１４） 演出ＶＲ情報出力装置２２００は、ディスプレイ装置、ＨＭＤ装置のいずれかであることが好ましい。

【0129】

本開示によれば、演出ＶＲ情報はパソコンの画面で確認することが可能になり、特別な電子機器を用意することなく、仮想空間の演出効果を確認し、修正することが可能になる。また、演出ＶＲ情報はＨＭＤ装置で確認することが可能になり、ユーザはあたかも自分が現実の街空間にいるように感じながら、仮想空間の演出効果を確認し、修正することが可能になる。

【0130】

（１５） 演出ＶＲ情報出力装置２２００には、演出機器３２００の出力情報を変化させるための制御情報が出力されることが好ましい。ユーザ操作情報入力部２１１４から入力されるユーザ操作情報によって、制御情報が変化すると、演出機器３２００の変化した出力情報が反映された新たな演出ＶＲ情報が演出ＶＲ情報出力装置２２００に出力されることが好ましい。

【0131】

本開示によれば、演出機器３２００の出力情報を変化させるための制御情報が演出ＶＲ情報出力装置２２００に表示されるので、ユーザは容易に演出コンテンツ情報２１２３を変更することが可能になり、ユーザインターフェース機能を向上させることが可能になる。

【0132】

（１６）現実空間である街空間を演出するユーザに、演出制御システム１０００によって街空間を演出するための演出制御プランを提示する方法が開示される。
演出制御プランを提示する方法は以下のステップを含む。
（ｉ）第１のステップは、モデリングされた、現実空間の構成要素情報を使用して、仮想空間を生成するステップである。
（ｉｉ）第２のステップは、現実空間に設置された演出機器３２００の出力情報を制御する演出制御情報によって、仮想空間および現実空間を演出するためのイメージおよび／またはサウンドを示す演出コンテンツ情報２１２３を入力するステップである。
（ｉｉｉ）第３のステップは、演出コンテンツ情報２１２３によって演出された仮想空間の状況を表現する演出ＶＲ情報を出力するステップである。
（ｉｖ）第４のステップは、演出ＶＲ情報に対する肯定的な入力情報に対応して、演出ＶＲ情報を生成するために使用される、演出機器３２００を制御するための演出制御情報を出力するステップである。
（ｖ）第５のステップは、演出制御情報に基づいて演出機器３２００を制御し、現実空間を演出するステップである。
（ｖｉ）第６のステップは、演出された現実空間をモニタしたモニタ情報を出力するステップである。
（ｖｉｉ）第７のステップは、モニタ情報に対する肯定的な入力情報に対応して、演出コンテンツ情報２１２３および演出機器３２００を含む演出制御プランを提示するステップである。

【0133】

本開示によれば、仮想現実における照明制御等をリアルタイムで現実空間へ反映することを簡易に可能にし、ユーザが現実空間の照明効果等を仮想現実と比較して確認することで、シミュレーションの良否を容易に判定することが可能となる。

【0134】

以上、本実施形態を説明したが、本実施形態はこれらに限定されるものではなく、本実施形態の要旨の範囲内で種々の変形が可能である。また、さまざまな実施形態の一部または全部を組み合わせて新たな実施形態とすることも可能である。

【符号の説明】

【0135】

１０００ 演出制御システム
２０００ ＶＲ制御システム
２１００ ＶＲ制御装置
２１１０ ＶＲ入力部
２１１１ 現実空間構成要素情報入力部
２１１２ 演出機器情報入力部
２１１３ 演出コンテンツ情報入力部
２１１４ ユーザ操作情報入力部
２１１５ モニタ情報入力部
２１１６ 機器動作情報入力部
２１２０ ＶＲ記憶部
２１３０ ＶＲ制御部
２１３１ モデリング部
２１３２ 仮想空間生成部
２１３３ 演出ＶＲ情報生成部
２１３４ 演出制御情報生成部
２１３５ モニタ制御部
２１３６ 機器動作監視部
２１４０ ＶＲ出力部
２１４１ 演出ＶＲ情報出力部
２１４２ 演出制御情報出力部
２１４３ モニタ制御情報出力部
２１４４ 現実空間情報出力部
２１４５ 監視情報出力部
２２００ 演出ＶＲ情報出力装置
２３００ 現実空間情報出力装置
２４００ 監視情報出力装置
３０００ 現実空間制御システム
３１００ 現実空間制御装置
３１１０ 現実空間制御入力部
３１１１ 演出制御情報入力部
３１１２ モニタ制御情報入力部
３１２０ 現実空間制御部
３１３０ 現実空間Ｉ／Ｆ部
３１３１ 照明・映像機器Ｉ／Ｆ部
３１３２ 音響機器Ｉ／Ｆ部
３１３３ モニタ機器Ｉ／Ｆ部
３１４０ 現実空間出力部
３１４１ モニタ情報出力部
３１４２ 機器動作情報出力部
３２００ 演出機器
３２１０ 照明・映像機器
３２２０ 音響機器
３３００ モニタ機器

【図1】

【図2】

【図3】

【図4】

【図5A】

【図5B】

【図6】