(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-07-07
(45)【発行日】2023-07-18
(54)【発明の名称】ホール用表示システム及びこれを用いて行うイベントの実施方法
(51)【国際特許分類】
A63J 1/02 20060101AFI20230710BHJP
A63J 5/02 20060101ALI20230710BHJP
A63J 25/00 20090101ALI20230710BHJP
G09F 19/12 20060101ALI20230710BHJP
G06T 13/40 20110101ALI20230710BHJP
H04N 5/262 20060101ALI20230710BHJP
G09G 5/00 20060101ALI20230710BHJP
G03B 21/14 20060101ALI20230710BHJP
H04N 7/18 20060101ALI20230710BHJP
【FI】
A63J1/02
A63J5/02
A63J25/00
G09F19/12 L
G06T13/40
H04N5/262
G09G5/00 510A
G09G5/00 510V
G09G5/00 550C
G09G5/00 550B
G03B21/14 Z
H04N7/18 U
(21)【出願番号】P 2019146479
(22)【出願日】2019-08-08
【審査請求日】2022-07-29
(31)【優先権主張番号】P 2018150795
(32)【優先日】2018-08-09
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】399064249
【氏名又は名称】株式会社ユークス
(74)【代理人】
【識別番号】100102048
【氏名又は名称】北村 光司
(74)【代理人】
【識別番号】100146503
【氏名又は名称】高尾 俊雄
(72)【発明者】
【氏名】平野 晶麗
(72)【発明者】
【氏名】堂前 崇
【審査官】関口 英樹
(56)【参考文献】
【文献】特開2017-083551(JP,A)
【文献】特開2011-053276(JP,A)
【文献】国際公開第2015/151766(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
A63J1/00-99/00
A63K1/00-99/00
G06T1/00
11/60-13/80
17/05
19/00-19/20
G09F19/00-27/00
G09G5/00-5/36
5/377-5/42
H04N5/262-5/28
7/18
(57)【特許請求の範囲】
【請求項1】
ホールにおいて動作するアニメーションのキャラクターをメインキャラクター映像として表示するメインスクリーンと、
前記メインスクリーンとは別に前記ホール内に配置されてメインスクリーンと異なる映像を表示可能なサブスクリーンと、
前記メインスクリーン及び前記サブスクリーンの映像を生成するコンピュータとを備えたホール用表示システムであって、
前記両スクリーンを見る観客の客席を撮影する第一カメラをさらに有し、
前記キャラクターは身体の一部に映像として表示される第二カメラを有し、
前記第二カメラの仮想視野に入る前記客席の範囲を前記第一カメラによる映像から選択映像として選択し、
前記選択映像を前記サブスクリーンに表示するホール用表示システム。
【請求項2】
前記客席からは見えない場所に、アクターの動作するスペースと、前記アクターの身体に装着するマーカーと、同アクターの動作を前記マーカーによりキャプチャするモーションキャプチャ装置とをさらに備え、
前記コンピュータはキャプチャされたアクターの動作と連動するキャラクタ映像をリアルタイムに生成するレンダリング機能を備えており、
前記第二カメラはこのカメラが表示される近傍に存在する前記アクターのマーカーを基準に映像として生成され、前記仮想視野は当該マーカーを基準に決定される請求項1記載のホール用表示システム。
【請求項3】
前記サブスクリーンには、前記第二カメラの仮想視野の前記客席の映像が表示されるものである請求項1又は2記載のホール用表示システム。
【請求項4】
前記サブスクリーンには、前記第二カメラの仮想視野の前記客席の映像及び前記仮想視野に含まれる前記キャラクターの映像が共に表示されるものである請求項1又は2記載のホール用表示システム。
【請求項5】
前記サブスクリーンに表示される前記客席の映像として前記メインキャラクター映像の表示される基準となる実時刻T0より微小時間Δtだけ遅延した過去時刻(T0-Δt)の映像を用い、前記サブスクリーンの映像は実時刻T0より微小時間Δtだけ遅延した過去時刻(T0-Δt)の映像を用いるものである請求項1~4のいずれかに記載のホール用表示システム。
【請求項6】
前記メインスクリーンは、ステージ上に傾斜配置されホログラム映像を表示するホログラム再生スクリーンと、ステージ背面に配置される背面スクリーンとを備え、これら両スクリーンの合成画像を観客に表示するものである請求項1~5のいずれかに記載のホール用表示システム。
【請求項7】
前記サブスクリーンは、少なくとも前記メインスクリーンの左右及び/または上に配置されている請求項1~6のいずれかに記載のホール用表示システム。
【請求項8】
ホールにおいて動作するアニメーションのキャラクターをメインキャラクター映像として表示するメインスクリーンと、
前記メインスクリーンとは別に前記ホール内に配置されてメインスクリーンと異なる映像を表示可能なサブスクリーンと、
前記メインスクリーン及び前記サブスクリーンの映像を生成するコンピュータとを備えたホール用表示システムを用いて行うイベントの実施方法であって、
前記両スクリーンを見る観客の客席を撮影する第一カメラをさらに有し、
前記キャラクターは身体の一部に映像として表示される第二カメラを有し、
前記第二カメラの仮想視野に入る前記客席の範囲を前記第一カメラによる映像から選択映像として選択し、
前記選択映像を前記サブスクリーンに表示するイベントの実施方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ホール用表示システム及びこれを用いて行うイベントの実施方法に関する。さらに詳しくは、ホールにおいて動作するアニメーションのキャラクターをメインキャラクター映像として表示するメインスクリーンと、前記メインスクリーンとは別に前記ホール内に配置されてメインスクリーンと異なる映像を表示可能なサブスクリーンと、前記メインスクリーン及び前記サブスクリーンの映像を生成するコンピュータとを備えたホール用表示システム及びこれを用いて行うイベントの実施方法に関する。
【背景技術】
【0002】
3D画像を表示するホール用表示システム及びこれを用いて行うイベントの実施方法としては、次の特許文献1の如きものが存在している。この劇場システムでは、メインスクリーンにおいて、ホログラムの前方スクリーンと後方スクリーンの組み合わせで臨場感を得ることを目的としている。一方、近年、さらなる臨場感を求め、メインスクリーンの横にサブスクリーンを設け、例えばキャラクターを異なる角度で表示することで、臨場感を向上させる試みがなされている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
かかる従来の実情に鑑みて、本発明は、さらに臨場感の高まるホール用表示システム及びこれを用いて行うイベントの実施方法を提供することを目的とする。
【課題を解決するための手段】
【0005】
上記目的を達成するため、本発明に係るホール用表示システムの特徴は、ホールにおいて動作するアニメーションのキャラクターをメインキャラクター映像として表示するメインスクリーンと、前記メインスクリーンとは別に前記ホール内に配置されてメインスクリーンと異なる映像を表示可能なサブスクリーンと、前記メインスクリーン及び前記サブスクリーンの映像を生成するコンピュータとを備えた構成において、前記両スクリーンを見る観客の客席を撮影する第一カメラをさらに有し、前記キャラクターは身体の一部に映像として表示される第二カメラを有し、前記第二カメラの仮想視野に入る前記客席の範囲を前記第一カメラによる映像から選択映像として選択し、前記選択映像を前記サブスクリーンに表示することにある。
【0006】
上記特徴構成によれば、観客は、第一カメラにより撮影された客席の映像に映る。一方で、キャラクターは、身体の一部に映像として表示される第二カメラを有する。よって、キャラクターが自身が所持する第二カメラで客席(観客)を撮影する動きをした際に、第二カメラの仮想視野に入る客席の範囲を第一カメラによる映像から選択映像として選択することで、キャラクターがあたかもリアルタイムで客席(観客)を撮影したかの如き映像を生成することができる。そして、その選択映像をサブスクリーンに表示するので、臨場感を向上させることができ、キャラクターと観客との一体感も増す。
【0007】
上記構成において、前記客席からは見えない場所に、アクターの動作するスペースと、前記アクターの身体に装着するマーカーと、同アクターの動作を前記マーカーによりキャプチャするモーションキャプチャ装置とをさらに備え、前記コンピュータはキャプチャされたアクターの動作と連動するキャラクタ映像をリアルタイムに生成するレンダリング機能を備えており、前記第二カメラはこのカメラが表示される近傍に存在する前記アクターのマーカーを基準に映像として生成され、前記仮想視野は当該マーカーを基準に決定されるとよい。これにより、メインキャラクター映像とキャラクターの第二カメラで撮影された選択映像との違いによる違和感を抑えられるので、選択映像のリアリティが増し、臨場感をさらに向上させることができる。
【0008】
上記いずれかの構成において、前記サブスクリーンには、前記第二カメラの仮想視野の前記客席の映像が表示されるものであるとよく、また、前記サブスクリーンには、前記第二カメラの仮想視野の前記客席の映像及び前記仮想視野に含まれる前記キャラクターの映像が共に表示されるもの(所謂、自撮り映像)であってもよい。特に、自撮り映像では、キャラクターと共に観客が映るので、一体感やライブ感が高まる。
【0009】
上記いずれかの構成に加え、前記サブスクリーンに表示される前記客席の映像として前記メインキャラクター映像の表示される基準となる実時刻T0より微小時間Δtだけ遅延した過去時刻(T0-Δt)の映像を用い、前記サブスクリーンの映像は実時刻T0より微小時間Δtだけ遅延した過去時刻(T0-Δt)の映像を用いるものであるとよい。これにより、観客は実時刻T0のメインキャラクター映像と、過去時刻(T0-Δt)の選択映像を同時に見ることとなる。実時刻と過去時刻とを同時に見ると共に、サブスクリーンに遅れた映像が現れることで、中央からサブへと人の注意が移り、その効果によって、空間的な広がり、臨場感をより一層感じるようになる。
【0010】
前記メインスクリーンは、ステージ上に傾斜配置されホログラム映像を表示するホログラム再生スクリーンと、ステージ背面に配置される背面スクリーンとを備え、これら両スクリーンの合成画像を観客に表示するものであるとよい。
【0011】
前記サブスクリーンは、少なくとも前記メインスクリーンの左右及び/または上に配置されているとよい。これにより、左右及び/または左右への広がりを持たせることができる。
【0012】
また、上記目的を達成するため、本発明に係るイベントの実施方法の特徴は、ホールにおいて動作するアニメーションのキャラクターをメインキャラクター映像として表示するメインスクリーンと、前記メインスクリーンとは別に前記ホール内に配置されてメインスクリーンと異なる映像を表示可能なサブスクリーンと、前記メインスクリーン及び前記サブスクリーンの映像を生成するコンピュータとを備えたホール用表示システムを用いて行うイベントの実施方法において、前記両スクリーンを見る観客の客席を撮影する第一カメラをさらに有し、前記キャラクターは身体の一部に映像として表示される第二カメラを有し、前記第二カメラの仮想視野に入る観客席の範囲を前記第一カメラによる映像から選択映像として選択し、前記選択映像を前記サブスクリーンに表示することにある。
【発明の効果】
【0013】
上記本発明に係るホール用表示システム及びこれを用いて行うイベントの実施方法の特徴によれば、さらに臨場感の高まるホール用表示システム及びこれを用いて行うイベントの実施方法を提供しえるに至った。
【0014】
本発明の他の目的、構成及び効果については、以下の発明の実施の形態の項から明らかになるであろう。
【図面の簡単な説明】
【0015】
【
図1】本発明のホールにおける構成を示す斜視図である。
【
図2】ステージ周りの概略の構成を示す側面図である。
【
図4B】サブスクリーンに映し出される撮影映像を示す図である。
【
図4C】サブスクリーンに映し出される自撮り映像を示す図である。
【
図5】メイン、サブスクリーンにおけるキャラクターの姿勢と時間との関係を示す図である。
【
図6A】キャラクターが客席を撮影する場合のアクターの状態を示す図である。
【
図6B】キャラクターが客席を撮影する様子を示す図である。
【
図6C】客席の映像とキャラクターとの撮影画像との関係を示す図である。
【
図7】キャラクターが客席を撮影する場合のフロー図である。
【
図8A】キャラクターが自撮りする場合の
図6A相当図である。
【
図8B】キャラクターが自撮りする場合の
図6B相当図である。
【
図8C】キャラクターの映り込み映像を示す図である。
【
図9】キャラクターが自撮りする場合のフロー図である。
【
図10】ホールにおける構成の第2の実施形態を示す斜視図である。
【
図11】ホールにおける構成の第3の実施形態を示す斜視図である。
【
図12】ホールにおける構成の第4の実施形態を示す斜視図である。
【
図13】(a)はステージ周り概略構成の第5の実施形態を示す側面図、(b)は(a)の平面図である。
【
図14】ステージ周り概略構成の第6の実施形態を示す平面図である。
【
図15】ステージ周り及び客席の概略構成の第7の実施形態を示す平面図である。
【発明を実施するための形態】
【0016】
次に、適宜添付図面を参照しながら、本発明をさらに詳しく説明する。
本発明に係るホール用表示システム1は、
図1~3に示すように、大略、メインスクリーン2、左右一対のサブスクリーン3、実照明器具4、スピーカー6、両スクリーン2,3を見る観客の客席AUの映像を撮影する第一カメラ11、コンピュータ50をホールHまたはその近くに備えている。
【0017】
ホール用表示システム1は、さらに第三カメラ13及びマイク14をホールHとは別室に備えている。第三カメラ13は、客席AUからは見えない隔離スペースSに設置され、身体に複数のマーカーmを装着したアクターACの動作を撮影し、モーションキャプチャモジュールMC51に送る。マイク14は、声優またはボーカリストの声を録音しリップシンクモジュールLS54に送る。
【0018】
ホールHに設置されるメインスクリーン(メインスクリーン装置)2は、ステージSTに斜めに設置されるホログラム再生スクリーン2a、ステージSTの背面に設置される背面スクリーン2b、ホログラム再生スクリーン2aに映像を映すホログラムプロジェクタ2c、背面スクリーン2bに映像を映す背面プロジェクタ2dを備えている。背面スクリーン2bの映像は、ホログラム再生スクリーン2aを透過して、このホログラム再生スクリーン2aの映像と共に合成されて客席AUから見える。
【0019】
一方、各サブスクリーン(サブスクリーン装置)3は、左右の横第一スクリーン3a1及び横第二スクリーン3a2(横スクリーン3a)と、これら両横スクリーン3aにそれぞれ映像を映す第一サブスクリーンプロジェクタ3b1及び第二サブスクリーンプロジェクタ(後者は図示省略、両方併せてサブスクリーンプロジェクタ3b)を備えている。
【0020】
第一カメラ11は、例えば、ホログラム再生スクリーン2a及び背面スクリーン2bよりも客席AUに近い位置で客席AUに対し真正面から相対(正対)して配置(固定)され、客席AU全体が大凡含まれる範囲(視野)を撮影する。客席AUの真正面から客席AU全体を撮影するので、後述する選択映像MSIにおいて、客席AUの映像BSIとの差異や歪みが生じにくくなり、選択映像MSIの違和感も解消される。また、第一カメラ11は大部分の客席AUをカバーするので、選択映像に映らない客席AUの部分(範囲)が減ることで観客の多くに選択映像に映る機会を与えることができ、臨場感及び一体感も増す。第一カメラ11には、例えば広角カメラが用いられる。また、本発明において、キャラクターCHは、第二カメラとしての仮想カメラCAを有し、客席AUを撮影する動作を行う。
【0021】
コンピュータ50は、モーションキャプチャモジュールMC51、リアルタイムレンダリングモジュールRR52、映像合成モジュールIM53、リップシンクモジュールLS54、バックステージイメージ生成モジュールBI55、バーチャルライトイメージ生成モジュールVL56、リアルライトコントローラRC58、音楽生成モジュールSG59、各モジュールの時点合わせの基準となるタイムマネジメントコントローラTM60を備えている。
【0022】
モーションキャプチャモジュールMC51は、第三カメラ13より撮影されたアクターACの動作を分析し、リアルタイムレンダリングモジュールRR52において動作するキャラクターの3D映像を生成する。第三カメラ13は複数台備えられており、アクターACを異なった角度から撮影し、モーションキャプチャーを行う。通常は、正面の第三カメラ13の撮影方向がメインキャラクターを生成する際の基本方向視D1となる。
【0023】
バーチャルライトイメージ生成モジュールVL56はバーチャル空間での照明のイメージ像を作成し、リアルライトコントローラRC58と相まって光の情報をバックステージイメージ生成モジュールBI55とリアルタイムレンダリングモジュールRR52に送り、照明の状態と矛盾しない陰影付きの映像を生成する。実照明光制御部RL61はリアルライトコントローラRC58に制御され、実照明器具4を動作させてホールH内の実照明を行う。
【0024】
第一カメラ11により撮影された客席AUの映像BSIは、映像合成モジュールIM53で仮想カメラCAの仮想視野VSの範囲でトリミング(選択)され、キャラクターCHが撮影した撮影映像MSI1としてサブスクリーンプロジェクタ3bで横スクリーン3aに映される。後述する自撮りの場合、上記と同様にトリミングされた客席AUの映像(後述するサブ背景映像BSI2)は、さらに先のリアルタイムレンダリングモジュールRR52のサブキャラクター映像SIと合成され、キャラクターCHの自撮り映像MSI2としてサブスクリーンプロジェクタ3bで横スクリーン3aに映される。一方、ホログラム再生スクリーン2a、背面スクリーン2bには、リアルタイムレンダリングモジュールRR52の映像が、それぞれホログラムプロジェクタ2c、背面プロジェクタ2dによりメインキャラクター映像MIとして映し出される。
【0025】
リップシンクモジュールLS54はマイク14により録音した声優等の音声を上記メインキャラクター映像に合わせて遅延させる。また、音楽生成モジュールSG59は、BGMや効果音を生成し、これらのBGM等はマイク14の音声と共にサウンドシステム62を通じてスピーカー6によりホールHに流される。
【0026】
図1,5に示すように、メインスクリーン2には、キャラクターCH(髪の毛ありCH-A、髪の毛無しCH-B)が映し出されている。これに対し、左右一対のサブスクリーン3には、
図1,4B,Cに示すように、選択映像MSIとしてキャラクターCH(CH-A,CH-B)が仮想カメラCAで撮影した映像MSI1,MSI2が映し出されている。なお、同図の例は、左右一対のサブスクリーン3に異なる映像を表示させているが、もちろん同じ選択映像MSIを表示させてもよい。
【0027】
メインスクリーン2の映像を詳述すると、
図4Aに示すように、メインキャラクター映像MIは、メインキャラクター本体映像MI1及びメインキャラクターの陰影MI2とよりなる。さらにこれにメイン背景映像BMIが加わり、メイン合成映像MMIができる。
【0028】
一方、
図4Bに示す例では、横第一スクリーン3a1には、キャラクターCHが撮影した客席AUの映像が撮影映像MSI1として映し出されている。また、
図4Cに示す例では、横第二スクリーン3a2には、キャラクターCHが客席AUをバックに自撮りした自撮り映像MSI2が映し出されている。この自撮り映像MSI2において、サブキャラクター映像SIは、サブキャラクター本体映像SI1及びサブキャラクターの陰影SI2よりなる。そして、さらにサブ背景映像(客席AUの映像の一部)BSI2が加わることにより、自撮り映像MSI2ができる。
【0029】
メインスクリーン2におけるメイン合成映像MMIは、基本方向視D1でレンダリングされたキャラクターを利用している。この基本方向視D1は、第三カメラ13の方向視と一致する場合もあれば異なる場合もある。一方、基本方向視D1とは異なる方向視D2は、たとえば第一カメラ11の方向視D3を用いることができる。よって、自撮りしているキャラクターCHはメインスクリーン2では客席AUに対し後ろ向きであるが、サブスクリーン3では前向きとなる。
【0030】
ここで、
図6,7を参照しながら、キャラクターCHの撮影映像MSI1の生成について詳述する。
キャラクターCH(CH-A)が自身の体の前で仮想カメラCAである第二カメラを客席AUに向けた場合、その映像には客席AUのみが写される。この客席AUの映像BSIには、第一カメラ11の映像が用いられる(ステップS11,12)。
【0031】
例えば、キャラクターCH(CH-A)が仮想カメラCAである第二カメラとしてスマートフォンSPを手に持って撮影する場合、
図6A,6Bに示すように、仮想カメラCAの位置(x,y,z)は、仮想カメラCAに最も近いアクターACの腕のマーカーm0の位置(x0,y0,z0)を基準にスマートフォンSP及びキャラクターCHの設定寸法から算出される。アクターACが、実際にスマートフォンを持つ必要はない。そして、カメラCAの位置に仮想視野VSを付与することで、
図6Cに示す如く、第一カメラ11の映像BSIにおけるトリミング範囲TR(TR1)が決定される。トリミング範囲TRは、映像BSIの平面位置情報であるので、x座標(ステージSTの幅(横)方向)及びz座標(鉛直方向)で表される(ステップS13)。そして、この平面位置情報に基づいてトリミングされた映像MSI1(ステップS14)が、サブスクリーン3に表示される(ステップS15)。
【0032】
次に、
図8,9を参照しながら、キャラクターCH(CH-B)の自撮り映像MSI2の生成について詳述する。
キャラクターCHが自身の背中を客席AUに向けて自撮りした場合、その映像には客席AU及びキャラクターCHの体の一部が写される。客席AUの映像としてのサブ背景映像BSI2には、上述と同様に第一カメラ11の映像BSIを
図6Cのトリミング範囲TR(TR2)でトリミング(ステップS11~14)した映像が用いられる。
【0033】
ここで、カメラCAの位置(x’,y’,z’)は、上述と同様に基準マーカーm0’の位置(x0’,y0’,z0’)を基準に算出される(ステップS21)。また、映り込む身体の位置情報は、
図8Cの例では、腕の位置、顔及び身体の位置情報を含み、先のx座標及びz座標にy座標(ステージSTの前後方向)を加えた3次元位置情報である(ステップS22,23)。この位置情報は、アクターACの各マーカーmの位置情報に基づく。そして、これらの3次元位置情報に基づき、仮想カメラCAの仮想視野VSに映り込むキャラクターCHの部分(範囲)が決定され(ステップS24)、当該部分がレンダリング処理され、サブキャラクター映像SIを生成する(ステップS25)。そして、トリミングされたサブ背景映像BSI2とレンダリング処理されたキャラクターCHのサブキャラクター映像SIとが合成された自撮り映像MSI2(ステップS26)が、サブスクリーン3に表示される(ステップS27)。
【0034】
図1において、実照明器具4からは、実照明光L1が客席AU、ステージST並びにキャラクターCHに照射されている。
【0035】
図1,3~5に示すように、メインスクリーン2では実時刻T0のキャラクターCHが映し出されている。これに対し、サブスクリーン3では、微小時間Δtだけ遡った過去時刻(T0-Δt)のキャラクターCHが撮影した映像MSI1,2が映し出されている。これら各スクリーンの映像は、各時刻に合わせた実照明器具4の実照明光L1の情報に基づき陰影や背景が生成される。
【0036】
映像MSI1,2における客席AUの映像BSI1,2も、微小時間Δtだけ遡った過去時刻(T0-Δt)の映像が用いられている。そして、特に、自撮り映像MSI2の場合、サブキャラクター映像SIも過去時刻(T0-Δt)のものを用いているので、照明光の色が異なる等の矛盾も生じなく、観客はとても自然な感覚をもってサブスクリーン3の映像を受け入れるため、臨場感が自然に認識されることとなる。
図5の例では、実時刻(T0)のキャラクターCHは、過去時刻(T0-Δt)での自撮りの姿勢から客席AUに身体を向ける途中の体勢であり、図中の破線の円で囲まれたキャラクターCHがスクリーンに映し出される。
【0037】
ところで、客席AUの映像BSI1,2は、ハードウエアの性能上、微小時間Δtの遅延を生じる可能性がある。自撮り映像MSI2の場合、ハードウエアの性能に合わせて、サブキャラクター映像SIも微小時間Δtだけ遡った過去の映像を用いても良く、微小時間Δtをハードウエアの遅延の映像合成モジュールIM53のソフトウエア遅延とで調整してもよい。微小時間Δtは望ましくは0.1秒~0.5秒とすると好適に実施可能である。0.1秒以上あれば映像の違いを認識でき、0.5秒を超えると不自然に感じられるからである。
【0038】
メインスクリーン2には、メインキャラクター本体映像MI1、メインキャラクターの陰影MI2及びメイン背景映像BMIが合成されて表示される。これらの要素は、ホログラム再生スクリーン2a、背面スクリーン2bに次のような組み合わせで表示されうる。
ケース1)ホログラム再生スクリーン2a;メインキャラクター本体映像MI1、背面スクリーン2b;メインキャラクターの陰影MI2及びメイン背景映像BMI
ケース2)ホログラム再生スクリーン2a;メインキャラクター本体映像MI1及びメインキャラクターの陰影MI2、背面スクリーン2b;メイン背景映像BMI
ケース3)ホログラム再生スクリーン2a;メインキャラクター本体映像MI1、メインキャラクターの陰影MI2及びメイン背景映像BMIの一部(BMI1)、背面スクリーン2b;メイン背景映像BMIの残余(BMI2)
これらの映像のスクリーン割り付けは適宜必要に応じて採用される。
【0039】
なお、上記では、アクターACの動作するスペースやモーションキャプチャ装置を設けた。しかし、
図3に示すように、上記イベントの実施の映像、音響、照明等のコントロールを全てレコーディングモジュールRS57に記録し、これを再生させることによりイベントを実施してもよい。
【0040】
さらに、レコーディングモジュールRS57に記録された自撮り映像MSI2等の選択映像を、例えば、客席AUの観客の携帯端末等に送信(配信)したり、SNS(ソーシャル・ネットワーキング・サービス:Social Networking Service)等のネットワーク上にリアルタイムで投稿(発信)するようにしてもよい。これにより、客席AUにいる観客以外のファンとも一体感が得られる。
【0041】
次に、本発明の別実施形態について説明する。上記第一実施形態と同様の部材には同一の符号を附してある。
上記実施形態において、仮想カメラCAをスマートフォンSPとしたが、これに限られるものではなく、各種の撮影機器でも同様に適用可能である。また、スマートフォンSPを手に持つ例を示したが、キャラクターCHの他の部位でもよく、さらに自撮り棒等の他の撮影道具を用いる撮影手法でも構わない。
【0042】
上記実施形態において、第一カメラ11を客席AUとステージSTの間に配置した。しかし、客席AU全体をほぼ網羅して撮影できるのであれば、第一カメラ11の位置はこれに限られない。例えば、メインスクリーン2(ホログラム再生スクリーン2a)の上方又は後方で客席AUの真正面から客席AU全体を撮影するように第一カメラ11を固定してもよい。この位置であれば、第一カメラ11の位置とメインスクリーン2に映し出されるキャラクターCHの位置が客席AUに対しほぼ同じとなるので、自撮り映像MSI2のリアリティが増す。但し、第一カメラ11にメインスクリーン2に映し出されるキャラクターCHが映り込まないようにしなければならない。
【0043】
上記実施形態では、サブスクリーン3として、左右一対の横スクリーン3a(3a1,3a2)を設けたが、
図10の如く、さらにメインスクリーン2の上の上スクリーン3cを追加して設けてもよい。この例では、
図6cのトリミング範囲TR3の映像が用いられる。また、
図11の如く、左右一対の横スクリーン3a(3a1,3a2)を設けずに、左右一対の上スクリーン3c(3c1,3c2)を設けてもよい。なお、これら上スクリーン3cには、それぞれ対応するプロジェクタが設けられるが、図示省略し、以下同様とする。
【0044】
上記実施形態では、メインスクリーン2に映すメイン合成映像MMIに実時刻T0のもの、左右のサブスクリーンに映す選択映像MSIに過去時刻(T0-Δt)のものを用い、スクリーン間の時刻の違いを二段階とした。しかし、3つのスクリーン間の時間を3段階に変えても良い。例えば、メインスクリーン2に実時刻、一方のサブスクリーン3に未来時刻、他法のサブスクリーン3に過去時刻を用いたり、現在、過去、さらに過去等、複数の時刻のものを用いても良い。スクリーンの数と時刻の切り替えは3以上の複数であってもよい。
【0045】
図12の別実施形態では、左右一対の横スクリーン3a(3a1,3a2)のほかに、左右一対の上スクリーン3c(3c1,3c2)を設けている。そして、左右一対の上スクリーン3c(3c1,3c2)には時刻T0-2Δtの過去の映像(MSI1’,MSI2’)を、左右一対の横スクリーン3a(3a1,3a2)には時刻T0-Δtの過去の映像(MSI1,MSI2)を映している。その他、上記の横スクリーン3aと上スクリーン3cの時刻をこれらと逆にしたり、全てのサブスクリーンを同じ時刻にする他、サブスクリーンの時刻を適宜変化させて選択することができる。
【0046】
図13の別実施形態では、ステージST上に上述のメインスクリーン2及びサブスクリーン3が背中合わせでさらに1対設けられている。例えば、ホログラム再生スクリーン2aは、符合2aa,2abと表示されるように、符合の最後のアルファベットがaの第1の組とbの第2の組の部材をそれぞれ設けている。また、左右一対の第1横スクリーン3aa(3a1a,3a2a)、左右一対の第2横スクリーン3ab(3a1b,3a2b)には、それぞれ横スクリーンを上下左右に移動させるスクリーン駆動装置70を設け、音と映像に合わせて、サブスクリーン3aを上下及び左右に移動させる。
【0047】
図14の別実施形態では、ステージST上に上述のメインスクリーン2及びサブスクリーン3(3cのみ)が背中合わせで90度ずつ変移させて4組設けられている。第1~第4の組において、符合の最後のアルファベットをa~dにより各組を識別している。これらの配置では、周囲360度の範囲から観客はスクリーン2,3を見ることができ、例えば、アリーナの中央にこれらのステージSTを設けることで、より多くの観客をメインスクリーン2に近い位置に着席させることが可能となる。この場合、第1~第4の組において、同じ時刻の映像を映す他、第1~第4の組において、時刻をずらせた映像を映しても構わない。
【0048】
図15の別実施形態では、ステージSTの横に設けられた左右一対の第1横スクリーン3a(3a1,3a2)に加え、観客席80に近づくように左右一対の第2横スクリーン3ax(3a1x,3a2x)、第3横スクリーン3ay(3a1y,3a2y)を順次設けても構わない。これら各横スクリーンの映像の時刻は上述の組み合わせに従い適宜変更することができる。
【産業上の利用可能性】
【0049】
本発明は、バーチャルキャラクターによるコンサートやイベント等に用いることの可能なホール用表示システム及びこれを用いて行うイベントの実施方法として利用することができる。ホールは屋外も含まれ、ステージ上にスクリーンが設置できればよい。
【符号の説明】
【0050】
AU:客席、CH(CH-A、CH-B、CH-C):キャラクター、H:ホール、ST:ステージ、AC:アクター、S:隔離スペース、D1:基本方向視、D2:基本方向視とは異なる方向視、D3:第一カメラの方向視、MI(MIa,MIb):メインキャラクター映像、MI1:メインキャラクター本体映像、MI2:メインキャラクターの陰影、BMI:メイン背景映像、MMI:メイン合成映像、SI:サブキャラクター映像、SI1:サブキャラクター本体映像、SI2:サブキャラクターの陰影、BSI:客席映像、MSI(MSI1,MSI2,MSI1’,MSI2’):選択映像、MSI1:撮影映像、MSI2:自撮り映像、L1:実照明光、T0:実時刻、Δt:微小時間、T0-Δt:過去時刻、m0:基準マーカー、m:マーカー、VS:仮想視野、CA:仮想カメラ(第二カメラ)、TR:トリミング範囲、1:ホール用表示システム、2:メインスクリーン、2a:ホログラム再生スクリーン、2b:背面スクリーン、2c:ホログラムプロジェクタ、2d:背面プロジェクタ、3:サブスクリーン、3a:横スクリーン、3a1:横第一スクリーン、3a2:横第二スクリーン、3b:サブスクリーンプロジェクタ、3b1:第一サブスクリーンプロジェクタ、4:実照明器具、6:スピーカー、11:第一カメラ、13:第三カメラ、14:マイク、50:コンピュータ、MC51:モーションキャプチャモジュール、RR52:リアルタイムレンダリングモジュール、IM53:映像合成モジュール、LS54:リップシンクモジュール、BI55:バックステージイメージ生成モジュール、VL56:バーチャルライトイメージ生成モジュール、VS(VS1,VS2,VS3):仮想視野、RS57:レコーディングモジュール、RC58:リアルライトコントローラ、SG59:音楽生成モジュール、TM60:タイムマネジメントコントローラ、RL61:実照明光制御部、62:サウンドシステム