(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-01-20
(45)【発行日】2022-01-28
(54)【発明の名称】ホール用表示システム及びこれを用いて行うイベントの実施方法
(51)【国際特許分類】
A63J 99/00 20090101AFI20220121BHJP
G03H 1/22 20060101ALI20220121BHJP
H04N 5/74 20060101ALI20220121BHJP
G09F 19/18 20060101ALI20220121BHJP
A63F 7/02 20060101ALI20220121BHJP
G09G 5/00 20060101ALI20220121BHJP
G09G 5/377 20060101ALI20220121BHJP
G09G 5/36 20060101ALI20220121BHJP
【ＦＩ】
A63J99/00
G03H1/22
H04N5/74 Z
G09F19/18 Z
A63F7/02 304D
G09G5/00 510B
G09G5/00 550C
G09G5/36 520L
G09G5/36 510M
G09G5/36 520D
【請求項の数】
9
(21)【出願番号】P 2017250184
(22)【出願日】2017-12-26
(65)【公開番号】P2019115408
(43)【公開日】2019-07-18
【審査請求日】2020-12-11
【新規性喪失の例外の表示】特許法第３０条第２項適用 ライブイベント「セカンドアライブ」（ディファ有明（東京都江東区有明１－３－２５）で公開 平成２９年７月２２日～２３日
【新規性喪失の例外の表示】特許法第３０条第２項適用 ライブイベント「ＲＥＷＩＮＤＩＩ」（ＤＭＭ ＶＲ ＴＨＥＡＴＥＲ ＹＯＫＯＨＡＭＡ（神奈川県横浜市西区南幸２丁目１－５）で公開 平成２９年１１月３日～５日
(73)【特許権者】
【識別番号】399064249
【氏名又は名称】株式会社ユークス
(74)【代理人】
【識別番号】100102048
【弁理士】
【氏名又は名称】北村 光司
(74)【代理人】
【識別番号】100146503
【弁理士】
【氏名又は名称】高尾 俊雄
(74)【代理人】
【識別番号】100203068
【氏名又は名称】浅尾 遼
(72)【発明者】
【氏名】平野 晶麗
【審査官】早川 貴之
(56)【参考文献】
【文献】特表２００３－５３３２３５（ＪＰ，Ａ）
【文献】特開２００８－２７１２３７（ＪＰ，Ａ）
【文献】特開平１０－０４９１３４（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ６３Ｆ ７／０２
Ａ６３Ｊ １／００－９９／００
Ａ６３Ｋ １／００－９９／００
Ｇ０９Ｆ １９／００－２７／００
Ｇ０９Ｇ ５／００－５／３６
５／３７７－５／４２
(57)【特許請求の範囲】
【請求項1】
ホールにおいて動作するアニメーションのキャラクターを陰影付きで基本方向視の映像（以下「メインキャラクター映像」という）として表示するメインスクリーンと、前記メインスクリーンとは別に前記ホール内に配置されて前記キャラクターを陰影付きで前記基本方向視とは異なる方向視の映像（以下「サブキャラクター映像」という）として表示可能なサブスクリーンと、前記キャラクター及びこのキャラクターの陰影の映像を生成するコンピュータとを備えたホール用表示システムであって、ホール内を実照明光で照らす実照明器具と前記コンピュータ内において仮想照明光を生成し前記スクリーンに表示する仮想照明器具とをさらに備え、
前記陰影は前記キャラクター及び前記両照明器具で前記キャラクターに照射された照明光と前記コンピュータにより関連付けられて生成されるものであり、
観客席を撮影可能なカメラを備え、前記コンピュータは撮影された観客席の映像と前記カメラの方向視の映像として生成された前記サブキャラクター映像（以下「観客席方向視サブキャラクター映像」という）とを合成して前記サブスクリーンに表示するものであり、
前記サブスクリーンに表示される前記観客席の映像として前記メインキャラクター映像の表示される基準となる実時刻Ｔ０より微小時間Δｔだけ遅延した過去時刻（Ｔ０－Δｔ）の映像を用い、
前記観客席方向視サブキャラクター映像は実時刻Ｔ０より微小時間Δｔだけ遅延した過去時刻（Ｔ０－Δｔ）の映像を用いるものであるホール用表示システム。
【請求項2】
前記微小時間Δｔが０．１秒～０．５秒である請求項１記載のホール用表示システム。
【請求項3】
前記コンピュータは前記両照明器具のいずれか又は前記両照明器具双方の照明光が少なくとも前記サブスクリーンの方向に直接照射されて前記サブスクリーン並びに前記メインスクリーン若しくはこれら両スクリーン以外の部分または前記メインスクリーン及びこれら両スクリーン以外の部分に映り込む照明の映像を前記実時刻Ｔ０に同期させるものである請求項１または２記載のホール用表示システム。
【請求項4】
前記両照明器具の照明光は結像しない光または結像する映像を含むものである請求項３記載のホール用表示システム。
【請求項5】
前記メインスクリーンは、ステージ上に傾斜配置されホログラム映像を表示するホログラム再生スクリーンと、ステージ背面に配置される背面スクリーンとを備え、これら両スクリーンの合成画像を観客に表示する請求項１～４のいずれかに記載のホール用表示システム。
【請求項6】
客席からは見えない場所にアクターの動作するスペースと、同アクターの動作をキャプチャするモーションキャプチャ装置とをさらに備え、前記コンピュータはキャプチャされたアクターの動作と連動するキャラクタ映像をリアルタイムに生成するレンダリング機能を備えている請求項１～５のいずれかに記載のホール用表示システム。
【請求項7】
前記メインスクリーン及び前記サブスクリーンの映像は前記各スクリーンに表示されたものを記録した映像を前記実照明光と同期させて上映するものである請求項１～５のいずれかに記載のホール用表示システム。
【請求項8】
前記サブスクリーンは少なくとも前記メインスクリーンの左右に配置されている請求項１～７のいずれかに記載のホール用表示システム。
【請求項9】
ホールにおいて動作するアニメーションのキャラクターを陰影付きで基本方向視の映像（以下「メインキャラクター映像」という）として表示するメインスクリーンと、前記メインスクリーンとは別に前記ホール内に配置されて前記キャラクターを陰影付きで前記基本方向視とは異なる方向視の映像（以下「サブキャラクター映像」という）として表示可能なサブスクリーンと、前記キャラクター及びこのキャラクターの陰影の映像を生成するコンピュータとを備えたホール用表示システムを用いて行うイベントの実施方法であって、ホール内を実照明光で照らす実照明器具と前記コンピュータ内において仮想照明光を生成し前記スクリーンに表示する仮想照明器具とをさらに備え、
前記陰影は前記コンピュータにより前記キャラクター及び前記両照明器具により前記キャラクターに照射された照明光と関連付けられて生成されるものであり、
観客席を撮影可能なカメラを備え、前記コンピュータは撮影された観客席の映像と前記カメラの方向視の映像として生成された前記サブキャラクター映像（以下「観客席方向視サブキャラクター映像」という）とを合成して前記サブスクリーンに表示するものであり、
前記サブスクリーンに表示される前記観客席の映像として前記メインキャラクター映像の表示される基準となる実時刻Ｔ０より微小時間Δｔだけ遅延した過去時刻Ｔ０－Δｔの映像を用い、
前記観客席方向視サブキャラクター映像は実時刻Ｔ０より微小時間Δｔだけ遅延した過去時刻Ｔ０－Δｔの映像を用いるイベントの実施方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ホール用表示システム及びこれを用いて行うイベントの実施方法に関する。さらに詳しくは、ホールにおいて動作するアニメーションのキャラクターを陰影付きで基本方向視の映像（以下「メインキャラクター映像」という）として表示するメインスクリーンと、前記メインスクリーンとは別に前記ホール内に配置されて前記キャラクターを陰影付きで前記基本方向視とは異なる方向視の映像（以下「サブキャラクター映像」という）として表示可能なサブスクリーンと、前記キャラクター及びこのキャラクターの陰影の映像を生成するコンピュータとを備えたホール用表示システム及びこれを用いて行うイベントの実施方法に関する。
【背景技術】
【0002】
３Ｄ画像を表示するホール用表示システム及びこれを用いて行うイベントの実施方法としては、次の特許文献１の如きものが存在している。この劇場システムでは、メインスクリーンにおいて、ホログラムの前方スクリーンと後方スクリーンの組み合わせで臨場感を得ることを目的としている。一方、近年、さらなる臨場感を求め、メインスクリーンの横にサブスクリーンを設け、例えばキャラクターを異なる角度で表示することで、臨場感を向上させる試みがなされている。
【先行技術文献】
【特許文献】
【0003】
【文献】特表平２０１７－５０９０２７号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
かかる従来の実情に鑑みて、本発明は、さらに臨場感の高まるホール用表示システム及びこれを用いて行うイベントの実施方法を提供することを目的とする。
【課題を解決するための手段】
【0005】
上記目的を達成するため、本発明に係るホール用表示システムの特徴は、ホールにおいて動作するアニメーションのキャラクターを陰影付きで基本方向視の映像（以下「メインキャラクター映像」という）として表示するメインスクリーンと、前記メインスクリーンとは別に前記ホール内に配置されて前記キャラクターを陰影付きで前記基本方向視とは異なる方向視の映像（以下「サブキャラクター映像」という）として表示可能なサブスクリーンと、前記キャラクター及びこのキャラクターの陰影の映像を生成するコンピュータとを備えた構成であって、ホール内を実照明光で照らす実照明器具と前記コンピュータ内において仮想照明光を生成し前記スクリーンに表示する仮想照明器具とをさらに備え、前記陰影は前記キャラクター及び前記両照明器具で前記キャラクターに照射された照明光と前記コンピュータにより関連付けられて生成されるものであり、観客席を撮影可能なカメラを備え、前記コンピュータは撮影された観客席の映像と前記カメラの方向視の映像として生成された前記サブキャラクター映像（以下「観客席方向視サブキャラクター映像」という）とを合成して前記サブスクリーンに表示するものであり、前記サブスクリーンに表示される前記観客席の映像として前記メインキャラクター映像の表示される基準となる実時刻Ｔ０より微小時間Δｔだけ遅延した過去時刻（Ｔ０－Δｔ）の映像を用い、前記観客席方向視サブキャラクター映像は実時刻Ｔ０より微小時間Δｔだけ遅延した過去時刻（Ｔ０－Δｔ）の映像を用いることにある。
【0006】
同特徴によれば、メインキャラクター映像とサブキャラクター映像とは異なる方向視の角度に加え陰影付きで表示されるため、臨場感が付与される。そして、図４，５に示すように、「観客席方向視サブキャラクター映像」は実時刻Ｔ０より微小時間Δｔだけ遅延した過去時刻（Ｔ０－Δｔ）の映像を用いるので、観客は実時刻Ｔ０のメインキャラクター映像と、過去時刻（Ｔ０－Δｔ）の観客席方向視サブキャラクター映像を同時に見ることとなる。実時刻と過去時刻とを同時に見ると共に、サブスクリーンに対し遅れた映像が現れることで、中央からサブへと人の注意が移り、その効果によって、空間的な広がり、臨場感をより一層感じるようになる。
【0007】
一方、サブスクリーンに表示される観客席の映像も微小時間Δｔだけ遅延した過去時刻（Ｔ０－Δｔ）の映像を用いるため、観客は自らの過去の動作を映像で確認することになり、この点でも、空間的な広がり、臨場感をより一層感じるようになる。
【0008】
しかも、サブスクリーンに表示される観客席の映像も観客席方向視サブキャラクター映像も、双方が過去時刻（Ｔ０－Δｔ）のものを用いているため、上記両照明や陰影に矛盾を生じない。したがって、観客はとても自然な感覚をもってサブスクリーンの映像を受け入れるため、臨場感を阻害することもない。前記微小時間Δｔは望ましくは０．１秒～０．５秒とすると好適に実施可能である。
【0009】
上記特徴に加え、前記コンピュータは前記両照明器具のいずれか又は前記両照明器具双方の照明光が少なくとも前記サブスクリーンの方向に直接照射されて前記サブスクリーン並びに前記メインスクリーン若しくはこれら両スクリーン以外の部分または前記メインスクリーン及びこれら両スクリーン以外の部分に映り込む照明の映像を前記実時刻Ｔ０に同期させてもよい。上記特徴では、観客は実時刻Ｔ０のメインキャラクター映像と、過去時刻（Ｔ０－Δｔ）の観客席方向視サブキャラクター映像を同時に見るが、同特徴によれば、図６に示すように、さらに実時刻Ｔ０の照明が例えば両スクリーンやホールの一部に跨ることができる。時間の異なる光が横断することで、より臨場感に深みを増すことができる。この場合、前記両照明器具の照明光は結像しない光または結像する映像を含むものとすることができる。
【0010】
上記各特徴において、前記メインスクリーンは、ステージ上に傾斜配置されホログラム映像を表示するホログラム再生スクリーンと、ステージ背面に配置される背面スクリーンとを備え、これら両スクリーンの合成画像を観客に表示させてもよい。
【0011】
本システムを実施するにあたっては、客席からは見えない場所にアクターの動作するスペースと、同アクターの動作をキャプチャするモーションキャプチャ装置とをさらに備え、前記コンピュータはキャプチャされたアクターの動作と連動するキャラクタ映像をリアルタイムに生成するレンダリング機能を備えさせてもよい。
【0012】
一方、これに対し、前記メインスクリーン及び前記サブスクリーンの映像は前記各スクリーンに表示されたものを記録した映像を前記実照明光と同期させて上映させるようにしてもよい。
【0013】
前記サブスクリーンは少なくとも前記メインスクリーンの左右に配置することで、左右への広がりを持たせることができる。
【0014】
ホール用表示システムを用いて行うイベントの実施方法の特徴は、ホールにおいて動作するアニメーションのキャラクターを陰影付きで基本方向視の映像（以下「メインキャラクター映像」という）として表示するメインスクリーンと、前記メインスクリーンとは別に前記ホール内に配置されて前記キャラクターを陰影付きで前記基本方向視とは異なる方向視の映像（以下「サブキャラクター映像」という）として表示可能なサブスクリーンと、前記キャラクター及びこのキャラクターの陰影の映像を生成するコンピュータとを備えた構成において、ホール内を実照明光で照らす実照明器具と前記コンピュータ内において仮想照明光を生成し前記スクリーンに表示する仮想照明器具とをさらに備え、前記陰影は前記コンピュータにより前記キャラクター及び前記両照明器具により前記キャラクターに照射された照明光と関連付けられて生成されるものであり、観客席を撮影可能なカメラを備え、前記コンピュータは撮影された観客席の映像と前記カメラの方向視の映像として生成された前記サブキャラクター映像（以下「観客席方向視サブキャラクター映像」という）とを合成して前記サブスクリーンに表示するものであり、前記サブスクリーンに表示される前記観客席の映像として前記メインキャラクター映像の表示される基準となる実時刻Ｔ０より微小時間Δｔだけ遅延した過去時刻Ｔ０－Δｔの映像を用い、前記観客席方向視サブキャラクター映像は実時刻Ｔ０より微小時間Δｔだけ遅延した過去時刻Ｔ０－Δｔの映像を用いることにある。
【発明の効果】
【0015】
上記本発明に係るホール用表示システム及びこれを用いて行うイベントの実施方法の特徴によれば、さらに臨場感の高まるホール用表示システム及びこれを用いて行うイベントの実施方法を提供しえるに至った。
【0016】
本発明の他の目的、構成及び効果については、以下の発明の実施の形態の項から明らかになるであろう。
【図面の簡単な説明】
【0017】
【図1】本発明のホールにおける構成を示す斜視図である。
【図2】ステージ周りの概略の構成を示す側面図である。
【図3】本発明のシステム構成を示す図である。
【図4】メインスクリーンとサブスクリーンとの映像を示す図である。
【図5】メイン、サブスクリーンそれぞれにおけるキャラクターＡ，Ｂの姿勢と時間との関係を示す図である。
【図6b】照明とメイン、サブスクリーンとの関係を示す図であって、メインスクリーンと同一方向視でサブ背景映像がメイン背景映像と続く場合である。
【図7】本発明の別の実施形態におけるパチンコ台の概略正面図である。
【発明を実施するための形態】
【0018】
次に、適宜添付図面を参照しながら、本発明をさらに詳しく説明する。本発明に係るホール用表示システム１は、図１～３に示すように、メインスクリーン２、左右一対のサブスクリーン３、実照明器具４、仮想照明器具５（仮想照明器具光源５ａ）、スピーカー６、観客席ＡＵの映像を撮影する第一カメラ１１、コンピュータ５０をホールＨまたはその近くに備えている。
【0019】
ホール用表示システム１は、さらに第二カメラ１２及びマイク１３をホールＨとは別室に備えている。第二カメラ１２は隔離スペースＳに設置され、アクターＡＣの動作を撮影し、モーションキャプチャモジュールＭＣ５１に送る。マイク１３は声優またはボーカリストの声を録音しリップシンクモジュールＬＳ５４に送る。
【0020】
ホールＨに設置されるメインスクリーン２は、ステージＳＴに斜めに設置されるホログラム再生スクリーン２ａ、ステージＳＴの背面に設置される背面スクリーン２ｂ、ホログラム再生スクリーン２ａに映像を映すホログラムプロジェクタ２ｃ、背面スクリーン２ｂに映像を移す背面プロジェクタ２ｄを備えている。背面スクリーン２ｂの映像はホログラム再生スクリーン２ａを透過して、このホログラム再生スクリーン２ａの映像と共に合成されて観客席ＡＵから見える。
【0021】
一方、各サブスクリーン３は、左右の横第一スクリーン３ａ１及び横第二スクリーン３ａ２（横スクリーン３ａ）と、これら両横スクリーン３ａにそれぞれ映像を映す第一サブスクリーンプロジェクタ３ｂ１及び第二サブスクリーンプロジェクタ（後者は図示省略、両方併せてサブスクリーンプロジェクタ３ｂ）を備えている。
【0022】
コンピュータ５０は、モーションキャプチャモジュールＭＣ５１、リアルタイムレンダリングモジュールＲＲ５２、映像合成モジュールＩＭ５３、リップシンクモジュールＬＳ５４、バックステージイメージ生成モジュールＢＩ５５、バーチャルライトイメージ生成モジュールＶＬ５６、リアルライトコントローラＲＣ５８、音楽生成モジュールＳＧ５９、各モジュールの時点合わせの基準となるタイムマネジメントコントローラＴＭ６０を備えている。
【0023】
モーションキャプチャモジュールＭＣ５１は、第二カメラ１２より撮影されたアクターＡＣの動作を分析し、リアルタイムレンダリングモジュールＲＲ５２において動作するキャラクターの３Ｄ映像を生成する。第二カメラ１２は複数台備えられており、アクターＡＣを異なった角度から撮影し、モーションキャプチャーを行う。通常は正面の第二カメラ１２の撮影方向がメインキャラクターを生成する際の基本方向視Ｄ１となる。
【0024】
バーチャルライトイメージ生成モジュールＶＬ５６はバーチャル空間での照明のイメージ像を作成し、リアルライトコントローラＲＣ５８と相まって光の情報をバックステージイメージ生成モジュールＢＩ５５とリアルタイムレンダリングモジュールＲＲ５２に送り、照明の状態と矛盾しない陰影付きの映像を生成する。実照明光制御部ＲＬ６１はリアルライトコントローラＲＣ５８に制御され、実照明器具４を動作させてホールＨ内の実照明を行う。
【0025】
第一カメラ１１により撮影された観客席ＡＵの映像は、映像合成モジュールＩＭ５３で先のリアルタイムレンダリングモジュールＲＲ５２の映像と合成され、サブスクリーンプロジェクタ３ｂで横スクリーン３ａに映される。一方、ホログラム再生スクリーン２ａ、背面スクリーン２ｂには、リアルタイムレンダリングモジュールＲＲ５２の映像が、それぞれホログラムプロジェクタ２ｃ、背面プロジェクタ２ｄによりメインキャラクター映像として映し出される。
【0026】
リップシンクモジュールＬＳ５４はマイク１３により録音した声優等の音声を上記メインキャラクター映像に合わせて遅延させる。また、音楽生成モジュールＳＧ５９は、ＢＧＭや効果音を生成し、これらのＢＧＭ等はマイク１３の音声と共にサウンドシステム６２を通じてスピーカー６によりホールＨに流される。
【0027】
図１，４，５に示すように、メインスクリーン２には、キャラクターＣＨとして、キャラクターＡ（ＣＨ－Ａ）とキャラクターＢ（ＣＨ－Ｂ）との２者が映し出されている。これに対し、左右一対のサブスクリーン３にはキャラクターＢ（ＣＨ－Ｂ）のみが映し出されている。
【0028】
メインスクリーン２の映像を詳述すると、メインキャラクター映像ＭＩ（ＭＩａ、ＭＩｂ）は、メインキャラクター本体映像ＭＩ１（ＭＩ１ａ，ＭＩ１ｂ）及びメインキャラクターの陰影ＭＩ２（ＭＩ２ａ，ＭＩ２ｂ）とよりなる。さらにこれにメイン背景映像ＢＭＩが加わり，メイン合成映像ＭＭＩができる。
【0029】
一方、左右一対のサブスクリーン３では、サブキャラクター映像ＳＩ（観客席方向視サブキャラクター映像ＡＩ）は、サブキャラクター本体映像ＳＩ１及びサブキャラクターの陰影ＳＩ２よりなる。そして、さらにサブ背景映像（観客席の映像）ＢＳＩが加わることにより、サブ合成映像ＭＳＩができる。
【0030】
メインスクリーン２におけるメイン合成映像ＭＭＩは、基本方向視Ｄ１でレンダリングされたキャラクターを利用している。この基本方向視Ｄ１は第二カメラ１２の方向視と一致する場合もあれば異なる場合もある。一方、基本方向視とは異なる方向視Ｄ２は、たとえば第一カメラ１１の観客席用カメラの方向視Ｄ３を用いることができる。よって、キャラクターＢ（ＣＨ－Ｂ）はメインスクリーンでは後ろ向きであるが、サブスクリーンでは前向きとなる。
【0031】
図１において第一カメラ１１の観客席用カメラの方向視Ｄ３の視野には実照明器具４が入っており、この実照明器具４からは実照明光Ｌ１が観客席ＡＵ、ステージＳＴ並びにキャラクターＡ（ＣＨ－Ａ）及びキャラクターＢ（ＣＨ－Ｂ）に照射されている。
【0032】
図４においてこの実照明器具４の光源の映像４’及び観客席に照射される実照明光Ｌ１がキャラクターＢ（ＣＨ－Ｂ）と共に映りこんでいる。キャラクターＢに向かう実照明光Ｌ２は実際にはキャラクターに照射されないため、上記光源の映像４’の位置を仮想照明器具５の光源とも捉え、仮想照明光Ｌ２として表示している。
【0033】
図１，３～５に示すように、メインスクリーン２では実時刻Ｔ０のキャラクターＡ（ＣＨ－Ａ）とキャラクターＢ（ＣＨ－Ｂ）との２者が映し出されている。これに対し、サブスクリーンでは、微小時間Δｔだけ遡った過去時刻（Ｔ０－Δｔ）のキャラクターＢ（ＣＨ－Ｂ）の映像が映し出されている。これら各スクリーンの映像は、各時刻に合わせた上記実照明器具４、仮想照明器具５の実照明光Ｌ１、仮想照明光Ｌ２の情報に基づき陰影や背景が生成される。
【0034】
さらにサブ背景映像（観客席の映像）ＢＳＩも、微小時間Δｔだけ遡った過去時刻（Ｔ０－Δｔ）の映像が用いられている。 サブキャラクター映像ＳＩともに過去時刻（Ｔ０－Δｔ）のものを用いているので、照明光の色が異なる等の矛盾も生じなく、臨場感が自然に認識されることとなる。
【0035】
ところで、サブ背景映像（観客席の映像）ＢＳＩは、ハードウエアの性能上、微小時間Δｔの遅延を生じる可能性がある。この場合、ハードウエアの性能に合わせて、サブキャラクター映像ＳＩも時刻微小時間Δｔだけ遡った過去の映像を用いても良く、微小時間Δｔをハードウエアの遅延の映像合成モジュールＩＭ５３のソフトウエア遅延とで調整してもよい。微小時間Δｔは望ましくは０．１秒～０．５秒とすると好適に実施可能である。０．１秒以上あれば映像の違いを認識でき、０．５秒を超えると不自然に感じられるからである。
【0036】
メインスクリーン２には、メインキャラクター本体映像ＭＩ１（ＭＩ１ａ，ＭＩ１ｂ）、メインキャラクターの陰影ＭＩ２（ＭＩ２ａ，ＭＩ２ｂ）及びメイン背景映像ＢＭＩが合成されて表示される。これらの要素は、ホログラム再生スクリーン２ａ、背面スクリーン２ｂに次のような組み合わせで表示されうる。
【0037】
ケース１）ホログラム再生スクリーン２ａ；メインキャラクター本体映像ＭＩ１（ＭＩ１ａ，ＭＩ１ｂ）、 背面スクリーン２ｂ；メインキャラクターの陰影ＭＩ２（ＭＩ２ａ，ＭＩ２ｂ）及びメイン背景映像ＢＭＩ
【0038】
ケース２）ホログラム再生スクリーン２ａ；メインキャラクター本体映像ＭＩ１（ＭＩ１ａ，ＭＩ１ｂ）及びメインキャラクターの陰影ＭＩ２（ＭＩ２ａ，ＭＩ２ｂ）、背面スクリーン２ｂ；メイン背景映像ＢＭＩ
【0039】
ケース３）ホログラム再生スクリーン２ａ；メインキャラクター本体映像ＭＩ１（ＭＩ１ａ，ＭＩ１ｂ）、メインキャラクターの陰影ＭＩ２（ＭＩ２ａ，ＭＩ２ｂ）及びメイン背景映像ＢＭＩの一部（ＢＭＩ１）、背面スクリーン２ｂ；メイン背景映像ＢＭＩの残余（ＢＭＩ２）
【0040】
これらの映像のスクリーン割り付けは適宜必要に応じて採用される。
【0041】
なお、上記では、アクターの動作するスペースやモーションキャプチャ装置を設けた。しかし、図３に示すように、上記イベントの実施の映像、音響、照明等のコントロールを全てレコーディングモジュールＲＳ５７に記録し、これを再生させることによりイベントを実施してもよい。
【0042】
次に、本発明の別実施形態について説明する。上記第一実施形態と同様の部材には同一の符号を附してある。また、同趣旨の部材の言い換えをしているものは、下記で言及以外の上記要素のすべてに適用されうる。
【0043】
上記実施形態では、実照明器具４及び仮想照明器具５の実照明光Ｌ１及び仮想照明光Ｌ２の時刻は、メイン、サブスクリーンで異なるものであった。しかし、図６（ａ）に示す第二実施形態では、両照明器具４，５のいずれか又は両照明器具４，５双方の照明光Ｌ１，Ｌ２をメインスクリーン２及びサブスクリーン３の方向に直接照射させて、これら両スクリーン２，３に映り込む照明の映像（桜吹雪Ｆ）をコンピュータ５０において前記実時刻Ｔ０に同期させてある。本第二実施形態では、さらにホールＨの一部であるスクリーン間Ｈ１やスクリーン周辺Ｈ２にも桜吹雪Ｆ３（Ｆ）を映している。これら両スクリーン２，３に映る桜吹雪Ｆ１，Ｆ２（Ｆ）は仮想照明器具５の仮想照明光Ｌ２によるもの、ホールＨの一部であるスクリーン間Ｈ１やスクリーン周辺Ｈ２に映る桜吹雪Ｆ３（Ｆ）は実照明器具４の実照明光Ｌ１によるものである。
【0044】
この実施例によれば、ホールＨの一部であるスクリーン間Ｈ１やスクリーン周辺Ｈ２にも桜吹雪Ｆは映っているが、さらに観客席ＡＵにも映してもよく、これらを映さないでメインスクリーン２及びサブスクリーン３のみに桜吹雪Ｆ１，Ｆ２を映しても良い。サブスクリーンの過去時刻（Ｔ０－Δｔ）とは時刻の異なる光がサブスクリーン４と他の部分を横断することで、より臨場感に深みを増すことができる。桜吹雪Ｆは結像した映像であるが、スポットライトのような結像していない照明光Ｌを用いても良い。なお、桜吹雪Ｆが方向視の異なるメインスクリーン２，サブスクリーン３に映るのが不自然である場合は図６（ｂ）の如く、メインスクリーン２と同一方向視でサブスクリーン３のサブ背景映像ＭＳＩがメイン背景映像ＢＭＩと続くようにしてもよい。
【0045】
上記実施形態では、メインスクリーン２に映すメイン合成映像ＭＭＩに実時刻Ｔ０のもの、左右のサブスクリーンに映すサブ合成映像ＭＳＩに過去時刻（Ｔ０－Δｔ）のものを用い、スクリーン間の時刻の違いを二段階とした。しかし、３つのスクリーン間の時間を３段階に変えても良い。例えば、メインスクリーン２に実時刻、一方のサブスクリーン３に未来時刻、他法のサブスクリーン３に過去時刻を用いたり、現在、過去、さらに過去等、複数の時刻のものを用いても良い。スクリーンの数と時刻の切り替えは３以上の複数であってもよい。
【0046】
上記実施形態では、本発明を、ホールで利用するホール用表示システム及びこれを用いて行うイベントの実施方法として実施した。しかし、本発明は、パチンコ又はパチスロ等の遊技機においても実施することができる。この場合、アクターのモーションキャプチャーを行わなくても良く、また、上述の如く実施の映像、音響、照明等のコントロールを全てレコーディングモジュールＲＳ５７に記録し、これを再生させてもよい。
【0047】
すなわち、本発明は、動作するアニメーションのキャラクターを陰影付きで基本方向視の映像（以下「メインキャラクター映像」という）として表示するメインスクリーンと、前記メインスクリーンとは別に前記キャラクターを陰影付きで前記基本方向視とは異なる方向視の映像（以下「サブキャラクター映像」という）として表示可能なサブスクリーンと、前記キャラクター及びこのキャラクターの陰影の映像を生成するコンピュータとを備えたパチンコ又はパチスロ等の遊技機であって、遊技機内を実照明光で照らす実照明器具と前記コンピュータ内において仮想照明光を生成し前記スクリーンに表示する仮想照明器具とをさらに備え、前記陰影は前記キャラクター及び前記両照明器具で前記キャラクターに照射された照明光と前記コンピュータにより関連付けられて生成されるものであり、遊技機外を撮影可能なカメラを備え、前記コンピュータは撮影された遊技機外の映像と前記カメラの方向視の映像として生成された前記サブキャラクター映像（以下「遊技機外方向視サブキャラクター映像」という）とを合成して前記サブスクリーンに表示するものであり、前記サブスクリーンに表示される前記遊技機外の映像として前記メインキャラクター映像の表示される基準となる実時刻Ｔ０より微小時間Δｔだけ遅延した過去時刻（Ｔ０－Δｔ）の映像を用い、前記遊技機外方向視サブキャラクター映像は実時刻Ｔ０より微小時間Δｔだけ遅延した過去時刻（Ｔ０－Δｔ）の映像を用いるものである遊技機として使用してもよい。
【0048】
図７に示すように、遊技機の一例であるパチンコ台１００は、遊技機本体１０１、パチンコ玉飛来可能部１０２、玉の発射をコントロールする駆動ハンドル１０３及び玉受け１０４を備えている。パチンコ玉飛来可能部１０２の中央には、メインスクリーン２、その左右には一対のサブスクリーン３，３としてそれぞれ液晶パネルが組み込まれている。また、実照明器具４の照明光の映像をＬＥＤ４ｘや、同じく広範囲に設けられた他の液晶パネル４ｙにより再現することができる。
【0049】
もちろん、実照明器具４を別に設けて、照明光をパチンコ玉飛来可能部１０２に照射させてもよい。第一カメラ１１は本実施形態では遊技機本体１０の中央に設けられているが、パチンコホールの天井や他の部分に設けてもよい。また、第一カメラ１１や映像合成モジュールＩＭ５３を設けずに、上記他の要素を組み合わせて実施してもよい。本発明は同様にパチスロ器やその他の遊技機にも適用可能である。
【0050】
本発明におけるキャラクターには、人物や動物等の他、植物や家具・花瓶などの静物も含まれる。照明が変わり、視点が切り替えられれば陰影も変わり、上記効果が奏されるからである。
【産業上の利用可能性】
【0051】
本発明は、バーチャルキャラクターによるコンサートやイベント等に用いることの可能なホール用表示システム及びこれを用いて行うイベントの実施方法の他、パチンコ又はパチスロ等の遊技機として利用することができる。ホールは屋外も含まれ、ステージ上にスクリーンが設置できればよい。
【符号の説明】
【0052】
ＡＵ：観客席、ＣＨ，ＣＨ－Ａ（Ａ），ＣＨ－Ｂ（Ｂ）：キャラクター、Ｆ：桜吹雪、Ｆ１～３：照明の映像、Ｈ：ホール、Ｈ１：スクリーン間、Ｈ２：スクリーン周辺、ＳＴ：ステージ、ＡＣ：アクター、Ｓ：隔離スペース、Ｄ１：基本方向視、Ｄ２：基本方向視とは異なる方向視、Ｄ３：観客席用カメラの方向視、ＭＩ，ＭＩａ，ＭＩｂ：メインキャラクター映像、ＭＩ１，ＭＩ１ａ，ＭＩ１ｂ：メインキャラクター本体映像、ＭＩ２，ＭＩ２ａ，ＭＩ２ｂ：メインキャラクターの陰影、ＢＭＩ：メイン背景映像、ＭＭＩ：メイン合成映像、ＳＩ：サブキャラクター映像、ＡＩ：観客席方向視サブキャラクター映像、ＳＩ１：サブキャラクター本体映像、ＳＩ２：サブキャラクターの陰影、ＢＳＩ：サブ背景映像（観客席の映像）、ＭＳＩ：サブ合成映像、Ｌ：照明光、Ｌ１：実照明光、Ｌ２：仮想照明光、Ｔ０：実時刻、Δｔ：微小時間、Ｔ０－Δｔ：過去時刻、１：ホール用表示システム、２：メインスクリーン、２ａ：ホログラム再生スクリーン、２ｂ：背面スクリーン、２ｃ：ホログラムプロジェクタ、２ｄ：背面プロジェクタ、３：サブスクリーン、３ａ：横スクリーン、３ａ１：横第一スクリーン、３ａ２：横第二スクリーン、３ｂ：サブスクリーンプロジェクタ、３ｂ１：第一サブスクリーンプロジェクタ、４：実照明器具、４ｘ：ＬＥＤ、４ｙ：他の液晶パネル、５：仮想照明器具、５ａ：仮想照明器具光源、６：スピーカー、１１：第一カメラ、１２：第二カメラ、１３：マイク、５０：コンピュータ、ＭＣ５１：モーションキャプチャモジュール、ＲＲ５２：リアルタイムレンダリングモジュール、ＩＭ５３：映像合成モジュール、ＬＳ５４：リップシンクモジュール、ＢＩ５５：バックステージイメージ生成モジュール、ＶＬ５６：バーチャルライトイメージ生成モジュール、ＲＳ５７：レコーディングモジュール、ＲＣ５８：リアルライトコントローラ、ＳＧ５９：音楽生成モジュール、ＴＭ６０：タイムマネジメントコントローラ、ＲＬ６１：実照明光制御部、６２：サウンドシステム、１００：パチンコ台（遊技機）、１０１：遊技機本体、１０２：パチンコ玉飛来可能部、１０３：駆動ハンドル、１０４：玉受け
【図1】
【図2】
【図3】
【図4】
【図5】
【図6a】
【図6b】
【図7】