特許 6945312 操作制御システム、キャラクタ上映システム及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6945312

(24)【登録日】2021年9月16日

(45)【発行日】2021年10月6日

(54)【発明の名称】操作制御システム、キャラクタ上映システム及びプログラム

(51)【国際特許分類】

   A63F 13/55 20140101AFI20210927BHJP

   A63F 13/52 20140101ALI20210927BHJP

   A63F 13/533 20140101ALI20210927BHJP

   A63F 13/27 20140101ALI20210927BHJP

   A63J 25/00 20090101ALI20210927BHJP

【ＦＩ】

   A63F13/55

   A63F13/52

   A63F13/533

   A63F13/27

   A63J25/00

【請求項の数】14

【全頁数】47

(21)【出願番号】特願2017-58271(P2017-58271)

(22)【出願日】2017年3月23日

(65)【公開番号】特開2018-158046(P2018-158046A)

(43)【公開日】2018年10月11日

【審査請求日】2020年3月19日

(73)【特許権者】

【識別番号】306014714

【氏名又は名称】株式会社バンダイナムコアミューズメント

(74)【代理人】

【識別番号】100090387

【弁理士】

【氏名又は名称】布施 行夫

(74)【代理人】

【識別番号】100090398

【弁理士】

【氏名又は名称】大渕 美千栄

(72)【発明者】

【氏名】鈴木 直大

(72)【発明者】

【氏名】相木 伸一郎

(72)【発明者】

【氏名】大久保 博

(72)【発明者】

【氏名】志磨 雅則

【審査官】 松山 紗希

(56)【参考文献】

【文献】 特表２００３−５３３２３５（ＪＰ，Ａ）

【文献】 特開２００２−１０９１１６（ＪＰ，Ａ）

【文献】 特開２００４−０６４６４１（ＪＰ，Ａ）

【文献】 特表２００６−５２８３８１（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ａ６３Ｆ ９／２４、１３／００−１３／９８

Ａ６３Ｊ １／００−１／０２、２５／００

(57)【特許請求の範囲】

【請求項1】

観客用表示装置によって観客の観覧対象となる対象キャラクタが表示される際に、当該対象キャラクタの表示を制御する観客用表示制御手段と、
前記観客に関する情報である観客情報を取得する観客情報取得手段と、
操作者によって視認されるモニタ表示装置に、前記対象キャラクタの動作を制御するための操作コマンド候補を提示する提示手段と、
前記提示手段によって提示された前記操作コマンド候補の中から、前記操作者による操作コマンドの選択を受け付ける受付手段と、
前記受付手段によって受け付けられた操作コマンドに基づいて、前記対象キャラクタの動作を制御する動作制御手段と、
を備え、
前記提示手段が、
前記観客情報取得手段によって取得された前記観客情報に基づいた前記操作コマンド候補を提示することを特徴とする操作制御システム。

【請求項2】

請求項１に記載の操作制御システムにおいて、
前記モニタ表示装置に前記対象キャラクタを表示させるモニタ表示制御手段を更に備え、
前記提示手段が、
前記対象キャラクタとともに前記操作コマンド候補を提示する、操作制御システム。

【請求項3】

請求項１又は２に記載の操作制御システムにおいて、
前記提示手段が、
前記操作コマンド候補とともに、前記観客情報を提示する、操作制御システム。

【請求項4】

請求項３に記載の操作制御システムにおいて、
前記観客毎の個人情報を記憶する記憶手段を更に備え、
前記提示手段が、
前記記憶手段に記憶された複数の前記観客の個人情報に応じた前記観客情報を提示
する、操作制御システム。

【請求項5】

請求項１〜４のいずれか１項に記載の操作制御システムにおいて、
前記対象キャラクタの動作制御が実行された際に受け付けられた操作コマンドの情報を使用履歴情報として記憶手段に登録して蓄積する登録手段をさらに備え、
前記提示手段が、
前記観客情報及び前記使用履歴情報に応じた前記操作コマンド候補を提示する、操作制御システム。

【請求項6】

請求項５に記載の操作制御システムにおいて、
前記使用履歴情報には、操作コマンドと当該操作コマンドを受け付けた際に利用した観客情報を含み、
前記提示手段が、
前記使用履歴情報に基づく所与の解析結果と、前記観客情報とに応じた前記操作コマンド候補を提示する、操作制御システム。

【請求項7】

請求項１〜６のいずれか１項に記載の操作制御システムにおいて、
前記観客情報取得手段が、
各前記観客の状態を前記観客情報として取得し、
前記提示手段が、
前記観客の状態を含む前記観客情報に応じた前記操作コマンド候補を提示する、操作制御システム。

【請求項8】

請求項１〜７のいずれか１項に記載の操作制御システムにおいて、
前記受付手段が、
前記操作コマンドとともに、前記対象キャラクタの動作を享受する特定の観客を指定する観客指定指示を受け付け、
前記動作制御手段が、
前記観客指定指示によって特定される観客に向けて前記対象キャラクタの動作を制御する、操作制御システム。

【請求項9】

請求項１〜８のいずれか１項に記載の操作制御システムにおいて、
前記提示手段が、
前記対象キャラクタの動作状況に応じて定まる操作コマンドを前記操作コマンド候補に含めて提示する、操作制御システム。

【請求項10】

請求項１〜９のいずれか１項に記載の操作制御システムにおいて、
前記提示手段が、
前記対象キャラクタにおける画像生成の開始タイミングからの経過時間、当該画像生成中に受け付けられた操作コマンドの受付回数、又は、当該画像生成中に受け付けられた前記操作コマンドの種別の組み合わせに応じて前記提示する操作コマンドの種別を変更する、操作制御システム。

【請求項11】

請求項１〜９のいずれか１項に記載の操作制御システムにおいて、
所与のアルゴリズムに従いつつ、前記対象キャラクタの動作を画像化している場合に、
各操作コマンドには、前記対象キャラクタにおける画像生成の開始タイミングから当該操作コマンドの受け付けが許容される時刻を示す受付完了許容時刻又は複数の所与の区間が定められて当該画像生成が実行されている場合において当該操作コマンドの受け付けが許容される区間を示す区間情報と、前記各操作コマンドに基づいて前記対象キャラクタの
動作制御が実行される実行時間と、が規定されており、
前記提示手段が、
前記対象キャラクタにおける画像生成の開始タイミングからの経過時間又は前記操作コマンドを提示するタイミングが属する区間と、前記各操作コマンドの実行時間と、に応じて、前記提示する操作コマンドの種別を決定し、又は、前記対象キャラクタの動作制御の内容を変更した操作コマンドを提示する、操作制御システム。

【請求項12】

請求項１〜１１のいずれか１項に記載の操作制御システムにおいて、
前記動作制御手段が、
前記対象キャラクタにおける画像生成中に操作コマンドが受け付けられた場合に、予め定められたタイミングから当該受け付けられた操作コマンドに基づく前記対象キャラクタの動作制御を開始する、操作制御システム。

【請求項13】

観客用表示装置によって観客の観覧対象となる対象キャラクタが表示される際に、当該対象キャラクタの表示を制御する観客用表示制御手段、
前記観客に関する情報である観客情報を取得する観客情報取得手段と、
操作者によって視認されるモニタ表示装置に、前記対象キャラクタの動作を制御するための操作コマンド候補を提示する提示手段、
前記提示手段によって提示された操作コマンド候補の中から、前記操作者による操作コマンドの選択を受け付ける受付手段、及び、
前記受付手段によって受け付けられた操作コマンドに基づいて、前記対象キャラクタの動作を制御する動作制御手段、
としてコンピュータを機能させ、
前記提示手段が、
前記観客情報取得手段によって取得された前記観客情報に基づいた前記操作コマンド候補を提示することを特徴とするプログラム。

【請求項14】

観客の観覧対象となる対象キャラクタを表示する際に用いる観客用表示装置と、
前記対象キャラクタの動作を操作制御する操作制御システムと、
を備え、
前記操作制御システムが、
前記対象キャラクタの表示を制御する観客用表示制御手段と、
前記観客に関する情報である観客情報を取得する観客情報取得手段と、
操作者によって視認されるモニタ表示装置に、前記対象キャラクタの動作を制御するための操作コマンド候補を提示する提示手段と、
前記提示手段によって提示された操作コマンド候補の中から、前記操作者による操作コマンドの選択を受け付ける受付手段と、
前記受付手段によって受け付けられた操作コマンドに基づいて、前記対象キャラクタの動作を制御する動作制御手段と、
を備え、
前記提示手段が、
前記観客情報取得手段によって取得された前記観客情報に基づいた前記操作コマンド候補を提示することを特徴とするキャラクタ上映システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、操作制御システム、キャラクタ上映システム及びプログラムなどに関する。

【背景技術】

【0002】

従来から、複数の観客を収容するイベント会場において、観客に対してアイドルなどの実在しない２次元又は３次元のキャラクタを上映し、あたかもそこに存在するかのようにキャラクタを操作するためのシステム（以下、「イベント用キャラクタ操作システム」ともいう。）が知られている。

【0003】

一方、ＣＧアニメーションや動画像を編集する動画像編集装置において、操作者における煩雑な画像編集を解消する装置が知られている（例えば、特許文献１）。そして、このような動画像編集装置をイベント用キャラクタ操作システムに組み込むことによって、上映するキャラクタを含めた動画像を、観客や会場の状況に応じてリアルタイムに編集して提供することが検討されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００１−１９５６００号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献１に記載の動画編集装置をイベント用キャラクタ操作システムに単に組み込んだとしても、操作者の操作を簡便にすることはできるものの、会場の雰囲気や観客の状態に応じて、キャラクタの動作を制御させることは難しい。

【0006】

本発明は、上記課題を解決するためになされたものであり、その目的は、操作者における操作を簡便にしつつ、イベント会場の雰囲気や観客の状態に応じて、キャラクタを動作させて画像化されるキャラクタの実存感及び当該キャラクタのパフォーマンスにおけるライブ感を向上させ、イベントを盛り上げること、及び、観客において満足感の高いイベントを実行することが可能なキャラクタ操作システムなどを提供することにある。

【課題を解決するための手段】

【0007】

（１）上記課題を解決するため、本発明は、
観客の観覧対象となる画像化された対象キャラクタの動作を操作制御する操作制御システムであって、
前記対象キャラクタが配置されたオブジェクト空間に仮想カメラを設定し、当該仮想カメラを視点とした前記オブジェクト空間内における対象キャラクタの画像を生成する画像生成手段と、
前記観客によって視認される観客用表示装置に前記対象キャラクタの画像を表示させる観客用表示制御手段と、
前記オブジェクト空間における対象キャラクタの動作を制御するための複数の操作コマンド中から、操作者によって前記観客に関する情報を示す観客情報に応じて選択される操作コマンドを、操作コマンド候補として、前記操作者に提示する提示手段と、
前記提示されている操作コマンド候補の中から、前記操作者によって操作指示された操作コマンドを受け付ける受付手段と、
前記受け付けられた操作コマンドに基づいて、前記表示される対象キャラクタの動作を制御する動作制御手段と、
を備える、構成を有している。

【0008】

この構成により、本発明は、観客の雰囲気や観客の現在の状態を示す情報、又は、観客の属性や課金履歴などの各観客の観客情報に応じて操作者によって選択される操作コマンド、又は、当該観客情報に応じて抽出されて操作者によって選択される操作コマンドを、操作コマンド候補として操作者に提示することができる。

【0009】

例えば、本発明は、観客情報によってイベント会場などの対象キャラクタを観覧している観客が盛り上がっていないと判断された場合には、対象キャラクタが観客を盛り上げあげるための動作として、ＭＣ（セリフやマイクパフォーマンス）を実行させるコマンドを選択可能にし、又は、激しい踊りを対象キャラクタが実行する操作コマンドを選択可能にすることができるなど、対象キャラクタを観覧している観客の状況（すなわち、観客の現在の状態）に応じた対象キャラクタの動作を操作者に選択させることができる。

【0010】

また、例えば、本発明は、観客情報によって、対象キャラクタを観覧する観客に女性が多いと判断された場合には、女性向けの対象キャラクタの動作を制御し、又は、過去の行動において所定のグッズを購入していると判断された場合には、当該観客に対して対象キャラクタの特別な演出を実行させて観覧している観客の行動履歴や属性に応じた対象キャラクタの動作を制御する操作コマンドを操作者に選択させることができる。

【0011】

したがって、本発明は、操作者における操作を簡便にしつつ、観客の雰囲気や観客の状態に応じて、対象キャラクタを動作させることができるので、画像化される対象キャラクタの実存感及び当該対象キャラクタのパフォーマンスにおけるライブ感を向上させつつ、観客を盛り上げること、及び、新鮮みのあるパフォーマンスを実現することができる。

【0012】

この結果、本発明は、観客において満足感の高い対象キャラクタの動作（すなわち、パフォーマンス）を制御することができる。

【0013】

なお、観客用表示装置は、例えば、ステージ上に設けられ、歌や踊り又は演劇や講演などのパフォーマンスを行う観覧の対象となる対象キャラクタを表示する装置であって、例えば、液晶表示装置、プロジェクターなどの投影装置、又は、ホログラムなどの立体画像化装置などを示す。

【0014】

また、「観客情報に応じて選択される操作コマンド」とは、例えば、観客情報を参照しつつ操作者の意思によって選択することが可能な状態となる操作コマンドであること、及び、例えば、カメラなどの検出手段によって検出された観客情報に応じて選択（抽出）された操作コマンドであって、操作者によって選択される操作コマンドを示す。

【0015】

例えば、観客情報には、
（１）性別、年代、居住地域又は観覧時の位置（座席）などの観客の属性情報
（２）好きな演技キャラクタなどの観客の嗜好情報、
（３）スマートフォンやＩＤタグなどの観客が保有する端末装置の情報（例えば、観客の個人を特定する情報や電子チケット情報などの観覧時の位置（座席）を示す情報）
（４）ＩＤなどの各観客に対応付けて、又は、観客が保有する端末装置に対応付けて、記憶されている情報であって、観覧している対象キャラクタや当該対象キャラクタがパフォーマンスしているイベントに関連するゲームなどの所定のゲームにおけるプレー状況やその履歴（課金履歴も含む。）に関する情報（ゲームプレー情報）、
（５）観客が保有する端末装置を用いて記憶される情報であって、対象キャラクタや当該対象キャラクタがパフォーマンスしているイベントなどへの参加を示す行動履歴情報、及び、当該イベントやパフォーマンスに関連する所定の通販サイトや実売店舗（イベント会
場内も含む）による課金情報やその課金履歴情報、並びに、
（６）各観客から生体情報（例えば、顔画像、音声情報（各観客の声紋情報や周波数特性を示す周波数特性情報を含む。）、及び、体勢情報、熱量の情報や所定のデバイス（スマートフォンやサイリウム））を用いた光の情報などの生体情報に準ずる情報が含まれる。

【0016】

さらに、操作コマンドには、画像化されている対象キャラクタのオブジェクト空間における動作を操作制御するためのコマンドであって、複数のコマンドを一体的に実行するためのコマンドが含まれてもよい。

【0017】

例えば、複数の操作コマンドとしては、対象キャラクタの動作が異なる複数種類の操作コマンド（ジャンプ、走る、一回転する操作コマンドなど）であってもよいし、当該操作コマンドの実行にあたり効果が異なる同一種別の操作コマンド（異なるセリフを発する操作コマンドなど）であってもよい。

【0018】

上記に加えて、「操作コマンド候補を提示する」とは、表示装置やタッチパネルの機能を有するタブレットに操作可能に表示する場合であってもよいし、物理的なスイッチやキーボードに操作コマンドが割り当てられたことを示す場合であってもよい。

【0019】

また、「対象キャラクタの動作制御」には、操作コマンドに従って動作を制御するだけでなく、予め定められたアルゴリズムによって動作させつつ、所定のタイミングなどに操作コマンドに従って動作することも含む。

【0020】

特に、予め定められたアルゴリズムを用いて対象キャラクタの動作を制御する場合には、歌や踊りなどのパフォーマンス時の動作（セリフを含む。）を規定するアルゴリズムによって動作制御することを示し、アルゴリズムによって動作制御されている際に、操作コマンドが受け付けられた場合には、当該アルゴリズムに基づく処理に代えて又は当該アルゴリズムの処理とともに、操作コマンドに従って対象キャラクタを動作制御することが含まれる。

【0021】

（２）また、本発明は、
前記操作者によって視認されるモニタ表示装置に前記対象キャラクタを表示させるモニタ表示制御手段を更に備え、
前記提示手段が、
前記モニタ表示装置に、前記対象キャラクタとともに前記操作コマンド候補を、前記操作者に提示する、構成を有している。

【0022】

この構成により、本発明は、操作者が視認可能な操作対象となるキャラクタ上に操作コマンド候補を表示させることができるので、操作者の操作を簡便にすることができる。

【0023】

特に、本発明は、モニタ表示装置がタッチパネルによって構成されている場合には、動作制御する対象キャラクタとともに操作コマンド候補を提示することができるので、操作者の直感的な操作を促し、操作者の操作入力を簡便にすることができる。

【0024】

なお、モニタ表示装置は、観客用表示装置とは別個に設けられた操作者用のモニタを示し、例えば、タブレット端末装置、スマートフォン及び液晶装置などによって構成される。そして、モニタ表示装置は、上述のように、タッチパネルによって構成されていることが好ましい。

【0025】

（３）また、本発明は、
前記提示手段が、
前記観客情報を取得し、前記操作コマンド候補とともに、前記取得した観客情報を前記操作者に提示する、構成を有している。

【0026】

この構成により、本発明は、操作コマンド候補を選択する際に操作者に観客情報を認識させることができるので、対象キャラクタに対して観客に合致する動作が規定された操作コマンドを、操作者によってより選択させやすくすることができる。

【0027】

したがって、本発明は、観客の行動履歴や属性などの観客情報を提示し、観客を盛り上げること、及び、新鮮みのある行動を提供することができるので、観客において満足感の高い対象キャラクタの動作（すなわち、パフォーマンス）が規定された操作コマンドを、選択させやすくすることができる。

【0028】

（４）また、本発明は、
前記観客毎に、各観客の個人情報を前記観客情報として記憶する記憶手段を管理する管理手段を更に備え、
前記提示手段が、
前記記憶されている観客情報を取得し、前記操作コマンド候補とともに、当該取得した観客情報を前記操作者に提示する、構成を有している。

【0029】

この構成により、本発明は、操作コマンド候補を選択する際に操作者に観客の個人情報を認識させることができるので、対象キャラクタに対して観客に合致する動作が規定された操作コマンドを、操作者によってより選択させやすくすることができる。

【0030】

例えば、提示された個人情報に基づいて、対象キャラクタを観覧する観客に女性が多いことが認識できた場合には、操作者に女性向けの対象キャラクタの動作を制御するための操作コマンドを選択させやすくなり、また、過去の行動において所定のグッズを購入しているなどの観客が存在すること（当該観客が多いこと）が認識できた場合には、操作者に対象キャラクタの特別な演出を実行させる操作コマンドを選択させやすくなる。

【0031】

すなわち、本発明は、観客の行動履歴や属性などの観客の個人情報を提示し、観客を盛り上げること、及び、新鮮みのある行動を提供することができるので、観客において満足感の高い対象キャラクタの動作（すなわち、パフォーマンス）が規定された操作コマンドを、選択させやすくすることができる。

【0032】

なお、個人情報には、例えば、各観客の過去の行動履歴を示す行動履歴情報、及び、各観客の性別、年代、居住地域、好きな対象キャラクタ、観覧時の位置（座席）、又は、スマートフォンやＩＤダグ（ＲＦＩＤ）などの端末装置に関する情報などの属性情報が含まれる。

【0033】

特に、端末装置に関する情報には、例えば、観客の個人を特定する情報やチケット情報などの観覧時の位置（座席）を示す情報、及び、ゲーム履歴情報や商品等の購入履歴情報を含む。

【0034】

また、行動履歴情報には、例えば、対象キャラクタのパフォーマンスが行われているイベントなどの関連するイベントに参加した回数やその日時、対象キャラクタや当該対象キャラクタがパフォーマンスしているイベントに関連するゲームなどの所定のゲームにおけるプレー状況、又は、その履歴に関する情報、当該イベントや対象キャラクタなどに関連する所定の通販サイトや実売店舗（イベント会場内も含む）による商品（グッズ）やサービスの購入情報やそれによって生じた課金情報（課金履歴情報を含む）が含まれる。

【0035】

（５）また、本発明は、
前記対象キャラクタの動作制御が実行された際に受け付けられた操作コマンドの情報を使用履歴情報として記憶手段に登録して蓄積する登録手段をさらに備え、
前記提示手段が、
前記観客情報及び前記登録されている使用履歴情報に応じて、前記操作者によって選択される操作コマンドを、前記操作コマンド候補として、前記操作者に提示する、構成を有している。

【0036】

この構成により、本発明は、例えば、使用頻度、直前に使用した操作コマンドの種別、予め定められた期間内（一連のパフォーマンス期間中など）における使用の有無を示す情報などの使用履歴情報に応じて、操作者によって選択される操作コマンドを、操作候補コマンドとして、操作者に提示することができる。

【0037】

例えば、本発明は、操作コマンドを選択させる際に、使用頻度の高い操作コマンド、直前の操作コマンドに関連する操作コマンド、観客の大半が未だ観覧したことない対象キャラクタの行動を規定する操作コマンド、一連のパフォーマンスの実行中に未だ使用されていない操作コマンド、又は、他の操作コマンドに比べて優先的に選択可能な操作コマンド候補として操作者に認識させるべき操作コマンドを操作者に絞り込んで提示することができる。

【0038】

また、例えば、本発明は、一連のパフォーマンスにおいて、既に実行された操作コマンド、又は、特定の観客に既に提供された特別な演出を実行した操作コマンドなど、選択不能な操作コマンド候補を不提示にすることができる。

【0039】

さらに、例えば、本発明は、既に登録された操作コマンドを解析すれば、いつも盛り上がる対象キャラクタの行動を規定する操作コマンド、又は、如何なるシーンでも有効に機能する対象キャラクタの行動を規定する操作コマンドなど、過去の操作コマンドの傾向に沿った操作コマンドを操作コマンド候補として提示することができる。

【0040】

したがって、本発明は、過去の使用履歴を用いて更に操作者における操作を簡便にしつつ、観客の雰囲気や観客の状態に応じて、キャラクタを動作させることができるとともに、各観客の対象キャラクタへの観覧に対する興趣を損なうことなく、観客を盛り上げること、及び、新鮮みのある行動を提供することができる。

【0041】

（６）また、本発明は、
前記使用履歴情報には、前記操作コマンドと当該操作コマンドを受け付けた際に利用した観客情報を含み、
前記提示手段が、
前記使用履歴情報に基づいて操作コマンドにおける所与の解析した結果と、前記観客情報とに応じて、前記操作者によって選択される操作コマンドを、前記操作コマンド候補として、前記操作者に提示する、構成を有している。

【0042】

この構成により、本発明は、既に登録された操作コマンドを利用した顧客情報とともに解析することによって、いつも盛り上がる対象キャラクタの行動を規定する操作コマンド、又は、如何なるシーンでも有効に機能する対象キャラクタの行動を規定する操作コマンドなど、過去の操作コマンドの傾向に沿った操作コマンドを操作コマンド候補として提示することができる。

【0043】

（７）また、本発明は、
各観客の状態を前記観客情報として検出する検出手段を更に備え、
前記提示手段が、
前記検出された観客情報に応じて前記操作者によって選択される操作コマンドを、操作コマンド候補として、前記操作者に提示する、構成を有している。

【0044】

この構成により、本発明は、例えば、観客の顔画像、音声、発する光、又は、観客が所有する端末装置の情報などの観客の特性又は観客の対象キャラクタの行動に対する観客の反応を検出することができるので、対象キャラクタの観覧に来場している観客の特性（例えば、特定の光を有する観客が多いことや女性が多いこと）、又は、観客が対象キャラクタを観覧している際の状態を観客情報として検出することができる。

【0045】

したがって、本発明は、観客情報によって対象キャラクタを観覧している場が盛り上がっているか否か、又は、当該観客の状態や属性に合わせて操作コマンド候補を絞り込んで提示することができるので、操作者における操作を簡便にしつつ、画像化されるキャラクタの実存感及び当該キャラクタのパフォーマンスにおけるライブ感を向上させ、観客を盛り上げること、及び、観客において満足感の高いパフォーマンスを実行させることができる。

【0046】

また、本発明は、検出された観客情報を蓄積すれば、対象キャラクタの動作と観客の状態をデータベース化し、対象キャラクタにおけるその後の動作（すなわち、異なる時間や異なる場所での同一のパフォーマンス）に利用することができる。

【0047】

したがって、本発明は、多くの観客情報をデータベース化することができれば、さらに観客を盛り上げること、及び、より観客において満足感の高いパフォーマンスを実行させることができる。

【0048】

なお、検出手段には、例えば、観客の顔の認識や当該観客が有するサイリウムやスマホなどの装置が発する光を検出するカメラや赤外線センサ、観客の声援などの音を集音するマイクロホン、観客全体の熱量を検出するサーモグラフィ、各観客の体勢（着座しているか立ち上がっているかなど）を検出する着座センサやマーカユニットとカメラとから構成される検出ユニット、又は、観客が所有する端末装置の情報（例えば、各観客の観覧（座席）位置や個人を特定するための情報）を検出する無線受信器などが含まれる。

【0049】

そして、各観客の状態を示す観客情報としては、例えば、観客の顔情報、音情報（周波数情報や音量情報）などの生態情報、又は、熱量情報、体勢情報や光情報などの観客の状態を認識可能な生体情報に準ずる情報が含まれる。

【0050】

（８）また、本発明は、
前記受付手段が、
前記操作コマンドとともに、対象キャラクタの動作を享受する特定の観客を指定する観客指定指示を受け付け、
前記動作制御手段が、
前記受け付けられた観客指定指示によって特定される観客に向けて前記表示される対象キャラクタの動作を制御する、構成を有している。

【0051】

この構成により、本発明は、特定の観客の観覧位置に当該特定の観客に向けての特別な演出などの対象キャラクタの動作を制御することができるので、画像化されるキャラクタの実存感及び当該キャラクタのパフォーマンスにおけるライブ感を向上させ、観客を盛り上げること、及び、観客において満足感の高いパフォーマンスを実行させることができる。

【0052】

なお、特定の観客が享受する対象キャラクタの動作としては、当該特定の観客に対する投げキッス、お手振り、名前や特徴のセリフを発することなどが含まれる。
また、観覧の指定については、例えば、各観覧の会場内の位置を表示する表示装置を用いてタッチパネルやジョイスティックなどによる操作子を用いて実行されてもよいし、観客の顔画像のデータが記憶されていることを前提にカメラなどの検出手段を用いて自動的に特定してもよい。

【0053】

（９）また、本発明は、
前記提示手段が、
前記対象キャラクタの動作状況に応じて定まる操作コマンドを前記操作コマンド候補に含めて前記操作者に提示する、構成を有している。

【0054】

この構成により、本発明は、例えば、対象キャラクタの最初の行動や最後の行動など必ず使用が予想される操作コマンド、又は、過去の使用履歴によって特定の曲の歌い出しなどの所定のタイミングに必ず使用される操作コマンドを操作コマンド候補に含めて提示することができるので、適した操作コマンドが操作コマンド候補として抽出することができる。

【0055】

なお、「対象キャラクタの動作状況」とは、パフォーマンスの開始タイミングや終了タイミングなどの対象キャラクタの各行動が実行開始時や実行中の状況を示す。

【0056】

（１０）また、本発明は、
前記提示手段が、
前記対象キャラクタにおける画像生成の開始タイミングからの経過時間、当該画像生成中に受け付けられた操作コマンドの受付回数、又は、当該画像生成中に受け付けられた前記操作コマンドの種別の組み合わせに応じて前記提示する操作コマンドの種別を変更する、構成を有している。

【0057】

この構成により、本発明は、例えば、歌や踊り又は演劇や講演などのパフォーマンスを行う対象キャラクタの一連の動作を制御するためのアルゴリムによって当該対象キャラクタの動作中に、その時点で対象キャラクタの動作として適した操作コマンドを操作者に提示することができる。

【0058】

例えば、本発明は、
（１）対象キャラクタにおける画像生成（すなわち、コンテンツの上映）の開始タイミングには、観客を盛り上げるための行動を制御するための操作コマンドを提示し、
（２）コンテンツの上映の後半のタイミングには、盛り上がっている観客に対してそれを維持し、さらに盛り上げるための行動を制御するための操作コマンドを提示し、
（３）曲間などの静かなシーンについては、「セリフ」などのそのシーンに特化した操作コマンドを提示する、
ことができる。

【0059】

したがって、本発明は、画像化されるキャラクタの実存感及び当該キャラクタのパフォーマンスにおけるライブ感を向上させ、観客を盛り上げること、及び、観客において満足感の高いパフォーマンスを実行させることができる。

【0060】

（１１）また、本発明は、
所与のアルゴリズムに従いつつ、前記オブジェクト空間に配置された対象キャラクタの動作を画像化している場合に、
各操作コマンドには、前記対象キャラクタにおける画像生成の開始タイミングから当該
操作コマンドの受け付けが許容される時刻を示す受付完了許容時刻又は複数の所与の区間が定められて当該画像生成が実行されている場合において当該操作コマンドの受け付けが許容される区間を示す区間情報と、各操作コマンドに基づいて前記対象キャラクタの動作制御が実行される実行時間と、が規定されており、
前記提示手段が、
前記対象キャラクタにおける画像生成の開始タイミングからの経過時間又は前記操作コマンドを提示するタイミングが属する区間と、前記各操作コマンドの実行時間と、に応じて、前記提示する操作コマンドの種別を決定し、又は、前記対象キャラクタの動作制御の内容を変更した操作コマンドを提示する、構成を有している。

【0061】

この構成により、画像生成の開始タイミングからの経過時間、又は、例えば、動作制御が楽曲におけるライブパフォーマンスの場合には、前奏、Ａメロ、Ｂメロ又はサビ、演劇の場合には、第１幕や第２幕などの各パート（区間）のどの部分の画像かを見極めて操作コマンドを提示することができるとともに、状況によっては時短や動作内容の簡略化などの操作コマンドにおける対象キャラクタの動作制御の内容をも変更することができる。

【0062】

したがって、本発明は、例えば、歌や踊り又は演劇や講演などのパフォーマンスを行う対象キャラクタの一連の動作を制御するためのアルゴリムによって当該対象キャラクタの動作中に、その時点で対象キャラクタの動作として適した操作コマンドを操作者に提示することができる。

【0063】

（１２）また、本発明は、
前記動作制御手段が、
前記対象キャラクタにおける画像生成中に前記操作コマンドが受け付けられた場合に、予め定められたタイミングから当該受け付けられた操作コマンドに基づく前記表示される対象キャラクタの動作制御を開始する、構成を有している。

【0064】

この構成により、本発明は、対象キャラクタにおける画像生成中（すなわち、コンテンツの上映中）に対象キャラクタの動作の切り替わりタイミングを待って操作コマンドにおける対象キャラクタの動作を制御することができるので、観客に対して違和感のないシームレスな動作制御を行うことができる。

【0065】

（１３）また、本発明は、
前記提示手段が、
前記操作コマンド候補を提示中に、当該タイミングによって受け付けた操作コマンドに基づいて前記対象キャラクタの動作制御が開始される動作開始時刻又は当該動作開始時刻に関する時間を提示する、構成を有している。

【0066】

この構成により、本発明は、操作者の入力のし忘れを防止し、操作者の操作性を向上させることができる。

【0067】

なお、「動作開始時刻に関する時間」には、例えば、現在のタイミングから動作開始時刻までの残り時間が含まれる。

【0068】

（１４）また、本発明は、
前記動作制御手段が、
所与のアルゴリズムに従いつつ、前記オブジェクト空間に配置された対象キャラクタの動作を画像化している場合であって、前記操作コマンドが受け付けられた場合に、当該操作コマンドを受け付けた後のアルゴリズムを、前記受け付けられた操作コマンドに応じて変更し、当該変更したアルゴリズムに従って前記表示される対象キャラクタの動作を制
御する、構成を有している。

【0069】

この構成により、本発明は、操作コマンドを受け付けるとそれに合わせて対象キャラクタの動作を制御するので、操作者によって操作制御させた対象キャラクタの画像を提供することができるとともに、操作コマンドが受け付けられる毎に、対象キャラクタの動作も変更することができる。

【0070】

また、本発明は、操作コマンドによる動作制御によって、対象キャラクタにおけるパフォーマンス時間の変更が生じた場合であっても、対象キャラクタの動作を制御するアルゴリズムを変更することができるので、操作者の意図を損なうことなく、パフォーマンスなどのコンテンツのストーリーを展開することができる。

【0071】

したがって、本発明は、操作者における操作を簡便にしつつ、観客の雰囲気や観客の状態に応じて、対象キャラクタを動作させることができるので、画像化される対象キャラクタの実存感及び当該対象キャラクタのパフォーマンスにおけるライブ感を向上させつつ、観客を盛り上げること、及び、新鮮みのあるパフォーマンスを実現することができる。

【0072】

（１５）また、上記課題を解決するため、本発明は、
観客の観覧対象となる画像化された対象キャラクタの動作を操作制御するプログラムであって、
前記対象キャラクタが配置されたオブジェクト空間に仮想カメラを設定し、当該仮想カメラを視点とした前記オブジェクト空間内における対象キャラクタの画像を生成する画像生成手段、
前記観客によって視認される観客用表示装置に前記対象キャラクタの画像を表示させる観客用表示制御手段、
前記オブジェクト空間における対象キャラクタの動作を制御するための複数の操作コマンド中から、操作者によって前記観客に関する情報を示す観客情報に応じて選択される操作コマンドを、操作コマンド候補として、前記操作者に提示する提示手段と、
前記提示されている操作コマンド候補の中から、前記操作者によって操作指示された操作コマンドを受け付ける受付手段、及び、
前記受け付けられた操作コマンドに基づいて、前記表示される対象キャラクタの動作を制御する動作制御手段、
としてコンピュータを機能させる構成を有している。

【0073】

この構成により、本発明は、観客の雰囲気や観客の現在の状態を示す情報、又は、観客の属性や課金履歴などの各観客の観客情報に応じて操作者によって選択される操作コマンド、又は、当該観客情報に応じて抽出されて操作者によって選択される操作コマンドを、操作コマンド候補として操作者に提示することができる。

【0074】

したがって、本発明は、操作者における操作を簡便にしつつ、観客の雰囲気や観客の状態に応じて、対象キャラクタを動作させることができるので、画像化される対象キャラクタの実存感及び当該対象キャラクタのパフォーマンスにおけるライブ感を向上させつつ、観客を盛り上げること、及び、新鮮みのあるパフォーマンスを実現することができる。

【0075】

この結果、本発明は、観客において満足感の高い対象キャラクタの動作（すなわち、パフォーマンス）を制御することができる。

【0076】

（１６）また、上記課題を解決するため、本発明は、
観客の観覧対象となる画像化された対象キャラクタの動作を操作制御する操作制御システムと、
前記観客によって視認される観客用表示装置と、
を備え、
前記操作制御システムが、
前記対象キャラクタが配置されたオブジェクト空間に仮想カメラを設定し、当該仮想カメラを視点とした前記オブジェクト空間内における対象キャラクタの画像を生成する画像生成手段と、
前記観客用表示装置に前記対象キャラクタの画像を表示させる観客用表示制御手段と、
前記オブジェクト空間における対象キャラクタの動作を制御するための複数の操作コマンド中から、操作者によって前記観客に関する情報を示す観客情報に応じて選択される操作コマンドを、操作コマンド候補として、前記操作者に提示する提示手段と、
前記提示されている操作コマンド候補の中から、前記操作者によって操作指示された操作コマンドを受け付ける受付手段と、
前記受け付けられた操作コマンドに基づいて、前記表示される対象キャラクタの動作を制御する動作制御手段と、
を備える構成を有している。

【0077】

この構成により、本発明は、観客の雰囲気や観客の現在の状態を示す情報、又は、観客の属性や課金履歴などの各観客の観客情報に応じて操作者によって選択される操作コマンド、又は、当該観客情報に応じて抽出されて操作者によって選択される操作コマンドを、操作コマンド候補として操作者に提示することができる。

【0078】

したがって、本発明は、操作者における操作を簡便にしつつ、観客の雰囲気や観客の状態に応じて、対象キャラクタを動作させることができるので、画像化される対象キャラクタの実存感及び当該対象キャラクタのパフォーマンスにおけるライブ感を向上させつつ、観客を盛り上げること、及び、新鮮みのあるパフォーマンスを実現することができる。

【0079】

この結果、本発明は、観客において満足感の高い対象キャラクタの動作（すなわち、パフォーマンス）を制御することができる。

【図面の簡単な説明】

【0080】

【図1】本発明に係るコンテンツ上映システムの一実施形態における概要構成を示す構成図である。

【図2】一実施形態のイベント会場におけるコンテンツ上映システム及び大型表示装置の関係と演技キャラクタ及び観客の関係を説明するための図である。

【図3】一実施形態におけるサーバ装置の構成を示す機能ブロック図の一例である。

【図4】一実施形態におけるシステム制御装置の構成を示す機能ブロック図の一例である。

【図5】一本実施形態のコンテンツの操作コマンド候補提示処理について説明するための図（その１）である。

【図6】一本実施形態のコンテンツの操作コマンド候補提示処理について説明するための図（その２）である。

【図7】一本実施形態のコンテンツの操作コマンド候補提示処理について説明するための図（その３）である。

【図8】一実施形態のコンテンツの操作コマンドに基づく動作制御処理について説明するための図（その１）である。

【図9】一実施形態のコンテンツの操作コマンドに基づく動作制御処理について説明するための図（その１）である。

【図10】一実施形態のシステム制御装置によって実行される操作コマンド候補提示処理を含む操作コマンドに基づく動作制御処理の動作を示すフローチャート（その１）である。

【図11】一実施形態のシステム制御装置によって実行される操作コマンド候補提示処理を含む操作コマンドに基づく動作制御処理の動作を示すフローチャート（その１）である。

【発明を実施するための形態】

【0081】

以下、実施形態について説明する。なお、以下に説明する実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また、本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。さらに、以下の実施形態は、実空間の所与の会場に収容された観客に対して、観覧の対象となるキャラクタ（以下、「対象キャラクタ」ともいう。）が配置されたオブジェクト空間内の画像を、コンテンツとして、上映するコンテンツ上映システムに対し、本発明に係る操作制御シスステム、コンテンツ上映システム及びプログラムを適用した場合の実施形態である。

【0082】

［１］コンテンツ上映システム
まず、図１を用いて本実施形態のコンテンツ上映システム１０の概要及び概要構成について説明する。なお、図１は、本実施形態のコンテンツ上映システム１０を含むネットワークシステムの構成を示すシステム構成の一例を示す図であり、図２は、イベント会場におけるコンテンツ上映システム１０及び大型表示装置１２の関係と対象キャラクタの一例である演技キャラクタ及び観客の関係を説明するための図である。

【0083】

本実施形態のコンテンツ上映システム１０は、イベント会場などのコンテンツの上映を実施する実空間の所与の会場（以下、「上映会場」という。）に収容されたた観客に対して、例えば、複数のアイドル（いわゆる、オブジェクト空間で動作を行うキャラクタ（以下、「演技キャラクタ」という。））から構成されるグループの演技パフォーマンス（具体的には、歌唱ライブ）を画像化して観覧させるコンテンツを上映する上映システムである。

【0084】

そして、本実施形態のコンテンツ上映システム１０は、コンテンツ内に規定されたアルゴリズムと、操作者の指示と、に基づいて、演技キャラクタの動作を制御しつつ、演技パフォーマンスの動画像を生成し、画像化される演技キャラクタの実存感及び当該演技キャラクタのパフォーマンスにおけるライブ感を向上させつつ、観客を盛り上げること、及び、新鮮みのあるパフォーマンスを動画像として提供する構成を有している。

【0085】

具体的には、コンテンツ上映システム１０は、図１に示すように、インターネットなどのネットワークを介してサーバ装置１１に接続されており、当該サーバ装置１１によって他のコンテンツ上映システム（１０Ａ、１０Ｂ、１０Ｃ）を含めて管理される。

【0086】

そして、コンテンツ上映システム１０は、図１及び図２に示すように、実空間の所与の会場（例えば、イベント会場）に設置され、コンテンツを観客３によって視認可能に表示する大型表示装置１２と、操作者５の各種の操作を受け付けるとともに大型表示装置１２にコンテンツを表示させるシステム制御装置２０と、から構成される。

【0087】

大型表示装置１２は、例えば、イベント会場などのコンテンツを上映する会場に設けられたステージ２上に設置され、歌や踊り又は演劇や講演などのパフォーマンスを行う演技キャラクタ８を含むオブジェクト空間を画像化する装置である。

【0088】

そして、大型表示装置１２は、ステージ２上に形成されている大型のスクリーンと、当該スクリーンに画像を（例えば背面から）投影するプロジェクターによって構成される。

【0089】

また、大型表示装置１２は、楽曲の歌唱や、楽器の演奏、ダンス、大道芸などの演技キャラクタ８のライブパフォーマンスをコンテンツとして上映する。

【0090】

なお、大型表示装置１２としては、大型の液晶表示装置、ホログラムなどの立体画像化装置によって構成されていてもよい。

【0091】

システム制御装置２０は、例えば、タブレット型情報端末装置、パーソナルコンピュータ、スマートフォン、又は、ゲーム機などの情報処理装置によって構成され、インターネット（ＷＡＮ）、ＬＡＮなどのネットワークを介してサーバ装置１１に接続可能な装置である。なお、システム制御装置２０とサーバ装置１１との通信回線は、有線でもよいし無線でもよい。

【0092】

また、システム制御装置２０は、
（１）演技キャラクタが配置されたオブジェクト空間に仮想カメラを設定し、当該仮想カメラを視点としたオブジェクト空間の画像を生成し、
（２）観客によって視認される大型表示装置に演技キャラクタを中心としたオブジェクト空間の画像を表示させ、
（３）コンテンツの上映中に、画像化される演技キャラクタの動作を制御するための複数の操作コマンド中から、観客に関する情報を示す観客情報に応じて選択される操作コマンドを、操作コマンド候補として、操作者に提示し、
（４）操作者の操作指示によって、提示した操作コマンド候補を特定し、当該特定した操作コマンド候補を、操作コマンドとして、受け付け、
（５）受け付けた操作コマンドに基づいて、表示される演技キャラクタの動作を制御する、
構成を有している。

【0093】

そして、システム制御装置２０は、演技キャラクタを中心に、オブジェクト空間に配置された仮想カメラを視点とした画像をコンテンツとして観客に観覧させるために大型表示装置１２に表示する構成を有している。

【0094】

特に、システム制御装置２０は、性別・年齢・人数やアイドルキャラクタなどの演技キャラクタの種別が規定された１のコンテンツを選択すると、当該コンテンツに含まれるアルゴリズムに従いつつ、操作者の操作に従って、オブジェクト空間に配置された演技キャラクタ（例えば、アイドルキャラクタ）の演技パフォーマンスを画像化する構成を有している。

【0095】

例えば、本実施形態のシステム制御装置２０は、図２に示すように、第１演技キャラクタ（アイドルキャラクタ）８Ａと第２演技キャラクタ（アイドルキャラクタ）８Ｂとの２人組から構成される演技キャラクタのグループによって実行されるライブパフォーマンスをコンテンツとして大型表示装置１２に表示させるようになっている。

【0096】

サーバ装置１１は、例えば、ＡＰＩ（アプリケーションプログラミングインタフェース）や所定のプラットフォーム等を利用し、各コンテンツ上映システム１０に各種のデータを提供し、又は、各コンテンツ上映システム１０から観客情報を取得して管理する情報処理装置である。

【0097】

特に、サーバ装置１１は、コンテンツ上映システム１０において演技キャラクタのパフォーマンスを画像化し、かつ、音を出力するためのデータ（以下、「コンテンツデータ」という。）を各コンテンツ上映システム１０に提供する。

【0098】

また、サーバ装置１１は、記憶領域（後述する記憶部１４０）を有し、当該記録領域を用いて各観客の課金情報、行動履歴の情報（以下、「行動履歴情報」という。）などの各情報の管理を実行する。ただし、サーバ装置１１は、当該記憶領域に代えてネットワーク（イントラネット又はインターネット）を介して接続されたデータベース（広義には記憶装置、メモリ）に記憶するようにしてもよい。

【0099】

なお、サーバ装置１１は、１つの（装置、プロセッサ）で構成されていてもよいし、複数の（装置、プロセッサ）で構成されていてもよい。

【0100】

また、本実施形態では、コンテンツ上映システム１０が、コンテンツデータ（具体的には、後述するアルゴリズムを規定する制御データ）に基づいて、又は、受け付けた操作者の操作コマンドに基づいて、オブジェクト空間内の演技キャラクタの動作制御を行うが、当該演技キャラクタの各動作制御の各処理を、サーバ装置１１が一部又は全部を行ってもよい。

【0101】

この場合において、例えば、サーバ装置１１で全ての処理が実行される場合には、コンテンツ上映システム１０は、サーバ装置１１から送信されたオブジェクト空間内において動作制御された演技キャラクタを表示する表示制御データなどのデータを受信してその表示制御を行うとともに、操作者によって入力された操作情報をサーバ装置１１に送信するようになっている。

【0102】

［２］サーバ装置
まず、図３を用いて本実施形態のサーバ装置１１の概要及び構成について説明する。なお、図３は、本実施形態のサーバ装置１１の機能ブロックを示す図である。また、本実施形態のサーバ装置１１は図３の構成要素（各部）の一部を省略した構成としてもよい。

【0103】

サーバ装置１１は、主に提供するコンテンツの提供に関する処理を実行するサーバ処理部１００、管理者やその他の入力に用いるための入力部１２０、所定の表示を行う表示部１３０、観客情報などの主にコンテンツに用いる各種のデータを記憶する記憶部１４０、所定の情報が記憶された情報記憶媒体１８０、及び、コンテンツ上映システム１０やその他と通信を行う通信部１９６を含む。

【0104】

入力部１２０は、システム管理者等がコンテンツに関する設定やその他の必要な設定、データの入力に用いるものである。例えば、本実施形態の入力部１２０は、マウスやキーボード等によって構成される。

【0105】

表示部１３０は、システム管理者用の操作画面を表示するものである。例えば、本実施形態の表示部１３０は、液晶ディスプレイ等によって構成される。

【0106】

情報記憶媒体１８０（コンピュータにより読み取り可能な媒体）は、プログラムやデータなどを格納するものであり、その機能は、光ディスク（ＣＤ、ＤＶＤ）、光磁気ディスク（ＭＯ）、磁気ディスク、ハードディスク、磁気テープ、或いはメモリ（ＲＯＭ）などによって構成される。

【0107】

通信部１９６は、外部（例えば、端末、他のサーバや他のネットワークシステム）との間で通信を行うための各種制御を行うものであり、その機能は、各種プロセッサ又は通信用ＡＳＩＣなどのハードウェアや、プログラムなどによって構成される。

【0108】

記憶部１４０は、サーバ処理部１００や通信部１９６などのワーク領域となるもので、その機能は、ＲＡＭ（ＶＲＡＭ）などによって構成される。なお、記憶部１４０に記憶さ
れる情報は、データベースで管理してもよい。

【0109】

また、本実施形態においては、記憶部１４０には、ワーク領域として使用される主記憶部１４２と、各コンテンツ上映システム１０に提供するコンテンツに関するデータを示すコンテンツデータ１４４、観客に関する観客情報を示す観客情報１４６、及び、コンテンツが上映されル毎に収集されたたデータ（以下、「コンテンツ収集データ」という。）１４８が記憶される。ただし、記憶部１４０には、上述の情報の他に、コンテンツ演算に必要な各種の情報が記憶される。

【0110】

コンテンツデータ１４４には、コンテンツ毎に、コンテンツＩＤに対応付けて、各コンテンツ上映システム１０において使用されるアルゴリズムが規定されるデータ（以下、「制御データ」ともいう。）、演技キャラクタが演技パフォーマンスを実行する際の楽曲やセリフなどの各種の音データ、及び、演技キャラクタを含むオブジェクト空間を画像化する際に用いる各種の画像データが含まれる。

【0111】

特に、アルゴリズムには、オブジェクト空間における演技キャラクタの動作、当該オブジェクト空間内に設定される仮想カメラの位置やアングル、操作コマンドを提示するタイミングや当該操作コマンドによって制御するタイミング、提示する操作コマンドの種別、演技キャラクタが演技パフォーマンスを実行する際の楽曲やセリフなどの各種の音の出力タイミングを示すコンテンツの上映の流れが規定されている。

【0112】

また、コンテンツデータ１４４には、コンテンツ毎に、実際に各コンテンツ上映システム１０によって使用された各操作コマンドの種別、タイミング及び回数が使用履歴情報として記憶されている。

【0113】

観客情報１４６には、観客毎に観客ＩＤに対応付けて、
（１）性別、年代、居住地域などの観客の属性情報、
（２）好きな演技キャラクタなどの観客の嗜好情報、
（３）スマートフォンやＩＤタグなどの観客が保有する端末装置の情報（例えば、観客の個人を特定する情報やチケット情報などの観覧時の位置（座席）を示す情報）、
（４）ＩＤなどの各観客に対応付けて、又は、観客が保有する端末装置に対応付けて、記憶されている情報であって、観覧している対象キャラクタや当該対象キャラクタがパフォーマンスしているイベントに関連するゲームなどの所定のゲームにおけるプレー状況やその履歴（課金履歴も含む。）に関する情報（ゲームプレー情報）、
（５）観客が保有する端末装置を用いて記憶される情報であって、対象キャラクタや当該対象キャラクタがパフォーマンスしているイベントなどへの参加を示す行動履歴情報、及び、当該イベントやパフォーマンスに関連する所定の通販サイトや実売店舗（イベント会場内も含む）による課金情報やその課金履歴情報、並びに、
（６）各観客から生体情報（例えば、顔画像、音声情報（各観客の声紋情報や周波数特性を示す周波数特性情報を含む。）、及び、体勢情報、熱量の情報や所定のデバイス（スマートフォンやサイリウム））を用いた光の情報などの生体情報に準ずる情報が含まれる。

【0114】

また、課金履歴には、上記のように、ゲームにおける課金履歴、及び、サービスや商品の購入に関する課金を含み、これらの課金が実行された日時を示す課金日時、アイテムの購入やお捻りの購入などの課金要素の種別、課金した額を示す課金額などが含まれる。

【0115】

コンテンツ収集データ１４８には、コンテンツ毎に、各コンテンツ上映システム１０において上映されたコンテンツの上映実績（日時や回数）と、コンテンツが上映された際の操作者の指示によって受け付けた操作コマンドのデータ及び各演技キャラクタの動作制御の内容を示すデータと、が記憶される。

【0116】

サーバ処理部１００は、記憶部１４０内の主記憶部１４２をワーク領域として各種処理を行う。サーバ処理部１００の機能は各種プロセッサ（ＣＰＵ、ＤＳＰ等）、ＡＳＩＣ（ゲートアレイ等）などのハードウェアや、プログラムにより実現できる。

【0117】

サーバ処理部１００は、情報記憶媒体１８０に格納されるプログラム（データ）に基づいて本実施形態の種々の処理を行う。即ち情報記憶媒体１８０には、本実施形態の各部としてコンピュータを機能させるためのプログラム（各部の処理をコンピュータに実行させるためのプログラム）が記憶される。

【0118】

例えば、サーバ処理部１００（プロセッサ）は、情報記憶媒体１８０に記憶されているプログラムに基づいて、サーバ装置１１全体の制御を行うとともに、コンテンツデータをコンテンツ上映システム１０に提供する提供処理、又は、コンテンツ上映システム１０と連動して観客情報を提供する処理及びコンテンツ上映システム１０から送信されたコンテンツの上映時に収集した操作コマンドや観客情報を記憶部１４０に登録する処理などの各処理を行う。

【0119】

具体的には、本実施形態のサーバ処理部１００は、通信制御部１０１、コンテンツ管理部１０２及び観客管理部１０３を少なくとも有している。

【0120】

通信制御部１０１は、コンテンツ上映システム１０とネットワークを介してデータを送受信する処理を行う。すなわち、サーバ装置１１は、通信制御部１０１によってコンテンツ上映システム１０にコンテンツデータの送信、及び、当該コンテンツ上映システム１０から送信された観客情報や操作コマンドなどの各種の情報の受信をする。

【0121】

コンテンツ管理部１０２は、各コンテンツ上映システム１０において上映されたコンテンツの上映実績及び各コンテンツ上映システム１０の上映中に用いられた操作コマンドなどデータをコンテンツ収集データ１４８に登録する。

【0122】

また、コンテンツ管理部１０２は、所定のタイミングにおいて同一のコンテンツの各コンテンツ収集データを解析し、操作者に提示する操作コマンドの最適化を実行し、コンテンツの上映中のデフォルトとして設定した操作コマンドなどが設定されたアルゴリズムを更新する。

【0123】

観客管理部１０３は、各観客の登録手続きに係る処理（属性情報や嗜好情報などの登録）及びアカウント（観客ＩＤ）に紐付けられるデータの記憶管理を行う。

【0124】

具体的には、観客管理部１０３は、各観客情報を登録管理するためのアカウントの付与制御、コンテンツ実行中に検出された各観客の観客情報（以下、「検出観客情報」ともいい、例えば、顔画像の各観客の生体情報の他に、当該生体情報が検出された際の操作コマンドやパフォーマンスタイミングなども含む。）と観客に関する属性情報や嗜好情報などの個人情報とを登録管理する登録情報管理、アカウントに紐付けられ課金要素の実行に係る対価の支払い原資として使用される仮想口座の設定と入出金制御、当該アカウントの観客による課金要素に係る課金履歴の登録、及び、ゲーム履歴の登録などが実行される。

【0125】

特に、観客管理部１０３は、検出観客情報としては、コンテンツ上映システム１０によって検出された各情報を観客情報アカウントと紐付けて記憶及び管理を行う。

【0126】

また、観客管理部１０３は、ゲームプレー情報や課金履歴情報などは、図示しないゲームサーバ装置、通販サイトを運営する管理サーバ装置、又は、クレジットカードや銀行の
決済サーバ装置などの図示しない他のサーバ装置と連動し、所定のデータを授受することによって各情報の観客情報１４６への登録を実行する。

【0127】

［３］システム制御装置
次に、図４を用いて本実施形態のコンテンツ上映システム１０について説明する。なお、図４は、本実施形態のコンテンツ上映システム１０の機能ブロックを示す図である。また、本実施形態のコンテンツ上映システム１０は、図４の構成要素（各部）の一部を省略した構成としてもよい。

【0128】

観客情報検出部２５０は、撮像カメラ、赤外センサ、集音マイク、着座センサ、サーモグラフィ又は各観客が有するマーカユニットとその検出装置（カメラ）などの各種の生態情報又は生態情報に準ずる情報を検出するための機能を有している。

【0129】

そして、観客情報検出部２５０は、コンテンツの上映中にアルゴリズムに従って所定の生体情報などを検出し、操作コマンド候補提示処理部２１４に検出した情報を提供する。

【0130】

なお、例えば、本実施形態の観客情報検出部２５０は、本発明の検出手段を構成する。

【0131】

入力部２６０は、操作者が操作コマンドを入力するためのものであり、その機能は、タッチパネル、タッチパネル型ディスプレイ、トラックボール、キーボード、マウスなどにより実現できる。

【0132】

すなわち、入力部２６０は、例えば、タッチパネルなどのタッチ操作入力を実行するデバイスによって構成されている場合には、画像が表示される画面上における２次元の指示位置座標（ｘ，ｙ）を検出可能な検出部２６２を備えている。

【0133】

例えば、入力部２６０は、接触検出領域（タッチパネル）における、２次元の接触位置座標（ｘ，ｙ）を検出可能な検出部２６２を備えている。

【0134】

本実施形態において、接触位置は、操作者の接触操作（直接的な接触及びポインティングデバイスによる間接的な接触も含む）により、接触検出領域から得られる位置情報である。

【0135】

なお、本実施形態の操作者の接触操作には、ユーザの指によるモニタ表示部２９０（タッチパネル）上への直接的なタッチ操作、及び、ポインティングデバイスなどのデバイスを介して実行される間接的なモニタ表示部２９０（タッチパネル）上へのタッチ操作の他に、モニタ表示部２９０（タッチパネル）に直接的及び間接的にタッチ操作又はスライド操作をせずに、光ビームやカメラを用いたモニタ表示部２９０（タッチパネル）上への擬似的なタッチ操作も含まれる。

【0136】

なお、本実施形態では、操作者用のモニタ表示部（ディスプレイ）２９０が、液晶ディスプレイと、操作者の接触位置を検出するためのタッチパネルとが積層されたタッチパネル型ディスプレイとなっている。すなわち、本実施形態では、モニタ表示部２９０が入力部２６０として機能する。

【0137】

また、モニタ表示部２９０への接触操作は、指先を用いて行うようにしてもよいし、タッチペンなどの入力機器を用いて行うようにしてもよい。

【0138】

さらに、入力部２６０は、指示位置以外の操作情報（操作信号）を入力可能なボタンやレバー、ステアリング、マイク、加速度センサなどを備えていてもよい。

【0139】

記憶部２７０は、処理部２００や通信部２９６などのワーク領域となるもので、その機能はＲＡＭ（ＶＲＡＭ）などにより実現できる。そして、本実施形態の記憶部２７０は、ワーク領域として使用される主記憶部２７１と、最終的な表示画像等が記憶される画像バッファ２７２と、観客に関する情報を示す観客情報２７３と、アルゴリズムのデータ、操作コマンドデータ又はテーブルデータなどのコンテンツの上映を実行する上で必要な各種のデータを記憶するコンテンツデータ記憶部２７４と、を含む。

【0140】

観客情報２７３には、観客情報検出部２５０によって検出された各観客の観客情報、及び、上映会場に来場している観客の属性情報などの予め定められたが観客情報が記憶される。

【0141】

コンテンツデータ記憶部２７４には、コンテンツ上映中に、当該コンテンツの上映で使用された各操作コマンドの種別、タイミング及び回数が使用履歴情報として記憶される。

【0142】

なお、これらの一部を省略する構成としてもよいし、サーバ装置１１の記憶部１４０がその一部を構成してもよい。また、例えば、本実施形態の記憶部２７０は、単独で、又は、サーバ装置１１の記憶部１４０とともに、本発明の記憶手段を構成する。

【0143】

観客情報２７３には、例えば、サーバ装置１１の記憶部１４０に記憶された観客情報において、上映するパフォーマンスを観覧予定、又は、観覧中の観客の観客情報が記憶される。

【0144】

コンテンツデータ記憶部２７４には、コンテンツを上映する上で必要な各種の情報、コンテンツの上映中に使用された操作コマンドなどの情報、及び、各種の判定処理で用いられる条件情報などが記憶される。

【0145】

情報記憶媒体２８０（コンピュータにより読み取り可能な媒体）は、プログラムやデータなどを格納するものであり、その機能は、光ディスク（ＣＤ、ＤＶＤ）、光磁気ディスク（ＭＯ）、磁気ディスク、ハードディスク、磁気テープ、或いはメモリ（ＲＯＭ）などにより実現できる。

【0146】

また、情報記憶媒体２８０には、本実施形態の各部としてコンピュータを機能させるためのプログラム（各部の処理をコンピュータに実行させるためのプログラム）を記憶することができる。なお、処理部２００は、後述するように、情報記憶媒体２８０に格納されるプログラム（データ）に基づいて本実施形態の種々の処理を行う。

【0147】

モニタ表示部２９０は、本実施形態により生成された画像を出力するものであり、その機能は、ＣＲＴ、ＬＣＤ、タッチパネル型ディスプレイ、ＨＭＤ（ヘッドマウントディスプレイ）、例えばスクリーンとプロジェクターから構成される投影装置などにより実現できる。

【0148】

特に、本実施形態ではモニタ表示部２９０は、上述のように、タッチパネルディスプレイを用いることにより操作者が各種の入力を行う入力部２６０としても機能する。ここでタッチパネルとして、例えば抵抗膜方式（４線式、５線式）、静電容量方式、電磁誘導方式、超音波表面弾性波方式、赤外線走査方式などのタッチパネルを用いることができる。

【0149】

音出力部２９２は、本実施形態により生成された音を出力するものであり、その機能は、スピーカ、或いはヘッドフォンなどにより実現できる。

【0150】

通信部２９６は、外部（例えばホスト装置や他の端末装置）との間で通信を行うための各種制御を行うものであり、その機能は、各種プロセッサ又は通信用ＡＳＩＣなどのハードウェアや、プログラムなどにより実現できる。

【0151】

なお、システム制御装置２０は、サーバ装置１１が有する情報記憶媒体や記憶部２７０に記憶されている本実施形態の各部としてコンピュータを機能させるためのプログラムやデータを、ネットワークを介して受信し、受信したプログラムやデータを情報記憶媒体２８０や記憶部２７０に記憶してもよい。このようにプログラムやデータを受信してシステム制御装置２０を機能させる場合も本発明の範囲内に含めることができる。

【0152】

処理部２００（プロセッサ）は、入力部２６０からの入力データやプログラムなどに基づいて、サーバ装置１１から提供されたプログラム及びアルゴリズムのデータに従って、又は、当該サーバ装置１１と連動して、操作コマンド提示処理、操作コマンド受付処理を含むコンテンツ上映処理、画像生成処理、及び、音生成処理などの処理を行う。

【0153】

特に、本実施形態においては、コンテンツ上映処理としては、コンテンツの上映開始条件が満たされた場合にコンテンツの上映を開始する処理、演技キャラクタなどのコンテンツの上映に用いられる各種のオブジェクトを配置する処理、アルゴリズムに従って、又は、操作者の操作コマンドに従って演技キャラクタの動作を制御する処理、コンテンツの上映終了条件が満たされた場合にゲームを終了する処理などが含まれる。

【0154】

また、処理部２００は、記憶部２７０をワーク領域として各種処理を行う。処理部２００の機能は各種プロセッサ（ＣＰＵ、ＤＳＰ等）、ＡＳＩＣ（ゲートアレイ等）などのハードウェアや、プログラムにより実現できる。

【0155】

特に、本実施形態の処理部２００は、オブジェクト空間設定部２１０と、タッチ検出処理部２１１と、コンテンツ表示制御部２１２と、モニタ表示制御部２１３、操作コマンド候補提示処理部２１４と、移動処理部２１５と、仮想カメラ制御部２１６と、コンテンツ編集処理部２１７と、コンテンツ上映実行制御部２１８、コンテンツ管理部２１９と、描画部２２０と、音処理部２３０とを含む。また、これらの一部を省略する構成としてもよい。

【0156】

なお、例えば、本実施形態のタッチ検出処理部２１１は、本発明の受付手を構成し、コンテンツ表示制御部２１２は、本発明の観客用表示制御手段を構成する。また、例えば、本実施形態のモニタ表示制御部２１３は、本発明のモニタ表示制御手段を構成し、操作コマンド候補提示処理部２１４は、本発明の提示手段を構成する。さらに、例えば、本実施形態のコンテンツ編集処理部２１７は、編集手段を構成し、コンテンツ上映実行制御部２１８は、本発明の登録手段及び動作制御手段を構成する。

【0157】

オブジェクト空間設定部２１０は、キャラクタオブジェクト（演技キャラクタ）、移動経路、建物、樹木、柱、壁、マップ（地形）などの表示物を表す各種オブジェクト（スプライト、ビルボード、ポリゴン、自由曲面又はサブディビジョンサーフェスなどのプリミティブ面で構成されるオブジェクト）をオブジェクト空間（すなわち、ゲーム空間）に配置設定する処理を行う。

【0158】

具体的にはオブジェクト空間設定部２１０は、オブジェクト（モデルオブジェクト）の位置や回転角度（向き、方向と同義）を決定し、その位置（Ｘ、Ｙ）或いは（Ｘ、Ｙ、Ｚ）にその回転角度（Ｘ、Ｙ軸回りでの回転角度）或いは（Ｘ、Ｙ、Ｚ軸回りでの回転角度）でオブジェクトを配置する。

【0159】

なお、オブジェクト空間とは、いわゆる仮想２次元空間、仮想３次元空間の両方を含む。２次元空間とは、例えば２次元座標（Ｘ，Ｙ）においてオブジェクトが配置される空間であり、３次元空間とは、例えば３次元座標（Ｘ，Ｙ，Ｚ）においてオブジェクトが配置される空間である。

【0160】

そして、オブジェクト空間を２次元空間とした場合には、複数のオブジェクトそれぞれについて設定された優先順位に基づいてオブジェクトを配置する。例えば、奥側にあるように見せたいオブジェクト（スプライト）から順にオブジェクトを配置し、手前側にあるように見せたいオブジェクトを重ねて配置する処理を行うことができる。

【0161】

また、描画サイズが大きなオブジェクトを画像の下方に配置し、描画サイズが小さなオブジェクトを画像の上方に配置すれば、画面の上方に対応するオブジェクト空間が奥側にあるように見せることができ、画面の下方に対応するオブジェクト空間が手前側にあるように見せることができる。

【0162】

一方、オブジェクト空間を３次元空間とした場合には、ワールド座標系にオブジェクトを配置する。

【0163】

タッチ検出処理部２１１は、操作者が入力部２６０に入力した操作コマンドなどの演技キャラクタの動作制御を実行するための指示情報を受け付けて認識する認識処理を行う。

【0164】

具体的には、タッチ検出処理部２１１は、操作者の接触操作（すなわち、タッチ操作）を検出する接触検出領域（タッチパネル）における接触位置（２次元の接触位置座標）を指示位置として取得する。

【0165】

特に、タッチ検出処理部２１１は、
（１）画面へのタッチ操作入力されていない状態（以下、「無接触状態」という。）からタッチ操作入力された状態（以下、「接触状態」という。）への変化（以下、「状態変化」という。）を検出するとともに、当該状態変化が実行された検出位置を検出し、
（２）当該検出位置に表示されている操作コマンド候補の操作コマンドとしての検出、操作コマンドの編集指示（例えば、操作コマンドに対する演技キャラクタにおけるデフォルトの操作制御の追加、変更及び削除）、又は、演技キャラクタの特別な演出を享受する特定の観客の観覧の検出を実行する。

【0166】

コンテンツ表示制御部２１２は、大型表示装置１２上に、演技キャラクタを中心に、オブジェクト空間を画像化した画像を観客に観覧可能に表示させるための各種の制御を実行する。

【0167】

モニタ表示制御部２１３は、コンテンツの上映中に、上映されている演技キャラクタを中心としたコンテンツをモニタ表示部２９０に表示するとともに、操作者に対して操作コマンド候補を表示するなどの操作支援に関する各種の表示をモニタ表示部２９０に行う。

【0168】

移動処理部２１５は、オブジェクト空間内におけるオブジェクトの移動演算を行う。すなわち、移動処理部２１５は、入力部２６０により操作者が入力した入力データ又はプログラム（移動アルゴリズム）や各種データ（モーションデータ）などに基づいて、移動体オブジェクトをオブジェクト空間内で移動させ、又は、移動体オブジェクトの動作（モーション、アニメーション）を制御するための処理を行う。

【0169】

具体的には、本実施形態の移動処理部２１５は、オブジェクトの移動情報（移動方向、移動量、移動速度、位置、回転角度、或いは加速度）や動作情報（各パーツオブジェクト
の位置、或いは回転角度）を、１フレーム毎に順次求めるシミュレーション処理を行う。ここでフレームとは、オブジェクトの移動処理、動作処理（シミュレーション処理）や画像生成処理を行う時間の単位である。そして、本実施形態では、フレームレートは、固定としてもよいし、処理負荷に応じて可変としてもよい。

【0170】

仮想カメラ制御部２１６は、所与の視点から見える画像であって、奥行きがあるように見える画像を生成する。この場合に、仮想カメラ制御部２１６が、オブジェクト空間内の所与（任意）の視点から見える画像を生成するための仮想カメラ（視点）の制御処理を行う。具体的には、仮想カメラの位置（Ｘ、Ｙ、Ｚ）又は回転角度（Ｘ、Ｙ、Ｚ軸回りでの回転角度）を制御する処理（視点位置や視線方向を制御する処理）を行う。

【0171】

例えば、仮想カメラによりオブジェクト（例えば、キャラクタ、ボール、車）を後方から撮影する場合には、オブジェクトの位置又は回転の変化に仮想カメラが追従するように、仮想カメラの位置又は回転角度（仮想カメラの向き）を制御する。

【0172】

この場合には、移動処理部２１５で得られたオブジェクトの位置、回転角度又は速度などの情報に基づいて、仮想カメラを制御できる。或いは、仮想カメラを、予め決められた回転角度で回転させたり、予め決められた移動経路で移動させる制御を行ってもよい。また、この場合には、仮想カメラの位置（移動経路）又は回転角度を特定するための仮想カメラデータに基づいて仮想カメラを制御する。

【0173】

なお、仮想カメラ（視点）が複数存在する場合には、それぞれの仮想カメラについて上記の制御処理が行われる。

【0174】

コンテンツ編集処理部２１７は、コンテンツの上映中やその他のタイミングに、操作者の指示に基づいて、前記操作コマンドに対応する対象キャラクタの動作制御を編集する編集処理を実行する。

【0175】

コンテンツ上映実行制御部２１８は、
（１）コンテンツデータに含まれる制御データに規定されるアルゴリズムに従って画像化される対象キャラクタの動作を制御するアルゴリズム制御処理を実行し、
（２）アルゴリズム制御処理中に、操作コマンドが受け付けられた場合に、当該アルゴリズム制御処理の対象となる演技キャラクタの動作と連動し、又は、当該アルゴリズム制御処理に規定される演技キャラクタの動作に代えて、当該受け付けた操作コマンドに基づく示される演技キャラクタの動作を制御する。

【0176】

また、コンテンツ上映実行制御部２１８は、コンテンツの上映中に、使用した操作コマンド及びそれに基づく演技キャラクタの動作、並びに、検出した検出観客情報や使用した観客情報をコンテンツ収集データとしてサーバ装置１１に提供する。

【0177】

具体的には、コンテンツ上映実行制御部２１８は、コンテンツの上映後の所定のタイミングに、上映中に受け付けた操作コマンド及び検出した観客情報を、コンテンツ上映結果情報を解析するための情報として、又は、同一のコンテンツにおける他の上映に用いる使用履歴情報として、サーバ装置１１に登録する。

【0178】

コンテンツ管理部２１９は、コンテンツの上映中に、受け付けた操作コマンドの種別及びタイミングと、当該操作コマンドに基づく演技キャラクタの動作を実行した際に検出された各観客情報とを、コンテンツ上映結果情報として、コンテンツデータ記憶部２７４に記憶する。

【0179】

また、コンテンツ管理部２１９は、コンテンツの上映後の所定のタイミングに、上映中に受け付けた操作コマンド及び検出した観客情報を、コンテンツ上映結果情報を解析するための情報として、又は、同一のコンテンツにおける他の上映に用いる使用履歴情報として、サーバ装置１１に登録する。

【0180】

描画部２２０は、処理部２００で行われる種々の処理（コンテンツの上映に関する各処理）の結果に基づいて描画処理を行い、これにより画像を生成し、大型表示装置１２及びモニタ表示部（ディスプレイ）２９０に出力する。

【0181】

また、描画部２２０が生成する画像は、いわゆる２次元画像であってもよいし、いわゆる３次元画像であってもよく、描画部２２０は、オブジェクト空間における仮想カメラから見える画像であって、画面上に表示する画像を生成する。

【0182】

ここで２次元画像を生成する場合には、描画部２２０は、設定された優先度が低いオブジェクトから順に描画して、オブジェクト同士が重なる場合には、優先度の高いオブジェクトを上書きして描画する。

【0183】

また、３次元画像を生成する場合には、本実施形態の描画部２２０は、まずオブジェクト（モデル）の各頂点の頂点データ（頂点の位置座標、テクスチャ座標、色データ、法線ベクトル或いはα値等）を含むオブジェクトデータ（モデルデータ）が入力され、入力されたオブジェクトデータに含まれる頂点データに基づいて、頂点処理が行われる。なお、頂点処理を行うに際して、必要に応じてポリゴンを再分割するための頂点生成処理（テッセレーション、曲面分割、ポリゴン分割）を行うようにしてもよい。

【0184】

また、頂点処理では、頂点の移動処理や、座標変換（ワールド座標変換、カメラ座標変換）、クリッピング処理、透視変換、あるいは光源処理等のジオメトリ処理が行われ、その処理結果に基づいて、オブジェクトを構成する頂点群について与えられた頂点データを変更（更新、調整）する。そして、頂点処理後の頂点データに基づいてラスタライズ（走査変換）が行われ、ポリゴン（プリミティブ）の面とピクセルとが対応づけられる。そしてラスタライズに続いて、画像を構成するピクセル（表示画面を構成するフラグメント）を描画するピクセル処理（フラグメント処理）が行われる。

【0185】

ピクセル処理では、テクスチャの読出し（テクスチャマッピング）、色データの設定／変更、半透明合成、アンチエイリアス等の各種処理を行って、画像を構成するピクセルの最終的な描画色を決定し、透視変換されたオブジェクトの描画色を画像バッファ２７２（フレームバッファ、ピクセル単位で画像情報を記憶できるバッファ。ＶＲＡＭ、レンダリングターゲット）に出力（描画）する。すなわち、ピクセル処理では、画像情報（色、法線、輝度、α値等）をピクセル単位で設定あるいは変更するパーピクセル処理を行う。

【0186】

これにより、オブジェクト空間内に設定された仮想カメラ（所与の視点）から見える画像が生成される。なお、仮想カメラ（視点）が複数存在する場合には、それぞれの仮想カメラから見える画像を分割画像として１画面に表示できるように画像を生成することができる。

【0187】

なお、描画部２２０が行う頂点処理やピクセル処理は、シェーディング言語によって記述されたシェーダプログラムによって、ポリゴン（プリミティブ）の描画処理をプログラム可能にするハードウェア、いわゆるプログラマブルシェーダ（頂点シェーダやピクセルシェーダ）により実現されてもよい。プログラマブルシェーダでは、頂点単位の処理やピクセル単位の処理がプログラム可能になることで描画処理内容の自由度が高く、ハードウェアによる固定的な描画処理に比べて表現力を大幅に向上させることができる。
そして、描画部２２０は、オブジェクトを描画する際に、ジオメトリ処理、テクスチャマッピング、隠面消去処理、αブレンディング等を行う。

【0188】

ジオメトリ処理では、オブジェクトに対して、座標変換、クリッピング処理、透視投影変換、或いは光源計算等の処理を行う。そして、ジオメトリ処理後（透視投影変換後）のオブジェクトデータ（オブジェクトの頂点の位置座標、テクスチャ座標、色データ（輝度データ）、法線ベクトル、或いはα値等）を記憶部２７０に記憶する。

【0189】

テクスチャマッピングでは、記憶部２７０のテクスチャ記憶部に記憶されるテクスチャ（テクセル値）をオブジェクトにマッピングする処理を行う。具体的には、オブジェクトの頂点に設定（付与）されるテクスチャ座標等を用いて記憶部２７０のテクスチャ記憶部からテクスチャ（色（ＲＧＢ）、α値などの表面プロパティ）を読み出し、２次元の画像であるテクスチャをオブジェクトにマッピングする。この場合に、ピクセルとテクセルとを対応づける処理や、テクセルの補間としてバイリニア補間などを行う。

【0190】

なお、本実施形態では、オブジェクトを描画する際に、所与のテクスチャをマッピングする処理を行うようにしてもよい。この場合には、マッピングされるテクスチャの色分布（テクセルパターン）を動的に変化させることができる。

【0191】

また、この場合において、色分布（ピクセルパターン）が異なるテクスチャを動的に生成してもよいし、複数の色分布が異なるテクスチャを予め用意しておき、使用するテクスチャを動的に切り替えるようにしてもよい。またオブジェクト単位でテクスチャの色分布を変化させてもよい。

【0192】

隠面消去処理では、描画ピクセルのＺ値（奥行き情報）が格納されるＺバッファ（奥行きバッファ）を用いたＺバッファ法（奥行き比較法、Ｚテスト）による隠面消去処理を行う。すなわち、オブジェクトのプリミティブに対応する描画ピクセルを描画する際に、Ｚバッファに格納されるＺ値を参照するとともに、当該参照されたＺバッファのＺ値と、プリミティブの描画ピクセルでのＺ値とを比較し、描画ピクセルでのＺ値が、仮想カメラから見て手前側となるＺ値（例えば小さなＺ値）である場合には、その描画ピクセルの描画処理を行うとともにＺバッファのＺ値を新たなＺ値に更新する。

【0193】

αブレンディング（α合成）では、描画部２２０は、α値（Ａ値）に基づく半透明合成処理（通常αブレンディング、加算αブレンディング又は減算αブレンディング等）を行う。なお、α値は、各ピクセル（テクセル、ドット）に関連づけて記憶できる情報であり、例えば色情報以外のプラスアルファの情報である。α値は、マスク情報、半透明度（透明度、不透明度と等価）、バンプ情報などとして使用できる。

【0194】

特に、本実施形態での描画部２２０は、接触検出領域に対応する表示領域に表示させる画像を生成してもよい。表示領域に表示させる画像とは、例えばオブジェクトを含む画像でもよい。

【0195】

音処理部２３０は、処理部２００で行われる種々の処理の結果に基づいて音処理を行い、ＢＧＭ、効果音、又は音声などの演技キャラクタがパフォーマンスを実行する際の各種の音を生成し、音出力部２９２に出力する。

【0196】

タイマ部２４０は、システムクロックを利用して現在日時や制限時間、アルゴリズムに基づくコンテンツの上映に関する時間管理などのタイマ値を計測する処理を実行するための計時を行う。

【0197】

［４］本実施形態の手法
［４．１］概要
次に、本実施形態の手法（操作コマンドの提示処理）の概要について説明する。

【0198】

本実施形態のコンテンツ上映システム１０は、コンテンツを上映する際に、特別なスキルを必要とすることなく、簡便に操作者によって演技キャラクタを操作させることが可能な構成を有している。

【0199】

そして、本実施形態のコンテンツ上映システム１０は、演技キャラクタを観覧する観客の雰囲気や観客の状態に応じて、簡便な操作に基づいてキャラクタを動作させること可能であって、画像化される対象キャラクタの実存感及び当該対象キャラクタのパフォーマンスにおけるライブ感を向上させつつ、観客を盛り上げること、及び、新鮮みのあるパフォーマンスを実現することが可能な構成を有している。

【0200】

特に、コンテンツ上映システム１０は、
（１）サーバ装置１１から取得したコンテンツデータに含まれるアルゴリズムに従ってオブジェクト空間内に演技キャラクタを配置しつつ、当該演技キャラクタの動作を制御し、（２）動作制御されている演技キャラクタを中心に仮想カメラを視点としたオブジェクト空間の画像を大型表示装置１２及びモニタ表示部２９０に表示する、
各処理を、コンテンツを上映するコンテンツ上映処理として実行する構成を有している。

【0201】

そして、コンテンツ上映システム１０は、コンテンツ上映処理の実行中に、
（１）オブジェクト空間における対象キャラクタの動作を制御するための複数の操作コマンド中から、操作者によって観客情報に応じて選択される操作コマンドを、操作コマンド候補として、操作者に提示する操作コマンド候補提示処理、及び、
（２）操作者によって提示した操作コマンド候補の中から、１以上の操作コマンド候補が特定されると、当該特定した操作コマンド候補を操作コマンドとして受け付けて、当該受け付けた操作コマンドに基づいて、演技キャラクタの動作を制御する処理（以下、「操作コマンドに基づく動作制御処理」ともいう。）、
の各処理を実行する構成を有している。

【0202】

このような構成を有することによって、コンテンツ上映システム１０は、観客情報によってイベント会場などの対象キャラクタを観覧している観客が盛り上がっていないと判断された場合には、対象キャラクタが観客を盛り上げあげるための動作として、ＭＣ（セリフやマイクパフォーマンス）を実行させるコマンドを選択可能にし、又は、激しい踊りを対象キャラクタが実行する操作コマンドを選択可能にすることができるなど、対象キャラクタを観覧している観客の状況（すなわち、観客の現在の状態）に応じた対象キャラクタの動作を操作者に選択させることができるようになっている。

【0203】

また、コンテンツ上映システム１０は、観客情報によって、対象キャラクタを観覧する観客に女性が多いと判断された場合には、女性向けの対象キャラクタの動作を制御し、又は、過去の行動において所定のグッズを購入していると判断された場合には、当該観客に対して対象キャラクタの特別な演出を実行させて観覧している観客の行動履歴や属性に応じた対象キャラクタの動作を制御する操作コマンドを操作者に選択させることができるようになっている。

【0204】

このように、本実施形態のコンテンツ上映システム１０は、操作者における操作を簡便にしつつ、観客の雰囲気や観客の状態に応じて、演技キャラクタを動作させることができるので、画像化される演技キャラクタの実存感及び当該演技キャラクタのパフォーマンスにおけるライブ感を向上させつつ、観客を盛り上げること、及び、新鮮みのあるパフォー
マンスを実現することができるようになっている。

【0205】

したがって、コンテンツ上映システム１０は、観客において満足感の高い対象キャラクタの動作（すなわち、パフォーマンス）を制御することができるようになっている。

【0206】

［４．２］操作コマンド候補提示処理
次に、図５〜図７を用いて本実施形態のコンテンツの操作コマンド候補提示処理について説明する。なお、図５〜図７は、本実施形態のコンテンツの操作コマンド候補提示処理について説明するための図である。

【0207】

（基本原理）
操作コマンド候補提示処理部２１４は、操作コマンド候補提示処理としては、演技キャラクタのパフォーマンスの開始から終了するまでのアルゴリズムに規定された所定のタイミングに、演技キャラクタの動作を制御するための操作コマンド候補を提示する。

【0208】

特に、操作コマンド候補提示処理部２１４は、
（１）オブジェクト空間における対象キャラクタの動作を制御するための複数の操作コマンド中から、観客情報を参照しつつ操作者の意思によって選択される操作コマンドを操作コマンド候補として提示する第１操作コマンド候補提示処理、及び、
（２）オブジェクト空間における対象キャラクタの動作を制御するための複数の操作コマンド中から、観客情報に応じて抽出された操作コマンドであって操作者によって選択される操作コマンドを、操作コマンド候補として操作者に提示する第２操作コマンド候補提示処理
を実行する。

【0209】

なお、本実施形態においては、操作コマンド候補提示処理部２１４は、アルゴリズムに基づく演技キャラクタの演技パフォーマンス中には、第１操作コマンド候補提示処理又は第２操作コマンド候補提示処理のいずれか一方を実行する。

【0210】

（第１操作コマンド候補提示処理）
操作コマンド候補提示処理部２１４は、サーバ装置１１と連動し、例えば、チケットＩＤと観客ＩＤを対応付けるなど入場チケットを用いてイベント会場に来ている観客を予め特定しつつ、演技キャラクタの演技パフォーマンスを観覧している観客の属性、嗜好情報、ゲームプレー情報及び課金履歴情報の観客情報をサーバ装置１１から取得する。

【0211】

そして、操作コマンド候補提示処理部２１４は、モニタ表示制御部２１３と連動し、アルゴリズムによって規定されるタイミングに、取得した観客情報、当該観客情報によって観客の特性を解析した結果を示す解析情報、又は、双方の情報をモニタ表示部２９０に表示して操作者に提示する。

【0212】

特に、操作コマンド候補提示処理部２１４は、モニタ表示制御部２１３と連動し、演技キャラクタに対して観客に合致する動作を実行させるための操作コマンドを、操作者により選択させやすくするために、取得した観客情報をモニタ表示部２９０にリスト表示する。

【0213】

また、操作コマンド候補提示処理部２１４は、座席などによってイベント会場内の特定の観客（具体体には、特定の観客の会場内の位置）を特定することができる場合には、モニタ表示制御部２１３と連動し、取得した観客情報を観客（又は、観客の位置）に対応付けてモニタ表示部２９０にリスト表示する。

【0214】

例えば、操作コマンド候補提示処理部２１４は、図５（Ａ）に示すように、イベント会場の前列に対する演出を行う場合には、適した演出を実行するための操作コマンドを操作者に選択させるために、アルゴリズムによって当該タイミングにおいて規定されている操作コマンド候補とともに、イベント会場の前列の観客の観客情報をモニタ表示部２９０にリスト表示する。

【0215】

なお、図５（Ａ）は、観客情報とともに、第１演技キャラクタ８Ａ上に形成されたコマンドＡ〜Ｄの各操作コマンドを操作コマンド候補としてタッチパネルであるモニタ表示部２９０に表示している例を示す。

【0216】

特に、図５（Ａ）には、上記の他に、タッチ操作によって変更可能なコマンド実行スピード及びコンテンツの上映時間などの操作者の操作をサポートするための画像パーツがモニタ表示部２９０に表示されている例が示されている。

【0217】

また、コンテンツ上映実行制御部２１８は、図５（Ｂ）に示すように、タッチ検出処理部２１１によって提示された操作コマンド候補の中から演技キャラクタが動作する操作コマンドを受け付けると、当該操作コマンドに基づいて対象の演技キャラクタの動作制御を実行する。

【0218】

そして、図５（Ｂ）は、ステージ２の下手前列に、第１演技キャラクタ８Ａを好きな観客であって、課金額が一定額以上の男性の観客が存在するので、操作コマンド候補の中から当該第１演技キャラクタ８Ａがステージ２の下手前列へのパフォーマンス「下手で手を振る」という操作コマンドＡを受け付けた場合の例を示している。ただし、コンテンツ上映実行制御部２１８における演技キャラクタの動作制御については、後述する。

【0219】

一方、操作コマンド候補提示処理部２１４は、演技キャラクタの演技パフォーマンス前に、又は、当該演技パフォーマンス中に、イベント会場に来場している観客の観客情報に基づいて、観客全体の特性、各観客の特性（個々人の特性）、又は、その双方を解析してもよい。

【0220】

例えば、操作コマンド候補提示処理部２１４は、観客全体の特性としては、
（Ａ１）観客の構成比率（年代、男女差、地域差）、
（Ａ２）各演技キャラクタの好きなキャラクタとしての支持率（キャラクタＡを好きな観客が多いなど）、
（Ａ３）観客全体の課金額の合計や平均課金額、及び、
（Ａ４）特定のゲームにおける平均プレー時間
を解析する。
また、例えば、操作コマンド候補提示処理部２１４は、各観客の特性としては、
（Ｂ１）一定額以上の課金を実行している観客、
（Ｂ２）特定の商品やサービスを購入した観客、又は、
（Ｂ３）特定のゲームにおいて特定のプレーヤキャラクタやアイテムを所有していること、所定のレベル以上であること、若しくは、所定のポイントや経験値を有しているなど特定のゲームにおいて所定の条件を具備している観客、
を解析する。

【0221】

そして、操作コマンド候補提示処理部２１４は、観客情報を参照しつつ操作者の意思によって選択することが可能な状態である操作コマンドとして提示するため、モニタ表示制御部２１３と連動し、アルゴリズムによって提示することが規定されている操作コマンドと同時に操作者が視認できるモニタ表示部２９０上の位置に、上記の解析結果を表示する。

【0222】

例えば、操作コマンド候補提示処理部２１４は、図６（Ａ）に示すように、所定の回数以上（例えば、３回）のイベントへの来場回数を有する観客が一定の割合以上、存在することを解析した場合には、当該該観客に向けて、投げキッスやセリフを発するなどの特別な演出を実行する操作コマンドを操作者に容易に選択させるために、当該観客について一定額以上の課金履歴を有する旨と該当する観客の座席位置とを、操作コマンド候補とともに、モニタ表示部２９０にリスト表示させる。

【0223】

なお、このような場合には、コンテンツ上映実行制御部２１８は、例えば、来場回数が多い場合の特別演出として、いままで披露されていない新曲を歌う演技キャラクタの動作制御を実行される。

【0224】

また、例えば、操作コマンド候補提示処理部２１４は、図６（Ｂ）に示すように、女性の観客が一定割合以上（例えば、７割）イベント会場に存在することを解析した場合には、女性向けの演出を実行する操作コマンドを操作者に容易に選択させるために、当該観客の女性割合が一定上であることを示す表示をモニタ表示部２９０に表示させる。

【0225】

なお、このような場合には、コンテンツ上映実行制御部２１８は、例えば、女性向けのセリフを発する演技キャラクタの動作制御を実行する。

【0226】

一方、操作コマンド候補提示処理部２１４は、図５及び図６に示すように、モニタ表示制御部２１３と連動し、操作対象となる演技キャラクタの画像をタッチパネルとしてのモニタ表示部２９０に表示するとともに、当該演技キャラクタの画像上で操作コマンドの選択操作が可能に各操作コマンド候補を表示してもよい。

【0227】

すなわち、本実施形態においては、このような構成を有することによって、操作者における直感的に操作コマンドの操作指示を実行させることができるので、操作者の操作を簡便にし、その操作性を向上させることができるようになっている。

【0228】

（第２操作コマンド候補提示処理）
操作コマンド候補提示処理部２１４は、観客情報検出部２５０と連動し、アルゴリズムによって規定されるタイミングに、観客の表情や音声などの生体情報、観客の体勢、熱気若しくは当該観客が発する光（例えば、スマートホンやサイリウム）、又は、観客が所有する端末装置の情報（例えば、各観客の観覧（座席）位置や個人を特定するための情報、ゲーム履歴情報や商品等の購入履歴情報）などの当該生体情報に準ずる情報を検出する。

【0229】

すなわち、操作コマンド候補提示処理部２１４は、例えば、観客が盛り上がっているか否か、観客が楽しんでいるか否か、男女比率（男性が多いか、女性が多いか）、又は、例えば、演技キャラクタのセリフやゲームに対する回答して用いられる赤の光（光の種類によってじゃんけんの要素を示すこと、又は、赤の光は、「ＹＥＳ」、青の光は「ＮＯ」など）を発している観客が多いかなどの観客の状態を解析する。

【0230】

カメラ
特に、観客情報検出部２５０は、撮像カメラ、赤外センサ、集音マイク、着座センサ、サーモグラフィ、各観客が有するマーカユニットとその検出装置（カメラ）端末装置（例えば、スマートフォンやＩＤタグなど）から送信され得た情報を取得する無線受信器、又は、上映会場全体や演技キャラクタを撮像するカメラなどの各種の生態情報等を検出するための機能を有している。

【0231】

また、操作コマンド候補提示処理部２１４は、撮像カメラによって撮像された各観客の顔画像によって、集音マイクによって集音された各観客の音成分（周波数特性）によって
、着座センサによって各観客が立っているか着座しているかによって、又は、各観客の熱量によって興奮しているか否かを、観客の状態として解析する。

【0232】

そして、操作コマンド候補提示処理部２１４は、アルゴリズムによって該当するタイミングにおいて規定されている操作コマンドの中から、盛り上がるための操作コマンド、女性が多い場合の操作コマンド、又は、観客が楽しんでいる場合の操作コマンドなどを操作コマンド候補として選択（抽出）し、モニタ表示制御部２１３と連動して当該選択した操作コマンド候補をモニタ表示部２９０に表示して操作者に提示する。

【0233】

例えば、操作コマンド候補提示処理部２１４は、図７に示すように、アルゴリズムに従って演技キャラクタから「元気ー！」の問いかけ（すなわち、コール）が観客に向けて実行した場合であって、観客情報検出部２５０によって、その反応（すなわち、レスポンス）として歓声を所定のデシベル（例えばステージ中央で８０ｄＢ）以上を検出した場合に、複数の操作コマンドの中から、第１演技キャラクタＡが「みんな、ありがとう」のセリフを発する操作コマンドＡ、第１演技キャラクタＡが「まだまだ！」のセリフを発する操作コマンドＢ、第１演技キャラクタＡが「行くよー」とセリフを発して次の楽曲をスタートさせる操作コマンドＣを操作コマンド候補としてモニタ表示部２９０に表示して操作者に提示する。

【0234】

なお、観客情報検出部２５０は、検出した観客の状態を示す観客情報を、操作コマンドの情報とともに、後述する使用履歴情報として、コンテンツデータ記憶部２７４に登録する。

【0235】

［４．３］操作コマンドに基づく動作制御処理
次に、図８及び図９を用いて本実施形態のコ操作コマンドに基づく動作制御処理について説明する。なお、図８及び図９は、本実施形態のコンテンツの操作コマンドに基づく動作制御処理について説明するための図である。

【0236】

コンテンツ上映実行制御部２１８は、
（１）コンテンツデータに含まれる制御データに規定されるアルゴリズムに従って画像化される対象キャラクタの動作を制御するアルゴリズム制御処理を実行し、
（２）アルゴリズム制御処理中に、操作コマンドが受け付けられた場合に、当該アルゴリズム制御処理の対象となる演技キャラクタの動作と連動し、又は、当該アルゴリズム制御処理に規定される演技キャラクタの動作に代えて、当該受け付けた操作コマンドに基づく示される演技キャラクタの動作を制御する。

【0237】

すなわち、コンテンツ上映実行制御部２１８は、提示した操作コマンド候補のうち、タッチ検出処理部２１１によって特定された操作コマンド候補を操作コマンドとして受け付けると、アルゴリズムによって演技キャラクタの動作を制御する制御処理（以下、「アルゴリズム制御処理」という。）における演技キャラクタの動作と連動し、又は、当該アルゴリズム制御処理の演技キャラクタの動作に代えて、当該受け付けた操作コマンドに基づく演技キャラクタの動作を制御する操作コマンドに基づく動作制御処理を実行する。

【0238】

特に、コンテンツ上映実行制御部２１８は、受け付けた操作コマンドに応じて、対応する演技キャラクタの動作におけるアルゴリズムを、変更し、又は、他のアルゴリズムに差し替えることによって、アルゴリズム制御処理における演技キャラクタの動作と連動し、又は、当該アルゴリズム制御処理の演技キャラクタの動作に代えて、当該受け付けた操作コマンドに基づく演技キャラクタの動作を制御する。

【0239】

例えば、規定されているアルゴリズムによって演技キャラクタの体の動きを制御しつつ
、セリフを発する場合を想定する。

【0240】

この場合において、アルゴリズムを変更する場合には、図８（Ａ）に示すように、タッチ検出処理部２１１によってコマンドＡの「セリフＡ（盛り上がってるー！）」の操作コマンドが受け付けられると、コンテンツ上映実行制御部２１８は、図８（Ｂ）及び（Ｃ）に示すように、アルゴリズムによって対応する演技キャラクタの体の動きを制御しつつ、当該演技キャラクタから発するセリフを変更する。

【0241】

なお、図８（Ｂ）は、例えば、アルゴリズムによって観客に向かって片手を上げる動きを制御しつつ、セリフを「元気ー」から「盛り上がっている！」に変更している例を示し、図８（Ｃ）は、アルゴリズムによって観客に向かって片手を上げる動きを制御しつつ、当該アルゴリズムによって定められたセリフ「元気ー」を発している例を示す。

【0242】

また、コンテンツ上映実行制御部２１８は、図８（Ｃ）の示すように、タッチ検出処理部２１１によって所定のタイミング（例えば、当該操作コマンドに基づく動作開始のタイミング）までに、操作コマンドを受け付けられなかった場合には、アルゴリズムにそもそも規定されているセリフ「元気ー」を発する動作制御を実行する

【0243】

一方、同様の場合において、アルゴリズムを差し替える場合には、図９（Ａ）に示すように、タッチ検出処理部２１１によってコマンドＢの操作コマンドが受け付けられると、コンテンツ上映実行制御部２１８は、図９（Ｂ）及び（Ｃ）に示すように、受け付けた操作コマンドに応じて、対応する演技キャラクタの動作におけるアルゴリズムを変更する。

【0244】

なお、図９（Ｂ）は、例えば、アルゴリズムによって観客に向かって片手を上げる動きを、両手を挙げながら移動する動き（例えば走っている動き）に変更しつつ、セリフを「元気ー」から「盛り上がっている！」に変更している例を示す。

【0245】

また、図９（Ｃ）は、図８（Ｃ）と同様に、アルゴリズムによって観客に向かって片手を上げる動きを制御しつつ、当該アルゴリズムによって定められたセリフ「元気ー」を発している例を示す。

【0246】

［４．４］操作コマンドの使用履歴に基づく操作コマンド候補提示処理
次に、本実施形態の操作コマンドの使用履歴に基づく操作コマンド候補提示処理について説明する。

【0247】

（上映中の操作コマンドの使用履歴に基づく操作コマンド候補提示処理）
コンテンツ上映実行制御部２１８は、コンテンツの上映中に、操作者によって指示された操作コマンド（すなわち、操作コマンド候補提示処理部２１４によって受け付けた操作コマンド）をコンテンツデータ記憶部２７４に登録して蓄積する。

【0248】

具体的には、コンテンツ上映実行制御部２１８は、操作コマンドの種別、タイミング及び使用回数などの各種の情報を使用履歴情報としてコンテンツデータ記憶部２７４に登録し、蓄積する。

【0249】

また、コンテンツ上映実行制御部２１８は、観客情報を検出している場合には、観客情報検出部２５０と連動し、検出した観客の状態を示す観客情報を、操作コマンドの情報とともに、後述する使用履歴情報として、コンテンツデータ記憶部２７４に登録して蓄積する。

【0250】

そして、操作コマンド候補提示処理部２１４は、操作コマンド候補を提示する際に、操
作者によって観客情報及び登録されている使用履歴情報に応じて選択される操作コマンドを、操作コマンド候補として、操作者に提示する操作コマンド候補提示処理を実行する。

【0251】

特に、操作コマンド候補提示処理部２１４は、第１操作コマンド候補提示処理としては、オブジェクト空間における対象キャラクタの動作を制御するための複数の操作コマンド中から、使用履歴に基づいて該当する複数の操作コマンドを選択（抽出）し、選択した操作コマンドを、登録されている観客情報を参照しつつ操作者の意思によって選択される操作コマンド候補として、提示する。

【0252】

例えば、操作コマンド候補提示処理部２１４は、操作コマンドを選択させる際に、
（１）直前の操作コマンドに関連する操作コマンド、
（２）当該コンテンツの上映について（すなわち、一連の演技パフォーマンスの実行中に）未だ使用されていない操作コマンド、
（３）使用頻度の高い操作コマンド、
（４）上映中に盛り上がった操作コマンド、及び、
（５）他の観客に対して未実行な一部の観客や観客個人に対して特別演出を実行する操作コマンド、
を複数の操作コマンドの中から操作コマンド候補として選択し、選択した操作コマンド候補をモニタ表示部２９０に表示して操作者に提示する。

【0253】

また、操作コマンド候補提示処理部２１４は、上述のように観客情報についても、モニタ表示部２９０に表示して操作者に提示するが、（５）の場合など、状況に応じて必要な観客情報を変化させて操作者に提示する。

【0254】

なお、操作コマンド候補提示処理部２１４は、（１）〜（４）に該当する操作コマンドを単に提示してもよいし、当該操作コマンドに対して優先度を付した場合であって予め設定されている優先度や選択回数によって値が下がるなどの他の要素に基づく優先度と合算し、当該優先度に基づいて選択した操作コマンド候補の提示順位を決定してもよい。

【0255】

また、操作コマンド候補提示処理部２１４は、操作コマンドを操作者に選択させる際に、例えば、使用された操作コマンドを順次提示不能にし、又は、優先度を下げ、提示可能な又は優先度の高い操作コマンドを、操作コマンド候補として、モニタ表示部２９０に表示して操作者に提示してもよい。ただし、操作コマンド候補提示処理部２１４は、一部の観客や観客個人に対する操作コマンドについては、同一観客における同一操作コマンドを排除するようになっている。

【0256】

さらに、操作コマンド候補提示処理部２１４は、操作コマンドを操作者に選択させる際に、使用回数や使用タイミングなどの情報を該当する操作コマンドとともにモニタ表示部２９０に表示して操作者に提示してもよい。

【0257】

一方、操作コマンド候補提示処理部２１４は、第２操作コマンド候補提示処理としては、オブジェクト空間における対象キャラクタの動作を制御するための複数の操作コマンド中から、検出した観客情報及び使用履歴に基づいて該当する複数の操作コマンドを抽出し、当該抽出した操作コマンドを操作コマンド候補として提示する。

【0258】

また、操作コマンド候補提示処理部２１４は、操作コマンド候補提示処理としては、第１操作コマンド候補提示処理と同様に、複数の操作コマンド（例えば、上記の（１）〜（４）の操作コマンド）を選択し、当該選択した操作コマンド中から観客情報に応じて操作コマンドをさらに選択し、選択した操作コマンドを、操作コマンド候補として、モニタ表示部２９０に表示して操作者に提示する。

【0259】

なお、第１操作コマンド候補提示処理と同様に、操作コマンド候補提示処理部２１４は、操作コマンドを操作者に選択させる際に、使用回数や使用タイミングなどの情報を該当する操作コマンドとともにモニタ表示部２９０に表示して操作者に提示してもよい。

【0260】

（コンテンツ毎の操作コマンドの使用履歴に基づく操作コマンド候補提示処理）
コンテンツ上映実行制御部２１８は、コンテンツの上映を実行する際に、当該同一のコンテンツ（すなわち、同一のコンテンツＩＤ）においてサーバ装置１１などに既に登録された操作コマンドの使用履歴情報を取得し、コンテンツデータ記憶部２７４に記憶する。

【0261】

そして、コンテンツ上映実行制御部２１８は、操作コマンド候補を提示する際に、操作者によって観客情報及び登録されている使用履歴情報に応じて選択可能となる操作コマンド、及び、観客情報及び使用履歴情報に応じて選択された操作コマンドの少なくともいずれか一方を、操作コマンド候補として、操作者に提示する操作コマンド候補提示処理を実行する。

【0262】

特に、操作コマンド候補提示処理部２１４は、第１操作コマンド候補提示処理としては、オブジェクト空間における対象キャラクタの動作を制御するための複数の操作コマンド中から、使用履歴に基づいて該当する複数の操作コマンドを選択し、観客情報を参照しつつ操作者の意思によって選択することが可能となる操作コマンドとして、選択した操作コマンドを操作コマンド候補として提示する。

【0263】

例えば、操作コマンド候補提示処理部２１４は、操作コマンドを選択させる際に、
（１）アルゴリズムにおける同タイミングにおいて使用頻度の高い操作コマンド、
（２）アルゴリズムにおける同タイミングにおいて盛り上がった操作コマンド、
（３）観客の大半が未だ観覧したことない対象キャラクタの行動を規定する操作コマンド、
を複数の操作コマンドの中から操作コマンド候補として選択し、選択した操作コマンド候補をモニタ表示部２９０に表示して操作者に提示する。

【0264】

なお、操作コマンド候補提示処理部２１４は、（１）〜（３）に該当する操作コマンドを単に提示してもよいし、当該操作コマンドに対して優先度を付すとともに、予め設定されている優先度や選択回数によって値が下がるなどの他の要素に基づく優先度と合わせ、当該優先度に基づいて選択した操作コマンド候補の提示順位を決定してもよい。

【0265】

また、操作コマンド候補提示処理部２１４は、操作コマンドを操作者に選択させる際に、例えば、使用された操作コマンド順次提示不能にし、又は、優先度を下げ、提示可能な又は優先度の高い操作コマンドを、選択した操作コマンド候補として、モニタ表示部２９０に表示して操作者に提示してもよい。ただし、操作コマンド候補提示処理部２１４は、一部の観客や観客個人に対する操作コマンドについては、同一観客における同一操作コマンドを排除するようになっている。

【0266】

さらに、操作コマンド候補提示処理部２１４は、操作コマンドを操作者に選択させる際に、上映中の使用回数や使用タイミングなどの情報を該当する操作コマンドとともにモニタ表示部２９０に表示して操作者に提示してもよい。

【0267】

一方、操作コマンド候補提示処理部２１４は、第２操作コマンド候補提示処理としては、オブジェクト空間における対象キャラクタの動作を制御するための複数の操作コマンド中から、観客情報及び使用履歴に基づいて該当する複数の操作コマンドを選択し、選択し
た操作コマンドを操作コマンド候補として提示する。

【0268】

また、操作コマンド候補提示処理部２１４は、操作コマンド候補提示処理としては、第１操作コマンド候補提示処理と同様に、複数の操作コマンド（例えば、上記の（１）〜（３）の操作コマンド）を選択し、当該選択した操作コマンド中から観客情報に応じて操作コマンドをさらに選択し、選択した操作コマンドを、操作コマンド候補として、モニタ表示部２９０に表示して操作者に提示する。

【0269】

なお、第１操作コマンド候補提示処理と同様に、操作コマンド候補提示処理部２１４は、上映中の操作コマンドを操作者に選択させる際に、使用回数や使用タイミングなどの情報を該当する操作コマンドとともにモニタ表示部２９０に表示して操作者に提示してもよい。

【0270】

［４．５］その他の機能及び処理
次に、本実施形態の操作コマンドの使用履歴に基づく操作コマンド候補提示処理について説明する。

【0271】

（特定の観客に対する演技キャラクタの行動制御）
タッチ検出処理部２１１は、例えばモニタ表示部２９０に表示された各観客の観覧位置を示す観覧位置情報と連動し、操作コマンドとともに、演技キャラクタの動作を享受する特定の観客の観覧位置を指定する観客指定指示を受け付けてもよい。

【0272】

そして、この場合には、コンテンツ上映実行制御部２１８は、受け付けられた観客指定指示によって特定される観客の観覧位置に向けて、受け付けた操作コマンドに基づく演技キャラクタの動作を制御する。

【0273】

例えば、コンテンツ上映実行制御部２１８は、特定される観覧位置に向けて、演技キャラクタよる手振り制御、視線制御（目線を送る制御）、ステージ上の最近傍位置まで近づく（近づくように大型表示装置１２に表示する）、及び、所与のセリフ（例えば、観客情報によって観客の名前が分かる場合にはその名前）によるコールの各動作を制御する。

【0274】

また、モニタ表示制御部２１３は、モニタ表示部２９０に、上映会場内の各観客の位置（例えば、座席）を観覧位置情報としてタッチ操作可能に表示させる。そして、観客指定指示として、タッチ検出処理部２１１によって表示されている観客の位置がタッチされて受け付けられると、コンテンツ上映実行制御部２１８は、受け付けられた観客の位置に向けて受け付けた操作コマンドに基づく演技キャラクタの動作を制御する。

【0275】

なお、観客情報検出部２５０は、このときの観客情報を検出し、使用履歴情報としてコンテンツデータ記憶部２７４又はサーバ装置１１に登録してもよい。

【0276】

また、本実施形態おいては、タッチ検出処理部２１１のタッチ操作によって観客の観覧位置の受付を実行しているが、当該タッチ操作に代えて、コンテンツ上映実行制御部２１８は、トラックボールやキーボードなどのカーソル移動によって観覧位置を受け付けてもよい。

【0277】

（特別操作コマンド）
操作コマンド候補提示処理部２１４は、演技キャラクタの動作状況に応じて定まる操作コマンド（すなわち、特別操作コマンド）を操作コマンド候補に含めて操作者に提示してもよい。

【0278】

例えば、操作コマンド候補提示処理部２１４は、
（１）コンテンツの上映開始時（すなわち、アルゴリズムによる動作開始時）には、観客を盛り上げるための行動を制御するための操作コマンド（決めポーズを実施する操作コマンド）を提示し、
（２）コンテンツの上映の終盤には、盛り上がっている観客に対してそれを維持し、さらに盛り上げるための行動を制御するための操作コマンド（連続コールを実行する操作コマンド）を提示し、
（３）曲間などの静かなシーンについては、「セリフ」などのそのシーンに特化した操作コマンドを操作コマンド候補として提示させてもよい。

【0279】

なお、操作コマンド候補提示処理部２１４は、特別操作コマンドのみを操作コマンド候補として提示してもよい。

【0280】

一方、操作コマンド候補提示処理部２１４は、サーバ装置１１（具体的には、コンテンツ管理部１０２）によってコンテンツ毎に各コンテンツ上映システム１０から収集したコンテンツ上映結果情報を解析して得られた上映中のコンテンツにおける所与のタイミングの最適の操作コマンドを取得し、当該取得した最適の操作コマンドを、特別操作コマンドとして、操作コマンド候補に含めて提示してもよい。

【0281】

（経過時間又は受付回数に基づく操作コマンド候補の提示）
操作コマンド候補提示処理部２１４は、コンテンツの上映開始から経過時間に従って、操作コマンドの受付回数に従って、又は、既に選択された操作コマンドの組み合わせに従って、操作コマンド候補として提示される操作コマンドの種別を変更させてもよい。

【0282】

すなわち、操作コマンド候補提示処理部２１４は、
（１）上映終了時刻が近づいてくると、エンディングに向けての動作を規定する操作コマンドを、操作コマンド候補として、モニタ表示部２９０に表示して操作者に提示し、
（２）操作コマンドの受付回数が増加すると、コンテンツの上映時間を調整するため、動作時間が短い操作コマンドを、モニタ表示部２９０に表示して操作者に提示し、
（３）既に選択された操作コマンドの組み合わせに従って、コンテンツの内容がマッチする操作コマンドを、モニタ表示部２９０に表示して操作者に提示してもよい。

【0283】

また、各操作コマンドには、アルゴリズムに従って演技キャラクタの動作制御が実行されている場合に受け付けを許容する時刻や区間を示す受け付け許容情報と、各操作コマンドに基づいて演技キャラクタの動作制御が実行される実行時間と、が規定されていてもよく、これらの情報を用いて操作コマンド候補の提示などが実行されてもよい。

【0284】

具体的には、各操作コマンドには、受け付け許容情報としては、アルゴリズムに従って演技キャラクタの演技開始タイミング（画像生成の開始タイミング）から当該操作コマンドの受け付けが許容される時刻（経過時間）を示す受付完了許容時刻又は複数の所与の区間（楽曲の場合における前奏、Ａメロ、サビ、演劇の場合には、第１幕や第２幕など）が定められて当該画像生成が実行されている場合において当該操作コマンドの受け付けが許容される区間を示す区間情報と、が規定されている。

【0285】

そして、操作コマンド候補提示処理部２１４は、演技キャラクタにおける画像生成の開始タイミングからの経過時間又は操作コマンドを提示するタイミングが属する区間と、各操作コマンドの実行時間と、に応じて、提示する操作コマンドの種別を決定し、又は、演技キャラクタの動作制御の内容を変更した操作コマンドを提示してもよい。

【0286】

すなわち、操作コマンド候補提示処理部２１４は、開始タイミングからの経過時間、又は、例えば、動作制御が楽曲におけるライブパフォーマンスの場合には、前奏、Ａメロ、Ｂメロ又はサビなどの各パート（区間）のどの部分の画像かを見極めて操作コマンドを提示することができるとともに、状況によっては時短や動作内容の簡略化などの操作コマンドにおける対象キャラクタの動作制御の内容をも変更することができるようになっている。

【0287】

（複数操作コマンドの一括選択処理）
コンテンツ上映実行制御部２１８は、タッチ検出処理部２１１によって、同一のタイミング、又は、同一のタイミングとして想定される所定の期間中（例えば、１０秒や２０秒）に、複数の操作コマンドが受け付けられた場合には、当該受け付けられた複数の操作コマンドを、所与の順序（例えば、入力順）に従って、表示される対象キャラクタの動作を制御してもよい。

【0288】

すなわち、操作コマンド候補提示処理部２１４は、例えば、演技パフォーマンスにおける連動動作において、複数の操作コマンドを入力ことが必要な場合に、上映中に連続動作が開始されるそれぞれのタイミングに各操作コマンドを提示して選択させて受け付ける場合には、操作者の操作が煩雑になるだけでなく、操作コマンド候補提示処理自体も負荷がかかり、的確に処理できない場合もある。

【0289】

そこで、操作コマンド候補提示処理部２１４は、事前に複数の操作コマンドを選択させるべく、個々のタイミングにおける操作コマンド候補提示処理をそれぞれ実行し、複数の操作コマンドを受け付けてもよい。

【0290】

なお、操作コマンド候補提示処理部２１４は、コンテンツの上映前に各タイミングにおける操作コマンドについて、操作コマンド候補提示処理によって受け付けてようにしてもよい。

【0291】

（操作コマンドの編集）
コンテンツ編集処理部２１７は、操作者の指示に基づいて、各操作コマンドに対応する対象キャラクタの動作制御を編集する構成を有している。

【0292】

具体的には、コンテンツ編集処理部２１７は、操作者の指示に基づいて、編集の対象に指定された操作コマンドについて、演技キャラクタの動作の追加、一部削除、動作を行うスピードの変化、又は、他の操作コマンドの動作内容の統合を実行する。

【0293】

例えば、コンテンツ編集処理部２１７は、操作コマンドＡにおける演技キャラクタの動作が決めポーズのみの場合に、決めポーズの後に所定のステップを踏む動き、及び、所定のセリフを発する動作を追加すると、決めポーズをし、ステップを踏み、及び、セリフを発する一連の演技キャラクタの動作を規定する操作コマンドＡを生成する。

【0294】

そして、コンテンツ上映実行制御部２１８は、操作コマンドＡを受け付けると、演技キャラクタが、決めポーズをし、ステップを踏み、及び、セリフを発する一連の演技キャラクタの動作を制御する。

【0295】

また、コンテンツ編集処理部２１７は、操作コマンドＡにおける演技キャラクタの動作制御をそのままに、動作スピードを調整してもよい。例えば、コンテンツ編集処理部２１７は、１０秒で実行する一連の動きのある決めポーズを、２０秒で実行するようにスピードを編集してもよい。

【0296】

（操作コマンドの動作開始表示）
操作コマンド候補提示処理部２１４は、操作者の入力のし忘れを防止し、操作者の操作
性を向上させるために、アルゴリズムに従って操作コマンド候補提示処理の実行中に、当該タイミングによって受け付けた操作コマンドに基づいて演技キャラクタの動作制御が開始される動作開始時刻を提示してもよい。

【0297】

（操作コマンドのランダム提示）
操作コマンド候補提示処理部２１４は、操作コマンド候補提示処理においては、意外性やパターン化を防ぐために、第１操作コマンド提示処理又は第２操作コマンド提示処理によって提示する複数の操作コマンドの中から、ランダムにいくつかの操作コマンドを操作コマンド候補として提示してもよい。

【0298】

（複数の演技キャラクタの制御）
コンテンツ上映実行制御部２１８は、複数の演技キャラクタの動作を制御する場合において、操作コマンドに基づく動作制御を行う場合には、１の演技キャラクタに対して操作コマンドを受け付けて当該操作コマンドに基づいてその動作を制御する動作制御処理を実行し、それ以外の演技キャラクタについてアルゴリズムに規定された動作制御を実行する。

【0299】

また、この場合に、操作コマンド候補提示処理部２１４は、操作コマンドに基づく動作制御処理を実行する演技キャラクタ操作者に選択させるための提示を実行し、コンテンツ上映実行制御部２１８は、選択された演技キャラクに対して操作コマンドに基づく動作制御処理を実行する。

【0300】

さらに、操作コマンド候補提示処理部２１４は、複数の演技キャラクタ（例えば、二人の演技キャラクタ）の動作を制御する場合において、複数の操作者（例えば、二人の操作者）に対してそれぞれ操作コマンド候補提示処理を実行してもよい。

【0301】

この場合には、操作コマンド候補提示処理部２１４は、各演技キャラクタの動作制御が破綻しないように、操作コマンドに基づく動作制御処理の制御期間が一致する操作コマンドを操作コマンド候補として提示し、所定のタイミングまでにそれぞれの操作コマンドを受付するための処理を実行する。

【0302】

そして、この場合には、コンテンツ上映実行制御部２１８は、予め定められた同一のタイミングからそれぞれの演技キャラクタの動作制御を実行する。

【0303】

（操作コマンドに基づく動作制御中の他の操作コマンドの受け付け処理）
操作コマンド候補提示処理部２１４は、受け付けられた第１の操作コマンドに基づく演技キャラクタの動作制御中に、他の操作コマンドを受け付けて当該受け付けた操作コマンド（以下、「第２の操作コマンド」という。）に基づく動作制御が実行可能に、操作コマンド候補を、提示してもよい。

【0304】

例えば、第１の操作コマンドに基づいて演技キャラクタの動作制御が実行されている場合であって、観客が盛り上がらない状態であることを示す観客情報が提示された場合に、又は、当該第１の操作コマンドによる演技キャラクタの動作制御が最後まで実施されると演技パフォーマンス時間全体に遅れが生ずる場合などの特殊な状況の場合に、操作コマンド候補提示処理部２１４は、観客情報に応じて選択される少なくとも１以上の操作コマンドを、操作コマンド候補として提示する。

【0305】

そして、コンテンツ上映実行制御部２１８は、第１の操作コマンドに基づく演技キャラクタの動作制御（以下、「第１の動作制御」という。）中に、タッチ検出処理部２１１によって第１の操作コマンドとは異なる第２の操作コマンドが受け付けられた場合には、第
１の動作制御を受け付けた時点で中止とし、第２の操作コマンドに基づく演技キャラクタの動作制御（以下、「第２の動作制御」という。）を発動する。

【0306】

なお、コンテンツ上映実行制御部２１８は、第１の動作制御を中止する場合には、演技キャラクタの動作において、区切りがよい動作まで制御を実行し、その後中止とする制御を実行する。

【0307】

また、操作コマンド候補提示処理部２１４は、第２の操作コマンド候補として、第１の操作コマンドが提示された際の当該第１の操作コマンドとは異なる操作コマンド（すなわち、受け付けられなかった操作コマンド）を提示してもよいし（第１の操作コマンドが提示された状態を維持してもよいし）、観客情報に応じて、又は、当該操作コマンドの使用履歴情報に応じてなど所定の操作コマンドを新たに提示してもよい。

【0308】

［４．６］変形例
（変形例１）
上記の実施形態においては、操作コマンド候補提示処理部２１４は、操作コマンド候補をモニタ表示部２９０にタッチ操作可能に表示するが、物理的なスイッチやキーボードに操作コマンドが割り当てることによって提示してもよい。

【0309】

この場合には、操作コマンド候補提示処理部２１４は、モニタ表示部２９０に割り当てたスイッチや各キーを提示してもよいし、スイッチや各キーに直接提示してもよい。

【0310】

（変形例２）
上記の実施形態においては、タッチ検出処理部２１１は、観覧位置の指定については、モニタ表示部２９０へのタッチ操作に基づいて特定しているが、ジョイスティックやキーボードなどの操作子によってモニタ表示部２９０に表示されたカーソルや指示位置表示を操作することによって観覧位置を指定してもよい。

【0311】

（変形例３）
上記実施形態においては、イベント会場に来場した観客に対してコンテンツの上映を実行しているが、上記の実施形態においては、ネットワークを用いて又はテレビ放送によって、コンテンツの動画を配信するリアルタイムの動画配信において適用することも可能である。

【0312】

この場合には、コンテンツ上映実行制御部２１８は、アルゴリズム又は操作コマンドに基づいて演技キャラクタの動作を制御しつつ、図示しない通信制制御部は、演技キャラクタを含むオブジェクト空間の仮想カメラを視点とした描画部２２０によって生成された画像からデータストリームを生成し、当該生成したデータストリームを、通信部２９６を介してサーバ装置１１又は図示しない端末装置にネットワークを用いて又は放送波によって配信する。

【0313】

（変形例４）
上記の実施形態においては、演技キャラクタに代えて演出オブジェクト（キャラクタの一態様）として、例えば、紙吹雪やテープなど装飾物を飛ばすバズーカ型やキャノン砲型のクラッカーなどの特殊効果装置、ピンスポット型のライトやサーチライトなどの照明装置、稼働型の花道やセリなどの舞台装置、スピーカなどの音響装置又は演出オブジェクトが観客席上をフライングするフライング装置、及び、が含まれてもよい。

【0314】

すなわち、コンテンツ上映システム１０は、
（１）観客の観覧対象となる実空間に配置された演出オブジェクトの動作を制御し、
（２）演出オブジェクトの動作を制御するための複数の操作コマンド中から、操作者によって前記観客に関する情報を示す観客情報に応じて選択される操作コマンドを、操作コマンド候補として、操作者に提示し、
（３）提示した操作コマンド候補の中から、操作者によって操作指示された操作コマンドを受け付け、
（４）受け付けた操作コマンドに基づいて、演出オブジェクトの動作を制御する、
構成を有していてもよい。

【0315】

また、上記実施形態においては、演技キャラクタの動作制御を規定する操作コマンドを提示しているが、対象キャラクタの一形態として、当該演技キャラクタを含むオブジェクト空間を撮像する際の仮想カメラの動作制御を規定する操作コマンドを提示してもよい。

【0316】

例えば、操作コマンド候補提示処理部２１４は、仮想カメラの動作を制御するための複数の操作コマンド中から、操作者によって前記観客に関する情報を示す観客情報に応じて選択される操作コマンドを、操作コマンド候補として、操作者に提示し、コンテンツ上映実行制御部２１８は、受け付けた操作コマンドに基づいて、仮想カメラの動作を制御してもよい。

【0317】

（変形例５）
上記の実施形態は、コンテンツ上映システム１０は、サーバ装置１１と連動して各種の処理を実行しているが、過去の観客情報や操作コマンドなどの使用履歴情報の登録や解析、及び、コンテンツ上映結果情報の取得などのサーバ装置１１によって実行される各処理を実行し、スタンドアロンの装置としてコンテンツの上映を実行してもよい。

【0318】

（変形例６）
上記の実施形態においては、コンテンツを大型表示装置１２に表示することによって観客に当該コンテンツを観覧させているが、各観客に、仮想３次元空間の画像を視認させるＨＭＤ（装着型画像表示装置）を装着させて、バーチャル空間内においてあたかも各観客の周囲に存在するかのごとく認知させるＶＲ体験（仮想現実体験）演技キャラクタの演技パフォーマンスを３Ｄによって観覧させるようにしてもよい。

【0319】

この場合には、例えば、観客毎に、ＨＭＤユニット及び制御ユニットを有する端末装置を提供し、各端末装置は、制御ユニットから出力された各種のデータに基づいて、画像及び音をＨＭＤに提供する。

【0320】

また、各端末装置は、装着した観客の音、視線又は姿勢（頭部姿勢）を観客情報として検出することが可能な構成を有している。

【0321】

なお、各端末装置は、同一のイベント会場によって複数の観客に提供されて同時にコンテンツの上映を実行してもよいし、別空間によって異なるタイミングにそれぞれコンテンツの上映を実行してもよい。

【0322】

［５］本実施形態における動作
次に、図１０及び図１１を用いて本実施形態のシステム制御装置２０によって実行される操作コマンド候補提示処理を含む操作コマンドに基づく動作制御処理の動作について説明する。なお、図１０及び図１１は、本実施形態のシステム制御装置２０によって実行される操作コマンド候補提示処理を含む操作コマンドに基づく動作制御処理の動作を示すフローチャートである。

【0323】

（第１操作コマンド候補提示処理の場合）
本動作においては、所定のコンテンツのアルゴリズムによってオブジェクト空間に配置された演技キャラクタの動作が実行されているものとし、各観客の観覧情報をサーバ装置１１から取得してコンテンツデータ記憶部２７４に既に記憶されているものとする。

【0324】

また、本動作においては、アルゴリズムに従ってオブジェクト空間に設定された仮想カメラが制御され、当該仮想カメラを視点とした前記オブジェクト空間内における演技キャラクタの画像を順次生成して大型表示装置１２表示されているものとする。

【0325】

まず、コンテンツ上映実行制御部２１８は、アルゴリズムに基づく操作コマンドの受け付けタイミングであることを検出すると（ステップＳ１０１）、操作コマンド候補提示処理部２１４は、モニタ表示制御部２１３と連動し、コンテンツデータ記憶部２７４に記憶されているイベント会場に来場している観客の観客情報を取得し、モニタ表示部２９０に表示する（ステップＳ１０２）。

【0326】

また、このとき、コンテンツ上映実行制御部２１８は、タイマ部２４０に、操作コマンドに基づく演技キャラクタの動作開始までの残り時間（入力制限時間）の計測を開始させる。

【0327】

なお、コンテンツ上映実行制御部２１８は、直接サーバ装置１１からイベント会場に来場している観客の観客情報を取得してもよい。

【0328】

次いで、操作コマンド候補提示処理部２１４は、モニタ表示制御部２１３と連動し、アルゴリズムによって予め定められた複数の操作コマンド中から、操作者によって表示された観客情報に応じて選択される操作コマンドを、操作コマンド候補として、モニタ表示部２９０に表示して操作者に提示する（ステップＳ１０３）。

【0329】

このとき、操作コマンド候補提示処理部２１４は、モニタ表示制御部２１３と連動し、当該タイミングによって受け付けた操作コマンドに基づいて演技キャラクタの動作制御が開始される動作開始時刻までの残り時間（入力制限時間）を操作コマンド候補及び観客情報とともにモニタ表示部２９０に表示する。

【0330】

次いで、コンテンツ上映実行制御部２１８は、入力制限時間が「０」になったか否かを判定し（ステップＳ１０４）、当該入力制限時間が「０」になったと判定した場合には、対象となる演技キャラクタに対して、アルゴリズムによって予め規定されている動作制御の実行を開始させて（ステップＳ１０５）本動作を終了させる。

【0331】

一方、コンテンツ上映実行制御部２１８が、入力制限時間が未だ「０」になっていないと判定した場合には、タッチ検出処理部２１１は、操作者によって操作指示された操作コマンドの検出の有無を判定し（ステップＳ１０６）、操作コマンドが非検出であると判定した場合には、ステップＳ１０４の処理に戻る。

【0332】

また、タッチ検出処理部２１１は、操作者によって操作指示された操作コマンドが検出されたと判定した場合には、検出した操作コマンドを受け付ける（ステップＳ１０７）。

【0333】

次いで、コンテンツ上映実行制御部２１８は、受け付けた操作コマンドに基づいて対象の演技キャラクタの動作制御を開始して（ステップＳ１０８）本動作を終了させる。

【0334】

（第２操作コマンド候補提示処理の場合）
本動作においては、所定のコンテンツのアルゴリズムによってオブジェクト空間に配置された演技キャラクタの動作が実行されているものとし、各観客の観覧情報をサーバ装置
１１から取得してコンテンツデータ記憶部２７４に既に記憶されているものとする。

【0335】

また、本動作においては、アルゴリズムに従ってオブジェクト空間に設定された仮想カメラが制御され、当該仮想カメラを視点とした前記オブジェクト空間内における演技キャラクタの画像を順次生成して大型表示装置１２表示されているものとする。

【0336】

まず、コンテンツ上映実行制御部２１８は、アルゴリズムに基づいて操作コマンドの受け付けタイミングであることを検出すると（ステップＳ２０１）、観客情報検出部２５０は、イベント会場に来場している観客の観客情報を検出する（ステップＳ２０２）。

【0337】

このとき、コンテンツ上映実行制御部２１８は、演技キャラクタを制御して観客に対して所定のセリフの出力などの所定の動作制御を実行し、当該動作制御に基づく観客の観客情報を検出してもよい。

【0338】

また、このとき、コンテンツ上映実行制御部２１８は、タイマ部２４０に、操作コマンドに基づく演技キャラクタの動作開始までの残り時間（入力制限時間）の計測を開始させる。

【0339】

次いで、操作コマンド候補提示処理部２１４は、検出した観客情報に基づいて、現在の観客の状態を解析する（ステップＳ２０３）。

【0340】

次いで、操作コマンド候補提示処理部２１４は、モニタ表示制御部２１３と連動し、アルゴリズムによって予め定められた複数の操作コマンド中から、当該検出した観客情報に応じて操作コマンドを、操作コマンド候補として、モニタ表示部２９０に表示して操作者に提示する（ステップＳ２０４）。

【0341】

このとき、操作コマンド候補提示処理部２１４は、モニタ表示制御部２１３と連動し、当該タイミングによって受け付けた操作コマンドに基づいて演技キャラクタの動作制御が開始される動作開始時刻までの残り時間（入力制限時間）を操作コマンド候補及び観客情報とともにモニタ表示部２９０に表示する。

【0342】

次いで、コンテンツ上映実行制御部２１８は、入力制限時間が「０」になったか否かを判定し（ステップＳ２０５）、当該入力制限時間が「０」になったと判定した場合には、対象となる演技キャラクタに対して、アルゴリズムによって予め規定されている動作制御の実行を開始させて（ステップＳ２０６）本動作を終了させる。

【0343】

一方、コンテンツ上映実行制御部２１８が、入力制限時間が未だ「０」になっていないと判定した場合には、タッチ検出処理部２１１は、操作者によって操作指示された操作コマンドの検出の有無を判定し（ステップＳ２０７）、操作コマンドが非検出であると判定した場合には、ステップＳ２０５の処理に戻る。

【0344】

また、タッチ検出処理部２１１は、操作者によって操作指示された操作コマンドが検出されたと判定した場合には、検出した操作コマンドを受け付ける（ステップＳ２０８）。

【0345】

次いで、コンテンツ上映実行制御部２１８は、受け付けた操作コマンドに基づいて対象の演技キャラクタの動作制御を開始して（ステップＳ２０９）本動作を終了させる。

【0346】

［６］その他
本発明は、上記実施形態で説明したものに限らず、種々の変形実施が可能である。例えば、明細書又は図面中の記載において広義や同義な用語として引用された用語は、明細書
又は図面中の他の記載においても広義や同義な用語に置き換えることができる。

【0347】

本実施形態は、一のコンテンツ上映システム１０に各種の処理が実行されているが、複数の装置を連動させて上記のコンテンツ上映システム１０を構成してもよい。

【0348】

また、本実施形態においては、コンテンツ上映システム１０のシステム制御装置２０によって各種のコンテンツに関する処理が実行されているが、上記にサーバ装置１１のサーバ処理部１００の各機能及びコンテンツプログラムを実行させて実現してもよい。また、サーバ装置１１と連動せずに、コンテンツ上映システム１０単独で各処理を実行してもよい。

【0349】

本発明は、実施形態で説明した構成と実質的に同一の構成（例えば、機能、方法及び結果が同一の構成、あるいは目的及び効果が同一の構成）を含む。また、本発明は、実施形態で説明した構成の本質的でない部分を置き換えた構成を含む。また、本発明は、実施形態で説明した構成と同一の作用効果を奏する構成又は同一の目的を達成することができる構成を含む。また、本発明は、実施形態で説明した構成に公知技術を付加した構成を含む。

【0350】

上記のように、本発明の実施形態について詳細に説明したが、本発明の新規事項及び効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。したがって、このような変形例はすべて本発明の範囲に含まれるものとする。

【符号の説明】

【0351】

１０ ：コンテンツ上映システム
１１ ：サーバ装置
１２ ：大型表示装置
２０ ：システム制御装置
１００ ：サーバ処理部
１０１ ：通信制御部
１０２ ：コンテンツ管理部
１０３ ：観客管理部
１２０ ：入力部
１３０ ：表示部
１４０ ：記憶部
１４２ ：主記憶部
１４４ ：コンテンツデータ
１４６ ：観客情報
１４８ ：コンテンツ収集データ
１８０ ：情報記憶媒体
１９６ ：通信部
２００ ：処理部
２１０ ：オブジェクト空間設定部
２１１ ：タッチ検出処理部
２１２ ：コンテンツ表示制御部
２１３ ：モニタ表示制御部
２１４ ：操作コマンド候補提示処理部
２１５ ：移動処理部
２１６ ：仮想カメラ制御部
２１７ ：コンテンツ編集処理部
２１８ ：コンテンツ上映実行制御部
２１９ ：コンテンツ管理部
２２０ ：描画部
２３０ ：音処理部
２４０ ：タイマ部
２５０ ：観客情報検出部
２６０ ：入力部
２６２ ：検出部
２７０ ：記憶部
２７１ ：主記憶部
２７２ ：画像バッファ
２７３ ：観客情報
２７４ ：コンテンツデータ記憶部
２８０ ：情報記憶媒体
２９０ ：モニタ表示部
２９２ ：音出力部
２９６ ：通信部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】