ホーム > 特許ランキング > 株式会社ｍｅｌｅａｐ
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-11-30
(45)【発行日】2022-12-08
(54)【発明の名称】情報処理装置、情報処理方法及びプログラム
(51)【国際特許分類】
A63F 13/86 20140101AFI20221201BHJP
A63F 13/69 20140101ALI20221201BHJP
A63F 13/52 20140101ALI20221201BHJP
A63F 13/428 20140101ALI20221201BHJP
A63F 13/35 20140101ALI20221201BHJP
G06F 3/01 20060101ALI20221201BHJP
A63F 13/847 20140101ALI20221201BHJP
【ＦＩ】
A63F13/86
A63F13/69 500
A63F13/52
A63F13/428
A63F13/35
G06F3/01 510
G06F3/01 570
A63F13/847
【請求項の数】
9
(21)【出願番号】P 2019204288
(22)【出願日】2019-11-11
(65)【公開番号】P2021074354
(43)【公開日】2021-05-20
【審査請求日】2022-01-14
【早期審査対象出願】
(73)【特許権者】
【識別番号】515029190
【氏名又は名称】株式会社ｍｅｌｅａｐ
(74)【代理人】
【識別番号】100205659
【弁理士】
【氏名又は名称】齋藤 拓也
(74)【代理人】
【識別番号】100154748
【弁理士】
【氏名又は名称】菅沼 和弘
(72)【発明者】
【氏名】福田 浩士
【審査官】宇佐田 健二
(56)【参考文献】
【文献】特開２０１６－１１６６３８（ＪＰ，Ａ）
【文献】特開２０１９－１８１０７４（ＪＰ，Ａ）
【文献】特許第６４９２２１２（ＪＰ，Ｂ１）
【文献】特開２０１４－１５５５４４（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ６３Ｆ １３／００－１３／９８，９／２４
Ｇ０６Ｆ ３／０１
(57)【特許請求の範囲】
【請求項1】
プレイヤの動きに応じてオブジェクトを動作させるゲームを実行するゲーム実行手段と、前記プレイヤ以外で前記ゲームに関係する複数の第三者の夫々の行動に対して、１人の第三者単体の行動に関する第１行動情報と、複数人の第三者による連動した行動に関する第２行動情報とを取得する情報取得手段と、
前記情報取得手段により取得された前記第１行動情報に基づいて、前記オブジェクトを含む前記ゲームに第１の影響を与える変化を発生させ、かつ、前記第２行動情報に基づいて、前記オブジェクトを含む前記ゲームに第２の影響を与える変化を発生させる反映手段と、
を備え、
前記１人の第三者単体の行動と前記複数人の第三者による連動した行動が、同じ種類だが異なる程度の応援であり、かつ、前記第１の影響と前記第２の影響が、異なる種類の影響である、
情報処理装置。
【請求項2】
前記反映手段は、前記情報取得手段により取得された前記第三者の行動情報に基づいて、予め設定された条件に合致する行動を判定する行動判定手段と、
前記行動判定手段により判定された前記行動に基づいて、前記オブジェクトを含む前記ゲームに影響を与える変化を発生させるゲーム反映手段と、
を備える請求項１に記載の情報処理装置。
【請求項3】
前記ゲーム実行手段は、プレイヤが透過型のディスプレイを通して見える現実の空間に、拡張現実空間又は複合現実空間におけるオブジェクトを重ねて前記ディスプレイに表示させて、前記プレイヤの動きに応じて前記オブジェクトを動作させるゲームを実行する、
請求項１又は２に記載の情報処理装置。
【請求項4】
前記ゲーム実行手段は、現実のプレイヤに対応する仮想現実空間上のアバターが当該プレイヤの動き又はゲーム機の操作に応じて動き、該アバターの動きに応じて仮想現実空間の画像が変化するゲームを実行する、
請求項１又は２に記載の情報処理装置。
【請求項5】
前記条件は、前記第三者から取得された行動情報に含まれる行動が有効な行動であると判定するための行動判定条件と、前記行動判定条件に合致した行動を、ゲームにどのように反映させるかを示すゲーム反映内容とを対応させたものである、
請求項２項に記載の情報処理装置。
【請求項6】
前記第三者が操作可能な情報端末を有し、前記行動情報は、
前記第三者の動き、声、又は前記情報端末に対する前記第三者の操作を前記情報端末が検出した状況の変化を示す情報を含み、
前記反映手段は、
前記状況の変化を示す情報が予め設定された閾値を超えた場合に、前記オブジェクトを含む前記ゲームに変化を発生させる、
請求項２項に記載の情報処理装置。
【請求項7】
前記変化を示す情報は、前記情報端末に対する前記第三者のボタンの押下操作、前記第三者の歩数、前記第三者の声、前記第三者の体の動き、前記第三者が所持する物の動きのうち１つ以上の変化を含む、
請求項６に記載の情報処理装置。
【請求項8】
プレイヤの動きに応じてオブジェクトを動作させるゲームを実行するステップと、前記プレイヤ以外で前記ゲームに関係する複数の第三者の夫々の行動に対して、１人の第三者単体の行動に関する第１行動情報と、複数人の第三者による連動した行動に関する第２行動情報とを取得するステップと、
前記第１行動情報に基づいて、前記オブジェクトを含む前記ゲームに第１の影響を与える変化を発生させ、かつ、前記第２行動情報に基づいて、前記オブジェクトを含む前記ゲームに第２の影響を与える変化を発生させる反映ステップと、
を有し、
前記１人の第三者単体の行動と前記複数人の第三者による連動した行動が、同じ種類だが異なる程度の応援であり、かつ、前記第１の影響と前記第２の影響が、異なる種類の影響である、
情報処理方法。
【請求項9】
情報処理装置に処理を実行させるプログラムにおいて、前記情報処理装置を、
プレイヤの動きに応じてオブジェクトを動作させるゲームを実行するゲーム実行手段と、
前記プレイヤ以外で前記ゲームに関係する複数の第三者の夫々の行動に対して、１人の第三者単体の行動に関する第１行動情報と、複数人の第三者による連動した行動に関する第２行動情報とを取得する情報取得手段と、
前記情報取得手段により取得された前記第１行動情報に基づいて、前記オブジェクトを含む前記ゲームに第１の影響を与える変化を発生させ、かつ、前記第２行動情報に基づいて、前記オブジェクトを含む前記ゲームに第２の影響を与える変化を発生させる反映手段、
として機能させ、
前記１人の第三者単体の行動と前記複数人の第三者による連動した行動が、同じ種類だが異なる程度の応援であり、かつ、前記第１の影響と前記第２の影響が、異なる種類の影響である、
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、情報処理方法及びプログラムに関する。
【背景技術】
【0002】
例えばコートやフィールド等の限られたエリアで２つのチームに分かれたプレイヤどうしが対戦する拡張現実体感型のゲームが知られている。
近年では、ゲーム内で対戦するプレイヤだけでなく、プレイヤ以外の第三者、例えばゲームを視聴する視聴者等が所望のプレイヤ（被応援プレイヤ）を応援する仕組みも構築されている（例えば特許文献１参照）。
近年では、ゲーム内で対戦するプレイヤだけでなく、プレイヤ以外の第三者、例えばゲームを視聴する視聴者等が所望のプレイヤ（被応援プレイヤ）を応援する仕組みも構築されている（例えば特許文献１参照）。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１８－０１５３５４号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、従来のゲームは、視聴者がプレイヤを応援すると言っても、応援メッセージやスタンプをプレイヤに送ることで、その量（応援熱量）に応じてプレイヤにポイントが付与される程度であり、視聴者等の第三者がプレイヤと共にゲームに参加している体感を得るというところまでには至っていない。
また、このように現実のプレイヤにオブジェクトを重ねて表示するゲームでは、プレイヤの頭や手の動きをどれだけ正確にトラッキングできるかが、ゲームを視聴したりプレイする上で重要である。
さらに、火の玉やボール等のオブジェクトをプレイヤが投げたり発射するようなゲームでは、プレイヤの投げる動作に対してオブジェクトが手離れするタイミングが、ゲームを視聴したりプレイする上で重要である。
しかし、現状、トラッキング精度や手離れ感という面で充分ではなく、プレイヤとオブジェクトの一体感や現実感が感じられないことも多く、見映えに欠けてゲームを楽しめないことがある。
また、このように現実のプレイヤにオブジェクトを重ねて表示するゲームでは、プレイヤの頭や手の動きをどれだけ正確にトラッキングできるかが、ゲームを視聴したりプレイする上で重要である。
さらに、火の玉やボール等のオブジェクトをプレイヤが投げたり発射するようなゲームでは、プレイヤの投げる動作に対してオブジェクトが手離れするタイミングが、ゲームを視聴したりプレイする上で重要である。
しかし、現状、トラッキング精度や手離れ感という面で充分ではなく、プレイヤとオブジェクトの一体感や現実感が感じられないことも多く、見映えに欠けてゲームを楽しめないことがある。
【0005】
本発明は、このような状況に鑑みてなされたものであり、本発明は、プレイヤやそれ以外の第三者がゲームを楽しむことができるようにすることを目的とする。
【課題を解決するための手段】
【0006】
上記目的を達成するため、本発明の一態様の情報処理装置は、
プレイヤの動きに応じてオブジェクトを動作させるゲームを実行するゲーム実行手段と、
前記プレイヤ以外で前記ゲームに関係する第三者の行動に関する行動情報を取得する情報取得手段と、
前記情報取得手段により取得された前記第三者の行動情報に基づいて、前記オブジェクトを含む前記ゲームに影響を与える変化を発生させる反映手段と、
を備える。
本発明の一態様の上記情報処理装置に対応する情報処理方法及びプログラムも、本発明の一態様の情報処理方法及びプログラムとして提供される。
プレイヤの動きに応じてオブジェクトを動作させるゲームを実行するゲーム実行手段と、
前記プレイヤ以外で前記ゲームに関係する第三者の行動に関する行動情報を取得する情報取得手段と、
前記情報取得手段により取得された前記第三者の行動情報に基づいて、前記オブジェクトを含む前記ゲームに影響を与える変化を発生させる反映手段と、
を備える。
本発明の一態様の上記情報処理装置に対応する情報処理方法及びプログラムも、本発明の一態様の情報処理方法及びプログラムとして提供される。
【発明の効果】
【0007】
本発明によれば、プレイヤやそれ以外の第三者がゲームを楽しむことができるようになる。
【図面の簡単な説明】
【0008】
【図1】本発明に係る第１実施形態のＡＲゲームの概要を示す図である。
【図5】取得した行動情報のうち応援行動と判定するための条件が記憶されたテーブルを示す図である。
【図6】取得した行動情報のうち応援行動と判定するための条件が記憶されたテーブルを示す図である。
【図8】第２実施形態の情報処理システムの構成を示す図である。
【図10】第２実施形態において手のポジションをトラッキングする動作を説明するための図である。
【図11】第２実施形態においてマーカートラッキングにより頭部のポジションをトラッキングする動作を説明するための図である。
【図12】第２実施形態においてワールドトラッキングにより頭部のポジションをトラッキングする動作を説明するための図である。
【図13】第２実施形態において２つのトラッキング情報を同期させる動作を説明するための図である。
【図14】第２実施形態において同期結果として出力される情報を示す図である。
【図15】トラッキング技術を応用する他の例を示す図である。
【図16】第３実施形態の情報処理システムの構成を示す図である。
【図17】発射タイミングを判定する動作を説明するための図である。
【図18】プレイヤの視線を維持する動作を説明するための図である。
【図19】発射方向を判定する動作を説明するための図である。
【図20】プレイヤの背後からみた空間を示す図である。
【図21】プレイヤが放つシュートを一定の高さに制限する例を示す図である。
【図22】アームセンサの回転情報を利用してシュートを制御したりチャージする例と、チャージ後に腕を振るとシュートを放てるようになる例を示す図である。
【図23】相手チームのプレイヤが放ったシュートをキャッチする様子を示す図である。
【図24】所定範囲でのシュートの発射を制限する様子を示す図である。
【発明を実施するための形態】
【0009】
以下、本発明の実施形態について図面を用いて説明する。
図１は、本発明に係る第１実施形態に係る情報処理システムを示す図である。
図１は、本発明に係る第１実施形態に係る情報処理システムを示す図である。
【0010】
（第１実施形態）
図１に示すように、第１実施形態の情報処理システムは、１人以上のプレイヤＰＡ－１乃至ＰＡ－ｍ、プレイヤＰＢ－１乃至ＰＢ－ｍが、第１チームＡと第２チームＢの２つのチームに分かれて、体を動かして技を発動させてフィールドを自由に動き回り、味方と連携して相手にダメージを与えて、生き残る人数を競い合い楽しむ拡張現実体感型のスポーツイベント（以下「ＡＲゲーム：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ Ｇａｍｅ」と呼ぶ）を提供する。
また、この情報処理システムは、ＡＲゲームに一人以上の視聴者である応援者ＵＡ－１乃至ＵＡ－ｈ、応援者ＵＢ－１乃至ＵＢ－ｋが参加していることを体感することができる応援者支援サービスを提供する。
プレイヤＰＡ－１乃至ＰＡ－ｍは、第１チームＡのプレイヤである。プレイヤＰＢ－１乃至ＰＢ－ｍは、第２チームＢのプレイヤである。
応援者ＵＡ－１乃至ＵＡ－ｈ、応援者ＵＢ－１乃至ＵＢ－ｋは、ゲームを視聴する視聴者であり、自分の好きなチームやプレイヤを応援する応援者といえるが、相手チームの応援者にとっては、妨害者であるため、これらを含め、プレイヤＰ以外でゲームに関係する第三者と言える。
図１に示すように、第１実施形態の情報処理システムは、１人以上のプレイヤＰＡ－１乃至ＰＡ－ｍ、プレイヤＰＢ－１乃至ＰＢ－ｍが、第１チームＡと第２チームＢの２つのチームに分かれて、体を動かして技を発動させてフィールドを自由に動き回り、味方と連携して相手にダメージを与えて、生き残る人数を競い合い楽しむ拡張現実体感型のスポーツイベント（以下「ＡＲゲーム：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ Ｇａｍｅ」と呼ぶ）を提供する。
また、この情報処理システムは、ＡＲゲームに一人以上の視聴者である応援者ＵＡ－１乃至ＵＡ－ｈ、応援者ＵＢ－１乃至ＵＢ－ｋが参加していることを体感することができる応援者支援サービスを提供する。
プレイヤＰＡ－１乃至ＰＡ－ｍは、第１チームＡのプレイヤである。プレイヤＰＢ－１乃至ＰＢ－ｍは、第２チームＢのプレイヤである。
応援者ＵＡ－１乃至ＵＡ－ｈ、応援者ＵＢ－１乃至ＵＢ－ｋは、ゲームを視聴する視聴者であり、自分の好きなチームやプレイヤを応援する応援者といえるが、相手チームの応援者にとっては、妨害者であるため、これらを含め、プレイヤＰ以外でゲームに関係する第三者と言える。
【0011】
なお、以下では、個々の端末を識別する必要がないときは、プレイヤ端末１（ヘッドマウントディスプレイ１－１（以下「ＨＭＤ１－１」と呼ぶ）及びアームセンサ２）、応援者端末３と呼ぶ。また、プレイヤについても個人を特定する必要がないときは、プレイヤＰ、プレイヤＰＡ、プレイヤＰＢ等と呼ぶ。さらに、応援者についても個人を特定する必要がないときは、応援者Ｕ、応援者ＵＡ、ＵＢ等と呼ぶ。
【0012】
応援者ＵＡ－１乃至ＵＡ－ｈは、プレイヤＰＡ－１乃至ＰＡ－ｍやそのチームを応援するための応援エリアにて応援する。応援者ＵＢ－１乃至ＵＢ－ｈは、プレイヤＰＢ－１乃至ＰＢ－ｍやそのチームを応援するための応援エリアにて応援する。
【0013】
図２に示すように、図１の情報処理システムは、プレイヤＰＡ－１乃至ＰＡ－ｍ、プレイヤＰＢ－１乃至ＰＢ－ｍが装着するプレイヤ端末１（ＨＭＤ１－１、アームセンサ１－２）と、一人以上の応援者ＵＡ－１乃至ＵＡ－ｈ、ＵＢ－１乃至ＵＢ－ｋが操作する応援者端末３－１乃至３－ｎと、ＡＲゲームを動作させつつ夫々の応援者端末３－１乃至３－ｎにより検知及び送信される応援行動を基にＡＲゲームに影響を与えるサーバ４とがネットワークＮを介して相互に接続して構成される。
【0014】
なお、以下では、応援者端末３－１乃至３－ｎについて、個々の端末を識別する必要がないときは、応援者端末３と呼ぶ。
【0015】
プレイヤ端末１は、装着しているプレイヤＰの動きを検出する。ＨＭＤ１－１には、プレイヤＰの動きを検出するセンサと通信機能とスピーカとディスプレイとカメラ等が備えられている。即ちＨＭＤ１－１は、プレイヤＰの視線とその移動や頭部の動きを検出する。
【0016】
スピーカは、通信機能により受信されるゲームの音声や周囲の声援等の音声をプレイヤＰが聞けるように出力する。ディスプレイには、通信機能により受信されるゲームの３ＤＣＧホログラム映像（エナジーボールＥＢやシールドＳＨ等の３Ｄオブジェクト）が、ディスプレイを通じて実際に見える現実の空間に重ねて表示される。３ＤＣＧとは、ｔｈｒｅｅ－ｄｉｍｅｎｓｉｏｎａｌ ｃｏｍｐｕｔｅｒ ｇｒａｐｈｉｃｓの略称である。
【0017】
アームセンサ１－２は、プレイヤＰの腕の動きを検出する。ゲーム上では、例えば腕が垂直方向にたてられると、その動きをアームセンサ１－２が検出してサーバ４に通知し、サーバ４でのゲーム処理でプレイヤＰの前方にシールドＳＨが立てた状態でディスプレイに表示される。また、ボールを投げるように腕が振られると、エナジーボールＥＢが手から投げた方向に発射されるようにディスプレイに表示される。
アームセンサ１－２は、ＨＭＤ１－１の周辺機器に含まれ、ＨＭＤ１－１とも通信する。これ以外に、ＨＭＤ１－１の周辺機器として、例えばＶｉｖｅ Ｔｒａｃｋｅｒ、ＯｐｔｉＴｒａｃｋ等があり、これを利用してもよい。
アームセンサ１－２は、ＨＭＤ１－１の周辺機器に含まれ、ＨＭＤ１－１とも通信する。これ以外に、ＨＭＤ１－１の周辺機器として、例えばＶｉｖｅ Ｔｒａｃｋｅｒ、ＯｐｔｉＴｒａｃｋ等があり、これを利用してもよい。
【0018】
応援者端末３－１乃至３－ｎは、プレイヤＰＡ－１乃至ＰＡ－ｍ、プレイヤＰＢ－１乃至ＰＢ－ｍを応援する応援者Ｕが操作可能な情報端末であり、応援者Ｕの応援行動を含む各種行動を検出する。
応援者端末３－１乃至３－ｎにより検出される行動としては、例えば応援者端末３－１乃至３－ｎに入力される応援者の声、応援者Ｕによるボタンの押下操作やタッチ操作、応援者端末３－１乃至３－ｎのカメラ機能によって撮像される応援者Ｕの画像の動き、応援者Ｕが応援者端末３－１乃至３－ｎを手で持って動かす動作、応援者Ｕが飛び跳ねたときに応援者端末３－１乃至３－ｎが上下動を検出する動作（万歩計による歩数計測等）、応援者Ｕが歩行したときに一緒に応援者端末３－１乃至３－ｎの位置が変位しそれを検出する動作（方向計測や移動計測等）等が含まれる。なお、万歩計は、登録商標である。
応援者端末３－１乃至３－ｎにより検出される行動としては、例えば応援者端末３－１乃至３－ｎに入力される応援者の声、応援者Ｕによるボタンの押下操作やタッチ操作、応援者端末３－１乃至３－ｎのカメラ機能によって撮像される応援者Ｕの画像の動き、応援者Ｕが応援者端末３－１乃至３－ｎを手で持って動かす動作、応援者Ｕが飛び跳ねたときに応援者端末３－１乃至３－ｎが上下動を検出する動作（万歩計による歩数計測等）、応援者Ｕが歩行したときに一緒に応援者端末３－１乃至３－ｎの位置が変位しそれを検出する動作（方向計測や移動計測等）等が含まれる。なお、万歩計は、登録商標である。
【0019】
図３は、図２の情報処理システムのうち、サーバ４のハードウェア構成を示す図である。
図３に示すように、サーバ４は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２３と、バス２４と、入出力インターフェース２５と、表示部２７と、入力部２８と、記憶部２９と、通信部３０と、ドライブ３１と、を備えている。
図３に示すように、サーバ４は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２３と、バス２４と、入出力インターフェース２５と、表示部２７と、入力部２８と、記憶部２９と、通信部３０と、ドライブ３１と、を備えている。
【0020】
ＣＰＵ２１は、ＲＯＭ２２に記録されているプログラム、又は、記憶部２９からＲＡＭ２３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ２３には、ＣＰＵ２１が各種の処理を実行する上において必要なデータ等も適宜記憶される。
【0021】
ＣＰＵ２１、ＲＯＭ２２及びＲＡＭ２３は、バス２４を介して相互に接続されている。このバス２４にはまた、入出力インターフェース２５も接続されている。入出力インターフェース２５には、表示部２７、入力部２８、記憶部２９、通信部３０及びドライブ３１が接続されている。
【0022】
表示部２７は、液晶等のディスプレイにより構成され、画面を表示する。入力部２８は、各種ハードウェアボタン又はソフトウェアボタン等で構成され、利用者の指示操作に応じて入力される各種情報を受け付ける。
【0023】
記憶部２９は、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、各種データを記憶する。
通信部３０は、例えばＬＡＮインターフェースであり、インターネットを含むネットワークＮを介して他の装置（図２の例ではプレイヤ端末１や応援者端末３等）との間で通信を行う。
通信部３０は、例えばＬＡＮインターフェースであり、インターネットを含むネットワークＮを介して他の装置（図２の例ではプレイヤ端末１や応援者端末３等）との間で通信を行う。
【0024】
ドライブ３１は、必要に応じて設けられる。ドライブ３１には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア３２が適宜装着され、リムーバブルメディア３２に対してデータやプログラムを読み出し動作、及び書き込み動作する。ドライブ３１によってリムーバブルメディア３２から読み出されたプログラムは、必要に応じて記憶部２９にインストールされる。また、リムーバブルメディア３２は、記憶部２９に記憶されている各種データも、記憶部２９と同様に記憶することができる。
【0025】
なお、サーバ４以外の装置、例えばプレイヤ端末１や応援者端末３等のハードウェアは、サーバ４とほぼ同様であり、図示は省略する。
【0026】
応援者端末３－１乃至３－ｎは、応援者Ｕが所持する情報端末、例えばスマートホンやタブレット端末等であり、これらの端末の場合、表示部２７及び入力部２８が一体化し人の指等による操作を受け付けるタッチパネルを備える。タッチパネルにより応援者Ｕによるタッチ操作が可能である。応援者端末３－１乃至３－ｎを、すべての観戦者が持つ必要はない。この他、情報端末としては、例えばテレビジョン装置、パーソナルコンピュータ、コンソールゲーム等が含まれる。
【0027】
また、近年のスマートホンは、赤外線センサ、ジャイロセンサ、磁気センサ（方位センサ）、接近センサ、気圧センサ、温度センサ、光センサ、加速度センサ（モーションセンサ）や心拍センサ、血圧センサ等の各種センサやその他、マイク、ＧＰＳ信号受信機能、無線ＬＡＮ等の通信機能等を備えており、応援者端末３－１乃至３－ｎ自体で人の行動を検出し、行動情報として外部へ発信（伝達）することができる。
サーバ４は、夫々の応援者端末３－１乃至３－ｎより発信された行動情報を取得して、取得した行動情報に基づいて、様々な処理を行うことができる。
サーバ４は、夫々の応援者端末３－１乃至３－ｎより発信された行動情報を取得して、取得した行動情報に基づいて、様々な処理を行うことができる。
【0028】
【0029】
図４に示すように、サーバ４の記憶部２９は、会員情報記憶部４１、ゲーム情報記憶部４２、応援情報記憶部４３等として機能する。
会員情報記憶部４１には、例えばユーザＩＤ及びパスワード等を含む会員情報が記憶されている。このゲームに参加するプレイヤＰは、プレイヤとして会員登録する。プレイヤＰは、ハンドル名等やチーム名等を登録する。
この他に、応援者Ｕも応援者として会員登録し、応援している所望のプレイヤＰのハンドル名やチーム名等を事前登録しておくことができる。
なお、応援者Ｕの会員登録は、必須ではなく、Ｗｅｂサイトにアクセスし、ゲームを観戦している中で、画面の応援ボタンを押すことで応援することがもできる。
会員情報記憶部４１には、例えばユーザＩＤ及びパスワード等を含む会員情報が記憶されている。このゲームに参加するプレイヤＰは、プレイヤとして会員登録する。プレイヤＰは、ハンドル名等やチーム名等を登録する。
この他に、応援者Ｕも応援者として会員登録し、応援している所望のプレイヤＰのハンドル名やチーム名等を事前登録しておくことができる。
なお、応援者Ｕの会員登録は、必須ではなく、Ｗｅｂサイトにアクセスし、ゲームを観戦している中で、画面の応援ボタンを押すことで応援することがもできる。
【0030】
ゲーム情報記憶部４２には、ゲーム上でオブジェクトをＨＭＤ１－１に表示し、動作させるための情報の他に、パラメータ等の設定情報、チームの成績、ゲームの履歴等も記憶される。
応援情報記憶部４３には、図５に示すように、各応援者端末３から夫々取得された行動が応援行動であると判定するための条件（応援行動判定条件）と、この応援行動判定条件に合致した応援行動を、ゲームにどのように反映させるかを示す情報（ゲーム反映内容）とを対応させたテーブル７０が記憶されている。
即ち、このテーブル７０は、各応援者Ｕから夫々取得された行動情報に含まれる行動が有効な行動であると判定するための行動判定条件と、この行動判定条件に合致した行動を、ゲームにどのように反映させるかを示すゲーム反映内容とを対応させたものである。
行動情報は、視聴者の動き、声、又は応援者端末３に対する応援者Ｕの操作を応援者端末３が検出した状況の変化を示す情報を含む。
状況の変化は、応援者端末３に対する応援者Ｕのボタン操作、応援者Ｕの歩数、応援者Ｕの声、応援者Ｕの体の動き、応援者Ｕが所持する物の動きのうち１つ以上の変化を含む。応援者Ｕの状況が変化したと判定するため、夫々の行動には閾値が設定されている。例えば歩数ならば何歩以上、拍手ならば何回以上、声であれば何ｄＢ以上等である。
応援情報記憶部４３には、図５に示すように、各応援者端末３から夫々取得された行動が応援行動であると判定するための条件（応援行動判定条件）と、この応援行動判定条件に合致した応援行動を、ゲームにどのように反映させるかを示す情報（ゲーム反映内容）とを対応させたテーブル７０が記憶されている。
即ち、このテーブル７０は、各応援者Ｕから夫々取得された行動情報に含まれる行動が有効な行動であると判定するための行動判定条件と、この行動判定条件に合致した行動を、ゲームにどのように反映させるかを示すゲーム反映内容とを対応させたものである。
行動情報は、視聴者の動き、声、又は応援者端末３に対する応援者Ｕの操作を応援者端末３が検出した状況の変化を示す情報を含む。
状況の変化は、応援者端末３に対する応援者Ｕのボタン操作、応援者Ｕの歩数、応援者Ｕの声、応援者Ｕの体の動き、応援者Ｕが所持する物の動きのうち１つ以上の変化を含む。応援者Ｕの状況が変化したと判定するため、夫々の行動には閾値が設定されている。例えば歩数ならば何歩以上、拍手ならば何回以上、声であれば何ｄＢ以上等である。
【0031】
サーバ４のＣＰＵ２１は、ゲーム実行部５１、Ｗｅｂサーバ部５２、行動情報取得部５３及び反映部５４として機能する。
ゲーム実行部５１は、プレイヤＰの動きに応じてオブジェクトを動作させるゲームを実行する。ゲーム実行部５１は、ＨＭＤ１－１を装着したプレイヤＰが当該ＨＭＤ１－１を通じて見える現実の空間にＡＲ空間におけるオブジェクト（エナジーボールＥＢやシールドＳＨ等）を重ねてＨＭＤ１－１に表示させて、プレイヤＰの動き（頭の動き、ハンドジェスチャーや視線移動といったナチュラルユーザインタフェース）に応じてオブジェクトを動作させるＡＲゲームをＨＭＤ１－１上で実行する。
ゲーム実行部５１は、プレイヤＰの動きに応じてオブジェクトを動作させるゲームを実行する。ゲーム実行部５１は、ＨＭＤ１－１を装着したプレイヤＰが当該ＨＭＤ１－１を通じて見える現実の空間にＡＲ空間におけるオブジェクト（エナジーボールＥＢやシールドＳＨ等）を重ねてＨＭＤ１－１に表示させて、プレイヤＰの動き（頭の動き、ハンドジェスチャーや視線移動といったナチュラルユーザインタフェース）に応じてオブジェクトを動作させるＡＲゲームをＨＭＤ１－１上で実行する。
【0032】
Ｗｅｂサーバ部５２は、ネットワークＮに上記ＡＲゲームの運営サイトを公開し、運営サイトで会員登録した会員に対して、ゲームに関するサービスを提供する。会員登録を済ませた会員には、会員ＩＤ及びパスワードが付与されるので、会員は、自身が所持する情報端末（ＨＭＤ１－１や応援者端末３－１乃至３－ｎ等）で運営サイトにアクセスし、会員ＩＤ及びパスワードにて会員ページにログインすることで、会員としてのサービスの提供が受けられる。
【0033】
行動情報取得部５３は、プレイヤＰ以外でゲームに関係する第三者の行動に関する行動情報を取得する。
行動情報取得部５３は、ゲームを観戦する応援者Ｕが行った応援行動に関する行動情報を、各応援者端末３－１乃至３－ｎから通信部３０を通じて受信し取得する。つまり行動情報取得部５３は、応援者Ｕが所持する応援者端末３から応援者Ｕの応援行動の情報を取得する。
反映部５４は、行動情報取得部５３により各応援者端末３－１乃至３－ｎから取得された行動情報に基づいて、オブジェクトを含むゲームに影響を与える変化を発生させる。
反映部５４は、行動情報を基に応援行動と判定した行動に対して、オブジェクトを含むゲームの動きに状態変化をもたらすようにゲーム実行部５１を制御する。
行動情報取得部５３は、ゲームを観戦する応援者Ｕが行った応援行動に関する行動情報を、各応援者端末３－１乃至３－ｎから通信部３０を通じて受信し取得する。つまり行動情報取得部５３は、応援者Ｕが所持する応援者端末３から応援者Ｕの応援行動の情報を取得する。
反映部５４は、行動情報取得部５３により各応援者端末３－１乃至３－ｎから取得された行動情報に基づいて、オブジェクトを含むゲームに影響を与える変化を発生させる。
反映部５４は、行動情報を基に応援行動と判定した行動に対して、オブジェクトを含むゲームの動きに状態変化をもたらすようにゲーム実行部５１を制御する。
【0034】
反映部５４は、行動判定部６１及びゲーム反映部６２等を有する。
行動判定部６１は、行動情報取得部５３により各応援者端末３－１乃至３－ｎから取得された行動情報に基づいて、予め設定された条件に合致する行動を判定する。具体的には、行動判定部６１は、行動情報取得部５３により各応援者端末３－１乃至３－ｎから行動情報が取得されると、応援情報記憶部４３のテーブル７０を参照して、予めテーブル７０に設定された応援行動判定条件に、取得された行動情報に含まれる行動が合致するか否かを判定し、合致する行動が含まれていた場合は、応援行動と判定する。
なお、行動判定部６１は、応援者Ｕの状況の変化が予め設定された閾値を超えた場合に、ゲーム反映部６２に通知し、オブジェクトを含むゲームに変化を発生させる。例えば歩数ならば何歩以上、拍手ならば何回以上、声であれば何ｄＢ以上等である。
行動判定部６１は、行動情報取得部５３により各応援者端末３－１乃至３－ｎから取得された行動情報に基づいて、予め設定された条件に合致する行動を判定する。具体的には、行動判定部６１は、行動情報取得部５３により各応援者端末３－１乃至３－ｎから行動情報が取得されると、応援情報記憶部４３のテーブル７０を参照して、予めテーブル７０に設定された応援行動判定条件に、取得された行動情報に含まれる行動が合致するか否かを判定し、合致する行動が含まれていた場合は、応援行動と判定する。
なお、行動判定部６１は、応援者Ｕの状況の変化が予め設定された閾値を超えた場合に、ゲーム反映部６２に通知し、オブジェクトを含むゲームに変化を発生させる。例えば歩数ならば何歩以上、拍手ならば何回以上、声であれば何ｄＢ以上等である。
【0035】
ゲーム反映部６２は、行動判定部６１により判定された行動に基づいて、オブジェクトを含むゲームに影響を与える変化を発生させる。即ち、ゲーム反映部６２は、行動判定部６１により応援行動と判定された場合、応援行動に対応するゲーム反映内容をテーブル７０から読み出して、その内容のようにゲームが動作するように制御信号をゲーム実行部５１へ出力する。
【0036】
【0037】
この情報処理システムの場合、ゲームに参加するプレイヤＰ及び観戦者である応援者Ｕは、サーバ４が公開する会員サイトにログインし、応援者Ｕがどのチーム（どのプレイヤ）の応援者Ｕかを登録する。なお、会員登録の際に、予め好きなチームやプレイヤＰ（被応援者）を登録しておけば、ログイン時に被応援者の登録を省くことができる。
【0038】
ゲームが開始されてから、応援者Ｕがゲームを視聴しつつ所望のチームやプレイヤＰを応援する際に、例えば好きなチームやプレイヤＰに「声援を送る」、「飛び跳ねる」、「旗を振る」等の行動を起こすと、その応援者の行動を応援者端末３－１乃至３－ｎが行動情報として検出し、検出した行動情報をサーバ４へ送信する。
【0039】
「声援を送る」という行動は、応援者端末３－１乃至３－ｎでは、マイクに入力された音声データとして検出し、それが応援者の行動情報として送信される。「飛び跳ねる」という行動は、応援者端末３－１乃至３－ｎでは、万歩計機能の歩数として計数されて、歩数が応援者の行動情報として送信される。「旗を振る」という行動は、応援者端末３－１乃至３－ｎでは、カメラ機能の画像認識により旗振行動として認識されて、旗振行動に該当するコマンドが送信される。
なお、ネットワークＮの容量や通信速度等に余裕があれば、応援者端末３－１乃至３－ｎのカメラ機能で撮像した応援者Ｕの画像（動画等）を行動情報としてサーバ４へ送ってもよい。このように応援者Ｕの行動は、行動情報に変換されて送信される。なお、ここで例示したのは一例であり、これ以外にも様々な応援行動があり、応援行動として判定される行動の一部を、図５及び図６のテーブル７０の応援行動判定条件の欄に開示する。
なお、ネットワークＮの容量や通信速度等に余裕があれば、応援者端末３－１乃至３－ｎのカメラ機能で撮像した応援者Ｕの画像（動画等）を行動情報としてサーバ４へ送ってもよい。このように応援者Ｕの行動は、行動情報に変換されて送信される。なお、ここで例示したのは一例であり、これ以外にも様々な応援行動があり、応援行動として判定される行動の一部を、図５及び図６のテーブル７０の応援行動判定条件の欄に開示する。
【0040】
サーバ４では、図７のステップＳ１１において、行動情報取得部５３が、プレイヤＰ以外でゲームに関係する第三者である応援者Ｕの行動に関する行動情報を取得する。詳細に説明すると、行動情報取得部５３は、各応援者端末３－１乃至３－ｎがゲームを観戦する応援者Ｕから検出した行動情報を、通信部３０を通じて取得する。
【0041】
すると、ステップＳ１２において、反映部５４は、行動情報取得部５３により取得された行動情報に基づいて、オブジェクトを含むゲームに影響を与える変化を発生させる。
ステップＳ１２の処理を詳細に説明すると、ステップＳ２１において、行動判定部６１は、行動情報取得部５３により各応援者端末３－１乃至３－ｎから取得された行動情報に基づいて、予め設定された条件に合致する行動を判定する。
具体的には、行動判定部６１は、行動情報取得部５３により各応援者端末３－１乃至３－ｎから行動情報が取得されると、応援情報記憶部４３のテーブル７０を参照して、予めテーブル７０に設定された応援行動判定条件に、取得された行動情報に含まれる行動が合致するか否かを判定し、合致する行動が含まれていた場合は、応援行動と判定し、応援行動に対応するゲーム反映内容をテーブル７０から読み出してゲーム反映部６２に通知する。
ステップＳ１２の処理を詳細に説明すると、ステップＳ２１において、行動判定部６１は、行動情報取得部５３により各応援者端末３－１乃至３－ｎから取得された行動情報に基づいて、予め設定された条件に合致する行動を判定する。
具体的には、行動判定部６１は、行動情報取得部５３により各応援者端末３－１乃至３－ｎから行動情報が取得されると、応援情報記憶部４３のテーブル７０を参照して、予めテーブル７０に設定された応援行動判定条件に、取得された行動情報に含まれる行動が合致するか否かを判定し、合致する行動が含まれていた場合は、応援行動と判定し、応援行動に対応するゲーム反映内容をテーブル７０から読み出してゲーム反映部６２に通知する。
【0042】
ここで、図５を参照して応援行動がゲームに影響を与える変化を発生させる例を説明する。
サーバ４では、例えばある応援者Ｕが応援者端末３のボタンを押すと、「端末のボタンを押した」という行動情報が応援者端末３から得られるので、行動判定部６１は、図５に示すテーブル７０の応援行動判定条件を参照して、その応援行動判定条件の応援行動と得られた行動情報が合致するか否かを判定する。
この判定の結果、「端末のボタンを押した」という行動情報が「端末のボタンを押したら」という応援行動判定条件に合致するため、行動判定部６１は、得られた行動情報を応援行動とみなし、同欄の対応するゲーム反映内容である「ライフが増える」という内容をゲームに反映させるようにゲーム反映部６２に通知する。なお、上記の「端末」は、応援者端末３を示す。
サーバ４では、例えばある応援者Ｕが応援者端末３のボタンを押すと、「端末のボタンを押した」という行動情報が応援者端末３から得られるので、行動判定部６１は、図５に示すテーブル７０の応援行動判定条件を参照して、その応援行動判定条件の応援行動と得られた行動情報が合致するか否かを判定する。
この判定の結果、「端末のボタンを押した」という行動情報が「端末のボタンを押したら」という応援行動判定条件に合致するため、行動判定部６１は、得られた行動情報を応援行動とみなし、同欄の対応するゲーム反映内容である「ライフが増える」という内容をゲームに反映させるようにゲーム反映部６２に通知する。なお、上記の「端末」は、応援者端末３を示す。
【0043】
ここから処理の説明に戻る。図７のステップＳ２２において、ゲーム反映部６２は、行動判定部６１により判定された行動に基づいて、オブジェクトを含むゲームに影響を与える変化を発生させる。即ち、ゲーム反映部６２は、行動判定部６１により応援行動と判定された場合、応援行動に対応するゲーム反映内容が通知されるので、その反映内容にゲームが動作するように制御情報をゲーム実行部５１へ出力し、制御情報を受けたゲーム実行部５１は、制御情報が示す内容になるようにゲームを動作させる。
【0044】
（第２実施形態）
次に、図８を参照して本発明に係る第２実施形態に係る情報処理システムを説明する。
なお、この第２実施形態は、第１実施形態で説明した図１及び図２の情報処理システムに含まれる図３のサーバ４のハードウェア構成、及び図４のサーバ４の機能的構成を有しており重複する構成の説明は省略する。
次に、図８を参照して本発明に係る第２実施形態に係る情報処理システムを説明する。
なお、この第２実施形態は、第１実施形態で説明した図１及び図２の情報処理システムに含まれる図３のサーバ４のハードウェア構成、及び図４のサーバ４の機能的構成を有しており重複する構成の説明は省略する。
【0045】
第２実施形態の情報処理システムは、図８に示すように、サーバ４と、複数のベースステーション８１と、ＨＭＤ１－１と、アームセンサ１－２とを備える。限られた範囲のフロアＦにおいて、現実のプレイヤＰがゲームを行う。
この現実の空間をゲーム内の仮想空間に対応させるため、説明上、空間を、ある起点からのｘ軸、ｙ軸、ｚ軸の座標系で表すものとする。フロアＦの周囲の所定の壁面Ｗには、所定の高さの位置に所定の大きさでマーカーＭが設けられている。
夫々のベースステーション８１は、多軸レーザー発光器であり、フロアＦの角に対角に設置されている。ベースステーション８１は、フロアＦ中に赤外線レーザーを一定間隔で照射する。
この現実の空間をゲーム内の仮想空間に対応させるため、説明上、空間を、ある起点からのｘ軸、ｙ軸、ｚ軸の座標系で表すものとする。フロアＦの周囲の所定の壁面Ｗには、所定の高さの位置に所定の大きさでマーカーＭが設けられている。
夫々のベースステーション８１は、多軸レーザー発光器であり、フロアＦの角に対角に設置されている。ベースステーション８１は、フロアＦ中に赤外線レーザーを一定間隔で照射する。
【0046】
図９に示すように、情報処理システムは、ＨＭＤ１－１、アームセンサ１－２及びサーバ４のゲーム実行部５１により構成される。
ＨＭＤ１－１は、カメラ部１１１と、位置検出部１１２と、通信部１１３を有する。カメラ部１１１は、例えばＣＣＤセンサ等であり、プレイヤＰの視線方向の画像を撮像する。なお、画像には、動画、静止画が含まれる。画像は、映像全般を示す。
位置検出部１１２は、画像認識処理により、カメラ部１１１により撮像された画像に含まれるマーカーの位置や撮像される画像の偏位に基づいてＨＭＤ１－１の位置、つまりＨＭＤ１－１が装着されているプレイヤＰの頭部の位置（ポジション）を検出する。
一例として、例えばＡＲＫｉｔ等の画像認識技術を用いるものとする。画像認識技術の例としては、例えばマーカートラッキングやワールドトラッキング等があり、これらの技術を利用するものとする。なお、これら以外の技術を利用してもよい。
通信部１１３は、サーバ４やＨＭＤ１－１と通信する。通信部１１２は、位置検出部１１２により検出されたプレイヤＰの頭部の位置情報をサーバ４へ送信する。
ＨＭＤ１－１は、カメラ部１１１と、位置検出部１１２と、通信部１１３を有する。カメラ部１１１は、例えばＣＣＤセンサ等であり、プレイヤＰの視線方向の画像を撮像する。なお、画像には、動画、静止画が含まれる。画像は、映像全般を示す。
位置検出部１１２は、画像認識処理により、カメラ部１１１により撮像された画像に含まれるマーカーの位置や撮像される画像の偏位に基づいてＨＭＤ１－１の位置、つまりＨＭＤ１－１が装着されているプレイヤＰの頭部の位置（ポジション）を検出する。
一例として、例えばＡＲＫｉｔ等の画像認識技術を用いるものとする。画像認識技術の例としては、例えばマーカートラッキングやワールドトラッキング等があり、これらの技術を利用するものとする。なお、これら以外の技術を利用してもよい。
通信部１１３は、サーバ４やＨＭＤ１－１と通信する。通信部１１２は、位置検出部１１２により検出されたプレイヤＰの頭部の位置情報をサーバ４へ送信する。
【0047】
アームセンサ１－２は、赤外線センサ１０１と、位置検出部１０２と、通信部１０３を有する。
赤外線センサ１０１は、多数の受光センサを搭載し、異なる位置のベースステーション８１から照射される赤外線レーザーを受光する。
位置検出部１０２は、赤外線センサ１０１が赤外線レーザーを受光した時間や角度からこのアームセンサ１－２が装着されているプレイヤＰの腕又は手の位置（ポジション）を検出する。以下、腕又は手を総称し「手」と呼ぶ。一例として、例えばＨＴＣ ＶＩＶＥによるトラッキング技術等を用いるものとする。頭部や手、足を含むものを肢体と呼ぶ。
通信部１０２は、サーバ４やアームセンサ１－２と通信する。通信部１１２は、位置検出部１０２により検出されたプレイヤＰの手の位置の位置情報をサーバ４へ送信する。
赤外線センサ１０１は、多数の受光センサを搭載し、異なる位置のベースステーション８１から照射される赤外線レーザーを受光する。
位置検出部１０２は、赤外線センサ１０１が赤外線レーザーを受光した時間や角度からこのアームセンサ１－２が装着されているプレイヤＰの腕又は手の位置（ポジション）を検出する。以下、腕又は手を総称し「手」と呼ぶ。一例として、例えばＨＴＣ ＶＩＶＥによるトラッキング技術等を用いるものとする。頭部や手、足を含むものを肢体と呼ぶ。
通信部１０２は、サーバ４やアームセンサ１－２と通信する。通信部１１２は、位置検出部１０２により検出されたプレイヤＰの手の位置の位置情報をサーバ４へ送信する。
【0048】
サーバ４のゲーム実行部５１は、アームトラッキング部９１、頭部トラッキング部９２、同期部９３及びゲーム制御部９４を有する。
頭部トラッキング部９２は、ＨＭＤ１－１から取得したプレイヤＰの頭部の位置情報に基づいて、頭部のポジションをトラッキングする。
アームトラッキング部９１は、アームセンサ１－２から取得したプレイヤＰの手の位置情報に基づいて、手のポジションをトラッキングする。
頭部トラッキング部９２は、ＨＭＤ１－１から取得したプレイヤＰの頭部の位置情報に基づいて、頭部のポジションをトラッキングする。
アームトラッキング部９１は、アームセンサ１－２から取得したプレイヤＰの手の位置情報に基づいて、手のポジションをトラッキングする。
【0049】
同期部９３は、頭部トラッキング部９２が頭部のポジションをトラッキングした第１トラッキング情報と、アームトラッキング部９１が手のポジションをトラッキングした第２トラッキング情報とを同期させて、同じタイミングでの頭部と手の位置情報を取得、つまり頭部と手の位置を検出する。なお、トラッキング情報とは、ポジションが時系列で変化する遷移情報（距離と方向のベルトル情報）である。
ゲーム制御部９４は、同期部９３により取得（検出）された頭部と手のポジションに合わせた画像（エフェクト）をゲーム内の仮想空間に表示する制御を行う。
ゲーム制御部９４は、同期部９３により取得（検出）された頭部と手のポジションに合わせた画像（エフェクト）をゲーム内の仮想空間に表示する制御を行う。
【0050】
【0051】
図１０に示すように、フロアＦの範囲内には、ベースステーション８１から赤外線レーザーが一定間隔で照射されている。
プレイヤＰがフロアＦの内側に入ると、プレイヤＰの腕に装着されているアームセンサ１－２の赤外線センサ１０１により、夫々のベースステーション８１から照射されている赤外線レーザーが受光される。
位置検出部１０２は、赤外線センサ１０１が赤外線レーザーを受光した時間や角度からプレイヤＰの手のポジションを検出する。一例として、例えば空間の座標（ｘ，ｙ，ｚ）＝（１，１，１）等が手のポジションとして検出される。
プレイヤＰがフロアＦの内側に入ると、プレイヤＰの腕に装着されているアームセンサ１－２の赤外線センサ１０１により、夫々のベースステーション８１から照射されている赤外線レーザーが受光される。
位置検出部１０２は、赤外線センサ１０１が赤外線レーザーを受光した時間や角度からプレイヤＰの手のポジションを検出する。一例として、例えば空間の座標（ｘ，ｙ，ｚ）＝（１，１，１）等が手のポジションとして検出される。
【0052】
続いて、図１１及び図１２を参照して情報処理システムにおいて頭部のポジションをトラッキングする動作を説明する。ＨＭＤ１－１の撮像機能を利用したトラッキング技術としては、マーカートラッキングとワールドトラッキングの２つの手法があり、夫々を説明する。
【0053】
マーカートラッキングでは、図１１に示すように、フロアＦの範囲内にプレイヤＰが立った状態で、プレイヤＰが、壁面ＷのマーカーＭへ視線を向けると、ＨＭＤ１－１では、カメラ部１１１により撮像された壁面Ｗの画像が位置検出部１１２に入力される。
位置検出部１１２は、入力された壁面Ｗの画像から画像認識処理によりマーカーＭを検出し、原点とのズレを補正し、現在の頭部の正しいポジションを検出する。一例として、例えば空間の座標（ｘ，ｙ，ｚ）＝（１，２，１）等が頭部のポジションとして検出される。
位置検出部１１２は、入力された壁面Ｗの画像から画像認識処理によりマーカーＭを検出し、原点とのズレを補正し、現在の頭部の正しいポジションを検出する。一例として、例えば空間の座標（ｘ，ｙ，ｚ）＝（１，２，１）等が頭部のポジションとして検出される。
【0054】
ワールドトラッキングでは、図１２に示すように、フロアＦの範囲内にプレイヤＰが立った状態で、プレイヤＰが、周囲を見渡すように視線を移動させると、ＨＭＤ１－１では、カメラ部１１１により撮像された周囲の景色が移り変わる画像が位置検出部１１２に順次入力される。
位置検出部１１２は、入力された周囲の景色が移り変わる複数の画像をモーションキャプチャーし、画像認識処理により、キャプチャー画像どうしの差異（キャプチャー時刻の差異及び画像の差分）を認識し、現在の頭部の正しいポジションを検出する。一例としては、上記マーカートラッキングと同様に、空間の座標（ｘ，ｙ，ｚ）＝（１，２，１）が頭部のポジションとして検出される。
位置検出部１１２は、入力された周囲の景色が移り変わる複数の画像をモーションキャプチャーし、画像認識処理により、キャプチャー画像どうしの差異（キャプチャー時刻の差異及び画像の差分）を認識し、現在の頭部の正しいポジションを検出する。一例としては、上記マーカートラッキングと同様に、空間の座標（ｘ，ｙ，ｚ）＝（１，２，１）が頭部のポジションとして検出される。
【0055】
次に、図１３を参照して情報処理システムにおいて２つのトラッキング情報の同期動作を説明する。
ＨＭＤ１－１により検出された頭部のポジション（座標）と、アームセンサ１－２により検出された手のポジション（座標）がサーバ４に受信されて、ゲーム実行部５１に入力される。
ゲーム実行部５１では、アームトラッキング部９１が、アームセンサ１－２から順次取得されるプレイヤＰの手のポジション（空間の座標）に基づいて、変化する手のポジションをトラッキングする。つまり変化する手の位置を追跡する。
また、頭部トラッキング部９２は、ＨＭＤ１－１から順次取得されるプレイヤＰの頭部のポジション（空間の座標）に基づいて、変化する頭部のポジションをトラッキングする。
ＨＭＤ１－１により検出された頭部のポジション（座標）と、アームセンサ１－２により検出された手のポジション（座標）がサーバ４に受信されて、ゲーム実行部５１に入力される。
ゲーム実行部５１では、アームトラッキング部９１が、アームセンサ１－２から順次取得されるプレイヤＰの手のポジション（空間の座標）に基づいて、変化する手のポジションをトラッキングする。つまり変化する手の位置を追跡する。
また、頭部トラッキング部９２は、ＨＭＤ１－１から順次取得されるプレイヤＰの頭部のポジション（空間の座標）に基づいて、変化する頭部のポジションをトラッキングする。
【0056】
同期部９３は、アームトラッキング部９１が手のポジションをトラッキングした第１トラッキング情報（ポジションが時系列で変化する情報）と、頭部トラッキング部９２が頭部のポジションをトラッキングした第２トラッキング情報（ポジションが時系列で変化する情報）とを同期させて、図１３に示すように、同じタイミングでの頭部のポジション（（ｘ，ｙ，ｚ）＝（１，２，１））と手のポジション（（座標（ｘ，ｙ，ｚ）＝（１，１，１））を含むトラッキング同期情報を生成し、ゲーム制御部９４に出力する。
ゲーム制御部９４は、同期部９３により生成（出力）されたトラッキング同期情報に含まれる頭やと手のポジションに合わせて動くオブジェクトの画像（エナジーボールＥＢやエフェクト画像等を含む）をＨＭＤ１－１（ゲーム内の三次元仮想空間）に表示する制御を行う。
ゲーム制御部９４は、同期部９３により生成（出力）されたトラッキング同期情報に含まれる頭やと手のポジションに合わせて動くオブジェクトの画像（エナジーボールＥＢやエフェクト画像等を含む）をＨＭＤ１－１（ゲーム内の三次元仮想空間）に表示する制御を行う。
【0057】
ここで、図１４を参照して同期部９３により生成されるトラッキング同期情報について説明する。
同期部９３は、図１４に示すように、上記ポジション（位置情報）の他に、ベクトル（ポジション毎の速度と方向の値）及びローテーション（回転情報）等を含むトラッキング同期情報を生成し出力する。
ポジションは、時刻変化に伴うプレイヤＰの頭部のポジションと手のポジションの遷移変位である。例えばある時刻のトラッキングタイミングにおいて、プレイヤＰの頭部のポジションが（空間の座標ｘ，ｙ，ｚ）＝（１，２，１）、手のポジション（空間の座標ｘ，ｙ，ｚ）＝（１，１，１）であったが、その後、プレイヤＰが矢印方向Ｃに移動し、次の時刻のトラッキングタイミングでは、プレイヤＰの頭部のポジションが（空間の座標ｘ，ｙ，ｚ）＝（５，２，２）、手のポジション（空間の座標ｘ，ｙ，ｚ）＝（５，１，２）となった、といった情報である。
ベクトルは、プレイヤＰが腕を振ったとき又は腕を回転させたとき、アームセンサ１－２によりポジションの移動が検出されたとき例えば１／３０ｓｅｃ毎に検出される各ポジションのベクトルＶ１乃至Ｖ４の値である。ベクトルＶ１乃至Ｖ４の値は、腕を振った力の方向と速度の値、又は腕を回転させた力の方向と速度の値等である。
ローテーションは、ｘｚ平面上において、プレイヤＰが手の状態（例えば手の甲Ｄ１を正面にした状態）から、手首を回転させたときの手の状態（手の平Ｄ２を正面に向けた状態）の手の向き又は回転方向である。
同期部９３は、図１４に示すように、上記ポジション（位置情報）の他に、ベクトル（ポジション毎の速度と方向の値）及びローテーション（回転情報）等を含むトラッキング同期情報を生成し出力する。
ポジションは、時刻変化に伴うプレイヤＰの頭部のポジションと手のポジションの遷移変位である。例えばある時刻のトラッキングタイミングにおいて、プレイヤＰの頭部のポジションが（空間の座標ｘ，ｙ，ｚ）＝（１，２，１）、手のポジション（空間の座標ｘ，ｙ，ｚ）＝（１，１，１）であったが、その後、プレイヤＰが矢印方向Ｃに移動し、次の時刻のトラッキングタイミングでは、プレイヤＰの頭部のポジションが（空間の座標ｘ，ｙ，ｚ）＝（５，２，２）、手のポジション（空間の座標ｘ，ｙ，ｚ）＝（５，１，２）となった、といった情報である。
ベクトルは、プレイヤＰが腕を振ったとき又は腕を回転させたとき、アームセンサ１－２によりポジションの移動が検出されたとき例えば１／３０ｓｅｃ毎に検出される各ポジションのベクトルＶ１乃至Ｖ４の値である。ベクトルＶ１乃至Ｖ４の値は、腕を振った力の方向と速度の値、又は腕を回転させた力の方向と速度の値等である。
ローテーションは、ｘｚ平面上において、プレイヤＰが手の状態（例えば手の甲Ｄ１を正面にした状態）から、手首を回転させたときの手の状態（手の平Ｄ２を正面に向けた状態）の手の向き又は回転方向である。
【0058】
このようにこの第２実施形態によれば、サーバ４のゲーム実行部５１に同期部９３を備えて、ＨＭＤ１－１とアームセンサ１－２の２つのポジションのトラッキング情報を同期させることで、プレイヤＰの頭部のポジションと手のポジションが時系列で同期するので、プレイヤＰが動く際の頭と手の動きにゲームのオブジェクトを連動させることができるようになり、プレイヤＰとオブジェクトの動き（エナジーボールＥＢやシールドＳＨ等の出現タイミングや出現位置等）のリアルなプレイ感覚を、プレイヤＰや応援者Ｕが感じることができる。
この結果、プレイヤＰやそれ以外の第三者である応援者Ｕがゲームを楽しむことができるようになる。
この結果、プレイヤＰやそれ以外の第三者である応援者Ｕがゲームを楽しむことができるようになる。
【0059】
ここで、図１５を参照して上記同期部９３の同期機能を利用したゲームへの適用例を説明する。
異なる場所に存在するプレイヤどうしが対戦する場合、図１４に示すように、一方のプレイヤＰＡは、現実のフロアＦに居るものとすると、他方のプレイヤは、そのフロアＦには存在しないことから、他方のプレイヤに対応するアバターＡＶをＨＭＤ１－１に表示させる。なお、アバターは、プレイヤＰの仮想空間内における位置や角度、動きに対応する人型のオブジェクトである。
他方のプレイヤも異なる場所でプレイヤＰＡの居るフロアＦと同じ環境のフロアに居て上記同様な方法でトラッキングを行うことで、異なる場所のプレイヤがあたかも同じフロアＦで対戦するように仮想現実空間を構成できる。また異なる場所のプレイヤどうしが同じチームになり、他のチームと対戦することもできる。
異なる場所に存在するプレイヤどうしが対戦する場合、図１４に示すように、一方のプレイヤＰＡは、現実のフロアＦに居るものとすると、他方のプレイヤは、そのフロアＦには存在しないことから、他方のプレイヤに対応するアバターＡＶをＨＭＤ１－１に表示させる。なお、アバターは、プレイヤＰの仮想空間内における位置や角度、動きに対応する人型のオブジェクトである。
他方のプレイヤも異なる場所でプレイヤＰＡの居るフロアＦと同じ環境のフロアに居て上記同様な方法でトラッキングを行うことで、異なる場所のプレイヤがあたかも同じフロアＦで対戦するように仮想現実空間を構成できる。また異なる場所のプレイヤどうしが同じチームになり、他のチームと対戦することもできる。
【0060】
（第３実施形態）
次に、図１６を参照して第３実施形態の情報処理システムについて説明する。図１６は、第３実施形態の情報処理システムのうちサーバの機能的構成の要部（ゲーム実行部）を示す図である。
なお、この第３実施形態は、第１実施形態で説明した図１及び図２の情報処理システムに含まれる図３のサーバ４のハードウェア構成、図４のサーバ４の機能的構成、第２実施形態で説明した図８の構成を有しており、重複する構成の説明は省略する。
次に、図１６を参照して第３実施形態の情報処理システムについて説明する。図１６は、第３実施形態の情報処理システムのうちサーバの機能的構成の要部（ゲーム実行部）を示す図である。
なお、この第３実施形態は、第１実施形態で説明した図１及び図２の情報処理システムに含まれる図３のサーバ４のハードウェア構成、図４のサーバ４の機能的構成、第２実施形態で説明した図８の構成を有しており、重複する構成の説明は省略する。
【0061】
第３実施形態の情報処理システムは、図１６に示すように、ＨＭＤ１－１、アームセンサ１－２、ベースステーション８１及びサーバ４のゲーム実行部５１を有する。ＨＭＤ１－１、アームセンサ１－２及びベースステーション８１は、第２実施形態と同じ構成を有しておりその説明は省略する。
【0062】
サーバ４のゲーム実行部５１は、同期部９３及びゲーム制御部９４を有する。同期部９３及びゲーム制御部９４については、第２実施形態と同じ構成でありその説明は省略する。
ゲーム制御部９４は、発射判定部１２１及びオブジェクト制御部１２２を備える。
オブジェクト制御部１２２は、発射判定部１２２から通知される発射情報に基づいて、ＨＭＤ１－１に表示するオブジェクトの動作を制御する。
ゲーム制御部９４は、発射判定部１２１及びオブジェクト制御部１２２を備える。
オブジェクト制御部１２２は、発射判定部１２２から通知される発射情報に基づいて、ＨＭＤ１－１に表示するオブジェクトの動作を制御する。
【0063】
発射判定部１２１は、同期部９３から入力されるトラッキング同期情報に基づいて、プレイヤＰの動きに連動するオブジェクト、例えばエナジーボールＥＢ等の発射判定を行い、発射判定の結果として、発射方向と発射タイミングを含む発射情報をオブジェクト制御部１２２に通知する。
詳細に説明すると、発射判定部１２１は、同期部９３から入力されるトラッキング同期情報に含まれるポジション毎のベクトルに基づいて、プレイヤＰの動きに連動するようなタイミングと方向にオブジェクト（エナジーボールＥＢ等）を射出する制御を行う。
詳細に説明すると、発射判定部１２１は、同期部９３から入力されるトラッキング同期情報に含まれるポジション毎のベクトルに基づいて、プレイヤＰの動きに連動するようなタイミングと方向にオブジェクト（エナジーボールＥＢ等）を射出する制御を行う。
【0064】
発射判定部１２１は、発射タイミング判定部１３１と発射方向判定部１３２とを有する。
発射タイミング判定部１３１は、同期部９３から入力されるトラッキング同期情報に含まれるポジション毎のベクトル（方向と速度）に基づいて、オブジェクトの発射タイミング（いつ撃つか）を判定する。
詳細に説明すると、発射タイミング判定部１３１は、順次入力されるトラッキング同期情報に含まれるポジション毎のベクトルの速度に基づいてオブジェクトの発射タイミング（いつ撃つか）を判定する。
発射タイミング判定部１３１は、同期部９３から入力されるトラッキング同期情報に含まれるポジション毎のベクトル（方向と速度）に基づいて、オブジェクトの発射タイミング（いつ撃つか）を判定する。
詳細に説明すると、発射タイミング判定部１３１は、順次入力されるトラッキング同期情報に含まれるポジション毎のベクトルの速度に基づいてオブジェクトの発射タイミング（いつ撃つか）を判定する。
【0065】
例えば図１７に示すように、プレイヤＰが腕を前方（視線の方向）へ下から上に振って矢印Ｈの方向に発射動作を行うと、アームセンサ１－２においてポジションの変化が検出され、同期部９３から発射判定部１２１にトラッキング同期情報が順次入力される。
夫々のトラッキング同期情報には、腕の振りによって変化するポジション毎のベクトル（方向と速度）が含まれており、時系列を追って複数のベクトルＶ１乃至Ｖ７が得られる。
発射タイミング判定部１３１は、ベクトルＶ１乃至Ｖ７が順次得られる中で、前方の速度の値が予め設定された一定の値を超えたタイミングで発射タイミングの判定をスタートする。図１７に示す例では、ベクトルＶ４が得られたタイミングで判定をスタートするものとする。
そして、発射タイミング判定部１３１は、ベクトルの速度の値が一定の値以下になったときに発射タイミングと判定する。図１７に示す例では、ベクトルＶ７が得られたタイミングが発射タイミングとされる。
夫々のトラッキング同期情報には、腕の振りによって変化するポジション毎のベクトル（方向と速度）が含まれており、時系列を追って複数のベクトルＶ１乃至Ｖ７が得られる。
発射タイミング判定部１３１は、ベクトルＶ１乃至Ｖ７が順次得られる中で、前方の速度の値が予め設定された一定の値を超えたタイミングで発射タイミングの判定をスタートする。図１７に示す例では、ベクトルＶ４が得られたタイミングで判定をスタートするものとする。
そして、発射タイミング判定部１３１は、ベクトルの速度の値が一定の値以下になったときに発射タイミングと判定する。図１７に示す例では、ベクトルＶ７が得られたタイミングが発射タイミングとされる。
【0066】
発射方向判定部１３２は、同期部９３から入力されるトラッキング同期情報に含まれるポジション毎のベクトルに基づいて、オブジェクトの発射方向（どこに撃つか）を判定する。
詳細に説明すると、発射方向判定部１３２は、図１８に示すように、フロアＦに立ったプレイヤＰがオブジェクトを発射するために前方（視線の方向）に視線Ｅを向けると、ＨＭＤ１－１のポジションのＹ座標（高さ成分）を維持する。つまりプレイヤＰの視線を維持する。
その後、図１９に示すように、プレイヤＰが腕を前方（視線の方向）へ下から上に振って矢印Ｈの方向に発射動作を行うと、発射方向判定部１３２は、順次取得されるベクトルＶ１１乃至Ｖ１４の方向が、前方の一定範囲Ｇに入った点Ｍ１乃至Ｍ４を抽出する。
そして、点Ｍ１乃至Ｍ４が、維持した視線の高さになったときに、発射方向判定部１３２は、そのベクトルの方向に発射するものと判定する。図１９の例では、視線Ｅの高さの点Ｍ４の方向のベクトルＶ４の向き（角度）でオブジェクトを発射するものと判定する。
このようにして、発射判定部１２１は、発射タイミング判定部１３１と発射方向判定部１３２とによって得られた発射方向と発射タイミングを含む発射情報を生成し、オブジェクト制御部１２２に通知する。
詳細に説明すると、発射方向判定部１３２は、図１８に示すように、フロアＦに立ったプレイヤＰがオブジェクトを発射するために前方（視線の方向）に視線Ｅを向けると、ＨＭＤ１－１のポジションのＹ座標（高さ成分）を維持する。つまりプレイヤＰの視線を維持する。
その後、図１９に示すように、プレイヤＰが腕を前方（視線の方向）へ下から上に振って矢印Ｈの方向に発射動作を行うと、発射方向判定部１３２は、順次取得されるベクトルＶ１１乃至Ｖ１４の方向が、前方の一定範囲Ｇに入った点Ｍ１乃至Ｍ４を抽出する。
そして、点Ｍ１乃至Ｍ４が、維持した視線の高さになったときに、発射方向判定部１３２は、そのベクトルの方向に発射するものと判定する。図１９の例では、視線Ｅの高さの点Ｍ４の方向のベクトルＶ４の向き（角度）でオブジェクトを発射するものと判定する。
このようにして、発射判定部１２１は、発射タイミング判定部１３１と発射方向判定部１３２とによって得られた発射方向と発射タイミングを含む発射情報を生成し、オブジェクト制御部１２２に通知する。
【0067】
この結果、オブジェクト制御部１２２は、発射判定部１２１から通知された発射情報に含まれる発射方向と発射タイミングを用いて、図２０に示すように、目線Ｅの高さ当たりにショットＳを放つように制御することができる。
【0068】
このようにこの第３実施形態によれば、ゲーム実行部５１に発射判定部１２１とオブジェクト制御部１２２とを備えることで、同期部９３から入力されるトラッキング同期情報に基づいて、プレイヤＰの動きに連動するオブジェクトの発射判定を行い、発射判定の結果に基づいて、オブジェクトの動作を制御するので、プレイヤＰがオブジェクトを手で投げたり発射するようなゲームでは、プレイヤＰの投げる動作に対してオブジェクトの手離れがスムーズになり、見映えがよくなり、プレイヤＰや応援者Ｕがゲームを楽しむことができるようになる。
【0069】
以上、本発明のいくつかの実施形態について説明したが、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
【0070】
上記実施形態では、プレイヤＰがＨＭＤ１－１を装着して行うＡＲゲームを一例に説明したが、例えばＶＲゲームやＭＲゲームにも適用することができる。また、プレイヤＰがＨＭＤ１－１を装着するのではなく、プレイヤＰがゲーム機やコントローラを操作して行うゲームやテレビゲーム等についても適用できる。ＶＲは、Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙの略称であり、ＭＲは、Ｍｉｘｅｄ Ｒｅａｌｉｔｙの略称である。
ＶＲゲームでは、ゲーム実行部５１は、現実のプレイヤＰに対応する仮想現実空間上のアバターが当該プレイヤＰの動き又はゲーム機の操作に応じて動き、該アバターの動きに応じて仮想現実空間の画像が変化するゲームを実行する。
ＭＲゲームは、ＡＲゲームとほぼ共通である。即ち、ＭＲゲームでは、ゲーム実行部５１は、プレイヤＰが透過型ディスプレイを通して見える現実空間の物にオブジェクトを重ねて表示させて、プレイヤＰの動きに応じてオブジェクトを動作させる。
また、上記実施形態では、複数のプレイヤＰが２つのチームＡ、Ｂに分かれて対戦するゲームを一例にして説明したが、この他、プレイヤＰが単独で行うゲームや多数のチームが同じフィールドで対戦するゲーム等についても、本発明を適用可能であり、プレイヤＰの数やゲームの内容に限定されるものではない。
本発明におけるゲームは、広い意味を持ち、例えばプレイヤＰが一人または複数で映像を応援者端末３に配信し、その映像内容に応じて応援者Ｕが投げ銭をプレゼントするようなショー形式の映像配信アプリケーション等もゲームに含まれる。また、ゲームには、スポーツやイベント等も含まれる。
ＶＲゲームでは、ゲーム実行部５１は、現実のプレイヤＰに対応する仮想現実空間上のアバターが当該プレイヤＰの動き又はゲーム機の操作に応じて動き、該アバターの動きに応じて仮想現実空間の画像が変化するゲームを実行する。
ＭＲゲームは、ＡＲゲームとほぼ共通である。即ち、ＭＲゲームでは、ゲーム実行部５１は、プレイヤＰが透過型ディスプレイを通して見える現実空間の物にオブジェクトを重ねて表示させて、プレイヤＰの動きに応じてオブジェクトを動作させる。
また、上記実施形態では、複数のプレイヤＰが２つのチームＡ、Ｂに分かれて対戦するゲームを一例にして説明したが、この他、プレイヤＰが単独で行うゲームや多数のチームが同じフィールドで対戦するゲーム等についても、本発明を適用可能であり、プレイヤＰの数やゲームの内容に限定されるものではない。
本発明におけるゲームは、広い意味を持ち、例えばプレイヤＰが一人または複数で映像を応援者端末３に配信し、その映像内容に応じて応援者Ｕが投げ銭をプレゼントするようなショー形式の映像配信アプリケーション等もゲームに含まれる。また、ゲームには、スポーツやイベント等も含まれる。
【0071】
上記第３実施形態の例では、プレイヤＰが手でエナジーボールＥＢ等のオブジェクトを投げるようなゲームの例について説明したが、これ以外に、手でオブジェクトをシュートするゲームに対応するため、以下のような制御を行う。
オブジェクト制御部１２２は、Ｙ軸方向の発射位置（高さ）を固定し、プレイヤＰがどのような腕の振り方をしても、また、プレイヤＰの頭部の位置がどのような位置であっても、図２１に示すように、一定の高さＫで目標に向けてシュートＪが飛ぶように制御する。
オブジェクト制御部１２２は、Ｙ軸方向の発射位置（高さ）を固定し、プレイヤＰがどのような腕の振り方をしても、また、プレイヤＰの頭部の位置がどのような位置であっても、図２１に示すように、一定の高さＫで目標に向けてシュートＪが飛ぶように制御する。
【0072】
この他、腕に付けるアームセンサ１－２をシュートやチャージの制御に利用するようにしてもよい。この場合、例えば図２２に示すように、プレイヤＰが手を回転させて手の平Ｄ２を上にしたとき、つまりアームセンサ１－２を床方向に向けたときの回転情報を用いて、シュートＪの発射を制御してもよい。
また、アームセンサ１－２を床方向に向けた状態が一定時間維持することで、次のシュートＪを行うためのチャージを完了する。
この場合、チャージが完了した状態で、図２２のように腕を矢印Ｈの方向に振ると、シュートＪを発射することができる。
また、アームセンサ１－２を床方向に向けた状態が一定時間維持することで、次のシュートＪを行うためのチャージを完了する。
この場合、チャージが完了した状態で、図２２のように腕を矢印Ｈの方向に振ると、シュートＪを発射することができる。
【0073】
また、図２３に示すように、相手チームのプレイヤＰＡが放ったシュートＪを、他のチームのプレイヤＰＢが手元のアームセンサ１－２で受け取れるように制御できる。この場合、例えば三次元空間上でボールのモデルがアームセンサ１－２のポジションから一定の半径の範囲内に入ると、ボールをキャッチできるように条件を設定する。
【0074】
さらに、シュートの誤発射を極力防ぐため、図２４に示すように、ＨＭＤ１－１の位置（頭部の位置）からアームセンサ１－２の位置（手の位置）の距離感で所定の範囲Ｒについては、強制的にシュートを発射させないよう制御してもよい。
【0075】
さらに、例えば、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
【0076】
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。
また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えばサーバの他汎用のスマートホンやＰＣ等であってもよい。
また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えばサーバの他汎用のスマートホンやＰＣ等であってもよい。
【0077】
このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図示せぬリムーバブルメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。
【0078】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本明細書において、システムの用語は、複数の装置や複数の手段等より構成される全体的な装置を意味するものとする。
また、本明細書において、システムの用語は、複数の装置や複数の手段等より構成される全体的な装置を意味するものとする。
【0079】
換言すると、本発明が適用される情報処理システムは、上述の図１の実施形態としての情報処理システムを含め、次のような構成を有する各種各様の実施形態を取ることができる。
【0080】
即ち、本発明が適用される情報処理装置（例えば図４のサーバ４等）は、
プレイヤＰの動きに応じてオブジェクトを動作させるゲームを実行するゲーム実行手段（例えば図４のゲーム実行部５１等）と、
前記プレイヤＰ以外で前記ゲームに関係する第三者（応援者Ｕ）の行動に関する行動情報を取得する情報取得手段（例えば図４の行動情報取得部５３等）と、
前記情報取得手段により取得された前記行動情報に基づいて、前記オブジェクトを含む前記ゲームに影響を与える変化を発生させる反映手段（例えば図４の反映部５４等）と、
を備える。
この構成を備えることにより、応援者Ｕが行う応援行動自体が、オブジェクトを含むゲームに影響を与える変化を発生させるので、プレイヤＰ以外の第三者である応援者ＵがプレイヤＰと共にゲームに参加していることを体感できるようになる。
前記反映手段（例えば図４の反映部５４等）は、
前記情報取得手段により取得された前記行動情報に基づいて、予め設定された条件に合致する行動を判定する行動判定手段（例えば図４の行動判定部６１等）と、
前記行動判定手段により判定された前記行動に基づいて、前記オブジェクトを含む前記ゲームに影響を与える変化を発生させるゲーム反映手段（例えば図４のゲーム反映部６２等）と、
を備える。
この構成を備えることにより、応援者Ｕの行動が条件に合致した場合に、オブジェクトを含むゲームに影響を与える変化を発生させることにより、応援者Ｕが有効な応援行動を行ったときにゲームに変化が発生するので、プレイヤＰ以外の第三者である応援者Ｕがゲームに参加していることを体感できるようになる。
前記ゲーム実行手段（例えば図４のゲーム実行部５１等）は、
プレイヤＰが透過型のディスプレイ（例えば図２のＨＭＤ１－１等）を通して見える現実の空間に、拡張現実空間又は複合現実空間におけるオブジェクト（例えば図１のエナジーボールＥＢ、シールドＳＨ等）を重ねて前記ディスプレイに表示させて、前記プレイヤの動きに応じて前記オブジェクトを動作させるゲームを実行する。
この構成を備えることにより、ＡＲゲーム又はＭＲゲームにおいて、プレイヤＰ以外の第三者である応援者Ｕがゲームに参加していることを体感できるようになる。
前記ゲーム実行手段（例えば図４のゲーム実行部５１等）は、
現実のプレイヤに対応する仮想現実空間上のアバターが当該プレイヤの動き又はゲーム機の操作に応じて動き、該アバターの動きに応じて仮想現実空間の画像が変化するゲームを実行する。
この構成を備えることにより、ＶＲゲームにおいて、プレイヤＰ以外の第三者である応援者Ｕがゲームに参加していることを体感できるようになる。
前記条件（例えば図５のテーブル７０等）は、第三者（応援者Ｕ）夫々から取得された行動情報に含まれる行動が有効な行動であると判定するための行動判定条件（テーブル７０の応援行動判定条件）と、前記行動判定条件に合致した行動を、ゲームにどのように反映させるかを示すゲーム反映内容（テーブル７０のゲーム反映内容）とを対応させたものである。
この構成を備えることにより、テーブル７０に設定されている応援者Ｕの行動がゲームに反映されるので、応援者Ｕは、プレイヤＰ以外の第三者である応援者Ｕがゲームに参加していることを体感できるようになる。
前記第三者（応援者Ｕ）が操作可能な情報端末（例えば図２の応援者端末３）を有し、
前記行動情報は、第三者（応援者Ｕ）の動き、声、又は前記情報端末に対する第三者の操作を前記情報端末が検出した状況の変化を示す情報を含み、
前記ゲーム反映手段（例えば図４のゲーム反映部６２等）は、
前記状況の変化を示す情報が予め設定された閾値を超えた場合に、前記オブジェクトを含む前記ゲームに変化を発生させる。
この構成を備えることにより、運営側で応援行動として設定した応援者Ｕの行動のみがゲームに反映されるので、他の妨害行動等でゲームが阻害されることがなくなる。
前記状況の変化を示す情報は、前記情報端末（例えば図２の応援者端末３）に対する前記第三者（応援者Ｕ）のボタンの押下操作、前記第三者の歩数、前記第三者の声、前記第三者の体の動き、前記第三者が所持する物（タオル、うちわ、テレビのリモコン、投げ銭、蛍光棒等）の動きのうち１つ以上の変化を含む。
この構成を備えることにより、情報端末の既存の機能を利用し応援者Ｕの様々な応援行動を検出することができ、その応援行動に応じた反映内容も様々なものにすることができる。
なお、ボタンの押下操作には、ハードウェアのボタンの押下操作だけでなく、画面に表示されるソフトウェアボタン（アイコンやオブジェクト等）の押下操作等を含む。また、押下操作には、単なる押す操作の他に、画面をなぞる操作やはじく操作、複数の指による操作等が含まれる。
プレイヤＰの動きに応じてオブジェクトを動作させるゲームを実行するゲーム実行手段（例えば図４のゲーム実行部５１等）と、
前記プレイヤＰ以外で前記ゲームに関係する第三者（応援者Ｕ）の行動に関する行動情報を取得する情報取得手段（例えば図４の行動情報取得部５３等）と、
前記情報取得手段により取得された前記行動情報に基づいて、前記オブジェクトを含む前記ゲームに影響を与える変化を発生させる反映手段（例えば図４の反映部５４等）と、
を備える。
この構成を備えることにより、応援者Ｕが行う応援行動自体が、オブジェクトを含むゲームに影響を与える変化を発生させるので、プレイヤＰ以外の第三者である応援者ＵがプレイヤＰと共にゲームに参加していることを体感できるようになる。
前記反映手段（例えば図４の反映部５４等）は、
前記情報取得手段により取得された前記行動情報に基づいて、予め設定された条件に合致する行動を判定する行動判定手段（例えば図４の行動判定部６１等）と、
前記行動判定手段により判定された前記行動に基づいて、前記オブジェクトを含む前記ゲームに影響を与える変化を発生させるゲーム反映手段（例えば図４のゲーム反映部６２等）と、
を備える。
この構成を備えることにより、応援者Ｕの行動が条件に合致した場合に、オブジェクトを含むゲームに影響を与える変化を発生させることにより、応援者Ｕが有効な応援行動を行ったときにゲームに変化が発生するので、プレイヤＰ以外の第三者である応援者Ｕがゲームに参加していることを体感できるようになる。
前記ゲーム実行手段（例えば図４のゲーム実行部５１等）は、
プレイヤＰが透過型のディスプレイ（例えば図２のＨＭＤ１－１等）を通して見える現実の空間に、拡張現実空間又は複合現実空間におけるオブジェクト（例えば図１のエナジーボールＥＢ、シールドＳＨ等）を重ねて前記ディスプレイに表示させて、前記プレイヤの動きに応じて前記オブジェクトを動作させるゲームを実行する。
この構成を備えることにより、ＡＲゲーム又はＭＲゲームにおいて、プレイヤＰ以外の第三者である応援者Ｕがゲームに参加していることを体感できるようになる。
前記ゲーム実行手段（例えば図４のゲーム実行部５１等）は、
現実のプレイヤに対応する仮想現実空間上のアバターが当該プレイヤの動き又はゲーム機の操作に応じて動き、該アバターの動きに応じて仮想現実空間の画像が変化するゲームを実行する。
この構成を備えることにより、ＶＲゲームにおいて、プレイヤＰ以外の第三者である応援者Ｕがゲームに参加していることを体感できるようになる。
前記条件（例えば図５のテーブル７０等）は、第三者（応援者Ｕ）夫々から取得された行動情報に含まれる行動が有効な行動であると判定するための行動判定条件（テーブル７０の応援行動判定条件）と、前記行動判定条件に合致した行動を、ゲームにどのように反映させるかを示すゲーム反映内容（テーブル７０のゲーム反映内容）とを対応させたものである。
この構成を備えることにより、テーブル７０に設定されている応援者Ｕの行動がゲームに反映されるので、応援者Ｕは、プレイヤＰ以外の第三者である応援者Ｕがゲームに参加していることを体感できるようになる。
前記第三者（応援者Ｕ）が操作可能な情報端末（例えば図２の応援者端末３）を有し、
前記行動情報は、第三者（応援者Ｕ）の動き、声、又は前記情報端末に対する第三者の操作を前記情報端末が検出した状況の変化を示す情報を含み、
前記ゲーム反映手段（例えば図４のゲーム反映部６２等）は、
前記状況の変化を示す情報が予め設定された閾値を超えた場合に、前記オブジェクトを含む前記ゲームに変化を発生させる。
この構成を備えることにより、運営側で応援行動として設定した応援者Ｕの行動のみがゲームに反映されるので、他の妨害行動等でゲームが阻害されることがなくなる。
前記状況の変化を示す情報は、前記情報端末（例えば図２の応援者端末３）に対する前記第三者（応援者Ｕ）のボタンの押下操作、前記第三者の歩数、前記第三者の声、前記第三者の体の動き、前記第三者が所持する物（タオル、うちわ、テレビのリモコン、投げ銭、蛍光棒等）の動きのうち１つ以上の変化を含む。
この構成を備えることにより、情報端末の既存の機能を利用し応援者Ｕの様々な応援行動を検出することができ、その応援行動に応じた反映内容も様々なものにすることができる。
なお、ボタンの押下操作には、ハードウェアのボタンの押下操作だけでなく、画面に表示されるソフトウェアボタン（アイコンやオブジェクト等）の押下操作等を含む。また、押下操作には、単なる押す操作の他に、画面をなぞる操作やはじく操作、複数の指による操作等が含まれる。
【0081】
前記ゲーム実行手段（例えば図９のゲーム実行部５１等）は、
プレイヤＰの頭部に装着された第１センサ（例えば図９のＨＭＤ１－１等）から取得したプレイヤＰの頭部の位置情報に基づいて、頭部の位置（ポジション）をトラッキングする第１トラッキング手段（例えば図９の頭部トラッキング部９２等）と、
プレイヤＰの腕に装着された第２センサ（例えば図９のアームセンサ１－２等）から取得したプレイヤＰの手の位置情報に基づいて、手の位置（ポジション）をトラッキングする第２トラッキング手段（例えば図９のアームトラッキング部９１等）と、
前記第１トラッキング手段が頭部の位置（ポジション）をトラッキングした第１トラッキング情報と前記第２アームトラッキング手段が手の位置（ポジション）をトラッキングした第２トラッキング情報とを同期させて、同じタイミングでの前記頭部と前記手の位置情報を取得する同期手段（例えば図９の同期部９３等）と、
前記同期手段により取得された前記頭部と前記手の位置（ポジション）に合わせた前記オブジェクトの画像をゲーム内の仮想空間に表示する制御を行うゲーム制御手段（例えば図９のゲーム制御部９４）と、
を備える。
この構成を備えることにより、現実のプレイヤＰにオブジェクトを重ねて表示するゲームでは、プレイヤＰの頭や手足を含む肢体の動きにオブジェクトの動きを同期させて、見映えがよくなり、プレイヤＰや応援者Ｕがゲームを楽しむことができるようになる。
プレイヤＰの頭部に装着された第１センサ（例えば図９のＨＭＤ１－１等）から取得したプレイヤＰの頭部の位置情報に基づいて、頭部の位置（ポジション）をトラッキングする第１トラッキング手段（例えば図９の頭部トラッキング部９２等）と、
プレイヤＰの腕に装着された第２センサ（例えば図９のアームセンサ１－２等）から取得したプレイヤＰの手の位置情報に基づいて、手の位置（ポジション）をトラッキングする第２トラッキング手段（例えば図９のアームトラッキング部９１等）と、
前記第１トラッキング手段が頭部の位置（ポジション）をトラッキングした第１トラッキング情報と前記第２アームトラッキング手段が手の位置（ポジション）をトラッキングした第２トラッキング情報とを同期させて、同じタイミングでの前記頭部と前記手の位置情報を取得する同期手段（例えば図９の同期部９３等）と、
前記同期手段により取得された前記頭部と前記手の位置（ポジション）に合わせた前記オブジェクトの画像をゲーム内の仮想空間に表示する制御を行うゲーム制御手段（例えば図９のゲーム制御部９４）と、
を備える。
この構成を備えることにより、現実のプレイヤＰにオブジェクトを重ねて表示するゲームでは、プレイヤＰの頭や手足を含む肢体の動きにオブジェクトの動きを同期させて、見映えがよくなり、プレイヤＰや応援者Ｕがゲームを楽しむことができるようになる。
【0082】
前記ゲーム実行手段（例えば図１６のゲーム実行部５１等）は、
前記同期手段（例えば図９や図１６の同期部９３等）から入力されるトラッキング同期情報に基づいて、プレイヤＰの動きに連動するオブジェクトの発射判定を行う発射判定手段（例えば図１６の発射判定部１２１等）と、
前記発射判定手段により判定された発射判定の結果に基づいて、オブジェクトの動作を制御するオブジェクト制御手段（例えば図１６のオブジェクト制御部１２２）と、
を備える。
この構成を備えることにより、プレイヤＰがオブジェクトを手で投げたり発射するようなゲームでは、プレイヤＰの投げる動作に対してオブジェクトの手離れがスムーズになり、見映えがよくなり、プレイヤＰや応援者Ｕがゲームを楽しむことができるようになる。
前記同期手段（例えば図９や図１６の同期部９３等）から入力されるトラッキング同期情報に基づいて、プレイヤＰの動きに連動するオブジェクトの発射判定を行う発射判定手段（例えば図１６の発射判定部１２１等）と、
前記発射判定手段により判定された発射判定の結果に基づいて、オブジェクトの動作を制御するオブジェクト制御手段（例えば図１６のオブジェクト制御部１２２）と、
を備える。
この構成を備えることにより、プレイヤＰがオブジェクトを手で投げたり発射するようなゲームでは、プレイヤＰの投げる動作に対してオブジェクトの手離れがスムーズになり、見映えがよくなり、プレイヤＰや応援者Ｕがゲームを楽しむことができるようになる。
【符号の説明】
【0083】
１・・・プレイヤ端末、１－１・・・ＨＭＤ、１－２・・・アームセンサ、３、３－１乃至３－ｎ・・・応援者端末、４・・・サーバ、２１・・・ＣＰＵ、２９・・・記憶部、３０・・・通信部、４１・・・会員情報記憶部、４２・・・ゲーム情報記憶部、４３・・・応援情報記憶部、５１・・・ゲーム実行部、５２・・・Ｗｅｂサーバ部、５３・・・行動情報取得部、５４・・・反映部、６１・・・行動判定部、６２・・・ゲーム反映部、９３・・・同期部、９４・・・ゲーム制御部、１２１・・・発射判定部、１２２・・・オブジェクト制御部、１３１・・・発射タイミング判定部、１３２・・・発射方向判定部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】