特許 5944600 頭部装着型ディスプレイを備えた情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】5944600

(24)【登録日】2016年6月3日

(45)【発行日】2016年7月5日

(54)【発明の名称】頭部装着型ディスプレイを備えた情報処理装置

(51)【国際特許分類】

   G06F 3/0487 20130101AFI20160621BHJP

   G06F 3/0481 20130101ALI20160621BHJP

   A63F 13/211 20140101ALI20160621BHJP

   A63F 13/212 20140101ALI20160621BHJP

   A63F 13/245 20140101ALI20160621BHJP

   A63F 13/25 20140101ALI20160621BHJP

   A63F 13/428 20140101ALI20160621BHJP

   A63F 13/53 20140101ALI20160621BHJP

【ＦＩ】

   G06F3/0487

   G06F3/0481 150

   A63F13/211

   A63F13/212

   A63F13/245

   A63F13/25

   A63F13/428

   A63F13/53

【請求項の数】18

【全頁数】35

(21)【出願番号】特願2015-558688(P2015-558688)

(86)(22)【出願日】2015年12月2日

(86)【国際出願番号】JP2015083910

【審査請求日】2015年12月14日

(31)【優先権主張番号】特願2015-169855(P2015-169855)

(32)【優先日】2015年8月28日

(33)【優先権主張国】JP

【早期審査対象出願】

(73)【特許権者】

【識別番号】000003584

【氏名又は名称】株式会社タカラトミー

(74)【代理人】

【識別番号】100098899

【弁理士】

【氏名又は名称】飯塚 信市

(74)【代理人】

【識別番号】100163865

【弁理士】

【氏名又は名称】飯塚 健

(72)【発明者】

【氏名】羽柴 健太

(72)【発明者】

【氏名】海上 貴信

(72)【発明者】

【氏名】加藤 國彦

(72)【発明者】

【氏名】上島 拓

【審査官】 柴田 和雄

(56)【参考文献】

【文献】 特開２０１３−２５８６１４（ＪＰ，Ａ）

【文献】 特開２００８−１３６６９４（ＪＰ，Ａ）

【文献】 特開２００７−３００９８０（ＪＰ，Ａ）

【文献】 特開２０１３−０１７７３７（ＪＰ，Ａ）

【文献】 特表２０１２−５０７０６８（ＪＰ，Ａ）

【文献】 特開２０００−１０５５３３（ＪＰ，Ａ）

【文献】 特開２００７−３００９７４（ＪＰ，Ａ）

【文献】 特開２００２−２２４４４４（ＪＰ，Ａ）

【文献】 マリオカートＷｉｉ 最高！最速！必勝ブック，アスキー・メディアワークス，２００８年 ６月 １日，p.5,10

【文献】 視度補正が良好でメガネ民も安心なヘッドマウントディスプレー『Gear VR』レポート，週刊アスキー，２０１５年 ４月 ８日，ＵＲＬ，http://weekly.ascii.jp/elem/000/000/323/323901/

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ａ６３Ｆ１３／００−１３／９８

Ａ６３Ｆ ９／２４

(57)【特許請求の範囲】

【請求項1】

手持ち型又は身体装着型として構成される操作部と、
操作者の眼前に配置されるようにして、前記操作者の頭部に装着される頭部装着型のディスプレイと、
前記操作者の頭部のモーションを検出可能であって、かつ少なくとも、三次元加速度センサと三次元地磁気センサとを含む第１のモーションセンサと、
前記操作部のモーションを検出可能であって、かつ少なくとも、三次元加速度センサと三次元地磁気センサとを含む第２のモーションセンサと、
予め設定されたワールド座標上に定義された広域画像のうちで、前記第１のモーションセンサを介して検出される前記操作者の頭部の姿勢に対応する所定画角枠内の画像を前記ディスプレイに表示すると共に、前記第２のモーションセンサを介して検出される前記操作部の姿勢に対応する特定処理を実行する情報処理部とを包含し、
前記情報処理部は、
前記第１のモーションセンサに含まれる三次元加速度センサの検出値から前記操作者の頭部の第１のローカル座標上の基本姿勢を、また前記第２のモーションセンサに含まれる三次元加速度センサの検出値から前記操作部の第２のローカル座標上の基本姿勢を、それぞれ求める基本姿勢取得部と、
前記第１のモーションセンサに含まれる三次元地磁気センサの検出値特定方位成分と三次元加速度センサの検出値鉛直下向き成分とに基づいて、前記操作者の頭部の特定絶対方位方向を、また前記第２のモーションセンサに含まれる三次元地磁気センサの検出値特定方位成分と三次元加速度センサの検出値鉛直下向き成分とに基づいて、前記操作部の特定絶対方位方向を、それぞれ求める特定絶対方位方向取得部と、
前記基本姿勢取得部により取得された、前記操作者の頭部の第１のローカル座標上の基本姿勢及び前記操作部の第２のローカル座標上の基本姿勢と、前記特定絶対方位方向取得部により取得された、前記操作者の頭部の特定絶対方位方向及び前記操作部の特定絶対方位方向とに基づいて、前記ワールド座標上に、前記操作者の頭部の姿勢及び前記操作部の姿勢を合成する姿勢合成部と、を含む情報処理装置。

【請求項2】

前記特定処理が、前記操作部の指し示す向きの先にある前記広域画像上に所定のカーソルを描画する、又は前記操作部の指し示す向きの先にある前記広域画像上の指示位置と前記広域画像上に予め配置された目標位置とを照合し、両者が所定の許容範囲内において一致することを少なくとも条件として、所定イベントが発生したと判定するものである、請求項１に記載の情報処理装置。

【請求項3】

前記特定処理が、前記操作部の指し示す向きによる運動軌跡に相当する図形を前記広域画像上の該当する位置に描画する、又前記運動軌跡と前記広域画像上に予め配置された目標軌跡とを照合し、両者が所定の許容範囲内において一致することを少なくとも条件として、所定イベントが発生したと判定するものである、請求項１に記載の情報処理装置。

【請求項4】

前記情報処理部が、シューティングゲームを実現するためのコンピュータプログラムを実行するものであって、前記操作部が所定の射撃用武器を模した外観形態を有するものであり、かつ
前記特定処理が、前記操作部の指し示す向きの先にある前記広域画像上に所定の照準マークを描画する、又は前記操作部の指し示す向きの先にある前記広域画像上の照準位置と前記広域画像上に予め配置された所定の標的位置とを照合し、両者が所定の許容範囲内において一致することを少なくとも条件として、的中イベントが発生したと判定する、ものである、請求項１に記載の情報処理装置。

【請求項5】

前記情報処理部が、レーシングゲームを実現するためのコンピュータプログラムを実行するものであって、前記操作部が、所定の走行体の操舵具を模した外観形態を有するものであり、かつ
前記特定処理が、前記操作部が指し示す方向へと進むように、前記広域画像上に前記走行体に相当する図形を描画するものである、請求項１に記載の情報処理装置。

【請求項6】

前記レーシングゲームがカーレーシングゲームであって、前記操舵具がレーシングカーの操舵輪を模した外観形態を有するものであり、
かつ
前記特定処理が、前記操舵輪が指し示す方向へと進むように、前記広域画像上に前記レーシングカーに相当する図形を描画するものである、請求項５に記載の情報処理装置。

【請求項7】

前記情報処理部が、バットやラケット等の打球具を模した操作部にて球を打つ又は打ち返す動作を伴うスポーツゲームを実現するためのコンピュータプログラムを実行するものであり、かつ
前記特定処理が、前記操作部の運動の軌跡に相当する図形を前記広域画像上の該当する位置に描画する、又前記操作部の運動の軌跡と前記広域画像上に予め設置された目標球軌跡とを照合し、両者が所定の許容範囲内において一致することを少なくとも条件として、打球イベントが発生したと判定するものである、請求項１に記載の情報処理装置。

【請求項8】

前記情報処理部は、前記広域画像のうちで、前記第２のモーションセンサを介して特定される前記操作部の指し示す向きに対応する所定画角枠内の画像を、前記操作者の頭部の向きに対応する画像に代えて、又は前記操作者の頭部の向きに対面する画像と共に、前記ディスプレイに表示させる機能をさらに有する、請求項１に記載の情報処理装置。

【請求項9】

前記情報処理部は、前記広域画像の中で、前記第１のモーションセンサを介して特定される操作者の頭部の向きに対して、左右の側方、後方、上方、下方等の１又は２以上の方向に対応する所定画角枠内の画像を、前記操作者の頭部の向きに対応する画像と共に、それぞれ前記ディスプレイの所定ウィンドウ内に表示させる機能をさらに有する、請求項１に記載の情報処理装置。

【請求項10】

前記頭部に保持されるディスプレイ、前記第１のモーションセンサ、及び前記情報処理部を、市販のスマートフォンの該当する各機能により代用してなる、請求項１に記載の情報処理装置。

【請求項11】

頭部に装着可能であって、前部開口を除いて周囲を包囲する頭部装着具と、前記頭部装着具の前部開口を開閉可能にヒンジ結合された蓋板部と、前記蓋板部の内面に画面を内側に向けて保持されるスマートフォンと、装着者の目と前記蓋板部に保持されるスマートフォンの画面との間に介在される光学系とを有する、請求項１０に記載の情報処理装置。

【請求項12】

コンピュータを、請求項１〜１１のいずれか１つに記載の情報処理装置における情報処理部として機能させるためのコンピュータプログラム。

【請求項13】

頭部装着具と、
前記頭部装着具内にあって、その表示画面が装着者の眼前に所定の光学系を介して対面するように配置され、かつ第１のモーションセンサが内蔵されたスマートフォンと、
第２のモーションセンサが組み込まれ、かつ手持ち型又は身体装着型として構成され、さらに、前記スマートフォンと無線又は有線接続される操作部とを包含し、
前記スマートフォンには、
予め設定されたワールド座標上に定義された広域画像のうちで、前記第１のモーションセンサを介して特定される操作者の頭部の向きに対応する所定画角枠内の画像をディスプレイに表示する頭部追従画像表示部と、
前記第２のモーションセンサを介して検出される前記操作部のモーションにより特定される操作者の指示に対応する特定処理を実行する特定処理実行部とを含み、さらに
前記スマートフォンには、
前記第１のモーションセンサに含まれる三次元加速度センサの検出値から前記操作者の頭部の第１のローカル座標上の基本姿勢を、また前記第２のモーションセンサに含まれる三次元加速度センサの検出値から前記操作部の第２のローカル座標上の基本姿勢を、それぞれ求める基本姿勢取得部と、
前記第１のモーションセンサに含まれる三次元地磁気センサの検出値特定方位成分と三次元加速度センサの検出値鉛直下向き成分とに基づいて、前記操作者の頭部の特定絶対方位方向を、また前記第２のモーションセンサに含まれる三次元地磁気センサの検出値特定方位成分と三次元加速度センサの検出値鉛直下向き成分とに基づいて、前記操作部の特定絶対方位方向を、それぞれ求める特定絶対方位方向取得部と、
前記基本姿勢取得部により取得された、前記操作者の頭部の第１のローカル座標上の基本姿勢及び前記操作部の第２のローカル座標上の基本姿勢と、前記特定絶対方位方向取得部により取得された、前記操作者の頭部の特定絶対方位方向及び前記操作部の特定絶対方位方向とに基づいて、前記ワールド座標上に、前記操作者の頭部の姿勢及び前記操作部の姿勢を合成する姿勢合成部と、が含まれる情報処理装置。

【請求項14】

前記操作部は、前記表示画面を介して認識するバーチャル空間内で使用する道具に模した外観形態を有するものである、請求項１３に記載の情報処理装置。

【請求項15】

前記操作部が短銃に模した外観形態を有し、
引き金部に位置する操作子と、
前記操作子の操作に応じて対応する操作情報を生成する操作情報生成部と、
前記操作情報を前記スマートフォンへ有線又は無線で送り出す通信手段とを含む、請求項１４に記載の情報処理装置。

【請求項16】

前記頭部装着具が、
装着者の眼前に開口する窓穴を有する本体と、
前記本体の前記窓穴を開閉しかつ外側へと開くようにヒンジ結合された窓板と、
前記窓板の内面側にスマートフォンをその画面が内側へ向くようにして保持させるための保持具と、
前記窓板が閉じられた状態において、装着者の目と前記スマートフォンとの間に介在される光学系とを有する、請求項１３に記載の情報処理装置。

【請求項17】

短銃に模した外観形態を有する本体を有すると共に、
前記本体には、
引き金部に位置する操作子と、
前記操作子の操作に応答して該当する操作情報を生成する操作情報生成部と、
３軸加速度センサと３軸角速度センサと３軸地磁気センサとのうちの１もしくは２以上を含んで構成されるモーションセンサと、
前記モーションセンサの出力に基づいてモーション情報を生成するモーション情報生成部と、
前記操作情報生成部により生成された操作情報及びモーション情報生成部により生成されたモーション情報を有線又は無線で情報処理装置へと送出するための通信部と、が設けられている、請求項１３に記載の情報処理装置のための入力操作部。

【請求項18】

スマートフォンを、請求項１３〜１６のいずれか１つに記載の情報処理装置におけるスマートフォンとして機能させるためのコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

この発明は、頭部装着型ディスプレイを備えてヘッドトラッキング表示を可能とした情報処理装置に関する。

【背景技術】

【0002】

モーションセンサが組み込まれた頭部装着型ディスプレイ（ＨＭＤ）を使用することにより、広域画像（例えば、３６０度パノラマ画像）のヘッドトラッキング表示（操作者の頭部の向きに追従して対面する画像を頭部装着型ディスプレイに表示させる機能）を可能とした情報処理装置（例えば、ビデオゲーム装置）は、従来より知られている（例えば、特許文献１参照）。

【0003】

このような情報処理装置によれば、操作者は、ゲーム種別に応じて予め用意された広域画像（例えば、全天球パノラマ画像、半天球パノラマ画像、３６０度水平パノラマ画像、又はその一部領域のパノラマ画像、等々）により構成されるバーチャル空間内において、任意の方向へと視野を変更しつつ、様々な種別のゲーム（例えば、シューティングゲーム、レーシングゲーム、スポーツゲーム等々）を楽しむことができる。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１３−２５８６１４

【発明の概要】

【発明が解決しようとする課題】

【0005】

この種の情報処理装置において、より一層の興趣に富んだプレイを楽しむためには、操作性の良好な操作部（例えば、手持ち型のリモートコントローラ）が要請される。なぜなら、頭部装着型ディスプレイを装着した操作者は、バーチャル空間に没入できる反面、実空間とは完全に遮断されるため、操作部を扱う自分の手元は見えないからである。

【0006】

殊に、この種の情報処理装置装置において、操作者は、任意の方向（前後左右方向さらには上下方向）を向いてかつ任意の傾斜姿勢をとることで視野を自在に変更することができるため、そうして得られる視野内乃至バーチャル空間内であっても、任意の方向を的確に指し示したり、任意のモーションを的確に指し示したりするためには、操作部に対してより一層の確かな操作性が要求される。

【0007】

因みに、特許文献１に記載の装置においては、手持ち型のスティック状操作部に付されたマーカをカメラで撮影することにより、操作部のモーションをカメラで取得された画像を介して認識する手法が採用されているが、このような手法では、操作者がカメラに背を向けたことで、カメラの視野からマーカが消えてしまえば、最早、操作部のモーションを認識できないことは明らかである。

【0008】

加えて、この種の情報処理装置にあっては、原理的には、広域画像により構成されるバーチャル空間の全域を使用してゲームを進行させることができる一方、操作者が見ることができるのは、頭部の向きで指定されるバーチャル空間内の一定画角枠内の画像（空間）に限られるから、スティック状操作部を使用して向きや動きを指し示すにあたっては、両空間相互の関係にも特別の配慮が要請される。

【0009】

このとき、操作者の頭部の向きに対面する一定画角枠内の画像と、前後左右等の決められた向きに対面する一定画角枠内の画像又はスティック状操作部で指し示された向きに対面する一定画角枠内の画像とを、双方同時に又は択一的に切り替えて、ディスプレイに表示可能とすれば、より一層の興趣に富んだプレイを楽しむことができるとの知見を発明者は得た。

【0010】

この発明は、上述の技術的背景に鑑みてなされたものであり、その目的とするところは、この種の頭部装着型ディスプレイを備えてヘッドトラッキング表示を可能とした情報処理装置において、情報入力時の操作性を向上させることにある。

【0011】

この発明のさらに他の目的並びに作用効果については、明細書の以下の記述を参照することにより、当業者であれば、容易に理解されるであろう。

【課題を解決するための手段】

【0012】

上述の技術的課題は、以下の構成を有する、頭部装着型ディスプレイを有する情報処理装置により、解決できるものと考えられる。

【0013】

すなわち、この情報処理装置は、手持ち型又は身体装着型として構成される操作部と、操作者の眼前に配置されるようにして、前記操作者の頭部に装着される頭部装着型のディスプレイと、前記操作者の頭部のモーションを検出可能な第１のモーションセンサと、予め設定された広域画像のうちで、前記第１のモーションセンサを介して特定される前記操作者の頭部の向きに対応する所定画角枠内の画像を前記ディスプレイに表示すると共に、前記操作部のモーションにより特定される前記操作者の指示に対応する特定処理を実行する情報処理部とを包含し、前記操作部のモーションは、当該操作部に組み込まれた第２のモーションセンサを介して検出される。

【0014】

このような構成によれば、情報処理部は、第１のモーションセンサ（例えば、頭部装着具に内蔵）の検出出力を介して広域画像のヘッドトラッキング表示機能を実現しつつも、第２のモーションセンサ（操作部に内蔵）の検出出力を介して操作者の指示を認識して対応する特定処理を実行するものであるから、操作者の指示をマーカとカメラを介して認識する従来装置のように、操作者の向きによって操作者の指示を見逃したり誤認したりすることがない。そのため、操作者は、広域画像内を自在に見回しながら、どのような姿勢あるいは回転角度からでも、操作部のモーション（例えば、位置、姿勢、及び／又は、それらの変化）を介して情報処理部に対して適切な指示を与えることができるから、この種の情報処理装置の操作性を格段に向上させることができる。

【0015】

なお、ここで、「頭部装着型のディスプレイ」とは、後に説明する頭部装着具内に組み込まれるディスプレイ（スマートフォンのディスプレイを含む）に限らず、その他、めがね型ディスプレイのように耳に掛けるもの、ヘアバンドに支持させるもの、帽子にを支持させるもの等々、手を離した状態でも、操作者の眼前に保持されるディスプレイを広く意味することを注記する。

【0016】

本発明の好ましい実施の態様においては、前記操作者の指示が、前記操作部のモーション（例えば、位置、姿勢、及び／又は、それらの変化）により、ある方向を指し示すものであるとき、前記特定処理が、その指し示す方向の先にある前記広域画像上に所定のカーソルを描画する、又はその指し示す方向の先にある前記広域画像上の指示位置と前記広域画像上に予め配置された目標位置とを照合し、両者が所定の許容範囲内において一致することを少なくとも条件として、所定イベントが発生したと判定するものであってもよい。

【0017】

このような構成によれば、操作部のモーションにより、実空間において、ある方向を指し示すことにより、そのとき前記ディスプレイに前記広域画像のいずれの領域が表示されているかに拘わらず、バーチャル空間において、その指し示す方向の先にある前記広域画像上に所定のカーソルを描画したり、又はその指し示す方向の先にある前記広域画像上の指示位置と前記広域画像上に予め配置された目標位置とを照合し、両者が所定の許容範囲内において一致することを少なくとも条件として、所定イベントが発生したと判定させる、ことができる。

【0018】

本発明の好ましい実施の態様においては、前記操作者が前記操作部のモーションにより、ある物体の運動を指し示すものであるとき、前記特定処理が、前記物体の運動の軌跡に相当する図形を前記広域画像上の該当する位置に描画する、又は前記物体の運動の軌跡と前記広域画像上に予め配置された目標軌跡とを照合し、両者が所定の許容範囲内において一致することを少なくとも条件として、所定イベントが発生したと判定するものであってもよい。

【0019】

このような構成によれば、操作部のモーションにより、実空間において、ある物体の運動を指し示すことにより、バーチャル空間において、その物体の運動の軌跡に相当する図形を前記広域画像上の該当する位置に描画したり、又は前記物体の運動の軌跡と前記広域画像上に予め配置された目標軌跡とを照合し、両者が所定の許容範囲内において一致することを少なくとも条件として、所定イベントが発生したと判定させる、ことができる。

【0020】

本発明の好ましい実施の態様においては、前記情報処理部が、シューティングゲームを実現するためのコンピュータプログラムを実行するものであって、前記操作部が所定の射撃用武器を模した外観形態を有するものであり、かつ前記操作者の指示が、前記操作者が前記操作部のモーションにより、照準の方向を指し示すものであるとき、前記特定処理が、その指し示す方向の先にある前記広域画像上に所定の照準マークを描画する、又は指し示す方向の先にある前記広域画像上の照準位置と前記広域画像上に予め配置された所定の標的位置とを照合し、両者が所定の許容範囲内において一致することを少なくとも条件として、的中イベントが発生したと判定する、ものであってもよい。

【0021】

このような構成によれば、前記操作部を構成する射撃用武器の実空間におけるモーションにより、照準の方向を指し示すことにより、バーチャル空間において、その指し示す方向の先にある前記広域画像上に所定の照準マークを描画したり、又は指し示す方向の先にある前記広域画像上の照準位置と前記広域画像上に予め配置された所定の標的位置とを照合し、両者が所定の許容範囲内において一致することを少なくとも条件として、的中イベントが発生したと判定させる、ことができる。

【0022】

本発明の好ましい実施の態様においては、前記情報処理部が、レーシングゲームを実現するためのコンピュータプログラムを実行するものであって、前記操作部が走行体（例えば、レーシングカー、オートバイ、モータボート、自転車、等々）の操舵具を模した外観形態を有するものであり、かつ前記操作者の指示が、前記操作部のモーションにより、前記走行体が進行すべき方向を指し示すものであるとき、前記特定処理が、その指し示す方向へと進むように、前記広域画像上に前記走行体に相当する図形を描画するものであってもよい。

【0023】

このような構成によれば、操作者は、操作部を構成する操舵具の実空間におけるモーションにより、前記走行体が進行すべき方向を指し示すことにより、バーチャル空間において、指し示す方向へと進むように、前記広域画像上に前記走行体に相当する図形を描画させることができる。

【0024】

本発明の好ましい実施の態様においては、前記レーシングゲームがカーレーシングゲームであって、前記操舵具がレーシングカーの操舵輪を模した外観形態を有するものであり、かつ前記操作者の指示が、前記操作部のモーションにより、前記レーシングカーが進行すべき方向を指し示すものであるとき、前記特定処理が、指し示す方向へと進むように、前記広域画像上に前記レーシングカーに相当する図形を描画するものであってもよい。

【0025】

このような構成によれば、操作者は、操作部を構成する操舵輪のモーションにより、実空間において、前記レーシングカーが進行すべき方向を指し示すことにより、バーチャル空間において、指し示す方向へと進むように、前記広域画像上に前記レーシングカーに相当する図形を描画させることができる。

【0026】

本発明の好ましい実施の態様においては、前記情報処理部が、バットやラケット等の打球具にて球を打つ又は打ち返す動作を伴うスポーツゲームを実現するためのコンピュータプログラムを実行するものであり、かつ前記操作者の指示が、前記操作者が前記操作部のモーションにより、前記打球具のスイング運動を指し示すものであるとき、前記特定処理が、前記打球具の運動の軌跡に相当する図形を前記広域画像上の該当する位置に描画する、又前記打球具の運動の軌跡と前記広域画像上に予め設置された目標軌跡とを照合し、両者が所定の許容範囲内において一致することを少なくとも条件として、打球イベントが発生したと判定するものであってもよい。

【0027】

このような構成によれば、操作部を構成する打球具のモーションにより、実空間において、前記打球具のスイング運動を指し示すことにより、前記打球具の運動の軌跡に相当する図形を、バーチャル空間において、前記広域画像上の該当する位置に描画したり、又は操作部を構成する打球具のモーションにより、実空間において、前記パノラマ画像上に設置された目標軌跡を指し示すことにより、ゲーム進行の条件となる打球イベントを発生させることができる。

【0028】

本発明の好ましい実施の態様においては、前記情報処理部は、前記広域画像のうちで、前記第２のモーションセンサを介して特定される前記操作部の指し示す向きに対応する所定画角枠内の画像を、前記操作者の頭部の向きに対応する画像に代えて、又は前記操作者の頭部の向きに対面する画像と共に、前記ディスプレイに表示させる機能をさらに有していてもよい。

【0029】

このような構成によれば、操作者は、前記操作部により、第２のモーションセンサを介して、任意の方向を指し示すことにより、恰も、サーチライトで照らすかのように、広域画像上の任意の方向を自在に探索することができる。

【0030】

本発明の好ましい実施の態様においては、前記情報処理部は、前記広域画像の中で、前記第１のモーションセンサを介して特定される操作者の頭部の向きに対して、左右の側方、後方、上方、下方等の１又は２以上の方向に対応する所定画角枠内の画像を、前記操作者の頭部の向きに対応する画像と共に、それぞれ前記ディスプレイの所定ウィンドウ内に表示させる機能をさらに有していてもよい。

【0031】

このような構成によれば、操作者は、広域画像に相当する画像の中で、前記第１のモーションセンサを介して特定される操作者の頭部の向きに対して、左右の側方、後方、上方、下方等の１又は２以上の方向に対面する所定画角枠内の画像を同時に観察することができるので、自分の正面のみならず、予め決められたそれ以外の方向の状況をも観察しながら、ヘッドトラッキング表示を実行することができる。

【0032】

本発明及びその好ましい実施の態様においては、前記第２のモーションセンサが、３軸加速度センサと３軸角速度センサと３軸地磁気センサとのうちの１もしくは２以上を含んで構成される、ものであってもよい。

【0033】

このような構成によれば、例えば、３軸加速度センサと３軸地磁気センサとの組み合わせ、或いはそれにさらに３軸角速度センサを加えた組み合わせ、等により、第２のモーションセンサにより、操作部のモーション（例えば、位置、方位、及び／又は、それらの変化）を必要に応じてきめ細かに検出することができる。

【0034】

本発明及びその好ましい実施の態様においては、前記頭部装着具に保持されるディスプレイ、前記第１のモーションセンサ、及び前記情報処理部を、市販のスマートフォンの該当する各機能により代用してもよい。

【0035】

このような構成によれば、別途、パソコンや専用のゲーム用情報処理装置を備えることなく、操作部と頭部装着具とスマートフォンだけで、本発明に係る頭部装着型ディスプレイを備えた情報処理装置を廉価に実現することができる。

【0036】

本発明及びその好ましい実施の態様においては、前記頭部装着具が、装着者の眼前に開口する窓穴を有する本体と、前記本体の前記窓穴を開閉しかつ外側へと開くようにヒンジ結合された窓板と、前記窓板の内面側にスマートフォンをその画面が内側へ向くようにして保持させるめの保持具と、前記窓板が閉じられた状態において、装着者の目と前記スマートホンとの間に介在される光学系とを有するものであってもよい。

【0037】

このような構成によれば、操作部と頭部装着具とスマートフォンだけで、本発明に係るビデオゲーム装置を廉価に構成することができ、しかも頭部装着具に対するスマートフォンの着脱が容易となる。

【0038】

本発明及びその好ましい実施の態様においては、前記広域画像は、全天球パノラマ画像、半天球パノラマ画像、３６０度パノラマ画像、又はその一部領域のパノラマ画像を含む、ものであってもよい。

【0039】

このような構成によれば、ゲームに要求されるバーチャル空間の広がりや製品のグレード等に応じて、最適設計が可能となる。

【0040】

別の一面から見た本発明は、操作者の眼前に配置されるようにして、前記操作者の頭部に装着される頭部装着型のディスプレイと、前記操作者の頭部の少なくとも向きを検出可能な第１のモーションセンサと、第２のモーションセンサが組み込まれ、かつ手持ち型又は身体装着型として構成される操作部と、情報処理部とを有する情報処理装置において、コンピュータを、前記情報処理部として機能させるためのコンピュータプログラムであって、前記情報処理部が、予め用意された広域画像のうちで、前記第１のモーションセンサを介して特定される前記操作者の頭部の向きに対応する所定画角枠内の画像を前記ディスプレイに表示する手段と、前記第２のモーションセンサを介して検出される前記操作部のモーションにより特定される前記操作者の指示に対応する特定処理を実行する手段とを含む、コンピュータプログラムである。

【0041】

このような構成のコンピュータプログラムによれば、コンピュータを本発明装置を構成する情報処理装部として機能させることができる。

【0042】

本発明のより具体的な実施態様に係る、情報処理装置は、頭部装着具と、前記頭部装着具内にあって、その表示画面が装着者の眼前に所定の光学系を介して対面するように配置され、かつ第１のモーションセンサが内蔵されたスマートフォンと、第２のモーションセンサが組み込まれ、かつ手持ち型又は身体装着型として構成され、さらに、前記スマートフォンと無線又は有線接続される操作部とを包含し、前記スマートフォンには、予め用意された広域画像のうちで、前記第１のモーションセンサを介して特定される前記操作者の頭部の向きに対応する所定画角枠内の画像を前記ディスプレイに表示する手段と、前記第２のモーションセンサを介して検出される前記操作部のモーションにより特定される前記操作者の指示に対応する特定処理を実行する手段とを含む、ものであってもよい。

【0043】

このような構成によれば、別途、パソコンや専用のゲーム用情報処理装置を備えることなく、スマートフォンに所定のアプリケーションプログラムをインストールするだけで、操作部と頭部装着具とスマートフォンとからなる廉価な装置を実現することができる。

【0044】

このとき、前記操作部は、前記ディスプレイを介して認識するバーチャル空間内で使用する道具に模した外観形態を有するものであってもよい。

【0045】

このような構成によれば、操作者は、表示画面の映像を通じてバーチャル空間に没入しつつも、実空間ではそのバーチャル空間に見合った外観形態を有する操作部に肌で触れて体感することにより、当該バーチャル空間において、任意の方向や運動を違和感なく指し示すことができる。

【0046】

このとき、前記操作部が短銃に模した外観形態を有し、引き金部に位置する操作子と、前記操作子の操作に応じて対応する操作情報を生成する操作情報生成部と、前記操作情報を前記スマートフォンへ有線又は無線で送り出す通信手段とを含んでいてもよい。

【0047】

このような構成によれば、表示画面の映像を通じてバーチャル空間に没入しつつも、実空間ではそのゲームに見合った外観形態を有する短銃型操作子に肌で触れて体感することにより、当該バーチャル空間において、短銃で狙いを定める自然な動作を通じて、任意の標的に照準を合わせたり、それを射撃したりと入った動作を容易に行うことができる。

【0048】

このとき、前記第２のモーションセンサは、３軸加速度センサと３軸角速度センサと３軸地磁気センサとのうちの１もしくは２以上を含んで構成される、ものであってもよい。

【0049】

このような構成によれば、例えば、３軸加速度センサと３軸地磁気センサとの組み合わせ、或いはそれにさらに３軸角速度センサを加えた組み合わせ、等により、第２のモーションセンサによる操作部の位置、方位、及び／又は、それらの動きを必要に応じてきめ細かに検出することができる。

【0050】

このとき、前記頭部装着具が、装着者の眼前に開口する窓穴を有する本体と、前記本体の前記窓穴を開閉しかつ外側へと開くようにヒンジ結合された窓板と、前記窓板の内面側にスマートフォンをその画面が内側へ向くようにして保持させるめの保持具と、前記窓板が閉じられた状態において、装着者の目と前記スマートホンとの間に介在される光学系とを有するものであってもよい。

【0051】

このような構成によれば、スマートフォンの着脱が容易で、かつスマートフォンの表示画面を頭部装着型ディスプレイの表示部として機能させることができる頭部装着具を実現することができる。

【0052】

別の一面から見た本発明は、この種の情報処理装置一般に適用可能な操作部として把握することもできる。すなわち、この操作部は、短銃に模した外観形態を有する本体を有すると共に、前記本体には、引き金部に位置する操作子と、前記操作子の操作に応答して該当する操作情報を生成する操作情報生成部と、３軸加速度センサと３軸角速度センサと３軸地磁気センサとのうちの１もしくは２以上を含んで構成されるモーションセンサと、前記モーションセンサの出力に基づいてモーション情報を生成するモーション情報生成部と、前記操作情報生成部により生成された操作情報及びモーション情報生成部により生成されたモーション情報を有線又は無線で外部に送出するための通信部と、が設けられているものである。

【0053】

このような構成によれば、バーチャル空間におけるヘッドトラッキング表示が可能なこの種の情報処理装置に適した操作性の良好な操作子を提供することができる。

【発明の効果】

【0054】

本発明によれば、この種の頭部装着型ディスプレイを備えてヘッドトラッキング表示を可能とした情報処理装置において、情報入力時の操作性を向上させることができる。

【図面の簡単な説明】

【0055】

【図1】図１は、本発明装置の一例を示す使用状態における外観図である。

【図2】図２は、短銃を模した操作子の拡大外観図である。

【図3】図３は、操作部（短銃型)の電気的ハードウェア構成を示すブロック図である。

【図4】図４は、操作部（操舵輪型）の電気的ハードウェア構成を示すブロック図である。

【図5】図５は、操作部（ラケット型）の電気的ハードウェア構成を示すブロック図である。

【図6】図６は、操作部のソフトウェア構成を示すフローチャートである。

【図7】図７は、頭部装着具にスマートフォンを組み込むための操作を示す説明図である。

【図8】図８は、操作者が装着した頭部装着具の要部断面図である。

【図9】図９は、市販スマートフォンの電気的ハードウェア構成の一例を示すブロック図である。

【図10】図１０は、ビデオゲーム装置のソフトウェア構成を示すフローチャートである。

【図11】図１１は、オブジェクト更新処理の一例の要部詳細フローチャートである。

【図12】図１２は、オブジェクト描画処理の一例を示す要部詳細フローチャートである。

【図13】図１３は、表示用画像生成処理の詳細フローチャートである。

【図14】図１４は、第１のモーションセンサの検知座標空間と第２のモーションセンサの検知座標空間との関係を示す説明図である。

【図15】図１５は、３６０度パノラマ画像により構成されるバーチャル空間における操作者の照準動作とパノラマ画像上の照準マークとの関係を示す説明図である。

【図16】図１６は、半天球パノラマ画像により構成されるバーチャル空間における操作者の照準動作とパノラマ画像上の照準マークとの関係を示す説明図である。

【図17】図１７は、操作者の動作と表示画面の映像との関係を示す説明図（その１)である。

【図18】図１８は、操作者の動作と表示画面の映像との関係を示す説明図（その２)である。

【図19】図１９は、操作者の動作と表示画面の映像との関係を示す説明図（その３)である。

【図20】図２０は、操作者の動作と表示画面の映像との関係を示す説明図（その４）である。

【図21】図２１は、操作者の動作と表示画面の映像との関係を示す説明図（その５)である。

【図22】図２２は、操作者の動作と表示画面の映像との関係を示す説明図（その６）である。

【図23】図２３は、操作者の動作と表示画面の映像との関係を示す説明図（その７）ではある。

【図24】図２４は、本発明の幼児向け英語教材ソフトへの応用例を示す説明図である。

【図25】図２５は、本発明の一般ソフトにおけるメニュー選択処理への応用例を示す説明図である。

【図26】図２６は、本発明の一般ソフトにおける押しボタン処理への応用例を示す説明図である。

【発明を実施するための形態】

【0056】

以下に、本発明に係る頭部装着型ディスプレイを備えてヘッドトラッキング表示を可能とした情報処理装置の好適な実施の一形態を添付図面を参照しながら、詳細に説明する。

【0057】

［装置の全体構成について］
本発明装置の一例を示す使用状態における外観図が、図１に示されている。同図（ａ）に示されるように、この情報処理装置１は、この例にあっては、ビデオゲーム装置として実現されており、操作部１０と、頭部装着具２０と、情報処理部３０とを中心として、構成されている。

【0058】

操作部１０は、１または２以上の操作子（後に、図２を参照して詳述する）を有し、かつ手持ち型（例えば、掌で握ったり、指先でつまんだり等々）または身体装着型（例えば、指や手首に装着したり、手袋一体型としたり等々）として構成され、対象となるビデオゲームを構成するバーチャル空間内において操作者４０が使用する道具（例えば、シューティングゲームであれば短銃等の射撃用武器、レーシングゲームであれば操舵輪等の操舵具、球技スポーツゲームであればバット、ラケット、ゴルフクラブ等の打球具、等々）を模して形作られている。図１の例にあっては、操作部１０は、短銃を模した形状に作られている。操作部１０の具体的構造の幾つかの例については、後に、図２〜図５を参照しながら、詳細に説明する。

【0059】

頭部装着具２０は、所定のディスプレイデバイス（図示せず）が、操作者４０の眼前に配置されるようにして、操作者４０の頭部４１に装着され、かつ第１のモーションセンサ（後に、図９を参照して詳述する）が組み込まれている。頭部装着具２０の具体的構成については、後に、図７および図８を参照して、詳細に説明する。

【0060】

情報処理部３０は、ビデオゲームを構成する広域画像（例えば、全天球パノラマ画像、半天球パノラマ画像、３６０度パノラマ画像、又はその一部領域のパノラマ画像を含む）に相当する画像情報の中から、第１のモーションセンサを介して特定される操作者４０の頭部４１の向き（顔面の向き）に対面する所定画角枠Ｇ（後に、図１４を参照して詳述する）内の画像に相当する画像情報を抽出して、頭部装着具２０のディスプレイデバイスに供給することにより、ディスプレイデバイスの画面上に、広域画像のヘッドトラッキング表示（操作者４０の頭部４１の向きに追従して対面する画像を頭部装着型ディスプレイに表示させる機能）を実現する。また、情報処理部３０は、操作部１０のモーション（例えば、位置、姿勢、及び／又は、それらの変化）及び操作子の操作に対応して所定のゲーム進行処理を実行する機能を有する。情報処理部３０の有する諸機能の詳細については、後に、図１０〜図１３のフローチャートを参照して詳細に説明する。

【0061】

加えて、操作部１０には、新たに、第２のモーションセンサ（後に、図３を参照して詳述する）が組み込まれている。第１のモーションセンサの半球状検知座標空間を定義するローカル座標系（ｘ，ｙ，ｚ）と第２のモーションセンサの半球状検知座標空間を定義するローカル座標系（Ｘ，Ｙ，Ｚ）と半天球パノラマ画像が配置される半球状座標空間を定義するワールド座標系（図示せず）との相互関係ついては、後に、図１４を参照して詳細に説明する。

【0062】

さらに、情報処理部３０には、図１０〜図１３のフローチャート並びに図１５〜図２３の説明図を参照して後述するように、第２のモーションセンサを介して特定される操作者の指示モーションを、所定の態様にて、パノラマ画像上に反映する機能がさらに仕組まれている。

【0063】

ここで、操作部１０と頭部装着具２０と情報処理部３０との間の通信は、電気コードや光ファイバを使用する有線通信であってもよいし、ブルートゥース（Bluetooth）や赤外線通信等の無線通信であってもよい。

【0064】

なお、情報処理部３０の機能は、パーソナルコンピュータ（以下、「パソコン」と略称する）やゲーム専用の情報処理装置等にて実現できることは言うまでもないが、その他、携帯型の高機能情報端末（以下、「スマートフォン」と称する）にて実現することもできる。このとき、スマートフォンそれ自体を頭部装着具２０に組み込んで、その表示画面をディスプレイデバイスとして機能させれば、図１（ｂ）に示されるように、操作部１０とスマートフォンが組み込まれた頭部装着具２０の間を有線通信や無線通信で結ぶことにより、本発明に係るビデオゲーム装置を極めて簡素な構成で低コストに実現することができる（図７〜図９参照）。

【0065】

［操作部について］
次に、操作部の幾つかの具体例について説明する。短銃を模した操作部の拡大外観図が、図２に示されている。同図に示されるように、この操作部１０は、銃身１１と握り部１２とを有する短銃型に形成されており、引金部として構成される第１の操作子１３と、銃身先端部右側面に位置する第２の操作子１４と、銃身後端部上面に位置する第３の操作子１５とを有する。それらの操作子１３，１４，１５は、それぞれ、モメンタリタイプの押しボタンとして構成されている。このような短銃型の操作部によれば、薬指４２ｄと小指４２ｅとで握り部１２を握ったまま、中指４２ｃで第１の操作子１３を、人差し指４２ｂで第２の操作子１４を、さらに、親指４２ａで第３の操作子１５を、それぞれ、操作可能になされている。後に、図３を参照して説明するように、操作部１０には、第２のモーションセンサを構成する３軸加速度センサ１６０３、３軸角速度センサ１６０４、及び３軸地磁気センサ１６０５がそれぞれ組み込まれている。そのため、それらのセンサによって、短銃型操作部１０のモーション（例えば、位置、姿勢、及び／又は、それらの変化）を自在に検知可能とされている。

【0066】

操作部（短銃型)の電気的ハードウェア構成を示すブロック図が、図３に示されている。同図に示されるように、操作子内部の電気回路は、マイクロプロセッサやＡＳＩＣ等で構成されて、操作子全体を統括制御する制御部１６０１と．ブルートゥース等の短距離通信を実現するための通信ユニット１６０２と、第２のモーションセンサを構成する３つのセンサ、すなわち３軸加速度センサ１６０３、３軸角速度センサ１６０４、及び３軸地磁気センサ１６０５と、バッテリ１６０６と、記憶部１６０７と、第１の操作子１３と連動してオンオフする第１のスイッチ１３ａと、第２の操作子１４と連動してオンオフする第２のスイッチ１４ａと、第３の操作子１５と連動してオンオフする第３のスイッチ１５ａとを含んで構成されている。

【0067】

３軸加速度センサ１６０３とは、当業者にはよく知られているように、Ｘ軸・Ｙ軸・Ｚ軸の３方向の加速度を１つのデバイスで測定できるセンサであって、３次元の加速度が検出でき、重力（静的加速度）の計測にも対応できる。３軸加速度センサの多くは、半導体製造技術やレーザ加工技術などの微細加工技術を応用し、シリコン基板上に微小な機械構造を集積化する「微小電気機械素子創製技術（Micro Electro Mechanical Systems、ＭＥＭＳ、メムス、マイクロマシン）」により小型化されたＭＥＭＳセンサである。ＭＥＭＳ・３軸加速度センサは、±数ｇの範囲の測定が可能で、０Ｈｚ?数百Ｈｚまでの加速度変動に追従できる「ｌｏｗ ｇ」タイプとよばれる。この場合の０Ｈｚというのは、センサに重力加速度のみが加わっている状態であり、このときのＸ軸・Ｙ軸・Ｚ軸の加速ベクトルの合計から地面に対しての向きを測定することができる。ＭＥＭＳ・３軸加速度センサは、大きく分けて半導体ピエゾ抵抗型３軸加速度センサ、静電容量型３軸加速度センサ、熱検知型（ガス温度分布型）３軸加速度センサの３種類があり、それぞれ加速度の測定方法が異なる。半導体ピエゾ抵抗型３軸加速度センサは、加速度が錘に作用したときに発生するダイアフラムの歪みを検出して加速度を測定する。静電容量型３軸加速度センサは加速度の測定に静電容量の変化を、熱検知型（ガス温度分布型）３軸加速度センサは、ヒータで熱されたガスの移動を利用して加速度を測定する。

【0068】

３軸角速度センサ１６０４とは、当業者には、よく知られているように、回転角速度の測定を直交３軸（Ｘ軸，Ｙ軸，Ｚ軸）で実現する慣性センサの一種であって、ジャイロセンサとも称される。角速度センサは加速度センサでは反応しない回転の動きを測定する。ジャイロセンサは、回転を検知する方式により分類することができる。現在、最も一般的に民生機器に搭載されているのは、ＩＣタイプのＭＥＭＳ（Micro Electro Mechanical System）技術を使った振動式ジャイロセンサである。ＭＥＭＳ技術を利用した慣性センサはその名前が示す通り、機械的な動きをする素子と、その信号を処理する電子回路を組み合わせた技術でセンサを構成し、動きを検知する。振動式ジャイロセンサの中には、シリコンを使う静電容量方式と、水晶や他の圧電材料を使うピエゾ方式の種類がある。振動式ジャイロセンサ以外の種別としては、地磁気式、光学式、機械式などがある。３軸は、一般に上下、左右、前後の３つの軸として定義され、上下軸は「ヨー軸」、左右軸は「ピッチ（ピッチング）軸」、前後軸は「ロール軸」と呼ばれることが多い。振動式のジャイロセンサは全てコリオリの力（転向力）を利用して回転を検知する。

【0069】

３軸地磁気センサ１６０５とは、当業者には、よく知られているように、磁気センサの一種であって、地磁気の向きを検知し，方位を直交３軸（Ｘ軸、Ｙ軸、Ｚ軸）の値で算出するセンサを言う。すなわち、このセンサは、前後方向と左右方向の第１、第２の磁気センサに加えて上下方向の地磁気を検出する第３の地磁気センサを持っている。このため、たとえば、操作子を持つ角度に電子コンパスを傾けた状態でも、何度傾けて持っているかがわかれば、その傾き分を差し引いて水平方向の地磁気を計算し、正しい方位を表示できる。３軸地磁気センサに組み込まれる地磁気センサＩＣで利用されている磁気センサ素子には主に３種類が知られている。それらは、ＭＲ（magneto-resistive）素子，ＭＩ（magneto-impedance）素子，ホール素子である。ＭＲ素子は、例えば外部磁界の強度変化とともに抵抗値が変わるパーマロイ（NiFe）など金属軟磁性体のＭＲ効果、ＭＩ素子は外部磁界が変動したときにインピーダンスが変わるアモルファス・ワイヤのＭＩ効果を利用する。ワイヤにはパルス電流を流しておく。ホール素子では，半導体のホール効果によって生じた電位差を検出することで，外部磁界の変化を測定する。地磁気センサＩＣには、一般にこうした磁気センサ素子のほか，駆動回路や増幅回路などを内蔵している。

【0070】

次に、操作部（操舵輪型）の電気的ハードウェア構成を示すブロック図が、図４に示されている。同図に示されるように、この例にあっては、操作部１０Ａは、レーシングカーの操舵輪を模した形状に作られている。すなわち、この操作部１０Ａは、両手による握り部となるべき円環状部１１Ａと３本の放射状部１２Ａとを有し、それらの放射状部のうち、中立位置において、反時計回り６０度の位置にある放射状部には第１の操作子１３Ａが、時計回り６０度の位置にある放射状部には第２及び第３の操作子１４Ａ,１５Ａが配置されている。それらの操作子１３Ａ，１４Ａ，１５Ａは、それぞれ、モメンタリタイプの押しボタンとして構成されている。このような操舵輪型の操作部１０Ａにあっても、その内部には、先ほど説明した第２のモーションセンサを構成する３つのセンサ、すなわち３軸加速度センサ１６０３、３軸角速度センサ１６０４、及び３軸地磁気センサ１６０５が組み込まれている。そのため、それらのセンサによって、操舵輪型操作部１０Ａの操舵操作に伴うモーション（例えば、位置、姿勢、及び／又は、それらの変化）を自在に検知可能とされている。その他、図３の各部と同一構成部分については同符号を付すことにより、説明は省略する。

【0071】

次に、操作部（ラケット型)の電気的ハードウェア構成を示すブロック図が、図５に示されている。同図に示されるように、この例にあっては、操作部１０Ｂは、卓球のラケットを模した形状に作られている。すなわち、この操作部１０Ｂは、握り部１１Ｂと打球板部１２Ｂとを有し、握り部１１Ｂには、第１の操作子１３Ｂと第２の操作子１４Ｂとが配置されている。それらの操作子１３Ｂ，１４Ｂは、それぞれ、モメンタリタイプの押しボタンとして構成されている。このようなラケット型の操作部１０Ｂにあっても、その内部には、先ほど説明した第２のモーションセンサを構成する３つのセンサ、すなわち３軸加速度センサ１６０３、３軸角速度センサ１６０４、及び３軸地磁気センサ１６０５が組み込まれている。そのため、それらのセンサによって、ラケット型操作部１０Ｂの位置、姿勢、及び／又は、それらの変化を自在に検知可能とされている。その他、図３の各部と同一構成部分については同符号を付すことにより、説明は省略する。

【0072】

次に、操作部のソフトウェア構成を示すフローチャートが、図６に示されている。なお、図６に示されるフローチャートは、記憶部１６０７に格納されて、制御部１６０１を構成するマイクロプロセッサにて実行される制御プログラムの構成を示すものである。

【0073】

同図において、ステップ１０１では、３軸加速度センサ１６０３、３軸角速度センサ１６０４、及び３軸地磁気センサ１６０５のそれぞれから、各センサ出力を読み込む。ステップ１０２では、第１のスイッチ１３ａ、第２のスイッチ１４ａ、及び第３のスイッチ１５ａのそれぞれから、スイッチ出力を読み込む。ステップ１０３では、各センサ出力に基づいて、操作子における位置、姿勢、および／または、それらの変化状態を示すモーション情報を生成する。ステップ１０４では、各スイッチ出力に基づいて、操作子における各操作子の操作状態を示す操作情報を生成する。ステップ１０５では、情報処理部を構成するスマートフォン５０（図７、図８参照）との間でブルートゥースを介して通信することにより、上で得られたモーション情報及び操作情報をスマートフォン５０側へと送信する。以上の一連の処理（ステップ１０１〜１０６）が、所定の送信タイミングが到来する毎（例えばフレーム周期で）に繰り返される（ステップ１０６）。

【0074】

［頭部装着具について］
次に、頭部装着具２０の構成について説明する。この例にあっては、先に説明したように、頭部装着具２０には、スマートフォン５０が組み込まれ、その画像表示部５１は頭部装着型ディスプレイ（ＨＭＤ）の表示部として機能する。加えて、スマートフォン５０に組み込まれた３軸加速度センサ５０６、３軸角速度センサ５０７、及び３軸地磁気センサ５０８により、第１のモーションセンサが構成される（図９参照）。

【0075】

頭部装着具にスマートフォンを組み込むための操作を示す説明図が図７に、操作者が装着した頭部装着具の要部断面図が図８に、それぞれ示されている。それらの図に示されるように、頭部装着部２０は、前面に開口２４を有しかつ後面は操作者４０の目４３にあてがわれる本体２３を有する。この頭部装着具２０は、操作者４０の頭部周囲にあてがわれる頭周ベルト２１と頭頂部にあてがわれる頭頂ベルト２２とを有する。前面開口２４には、外側へ開くようにした蓋板２５が開閉自在にヒンジ結合されており、この蓋板２４によって、前面開口２４は閉じられ、留め具２６によって固定される。蓋板２５の内面側には、表示画面５１を内面側に向けて、スマートフォン５０が適当な保持具で固定される。

【0076】

操作者４０が、スマートフォン５０の組み込まれた頭部装着具２０を頭部４１に装着すると、図８に示されるように、操作者４０の眼前には、仕切り板２７に保持された光学系２８を介して、スマートフォン５０の表示画面５１が対面する。そのため、頭部装着具２０は、いわゆる頭部装着型ディスプレイ（ＨＭＤ）として機能する。なお、当業者にはよく知られているところであるが、３Ｄ画像を表示する場合、横長表示画面５１は左右に２分割され、各分割領域のそれぞれには、互いに視差を有する画像が表示される。

【0077】

［スマートフォンについて］
市販スマートフォンの電気的ハードウェア構成の一例を示すブロック図が、図９に示されている。同図に示されるように、スマートフォン５０の電気回路は、制御部５０１、記憶部５０２、ディスプレイ部５０３、入力操作部（タッチパネル）５０４、入力操作部（ボタン）５０５、３軸加速度センサ５０６、３軸角速度センサ５０７、３軸地磁気センサ５０８、ＧＰＳ５０９、照度センサ５１０、タイマ５１１、バッテリ５１２、振動部５１３、通信ユニット５１４、音声出力部５１５、音声入力部５１６、スピーカ部５１７、カメラユニット５１８、及びコネクタ５１９を含んで構成される。

【0078】

制御部５０１は、スマートフォンの各種動作等を制御するプログラムを実行するＣＰＵ等（ＳｏＣ（Ｓｙｓｔｅｍ−ｏｎ−ｃｈｉｐ）、ＭＣＵ（Ｍｉｃｒｏ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）、又はＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）などを含む）を備える。

【0079】

記憶部５０２は、ＲＯＭ、ＲＡＭ、又はストレージ等から構成され、後述する、ビデオゲーム装置としての機能を実現するためのプログラムのほか、通信によりゲームプログラムのダウンロードを行うことを支援するダウンロードプログラム選択プログラム、その他各種のデータが保存される。

【0080】

ディスプレイ５０３は、液晶ディスプレイ、有機ＥＬディスプレイ、又は無機ＥＬディスプレイ等の表示デバイスを備えており、文字、図形、又は記号等を表示する。このディスプレイ５０３は、本発明に関連して、頭部装着型ディスプレイ（ＨＭＤ）の表示部としても機能する。すなわち、このディスプレイ５０３の表示画面に、ビデオゲームを構成する動画が表示される。この動画は、好ましくは、公知の手法により３Ｄ処理が施される。３Ｄ表示を行う場合には、ディスプレイ５０３の横長表示画面は、左右に２分割され、それぞれには、視差を有する２つの画像が表示される。

【0081】

通信ユニット５１４は、外部機器とＬＡＮ又はインターネット等を介して無線通信を行うものである。無線通信規格としては例えば、２Ｇ、３Ｇ、４Ｇ、ＩＥＥＥ８０２．１１、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の規格がある。さらに、この通信部５１４には、本発明と関連して、操作部１０，１０Ａ，１０Ｂとの間でのブルートゥース通信を行うための機能も組み込まれている。

【0082】

スピーカ部５１７は、当該スマートフォンから音楽等を出力するものであり、このスピーカ部５１７は、本発明に関連して、ゲームサウンドを生成するためにも使用される。３軸加速度センサ５０６は、スマートフォン筐体に働く加速度の方向及び大きさを検出するものであり、３軸角速度センサ５０７はスマートフォン筐体の角度及び角速度を検出するものであり、３軸地磁気センサ５０８は、地磁気の向きを検出するものである。これら３つのセンサ５０６，５０７，５０８によって、本発明における第１のモーションセンサが構成されている。そして、それら３つのセンサ５０６，５０７，５０８の各出力に基づいて、操作者４０の頭部４１の向きが検出される。

【0083】

その他、振動部５１３は、各種アプリケーションプログラム等で用いられる振動部であり、例えば、振動式スピーカ、電磁コイルを利用した振動機構、又は各種の振動モータ等で構成することができる。カメラユニット５１８は、例えば、端末装置筐体の表面又は裏面に設けられるインカメラ又はアウトカメラ等と接続され、静止画像又は動画像を撮像する際に用いられるものである。コネクタ５１９は、他の機器との接続に用いられる端子である。当該端子は、ＵＳＢ、ＨＤＭＩ（登録商標）等の汎用的な端子であってもよい。音声出力部５１５は、当該スマートフォンを用いて通話等を行う際に音声出力を行うものである。音声入力部５１６は、当該スマートフォンを用いて通話等を行う際に音声の入力を行うものである（マイク等）。入力操作部５０４は例えばタッチ方式の入力操作部であり、指、ペン又はスタイラスペン等の接触検知により、各種の入力を行うものである。ＧＰＳ（Ｇｒａｎｄ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）５０９は、スマートフォンの位置を検出する。照度センサ５１０は、照度を検出する。なお、照度とは、光の強さ、明るさ、又は輝度を示す。タイマ５１１は時間の計測を行うものである。なお、当該タイマはＣＰＵ等と一体に設けられていても良い。バッテリ５１２は、充電により、スマートフォンの電源として機能するものである。

【0084】

［スマートフォンの制御部で実行されるプログラムについて］
ビデオゲーム装置のソフトウェア構成を示すフローチャートが、図１０に示されている。なお、このフローチャートは、スマートフォン５０の制御部５０１において実行されるプログラムに相当するものである。

【0085】

同図において、ステップ２０１では、初期化処理が実行され、ゲームの開始に先立って必要とされる各種フラグやレジスタ類の初期設定が行われるほか、本発明に関連して、スマートフォン５０に組み込まれた第１のモーションセンサ（３軸加速度センサ５０６、３軸角速度センサ５０７、３軸地磁気センサ５０８)及び操作部に１０組み込まれた第２のモーションセンサ（３軸加速度センサ１６０３、３軸角速度センサ１６０４、３軸地磁気センサ１６０５)の初期設定やキャリブレーション等が必要に応じて実行される。

【0086】

以後、一連の処理（ステップ２０２〜２０９）が、所定周期毎（例えば、１フレーム時間毎）に繰り返し実行される。まず、ステップ２０２では、操作部１０とのブルートゥース通信を行うことにより、操作部１０にて生成されたモーション情報及び操作情報の読み込みが行われる。続くステップ２０３では、スマートフォン５０に組み込まれた第１のモーションセンサ（３軸加速度センサ５０６、３軸角速度センサ５０７、３軸地磁気センサ５０８)からのモーション情報に基づいて、操作者４０の頭部４１の向きを判別する。続くステップ２０４では、操作部１０から読み込まれた操作情報に基づいて操作部の操作内容（操作子１３，１４，１５をどのように操作したか）の判別を行う。続くステップ２０５では、操作部１０から読み込まれたモーション情報に基づいて、操作部の指し示す内容が「方向」か「運動」かの判別を行う。その後、ゲームの種別に応じたオブジェクト更新処理（ステップ２０６)、オブジェクト描画処理（ステップ２０７）、及び表示用画像生成処理（ステップ２０８)を順次に実行する。

【0087】

ここで、オブジェクト更新処理（ステップ２０６）とは、当業者にはよく知られているように、ゲームの種別に応じて、必要な更新処理（例えば、敵の更新、自機の更新、背景の更新、障害物の更新、エフェクトの更新、等々）を実行することを意味するものであり、オブジェクト描画処理（ステップ２０７）とは、同様に、必要な描画処理（例えば、敵の描画、自機の描画、背景の描画、障害物の描画．エフェクトの描画、等々）を実行することを意味するものである。さらに、表示用画像生成処理（ステップ２０８）とは、ヘッドトラッキング表示機能を実現するための処理であって、基本的には、スマートフォン５０に組み込まれた第１のモーションセンサからのモーション情報に基づいて判別された操作者４０の頭部４１の向きに対応して、これと対面する所定画角枠Ｇ（図１４参照）内の画像を与えられたパノラマ画像情報から抽出し、これを表示画像として生成するものである。以上の処理（ステップ２０２〜２０８）が、ゲームの終了まで（ステップ２１０ＹＥＳ）、繰り返して実行される。

【0088】

［オブジェクト更新処理の要部詳細について］
オブジェクト更新処理の一例の要部詳細フローチャートが、図１１に示されている。同図に示されるように、オブジェクト更新処理の内部においては、ある時点において、操作部が指し示す内容が「方向」であるか、あるいは「運動」であるかに応じて、２系統の処理のいずれかが択一的に実行される。

【0089】

すなわち、「方向」と判別されたば場合には（ステップ３０１「方向」)、先ず、ステップ３０２において、指し示す「方向」の先にあるパノラマ画像上に照準座標を特定する。続くステップ３０３では、あらかじめ決められたパノラマ画像上の標的座標を読み出す。続くステップ３０４では、こうして特定された照準座標と読出された標的座標とを照合する。続くステップ３０５では、照準座標と標的座標とが所定の許容範囲内において一致したか否かを判定する。ここで、一致したと判定される場合には（ステップ３０５肯定)、続くステップ３０６において、先に操作子から読み込まれた操作情報に基づいて、トリガー操作（引き金を引く操作）の有無を判定する。ここで、トリガー操作ありと判定される場合には（ステップ３０６肯定)、続くステップ３０７において、的中判定を行う。これに対して、許容範囲から外れていたり（ステップ３０５否定)、あるいは許容範囲内であっても（ステップ３０５肯定）、トリガー操作なしと判定される場合には（ステップ３０６否定）、的中判定が行われることがない。ここで、的中判定とは、例えばシューティングゲーム等の場合であれば、操作者が短銃から発射した銃弾が敵に命中したことを意味する。

【0090】

これに対して、「運動」と判別される場合には（ステップ３０１「運動」)、先ず、ステップ３０８において、指し示す「運動」のパノラマ画像上における軌跡を特定する。続くステップ３０９では、あらかじめ決められたパノラマ画像上の目標軌跡を読み出す。続くステップ３１０では、特定された運動軌跡と読出された目標軌跡とを照合する。続くステップ３１１では、特定された運動軌跡と読出された目標軌跡とが所定の許容範囲内において一致するか否かを判定する。ここで、一致したと判定される場合には（ステップ３１１肯定）、あらかじめ決められた所定イベントが発生したと判定する。これに対して、許容範囲から外れていると判定されると（ステップ３１１否定）、イベント発生判定は行われない。この所定イベントとは、例えば、打球動作を伴う卓球ゲーム、野球ゲーム、ゴルフゲーム等であれば、操作者のスイング動作とあらかじめ決められた目標スイング動作とが許容範囲内において一致して、打球動作（例えば、卓球のラケットがボールに当たること、野球のバットがボールに当たること、ゴルフのクラブがボールに当たること等々)が適正に行われたことを意味する。

【0091】

［オブジェクト描画処理の詳細について］
オブジェクト描画処理の一例を示す要部詳細フローチャートが、図１２に示されている。同図に示されるように、オブジェクト描画処理の内部においては、ある時点において、上述の更新処理に対応する描画処理が実行される。

【0092】

すなわち、例えばシューティングゲームの場合には、同図（ａ）に示されるように、ステップ４０１において、パノラマ画像上の照準座標に照準マークを描画する。続くステップ４０２では、的中判定が行われたか否かを判定し、的中安定ありの場合には（ステップ４０２肯定)、ステップ４０３において、パノラマ画像の標的座標に的中図形を描画する。ここで、「的中図形」とは、例えば、発射された銃弾が標的に命中したことにより生ずる標的の変化（例えば、標的に相当する物体が粉砕されるなどの変化)に相当する静止画や動画を意味する。これに対して、的中判定なしの場合には（ステップ４０２否定)、描画処理（ステップ４０３）はスキップされる。

【0093】

一方、打球動作を伴うスポーツゲームの場合には、同図（ｂ）に示されるように、ステップ４０４において、パノラマ画像上に、運動軌跡に沿って、線状または帯状図形を描画する。ここで、「線状または帯状図形」とは、例えば、卓球ラケットのスイングの軌跡、野球バットのスイングの軌跡、あるいは、ゴルフクラブ先端のスイング軌跡を意味する。特に、ゴルフゲームの場合には、スイングの正確さを推定させるためにも、このようなスイング軌跡の残像が好ましい。続くステップ４０５において、イベント発生の判定ありとされる場合には（ステップ４０５肯定）、イベント対応処理の実行、描画を行う（ステップ４０６）。ここで、「イベント対応処理」とは、例えば卓球ゲームや野球ゲームであれば、打ち返された打球の行方を示す静止画や動画を意味し、ゴルフゲームであれば、打球の行方を示す静止画や動画を意味する。これに対して、イベント発生の判定なしの場合には（ステップ４０５否定)、イベント対応処理の実行、描画はスキップされる。

【0094】

［表示用画像生成処理の詳細について］
表示用画像生成処理の詳細フローチャートが、図１３に示されている。同図に示されるように、この例にあっては、第１乃至第３からなる３つのモードが用意されている。これら３つのモードは、例えば、操作部１０における操作子の所定操作によって、択一的に選択可能とされている。

【0095】

表示モードが第１モードのとき（ステップ５０１「第１モード」)、ステップ５０２において、スマートフォン内蔵の第１のモーションセンサから得られるモーション情報に基づいて判別される操作者の頭部の向きに従って、パノラマ画像から頭部対面画像を抽出する。この場合、こうして抽出された頭部対面画像が、そのまま出力画像として決定される。

【0096】

表示モードが第２モードのとき（ステップ５０１「第２モード」)、ステップ５０４において、ステップ５０２と同様にして、パノラマ画像から頭部対面画像を抽出する。続くステップ５０５において、頭部の向きを基準として、左側方、右側方、及び後方の各対面画像を抽出する。続くステップ５０６において、それが４つの画像（頭部対面画像、左側方画像、右側方画像、後方画像)を同一の表示画面上に映り込むように合成する。この場合、こうして生成される合成画像が、そのまま出力画像として決定される。

【0097】

表示モードが第３モードのとき（ステップ５０１「第３モード」)、ステップ５０８において、ステップ５０２と同様にして、パノラマ画像から頭部対面画像を抽出する。続くステップ５０９において、操作子内蔵の第２のモーションセンサから得られるモーション情報に基づいて判別される操作者の指し示す向きに従って、パノラマ画像から操作子の指し示す向きの画像を抽出する。続くステップ５１０において、頭部対面画像と操作子の指し示す向きの画像とが同一の表示画面上に映り込むようにそれらを合成する。

【0098】

続くステップ５１１において、操作者が、操作子の操作子を操作することで、「頭部対面」と「合成」と「操作子の向き」とのうちで、いずれの画像を指定したかを判定する。ここで、操作者が、「頭部対面」を指定した場合には、ステップ５１２において、頭部対面画像がそのまま出力画像として決定される。また、操作者が、「合成」を指定した場合には、ステップ５１３において、頭部対面画像と操作子の指し示す向きの画像との合成画像が、そのまま出力画像として決定される。さらに、操作者が、「操作子の向き」を指定した場合には、ステップ５１４において、操作子指定方向の画像が、そのまま出力画像として決定される。

【0099】

図１０に戻って、表示出力処理（ステップ２０９)においては、表示用画像生成処理（ステップ２０８）において決定された出力画像に対し、必要に応じて、公知の３Ｄ対応処理を施した後、これをスマートフォンに組み込まれたディスプレイデバイス５０３に送り込むことによって、スマートフォンの表示画面５１上に、ビデオゲームを構成する３Ｄ対応画像を表示する。

【0100】

［第１、第２のモーションセンサの検知座標空間相互の関係について］
第１のモーションセンサの検知座標空間と第２のモーションセンサの検知座標空間との関係を示す説明図が、図１４に示されている。なお、図において、符号Ｇは、操作者の頭部の向きに対面する所定画角枠である。この画角枠Ｇ内の画像がパノラマ画像から抽出されて、表示画面５１の基本画像として表示される。

【0101】

同図（ａ）に示されるように、頭部装着具２０に組み込まれた第１のモーションセンサの検知座標空間は、直交する３軸であるところのｘ軸，ｙ軸，z軸により定義される。また、同図(ｂ)に示されるように、操作部１０に組み込まれた第２のモーションセンサの検知座標空間は、直交する３軸であるところのＸ軸，Ｙ軸，Ｚ軸により定義される。ここで、同図（ｃ）に示されるように、ｘ軸とＸ軸、ｙ軸とＹ軸、およびｚ軸とＺ軸は、互いにその向きが整合するような関係に設定されている。換言すれば、第１のモーションセンサの半球状検知座標空間を定義するローカル座標系（ｘ，ｙ，ｚ）と第２のモーションセンサの半球状検知座標空間を定義するローカル座標系（Ｘ，Ｙ，Ｚ）と半天球パノラマ画像が配置される半球状座標空間を定義するワールド座標系（図示せず）とは、原点及び各方向軸を共有して、互いに整合するような関係に設定されている。このことは、頭部装着具２０を身に付けた操作者が視覚を通じて認識するバーチャル空間内における方向感覚や運動感覚と、その操作者が実空間内において、操作子を動かして方向や運動を指し示すときの方向感覚や運動感覚とが完全に一致することを意味している。そのため、操作子に内蔵された第１のモーションセンサからのモーション情報から判別される、操作者が指し示す方向や運動を、バーチャル空間を構成するパノラマ画像に反映してやれば、操作者は、バーチャル空間内においてあらゆる方向へと視線を転じながら、意のままに、各種の道具（例えば、シューティングゲームであれば、短銃等の射撃具、レーシングゲームであれば、操舵輪等の操舵具、打球を伴うスポーツゲームであれば、ラケットやバットやゴルフクラブ等の打球具）を操ることが可能になり、この種のビデオゲームにおける興趣をより一層に高めることができるのである。

【0102】

代表的な一例として、３６０度パノラマ画像、半天球パノラマ画像のそれぞれにより構成されるバーチャル空間における操作者の照準動作とパノラマ画像上の照準マークとの関係を示す説明図が、図１５及び図１６にそれぞれ示されている。

【0103】

それらの図から明らかなように、例えば、短銃型操作部１０を正面に構えたまま、操作者４０が水平３６０度内で体全体ごと向きを変えると、短銃型操作部１０の照準延長線上のパノラマ画像には、照準マーク６１が描かれる。そのため、操作者４０は、３６０度パノラマ画像、半天球パノラマ画像のそれぞれにより構成されるバーチャル空間内において、あらゆる方向へと視線を転じながら、意のままに、短銃型操作部１０を操りつつ、標的図形６０ａ，６０ｂに照準を合わせることで、シューティングゲームにおける興趣をより一層に高めることができるのである。

【0104】

［検知座標空間を整合させるための演算の具体例］
＜概要＞
１つのワールド座標空間上に、端末デバイス（スマートフォン）と銃デバイス（短銃型操作部）とが存在し、それらのデバイスにはそれぞれモーションセンサが内蔵されているものと想定する。ここで、モーションセンサとは、いずれも、３軸加速度センサと３軸角速度センサと３軸地磁気センサとで構成されている。いずれのデバイスも、基本的な姿勢は、３軸加速度センサと３軸地磁気センサを用いて計算により求められる。動かしたときの姿勢は、上述の基本姿勢を３軸角速度センサの検知結果を用いて補正することにより求められる。

【0105】

＜具体的な演算（プログラミング言語で表記）＞
第１ステップ：
各デバイスに組み込まれた３軸加速度センサと３軸角速度センサとを用いて、端末デバイスの姿勢と銃デバイスの姿勢とを計算し、それらを各デバイスの基本姿勢とする。なお、３軸角速度センサは使用せずとも、３軸加速度センサと３軸地磁気センサとがあれば、姿勢制御は可能である。
（１）３軸加速度センサの値から求めた基準姿勢は次の通りとなる。なお、３軸加速度センサの値はローパスフィルタ及び/ハイパスフィルタを通して、静止成分と動作成分に分割されており、ここで取得しているのは静止成分のことである。
sensor_pose = Quaternion(-_mAccel.Pose.z, _mAccel.Pose.y, -_mAccel.Pose.x,
_mAccel.Pose.w);
（２）前回の姿勢に対して３軸角速度センサの変化値補正は、次の通りとなる。
Quaternion rotation = this.transform.rotation;
Quaternion qx = Quaternion.AngleAxis(-gyro.RotZ, Vector3.right);
Quaternion qy = Quaternion.AngleAxis(-gyro.RotY, Vector3.up);
Quaternion qz = Quaternion.AngleAxis(gyro.RotX, -Vector3.forward);
q = (qz * qy * qx);
rotation = rotation * q;

Quaternion sensor_pose = clSingleton<clBLESensorManager>.Instance.SenserPose;

this.transform.rotation = Quaternion.Slerp(rotation, sensor_pose, 0.04f);

【0106】

第２ステップ：
３軸加速度センサと３軸地磁気センサとを用いて、各オブジェクトの磁北方向を３軸地磁気センサから計算する。
このとき、銃オブジェクトの磁北計算は、３軸地磁気センサの成分に傾き情報が含まれているので、加速度から求めた端末の傾きを地磁気センサ情報に補正して、水平な地磁気成分を抽出する。
（１）３軸加速度センサの重力ベクトルは、次の通りとなる。
Vector3 b = Vector3(_mAccel.Gravity.x, _mAccel.Gravity.y, _mAccel.Gravity.z);
b = b.normalized;
（２）垂直下方向のベクトルは、次の通りとなる。
Vector3 a = Vector3(0f, 1f, 0f);
a = a.normalized;

float value = a.x * b.x + a.y * b.y + a.z * b.z;
float gravity_angle = Mathf.Acos (value / a.magnitude * b.magnitude);

Vector3 axis = Vector3.Cross (a, b);
axis = axis.normalized;

Quaternion aq = Quaternion.AngleAxis (-gravity_angle * Mathf.Rad2Deg, axis);
（３）地磁気の軸（mGeom.Z, _mGeom.X, _mGeom.Y）を(0, 1, 0)が上になるように回転する。
Vector3 geom_v = new Vector3(-_mGeom.Z, _mGeom.Y, -_mGeom.X);
geom_v = geom_v.normalized;
（４）加速度の傾きを地磁気の軸と合わせる。
Quaternion gq = Quaternion(-aq.z, -aq.x, aq.y, aq.w);
（５）地磁気のx, y, zを更に分解して水平方向の磁北を計算する。
float m = Mathf.Sqrt(Mathf.Pow(geom.x, 2) + Mathf.Pow(geom.y, 2) +
Mathf.Pow(geom.z, 2));
geom_height = Mathf.Asin(geom.z/m);
（６）地磁気の水平成分から求めた磁北は、次の通りとなる。
geom_height_head = Mathf.Acos(geom.x/(m * Mathf.Cos(geom_height)));

【0107】

第３ステップ：
第２ステップで計算した各オブジェクトの磁北方向と各オブジェクトの基本姿勢を合成する。この時点で、ワールド空間上の、各オブジェクトの姿勢と向いている方向が分かる。
（１）方向と基準姿勢から回転計算する。
sensorRotation = q_head * pose;

【0108】

第４ステップ
第３ステップで計算した銃オブジェクトの姿勢情報から現在の姿勢の前方向に一定距離のワールド座標を計算する。なお、端末のオブジェクトのカメラの視野上に上記で計算した終点が存在するとき、ワールド座標をカメラのビューポート座標(範囲：0.0〜1.0)に変換する。この2D座標系の座標を、カメラ上の銃の照準の2D座標として利用する。0.0〜1.0の範囲外の場合は、照準は画面外とし、表示を行なわない。
Vector3 ray_s_pos = gameObject.transform.position;
_gunRay.SetPosition (0, ray_s_pos);
Vector3 ray_e_pos = gameObject.transform.forward * kRayLength;
（１）終点位置を現在のカメラのビューポート座標(0.0〜1.0)に変換する。
Vector2 v2 = ViewPortPos (ray_e_pos);
（２）ビューポート座標を中心0の座標系に変換して補正する。
Vector3 target_pos = _basePos + new Vector3((v2.x-0.5f), (v2.y-0.5f), 0.0f);
（３）現在位置から計算された次の位置に向けて照準を移動する。
this.transform.position = Vector3.MoveTowards(this.transform.position, target_pos, 0.5f);

【0109】

［操作者の動作と表示画面の映像との関係について］
操作者の動作と表示画面の映像との関係を示す説明図（その１）が、図１７に示されている。これは、図１３のフローチャートにおける第１表示モードの動作に相当する。今仮に、操作者４０がＨＭＤを通じて認識するシューティングゲームのバーチャル空間内において、操作者４０の前方には標的６０ｅが、右側方には標的６０ｆが存在するものと想定する。

【0110】

このとき、同図（ａ）の左半分に示されるように、操作者４０の頭部が前方に向けられかつ短銃型操作部１０の照準も前方へ向けられていると、同図（ａ）の右半分に示されるように、表示画面５１には、前方の標的６０ｅと照準マーク６１とが共に表示される。これに対して、同図（ｂ）の左半分に示されるように、操作者４０の頭部が前方に向けられかつ短銃型操作部１０の照準が右側方に向けられていると、同図（ｂ）の右半分に示されるように、表示画面５１には、前方の標的６０ｅは表示されるものの、照準マーク６１は表示されない。もっとも、この状態においても、オブジェクト更新処理（ステップ２０６）は実行されるから、右側方に存在する標的６０ｆに対して射撃動作を行うことができる。つまり、見えない敵であっても、その方向へ照準を合わせて引き金を引くことにより、的中させることができる。的中は、例えば、スマートフォンからの効果音で確認できる。

【0111】

次に、操作者の動作と表示画面の映像との関係を示す説明図（その２）が、図１８に示されている。これも、図１３のフローチャートにおける第１表示モードの動作に相当する。なお、バーチャル空間内における標的配置の想定、並びに、同図（ａ）の内容は、先に説明した図１７の内容と同様であるから、説明は省略する。

【0112】

これに対して、同図（ｂ）の左半分に示されるように、操作者４０の頭部が右側方に向けられかつ短銃型操作部１０の照準が前方に向けられていると、同図（ａ）の右半分に示されるように、表示画面５１には、右側方の標的６０ｆのみが表示され、前方の標的６０ｅや照準マーク６１は表示されない。このように、照準は前方に向けつつも、周囲を見回しながら敵を探索することができる。

【0113】

次に、操作者の動作と表示画面の映像との関係を示す説明図（その３）が、図１９に示されている。これは、図１３のフローチャートにおける第３表示モードの動作（特に、指定画像が「操作子の向き」の場合)に相当する。なお、バーチャル空間内における標的配置の想定、並びに、同図（ａ）の内容は、先に説明した図１７の内容と同様であるから、説明は省略する。

【0114】

これに対して、同図（ｂ）の左半分に示されるように、操作者４０の頭部が前方に向けられかつ短銃型操作部１０の照準が右側方に向けられていると、同図（ｂ）の右半分に示されるように、表示画面５１には、右側方の標的６０ｆと照準マーク６１とが共に表示され、前方の標的６０ｅは表示されない。このように、頭部の向きにはかかわりなく、操作部１０の照準を中心としてその周囲に存在する画像を表示させることができる。したがって、これを利用することにより、あたかもサーチライトで照らすかのようにして、敵を探索することができる。

【0115】

次に、操作者の動作と表示画面の映像との関係を示す説明図（その４）が、図２０に示されている。これは、図１３のフローチャートにおける第２表示モードの動作に相当する。なお、バーチャル空間内における標的配置の想定は、先に説明した図１７の内容と同様であるから、説明は省略する。

【0116】

この例にあっては、表示画面５１内には、３つの小ウィンドウ５１ａ，５１ｂ，５１ｃが配置されている。すなわち、表示画面５１内の上部には後方所定画角枠内の画像を表示するための後方表示ウィンドウ５１ａが、表示画面５１内の左下部には左側方所定画角枠内の画像を表示するための左側方表示ウィンドウ５１ｂが、また表示画面５１内の右下部には右側方所定画角枠内の画像を表示するための右側方表示ウィンドウ５１ｃが、それぞれ配置される。

【0117】

このとき、同図（ａ）の左半分に示されるように、操作者４０の頭部が前方に向けられかつ短銃型操作部１０の照準も前方へ向けられていると、同図（ａ）の右半分に示されるように、表示画面５１には、前方の標的６０ｅと照準マーク６１とが共に表示される。加えて、右側方表示ウィンドウ５１ｃには、右側方の標的６０ｆが表示される一方、後方表示ウィンドウ５１ａ及び左側方表示ウィンドウ５１ｂには、何も表示されない。これに対して、同図（ｂ）の左半分に示されるように、操作者４０の頭部が前方に向けられかつ短銃型操作部１０の照準が右側方に向けられていると、同図（ｂ）の右半分に示されるように、表示画面５１には、前方の標的６０ｅは表示されるものの、照準マーク６１は表示されない。一方、右側方表示ウインド５１ｃは、右側の標的６０ｆ及び照準マーク６１が表示される。そのため、この例によれば、表示画面５１を介して、主として、前方を確認しつつも、３つの小ウィンドウ５１ａ，５１ｂ，５１ｃお介して、後方並びに左右側方についても確認しながら、様々な敵と戦うことができる。

【0118】

次に、操作者の動作と表示画面の映像との関係を示す説明図（その５)が、図２１に示されている。これは、図１３のフローチャートにおける第１表示モードの動作に相当する。今仮に、操作者４０が頭部装着型ディスプレイを通じて認識するレーシングゲームのバーチャル空間内において、操作者４０の前方には車両６２ａが、右側方には車両６２ｂが存在するものと想定する。

【0119】

このとき、同図（ａ）の左半分に示されるように、操作者４０の頭部が前方に向けられかつ操舵輪型操作部１０Ａが操舵中立を指し示すものであると、同図（ａ）の右半分に示されるように、表示画面５１には、前方の車両６２ａと自分が運転する車両の前部６３ａ及び操舵輪図形６３ｂが表示される。これに対して、同図（ｂ）の左半分に示されるように、操作者４０の頭部が右側方に向けられかつ操舵輪型操作部１０Ａが操舵中立を指し示すものであるであると、同図（ｂ）の右半分に示されるように、表示画面５１には、右側方の車両６２ｂが表示される。そのため、この例によれば、頭部を巡らせて周囲の車両を確認しつつレーシングゲームを楽しむことができる。

【0120】

次に、操作者の動作と表示画面の映像との関係を示す説明図（その６）が、図２２に示されている。これは、図１３のフローチャートにおける第１表示モードの動作に相当する。今仮に、操作者４０が頭部装着型ディスプレイを通じて認識するレーシングゲームのバーチャル空間内において、操作者４０の前方には車両６２ａが存在するものと想定する。

【0121】

このとき、同図（ａ）の左半分に示されるように、操作者４０の頭部が前方に向けられかつ操舵輪型操作部１０Ａが操舵中立を指し示すものであると、同図（ａ）の右半分に示されるように、表示画面５１には、前方の車両６２ａと自分が運転する車両の前部６３ａ及び操舵輪図形６３ｂが表示される。これに対して、同図（ｂ）の左半分に示されるように、操作者４０の頭部が前方に向けられかつ操舵輪型操作部１０Ａが操舵右傾（右回転）を指し示すものであるであると、同図（ｂ）の右半分に示されるように、表示画面５１には、右側へ向きを変えつつある自分の車両６３ａと右へ回転しつつある操舵輪図形６３ｂが表示される。そのため、この例によれば、操舵輪型操作部１０Ａの操作で自在に進行方向を変更しつつ、その走行状態の景色の変化をバーチャル空間上で体感しつつ、レーシングゲームを楽しむことができる。

【0122】

次に、操作者の動作と表示画面の映像との関係を示す説明図（その７）が、図２３に示されている。これも、図１３のフローチャートにおける第１表示モードの動作に相当する。今仮に、プレイヤ４０が頭部装着型ディスプレイを通じて認識する卓球ゲームのバーチャル空間内において、操作者４０の前方には、相手方操作者６４ａ，卓球台６４ｂ，及び打ち返されたピンポン玉６４ｃが存在するものと想定する。

【0123】

このとき、同図（ａ）の左半分に示されるように、操作者４０の頭部が前方に向けられていると、同図（ａ）の右半分に示されるように、表示画面５１には、相手方操作者６４ａ，卓球台６４ｂ，及びピンポン玉６４ｃをほぼ正面から見た画像が表示される。加えて、表示画面５１には、自分の所持するラケット型操作部１０Ｂの位置や姿勢に対応する位置や姿勢を以てラケット図形６５ａが表示される。これに対して、同図（ｂ）の左半分に示されるように、ピンポン玉６４ｃを打ち返そうとして、操作者４０の頭部が僅かに右回転するとともに、ラケット型操作部１０Ｂが打球操作されると、同図（ｂ）の右半分に示されるように、表示画面５１には、相手方操作者６４ａ，卓球台６４ｂ，及びピンポン玉６４ｃをやや右から見た図形が表示される。加えて、表示画面５１には、自分の所持するラケット型操作部１０Ｂの打球操作に対応して、所定の位置及び傾きを有するラケット図形５ａが表示される。そのため、この例によれば、恰も実際の卓球ゲームにおいて、打球動作を行う際の頭部の姿勢から見た相手方操作者を含む周囲環境をバーチャル空間上で確認しながら、しかもラケットによる実際の打球動作が反映されたラケット図形を確認しながら、ゲームを楽しむことができる。

【0124】

このように、本発明にあっては、第１のモーションセンサ（スマートフォン内蔵）の検知座標空間と第２のモーションセンサ（操作子内蔵）の検知座標空間とを整合させた状態において、第２のモーションセンサからのモーション情報に基づいて判別される操作子の位置や姿勢やそれらの変化を、対応する様々な図形をもって、パノラマ画像上に反映するものであるから、パノラマ画像により形成されるバーチャルゲーム空間の中で、実空間におけると同様な体感をもって様々な用具を操りつつ、ビデオゲームを楽しむことができるのである。

【0125】

なお、以上の実施形態においては、本発明に係る情報処理装置はビデオゲーム装置として実施されたが、本発明装置の適用はこれに限られるものではなく、任意のコンピュータソフトを実行する装置として実施することができる。

【0126】

本発明装置の幼児向け英語教材ソフトへの応用例を示す説明図が、図２４に示されている。同図に示されるように、この例にあっては、３６０度パノラマ画像により構成されるバーチャル空間内には、それぞれ標的として機能する様々な種類の動物に対応する標的図形６３ａ〜６３ｆが映し出されており、操作者４０が手にした短銃型操作部１０にてそれらの標的図形６３ａ〜６３ｆのいずれかに照準マーク６１を合わせて引き金を引くと、処理内部ではイベント発生と認識されて、該当する動物名表示を含む吹き出し図形６２ａ，６２ｂが出現するように構成されている。この吹き出し図形の中に描かれる動物名は英語標記（例えば、「Ｅｌｅｐｈａｎｔ」、「Ｇｉｒａｆｆｅ」等々）とされているから、幼児に対する初級英語教材として機能する。

【0127】

本発明装置の一般ソフトにおけるメニュー選択処理への応用例を示す説明図が、図２５に示されている。同図に示されるように、この例にあっては、３６０度パノラマ画像により構成されるバーチャル空間内には、それぞれ標的として機能する様々なメニュー項目（「ＭＯＶＩＥ」、「ＧＡＭＥ」、「ＰＨＯＴＯ」、「ＳＥＴＴＩＮＧ」、「ＨＥＬＰ」、「ＩＮＴＥＲＮＥＴ」）に対応する標的図形６４ａ〜６４ｆが映し出されており、操作者４０が手にした短銃型操作部１０にてそれらの標的図形６４ａ〜６４ｆのいずれかに照準マーク６１を合わせて引き金を引くと、処理内部ではイベント発生と認識されて、該当するメニュー項目名の処理への移行が行われる。

【0128】

本発明装置の一般ソフトにおける押しボタン処理への応用例を示す説明図が、図２６に示されている。同図に示されるように、この例にあっては、３６０度パノラマ画像（例えば、監視盤や操作パネルに相当）により構成されるバーチャル空間内には、それぞれ標的として機能する様々な押しボタンに対応する標的図形６５が映し出されており、操作者４０が手にしたスティック型操作部６６をバーチャル空間内の所望の押しボタンに対応する標的図形に向けることで、それらの標的図形６５のいずれかに人差し指型照準マーク６１を合わせて、当該操作部６６のボタン６６ａを押圧操作すると、処理内部ではイベント発生と認識されて、該当する押しボタンに割り当てられた処理が実行される。なお、スティック型操作部６６内部の電気的構成については、図示しないが、先に、図３〜図５に示した回路構成とほぼ同様であることは言うまでもない。

【0129】

つまり、スティック型操作部６６の内部の電気回路は、図示を省略するが、マイクロプロセッサやＡＳＩＣ等で構成されて、操作子全体を統括制御する制御部と、ブルートゥース等の短距離通信を実現するための通信ユニットと、第２のモーションセンサを構成する３つのセンサ、すなわち３軸加速度センサ、３軸角速度センサ、及び３軸地磁気センサと、バッテリと、記憶部と、押しボタンと連動してオンオフするスイッチとを含んで構成されている。そして、図６のフローチャートに示されるものと同様な処理を制御部が実行することにより、上述の動作が実現される。

【産業上の利用可能性】

【0130】

本発明によれば、この種の頭部装着型ディスプレイを備えてヘッドトラッキング表示を可能とした情報処理装置において、情報入力時の操作性を向上させることができる。

【符号の説明】

【0131】

１ 情報処理装置
１０ 短銃型操作部
１０Ａ 操舵輪型操作部
１０Ｂ ラケット型操作部
１１ 銃身
１１Ａ 放射アーム部
１２ 握り部
１２Ａ 環状部
１３，１３Ａ，１３Ｂ 第１の操作子
１３ａ 第１のスイッチ
１４，１４Ａ，１４Ｂ 第２の操作子
１４ａ 第２のスイッチ
１５，１５Ａ，１５Ｂ 第３の操作子
１５ａ 第３のスイッチ
２０ 頭部装着具
２１ 頭周ベルト
２２ 頭頂ベルト
２３ 本体
２４ 開口
２５ 蓋板
２６ 留め具
２７ 仕切板
２８ 光学系
３０ 情報処理部
４０ 操作者
４１ 頭部
４２ 右手
４２ａ 親指
４２ｂ 人差し指
４２ｃ 中指
４２ｄ 薬指
４２ｅ 小指
４３ プレイヤの目
４４ 右腕
５０ スマートフォン
５１ 表示画面
５１ａ 後方表示ウィンドウ
５１ｂ 左側方表示ウィンドウ
５１ｃ 右側方表示ウィンドウ
６０ａ 標的
６０ｂ 標的
６０ｃ 標的
６０ｄ 標的
６０ｅ 標的
６０ｆ 標的
６１ 照準マーク
６２ａ，５２ｂ 吹き出し図形
６３ａ〜６３ｆ 動物に相当する標的図形
６４ａ〜６４ｆ メニュー項目に相当する標的図形
６５ 押しボタンに相当する標的図形
６６ スティック型の操作子
６６ａ 押しボタン
５０１ 制御部
５０２ 記憶部
５０３ ディスプレイ
５０４ 入力操作部（タッチパネル）
５０５ 入力操作部（ボタン)
５０６ ３軸加速度センサ
５０７ ３軸角速度センサ
５０８ ３軸地磁気センサ
５０９ ＧＰＳ
５１０ 照度センサ
５１１ タイマ
５１２ バッテリ
５１３ 振動部
５１４ 通信ユニット
５１５ 音声出力部
５１６ 音声入力部
５１７ スピーカ部
５１８ カメラユニット
５１９ コネクタ
１６０１ 制御部
１６０２ 通信ユニット
１６０３ ３軸加速度センサ
１６０４ ３軸角速度センサ
１６０５ ３軸地磁気センサ
１６０６ バッテリ
１６０７ 記憶部
Ｇ 所定画角枠

【要約】

【課題】 頭部装着型ディスプレイを備えてヘッドトラッキング表示を可能とした情報処理装置において、情報入力の際の操作性を向上させること。
【解決手段】 手持ち型の操作部（１０）と、頭部装着型のディスプレイ（２０）と、前記操作者の頭部の少なくとも向きを検出可能な第１のモーションセンサ（５０６〜５０８）と、前記第１のモーションセンサを利用するヘッドトラッキング表示処理と、前記操作部のモーションにより特定される前記操作者の指示に対応する特定処理とを実行する情報処理部（３０）とを包含し、前記操作部のモーションは、当該操作部に組み込まれた第２のモーションセンサ（１６０３〜１６０５）を介して検出される。
【選択図】図１

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】