知財求人 - 知財ポータルサイト「IP Force」
▶ 株式会社ソニー・コンピュータエンタテインメントの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-27
(45)【発行日】2024-10-07
(54)【発明の名称】操作装置、操作システム及び操作方法
(51)【国際特許分類】
A63F 13/245 20140101AFI20240930BHJP
A63F 13/211 20140101ALI20240930BHJP
A63F 13/426 20140101ALI20240930BHJP
A63F 13/428 20140101ALI20240930BHJP
A63F 13/837 20140101ALI20240930BHJP
【ＦＩ】
A63F13/245
A63F13/211
A63F13/426
A63F13/428
A63F13/837
【請求項の数】
14
(21)【出願番号】P 2022576245
(86)(22)【出願日】2021-01-19
(86)【国際出願番号】 JP2021001600
(87)【国際公開番号】W WO2022157818
(87)【国際公開日】2022-07-28
【審査請求日】2023-07-13
(73)【特許権者】
【識別番号】310021766
【氏名又は名称】株式会社ソニー・インタラクティブエンタテインメント
(74)【代理人】
【識別番号】110000637
【氏名又は名称】弁理士法人樹之下知的財産事務所
(72)【発明者】
【氏名】尾花 功一
(72)【発明者】
【氏名】石岡 学
(72)【発明者】
【氏名】稲田 徹悟
(72)【発明者】
【氏名】山本 浩貴
【審査官】鈴木 崇雅
(56)【参考文献】
【文献】特開２００５－１３７８０７（ＪＰ，Ａ）
【文献】新岡 優哉，スプラトゥーン コウリャク＆イカ研究白書，第1版，株式会社ＫＡＤＯＫＡＷＡ 浜村 弘一，2015年06月09日，第11頁
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ６３Ｆ １３／００－９８
Ａ６３Ｆ ９／２４
(57)【特許請求の範囲】
【請求項1】
ユーザーによる操作に応じて照準位置を操作する操作装置であって、前記操作装置の動作モードを切り替える操作を受け付けるボタンである第１切替操作部と、
前記操作装置の動きを検出する検出部と、
前記ユーザーの操作に応じて前記照準位置を操作する照準操作部と、
前記第１切替操作部に対する操作に応じて、前記検出部によって検出された前記操作装置の動きに基づいて前記照準位置を決定するモードと、前記照準操作部に対する操作に応じて前記照準位置を決定するモードとのうち１つのモードに前記動作モードを切り替えるモード切替部と、を備えることを特徴とする操作装置。
【請求項2】
請求項１に記載の操作装置において、前記動作モードを切り替える操作を受け付ける第２切替操作部と、
前記照準位置が設定される領域を撮像する撮像部と、を備え、
前記モード切替部は、
前記第２切替操作部が操作されると、前記撮像部による撮像画像に基づいて前記照準位置を決定するモードに前記動作モードを切り替え、
前記第２切替操作部が操作されていないと、前記第１切替操作部に対する操作に応じて、前記操作装置の動きに基づいて前記照準位置を決定するモードと、前記照準操作部に対する操作に応じて前記照準位置を決定するモードとのうち１つのモードに前記動作モードを切り替えることを特徴とする操作装置。
【請求項3】
ユーザーによる操作に応じて照準位置を操作する操作装置であって、前記操作装置の動作モードを切り替える操作を受け付ける第１切替操作部と、
前記動作モードを切り替える操作を受け付ける第２切替操作部と、
前記操作装置の動きを検出する検出部と、
前記ユーザーの操作に応じて前記照準位置を操作する照準操作部と、
前記照準位置が設定される領域を撮像する撮像部と、
前記動作モードを切り替えるモード切替部と、を備え、
前記モード切替部は、
前記第２切替操作部が操作されると、前記撮像部による撮像画像に基づいて前記照準位置を決定するモードに前記動作モードを切り替え、
前記第２切替操作部が操作されていないと、前記第１切替操作部に対する操作に応じて、前記検出部によって検出された前記操作装置の動きに基づいて前記照準位置を決定するモードと、前記照準操作部に対する操作に応じて前記照準位置を決定するモードとのうち１つのモードに前記動作モードを切り替えることを特徴とする操作装置。
【請求項4】
請求項２又は請求項３に記載の操作装置において、前記撮像部による撮像画像の少なくとも一部を表示する表示部を備えることを特徴とする操作装置。
【請求項5】
請求項４に記載の操作装置において、前記第２切替操作部は、前記表示部の近傍に設けられ、前記ユーザーを検出する近接センサーを有し、
前記モード切替部は、前記第２切替操作部によって前記表示部を観察する前記ユーザーの動きが検出されると、前記撮像画像に基づいて前記照準位置を決定するモードに前記動作モードを切り替えることを特徴とする操作装置。
【請求項6】
請求項２から請求項５のいずれか一項に記載の操作装置において、前記操作装置の外装を構成する銃型の筐体を備え、
前記撮像部は、前記筐体におけるバレルに、前記撮像部による撮像方向が前記バレルの延出方向に沿うように設けられていることを特徴とする操作装置。
【請求項7】
請求項１から請求項６のいずれか一項に記載の操作装置において、前記動作モードが前記操作装置の動きに基づいて前記照準位置を決定するモードでないときに、前記検出部が有するジャイロセンサーの誤差を補正する誤差補正部を備えることを特徴とする操作装置。
【請求項8】
請求項１から請求項７のいずれか一項に記載の操作装置において、決定された前記照準位置の座標値を示す信号を生成する信号生成部と、
前記信号生成部によって生成された信号を送信する送信部と、を備えることを特徴とする操作装置。
【請求項9】
請求項１から請求項８のいずれか一項に記載の操作装置と、前記操作装置によって操作される情報処理装置と、を備えることを特徴とする操作システム。
【請求項10】
請求項９に記載の操作システムにおいて、前記情報処理装置によって生成され、かつ、前記操作装置によって前記照準位置が操作される画面を表示する表示装置を備えることを特徴とする操作システム。
【請求項11】
照準位置を操作する操作装置にて実施される操作方法であって、前記操作装置の動作モードを切り替える切替ボタンが操作されたか否かを判定する第１判定手順と、
前記第１判定手順にて、前記切替ボタンが操作されたと判定されると、前記操作装置の動きに基づいて前記照準位置を決定するモードと、前記操作装置に設けられた照準操作部に対するユーザーの操作に応じて前記照準位置を決定するモードとのうち、一方のモードに前記操作装置の動作モードを切り替える第１切替手順と、
前記第１判定手順にて、前記切替ボタンが操作されていないと判定されると、前記操作装置の動きに基づいて前記照準位置を決定するモードと、前記照準操作部に対するユーザーの操作に応じて前記照準位置を決定するモードとのうち、他方のモードに前記操作装置の動作モードを切り替える第２切替手順と、を含むことを特徴とする操作方法。
【請求項12】
請求項１１に記載の操作方法において、前記操作装置の動作モードを切り替える切替操作が行われたか否かを判定する第２判定手順と、
前記第２判定手順にて、前記切替操作が行われたと判定されると、前記操作装置に設けられた撮像部による撮像画像に基づいて前記照準位置を決定するモードに、前記操作装置の動作モードを切り替える第３切替手順と、を含み、
前記第２判定手順にて、前記切替操作が行われていないと判定されると、前記第１判定手順を実施することを特徴とする操作方法。
【請求項13】
照準位置を操作する操作装置にて実施される操作方法であって、前記操作装置の動作モードを切り替える第１切替操作が行われたか否かを判定する第１判定手順と、
前記第１判定手順にて、前記第１切替操作が行われたと判定されると、前記操作装置に設けられた撮像部による撮像画像に基づいて前記照準位置を決定するモードに、前記操作装置の動作モードを切り替える第１モード切替手順と、
前記第１判定手順にて、前記第１切替操作が行われていないと判定されると、前記操作装置の動作モードを切り替える第２切替操作が行われたか否かを判定する第２判定手順と、
前記第２判定手順にて、前記第２切替操作が行われたと判定されると、前記操作装置の動きに基づいて前記照準位置を決定するモードと、前記操作装置に設けられた照準操作部に対するユーザーの操作に応じて前記照準位置を決定するモードとのうち、一方のモードに前記操作装置の動作モードを切り替える第２モード切替手順と、
前記第２判定手順にて、前記第２切替操作が行われていないと判定されると、前記操作装置の動きに基づいて前記照準位置を決定するモードと、前記照準操作部に対するユーザーの操作に応じて前記照準位置を決定するモードとのうち、他方のモードに前記操作装置の動作モードを切り替える第３モード切替手順と、を含むことを特徴とする操作方法。
【請求項14】
請求項１２又は請求項１３に記載の操作方法において、前記撮像部による撮像画像に基づいて前記照準位置を決定するモードに前記操作装置の動作モードが切り替えられると、前記撮像部による撮像画像の少なくとも一部を前記操作装置に設けられた表示部に表示させる表示手順を含むことを特徴とする操作方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、操作装置、操作システム及び操作方法に関する。
【背景技術】
【0002】
従来、銃型の方向インタフェースオブジェクトを備え、方向インタフェースオブジェクトによる照準位置を算出しつつゲームを実行するゲーム装置が知られている（例えば特許文献１参照）。
詳述すると、特許文献１に記載のゲームシステムは、ユーザーによって操作される方向インタフェースオブジェクトと、ユーザーに装着されるＨＭＤ（Head Mounted Display）と、カメラと、コンピューターとにより構成される。ＨＭＤは、コンピューターと接続され、ビデオゲーム又は他のコンテンツを表示する。カメラは、ユーザー及び方向インタフェースオブジェクトを含むインタラクティブ環境の画像を撮影する。コンピューターは、カメラによる撮影画像を分析し、ユーザー、ＨＭＤ及び方向インタフェースオブジェクトの位置及び動きを決定して、これらの位置及び動きに基づいてゲーム等の処理を進行させる。
詳述すると、特許文献１に記載のゲームシステムは、ユーザーによって操作される方向インタフェースオブジェクトと、ユーザーに装着されるＨＭＤ（Head Mounted Display）と、カメラと、コンピューターとにより構成される。ＨＭＤは、コンピューターと接続され、ビデオゲーム又は他のコンテンツを表示する。カメラは、ユーザー及び方向インタフェースオブジェクトを含むインタラクティブ環境の画像を撮影する。コンピューターは、カメラによる撮影画像を分析し、ユーザー、ＨＭＤ及び方向インタフェースオブジェクトの位置及び動きを決定して、これらの位置及び動きに基づいてゲーム等の処理を進行させる。
【先行技術文献】
【特許文献】
【0003】
【文献】特表２０１９－５２２８４９号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献１に記載のゲームシステムでは、カメラによる方向インタフェースオブジェクトの撮像画像に基づいて、コンピューターが、方向インタフェースオブジェクトの位置及び動きを決定する。すなわち、特許文献１に記載のゲームシステムでは、方向インタフェースオブジェクトを撮影するカメラが必要となる。このため、ゲームシステムの構成が複雑化しやすい。この他、家庭用のゲーム装置にカメラを接続して、特許文献１に記載のゲームシステムを構成しようとすると、カメラを適切な位置に配置する必要があり、ゲームを開始するための準備が煩雑である。
このため、複雑な構成及び煩雑な操作を要することなく照準位置を決定できる操作装置が要望されていた。
このため、複雑な構成及び煩雑な操作を要することなく照準位置を決定できる操作装置が要望されていた。
【課題を解決するための手段】
【0005】
本開示の第１態様に係る操作装置は、ユーザーによる操作に応じて照準位置を操作する操作装置であって、前記操作装置の動作モードを切り替える操作を受け付ける第１切替操作部と、前記操作装置の動きを検出する検出部と、前記ユーザーの操作に応じて前記照準位置を操作する照準操作部と、前記第１切替操作部に対する操作に応じて、前記検出部によって検出された前記操作装置の動きに基づいて前記照準位置を決定する第１モードと、前記照準操作部に対する操作に応じて前記照準位置を決定する第２モードとのうち１つのモードに前記動作モードを切り替えるモード切替部と、を備える。
【0006】
本開示の第２態様に係る操作システムは、上記操作装置と、前記操作装置によって操作される情報処理装置と、を備える。
【0007】
本開示の第３態様に係る操作方法は、照準位置を操作する操作装置にて実施される操作方法であって、前記操作装置の動作モードを切り替える第１切替操作が行われたか否かを判定する第１判定手順と、前記第１判定手順にて、前記第１切替操作が行われたと判定されると、前記操作装置の動きに基づいて前記照準位置を決定する第１モードと、前記操作装置に設けられた照準操作部に対するユーザーの操作に応じて前記照準位置を決定する第２モードとのうち、一方のモードに前記操作装置の動作モードを切り替える第１切替手順と、前記第１判定手順にて、前記第１切替操作が行われていないと判定されると、前記第１モード及び前記第２モードのうち、他方のモードに前記操作装置の動作モードを切り替える第２切替手順と、を含む。
【図面の簡単な説明】
【0008】
【図1】第１実施形態に係る情報処理システムの構成を示す模式図。
【図2】第１実施形態に係る操作装置を示す模式図。
【図3】第１実施形態に係る操作装置の構成を示すブロック図。
【図4】第１実施形態に係る操作装置の制御部を示す機能ブロック図。
【図5】第１実施形態に係る照準操作処理を示すフローチャート。
【図6】第１実施形態に係る情報処理装置の構成を示すブロック図。
【図7】第２実施形態に係る操作装置を示す模式図。
【図8】第２実施形態に係る撮像領域における表示領域を示す図。
【図9】第２実施形態に係る操作装置の構成を示すブロック図。
【図10】第２実施形態に係る操作装置の制御部を示す機能ブロック図。
【図11】第２実施形態に係る表示装置に表示されるゲーム画面の一例を示す図。
【図12】第２実施形態に係るゲーム画面を含む撮像画像の一例を示す図。
【図13】第２実施形態に係る照準操作処理を示すフローチャート。
【発明を実施するための形態】
【0009】
［第１実施形態］
以下、本開示の第１実施形態について、図面に基づいて説明する。
［情報処理システムの構成］
図１は、本実施形態に係る情報処理システム１の構成を示す模式図である。
本実施形態に係る情報処理システム１は、本開示の操作システムを含む。情報処理システム１は、図１に示すように、表示装置２、操作装置３Ａ及び情報処理装置５を備え、操作装置３Ａに対するユーザーＵＳの操作に応じて、情報処理装置５が所定の処理を実行し、実行結果を表示装置２が表示する。本実施形態では、情報処理装置５は、ＦＰＳ（First-person shooter）等のガンシューティングゲームを実行可能に構成されている。そして、情報処理装置５は、表示装置２に表示される画面における操作装置３Ａの照準位置を取得し、取得された照準位置に基づいてガンシューティングゲームを進行させる。
以下、情報処理システム１の各構成について説明する。
以下、本開示の第１実施形態について、図面に基づいて説明する。
［情報処理システムの構成］
図１は、本実施形態に係る情報処理システム１の構成を示す模式図である。
本実施形態に係る情報処理システム１は、本開示の操作システムを含む。情報処理システム１は、図１に示すように、表示装置２、操作装置３Ａ及び情報処理装置５を備え、操作装置３Ａに対するユーザーＵＳの操作に応じて、情報処理装置５が所定の処理を実行し、実行結果を表示装置２が表示する。本実施形態では、情報処理装置５は、ＦＰＳ（First-person shooter）等のガンシューティングゲームを実行可能に構成されている。そして、情報処理装置５は、表示装置２に表示される画面における操作装置３Ａの照準位置を取得し、取得された照準位置に基づいてガンシューティングゲームを進行させる。
以下、情報処理システム１の各構成について説明する。
【0010】
［表示装置の構成］
表示装置２は、情報処理装置５と接続されている。表示装置２は、情報処理装置５によって生成された画像を表示する表示領域ＤＰを有する。表示装置２は、情報処理装置５による処理結果を含む画像、例えば、ゲームの実行時画面の画像を表示する。本実施形態では、表示装置２は、情報処理装置５によって生成され、かつ、操作装置３Ａによって照準位置が操作される画面を表示する。
表示装置２は、情報処理装置５と接続されている。表示装置２は、情報処理装置５によって生成された画像を表示する表示領域ＤＰを有する。表示装置２は、情報処理装置５による処理結果を含む画像、例えば、ゲームの実行時画面の画像を表示する。本実施形態では、表示装置２は、情報処理装置５によって生成され、かつ、操作装置３Ａによって照準位置が操作される画面を表示する。
【0011】
［操作装置の構成］
図２は、操作装置３Ａを示す模式図である。なお、図２では、Ｄ１方向とＤ２方向とは直交している。しかしながら、Ｄ１方向とＤ２方向とは交差していればよく、Ｄ１方向とＤ２方向とは必ずしも直交していなくてもよい。
操作装置３Ａは、ユーザーによる操作に応じて照準位置を操作する。操作装置３Ａは、図２に示すように、筐体３１、第１操作部３２、第２操作部３３、トリガー３４、操作検出部３５及び第１切替操作部３６を備える。
筐体３１は、操作装置３Ａの外装を構成するものであり、銃型の筐体である。詳述すると、筐体３１は、ライフル又はマシンガンに類似した形状に形成されている。すなわち、操作装置３Ａは銃型の操作装置である。
筐体３１は、バレル３１１、グリップ３１２、フォアグリップ３１３及びブリッジ３１４を有し、側方から見て略平行四辺形に形成されている。
図２は、操作装置３Ａを示す模式図である。なお、図２では、Ｄ１方向とＤ２方向とは直交している。しかしながら、Ｄ１方向とＤ２方向とは交差していればよく、Ｄ１方向とＤ２方向とは必ずしも直交していなくてもよい。
操作装置３Ａは、ユーザーによる操作に応じて照準位置を操作する。操作装置３Ａは、図２に示すように、筐体３１、第１操作部３２、第２操作部３３、トリガー３４、操作検出部３５及び第１切替操作部３６を備える。
筐体３１は、操作装置３Ａの外装を構成するものであり、銃型の筐体である。詳述すると、筐体３１は、ライフル又はマシンガンに類似した形状に形成されている。すなわち、操作装置３Ａは銃型の操作装置である。
筐体３１は、バレル３１１、グリップ３１２、フォアグリップ３１３及びブリッジ３１４を有し、側方から見て略平行四辺形に形成されている。
【0012】
バレル３１１は、Ｄ１方向に直線状に延出している。バレル３１１は、銃における銃身に相当する部位である。
グリップ３１２は、バレル３１１におけるＤ１方向とは反対方向の端部からＤ１方向に交差するＤ２方向に沿って延出している。グリップ３１２は、ユーザーＵＳの片手によって把持される部位である。
フォアグリップ３１３は、バレル３１１におけるＤ１方向の先端部からＤ２方向に沿って延出している。フォアグリップ３１３は、グリップ３１２を把持する片手とは反対側の片手によって把持される部位である。例えば、グリップ３１２が右手によって把持される場合には、フォアグリップ３１３は左手によって把持される。
ブリッジ３１４は、グリップ３１２におけるＤ２方向の先端部とフォアグリップ３１３におけるＤ２方向の先端部とを接続する部位である。ブリッジ３１４は、バレル３１１と略平行に延出している。
グリップ３１２は、バレル３１１におけるＤ１方向とは反対方向の端部からＤ１方向に交差するＤ２方向に沿って延出している。グリップ３１２は、ユーザーＵＳの片手によって把持される部位である。
フォアグリップ３１３は、バレル３１１におけるＤ１方向の先端部からＤ２方向に沿って延出している。フォアグリップ３１３は、グリップ３１２を把持する片手とは反対側の片手によって把持される部位である。例えば、グリップ３１２が右手によって把持される場合には、フォアグリップ３１３は左手によって把持される。
ブリッジ３１４は、グリップ３１２におけるＤ２方向の先端部とフォアグリップ３１３におけるＤ２方向の先端部とを接続する部位である。ブリッジ３１４は、バレル３１１と略平行に延出している。
【0013】
第１操作部３２は、フォアグリップ３１３に設けられ、ユーザーによる操作に応じた制御信号を後述する制御部４１Ａに出力する。第１操作部３２は、照準操作部３２１、方向キー３２２、ボタン３２３，３２４及びトリガーボタン３２５を有する。
照準操作部３２１、方向キー３２２及びボタン３２３は、フォアグリップ３１３においてＤ１方向とは反対方向を向く面に設けられている。照準操作部３２１は、ユーザーの操作に応じて操作装置３Ａの照準位置を操作するものであり、例えばカーソル又は照準を操作可能なアナログスティックである。
ボタン３２４及びトリガーボタン３２５は、フォアグリップ３１３においてＤ１方向を向く面に設けられている。トリガーボタン３２５は、銃のトリガーのように構成され、トリガーボタン３２５を引いたときの操作感は、トリガー３４を引いたときの操作感と略同じとなるように構成されている。
照準操作部３２１、方向キー３２２及びボタン３２３は、フォアグリップ３１３においてＤ１方向とは反対方向を向く面に設けられている。照準操作部３２１は、ユーザーの操作に応じて操作装置３Ａの照準位置を操作するものであり、例えばカーソル又は照準を操作可能なアナログスティックである。
ボタン３２４及びトリガーボタン３２５は、フォアグリップ３１３においてＤ１方向を向く面に設けられている。トリガーボタン３２５は、銃のトリガーのように構成され、トリガーボタン３２５を引いたときの操作感は、トリガー３４を引いたときの操作感と略同じとなるように構成されている。
【0014】
第２操作部３３は、詳しい図示を省略するが、バレル３１１においてＤ１方向とは反対方向の端部に設けられている。第２操作部３３は、照準操作部３２１と同様の照準操作部３３１を有する。すなわち、照準操作部３３１は、照準操作部３２１と同様に、ユーザーの操作に応じて操作装置３Ａの照準位置を操作するものであり、例えばアナログスティックである。第２操作部３３は、第１操作部３２と同様に、ユーザーによる操作に応じた制御信号を制御部４１Ａに出力する。
トリガー３４は、バレル３１１とグリップ３１２との交差部分に配置されている。トリガー３４は、例えばグリップ３１２を把持する手の人差し指によって操作される。
操作検出部３５は、筐体３１の内部においてトリガー３４に応じた位置に設けられている。操作検出部３５は、トリガー３４が操作されたことを検出すると、トリガー３４が操作されたことを示す制御信号を制御部４１Ａに出力する。
第１切替操作部３６は、例えばグリップ３１２を握る手の親指にて操作可能なボタンである。第１切替操作部３６は、操作装置３Ａの動作モードを切り替える操作を受け付ける。具体的に、第１切替操作部３６は、ユーザーの操作に応じて、操作装置３Ａの動作モードを切り替える制御信号を制御部４１Ａに出力する。制御部４１Ａによる動作モードの切替については、後に詳述する。
トリガー３４は、バレル３１１とグリップ３１２との交差部分に配置されている。トリガー３４は、例えばグリップ３１２を把持する手の人差し指によって操作される。
操作検出部３５は、筐体３１の内部においてトリガー３４に応じた位置に設けられている。操作検出部３５は、トリガー３４が操作されたことを検出すると、トリガー３４が操作されたことを示す制御信号を制御部４１Ａに出力する。
第１切替操作部３６は、例えばグリップ３１２を握る手の親指にて操作可能なボタンである。第１切替操作部３６は、操作装置３Ａの動作モードを切り替える操作を受け付ける。具体的に、第１切替操作部３６は、ユーザーの操作に応じて、操作装置３Ａの動作モードを切り替える制御信号を制御部４１Ａに出力する。制御部４１Ａによる動作モードの切替については、後に詳述する。
【0015】
図３は、操作装置３Ａの構成を示すブロック図である。
操作装置３Ａは、上記構成の他、図３に示すように、検出部３７、通信部３８、記憶部３９、メモリー４０及び制御部４１Ａを有する。
検出部３７は、操作装置３Ａの動きを検出する。検出部３７は、３軸の加速度を検出する加速度センサーと、３軸の角速度を検出するジャイロセンサーと、を有する。換言すると、検出部３７は、３軸の加速度及び３軸の角速度を検出可能な６軸センサーである。検出部３７は、検出された各軸の加速度及び３軸の角速度を制御部４１Ａに出力する。
操作装置３Ａは、上記構成の他、図３に示すように、検出部３７、通信部３８、記憶部３９、メモリー４０及び制御部４１Ａを有する。
検出部３７は、操作装置３Ａの動きを検出する。検出部３７は、３軸の加速度を検出する加速度センサーと、３軸の角速度を検出するジャイロセンサーと、を有する。換言すると、検出部３７は、３軸の加速度及び３軸の角速度を検出可能な６軸センサーである。検出部３７は、検出された各軸の加速度及び３軸の角速度を制御部４１Ａに出力する。
【0016】
通信部３８は、本開示の送信部に相当する。通信部３８は、制御部４１Ａによる制御の下、外部機器と通信する。通信部３８は、例えば情報処理装置５と通信する。なお、通信部３８は、情報処理装置５と有線にて通信可能である他、無線にて通信可能である。操作装置３Ａと情報処理装置５とが無線にて接続される場合には、通信部３８は、例えばBluetooth（登録商標）等の近距離無線通信規格に準拠した通信プロトコルにて情報処理装置５と通信する。例えば、通信部３８は、制御部４１Ａによって生成された操作信号を情報処理装置５に送信する。
【0017】
記憶部３９は、フラッシュメモリー等の不揮発性記憶装置によって構成され、操作装置３Ａの動作に必要なプログラム及びデータを記憶している。例えば、記憶部３９は、操作装置３Ａによって操作される照準位置を決定し、照準位置の座標を示す操作信号を送信するための照準操作プログラムを記憶している。
メモリー４０は、制御部４１Ａのワークメモリーである。
メモリー４０は、制御部４１Ａのワークメモリーである。
【0018】
制御部４１Ａは、ＣＰＵ（Central Processing Unit）等の演算処理装置を備えて構成され、操作装置３Ａの動作を制御する。例えば、制御部４１Ａは、トリガー３４が操作されたことを示す制御信号が操作検出部３５から入力されると、通信部３８を介して情報処理装置５に、トリガー３４が操作されたことを示す操作信号を送信する。また例えば、制御部４１Ａは、第１切替操作部３６に対するユーザーの操作に応じて、操作装置３Ａの動作モードを切り替えて、表示領域ＤＰにおける照準位置の座標を示す操作信号を、通信部３８を介して情報処理装置５に送信する。
【0019】
図４は、制御部４１Ａを示す機能ブロック図である。
制御部４１Ａは、図４に示すように、モード切替部４１１、照準位置決定部４１２、信号生成部４１３及び通信制御部４１４を有する。
モード切替部４１１は、第１切替操作部３６に対する切替操作に応じて、操作装置３Ｂの動作モードを切り替える。具体的に、第１切替操作部３６に対する切替操作が行われていない場合には、モード切替部４１１は、操作装置３Ｂの動作モードを第１モードとする。一方、第１切替操作部３６に対する切替操作が行われた場合には、モード切替部４１１は、操作装置３Ｂの動作モードを第２モードに切り替える。
制御部４１Ａは、図４に示すように、モード切替部４１１、照準位置決定部４１２、信号生成部４１３及び通信制御部４１４を有する。
モード切替部４１１は、第１切替操作部３６に対する切替操作に応じて、操作装置３Ｂの動作モードを切り替える。具体的に、第１切替操作部３６に対する切替操作が行われていない場合には、モード切替部４１１は、操作装置３Ｂの動作モードを第１モードとする。一方、第１切替操作部３６に対する切替操作が行われた場合には、モード切替部４１１は、操作装置３Ｂの動作モードを第２モードに切り替える。
【0020】
第１モードは、検出部３７によって検出される操作装置３Ａの動きに基づいて、照準位置を決定する動作モードである。なお、第１モードにて照準位置を決定する場合には、表示装置２に対する操作装置３Ａの姿勢及び向きを調整するキャリブレーションが、操作装置３Ａを用いて予め行われる。
第２モードは、照準操作部３２１，３３１に対するユーザーの操作に応じて、照準位置を決定する動作モードである。なお、第２モードにて照準位置を決定する場合には、表示領域ＤＰの解像度、表示領域ＤＰ内の照準の移動範囲、及び、表示領域ＤＰ内における照準の移動速度等の設定情報が、操作装置３Ａによって情報処理装置５から取得されるか、或いは、第１操作部３２及び第２操作部３３に対するユーザーの入力操作に基づいて取得される。
第２モードは、照準操作部３２１，３３１に対するユーザーの操作に応じて、照準位置を決定する動作モードである。なお、第２モードにて照準位置を決定する場合には、表示領域ＤＰの解像度、表示領域ＤＰ内の照準の移動範囲、及び、表示領域ＤＰ内における照準の移動速度等の設定情報が、操作装置３Ａによって情報処理装置５から取得されるか、或いは、第１操作部３２及び第２操作部３３に対するユーザーの入力操作に基づいて取得される。
【0021】
照準位置決定部４１２は、モード切替部４１１によって切り替えられた動作モードに応じて照準位置を決定する。本実施形態では、照準位置決定部４１２は、表示領域ＤＰにおける照準位置の座標値を決定する。
操作装置３Ａの動作モードが第１モードである場合、照準位置決定部４１２は、検出部３７によって検出される操作装置３Ａの動きから、表示領域ＤＰに対する操作装置３Ａの姿勢及び向きを推定し、推定された操作装置３Ａの姿勢及び向きに基づいて、表示領域ＤＰにおける照準位置の座標値を決定する。
操作装置３Ａの動作モードが第２モードである場合、照準位置決定部４１２は、照準操作部３２１，３３１に対するユーザーの操作に応じて、表示領域ＤＰにおいて移動される照準位置の座標値を決定する。
操作装置３Ａの動作モードが第１モードである場合、照準位置決定部４１２は、検出部３７によって検出される操作装置３Ａの動きから、表示領域ＤＰに対する操作装置３Ａの姿勢及び向きを推定し、推定された操作装置３Ａの姿勢及び向きに基づいて、表示領域ＤＰにおける照準位置の座標値を決定する。
操作装置３Ａの動作モードが第２モードである場合、照準位置決定部４１２は、照準操作部３２１，３３１に対するユーザーの操作に応じて、表示領域ＤＰにおいて移動される照準位置の座標値を決定する。
【0022】
信号生成部４１３は、照準位置決定部４１２によって決定された照準位置の座標値を示す信号である操作信号を生成する。
通信制御部４１４は、通信部３８による外部機器との通信を制御し、外部機器との間で情報を送受信する。例えば、通信制御部４１４は、信号生成部４１３によって生成された操作信号を、通信部３８を介して情報処理装置５に送信する。また、通信制御部４１４は、通信部３８を介して情報処理装置５から必要な情報、例えば上記設定情報を取得する。
通信制御部４１４は、通信部３８による外部機器との通信を制御し、外部機器との間で情報を送受信する。例えば、通信制御部４１４は、信号生成部４１３によって生成された操作信号を、通信部３８を介して情報処理装置５に送信する。また、通信制御部４１４は、通信部３８を介して情報処理装置５から必要な情報、例えば上記設定情報を取得する。
【0023】
［照準操作処理］
図５は、制御部４１Ａが実施する照準操作処理を示すフローチャートである。
制御部４１Ａは、記憶部３９に記憶された照準操作プログラムに基づいて、図５に示す照準操作処理を実施する。照準操作処理は、ユーザーによって操作される操作装置３Ａの照準位置を決定し、決定された照準位置を示す操作信号を情報処理装置５に送信することによって、情報処理装置５にて実行されるゲームにおける照準位置を操作する処理である。すなわち、照準操作処理は、本開示の操作方法を含む処理である。
照準操作処理では、まず、モード切替部４１１が、第１切替操作部３６に対する操作（第１切替操作）が行われているか否かを判定する（ステップＳＡ１）。具体的に、ステップＳＡ１では、モード切替部４１１が、第１切替操作部３６を構成するボタンが入力されているか否かを判定する。ステップＳＡ１は、第１判定手順に相当する。
図５は、制御部４１Ａが実施する照準操作処理を示すフローチャートである。
制御部４１Ａは、記憶部３９に記憶された照準操作プログラムに基づいて、図５に示す照準操作処理を実施する。照準操作処理は、ユーザーによって操作される操作装置３Ａの照準位置を決定し、決定された照準位置を示す操作信号を情報処理装置５に送信することによって、情報処理装置５にて実行されるゲームにおける照準位置を操作する処理である。すなわち、照準操作処理は、本開示の操作方法を含む処理である。
照準操作処理では、まず、モード切替部４１１が、第１切替操作部３６に対する操作（第１切替操作）が行われているか否かを判定する（ステップＳＡ１）。具体的に、ステップＳＡ１では、モード切替部４１１が、第１切替操作部３６を構成するボタンが入力されているか否かを判定する。ステップＳＡ１は、第１判定手順に相当する。
【0024】
ステップＳＡ１の判定処理にて、第１切替操作部３６に対する操作が行われていると判定されない場合、すなわち、第１切替操作部３６に対する操作が行われていない場合（ステップＳＡ１：ＮＯ）、モード切替部４１１は、操作装置３Ａの動作モードを第１モードとする（第２切替手順）。動作モードが第１モードであるとき、照準位置決定部４１２は、上記のように、検出部３７によって検出される操作装置３Ａの動きに応じて、表示領域ＤＰに対する操作装置３Ａの姿勢及び向きを推定し、表示領域ＤＰにおける照準位置の座標値を決定する（ステップＳＡ２）。ステップＳＡ２の後、制御部４１Ａは、処理をステップＳＡ４に移行する。
【0025】
ステップＳＡ１の判定処理にて、第１切替操作部３６に対する操作が行われていると判定される場合、すなわち、第１切替操作部３６が入力されている場合（ステップＳＡ１：ＹＥＳ）、モード切替部４１１は、操作装置３Ａの動作モードを第２モードに切り替える（第１切替手順）。動作モードが第２モードであるとき、照準位置決定部４１２は、照準操作部３２１，３３１に対するユーザーの操作に応じて照準位置の座標値を決定する（ステップＳＡ３）。ステップＳＡ３の後、制御部４１Ａは、処理をステップＳＡ４に移行する。
【0026】
ステップＳＡ４では、信号生成部４１３が、決定された照準位置の座標値を示す操作信号を生成し、通信制御部４１４が、生成された操作信号を、通信部３８によって情報処理装置５に送信する（ステップＳＡ４）。ステップＳＡ４の後、制御部４１Ａは、処理をステップＳＡ１に戻す。
このように、照準操作処理は、制御部４１Ａによって繰り返し実行され、操作装置３Ａの姿勢及び向きを変更するユーザーの操作、又は、照準操作部３２１，３３１に対するユーザーの操作に応じた操作信号が、情報処理装置５に送信される。これにより、情報処理装置５は、表示領域ＤＰに表示されるゲーム画面等の実行時画面において照準位置を移動させる。
このように、照準操作処理は、制御部４１Ａによって繰り返し実行され、操作装置３Ａの姿勢及び向きを変更するユーザーの操作、又は、照準操作部３２１，３３１に対するユーザーの操作に応じた操作信号が、情報処理装置５に送信される。これにより、情報処理装置５は、表示領域ＤＰに表示されるゲーム画面等の実行時画面において照準位置を移動させる。
【0027】
［情報処理装置の構成］
図６は、情報処理装置５の構成を示すブロック図である。
情報処理装置５は、上記のように、操作装置３Ａに対するユーザーの操作に応じて、ゲーム等の処理を実行する。すなわち、情報処理装置５は、操作装置３Ａによって操作される。例えば、情報処理装置５は、ガンシューティングゲームを実行し、操作装置３Ａから受信される操作信号に基づいて、ゲーム画面における照準位置を移動させる。このような情報処理装置５は、図６に示すように、通信部５１、出力部５２、記憶部５３、メモリー５４及び制御部５５を備える。
図６は、情報処理装置５の構成を示すブロック図である。
情報処理装置５は、上記のように、操作装置３Ａに対するユーザーの操作に応じて、ゲーム等の処理を実行する。すなわち、情報処理装置５は、操作装置３Ａによって操作される。例えば、情報処理装置５は、ガンシューティングゲームを実行し、操作装置３Ａから受信される操作信号に基づいて、ゲーム画面における照準位置を移動させる。このような情報処理装置５は、図６に示すように、通信部５１、出力部５２、記憶部５３、メモリー５４及び制御部５５を備える。
【0028】
通信部５１は、操作装置３Ａ等の外部機器と通信し、外部機器との間で情報を送受信する。すなわち、通信部５１は、操作装置３Ａから操作信号を受信する受信部の機能を有する。通信部５１は、外部機器から受信した信号を、制御部５５に出力する。また、通信部５１は、ルーター等の中継装置を介して、インターネット等のネットワークと接続可能であり、ネットワーク上のサーバーと通信可能である。
【0029】
出力部５２は、表示装置２と接続される。出力部５２は、制御部５５によって生成された画像信号を表示装置２に出力し、画像信号に応じた画像を表示装置２に表示させる。
記憶部５３は、情報処理装置５の動作に必要なプログラム及びデータを記憶している。例えば記憶部５３は、情報処理装置５を管理するＯＳ（Operating System）を記憶している。また例えば、記憶部５３は、操作装置３Ａによって操作可能なゲームのプログラムを記憶している。
メモリー５４は、制御部５５のワークメモリーである。
記憶部５３は、情報処理装置５の動作に必要なプログラム及びデータを記憶している。例えば記憶部５３は、情報処理装置５を管理するＯＳ（Operating System）を記憶している。また例えば、記憶部５３は、操作装置３Ａによって操作可能なゲームのプログラムを記憶している。
メモリー５４は、制御部５５のワークメモリーである。
【0030】
制御部５５は、記憶部５３に記憶されたＯＳを実行して、情報処理装置５の動作を制御する他、ユーザーによって選択されたゲームを実行する。制御部５５がガンシューティングゲームを実行するときには、制御部５５は、通信部５１を介して操作装置３Ａから受信される操作信号に基づいて、ゲームを進行させる。
例えば、制御部５５は、トリガー３４が操作されたことを示す操作信号が受信された場合には、現在の照準位置とゲーム画面上のオブジェクトの位置とに基づいて、オブジェクトに対する銃弾等の当たり判定を行う。
また例えば、制御部５５は、照準位置の座標値を示す操作信号が受信された場合には、受信された操作信号に基づいて、ゲーム画面内で照準位置を移動させる。
例えば、制御部５５は、トリガー３４が操作されたことを示す操作信号が受信された場合には、現在の照準位置とゲーム画面上のオブジェクトの位置とに基づいて、オブジェクトに対する銃弾等の当たり判定を行う。
また例えば、制御部５５は、照準位置の座標値を示す操作信号が受信された場合には、受信された操作信号に基づいて、ゲーム画面内で照準位置を移動させる。
【0031】
［第１実施形態の効果］
以上説明した本実施形態に係る情報処理システム１は、以下の効果を奏する。
情報処理システム１は、操作システムに相当する。情報処理システム１は、操作装置３Ａと、操作装置３Ａによって操作される情報処理装置５と、を備える。
操作装置３Ａは、ユーザーＵＳによる操作に応じて照準位置を操作する操作装置である。操作装置３Ａは、第１切替操作部３６、検出部３７、照準操作部３２１，３３１及びモード切替部４１１を備える。第１切替操作部３６は、操作装置３Ａの動作モードを切り替える操作を受け付ける。検出部３７は、操作装置３Ａの動きを検出する。照準操作部３２１，３３１は、ユーザーＵＳの操作に応じて照準位置を操作する。モード切替部４１１は、第１切替操作部３６に対する操作に応じて、検出部３７によって検出された操作装置３Ａの動きに基づいて照準位置を決定する第１モードと、照準操作部３２１，３３１に対する操作に応じて照準位置を決定する第２モードとのうち１つのモードに操作装置３Ａの動作モードを切り替える。
以上説明した本実施形態に係る情報処理システム１は、以下の効果を奏する。
情報処理システム１は、操作システムに相当する。情報処理システム１は、操作装置３Ａと、操作装置３Ａによって操作される情報処理装置５と、を備える。
操作装置３Ａは、ユーザーＵＳによる操作に応じて照準位置を操作する操作装置である。操作装置３Ａは、第１切替操作部３６、検出部３７、照準操作部３２１，３３１及びモード切替部４１１を備える。第１切替操作部３６は、操作装置３Ａの動作モードを切り替える操作を受け付ける。検出部３７は、操作装置３Ａの動きを検出する。照準操作部３２１，３３１は、ユーザーＵＳの操作に応じて照準位置を操作する。モード切替部４１１は、第１切替操作部３６に対する操作に応じて、検出部３７によって検出された操作装置３Ａの動きに基づいて照準位置を決定する第１モードと、照準操作部３２１，３３１に対する操作に応じて照準位置を決定する第２モードとのうち１つのモードに操作装置３Ａの動作モードを切り替える。
【0032】
このような構成によれば、検出部３７によって検出される操作装置の動きに基づいて照準位置を決定できる他、照準操作部３２１，３３１に対する操作に応じて照準位置を決定できる。これにより、操作装置３Ａを撮像して、操作装置３Ａの姿勢、及び、操作装置３Ａと表示装置２との相対的な向きを取得するための撮像装置を設ける必要がない。従って、複雑な構成及び操作を要することなく照準位置を決定できる。そして、決定された照準位置を示す操作信号を操作装置３Ａが送信することによって、操作信号を受信した情報処理装置５において、操作された照準位置を把握できる。
【0033】
操作装置３Ａでは、照準位置決定部４１２にて決定された照準位置の座標値を示す操作信号を生成する信号生成部４１３と、信号生成部４１３によって生成された操作信号を送信する通信部３８と、を備える。通信部３８は、送信部に相当する。
このような構成によれば、送信された操作信号を受信することによって、操作装置３Ａとは異なる外部機器としての情報処理装置５が、操作装置３Ａによって操作される照準位置を把握できる。
このような構成によれば、送信された操作信号を受信することによって、操作装置３Ａとは異なる外部機器としての情報処理装置５が、操作装置３Ａによって操作される照準位置を把握できる。
【0034】
情報処理システム１は、表示装置２を備える。表示装置２は、情報処理装置５によって生成され、かつ、操作装置３Ａによって照準位置が操作されるゲーム画面等の画面を表示する。
このような構成によれば、例えば操作装置３Ａにて決定された照準位置を情報処理装置５が取得することによって、照準位置を示す照準マーカーを表示装置２に表示させることができる。従って、情報処理システム１の汎用性を高めることができる。
このような構成によれば、例えば操作装置３Ａにて決定された照準位置を情報処理装置５が取得することによって、照準位置を示す照準マーカーを表示装置２に表示させることができる。従って、情報処理システム１の汎用性を高めることができる。
【0035】
［第２実施形態］
次に、本開示の第２実施形態について説明する。
本実施形態に係る情報処理システムは、第１実施形態に係る情報処理システム１と同様の構成を備えるが、操作装置が照準位置を決定するための他の構成を更に備える点で、情報処理システム１と相違する。なお、以下の説明では、既に説明した部分と同一又は略同一である部分については、同一の符号を付して説明を省略する。
次に、本開示の第２実施形態について説明する。
本実施形態に係る情報処理システムは、第１実施形態に係る情報処理システム１と同様の構成を備えるが、操作装置が照準位置を決定するための他の構成を更に備える点で、情報処理システム１と相違する。なお、以下の説明では、既に説明した部分と同一又は略同一である部分については、同一の符号を付して説明を省略する。
【0036】
［情報処理システムの概略構成］
本実施形態に係る情報処理システムは、操作装置３Ａに代えて操作装置３Ｂを備える他は、第１実施形態に係る情報処理システム１と同様の構成及び機能を備える。すなわち、本実施形態に係る情報処理システムは、本開示の操作システムを含むものであり、表示装置２、操作装置３Ｂ及び情報処理装置５を備える。
本実施形態に係る情報処理システムは、操作装置３Ａに代えて操作装置３Ｂを備える他は、第１実施形態に係る情報処理システム１と同様の構成及び機能を備える。すなわち、本実施形態に係る情報処理システムは、本開示の操作システムを含むものであり、表示装置２、操作装置３Ｂ及び情報処理装置５を備える。
【0037】
［操作装置の構成］
図７は、操作装置３Ｂを示す模式図である。
操作装置３Ｂは、操作装置３Ａと同様に、情報処理装置５を操作する操作信号を送信する。操作装置３Ｂは、図７に示すように、第１実施形態に係る操作装置３Ａと同様の構成を備える他、撮像部４２、第２切替操作部４３及び表示部４４を備える。
撮像部４２は、銃型の操作装置３Ｂによって照準位置が設定される領域を撮像する。例えば、撮像部４２は、操作装置３Ｂが表示装置２の表示領域ＤＰに向けられたときに、表示領域ＤＰを含む領域を撮像する。撮像部４２は、バレル３１１におけるＤ１方向の先端部に、撮像部４２の撮像方向（Ｄ３方向）がバレル３１１の延出方向（Ｄ１方向）に沿うように設けられている。本実施形態では、Ｄ３方向はＤ１方向と平行である。撮像部４２は、撮像画像を制御部４１Ｂに出力する。撮像部４２は、ＣＣＤ（Charge Coupled Device）イメージセンサー又はＣＭＯＳ（Complementary MOS）イメージセンサーを備える構成とすることができる。
図７は、操作装置３Ｂを示す模式図である。
操作装置３Ｂは、操作装置３Ａと同様に、情報処理装置５を操作する操作信号を送信する。操作装置３Ｂは、図７に示すように、第１実施形態に係る操作装置３Ａと同様の構成を備える他、撮像部４２、第２切替操作部４３及び表示部４４を備える。
撮像部４２は、銃型の操作装置３Ｂによって照準位置が設定される領域を撮像する。例えば、撮像部４２は、操作装置３Ｂが表示装置２の表示領域ＤＰに向けられたときに、表示領域ＤＰを含む領域を撮像する。撮像部４２は、バレル３１１におけるＤ１方向の先端部に、撮像部４２の撮像方向（Ｄ３方向）がバレル３１１の延出方向（Ｄ１方向）に沿うように設けられている。本実施形態では、Ｄ３方向はＤ１方向と平行である。撮像部４２は、撮像画像を制御部４１Ｂに出力する。撮像部４２は、ＣＣＤ（Charge Coupled Device）イメージセンサー又はＣＭＯＳ（Complementary MOS）イメージセンサーを備える構成とすることができる。
【0038】
第２切替操作部４３は、操作装置３Ｂの動作モードを切り替える操作を受け付ける。
本実施形態では、第２切替操作部４３は、ユーザーを検出する近接センサーを有する。第２切替操作部４３は、近接センサーによって、ユーザーが近接センサーに顔を近づける動作、すなわち、表示部４４を観察するユーザーの動きを動作モードの切替操作として認識し、当該切替動作が行われた場合に、操作装置３Ｂの動作モードを第３モードに切り替える制御信号を制御部４１Ｂに出力する。表示部４４を観察するユーザーの動きは、より詳しくは、表示部４４を覗き込むユーザーの動きである。なお、第３モードについては後に詳述する。
第２切替操作部４３は、表示部４４近傍に設けられている。詳述すると、第２切替操作部４３は、筐体３１におけるバレル３１１とグリップ３１２との交差部であって、Ｄ１方向及びＤ２方向のそれぞれに交差する両側面における表示部４４近傍の位置に設けられている。
本実施形態では、第２切替操作部４３は、ユーザーを検出する近接センサーを有する。第２切替操作部４３は、近接センサーによって、ユーザーが近接センサーに顔を近づける動作、すなわち、表示部４４を観察するユーザーの動きを動作モードの切替操作として認識し、当該切替動作が行われた場合に、操作装置３Ｂの動作モードを第３モードに切り替える制御信号を制御部４１Ｂに出力する。表示部４４を観察するユーザーの動きは、より詳しくは、表示部４４を覗き込むユーザーの動きである。なお、第３モードについては後に詳述する。
第２切替操作部４３は、表示部４４近傍に設けられている。詳述すると、第２切替操作部４３は、筐体３１におけるバレル３１１とグリップ３１２との交差部であって、Ｄ１方向及びＤ２方向のそれぞれに交差する両側面における表示部４４近傍の位置に設けられている。
【0039】
図８は、撮像部４２による撮像領域ＣＡにおいて表示部４４によって表示される表示領域ＤＰを示す図である。
表示部４４は、バレル３１１におけるＤ１方向とは反対方向の端部に、Ｄ２方向とは反対方向に突出するように設けられている。すなわち、表示部４４は、銃における照門（リアサイト）に応じた部位に設けられている。表示部４４は、制御部４１Ｂによる制御の下、撮像部４２による撮像領域における少なくとも一部の領域の画像を表示する。例えば表示部４４は、図８に示すように、撮像部４２による撮像領域ＣＡにおいて、撮像領域ＣＡの中央を含み、かつ、撮像領域ＣＡよりも小さい照準領域ＳＡの画像を表示する。すなわち、表示部４４は、撮像部４２による撮像画像の少なくとも一部を表示する。撮像領域ＣＡの中央が照準位置となることから、表示部４４が照準領域ＳＡの画像を表示することによって、ユーザーが操作装置３Ｂの照準位置を把握しやすくすることができる。
表示部４４は、バレル３１１におけるＤ１方向とは反対方向の端部に、Ｄ２方向とは反対方向に突出するように設けられている。すなわち、表示部４４は、銃における照門（リアサイト）に応じた部位に設けられている。表示部４４は、制御部４１Ｂによる制御の下、撮像部４２による撮像領域における少なくとも一部の領域の画像を表示する。例えば表示部４４は、図８に示すように、撮像部４２による撮像領域ＣＡにおいて、撮像領域ＣＡの中央を含み、かつ、撮像領域ＣＡよりも小さい照準領域ＳＡの画像を表示する。すなわち、表示部４４は、撮像部４２による撮像画像の少なくとも一部を表示する。撮像領域ＣＡの中央が照準位置となることから、表示部４４が照準領域ＳＡの画像を表示することによって、ユーザーが操作装置３Ｂの照準位置を把握しやすくすることができる。
【0040】
また、表示部４４が表示する画像は、撮像部４２による撮像領域ＣＡにおいて照準領域ＳＡの外側領域の輝度又は色味を変更した画像であってもよい。このような画像が表示される場合には、操作装置３Ｂによる照準位置を把握しやすくすることができる他、撮像領域ＣＡにおいて照準領域ＳＡの外側の領域の様子を表示部４４にて確認できる。
一方、表示部４４の表示画像は、撮像部４２による撮像画像そのものであってもよい。
なお、表示部４４は、操作装置３Ｂの動作モードが第３モードであるときに限定されていてもよい。
一方、表示部４４の表示画像は、撮像部４２による撮像画像そのものであってもよい。
なお、表示部４４は、操作装置３Ｂの動作モードが第３モードであるときに限定されていてもよい。
【0041】
［操作装置の他の構成］
図９は、操作装置３Ｂの構成を示すブロック図である。図１０は、制御部４１Ｂを示す機能ブロック図である。
操作装置３Ｂは、図９に示すように、制御部４１Ａに代えて制御部４１Ｂを備える。
制御部４１Ｂは、制御部４１Ａと同様に、操作装置３Ｂの動作を制御する。制御部４１Ｂは、図１０に示すように、信号生成部４１３、通信制御部４１４、モード切替部４１５、照準位置決定部４１６及び誤差補正部４１７を有する。
図９は、操作装置３Ｂの構成を示すブロック図である。図１０は、制御部４１Ｂを示す機能ブロック図である。
操作装置３Ｂは、図９に示すように、制御部４１Ａに代えて制御部４１Ｂを備える。
制御部４１Ｂは、制御部４１Ａと同様に、操作装置３Ｂの動作を制御する。制御部４１Ｂは、図１０に示すように、信号生成部４１３、通信制御部４１４、モード切替部４１５、照準位置決定部４１６及び誤差補正部４１７を有する。
【0042】
モード切替部４１５は、第１切替操作部３６及び第２切替操作部４３に対する切替操作に応じて、操作装置３Ｂの動作モードを切り替える。具体的に、モード切替部４１１は、第１切替操作部３６及び第２切替操作部４３に対して切替操作が行われていない場合には、操作装置３Ｂの動作モードを上記した第１モードとする。第１切替操作部３６に対する切替操作が行われた場合には、モード切替部４１５は、操作装置３Ｂの動作モードを上記した第２モードに切り替える。第２切替操作部４３に対する切替操作が行われた場合、すなわち、表示部４４を観察するユーザーの動きが第２切替操作部４３によって検出された場合には、モード切替部４１５は、操作装置３Ｂの動作モードを第３モードに切り替える。
第３モードは、撮像部４２による撮像画像に基づいて、操作装置３Ｂによる照準位置を決定する動作モードである。
このように、モード切替部４１５は、第２切替操作部４３が操作された場合には、第３モードに操作装置３Ｂの動作モードを切り替え、第２切替操作部４３が操作されていない場合には、第１切替操作部３６に対する操作に応じて、第１モードと第２モードとのうち１つの動作モードに操作装置３Ｂの動作モードを切り替える。
第３モードは、撮像部４２による撮像画像に基づいて、操作装置３Ｂによる照準位置を決定する動作モードである。
このように、モード切替部４１５は、第２切替操作部４３が操作された場合には、第３モードに操作装置３Ｂの動作モードを切り替え、第２切替操作部４３が操作されていない場合には、第１切替操作部３６に対する操作に応じて、第１モードと第２モードとのうち１つの動作モードに操作装置３Ｂの動作モードを切り替える。
【0043】
照準位置決定部４１６は、モード切替部４１５によって切り替えられた動作モードに応じて、ゲーム画面等の実行時画面が表示される表示装置２の表示領域ＤＰにおける照準位置の座標値を決定する。
動作モードが第１モード又は第２モードである場合、照準位置決定部４１６は、照準位置決定部４１２と同様に、表示装置２の画面における照準位置を示す座標値を決定する。
動作モードが第１モード又は第２モードである場合、照準位置決定部４１６は、照準位置決定部４１２と同様に、表示装置２の画面における照準位置を示す座標値を決定する。
【0044】
図１１は、情報処理装置５によって表示装置２に表示されるゲーム画面ＳＣの一例を示す図である。
動作モードが第３モードである場合、照準位置決定部４１６は、操作装置３Ｂの姿勢及び向きに応じて撮像領域ＣＡの位置が変化する撮像部４２による撮像画像に基づいて、表示領域ＤＰにおける照準位置の座標値を決定する。
例えば、表示装置２は、図１１に示すゲーム画面ＳＣを表示する。
ここで、ＦＰＳ等のガンシューティングゲームのゲーム画面には、一般的に、プレイヤーのステータス、所持中の武器を示すアイコン、プレイヤーの進行方向、及び、スコア等を表示する複数のアイコンが含まれる。例えば図１１に示されるゲーム画面ＳＣには、４つのアイコンＣＮ（ＣＮ１～ＣＮ４）が含まれる。ゲーム画面における複数のアイコンの位置は、ゲーム毎に予め決められている。このため、少なくとも３つのアイコンを認識マーカーとし、撮像画像における各認識マーカーの位置に基づいて、表示領域ＤＰの位置を規定できる。また、撮像部４２の撮像方向は、バレル３１１の延出方向に沿っていることから、撮像部４２による撮像領域ＣＡの中心を、操作装置３Ｂによる照準位置とみなすことができる。
動作モードが第３モードである場合、照準位置決定部４１６は、操作装置３Ｂの姿勢及び向きに応じて撮像領域ＣＡの位置が変化する撮像部４２による撮像画像に基づいて、表示領域ＤＰにおける照準位置の座標値を決定する。
例えば、表示装置２は、図１１に示すゲーム画面ＳＣを表示する。
ここで、ＦＰＳ等のガンシューティングゲームのゲーム画面には、一般的に、プレイヤーのステータス、所持中の武器を示すアイコン、プレイヤーの進行方向、及び、スコア等を表示する複数のアイコンが含まれる。例えば図１１に示されるゲーム画面ＳＣには、４つのアイコンＣＮ（ＣＮ１～ＣＮ４）が含まれる。ゲーム画面における複数のアイコンの位置は、ゲーム毎に予め決められている。このため、少なくとも３つのアイコンを認識マーカーとし、撮像画像における各認識マーカーの位置に基づいて、表示領域ＤＰの位置を規定できる。また、撮像部４２の撮像方向は、バレル３１１の延出方向に沿っていることから、撮像部４２による撮像領域ＣＡの中心を、操作装置３Ｂによる照準位置とみなすことができる。
【0045】
図１２は、撮像部４２によって撮像された、ゲーム画面ＳＣを含む撮像画像ＣＰの一例を示す図である。
このため、照準位置決定部４１６は、図１２に示すように、撮像部４２による撮像画像ＣＰから、表示領域ＤＰに表示されたゲーム画面ＳＣにおける４つのアイコンＣＮ１～ＣＮ４を認識マーカーＭＫ１～ＭＫ４として認識し、認識マーカーＭＫ１～ＭＫ４の位置に基づいて、撮像画像ＣＰにおける表示領域ＤＰの座標範囲を決定する。次に、照準位置決定部４１６は、表示領域ＤＰの座標範囲と撮像画像ＣＰ（撮像領域ＣＡ）の中心位置とに基づいて、ゲーム画面ＳＣにおける照準位置ＴＰの座標値を決定する。
なお、信号生成部４１３は、上記のように、照準位置決定部４１６によって決定された表示領域ＤＰにおける照準位置の座標値を示す操作信号を生成する。
また、通信制御部４１４、例えば信号生成部４１３によって生成された操作信号を、通信部３８によって情報処理装置５に送信する。
このため、照準位置決定部４１６は、図１２に示すように、撮像部４２による撮像画像ＣＰから、表示領域ＤＰに表示されたゲーム画面ＳＣにおける４つのアイコンＣＮ１～ＣＮ４を認識マーカーＭＫ１～ＭＫ４として認識し、認識マーカーＭＫ１～ＭＫ４の位置に基づいて、撮像画像ＣＰにおける表示領域ＤＰの座標範囲を決定する。次に、照準位置決定部４１６は、表示領域ＤＰの座標範囲と撮像画像ＣＰ（撮像領域ＣＡ）の中心位置とに基づいて、ゲーム画面ＳＣにおける照準位置ＴＰの座標値を決定する。
なお、信号生成部４１３は、上記のように、照準位置決定部４１６によって決定された表示領域ＤＰにおける照準位置の座標値を示す操作信号を生成する。
また、通信制御部４１４、例えば信号生成部４１３によって生成された操作信号を、通信部３８によって情報処理装置５に送信する。
【0046】
誤差補正部４１７は、操作装置３Ｂの動作モードが、検出部３７による検出結果に基づいて照準位置を決定する第１モードでない場合に機能する。すなわち、誤差補正部４１７は、操作装置３Ｂの動作モードが第２モード又は第３モードである場合に機能する。誤差補正部４１７は、検出部３７が有するジャイロセンサーの誤差、詳しくは、ドリフト誤差を補正する。
【0047】
撮像部４２が単眼カメラである場合には、以下の誤差補正方法が例示される。
第１ステップとして、誤差補正部４１７は、撮像部４２による撮像画像から認識マーカーＭＫ１～ＭＫ４を認識し、表示装置２の表示領域ＤＰと操作装置３Ｂとの相対位置、及び、表示領域ＤＰに対する操作装置３Ｂの姿勢とを算出する。
第２ステップとして、誤差補正部４１７は、検出部３７が有するジャイロセンサー及び加速度センサーによる検出結果に基づいて、表示領域ＤＰと操作装置３Ｂとの相対位置、及び、表示領域ＤＰに対する操作装置３Ｂの姿勢を更新する。
第１ステップとして、誤差補正部４１７は、撮像部４２による撮像画像から認識マーカーＭＫ１～ＭＫ４を認識し、表示装置２の表示領域ＤＰと操作装置３Ｂとの相対位置、及び、表示領域ＤＰに対する操作装置３Ｂの姿勢とを算出する。
第２ステップとして、誤差補正部４１７は、検出部３７が有するジャイロセンサー及び加速度センサーによる検出結果に基づいて、表示領域ＤＰと操作装置３Ｂとの相対位置、及び、表示領域ＤＰに対する操作装置３Ｂの姿勢を更新する。
【0048】
第３ステップとして、誤差補正部４１７は、再度、撮像部４２による撮像画像から認識マーカーＭＫ１～ＭＫ４を認識し、検出部３７が有するジャイロセンサー及び加速度センサーによる検出結果に基づく表示領域ＤＰと操作装置３Ｂとの相対位置、及び、表示領域ＤＰに対する操作装置３Ｂの姿勢と、撮像画像から導かれる表示領域ＤＰと操作装置３Ｂとの相対位置、及び、表示領域ＤＰに対する操作装置３Ｂの姿勢とを統合して、ジャイロセンサーのドリフト誤差を補正する。撮像画像に基づく相対位置及び姿勢と、検出部３７の検出結果に基づく相対位置及び姿勢との統合は、カルマンフィルター等のアルゴリズムを用いてもよい。この場合、ノイズ等の分散を持つジャイロセンサー及び加速度センサーによる検出結果に基づく位置姿勢推定結果と、認識精度等の分散を持つイメージセンサーによる撮像画像から認識される認識マーカーＭＫ１～ＭＫ４に基づく位置姿勢推定結果とに基づいて、２つの分散よりも小さい分散となる位置姿勢推定結果、すなわち、より高い精度の位置姿勢推定結果が算出される。
【0049】
なお、撮像部４２が単眼カメラである場合には、小さい表示領域ＤＰを近くから撮像した場合と、大きい表示領域ＤＰを遠くから撮像した場合との区別ができない。このため、表示領域ＤＰのサイズをユーザーに入力してもらったり、加速度センサーによる検出結果を用いて座標差分と絶対移動量を紐づけたりする等の対応が必要である。
【0050】
撮像部４２が複眼カメラである場合には、例えば、上記した第１～第３ステップに示されるセンサーフュージョン処理を繰り返し実施して、ジャイロセンサーのドリフト誤差を補正する。これに伴い、ＳＬＡＭ（Simultaneous Localization and Mapping）を実行して、表示装置２が配置された空間の地図を作成する。
なお、ＳＬＡＭの実行により、空間内の絶対座標が求められることから、操作装置３Ｂの姿勢が変更される毎に、ジャイロセンサーのドリフト誤差を補正することもできる。
以上、誤差補正部４１７によるジャイロセンサーのドリフト誤差の補正について説明したが、必ずしも上記した補正方法を採用しなくてもよい。例えば、誤差補正部４１７は、ゲームの実行中にジャイロセンサーを定期的にリセットすることによって、ドリフト誤差の累積を抑制してもよい。
なお、ＳＬＡＭの実行により、空間内の絶対座標が求められることから、操作装置３Ｂの姿勢が変更される毎に、ジャイロセンサーのドリフト誤差を補正することもできる。
以上、誤差補正部４１７によるジャイロセンサーのドリフト誤差の補正について説明したが、必ずしも上記した補正方法を採用しなくてもよい。例えば、誤差補正部４１７は、ゲームの実行中にジャイロセンサーを定期的にリセットすることによって、ドリフト誤差の累積を抑制してもよい。
【0051】
［照準操作処理］
図１３は、制御部４１Ｂが実施する照準操作処理を示すフローチャートである。
制御部４１Ｂは、記憶部３９に記憶された照準操作プログラムに基づいて、図１３に示す照準操作処理を実施する。照準操作処理は、第１実施形態において示した照準操作処理と同様に、ユーザーによって操作される操作装置３Ａの照準位置の座標値を決定し、決定された照準位置の座標値を示す操作信号を情報処理装置５に送信することによって、情報処理装置５にて実行されるゲームにおける照準位置を操作する処理である。本実施形態においても照準操作処理は、本開示の操作方法を含む処理である。
図１３は、制御部４１Ｂが実施する照準操作処理を示すフローチャートである。
制御部４１Ｂは、記憶部３９に記憶された照準操作プログラムに基づいて、図１３に示す照準操作処理を実施する。照準操作処理は、第１実施形態において示した照準操作処理と同様に、ユーザーによって操作される操作装置３Ａの照準位置の座標値を決定し、決定された照準位置の座標値を示す操作信号を情報処理装置５に送信することによって、情報処理装置５にて実行されるゲームにおける照準位置を操作する処理である。本実施形態においても照準操作処理は、本開示の操作方法を含む処理である。
【0052】
本実施形態における照準操作処理では、まず、モード切替部４１５が、第２切替操作部４３に対する操作（第２切替操作）が行われたか否かを判定する（ステップＳＢ１）。具体的に、ステップＳＢ１では、モード切替部４１５が、第２切替操作部４３を構成する近接センサーがユーザーを検出しているか否かを判定する。ステップＳＢ１は、第２判定手順に相当する。
ステップＳＢ１の判定処理にて、第２切替操作部４３に対する操作が行われていると判定された場合、すなわち、第２切替操作部４３がユーザーを検出している場合（ステップＳＢ１：ＹＥＳ）、モード切替部４１５は、操作装置３Ｂの動作モードを第３モードに切り替える（第３切替手順）。操作装置３Ｂの動作モードが第３モードである場合、照準位置決定部４１６は、撮像部４２による撮像画像に基づいて照準位置の座標値を決定する（ステップＳＢ２）また、操作装置３Ｂの動作モードが第３モードである場合、制御部４１Ｂは、撮像部４２による撮像画像の少なくとも一部を表示部４４に表示させる表示手順を実施する。
ステップＳＢ２の後、制御部４１Ｂは、処理をステップＳＢ５に移行する。
ステップＳＢ１の判定処理にて、第２切替操作部４３に対する操作が行われていると判定された場合、すなわち、第２切替操作部４３がユーザーを検出している場合（ステップＳＢ１：ＹＥＳ）、モード切替部４１５は、操作装置３Ｂの動作モードを第３モードに切り替える（第３切替手順）。操作装置３Ｂの動作モードが第３モードである場合、照準位置決定部４１６は、撮像部４２による撮像画像に基づいて照準位置の座標値を決定する（ステップＳＢ２）また、操作装置３Ｂの動作モードが第３モードである場合、制御部４１Ｂは、撮像部４２による撮像画像の少なくとも一部を表示部４４に表示させる表示手順を実施する。
ステップＳＢ２の後、制御部４１Ｂは、処理をステップＳＢ５に移行する。
【0053】
ステップＳＢ１の判定処理にて、第２切替操作部４３に対する操作が行われていると判定されない場合、すなわち、第２切替操作部４３がユーザーを検出していない場合（ステップＳＢ１：ＮＯ）、モード切替部４１５は、上記したステップＳＡ１と同様に、第１切替操作部３６が操作されているか否かを判定する（ステップＳＢ３）。ステップＳＢ３は、第１判定手順に相当する。
ステップＳＢ３の判定処理にて、第１切替操作部３６に対する操作が行われていると判定された場合（ステップＳＢ３：ＹＥＳ）、ステップＳＡ３と同様に、モード切替部４１５は、操作装置３Ｂの動作モードを第２モードに切り替える（第１切替手順）。操作装置３Ｂの動作モードが第２モードである場合、照準位置決定部４１６は、照準操作部３２１，３３１に対するユーザーの操作に応じて、表示領域ＤＰにおける照準位置の座標値を決定する（ステップＳＢ４）。ステップＳＢ４の後、制御部４１Ｂは、処理をステップＳＢ５に移行する。
ステップＳＢ３の判定処理にて、第１切替操作部３６に対する操作が行われていると判定された場合（ステップＳＢ３：ＹＥＳ）、ステップＳＡ３と同様に、モード切替部４１５は、操作装置３Ｂの動作モードを第２モードに切り替える（第１切替手順）。操作装置３Ｂの動作モードが第２モードである場合、照準位置決定部４１６は、照準操作部３２１，３３１に対するユーザーの操作に応じて、表示領域ＤＰにおける照準位置の座標値を決定する（ステップＳＢ４）。ステップＳＢ４の後、制御部４１Ｂは、処理をステップＳＢ５に移行する。
【0054】
ステップＳＢ５では、誤差補正部４１７が、検出部３７が有するジャイロセンサーのドリフト誤差を補正する（ステップＳＢ５）。ステップＳＢ５の後、制御部４１Ｂは、処理をステップＳＢ７に移行する。
【0055】
ステップＳＢ３の判定処理にて、第１切替操作部３６に対する操作が行われていないと判定された場合（ステップＳＢ３：ＮＯ）、ステップＳＡ２と同様に、モード切替部４１５は、操作装置３Ｂの動作モードを第１モードとする（第２切替手順）。操作装置３Ｂの動作モードが第１モードである場合、照準位置決定部４１６は、検出部３７によって検出される操作装置３Ｂの動きに基づいて、表示領域ＤＰにおける照準位置の座標値を決定する（ステップＳＢ６）。ステップＳＢ６の後、制御部４１Ｂは、処理をステップＳＢ７に移行する。
【0056】
ステップＳＢ７では、ステップＳＡ４と同様に、信号生成部４１３が、決定された照準位置の座標値を示す操作信号を生成し、通信制御部４１４が、生成された操作信号を通信部３８によって情報処理装置５に送信する（ステップＳＢ７）。ステップＳＢ７の後、制御部４１Ｂは、処理をステップＳＢ１に戻す。
このように、照準操作処理は、制御部４１Ｂによって繰り返し実行され、操作装置３Ｂの姿勢及び向きを変更するユーザーの操作、又は、照準操作部３２１，３３１に対するユーザーの操作に応じた操作信号が、情報処理装置５に送信される。これにより、情報処理装置５は、例えばゲーム画面等の実行時画面における照準位置ＴＰ（図１２参照）を移動させる。
このように、照準操作処理は、制御部４１Ｂによって繰り返し実行され、操作装置３Ｂの姿勢及び向きを変更するユーザーの操作、又は、照準操作部３２１，３３１に対するユーザーの操作に応じた操作信号が、情報処理装置５に送信される。これにより、情報処理装置５は、例えばゲーム画面等の実行時画面における照準位置ＴＰ（図１２参照）を移動させる。
【0057】
［第２実施形態の効果］
以上説明した本実施形態に係る情報処理システムは、第１実施形態に係る情報処理システム１と同様の効果を奏する他、以下の効果を奏する。
操作装置３Ｂは、撮像部４２及び第２切替操作部４３を備える。撮像部４２は、照準位置が設定される領域である表示領域ＤＰを撮像する。第２切替操作部４３は、操作装置３Ｂの動作モードを切り替える操作を受け付ける。モード切替部４１５は、第２切替操作部４３が操作されると、撮像部４２による撮像画像に基づいて照準位置の座標値を決定する第３モードに動作モードを切り替える。モード切替部４１５は、第２切替操作部４３が操作されていないと、第１切替操作部３６に対する操作に応じて、第１モードと第２モードとのうち１つのモードに動作モードを切り替える。
このような構成によれば、撮像部４２による撮像画像に基づいて照準位置が決定されるので、照準位置を精度よく決定できる。
以上説明した本実施形態に係る情報処理システムは、第１実施形態に係る情報処理システム１と同様の効果を奏する他、以下の効果を奏する。
操作装置３Ｂは、撮像部４２及び第２切替操作部４３を備える。撮像部４２は、照準位置が設定される領域である表示領域ＤＰを撮像する。第２切替操作部４３は、操作装置３Ｂの動作モードを切り替える操作を受け付ける。モード切替部４１５は、第２切替操作部４３が操作されると、撮像部４２による撮像画像に基づいて照準位置の座標値を決定する第３モードに動作モードを切り替える。モード切替部４１５は、第２切替操作部４３が操作されていないと、第１切替操作部３６に対する操作に応じて、第１モードと第２モードとのうち１つのモードに動作モードを切り替える。
このような構成によれば、撮像部４２による撮像画像に基づいて照準位置が決定されるので、照準位置を精度よく決定できる。
【0058】
操作装置３Ｂは、撮像部４２による撮像画像の少なくとも一部を表示する表示部４４を備える。
このような構成によれば、ユーザーＵＳが操作装置３Ｂの姿勢及び向きを変化させることによって操作される照準位置を、ユーザーが認識しやすくすることができる。従って、操作装置３Ｂの使い勝手を高めることができる。
このような構成によれば、ユーザーＵＳが操作装置３Ｂの姿勢及び向きを変化させることによって操作される照準位置を、ユーザーが認識しやすくすることができる。従って、操作装置３Ｂの使い勝手を高めることができる。
【0059】
操作装置３Ｂにおいて、第２切替操作部４３は、表示部４４の近傍に設けられ、ユーザーを検出する近接センサーを有する。モード切替部４１５は、第２切替操作部４３によって表示部４４を観察するユーザーの動きが検出されると、第３モードに操作装置３Ｂの動作モードを切り替える。
このような構成によれば、第２切替操作部４３が、ユーザーが表示部４４を覗き込む動作を、ユーザーが銃の照門を覗き込む動作とみなして、操作装置３Ｂの動作モードを、表示部４４に一部が表示される画像を撮像する撮像部４２を用いる第３モードに切り替える操作として認識できる。そして、第２切替操作部４３に対して当該操作が行われた場合に、操作装置の動作モードが第３モードに切り替わることによって、実際の銃を用いる場合と同様に、操作装置３Ｂを操作できる。従って、操作装置３Ｂの使い勝手を高めることができる。
このような構成によれば、第２切替操作部４３が、ユーザーが表示部４４を覗き込む動作を、ユーザーが銃の照門を覗き込む動作とみなして、操作装置３Ｂの動作モードを、表示部４４に一部が表示される画像を撮像する撮像部４２を用いる第３モードに切り替える操作として認識できる。そして、第２切替操作部４３に対して当該操作が行われた場合に、操作装置の動作モードが第３モードに切り替わることによって、実際の銃を用いる場合と同様に、操作装置３Ｂを操作できる。従って、操作装置３Ｂの使い勝手を高めることができる。
【0060】
操作装置３Ｂは、操作装置３Ｂの外装を構成する銃型の筐体３１を備える。撮像部４２は、筐体３１におけるバレル３１１に、撮像部４２による撮像方向（Ｄ３方向）がバレル３１１の延出方向（Ｄ１方向）に沿うように設けられている。
このような構成によれば、撮像部４２による撮像画像に基づいて決定される照準位置と、操作装置３Ｂの形状に応じてユーザーが認識する照準位置とを合わせやすくすることができる。すなわち、照準位置を移動させるときの操作装置３Ｂに対するユーザーの操作を直感的に実施しやすくすることができる。従って、操作装置３Ｂの使い勝手を高めることができる。
このような構成によれば、撮像部４２による撮像画像に基づいて決定される照準位置と、操作装置３Ｂの形状に応じてユーザーが認識する照準位置とを合わせやすくすることができる。すなわち、照準位置を移動させるときの操作装置３Ｂに対するユーザーの操作を直感的に実施しやすくすることができる。従って、操作装置３Ｂの使い勝手を高めることができる。
【0061】
操作装置３Ｂは、操作装置３Ｂの動作モードが第１モードでないときに、検出部３７が有するジャイロセンサーの誤差を補正する誤差補正部４１７を備える。
このような構成によれば、操作装置３Ｂの動作モードが、検出部３７による検出結果に基づいて照準位置の座標値を決定する第２モードでない場合に、誤差補正部４１７によって、検出部３７が有するジャイロセンサーのドリフト誤差を補正できる。従って、操作装置３Ｂの動作モードが第２モードである場合に、照準位置の座標値を精度よく決定できる。
このような構成によれば、操作装置３Ｂの動作モードが、検出部３７による検出結果に基づいて照準位置の座標値を決定する第２モードでない場合に、誤差補正部４１７によって、検出部３７が有するジャイロセンサーのドリフト誤差を補正できる。従って、操作装置３Ｂの動作モードが第２モードである場合に、照準位置の座標値を精度よく決定できる。
【0062】
［実施形態の変形］
本開示は、上記各実施形態に限定されるものではなく、本開示の目的を達成できる範囲での変形及び改良等は、本開示に含まれるものである。
上記各実施形態では、照準位置決定部４１２，４１６は、表示装置２の表示領域ＤＰにおける照準位置の座標値を決定するとした。しかしながら、これに限らず、照準位置決定部４１２，４１６は、表示領域ＤＰにおける照準位置の座標値に代えて、表示領域ＤＰを複数の領域に分割したときの領域番号を決定してもよい。すなわち、表示領域ＤＰにおける照準位置が一意に決定されるのであれば、照準位置を示す情報は、どのような情報であってもよい。
本開示は、上記各実施形態に限定されるものではなく、本開示の目的を達成できる範囲での変形及び改良等は、本開示に含まれるものである。
上記各実施形態では、照準位置決定部４１２，４１６は、表示装置２の表示領域ＤＰにおける照準位置の座標値を決定するとした。しかしながら、これに限らず、照準位置決定部４１２，４１６は、表示領域ＤＰにおける照準位置の座標値に代えて、表示領域ＤＰを複数の領域に分割したときの領域番号を決定してもよい。すなわち、表示領域ＤＰにおける照準位置が一意に決定されるのであれば、照準位置を示す情報は、どのような情報であってもよい。
【0063】
上記各実施形態では、第１切替操作部３６は、グリップ３１２を握る手の親指にて操作可能なボタンであるとした。しかしながら、これに限らず、第１切替操作部３６は、ユーザーによって操作可能な操作手段であればよく、例えばタッチセンサーであってもよく、スイッチであってもよい。また、第１切替操作部３６の位置は、適宜変更可能である。例えば、第１切替操作部３６は、第１操作部３２に設けられていてもよい。
また、モード切替部４１１，４１５は、第１切替操作部３６が操作されている場合に、操作装置３Ａ，３Ｂの動作モードを第２モードに切り替えるとした。しかしながら、第１切替操作部３６が操作され続けている間、第２モードに切り替える構成に限らず、第１切替操作部３６が操作される毎に、第１モードと第２モードとで動作モードを切り替えてもよい。一方、モード切替部４１１，４１５は、第１切替操作部３６が操作されている場合に、操作装置３Ａ，３Ｂの動作モードを第２モードに切り替える構成に限らず、第１モードに切り替えてもよい。
更に、操作装置３Ｂにおいて、第１切替操作部３６は無くてもよい。この場合、第２切替操作部４３に対する切替操作が行われていない場合、モード切替部４１５は、第１モード及び第２モードのうち一方のモードに操作装置３Ｂの動作モードを切り替えてもよい。
また、モード切替部４１１，４１５は、第１切替操作部３６が操作されている場合に、操作装置３Ａ，３Ｂの動作モードを第２モードに切り替えるとした。しかしながら、第１切替操作部３６が操作され続けている間、第２モードに切り替える構成に限らず、第１切替操作部３６が操作される毎に、第１モードと第２モードとで動作モードを切り替えてもよい。一方、モード切替部４１１，４１５は、第１切替操作部３６が操作されている場合に、操作装置３Ａ，３Ｂの動作モードを第２モードに切り替える構成に限らず、第１モードに切り替えてもよい。
更に、操作装置３Ｂにおいて、第１切替操作部３６は無くてもよい。この場合、第２切替操作部４３に対する切替操作が行われていない場合、モード切替部４１５は、第１モード及び第２モードのうち一方のモードに操作装置３Ｂの動作モードを切り替えてもよい。
【0064】
上記各実施形態では、照準操作部３２１は、アナログスティックであるとした。上記第２実施形態では、照準操作部３３１は、アナログスティックであるとした。しかしながら、これに限らず、照準操作部３２１，３３１は、方向キー３２２等、他の操作子であってもよい。
【0065】
上記各実施形態では、検出部３７は、３軸の加速度を検出する加速度センサーと、３軸の角速度を検出するジャイロセンサーとを有するとした。しかしながら、これに限らず、操作装置３Ａ，３Ｂの動きを検出可能であれば、他のセンサーを備える構成としてもよく、加速度センサー及びジャイロセンサーのうち一方は無くてもよい。
【0066】
上記第２実施形態では、第２切替操作部４３は、近接センサーを有するとした。しかしながら、これに限らず、第２切替操作部４３は、例えばボタン等の操作子であってもよく、３つのスライド位置にスライド可能なスライドスイッチであってもよい。また、第２切替操作部４３の配置位置も、適宜変更可能である。
また、モード切替部４１５は、第２切替操作部４３の近接センサーがユーザーを検出し続けている間、操作装置３Ｂの動作モードを第３モードに維持するとした。しかしながら、これに限らず、近接センサーがユーザーを検出すると、第３モードに切り替えてもよい。また、近接センサーはユーザーを検出すればよく、近接センサーが検出するユーザーの動きは、表示部４４を観察するユーザーの動きに限らない。
また、モード切替部４１５は、第２切替操作部４３の近接センサーがユーザーを検出し続けている間、操作装置３Ｂの動作モードを第３モードに維持するとした。しかしながら、これに限らず、近接センサーがユーザーを検出すると、第３モードに切り替えてもよい。また、近接センサーはユーザーを検出すればよく、近接センサーが検出するユーザーの動きは、表示部４４を観察するユーザーの動きに限らない。
【0067】
上記第２実施形態では、モード切替部４１５は、ユーザーの切替操作に応じて、第１モード、第２モード及び第３モードのうち１つの動作モードに、操作装置３Ｂの動作モードを切り替えるとした。しかしながら、これに限らず、モード切替部４１５は、ユーザーの切替操作に応じて、第１モードと第３モードとのうち１つの動作モードに、操作装置３Ｂの動作モードを切り替えてもよく、或いは、第２モードと第３モードとのうち１つの動作モードに、操作装置３Ｂの動作モードを切り替えてもよい。すなわち、操作装置３Ｂの動作モードは、第１モード及び第２モードのうち一方の動作モードを含まなくてもよい。
【0068】
上記第２実施形態では、操作装置３Ｂは、撮像部４２による撮像画像の少なくとも一部を表示する表示部４４を備えるとした。しかしながら、これに限らず、表示部４４は無くてもよい。また、上記のように、表示部４４は、撮像画像の全体を表示してもよい。
【0069】
上記第２実施形態では、撮像部４２は、筐体３１のバレル３１１におけるＤ１方向の先端部に、撮像方向とバレル３１１の延出方向とが平行となるように設けられるとした。しかしながら、これに限らず、撮像方向とバレル３１１の延出方向とが平行となるように設けられれば、撮像部４２の配置位置は、適宜変更可能である。例えば、バレル３１１におけるＤ１方向とは反対方向の位置に設けられてもよく、グリップ３１２、フォアグリップ３１３又はブリッジ３１４に設けられてもよい。
また、筐体３１は、銃型の形状を有するとした。しかしながら、これに限らず、筐体３１の形状は、銃型に限らず、他の形状であってもよい。
また、筐体３１は、銃型の形状を有するとした。しかしながら、これに限らず、筐体３１の形状は、銃型に限らず、他の形状であってもよい。
【0070】
上記第２実施形態では、制御部４１Ｂは、操作装置３Ｂの動作モードが、検出部３７の検出結果に基づいて照準位置の座標値を決定する第１モードでない場合、すなわち、第２モード又は第３モードである場合に、検出部３７が有するジャイロセンサーのドリフト誤差を補正する誤差補正部４１７を有するとした。しかしながら、これに限らず、誤差補正部４１７は無くてもよい。また、上記のように、誤差補正部４１７によるドリフト誤差の補正方法は、上記に限定されず、他の補正方法が採用されてもよい。
【0071】
上記各実施形態では、信号生成部４１３は、決定された照準位置の座標値を示す操作信号を生成し、送信部としての通信部３８は、生成された操作信号を情報処理装置５に送信するとした。しかしながら、これに限らず、例えば、操作装置３Ａ，３Ｂだけでゲーム等の処理を実行可能であれば、必ずしも操作信号を外部に送信しなくてもよい。この場合、ゲーム画面等の実行時画面は、表示部４４に表示される構成としてもよい。また、この場合、表示装置２及び情報処理装置５は、無くてもよい。
【0072】
上記各実施形態では、情報処理装置５が、操作装置３Ａ，３Ｂから受信される操作信号に基づいてゲーム等の処理を実行するとした。しかしながら、これに限らず、情報処理装置５は、ネットワークを介してサーバーに接続され、サーバーが、情報処理装置５から受信される操作信号に基づいてゲーム等の処理を進行させ、情報処理装置５が、サーバーから受信されたゲーム画面等の実行時画面を表示装置２に表示させてもよい。
【0073】
上記各実施形態では、制御部４１Ａ，４１Ｂが実施する照準操作処理は、記憶部３９に記憶された照準操作プログラムに基づいて実行されるとした。このような照準操作プログラムは、コンピューター読取可能に記録媒体に記録されていてもよい。このような記録媒体から、操作装置が照準操作プログラムを読み取って実行することで、上記した操作装置３Ａ，３Ｂと同様の効果を奏することが可能となる。このような記録媒体としては、ディスク型記録媒体であってもよく、半導体記憶装置であってもよい。この他、照準操作プログラムは、ネットワークを介して提供されてもよい。
【0074】
上記各実施形態では、筐体３１のバレル３１１、グリップ３１２、フォアグリップ３１３及びブリッジ３１４は、互いに接続されていた。しかしながら、これに限らず、バレル３１１、グリップ３１２、フォアグリップ３１３及びブリッジ３１４のうちの少なくとも１つの部位は、筐体３１に対して脱離可能に装着されていてもよい。この場合、当該部位は、機能が異なる複数の装着体から選択されたものであってもよい。すなわち、操作装置は、操作装置の機能拡張又は形状変更のために、所定の機能を有する装着体が筐体に選択的に装着される構成としてもよい。
【0075】
［本開示のまとめ］
以下、本開示のまとめを付記する。
［１］本開示の第１態様に係る操作装置は、ユーザーによる操作に応じて照準位置を操作する操作装置であって、前記操作装置の動作モードを切り替える操作を受け付ける第１切替操作部と、前記操作装置の動きを検出する検出部と、前記ユーザーの操作に応じて前記照準位置を操作する照準操作部と、前記第１切替操作部に対する操作に応じて、前記検出部によって検出された前記操作装置の動きに基づいて前記照準位置を決定する第１モードと、前記照準操作部に対する操作に応じて前記照準位置を決定する第２モードとのうち１つのモードに前記動作モードを切り替えるモード切替部と、を備える。
以下、本開示のまとめを付記する。
［１］本開示の第１態様に係る操作装置は、ユーザーによる操作に応じて照準位置を操作する操作装置であって、前記操作装置の動作モードを切り替える操作を受け付ける第１切替操作部と、前記操作装置の動きを検出する検出部と、前記ユーザーの操作に応じて前記照準位置を操作する照準操作部と、前記第１切替操作部に対する操作に応じて、前記検出部によって検出された前記操作装置の動きに基づいて前記照準位置を決定する第１モードと、前記照準操作部に対する操作に応じて前記照準位置を決定する第２モードとのうち１つのモードに前記動作モードを切り替えるモード切替部と、を備える。
【0076】
このような構成によれば、検出部によって検出される操作装置の動きに基づいて照準位置を決定できる他、照準操作部に対する操作に応じて照準位置を決定できる。これにより、操作装置を撮像して、操作装置の姿勢、及び、操作装置と表示装置との相対的な向きを取得するための撮像装置を設ける必要がない。従って、複雑な構成及び操作を要することなく照準位置を決定できる。そして、決定された照準位置を示す操作信号を操作装置が送信することによって、操作信号を受信した情報処理装置において、操作された照準位置を把握できる。
【0077】
［２］［１］において、前記動作モードを切り替える操作を受け付ける第２切替操作部と、前記照準位置が設定される領域を撮像する撮像部と、を備え、前記モード切替部は、前記第２切替操作部が操作されると、前記撮像部による撮像画像に基づいて前記照準位置を決定する第３モードに前記動作モードを切り替え、前記第２切替操作部が操作されていないと、前記第１切替操作部に対する操作に応じて、前記第１モードと前記第２モードとのうち１つのモードに前記動作モードを切り替えてもよい。
このような構成によれば、撮像部による撮像画像に基づいて照準位置が決定されるので、照準位置を精度よく決定できる。
このような構成によれば、撮像部による撮像画像に基づいて照準位置が決定されるので、照準位置を精度よく決定できる。
【0078】
［３］［２］に記載の操作装置において、前記撮像部による撮像画像の少なくとも一部を表示する表示部を備えていてもよい。
このような構成によれば、ユーザーが操作装置の姿勢を変化させることによって操作される照準位置を、ユーザーが認識しやすくすることができる。従って、操作装置の使い勝手を高めることができる。
このような構成によれば、ユーザーが操作装置の姿勢を変化させることによって操作される照準位置を、ユーザーが認識しやすくすることができる。従って、操作装置の使い勝手を高めることができる。
【0079】
［４］［３］に記載の操作装置において、前記第２切替操作部は、前記表示部の近傍に設けられ、前記ユーザーを検出する近接センサーを有し、前記モード切替部は、前記第２切替操作部によって前記表示部を観察する前記ユーザーの動きが検出されると、前記第３モードに前記動作モードを切り替えてもよい。
このような構成によれば、第２切替操作部が、ユーザーが表示部を覗き込む動作を、ユーザーが銃の照門を覗き込む動作とみなして、操作装置の動作モードを、表示部に一部が表示される画像を撮像する撮像部を用いる第３モードに切り替える操作として認識できる。そして、第２切替操作部に対して当該操作が行われた場合に、撮像部による撮像画像に基づいて照準位置を決定する第３モードに操作装置の動作モードが切り替わることによって、実際の銃を用いる場合と同様に、操作装置を操作できる。従って、操作装置の使い勝手を高めることができる。
このような構成によれば、第２切替操作部が、ユーザーが表示部を覗き込む動作を、ユーザーが銃の照門を覗き込む動作とみなして、操作装置の動作モードを、表示部に一部が表示される画像を撮像する撮像部を用いる第３モードに切り替える操作として認識できる。そして、第２切替操作部に対して当該操作が行われた場合に、撮像部による撮像画像に基づいて照準位置を決定する第３モードに操作装置の動作モードが切り替わることによって、実際の銃を用いる場合と同様に、操作装置を操作できる。従って、操作装置の使い勝手を高めることができる。
【0080】
［５］［２］から［４］のいずれか１つに記載の操作装置において、前記操作装置の外装を構成する銃型の筐体を備え、前記撮像部は、前記筐体におけるバレルに、前記撮像部による撮像方向が前記バレルの延出方向に沿うように設けられていてもよい。
このような構成によれば、撮像方向が筐体のバレルの延出方向に沿うように、撮像部がバレルに設けられていることにより、撮像部による撮像画像に基づいて決定される照準位置と、操作装置の形状に応じてユーザーが認識する照準位置とを合わせやすくすることができる。すなわち、照準位置を移動させるときの操作装置に対するユーザーの操作を直感的に実施しやすくすることができる。従って、操作装置の使い勝手を高めることができる。
このような構成によれば、撮像方向が筐体のバレルの延出方向に沿うように、撮像部がバレルに設けられていることにより、撮像部による撮像画像に基づいて決定される照準位置と、操作装置の形状に応じてユーザーが認識する照準位置とを合わせやすくすることができる。すなわち、照準位置を移動させるときの操作装置に対するユーザーの操作を直感的に実施しやすくすることができる。従って、操作装置の使い勝手を高めることができる。
【0081】
［６］［２］から［５］のいずれか１つに記載の操作装置において、前記動作モードが前記第１モードでないときに、前記検出部が有するジャイロセンサーの誤差を補正する誤差補正部を備えていてもよい。
このような構成によれば、操作装置の動作モードが、検出部による検出結果に基づいて照準位置を決定する第２モードでない場合に、誤差補正部によって、検出部が有するジャイロセンサーの誤差、例えば、ドリフト誤差を補正できる。従って、操作装置の動作モードが第２モードである場合に、照準位置を精度よく決定できる。
このような構成によれば、操作装置の動作モードが、検出部による検出結果に基づいて照準位置を決定する第２モードでない場合に、誤差補正部によって、検出部が有するジャイロセンサーの誤差、例えば、ドリフト誤差を補正できる。従って、操作装置の動作モードが第２モードである場合に、照準位置を精度よく決定できる。
【0082】
［７］［１］から［６］のいずれか１つに記載の操作装置において、決定された前記照準位置の座標値を示す信号を生成する信号生成部と、前記信号生成部によって生成された信号を送信する送信部と、を備えていてもよい。
このような構成によれば、送信された信号を受信することによって、操作装置とは異なる外部機器が、操作装置によって操作される照準位置を把握できる。
このような構成によれば、送信された信号を受信することによって、操作装置とは異なる外部機器が、操作装置によって操作される照準位置を把握できる。
【0083】
［８］本開示の第２態様に係る操作システムは、［１］から［７］のいずれか１つに記載の操作装置と、前記操作装置によって操作される情報処理装置と、を備える。
このような構成によれば、上記した操作装置と同様の効果を奏することができる。
このような構成によれば、上記した操作装置と同様の効果を奏することができる。
【0084】
［９］［８］に記載の操作システムにおいて、前記情報処理装置によって生成され、かつ、前記操作装置によって前記照準位置が操作される画面を表示する表示装置を備えていてもよい。
このような構成によれば、照準位置が操作される表示装置は、情報処理装置によって生成された画像を表示するので、例えば操作装置にて決定された照準位置を情報処理装置が取得することによって、照準位置を示す照準マーカーを表示装置に表示させることができる。従って、操作システムの汎用性を高めることができる。
このような構成によれば、照準位置が操作される表示装置は、情報処理装置によって生成された画像を表示するので、例えば操作装置にて決定された照準位置を情報処理装置が取得することによって、照準位置を示す照準マーカーを表示装置に表示させることができる。従って、操作システムの汎用性を高めることができる。
【0085】
［１０］本開示の第３態様に係る操作方法は、照準位置を操作する操作装置にて実施される操作方法であって、前記操作装置の動作モードを切り替える第１切替操作が行われたか否かを判定する第１判定手順と、前記第１判定手順にて、前記第１切替操作が行われたと判定されると、前記操作装置の動きに基づいて前記照準位置を決定する第１モードと、前記操作装置に設けられた照準操作部に対するユーザーの操作に応じて前記照準位置を決定する第２モードとのうち、一方のモードに前記操作装置の動作モードを切り替える第１切替手順と、前記第１判定手順にて、前記第１切替操作が行われていないと判定されると、前記第１モード及び前記第２モードのうち、他方のモードに前記操作装置の動作モードを切り替える第２切替手順と、を含む。
このような構成によれば、上記した［１］に記載の操作装置と同様の効果を奏することができる。
このような構成によれば、上記した［１］に記載の操作装置と同様の効果を奏することができる。
【0086】
［１１］［１０］に記載の操作方法において、前記操作装置の動作モードを切り替える第２切替操作が行われたか否かを判定する第２判定手順と、前記第２判定手順にて、前記第２切替操作が行われたと判定されると、前記操作装置に設けられた撮像部による撮像画像に基づいて前記照準位置を決定する第３モードに、前記操作装置の動作モードを切り替える第３切替手順と、を含み、前記第２判定手順にて、前記第２切替操作が行われていないと判定されると、前記第１判定手順を実施してもよい。
このような構成によれば、上記した［２］に記載の操作装置と同様の効果を奏することができる。
このような構成によれば、上記した［２］に記載の操作装置と同様の効果を奏することができる。
【0087】
［１２］［１１］に記載の操作方法において、前記第３モードに前記操作装置の動作モードが切り替えられると、前記撮像部による撮像画像の少なくとも一部を前記操作装置に設けられた表示部に表示させる表示手順を含んでもよい。
このような構成によれば、上記した［３］に記載の操作装置と同様の効果を奏することができる。
このような構成によれば、上記した［３］に記載の操作装置と同様の効果を奏することができる。
【符号の説明】
【0088】
１…情報処理システム（操作システム）、２…表示装置、３Ａ，３Ｂ…操作装置、３１…筐体、３１１…バレル、３１２…グリップ、３１３…フォアグリップ、３１４…ブリッジ、３２１，３３１…照準操作部、３６…第１切替操作部、３７…検出部、３８…通信部（送信部）、４１Ａ，４１Ｂ…制御部、４１１，４１５…モード切替部、４１２，４１６…照準位置決定部、４１３…信号生成部、４１４…通信制御部、４１７…誤差補正部、４２…撮像部、４３…第２切替操作部、４４…表示部、５…情報処理装置、ＳＡ１，ＳＢ３…ステップ（第１判定手順）、ＳＡ２，ＳＢ６…ステップ（第２モード切替手順）、ＳＡ３，ＳＢ４…ステップ（第１モード切替手順）、ＳＢ１…ステップ（第２判定手順）、ＳＢ２…ステップ（第３モード切替手順）。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】