特許第6042154号(P6042154)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

▶ 任天堂株式会社の特許一覧
特許6042154操作装置、情報処理システム、および通信方法
<>
  • 特許6042154-操作装置、情報処理システム、および通信方法 図000002
  • 特許6042154-操作装置、情報処理システム、および通信方法 図000003
  • 特許6042154-操作装置、情報処理システム、および通信方法 図000004
  • 特許6042154-操作装置、情報処理システム、および通信方法 図000005
  • 特許6042154-操作装置、情報処理システム、および通信方法 図000006
  • 特許6042154-操作装置、情報処理システム、および通信方法 図000007
  • 特許6042154-操作装置、情報処理システム、および通信方法 図000008
  • 特許6042154-操作装置、情報処理システム、および通信方法 図000009
  • 特許6042154-操作装置、情報処理システム、および通信方法 図000010
  • 特許6042154-操作装置、情報処理システム、および通信方法 図000011
  • 特許6042154-操作装置、情報処理システム、および通信方法 図000012
  • 特許6042154-操作装置、情報処理システム、および通信方法 図000013
  • 特許6042154-操作装置、情報処理システム、および通信方法 図000014
  • 特許6042154-操作装置、情報処理システム、および通信方法 図000015
  • 特許6042154-操作装置、情報処理システム、および通信方法 図000016
  • 特許6042154-操作装置、情報処理システム、および通信方法 図000017
  • 特許6042154-操作装置、情報処理システム、および通信方法 図000018
  • 特許6042154-操作装置、情報処理システム、および通信方法 図000019
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6042154
(24)【登録日】2016年11月18日
(45)【発行日】2016年12月14日
(54)【発明の名称】操作装置、情報処理システム、および通信方法
(51)【国際特許分類】
   G06F 13/00 20060101AFI20161206BHJP
【FI】
   G06F13/00 520A
【請求項の数】47
【全頁数】77
(21)【出願番号】特願2012-212309(P2012-212309)
(22)【出願日】2012年9月26日
(62)【分割の表示】特願2012-541670(P2012-541670)の分割
【原出願日】2012年5月25日
(65)【公開番号】特開2013-246814(P2013-246814A)
(43)【公開日】2013年12月9日
【審査請求日】2015年4月28日
(73)【特許権者】
【識別番号】000233778
【氏名又は名称】任天堂株式会社
【住所又は居所】京都府京都市南区上鳥羽鉾立町11番地1
(74)【代理人】
【識別番号】100158780
【弁理士】
【氏名又は名称】寺本 亮
(74)【代理人】
【識別番号】100121359
【弁理士】
【氏名又は名称】小沢 昌弘
(74)【代理人】
【識別番号】100130269
【弁理士】
【氏名又は名称】石原 盛規
(72)【発明者】
【氏名】伊藤 邦朗
【住所又は居所】京都府京都市南区上鳥羽鉾立町11番地1 任天堂株式会社内
(72)【発明者】
【氏名】下畠 康幸
【住所又は居所】京都府京都市南区上鳥羽鉾立町11番地1 任天堂株式会社内
(72)【発明者】
【氏名】上木 淳平
【住所又は居所】京都府京都市南区上鳥羽鉾立町11番地1 任天堂株式会社内
【審査官】 新田 亮
(56)【参考文献】
【文献】 特開2012−096005(JP,A)
【文献】 特開2005−039764(JP,A)
【文献】 特開2000−295206(JP,A)
【文献】 特開2004−329300(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06F 13/00
(57)【特許請求の範囲】
【請求項1】
情報処理装置と無線通信可能な操作装置であって、
カメラと、
前記操作装置に対する操作に基づいて操作データを生成する生成部と、
前記カメラによって生成されるカメラ画像データを所定の頻度で前記情報処理装置へ送信し、1画像分の前記カメラ画像データを送信する頻度の整数倍の頻度で前記操作データを送信する通信部とを備える、操作装置。
【請求項2】
情報処理装置と無線通信可能な操作装置であって、
前記操作装置に対する操作に基づいて操作データを生成する生成部と、
前記情報処理装置とは異なる他の外部装置との通信を行う拡張通信部と、
前記外部装置との通信における管理情報を表す通信管理データを前記操作データとともに所定の頻度で前記情報処理装置へ送信する通信部とを備え、
前記通信部は、送信機会が相対的に多い第1の種類のデータと、送信機会が相対的に少ない第2の種類のデータとを前記情報処理装置へ送信可能であり、前記通信管理データおよび前記操作データを、前記第1の種類のデータとして前記情報処理装置へ送信し、前記外部装置から受信したデータを、前記第2の種類のデータとして前記情報処理装置へ送信する、操作装置。
【請求項3】
情報処理装置と無線通信可能な操作装置であって、
カメラと、
前記操作装置に対する操作に基づいて操作データを生成する生成部と、
前記情報処理装置から送信される同期信号に基づくタイミングで送信される1画像分の画像データを前記情報処理装置から第1頻度で受信し、前記情報処理装置から送信されてくる前記同期信号に基づくタイミングでかつ前記第1頻度の整数倍の第2頻度で前記情報処理装置へ前記操作データを送信し、前記カメラによる1画像分のカメラ画像データを前記第1頻度の1/n(nは自然数)の第3頻度で前記情報処理装置へ送信する通信部と、
前記画像データに基づいて画像を表示する表示部とを備える、操作装置。
【請求項4】
前記通信部は、前記情報処理装置において前記操作データに基づいた処理によって生成される画像データであって1画像分の画像データを前記情報処理装置から第1頻度で受信し、前記第1頻度よりも高い第2頻度で前記情報処理装置へ前記操作データを送信する、請求項または請求項に記載の操作装置。
【請求項5】
前記通信部は、前記画像データを受信する頻度の整数倍の頻度で前記操作データを送信する、請求項4に記載の操作装置。
【請求項6】
前記情報処理装置は、同期信号を前記操作装置へ送信し、当該同期信号に基づくタイミングで前記画像データを送信し、
前記通信部は、前記情報処理装置から送信されてくる前記同期信号に基づくタイミングで前記操作データを送信する、請求項4に記載の操作装置。
【請求項7】
前記表示部は、前記同期信号に基づくタイミングで、かつ、前記第1頻度で前記画像データを更新して表示する、請求項に記載の操作装置。
【請求項8】
前記表示部は、前記同期信号を受信してから、前記第1頻度の間隔よりも短い時間内に、当該同期信号に基づくタイミングで送信された前記画像データの描画を開始する、請求項に記載の操作装置。
【請求項9】
前記通信部は、前記同期信号とは独立したタイミングで前記情報処理装置から音声データを受信する、請求項に記載の操作装置。
【請求項10】
前記操作装置は、マイクをさらに備え、
前記通信部は、前記マイクによる音声データを、前記同期信号とは独立したタイミングで前記情報処理装置へ送信する、請求項に記載の操作装置。
【請求項11】
前記操作装置は、カメラをさらに備え、
前記通信部は、前記カメラによって生成される1画像分のカメラ画像データを前記第1頻度よりも低い頻度で前記情報処理装置へ送信する、請求項2に記載の操作装置。
【請求項12】
前記通信部は、前記第1頻度よりも高くかつ前記第2頻度よりも低い頻度で1パケット分の音声データを前記情報処理装置から受信する、請求項3または請求項4に記載の操作装置。
【請求項13】
前記操作装置は、マイクをさらに備え、
前記通信部は、前記第1頻度よりも高くかつ前記第2頻度よりも低い頻度で、前記マイクによって生成される1パケット分の音声データを前記情報処理装置へ送信する、請求項3または請求項4に記載の操作装置。
【請求項14】
前記通信部は、送信の度に新しく生成される操作データを送信する、請求項1から請求項のいずれか1項に記載の操作装置。
【請求項15】
タッチパネル、加速度センサ、およびジャイロセンサのうち少なくとも1つを含むセンサ部をさらに備え、
前記生成部は、前記センサ部の出力に基づくデータを含む操作データを生成する、請求項1から請求項のいずれか1項に記載の操作装置。
【請求項16】
前記情報処理装置とは異なる他の外部装置との通信を行う拡張通信部をさらに備え、
前記通信部は、前記外部装置との通信における管理情報を表す通信管理データを前記操作データとともに前記情報処理装置へ送信する、請求項1または請求項3に記載の操作装置。
【請求項17】
前記通信部は、送信機会が相対的に多い第1の種類のデータと、送信機会が相対的に少ない第2の種類のデータとを前記情報処理装置へ送信可能であり、前記通信管理データおよび前記操作データを、前記第1の種類のデータとして前記情報処理装置へ送信し、前記外部装置から受信したデータを、前記第2の種類のデータとして前記情報処理装置へ送信する、請求項16に記載の操作装置。
【請求項18】
前記通信部は、前記第2の種類のデータの送信よりも前記第1の種類のデータの送信を優先し、かつ、前記情報処理装置から送信されてくる画像データの受信を前記第1の種類のデータの送信よりも優先する無線通信方法を用いて前記情報処理装置との通信を行う、請求項または請求項17に記載の操作装置。
【請求項19】
情報処理装置と、当該情報処理装置と無線通信可能な操作装置とを含む情報処理システムであって、
前記操作装置は、
カメラと、
前記操作装置に対する操作に基づいて操作データを生成する生成部と、
前記カメラによって生成されるカメラ画像データを所定の頻度で前記情報処理装置へ送信し、1画像分の前記カメラ画像データを送信する頻度の整数倍の頻度で前記操作データを送信する通信部とを備え、
前記情報処理装置は、前記操作データと前記カメラ画像データとを受信する、情報処理システム。
【請求項20】
情報処理装置と、当該情報処理装置と無線通信可能な操作装置とを含む情報処理システムであって、
前記操作装置は、
前記操作装置に対する操作に基づいて操作データを生成する生成部と、
前記情報処理装置とは異なる他の外部装置との通信を行う拡張通信部と、
前記外部装置との通信における管理情報を表す通信管理データを前記操作データとともに所定の頻度で前記情報処理装置へ送信する通信部とを備え、
前記情報処理装置は、前記操作データと前記通信管理データとを受信し、
前記通信部は、送信機会が相対的に多い第1の種類のデータと、送信機会が相対的に少ない第2の種類のデータとを前記情報処理装置へ送信可能であり、前記通信管理データおよび前記操作データを、前記第1の種類のデータとして前記情報処理装置へ送信し、前記外部装置から受信したデータを、前記第2の種類のデータとして前記情報処理装置へ送信する、情報処理システム。
【請求項21】
情報処理装置と、当該情報処理装置と無線通信可能な操作装置とを含む情報処理システムであって、
前記情報処理装置は、前記操作装置からの操作データに基づいた処理によって前記画像データを生成して前記操作装置へ送信し、
前記操作装置は、
前記操作装置に対する操作に基づいて前記操作データを生成する生成部と、
カメラと、
前記情報処理装置から送信される同期信号に基づくタイミングで送信される1画像分の画像データを前記情報処理装置から第1頻度で受信し、前記情報処理装置から送信されてくる前記同期信号に基づくタイミングでかつ前記第1頻度の整数倍の第2頻度で前記情報処理装置へ前記操作データを送信し、前記カメラによる1画像分のカメラ画像データを前記第1頻度の1/n(nは自然数)の第3頻度で前記情報処理装置へ送信する通信部と、
前記画像データに基づいて画像を表示する表示部とを備え、
前記情報処理装置は、前記操作データと前記カメラ画像データとを前記操作装置から受信する、情報処理システム。
【請求項22】
前記通信部は、前記情報処理装置において前記操作データに基づいた処理によって生成される画像データであって1画像分の画像データを前記情報処理装置から第1頻度で受信し、前記第1頻度よりも高い第2頻度で前記情報処理装置へ前記操作データを送信する、請求項19または請求項20に記載の情報処理システム。
【請求項23】
前記通信部は、前記画像データを受信する頻度の整数倍の頻度で前記操作データを送信する、請求項22に記載の情報処理システム。
【請求項24】
前記情報処理装置は、同期信号を前記操作装置へ送信し、当該同期信号に基づくタイミングで前記画像データを送信し、
前記通信部は、前記情報処理装置から送信されてくる前記同期信号に基づくタイミングで前記操作データを送信する、請求項22に記載の情報処理システム。
【請求項25】
前記表示部は、前記同期信号に基づくタイミングで、かつ、前記第1頻度で前記画像データを更新して表示する、請求項24に記載の情報処理システム。
【請求項26】
前記表示部は、前記同期信号を受信してから、前記第1頻度の間隔よりも短い時間内に、当該同期信号に基づくタイミングで送信された前記画像データの描画を開始する、請求項25に記載の情報処理システム。
【請求項27】
前記情報処理装置とは異なる他の外部装置との通信を行う拡張通信部をさらに備え、
前記通信部は、前記外部装置との通信における管理情報を表す通信管理データを前記操作データとともに前記情報処理装置へ送信し、
前記情報処理装置は、前記操作データと前記通信管理データとを受信する、請求項19または請求項21に記載の情報処理システム。
【請求項28】
前記通信部は、送信機会が相対的に多い第1の種類のデータと、送信機会が相対的に少ない第2の種類のデータとを前記情報処理装置へ送信可能であり、前記通信管理データおよび前記操作データを、前記第1の種類のデータとして前記情報処理装置へ送信し、前記外部装置から受信したデータを、前記第2の種類のデータとして前記情報処理装置へ送信する、請求項27に記載の情報処理システム。
【請求項29】
前記通信部は、前記第2の種類のデータの送信よりも前記第1の種類のデータの送信を優先し、かつ、前記情報処理装置から送信されてくる画像データの受信を前記第1の種類のデータの送信よりも優先する無線通信方法を用いて前記情報処理装置との通信を行う、請求項20または請求項28に記載の情報処理システム。
【請求項30】
情報処理装置と無線通信可能な操作装置において実行される通信方法であって、
前記操作装置に対する操作に基づいて操作データを生成する生成ステップと、
前記操作装置が備えるカメラによって生成されるカメラ画像データを所定の頻度で前記情報処理装置へ送信し、1画像分の前記カメラ画像データを送信する頻度の整数倍の頻度で前記操作データを送信する通信ステップとを備える、通信方法。
【請求項31】
情報処理装置と無線通信可能な操作装置において実行される通信方法であって、
前記操作装置に対する操作に基づいて操作データを生成する生成ステップと、
前記情報処理装置とは異なる他の外部装置との通信を行う拡張通信ステップと、
前記外部装置との通信における管理情報を表す通信管理データを前記操作データとともに所定の頻度で前記情報処理装置へ送信する通信ステップとを備え、
前記通信ステップにおいて、操作装置は、送信機会が相対的に多い第1の種類のデータと、送信機会が相対的に少ない第2の種類のデータとを前記情報処理装置へ送信可能であり、前記通信管理データおよび前記操作データを、前記第1の種類のデータとして前記情報処理装置へ送信し、前記外部装置から受信したデータを、前記第2の種類のデータとして前記情報処理装置へ送信する、通信方法。
【請求項32】
情報処理装置と無線通信可能な操作装置において実行される通信方法であって、
前記操作装置に対する操作に基づいて操作データを生成する生成ステップと、
前記情報処理装置から送信される同期信号に基づくタイミングで送信される1画像分の画像データを前記情報処理装置から第1頻度で受信し、前記情報処理装置から送信されてくる前記同期信号に基づくタイミングでかつ前記第1頻度の整数倍の第2頻度で前記情報処理装置へ前記操作データを送信し、前記操作装置が備えるカメラによる1画像分のカメラ画像データを前記第1頻度の1/n(nは自然数)の第3頻度で前記情報処理装置へ送信する通信ステップと、
前記画像データに基づいて画像を表示する表示ステップとを備える、通信方法。
【請求項33】
前記通信ステップにおいて、操作装置は、前記情報処理装置において前記操作データに基づいた処理によって生成される画像データであって1画像分の画像データを前記情報処理装置から第1頻度で受信し、前記第1頻度よりも高い第2頻度で前記情報処理装置へ前記操作データを送信する、請求項30または請求項31に記載の通信方法。
【請求項34】
前記通信ステップにおいて、操作装置は、前記画像データを受信する頻度の整数倍の頻度で前記操作データを送信する、請求項33に記載の通信方法。
【請求項35】
前記情報処理装置は、同期信号を前記操作装置へ送信し、当該同期信号に基づくタイミングで前記画像データを送信し、
前記通信ステップにおいて、操作装置は、前記情報処理装置から送信されてくる前記同期信号に基づくタイミングで前記操作データを送信する、請求項33に記載の通信方法。
【請求項36】
前記表示ステップにおいて、操作装置は、前記同期信号に基づくタイミングで、かつ、前記第1頻度で前記画像データを更新して表示する、請求項35に記載の通信方法。
【請求項37】
前記表示ステップにおいて、操作装置は、前記同期信号を受信してから、前記第1頻度の間隔よりも短い時間内に、当該同期信号に基づくタイミングで送信された前記画像データの描画を開始する、請求項36に記載の通信方法。
【請求項38】
前記通信ステップにおいて、操作装置は、前記同期信号とは独立したタイミングで前記情報処理装置から音声データを受信する、請求項35に記載の通信方法。
【請求項39】
前記通信ステップにおいて、操作装置は、前記操作装置が備えるマイクによる音声データを、前記同期信号とは独立したタイミングで前記情報処理装置へ送信する、請求項35に記載の通信方法。
【請求項40】
前記通信ステップにおいて、操作装置は、前記操作装置が備えるカメラによって生成される1画像分のカメラ画像データを前記第1頻度よりも低い頻度で前記情報処理装置へ送信する、請求項31に記載の通信方法。
【請求項41】
前記通信ステップにおいて、操作装置は、前記第1の頻度よりも高くかつ前記第2頻度よりも低い頻度で1パケット分の音声データを前記情報処理装置から受信する、請求項32または請求項33に記載の通信方法。
【請求項42】
前記通信ステップにおいて、操作装置は、前記第1頻度よりも高くかつ前記第2頻度よりも低い頻度で、前記操作装置が備えるマイクによって生成される1パケット分の音声データを前記情報処理装置へ送信する、請求項32または請求項33に記載の通信方法。
【請求項43】
前記通信ステップにおいて、操作装置は、送信の度に新しく生成される操作データを送信する、請求項30から請求項32のいずれか1項に記載の通信方法。
【請求項44】
前記操作装置は、タッチパネル、加速度センサ、およびジャイロセンサのうち少なくとも1つを含むセンサ部を備え、
前記生成ステップにおいて、操作装置は、前記センサ部の出力に基づくデータを含む操作データを生成する、請求項30から請求項32のいずれか1項に記載の通信方法。
【請求項45】
前記情報処理装置とは異なる他の外部装置との通信を行う拡張通信ステップをさらに備え、
前記通信ステップにおいて、操作装置は、前記外部装置との通信における管理情報を表す通信管理データを前記操作データとともに前記情報処理装置へ送信する、請求項32、請求項30または請求項32に記載の通信方法。
【請求項46】
前記通信ステップにおいて、操作装置は、送信機会が相対的に多い第1の種類のデータと、送信機会が相対的に少ない第2の種類のデータとを前記情報処理装置へ送信可能であり、前記通信管理データおよび前記操作データを、前記第1の種類のデータとして前記情報処理装置へ送信し、前記外部装置から受信したデータを、前記第2の種類のデータとして前記情報処理装置へ送信する、請求項45に記載の通信方法。
【請求項47】
前記通信ステップにおいて、操作装置は、前記第2の種類のデータの送信よりも前記第1の種類のデータの送信を優先し、かつ、前記情報処理装置から送信されてくる画像データの受信を前記第1の種類のデータの送信よりも優先する無線通信方法を用いて前記情報処理装置との通信を行う、請求項31または請求項46に記載の通信方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、操作データを送信する操作装置、操作装置を含む情報処理システム、および、操作装置における通信方法に関する。
【背景技術】
【0002】
従来、ユーザの操作を受け付け、操作に応じた操作データを出力する操作装置がある。例えば、操作データに基づく情報処理を実行する情報処理装置へ操作データを送信する操作装置がある(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2007−061489号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
上記のような操作装置においては、情報処理装置において操作データが用いられるので、一定の操作性を確保すること等を考慮すると、操作データを適切な方法で送信することがよい。また、操作データを効率的な方法で送信することがよい。
【0005】
それ故、本発明の目的は、操作データを適切に送信することができる操作装置、情報処理システム、および通信方法を提供することである。また、本発明の別の目的は、操作データを効率的な方法で送信することができる操作装置、情報処理システム、および通信方法を提供することである。
【課題を解決するための手段】
【0006】
本発明は、上記の課題を解決するために、以下の(1)〜(26)の構成を採用した。
【0007】
(1)
本発明の一例は、情報処理装置と無線通信可能な操作装置である。操作装置は、生成部と、通信部と、表示部とを備える。生成部は、操作装置に対する操作に基づいて操作データを生成する。通信部は、情報処理装置において操作データに基づいた処理によって生成される画像データであって、1画像分の画像データを情報処理装置から第1頻度で受信し、第1頻度よりも高い第2頻度で情報処理装置へ操作データを送信する。表示部は、画像データに基づいて画像を表示する。
【0008】
上記(1)の構成によれば、操作装置において表示される画像の更新頻度よりも高い頻度で操作データが送信されるので、操作装置に対する操作内容を高い頻度で情報処理装置へ伝達することができ、操作性の良い操作装置を提供することができる。また、操作装置は、一定の操作性を提供できる程度に操作データの送信頻度を確保しつつ、情報処理装置から画像データを受信して画像を表示することができ、操作データを効率的な方法で送信することができる。
【0009】
(2)
また、本発明の他の一例は、情報処理装置と無線通信可能な操作装置であって、操作装置は、カメラと、生成部と、通信部とを備える。生成部は、操作装置に対する操作に基づいて操作データを生成する。通信部は、カメラによって生成されるカメラ画像データを所定の頻度で情報処理装置へ送信し、1画像分のカメラ画像データを送信する頻度の整数倍の頻度で操作データを送信する。
【0010】
上記(2)の構成によれば、カメラ画像データよりも高い頻度で操作データが送信されるので、操作装置に対する操作内容を高い頻度で情報処理装置へ伝達することができ、操作性の良い操作装置を提供することができる。また、操作装置は、一定の操作性を提供できる程度に操作データの送信頻度を確保しつつ、情報処理装置に対してカメラ画像データを送信することができ、操作データを効率的な方法で送信することができる。
【0011】
(3)
また、本発明の他の一例は、情報処理装置と無線通信可能な操作装置であって、生成部と、拡張通信部と、通信部とを備える。生成部は、操作装置に対する操作に基づいて操作データを生成する。拡張通信部は、情報処理装置とは異なる他の外部装置との通信を行う。通信部は、外部装置との通信における管理情報を表す通信管理データを操作データとともに所定の頻度で情報処理装置へ送信する。通信部は、送信機会が相対的に多い第1の種類のデータと、送信機会が相対的に少ない第2の種類のデータとを情報処理装置へ送信可能であり、通信管理データおよび操作データを、第1の種類のデータとして情報処理装置へ送信し、外部装置から受信したデータを、第2の種類のデータとして情報処理装置へ送信する。
【0012】
上記(3)の構成によれば、操作装置は管理情報を情報処理装置へ定期的に送信するので、情報処理装置は、通信状態を迅速に認識することができる。また、操作装置は、外部装置から受信したデータを情報処理装置へ送信する場合であっても、通信管理データおよび操作データを安定的に送信することができる。これによって、操作性の良い操作装置を提供することができ、また、操作データを効率的な方法で送信することができる。
【0013】
(4)
また、本発明の他の一例は、情報処理装置と無線通信可能な操作装置であって、生成部と、通信部と、表示部とを備える。生成部は、操作装置に対する操作に基づいて操作データを生成する。通信部は、情報処理装置において操作データに基づいた処理によって生成される画像データを情報処理装置から受信し、情報処理装置へ操作データを送信する。表示部は、画像データに基づいて画像を表示する。通信部は、第1頻度で画像データを受信する第1通信モードと、第1頻度の半分の頻度で画像データを受信する第2通信モードとの両方で動作可能であり、第1通信モードおよび第2通信モードのいずれのモードにおいても、第1頻度よりも高い第2頻度で情報処理装置へ操作データを送信する。
【0014】
上記(4)の構成によれば、操作装置は、情報処理装置に対して1台を無線接続して使用することと、情報処理装置に対して2台を無線接続して使用することとの両方が可能となる。このとき、どちらの使用方法においても同じ頻度で操作データが送信されるので、操作性の良い操作装置を提供することができる。
また、どちらの使用方法においても、操作装置において表示される画像の更新頻度よりも高い頻度で操作データが送信される。したがって、操作装置に対する操作内容を高い頻度で情報処理装置へ伝達することができ、操作性の良い操作装置を提供することができる。さらに、操作装置は、一定の操作性を提供できる程度に操作データの送信頻度を確保しつつ、情報処理装置から画像データを受信して画像を表示することができ、操作データを効率的な方法で送信することができる。
【0015】
(5)
また、本発明の他の一例は、情報処理装置と無線通信可能な操作装置であって、カメラと、生成部と、通信部と、表示部とを備える。生成部は、操作装置に対する操作に基づいて操作データを生成する。通信部は、情報処理装置から送信される同期信号に基づくタイミングで送信される1画像分の画像データを情報処理装置から第1頻度で受信し、情報処理装置から送信されてくる同期信号に基づくタイミングでかつ第1頻度の整数倍の第2頻度で情報処理装置へ操作データを送信し、カメラによる1画像分のカメラ画像データを第1頻度の1/n(nは自然数)の第3頻度で情報処理装置へ送信する。表示部は、画像データに基づいて画像を表示する。
【0016】
上記(5)の構成によれば、操作装置において表示される画像の更新頻度の整数倍の頻度で操作データが送信されるので、操作性の良い操作装置を提供することができる。また、操作装置は、一定の操作性を提供できる程度に操作データの送信頻度を確保しつつ、情報処理装置から画像データを受信して画像を表示することができる。これによって、操作データを効率的な方法で送信することができる。
また、上記(5)の構成によれば、同期信号を用いることによって、操作装置は、適切なタイミングでの操作データの送信をより確実に行うことができ、また、操作データの送信タイミングを同期信号によって決めることで操作データの遅延時間を保証することができる。さらに、カメラ画像データを第1頻度の1/n(nは自然数)の第3頻度で送信することによって、操作装置は、カメラ画像データを送信する場合であっても、情報処理装置からの画像を高い頻度で表示することができる。
【0017】
(6)
通信部は、情報処理装置において操作データに基づいた処理によって生成される画像データであって1画像分の画像データを情報処理装置から第1頻度で受信し、第1頻度よりも高い第2頻度で情報処理装置へ操作データを送信してもよい。
【0018】
上記(6)の構成によれば、操作装置において表示される画像の更新頻度よりも高い頻度で操作データが送信されるので、操作装置に対する操作内容を高い頻度で情報処理装置へ伝達することができ、操作性の良い操作装置を提供することができる。また、操作装置は、一定の操作性を提供できる程度に操作データの送信頻度を確保しつつ、情報処理装置から画像データを受信して画像を表示することができ、操作データを効率的な方法で送信することができる。
【0019】
(7)
通信部は、画像データを受信する頻度の整数倍の頻度で操作データを送信してもよい。
【0020】
上記(7)の構成によれば、画像データを受信する1周期の間に操作データを送信する回数は一定となるので、情報処理装置は、1フレーム時間内に一定数の操作データを受信することができる。これによって、操作装置の操作性を向上することができる。
【0021】
(8)
情報処理装置は、同期信号を操作装置へ送信し、当該同期信号に基づくタイミングで画像データを送信してもよい。このとき、通信部は、情報処理装置から送信されてくる同期信号に基づくタイミングで操作データを送信する。
【0022】
上記(8)の構成によれば、操作装置で受信される画像と操作装置から送信される操作データとの同期を取ることができるので、適切なタイミングでの操作データの送信をより確実に行うことができる。また、操作データの送信タイミングを情報処理装置からの同期信号によって決めることができるので、操作データの遅延時間を保証することができる。
【0023】
(9)
表示部は、同期信号に基づくタイミングで、かつ、第1頻度で画像データを更新して表示してもよい。
【0024】
上記(9)の構成によれば、操作装置における画像表示タイミングと操作データの送信タイミングとを同期させることができ、操作データをより適切なタイミングで送信することができる。
【0025】
(10)
表示部は、同期信号を受信してから、第1頻度の間隔よりも短い時間内に、当該同期信号に基づくタイミングで送信された画像データの描画を開始してもよい。
【0026】
上記(10)の構成によれば、情報処理装置で生成された画像を操作装置において描画を開始するまでの遅延時間を、画像が表示される間隔(1フレーム時間)より小さくすることができ、操作装置において高速な描画を行うことが可能となる。
【0027】
(11)
通信部は、同期信号とは独立したタイミングで情報処理装置から音声データを受信してもよい。
【0028】
上記(11)の構成によれば、操作装置は、同期信号および/または画像データの受信状況にかかわらず、情報処理装置から音声データを逐次受信して音声を逐次出力することができる。
【0029】
(12)
操作装置は、マイクをさらに備えていてもよい。このとき、通信部は、マイクによる音声データを、同期信号とは独立したタイミングで情報処理装置へ送信する。
【0030】
上記(12)の構成によれば、操作装置は、同期信号の受信状況にかかわらず、マイクによる音声データを逐次送信することができる。
【0031】
(13)
操作装置は、カメラをさらに備えていてもよい。このとき、通信部は、カメラによって生成される1画像分のカメラ画像データを第1頻度よりも低い頻度で情報処理装置へ送信する。
【0032】
上記(13)の構成によれば、情報処理装置からの画像データはカメラ画像データの送信頻度よりも高い頻度で受信されるので、操作装置は、カメラ画像データを送信する場合であっても、情報処理装置からの画像を高い頻度で表示することができる。
【0033】
(14)
通信部は、1の頻度よりも高くかつ第2頻度よりも低い頻度で1パケット分の音声データを情報処理装置から受信してもよい。
【0034】
上記(14)の構成によれば、操作装置は、1フレーム時間内に少なくとも1回は情報処理装置から音声データを受信することができるので、音声データが表す音声を出力する処理を適切な頻度で実行することができる。
【0035】
(15)
操作装置は、マイクをさらに備えていてもよい。このとき、通信部は、第1頻度よりも高くかつ第2頻度よりも低い頻度で、マイクによって生成される1パケット分の音声データを情報処理装置へ送信する。
【0036】
上記(15)の構成によれば、操作装置は、1フレーム時間内に少なくとも1回の頻度でマイクによる音声データを送信するので、情報処理装置は、マイクによる音声データに対する情報処理を適切な頻度で実行することができる。
【0037】
(16)
通信部は、送信の度に新しく生成される操作データを送信してもよい。
【0038】
上記(16)の構成によれば、送信毎に新しい内容の操作データが送信されるので、操作装置は実質的に高い頻度で操作内容を情報処理装置へ伝達することができ、操作装置の操作性を向上することができる。
【0039】
(17)
タッチパネル、加速度センサ、およびジャイロセンサのうち少なくとも1つを含むセンサ部をさらに備えていてもよい。このとき、生成部は、センサ部の出力に基づくデータを含む操作データを生成する。
【0040】
上記(17)の構成によれば、操作装置は、センサ部の出力に基づくデータを高い頻度で情報処理装置へ送信することができるので、センサ部によって検出される操作の操作性を向上することができる。
【0041】
(18)
情報処理装置とは異なる他の外部装置との通信を行う拡張通信部をさらに備えていてもよい。このとき、通信部は、外部装置との通信における管理情報を表す通信管理データを操作データとともに情報処理装置へ送信する。
【0042】
上記(18)の構成によれば、操作装置は管理情報を情報処理装置へ定期的に送信するので、情報処理装置は、通信状態を迅速に認識することができる。また、操作装置は、外部装置から受信したデータを情報処理装置へ送信する場合であっても、通信管理データおよび操作データを安定的に送信することができる。
【0043】
(19)
通信部は、送信機会が相対的に多い第1の種類のデータと、送信機会が相対的に少ない第2の種類のデータとを情報処理装置へ送信可能であり、通信管理データおよび操作データを、第1の種類のデータとして情報処理装置へ送信し、外部装置から受信したデータを、第2の種類のデータとして情報処理装置へ送信してもよい。
【0044】
上記(19)の構成によれば、操作装置は、外部装置から受信したデータを情報処理装置へ送信する場合であっても、通信管理データおよび操作データを安定的に送信することができる。
【0045】
(20)
通信部は、第2の種類のデータの送信よりも第1の種類のデータの送信を優先し、かつ、情報処理装置から送信されてくる画像データの受信を第1の種類のデータの送信よりも優先する無線通信方法を用いて情報処理装置との通信を行うようにしてもよい。
【0046】
上記(20)の構成によれば、操作装置は、外部装置から受信したデータを情報処理装置へ送信する場合において、通信管理データおよび操作データを安定的に送信することができるとともに、情報処理装置から画像データをより安定的に受信することができる。
【0047】
(21)
通信部は、第1の頻度で画像データを受信する第1通信モードと、第1の頻度の半分の頻度で画像データを受信する第2通信モードとの両方で動作可能であってもよい。
【0048】
上記(21)の構成によれば、操作装置は、情報処理装置に対して1台を無線接続して使用することと、情報処理装置に対して2台を無線接続して使用することとの両方が可能となる。
【0049】
(22)
通信部は、第1通信モードおよび第2通信モードのいずれのモードにおいても第2頻度で情報処理装置へ操作データを送信してもよい。
【0050】
上記(22)の構成によれば、操作装置は、上記2つのモードのいずれにおいても情報処理装置による画像データの送信頻度よりも高い頻度で情報処理装置へ操作データを送信することができる。したがって、操作装置に対する操作内容を高い頻度で情報処理装置へ伝達することができ、操作性の良い操作装置を提供することができる。
【0051】
(23)
情報処理装置は、同期信号を操作装置へ送信し、当該同期信号に基づくタイミングで画像データを送信してもよい。このとき、通信部は、情報処理装置から送信されてくる同期信号に基づくタイミングで操作データを送信し、第2通信モードにおいて、情報処理装置と無線通信可能な他の装置が操作データを送信するタイミングとは異なるタイミングで操作データを送信することが可能である。
【0052】
上記(23)の構成によれば、第2通信モードにおいて2台の操作装置が情報処理装置と通信を行う場合に、操作データが衝突する可能性を低減することができる。
【0053】
(24)
通信部は、第2通信モードにおいて、第1通信モードと同じタイミングで操作データを送信するモードと、第1通信モードと異なるタイミングで操作データを送信するモードとの両方で動作可能であってもよい。
【0054】
上記(24)の構成によれば、情報処理装置と無線通信可能な他の装置(他の操作装置)との間で操作データの送信タイミングを容易にずらすことができ、操作データが衝突する可能性を低減することができる。
【0055】
(25)
通信部は、第1通信モードおよび第2通信モードのいずれの場合においても、操作装置が備えるカメラによる1画像分のカメラ画像データを所定の頻度で情報処理装置へ送信してもよい。
【0056】
上記(25)の構成によれば、操作装置は、第1通信モードおよび第2通信モードのいずれの場合においても同じ頻度でカメラ画像データを送信することができる。
【0057】
(26)
通信部は、第2通信モードにおいては、第1通信モードの場合よりも1画像分のデータ量を減らしてカメラ画像データを情報処理装置へ送信してもよい。
【0058】
上記(26)の構成によれば、操作装置は、第2通信モードにおける上記通信量の増加を抑えつつ、第1通信モードと同じ頻度でカメラ画像データを送信することができる。
【0059】
なお、本発明の別の一例は、上記(1)〜(26)における操作装置と情報処理装置とを含む情報処理システムであってもよいし、上記操作装置において実行される通信方法であってもよい。
【発明の効果】
【0060】
以上のように、本発明によれば、操作装置は、情報処理装置へ操作データを適切に送信することができる。
【図面の簡単な説明】
【0061】
図1】情報処理システムの一例の外観図
図2】操作装置の一例の正面図
図3】操作装置の一例の背面図
図4】一例である操作装置の内部構成を示すブロック図
図5】一例である情報処理装置の内部構成を示すブロック図
図6】操作装置と情報処理装置との間で送受信されるデータを示す図
図7】送信情報データに含まれるデータの一例を示す図
図8】第1通信モードにおいて、操作装置と情報処理装置との間で送受信される各データの送信タイミングを示す図
図9】第2通信モードにおいて、操作装置と情報処理装置との間で送受信される各データの送信タイミングを示す図
図10】通信管理データに含まれるデータの一例を示す図
図11】操作装置と外部装置とが赤外線通信を行う場合における通信動作の一例を示す図
図12】操作装置と外部装置とが近距離無線通信を行う場合における通信動作の一例を示す図
図13】操作データに含まれる各データを生成方法の一例を示す図
図14】情報処理システムの各装置における動作の一例を示す図
図15】第2情報処理の実行中において操作装置に表示される画像の一例を示す図
図16】第1および第2情報処理と、操作装置の各構成要素の使用との対応の一例を示す図
図17】操作装置における処理の一例を示すフローチャート
図18】情報処理装置における処理の一例を示すフローチャート
【発明を実施するための形態】
【0062】
[1.情報処理システムの全体構成]
以下、図面を参照して、本発明の一実施形態に係る操作装置、情報処理システム、および通信方法の一例について説明する。図1は、情報処理システムの一例の外観図である。図1において、情報処理システム1は、操作装置2と、情報処理装置3と、表示装置4とを含む。情報処理システム1は、操作装置2に対する操作に基づいて情報処理装置3において情報処理を実行し、情報処理によって得られる画像を操作装置2および/または表示装置4に表示するものである。
【0063】
操作装置2は、可搬型であり、ユーザが把持可能な程度の大きさである。操作装置2は情報処理装置3と無線通信が可能である。詳細な構成は後述するが、操作装置2は、ユーザによる操作を表すデータを出力する操作部(本実施形態においては、後述するボタン群14、加速度センサ23、およびタッチパネル12等)を備える。操作装置2は、操作装置2(操作部)に対する操作に基づいて操作データを生成し、操作データを情報処理装置3へ無線で送信する。操作データは、操作装置2(操作部)に対する操作を表すデータであり、具体的な内容はどのようなものであってもよい。本実施形態における操作データの詳細については後述する(後述する“[6.操作データの生成]”参照)。
【0064】
なお、操作データは、操作装置2に対して行ったユーザの指示を表すものと言うこともできる。つまり、操作装置2は、ユーザの指示を表す指示データを生成し、指示データを情報処理装置3へ無線で送信すると言うこともできる。また、操作データは、操作装置2に対して行われた入力を表すものと言うこともできる。つまり、操作装置2は、操作装置2に対して行われた入力を表す入力データを生成し、入力データを情報処理装置3へ無線で送信すると言うこともできる。
【0065】
また、操作装置2は、表示部を備える。操作装置2は、情報処理装置3から送信されてくる画像データを受信する。表示部は、受信された画像データが表す画像を表示する。なお、この画像データは、典型的には、情報処理装置3において上記操作データを使った情報処理(後述する第1情報処理)に基づいて生成される。
【0066】
また、本実施形態においては、操作装置2は、表示装置4を制御する機能を備える。詳細は後述するが、操作装置2は例えば、制御信号である赤外線信号を表示装置4に対して送信することによって、表示装置4の動作を制御することが可能である(図1に示す点線の矢印参照)。なお、操作装置2は、表示装置4を制御する機能を備えていなくてもよい。
【0067】
情報処理装置3は、例えば据置型の情報処理装置である。情報処理装置3は、例えばゲームプログラムを実行可能なゲーム装置であってもよい。情報処理装置3は、自機がアクセス可能な記憶媒体(または記憶装置)に記憶されるプログラムを実行することによって情報処理を行う。本実施形態においては、情報処理装置3は、操作装置2から送信されてくる操作データを受信し、操作データを入力として用いて所定の情報処理を実行する。なお、情報処理装置3は、操作装置2以外の他の装置からも操作データを受信し、各装置から受信した操作データに基づいて上記所定の情報処理を実行してもよい。
【0068】
また、情報処理装置3は、上記所定の情報処理において画像(画像データ)を生成する。つまり、情報処理装置3は、上記操作データを使った情報処理に基づいて画像データを生成する。この画像は、情報処理装置3から操作装置2へ無線で送信され、操作装置2において表示(出力)される。以下では、上記所定の情報処理において生成される画像を「出力画像」と呼ぶことがあり、当該画像を表す画像データを「出力画像データ」と呼ぶことがある。
【0069】
なお、情報処理装置3は、上記所定の情報処理において画像に加えて音声(音声データ)を生成する場合がある。この音声は、情報処理装置3から操作装置2へ無線で送信され、操作装置2において出力される。以下では、上記所定の情報処理において生成される音声を「出力音声」と呼ぶことがあり、当該音声を表す音声データを「出力音声データ」と呼ぶことがある。
【0070】
また、情報処理装置3は、表示装置4と通信可能である。本実施形態においては、情報処理装置3および表示装置4は互いに有線で通信を行う。なお、本実施形態の変形例において、情報処理装置3と表示装置4との通信は無線通信であってもよい。
【0071】
情報処理装置3は、上記所定の情報処理において、表示装置4へ出力すべき画像および/または音声を生成する場合がある。表示装置4へ出力すべき画像は、操作装置2へ出力すべき画像(上記出力画像)と同じであってもよいし、異なっていてもよい。表示装置4へ出力すべき音声は、操作装置2へ出力すべき音声(上記出力音声)と同じであってもよいし、異なっていてもよい。
【0072】
表示装置4は、例えば据置型の表示装置である。本実施形態においては、表示装置4は、テレビジョン受像器(テレビ)である。表示装置4は、典型的には操作装置2の表示部よりも大きい画面を有する。表示装置4は、情報処理装置3において実行される情報処理において生成された画像を表示する。また、表示装置4はスピーカ5(図4)を有しており、スピーカ5は、上記情報処理において生成された音声を出力する。
【0073】
また、表示装置4は、操作装置2からの制御信号を受信する機能を有する。例えば、表示装置4は、赤外線信号を受光可能な赤外線受光部を備えている。また、表示装置4は、赤外線受光部によって受信された赤外線信号に応じた動作を行う。つまり、表示装置4は、制御信号である赤外線信号を受信し、制御信号に従って動作することが可能である。
【0074】
なお、図1においては情報処理システム1が1つの操作装置2を含む構成を示しているが、情報処理システム1は2つの操作装置2を含む構成であってもよい。すなわち、情報処理装置3は、2つの操作装置2と通信を行うことが可能である。情報処理装置3は、各操作装置2から操作データを受信することが可能である。また、情報処理装置3は、各操作装置2のそれぞれへ出力画像データ(および出力音声データ)を送信することが可能である。このように、本実施形態においては、情報処理装置3は、2つまでの操作装置2に対応することが可能である。なお、本実施形態の変形例においては、情報処理装置3は、3つ以上の操作装置2と同時に無線通信可能であってもよい。
【0075】
[2.操作装置の構成]
次に、図2図4を参照して、操作装置2の構成について説明する。図2は、操作装置2の一例の正面図である。図3は、操作装置2の一例の背面図である。
【0076】
図2に示されるように、操作装置2は、大略的には横長の長方形の板状形状であるハウジング10を備える。操作装置2は、タブレット型の情報処理装置(端末装置)であるということもできる。なお、本明細書における「板状形状」とは、全体として板状形状であることを意味し、一部に曲面を有していてもよいし、一部に突起等を有していてもよい。また、操作装置2(ハウジング10)の形状はどのような形状であってもよい。ハウジング10は、ユーザが把持することができる程度の大きさである。したがって、ユーザは、操作装置2を持って動かしたり、操作装置2の配置位置を変更したりすることができる。
【0077】
操作装置2は、表示部11を備える。表示部11は、任意の表示手段でよく、例えばLCD(Liquid Crystal Display:液晶表示装置)である。表示部11は、ハウジング10の表面の中央付近に設けられる。したがって、ユーザは、表示部11の両側部分のハウジング10を持つことによって、表示部11の画面を見ながら操作装置2を持って動かすことができる。なお、ユーザは、表示部11の左右両側の部分のハウジング10を持つことで操作装置2を横持ちで(横に長い向きにして)持つことも可能であるし、操作装置2を縦持ちで(縦に長い向きにして)持つことも可能である。
【0078】
操作装置2は、上述の操作部を備える。操作部は、ユーザによる操作を表すデータを出力可能であればどのようなものであってもよい。本実施形態においては、操作装置2は以下に説明する複数種類の操作部を備える。ただし、操作装置2は少なくとも1つの操作部を備えていればよく、操作部の種類は任意でよい。
【0079】
図2に示すように、操作装置2は、上述の操作部の一例としてタッチパネル12を備える。タッチパネル12は表示部11の画面上に設けられる。タッチパネル12はシングルタッチ方式でもよいし、マルチタッチ方式であってもよい。なお、ハウジング10には、タッチパネル12に対する操作を行うために用いられるタッチペンを収納する収納穴が設けられている。
【0080】
図2に示すように、操作装置2は、操作部の一例として、方向入力部13を備える。方向入力部13は、方向を入力(指示)することが可能な操作部である。本実施形態において、方向入力部13はアナログスティックである。また、本実施形態においては、操作装置2は、表示部11の左側に設けられる左アナログスティック13Aと、表示部11の右側に設けられる左アナログスティック13Bという、2つのアナログスティックを方向入力部13として備える。アナログスティックは、可動部材(例えばスティック部)がハウジング10の表面に対して任意の方向(換言すれば、上下左右および斜め方向の任意の角度)に傾倒可能な種類の方向入力部であってもよいし、可動部材がハウジング10の表面に対して任意の方向にスライド可能な種類の方向入力部であってもよい。また、本実施形態においては、アナログスティックは、上記可動部材がハウジング10の表面に対して略垂直な方向に押下可能に構成される。つまり、本実施形態における方向入力部13は、可動部材を任意の方向に移動させる操作と、可動部材を押下する操作とを行うことが可能な種類のアナログスティックである。なお、上記可動部材は押下可能に構成されなくてもよい。
【0081】
操作装置2は、操作部の一例として、ボタン群14(各ボタン14A〜14I)を備える。各ボタン14A〜14Iは、押下可能なキーである。本実施形態においては、ハウジング10の表面には、十字ボタン(方向入力ボタン)14Aと、ボタン14Bと、ボタン14Cと、ボタン群14Eとが設けられる。ハウジング10の表面に設けられる各ボタン14A〜14Eは、ユーザが操作装置2の左右部分を把持した状態でユーザの親指で操作可能な位置に配置されている。したがって、ユーザは、操作装置2を持って動かす場合においてもこれらのボタン14A〜14Eを容易に操作することができる。
【0082】
十字ボタン14Aは、十字の形状を有しており、少なくとも上下左右の方向を指示することが可能である。したがって、本実施形態においては、十字ボタン14Aが方向入力部として用いられてもよい。
【0083】
ボタン14Cは、操作装置2において実行されるプログラムを起動する指示を行うためのボタンである。以下では、このプログラムを、後述する「第1プログラム」と区別する目的で、「第2プログラム」と呼ぶことがある。第2プログラムは、操作装置2で実行されるプログラムである。また、第2プログラムによって操作装置2において実行される情報処理を「第2情報処理」と呼ぶことがある。詳細は後述するが、上記第2プログラムは、本実施形態においては表示装置(テレビ)4を操作するためのプログラムである。したがって、操作装置2はテレビのリモコンの機能を有する。なお、以下では、ボタン14Cを「起動ボタン」と呼ぶことがある。
【0084】
また、ボタン14Bは、所定のメニュー画面を表示する指示を行うためのボタンである。ボタン14Dは、操作装置2の電源をオン/オフするための電源ボタンである。電源ボタンの操作により、ユーザは情報処理装置3の電源を遠隔でオン/オフすることも可能である。
【0085】
図2および図3に示すように、本実施形態においては、第1Lボタン14Fおよび第1Rボタン14Gは、ハウジング10の上側の面における左右の両側にそれぞれ設けられる。また、図3に示すように、第2Lボタン14Hおよび第2Rボタン14Iは、ハウジング10の背面(裏面)の左右の両側にそれぞれ設けられる。第2Lボタン14Hおよび第2Rボタン14Iは、ハウジング10の背面に形成される突起部19の上面に設けられる。これらのボタン14F〜14Iは、ユーザが操作装置2の左右部分を把持した状態でユーザの人差し指、中指、または薬指で操作可能な位置に配置されている。したがって、ユーザは、操作装置2を持って動かす場合においてもこれらのボタン14F〜14Iを容易に操作することができる。
【0086】
本実施形態においては、各ボタン14Aおよび14E〜14Iには、情報処理装置3で実行される情報処理に応じた機能が適宜割り当てられる。例えば、十字ボタン14Aおよびボタン群14Eに対しては方向指示や選択指示が割り当てられてもよいし、各ボタン14E〜14Iに対しては決定指示やキャンセル指示が割り当てられてもよい。また、本実施形態の変形例において、操作装置2は、表示部11の画面表示をオン/オフする指示を行うためのボタン、および/または、自機と情報処理装置3との接続設定(ペアリング)の指示を行うためのボタンを有していてもよい。
【0087】
なお、図2および図3に示した各ボタン14A〜14Iの形状、数、および設置位置等は単なる一例に過ぎず、操作装置2が備えるボタンの形状、数、および設置位置は任意である。
【0088】
また、本実施形態では、ハウジング10の裏側(表示部11が設けられる表面の反対側)には、突起部19が設けられる(図3参照)。図3に示すように、突起部19は、略板状のハウジング10の裏面から突起して設けられる、山状の部材である。本実施形態においては、突起部19は左右に延びるように形成されており、庇状の形状であると言える。突起部は、ハウジング10の裏面を把持するユーザの指に掛止可能な高さ(厚さ)を有する。ユーザは、指を突起部19に掛けて(指の上に突起部19を乗せて)把持することによって、操作装置2が比較的大きなサイズであっても、疲れることなく安定した状態で操作装置2を把持することができる。すなわち、突起部19は、指でハウジング10を支えるための支持部材であると言うことができ、また、指掛部と言うこともできる。なお、本実施形態において、突起部19の形状および配置位置は任意である。また、本実施形態の変形例において、操作装置2は、突起部19が設けられない構成であってもよい。
【0089】
また、本実施形態においては、操作装置2はマーカ部15を備える。マーカ部15は、図2に示すように、ハウジング10の表面に設けられるマーカ15Aおよびマーカ15Bを有する。各マーカ15Aおよびマーカ15Bは、赤外LEDで構成される。この赤外LEDは、赤外光を透過する窓部の内側に配置される。マーカ部15は、赤外光を検知可能なコントローラの位置、姿勢、または動き等を算出するために用いられる。本実施形態においては、情報処理装置3はマーカ部15が備える各赤外LEDの点灯を制御することが可能である。
【0090】
操作装置2は、撮像装置であるカメラ16を備える。カメラ16は、所定の解像度を有する撮像素子(例えば、CCDイメージセンサやCMOSイメージセンサ等)と、レンズとを含む。図2に示すように、本実施形態では、カメラ16はハウジング10の表面に設けられる。したがって、カメラ16は、操作装置2を持っているユーザの顔等を撮像することができ、例えば表示部11の画面を見ながらゲームを行っている時のユーザを撮像することができる。
【0091】
操作装置2は、音声入力部の一例であるマイク32(図4参照)を備える。図2に示すように、ハウジング10の表面にはマイク孔18が設けられる。マイク32はこのマイク孔18の奥のハウジング10内部に設けられる。マイク32は、操作装置2の周囲の音(例えばユーザの音声等)を検出する。
【0092】
以上のように、操作装置2は、カメラ16およびマイク32を備える構成であるが、操作装置2は、カメラ16およびマイク32を備えていなくてもよく、また、いずれか一方のみを備えていてもよい。
【0093】
操作装置2は、音声出力部の一例であるスピーカ31(図4参照)を備える。図2に示すように、ハウジング10の表面にはスピーカ孔17が設けられる。スピーカ31の出力音はこのスピーカ孔17から操作装置2の外部へ出力される。本実施形態では、操作装置2は2つのスピーカ31を備えており、左スピーカおよび右スピーカのそれぞれの位置にスピーカ孔17が設けられる。なお、操作装置2は、スピーカ31の音量を調節するためのつまみ(図示せず)を備える。また、操作装置2は、イヤホン等の音声出力部を接続するための音声出力端子(図示せず)を備える。音声出力端子およびつまみが設けられる位置はどこであってもよい。なお、操作装置2は、音声出力部を備えていない構成であってもよい。
【0094】
また、ハウジング10には、赤外線を透過可能な窓20が設けられる。窓20は、後述する赤外線通信部36および赤外線発光部38において赤外線信号を送受信するために設けられる。すなわち、本実施形態においては、赤外線通信部36および赤外線発光部38が窓20の内側(ハウジング1の内部)に設けられる。赤外線通信部36は、操作装置2の外部から窓20を介して赤外線信号を受光し、操作装置2の外部へ窓20を介して赤外線信号を送信する。また、赤外線発光部38は、操作装置2の外部へ窓20を介して赤外線信号を送信する。本実施形態においては、表示部11の両側を把持した場合にユーザの前方へ赤外線信号が発射される(あるいは、ユーザの前方から赤外線信号を受光する)ように、窓20はハウジング10の上側の側面に設けられる(図3参照)。ただし、窓20は、例えばハウジング10の裏面等、どの位置に設けられてもよい。
【0095】
また、操作装置2は、周辺装置を操作装置2に接続するためのコネクタ26(図3参照)を備える。コネクタ26は、操作装置2に接続される他の周辺装置との間でデータ(情報)を送受信するための通信端子である。なお、コネクタ26には、周辺装置に電力を供給する端子や、充電のための端子が含まれていてもよい。
【0096】
ここで、本明細書では、情報処理装置3とは異なる装置であって、操作装置2と通信可能な他の装置を「外部装置」と呼ぶ。外部装置は、操作装置2と通信可能であればよく、後述する赤外線通信部36と通信可能であってもよいし、近距離無線通信部37を介して操作装置2と通信可能であってもよい。外部装置の種類はどのようなものであってもよく、例えば、メモリカード等の外部記憶媒体、あるいは、情報処理端末等である。また、以下において、操作装置2と外部装置との通信を「拡張通信」と呼ぶことがある。
【0097】
なお、図2および図3に示した操作装置2に関して、各構成要素の形状、数、および設置位置等は、単なる一例である。当該各構成要素は、他の形状、数、および設置位置であってもよい。
【0098】
次に、図4を参照して、操作装置2の内部構成について説明する。図4は、一例である操作装置2の内部構成を示すブロック図である。操作装置2は、図2および図3に示した構成の他、図4に示す構成を備える。図4に示す各構成要素の電子部品は、例えば電子回路基板上に実装されてハウジング10内に収納される。
【0099】
図4に示すように、操作装置2は、入出力制御部21を備える。入出力制御部21は、入出力制御部21に接続される上記操作部に対するデータの入出力を制御する。入出力制御部21は上記各操作部と接続される(タッチパネル12については、タッチパネルコントローラ22を介して接続される)。以下、各操作部について説明する。
【0100】
操作装置2は、タッチパネルコントローラ22を備える。タッチパネルコントローラ22は、タッチパネル12の制御を行う回路である。タッチパネルコントローラ22は、タッチパネル12に接続され、入出力制御部21に接続される。タッチパネルコントローラ22は、タッチパネル12からの信号に基づいて入力位置データを生成して入出力制御部21へ出力する。入力位置データは、タッチパネル12の入力面において入力が行われた位置(「入力位置」と呼ぶ。タッチ位置とも言う)を表す。より具体的には、入力位置データは、上記入力位置を示す2次元の座標を表すデータであってもよい。タッチパネルコントローラ22は、タッチパネル12からの信号の読み込み、および、入力位置データの生成を所定時間に1回の割合で行う。また、入出力制御部21からタッチパネルコントローラ22へは、タッチパネル12に対する各種の制御指示が出力される。
【0101】
上述の方向入力部13は、入出力制御部21に接続される。方向入力部13は、ユーザが指示した方向を表す指示方向データを入出力制御部21へ出力する。本実施形態において、指示方向データは、ユーザの指で操作される上記可動部材の移動方向および移動量を表す。より具体的には、指示方向データは、例えば、可動部材が傾倒した(またはスライドした)方向および量を表す。具体的には、縦方向および横方向の2軸方向の傾き量がそれぞれ検出され、出力される。これらの2軸成分の値は、方向および量を表す2次元ベクトルとみなすこともできる。本実施形態においてはさらに、指示方向データは、上記可動部材が押下されたか否かを表す。
【0102】
上述のボタン群14(各ボタン14A〜14I)は、入出力制御部21に接続される。ボタン群14は、各ボタン14A〜14Iに対する入力状況を表すボタンデータを入出力制御部21へ出力する。ボタンデータは、例えば、各ボタン14A〜14Iが押下されたか否かをボタン毎に表す。なお、ボタン群14のうちのいくつかのボタン(例えば第1Lボタン14Fおよび第1Rボタン14Gは)については、押し込み量を検出可能なボタンであってもよい。このとき、ボタンデータは、押し込み量を検出可能なボタンについては、押下されたか否かに加えて、押し込み量を表す。
【0103】
操作装置2は、操作部の一例として、加速度センサ23を備える。加速度センサ23は、入出力制御部21に接続される。加速度センサ23は、ハウジング10の内部に設けられ、1以上の所定軸方向に沿った直線加速度の大きさを検出する。具体的には、加速度センサ23は、ハウジング10の長辺方向をx軸、ハウジング10の短辺方向をy軸、ハウジング10の表面に対して垂直な方向をy軸として、各軸の直線加速度の大きさを検出する。検出された加速度を表す加速度データは入出力制御部21へ出力される。また、入出力制御部21から加速度センサ23へは、加速度センサ23に対する制御指示が出力される。加速度センサ23は、例えば静電容量式のMEMS型加速度センサであるが、他の方式の加速度センサであってもよい。また、加速度センサ23は、上記においては3軸方向の加速度を検出するものとして説明したが、2軸でもよいし、1軸以上の加速度を検出すればどのようなものであってもよい。
【0104】
操作装置2は、操作部の一例として、ジャイロセンサ24を備える。ジャイロセンサ24は、入出力制御部21に接続される。ジャイロセンサ24は、ハウジング10の内部に設けられ、1以上の所定軸回りの角速度を検出する。本実施形態においては、ジャイロセンサ24の検出軸は、加速度センサ23の検出軸と同じであり、上記x軸、y軸およびz軸である。検出された角速度を表す角速度データは、入出力制御部21へ出力される。また、入出力制御部21からジャイロセンサ24へは、ジャイロセンサ24に対する制御指示が出力される。また、ジャイロセンサ24は、上記においては3軸回りの角速度を検出するものとして説明したが、2軸でもよいし、1軸以上の角速度を検出すればどのようなものであってもよい。
【0105】
操作装置2は、操作部の一例として、磁気センサ25を備える。磁気センサ25は、入出力制御部21に接続される。磁気センサ25は、磁界の大きさおよび方向を検知することで磁気方向(方位)を検出する。検出された磁気方向を示す磁気データは、入出力制御部21へ出力される。また、入出力制御部21から磁気センサ25へは、磁気センサ25に対する制御指示が出力される。磁気センサ25に関しては、MI(磁気インピーダンス)素子、フラックスゲートセンサ、ホール素子、GMR(巨大磁気抵抗)素子、TMR(トンネル磁気抵抗)素子、あるいはAMR(異方性磁気抵抗)素子等を用いたセンサがあるが、磁気方向を検出することができればどのようなものが用いられてもよい。なお、厳密には、地磁気以外に磁界が発生している場所においては、得られた磁気データは、厳密な意味での方位(地磁気を基準とした方位)を示さないことになる。しかし、そのような場合であっても、操作装置2の姿勢が変化した場合には磁気データが変化するため、操作装置2の姿勢の変化を算出することができる。したがって、磁気センサ25は、厳密な意味での方位を検出するものに限らず、磁気に基づいて方向を検出することが可能なものであればよい。また、磁気センサ25は、ここでは3次元の値で磁気方向を検出するものとして説明するが、1次元以上の磁気方向を検出すればどのようなものであってもよい。
【0106】
以上のように、操作装置2は、操作装置2の位置、姿勢、および動きのうちの少なくとも1つを検出するセンサとして、加速度センサ23、ジャイロセンサ24、および磁気センサ25を備える。ただし、操作装置2は、これらのセンサのうち1つまたは2つのみを備える構成であってもよい。また、操作装置2は、これらのセンサに代えて、または、これらのセンサとともに、他のセンサを備える構成であってもよい。
【0107】
入出力制御部21は、上記の各操作部が出力した各データを受け取り、当該各データを含む操作データを生成する。つまり、入出力制御部21は、操作装置2に対する操作に基づいて操作データを生成する生成部である。入出力制御部21は通信データ管理部27に接続される。入出力制御部21は、生成された操作データを通信データ管理部27へ出力する。なお、入出力制御部21は、所定時間(後述する時間T4)に1回の頻度で操作データを生成して出力する。
【0108】
また、入出力制御部21には上述のコネクタ26が接続される。コネクタ26を介して操作装置2に他の装置が接続される場合、入出力制御部21は、当該他の装置に対する操作を表すデータを受け取り、当該データを通信データ管理部27へ出力してもよい。
【0109】
また、操作装置2は電源IC38を備える。電源IC38は、入出力制御部21に接続される。電源IC38は、内蔵の電池から操作装置2内の各部への電力供給を制御する。また、電源IC38には、外部電源から電力を取得可能な充電器またはケーブルを、充電コネクタを介して接続することが可能である。操作装置2は、当該充電器またはケーブルを用いて外部電源からの電力供給および充電が可能である。なお、操作装置2は、図示しない充電機能を有するクレイドルに操作装置2を装着することで充電を行うことも可能である。
【0110】
図4に示すように、操作装置2は、通信データ管理部27を備える。通信データ管理部27は、情報処理装置3との間の通信に関する各種の処理を実行する。通信データ管理部27は、CPU28とメモリ29とを有する。通信データ管理部27は、例えば、後述するデータの圧縮・伸張処理を実行可能なLSI(コーデックLSIとも言う)である。また、操作装置2はフラッシュメモリ35を備えており、フラッシュメモリ35は通信データ管理部27に接続される。本実施形態においては、フラッシュメモリ35は、操作装置2において実行される各種のプログラムを記憶している。本実施形態においては、各種のプログラムとして、自機(操作装置2)の管理および/または通信のためのプログラム、ならびに、上述の第2プログラム等がフラッシュメモリ35に記憶される。CPU28は、フラッシュメモリ35に記憶されているプログラムの実行によって上記各種の処理を実行する。メモリ29は、上記各種の処理が実行される場合に記憶領域として使用される。メモリ29の一部の領域は、表示部11に表示される画像のためのメモリ(いわゆるVRAM)として使用されてもよい。操作装置2の電源が投入された場合、フラッシュメモリ35に格納された起動用プログラムをメモリ29に読み出してCPU28が実行することで、操作装置2が起動する。
【0111】
通信データ管理部27は、情報処理装置3へ送信するデータに対する各種の処理を行う。すなわち、通信データ管理部27は、通信データ管理部27に接続される構成要素からデータを受け取り、所定の処理(例えば、後述する圧縮処理)を必要に応じて行って情報処理装置3へ送信するデータを生成する。また、通信データ管理部27は、情報処理装置3から受信されたデータに対する各種の処理を行う。すなわち、通信データ管理部27は、情報処理装置3から受信されたデータに対して所定の処理(例えば、後述する伸張処理)を必要に応じて行い、通信データ管理部27に接続される構成要素へ処理済みのデータを出力する。なお、通信データ管理部27が実行する処理の詳細については後述する。以下、通信データ管理部27に接続される各構成要素について説明する。
【0112】
上述した表示部11は通信データ管理部27に接続される。表示部11は、情報処理装置3から送信された出力画像データを通信データ管理部27から受け取り、出力画像データが表す画像を表示する。なお、情報処理装置3は所定の頻度で出力画像データを送信し、通信データ管理部27は所定の頻度で出力画像データを出力するので、表示部11は動画を表示することが可能である。
【0113】
上述したカメラ16は通信データ管理部27に接続される。カメラ16は、画像を撮像し、撮像した画像データを通信データ管理部27へ出力する。以下では、カメラ16によって撮像された画像のデータを「カメラ画像データ」と呼ぶ。また、通信データ管理部27は、画像の撮像指示等、カメラ16に対する制御指示をカメラ16へ出力する。なお、カメラ16は動画の撮影も可能である。すなわち、カメラ16は、繰り返し撮像を行ってカメラ画像データを通信データ管理部27へ繰り返し出力することも可能である。
【0114】
また、操作装置2は、サウンドIC30を備える。サウンドIC30は通信データ管理部27に接続される。サウンドIC30は、スピーカ31およびマイク32に接続される。サウンドIC30は、スピーカ31およびマイク32に対する音声データの入出力を制御する。すなわち、通信データ管理部27から音声データ(出力音声データ)を受け取った場合、サウンドIC30は、当該音声データに対してD/A変換を行って得られる音声信号をスピーカ31へ出力する。これによって、スピーカ31から音が発生する。また、マイク32は、操作装置2に伝わる音(ユーザの音声等)を検知して、検知した音を示す音声信号をサウンドIC30へ出力する。サウンドIC30は、マイク32からの音声信号に対してA/D変換を行って得られる音声データ(マイク音声データ)を通信データ管理部27へ出力する。
【0115】
また、操作装置2は、無線モジュール33およびアンテナ34を備える。無線モジュール33は通信データ管理部27に接続される。無線モジュール33にはアンテナ34が接続される。無線モジュール33は、アンテナ34を用いて情報処理装置3との間で無線通信を行う。無線モジュール33は、例えばWi−Fiの認証を受けた通信モジュールである。無線モジュール33は、例えばIEEE802.11n規格で採用されるMIMO(Multiple Input Multiple Output)の技術を用いて情報処理装置3との間の無線通信を高速に行うようにしてもよいし、他の通信方式を用いて情報処理装置3との間の無線通信を行ってもよい。
【0116】
操作装置2から情報処理装置3へデータが送信される場合、通信データ管理部27は、情報処理装置3へ送信すべきデータを無線モジュール33へ出力する。無線モジュール33は、送信すべきデータを情報処理装置3へアンテナ34を介して無線送信する。
【0117】
また、情報処理装置3からのデータが操作装置2において受信される場合、無線モジュール33は、アンテナ34を用いて情報処理装置3からのデータを受信し、受信されたデータを通信データ管理部27へ出力する。通信データ管理部27は、受信されたデータを、当該データを送るべき適切な構成要素へ出力する。
【0118】
なお、詳細は後述するが、操作装置2と情報処理装置3との間の通信においては、データの種類によっては、送信側の装置でデータが圧縮されて送信され、受信側の装置で受信されたデータが伸張される場合がある。通信データ管理部27は、上記の圧縮処理と、情報処理装置3において行われた圧縮処理に対する伸張処理を実行する。
【0119】
本実施形態において、操作装置2と情報処理装置3との間の通信において圧縮して送信されるデータは任意である。本実施形態においては、例えば、送信側において圧縮処理が施されるデータは、情報処理装置3から送信される出力画像データおよび出力音声データ、ならびに、操作装置2から送信されるカメラ画像データおよびマイク音声データである。なお、本実施形態の変形例においては、情報処理装置3からの出力画像データのみが圧縮されてもよいし、情報処理装置3からの出力画像データと操作装置2からのカメラ画像データとが圧縮されてもよい。また、上記以外の他のデータが圧縮されてもよいし、全てのデータが無圧縮で送信されてもよい。
【0120】
また、操作装置2および情報処理装置3において行われる圧縮および伸張の方法はどのような方法であってもよい。本実施形態においては、各装置(操作装置2および情報処理装置3)は、例えばH.264規格といった高効率の圧縮技術を用いてデータを圧縮する。したがって、本実施形態によれば、送信側で生成された画像および/または音声を受信側へ高速に送信することができ、受信側において生じる遅延を小さくすることができる。
【0121】
図4に示すように、操作装置2は、赤外線通信部36を備える。赤外線通信部36は、情報処理装置3以外の外部装置との間で赤外線通信を行う。本実施形態においては、赤外線通信部36は、例えばIrDAの規格に従った赤外線通信を行う機能を有する。赤外線通信部36は通信データ管理部27に接続される。赤外線通信によって操作装置2から外部装置へデータが送信される場合、通信データ管理部27は、外部装置へ送信すべきデータを赤外線通信部36へ出力する。赤外線通信部36は、送信すべきデータを表す赤外線信号を出力する。外部装置からのデータが操作装置2において受信される場合、赤外線通信部36は、外部装置からの赤外線信号を受信し、受信された赤外線信号のデータを通信データ管理部27へ出力する。詳細は後述するが、通信データ管理部27は、赤外線通信部36を用いた赤外線通信を制御する(“<5−4:外部装置と通信が行われる場合における動作>”参照)。
【0122】
また、操作装置2は、近距離無線通信部37を備える。近距離無線通信部37は、情報処理装置3以外の外部装置との間でNFC(Near Field Communication)規格に従った通信(非接触通信)を行う。近距離無線通信部37は通信データ管理部27に接続される。近距離無線通信によって操作装置2から外部装置へデータが送信される場合、通信データ管理部27は、外部装置へ送信すべきデータを近距離無線通信部37へ出力する。近距離無線通信部37は、送信すべきデータを表す無線信号を出力する。外部装置からのデータが操作装置2において受信される場合、近距離無線通信部37は、外部装置からの無線信号を受信し、受信された無線信号のデータを通信データ管理部27へ出力する。詳細は後述するが、通信データ管理部27は、近距離無線通信部37を用いた通信を制御する(“<5−4:外部装置と通信が行われる場合における動作>”参照)。
【0123】
上記の赤外線通信部36および/または近距離無線通信部37によって外部装置との通信が行われる場合、当該外部装置から操作装置2を介して情報処理装置3へデータが送信されてもよい。また、上記の場合、情報処理装置3から操作装置2を介して上記外部装置へデータが送信されてもよい。
【0124】
以上のように、本実施形態においては、操作装置2は、情報処理装置3とは異なる他の外部装置との通信(拡張通信)を行う拡張通信部の一例として、上記赤外線通信部36および近距離無線通信部37を備える。なお、操作装置2が備える拡張通信部は、上記外部装置と通信を行う機能を有していればどのようなものであってもよい。例えば、操作装置2は、上記の構成要素(赤外線通信部36および近距離無線通信部37)のうちのいずれか一方のみを備えていてもよいし、当該構成要素とは異なる通信手段を備えていてもよい。
【0125】
また、操作装置2は、赤外線発光部38を備える。赤外線発光部38は、表示装置4を制御するための赤外線信号を出力する。赤外線発光部38は、例えば赤外LEDを有する。通信データ管理部27は、赤外線発光部38による赤外線信号の出力(赤外線の出射)を制御する。操作装置2から表示装置4へ制御信号(赤外線信号)が送信される場合、通信データ管理部27は、表示装置4へ送信すべき制御信号を赤外線発光部38へ出力する。赤外線発光部38は、通信データ管理部27から受け取った制御信号を表す赤外線信号を出力する。
【0126】
上述のマーカ部15は、通信データ管理部27に接続される。マーカ部15が有する赤外LEDの発光は、通信データ管理部27の制御指示により制御される。マーカ部15に対する制御は、単に電力の供給のON/OFFであってもよい。
【0127】
操作装置2は、バイブレータ39を備える。バイブレータ39は、通信データ管理部27に接続される。バイブレータ39は、振動可能な任意の部材であり、例えば振動モータやソレノイドである。バイブレータ39の振動は、通信データ管理部27によって制御される。バイブレータ39が作動することによって操作装置2に振動が発生し、その結果、操作装置2を把持しているユーザの手にその振動が伝達される。バイブレータ39は、例えば、いわゆる振動対応ゲームに用いることができる。
【0128】
[3.情報処理装置の構成]
次に、図5を参照して、情報処理装置3の構成について説明する。図5は、一例である情報処理装置3の内部構成を示すブロック図である。本実施形態において、情報処理装置3は、図5に示す各部を備える。
【0129】
情報処理装置3は、制御部41を備える。制御部41は、CPU42とメモリ43とを有する。制御部41は、例えばシステムLSIとして情報処理装置3内に実装される。なお、制御部41は、CPU42およびメモリ43の他に、画像を生成するためのプロセッサ(GPU)、生成された画像を記憶するためのメモリ(VRAM)、および/または、制御部41に対するデータの入出力を制御する回路等の部材を含んでいてもよい。
【0130】
制御部41は、所定の情報処理を実行することによって出力画像データを生成する。以下では、制御部41によって実行される上記所定の情報処理を「第1情報処理」と呼ぶことがある。なお、情報処理装置3は、プログラムを記憶するプログラム記憶部(図示せず)を備える。CPU42は、上記プログラム記憶部に記憶されるプログラムを実行する。これによって、情報処理装置3において第1情報処理が実行される。以下では、第1情報処理を実行するためのプログラムを「第1プログラム」と呼ぶことがある。
【0131】
上記第1情報処理は、操作データを入力として用いて、出力画像データおよび/または出力音声データを生成する処理である。第1情報処理の具体的な内容はどのようなものであってもよい。第1情報処理は、例えば、操作データに基づいてゲームオブジェクトを制御するゲーム処理であってもよいし、操作データに基づいてWebページを表示するブラウザ処理であってもよい。すなわち、第1プログラムは、例えば、ゲーム処理を実行するためのゲームプログラムであってもよいし、ブラウザ処理を実行するためのブラウザプログラムであってもよい。
【0132】
制御部41が第1情報処理を実行することによって生成される出力画像は操作装置2に表示される。また、本実施形態において、制御部41において生成される画像は表示装置4に表示される。さらに、制御部41において生成される出力音声は操作装置2において出力される。また、本実施形態において、制御部41において生成される音声はスピーカ5において出力される。
【0133】
次に、制御部41によって生成される出力画像を操作装置2へ無線送信する構成について説明する。本実施形態において、情報処理装置3は、圧縮伸張部44を備える。圧縮伸張部44は、例えば、データの圧縮・伸張処理を実行可能なLSI(コーデックLSIとも言う)である。圧縮伸張部44は制御部41に接続される。なお、制御部41と圧縮伸張部44との接続は、例えばUSB(Universal Serial Bus)規格に従って行われてもよい。圧縮伸張部44による圧縮および伸張の方式は、操作装置2における通信データ管理部27による圧縮および伸張の方式と同じである。
【0134】
また、情報処理装置3は、無線モジュール45およびアンテナ46を備える。無線モジュール45は圧縮伸張部44に接続される。無線モジュール45にはアンテナ46が接続される。無線モジュール45は、アンテナ46を用いて情報処理装置3との間で無線通信を行う。無線モジュール45は操作装置2の無線モジュール33と無線通信可能である。典型的には、無線モジュール45は操作装置2の無線モジュール33と同じ機能を有する。
【0135】
情報処理装置3から操作装置2へデータが送信される場合、制御部41は、送信すべきデータを圧縮伸張部44へ出力する。圧縮伸張部44は、操作装置2へ送信すべきデータを必要に応じて圧縮し、無線モジュール45へ出力する。圧縮伸張部44は、例えば、制御部41によって生成される出力画像データおよび出力音声データを圧縮し、圧縮されたデータを無線モジュール45へ出力する。また、圧縮伸張部44は、制御部41から送られてくるデータのうちで圧縮しないデータについてはそのまま無線モジュール45へ出力する。無線モジュール45は、圧縮伸張部44から出力されたデータを操作装置2へアンテナ46を介して無線送信する。
【0136】
操作装置2からのデータが情報処理装置3において受信される場合、無線モジュール45は、アンテナ46を用いて操作装置2からのデータを受信し、受信されたデータを圧縮伸張部44へ出力する。圧縮伸張部44は、圧縮されたデータが操作装置2から受信される場合、当該圧縮されたデータを伸張する。圧縮伸張部44は、例えば、操作装置2において圧縮されて送信されるカメラ画像データおよびマイク音声データを伸張する。圧縮伸張部44は、伸張されたデータを制御部41へ出力する。なお、圧縮伸張部44は、操作装置2から受信されるデータが圧縮されていない場合には当該データをそのまま制御部41へ出力する。
【0137】
次に、制御部41によって生成される画像を表示装置4へ送信する構成について説明する。本実施形態において、情報処理装置3は、AV−IC(Integrated Circuit)47およびAVコネクタ48を備える。制御部41によって生成された画像および音声のうちで、表示装置4において出力される画像および音声のデータは、AV−IC47によって読み出される。AV−IC47は、読み出した画像データをAVコネクタ48を介して表示装置4へ出力する。また、AV−IC47は、読み出した音声データを、表示装置4に内蔵されるスピーカ5へ出力する。これによって、表示装置4に画像が表示され、スピーカ5から音が出力される。なお、情報処理装置3と表示装置4との接続および通信は、どのような方式で行われてもよい。例えば、情報処理装置3は、表示装置4を制御する制御信号を有線または無線で表示装置4へ送信するようにしてもよい。情報処理装置3と表示装置4との通信には、例えばHDMI(High−Definition Multimedia Interface)規格に則ったHDMIケーブルが用いられてもよい。HDMI規格では、CEC(Consumer Electronics Control)と呼ばれる機能によって、接続相手の機器を制御することが可能である。
【0138】
情報処理装置3は、上記の機能の他、例えば次の機能を有していてもよい。すなわち、情報処理装置3は、情報処理システム1の外部の通信ネットワーク(例えばインターネット等)に接続可能であり、通信ネットワークを介して情報処理システム1外の他の情報処理装置との間で通信を行う機能を有していてもよい。また、情報処理装置3は、操作装置2とは別の入力装置と有線または無線で通信を行う機能を有していてもよい。また、情報処理装置3は、拡張コネクタを備えており、拡張コネクタを介して拡張機器(例えば、外部記憶媒体および周辺機器等)を接続する機能を有していてもよい。
【0139】
[4.操作装置と情報処理装置との間で送受信されるデータ]
次に、図6図7を参照して、操作装置2と情報処理装置3との間で送受信されるデータについて説明する。図6は、操作装置2と情報処理装置3との間で送受信されるデータを示す図である。
【0140】
以下、情報処理装置3から操作装置2へ送信されるデータ(ダウンストリーム)について説明する。情報処理装置3は、上述の出力画像データを操作装置2へ送信する。操作装置2は、出力画像データを受信する。これによって、情報処理装置3が生成した出力画像を操作装置2において表示することができる。上述のように、情報処理装置3は出力画像データを圧縮して操作装置2へ送信する。圧縮済みの出力画像データが情報処理装置3から送信されると、操作装置2(無線モジュール33)は、圧縮済みの出力画像データを受信する。操作装置2の通信データ管理部27は、受信された圧縮済みの出力画像データを伸張する。通信データ管理部27は、伸張された出力画像データを表示部11へ出力する。これによって、出力画像が表示部11に表示される。
【0141】
また、情報処理装置3は、上述の出力音声データを操作装置2へ送信する。操作装置2は、出力音声データを受信する。これによって、情報処理装置3が生成した出力音声を操作装置2において出力することができる。上述のように、情報処理装置3は出力音声データを圧縮して操作装置2へ送信する。圧縮済みの出力音声データが情報処理装置3から送信されると、操作装置2(無線モジュール33)は、圧縮済みの出力音声データを受信する。操作装置2の通信データ管理部27は、受信された圧縮済みの出力音声データを伸張する。そして、通信データ管理部27は、伸張された出力音声データをサウンドIC30へ出力する。これによって、スピーカ31から出力音声が出力される。
【0142】
また、情報処理装置3は、第1拡張通信データを操作装置2へ送信する。第1拡張通信データとは、操作装置2と上述の外部装置とが通信を行う場合に情報処理装置3から操作装置2へ送信するデータである。情報処理装置3は、例えば、操作装置2または外部装置に対する指令(コマンド)を表すデータ、および、外部装置へ送信すべきデータ等を、第1拡張通信データとして操作装置2へ送信する。操作装置2(無線モジュール33)は、情報処理装置3から送信されてくる第1拡張通信データを受信する。通信データ管理部27は、受信された第1拡張通信データが表す指令に応じた処理を実行したり、受信された第1拡張通信データを外部装置へ送信したりする。このように、第1拡張通信データによって、情報処理装置3は、操作装置2を介して外部装置との通信を行うことができる。なお、第1拡張通信データに関する通信の動作例については後述する(後述する“<5−4:外部装置と通信が行われる場合における動作>”参照)。
【0143】
情報処理装置3は、制御データを操作装置2へ送信する。制御データは、例えば、操作装置2と情報処理装置3との間の通信に関する制御に用いられるデータである。なお、制御データの具体的な内容はどのようなものであってもよい。例えば、制御データは、無線通信の設定に関する内容を表すものであってもよい。
【0144】
以下、操作装置2から情報処理装置3へ送信されるデータ(アップストリーム)について説明する。操作装置2は、送信情報データを情報処理装置3へ送信する。送信情報データは、情報処理装置3へ送信すべき情報を表すデータである。図7は、送信情報データに含まれるデータの一例を示す図である。図7に示すように、送信情報データ50は、例えば上述の操作データ51を含む。送信情報データ50に操作データ51が含まれるため、情報処理装置3は、操作装置2に対する操作の内容を認識することができる。操作データ51の詳細については後述する(後述する“[6.操作データの生成]”参照)。
【0145】
また、送信情報データ50は、管理データ52を含む。管理データ52は、操作装置2に関する状態を表す。送信情報データ50に管理データ52が含まれることによって、情報処理装置3は、操作装置2における状態を認識することができる。管理データ52は、情報処理装置3において管理すべき情報である。本実施形態においては、管理データ52は通信管理データ53を含む。通信管理データ53は、操作装置2と上述した外部装置との通信に関する状態を表す。また、管理データ52は起動状態データ54を含む。起動状態データ54は、上述の第2プログラムの起動状態を表す。なお、これら通信管理データ53および起動状態データ54の詳細については後述する。
【0146】
上記のように、管理データ52は、操作装置2の状態を表すデータであってもよいし、操作装置2と外部装置との通信に関する状態を表すデータであってもよいし、操作装置2と通信可能な外部装置の状態を表すものであってもよい。なお、管理データ52の具体的な内容はどのようなものであってもよい。例えば、管理データ52は、通信管理データ53および起動状態データ54のいずれか一方または両方を含まない構成であってもよい。また例えば、管理データ52は、通信管理データ53および起動状態データ54以外のデータを含んでいてもよい。
【0147】
送信情報データ50は、操作装置2において例えば次の方法で生成される。上述のように、操作データ51は入出力制御部21によって生成されて通信データ管理部27へ出力される。通信データ管理部27は操作データ51に管理データ52を加える。すなわち、通信データ管理部27は、操作データ51と管理データ52とを含む送信情報データ50を生成する。通信データ管理部27は、送信情報データ50を無線モジュール33へ出力する。これによって、送信情報データ50が情報処理装置3へ送信される。なお、通信データ管理部27は、所定時間(後述する時間T4(図8参照))に1回の頻度で送信情報データ50を生成して出力する。
【0148】
以上のように、本実施形態においては、送信情報データ50が操作装置2から情報処理装置3へ送信される。つまり、操作装置2は、操作データ51とともに管理データ52を情報処理装置3へ送信する。換言すれば、操作装置2は、操作データ51と管理データ52とを同じ頻度で送信する。より具体的には、操作装置2は、操作データ51と管理データ52とを同じタイミングで送信する。なお、本実施形態の変形例においては、操作装置2は、操作データ51と管理データ52とを別々に(別のタイミングで)送信してもよいし、管理データ52を送信しなくてもよい。
【0149】
また、操作装置2は、上記以外の他のデータを送信情報データ50に含めて情報処理装置3へ送信してもよい。例えば、コネクタ26を介して操作装置2に周辺装置が接続される場合、送信情報データ50は、当該周辺装置から取得されるデータ(例えば、周辺装置に対する操作を表すデータ)を含んでいてもよい。このとき、入出力制御部21は、周辺装置からコネクタ26を介してデータを受け取り、当該データを通信データ管理部27へ出力する。通信データ管理部27は、当該周辺装置から取得されるデータを含む送信情報データ50を生成する。また、例えば、送信情報データ50は、上述した音声出力端子に対して接続される音声出力部(イヤホン等)に関するデータを含んでいてもよい。例えば、送信情報データ50は、上記音声出力部が音声入力機能を有するか否か(例えばマイク機能付きのイヤホンであるか否か)を表すデータを含んでいてもよい。また例えば、送信情報データ50は、上記音声出力部がボタンを有するか否かを表すデータを含んでいてもよいし、当該ボタンの入力状況(押下されたか否か)を表すデータを含んでいてもよい。なお、これらのデータは、上記管理データ52として送信情報データ50に含まれてもよい。
【0150】
図6の説明に戻り、操作装置2は、上述のカメラ画像データを情報処理装置3へ送信する。ここで、操作装置2はカメラ画像データを圧縮して情報処理装置3へ送信する。具体的には、通信データ管理部27は、カメラ16から受け取ったカメラ画像データを圧縮する。通信データ管理部27は、圧縮されたカメラ画像データを無線モジュール33へ出力する。圧縮されたカメラ画像データは、無線モジュール33によって情報処理装置3へ送信される。これによって、情報処理装置3は、カメラ画像データを受信することができ、カメラ画像データを用いた情報処理を実行することができる。
【0151】
また、操作装置2は、上述のマイク音声データを情報処理装置3へ送信する。ここで、操作装置2はマイク音声データを圧縮して情報処理装置3へ送信する。具体的には、通信データ管理部27は、サウンドIC30を介してマイク32から受け取ったマイク音声データを圧縮する。通信データ管理部27は、圧縮されたマイク音声データを無線モジュール33へ出力する。圧縮されたマイク音声データは、無線モジュール33によって情報処理装置3へ送信される。これによって、情報処理装置3は、マイク音声データを受信することができ、マイク音声データを用いた情報処理を実行することができる。
【0152】
操作装置2は、第2拡張通信データを情報処理装置3へ送信する。第2拡張通信データとは、操作装置2と上述の外部装置とが通信を行う場合において、操作装置2から情報処理装置3へ送信するデータである。例えば、情報処理装置3が操作装置2を介して外部装置とデータのやり取りを行う場合、操作装置2は、情報処理装置3へ送信すべきデータを外部装置から受信する。通信データ管理部27は、例えば外部装置から受け取ったデータを第2拡張通信データとして情報処理装置3へ送信する。このように、第2拡張通信データによって、情報処理装置3は、操作装置2を介して外部装置から送信されてくるデータを取得することができる。なお、第2拡張通信データに関する通信の動作例については後述する(後述する“<5−4:外部装置と通信が行われる場合における動作>”参照)。
【0153】
なお、詳細は後述するが、図6に示す各データのうち、拡張通信データ(第1拡張通信データおよび第2拡張通信データ)は、不定期に送信される。つまり、情報処理装置3および操作装置2は、送信すべき拡張通信データが自機において発生すると、当該拡張通信データを相手側へ送信する。これによって、拡張通信データとして送信する情報が無い場合には、操作装置2と情報処理装置3との間で不要なデータを送信することなく、通信を効率良く行うことができる。一方、図6に示す各データのうち、拡張通信データ以外の他のデータは、定期的に(換言すれば、所定時間に1回の割合で繰り返し)送信されることが可能である。これによって、上記他のデータについては通信が途切れることなく受信側で定期的にデータを取得することができる。なお、上記他のデータは、常に定期的に送信される必要は無く、例えば操作装置2は、上記他のデータのうちの一部のデータ(例えばカメラ画像データおよびマイク音声データ)を送信するモードと、送信しないモードとの両方で動作可能であってもよい。
【0154】
本実施形態においては、図6に示す各データが操作装置2と情報処理装置3との間で送受信される。ただし、上記各データは必ずしも全て送信される必要はなく、これらのデータのうちのいくつかは送信されなくてもよい。例えば、情報処理装置3は出力音声データを送信しないモードで動作してもよいし、出力音声データを送信する機能を有していなくてもよい。また例えば、操作装置2はカメラ画像データおよび/またはマイク音声データを送信しないモードで動作してもよいし、カメラ画像データおよび/またはマイク音声データを送信する機能を有していなくてもよい(このとき、操作装置2はカメラ16および/またはマイク32を備えていなくてもよい)。また例えば、拡張通信データは、操作装置2と外部装置とが通信を行う場合にのみ送受信され、操作装置2と外部装置とが通信を行わない場合(操作装置2と通信可能な外部装置が存在しない場合)には送受信されなくてもよい。また、操作装置2は、外部装置と通信する機能を有していなくてもよく、各拡張通信データを送受信する機能を有していなくてもよい。
【0155】
(通信の優先度)
また、図6において示されるように、操作装置2と情報処理装置3との間で送受信される各データに対して、通信の優先度が設定される。この優先度は、操作装置2および情報処理装置3(各無線モジュール33および45)が複数のデータを送信可能である場合に、先に送信する優先順位を表す。換言すれば、優先度は、上記の場合に優先して送信されるデータの順序を表す。例えばWi−Fiの認証を受けた通信モジュールについては、このような優先度を設定することが可能である。
【0156】
本実施形態においては、各データについて優先度は次のように設定される。
優先度1:出力画像データおよび出力音声データ
優先度2:送信情報データ
優先度3:カメラ画像データおよびマイク音声データ
優先度4:制御データ
優先度5:第1拡張通信データ
優先度6:第2拡張通信データ
上記のように、出力画像データおよび出力音声データは、最も優先して送信される。また、送信情報データは、出力画像データおよび出力音声データ以外の他のデータよりも優先して送信される。このように、出力画像データ、出力音声データ、および送信情報データは、他のデータよりも優先して送信される。これによれば、情報処理装置3の基本的な機能である、情報処理装置3からの出力画像(および出力音声)を出力する機能、および、操作内容を情報処理装置3へ送信する機能が、通信状況の悪化等によって低下する可能性を抑制することができる。
【0157】
また、各拡張通信データは、その他のデータよりも優先度は低い。これによれば、操作装置2と外部装置との間で通信が行われる場合であっても、各拡張通信データの送信のためにその他のデータの送信が遅延されることがないので、当該その他のデータを安定的に送信することができる。
【0158】
なお、図6に示す優先度の設定は一例であり、上記各データに対して設定される優先度は任意である。また、上記各データに対して優先度が設定されない(同じ優先度を設定する)ようにしてもよい。
【0159】
[5.操作装置と情報処理装置との間の通信動作]
次に、図8図12を参照して、操作装置2と情報処理装置3との間の通信動作について説明する。以下では、まず、図8および図9を参照して、操作装置2と情報処理装置3との間における通信の基本的な動作(外部装置が存在しない場合の動作)について説明する。その後、図10図12を参照して、操作装置2と外部装置とが通信を行う場合における動作について説明する。
【0160】
また、本実施形態においては、情報処理システム1は、2つまでの操作装置2に対応することが可能である。つまり、情報処理システム1は、情報処理装置と1台の操作装置2とが通信を行う第1通信モードと、情報処理装置と2台の操作装置2とが通信を行う第2通信モードとの両方のモードで動作可能である。
【0161】
<5−1:操作装置と情報処理装置との通信(第1通信モード)>
まず、第1通信モードにおける通信について説明する。図8は、第1通信モードにおいて、操作装置2と情報処理装置3との間で送受信される各データの送信タイミングを示す図である。なお、図8においては、1つの矩形ブロックが、データ送信の1単位(1つのパケット)を示している(図9においても同様)。
【0162】
(同期信号)
図8において、一点鎖線より上には、情報処理装置3から操作装置2へ送信されるデータ(ダウンストリーム)が示される。情報処理装置3は、操作装置2へ同期信号を送信する。同期信号は、情報処理装置3および操作装置2におけるいくつかの処理に関して同期を取るための信号である。つまり、同期信号によって、情報処理装置3および操作装置2における処理のタイミングを揃えることができる。情報処理装置3は、所定時間T1の間隔で同期信号を送信する。操作装置2は、上記時間T1の間隔で同期信号を受信する。詳細は後述するが、出力画像データは同期信号と同期を取って送信され、出力画像データが表す画像の更新間隔は上記時間T1となる。つまり、時間T1は1フレーム時間であると言うことができる。上記時間T1は、例えば16.68[msec]に設定される。このとき、同期信号の送信頻度、すなわち、出力画像データが表す画像の更新頻度(フレームレート)は、約59.94[fps](一般的には60[fps]と言われることもある)となる。
【0163】
(出力画像データ)
情報処理装置3は、操作装置2へ出力画像データを送信する。本実施形態において、情報処理装置3は、所定の頻度で1画像分(1画面分)の出力画像データを送信する。すなわち、情報処理装置3は、上記1フレーム時間の間に1画像分の出力画像データを送信する。操作装置2は、上記所定の頻度で1画像分の出力画像データを受信する。その結果、表示部11は1フレーム時間に1回の割合で画像を更新して表示する。また、情報処理装置3は、出力画像データを複数の(図では20個)パケットに分割して送信する。本実施形態において、出力画像データの圧縮および送信の方法はどのような方法でもよい。例えば、圧縮伸張部44は1画像分の画像を複数の領域に分割し、分割された領域毎に圧縮処理を行ってもよい。このとき、無線モジュール45は、上記領域の圧縮されたデータを複数のパケットに分割して送信する。各パケットは、所定時間(例えば569[μsec])間隔で送信される。
【0164】
なお、情報処理装置3(例えば圧縮伸張部44)は、通信状況に応じて、および/または、操作装置2と情報処理装置3との間で送受信されるデータ量に応じて、分割数を変更してもよい。例えば、操作装置2と情報処理装置3との間で送信し得る各種のデータのうちで一部のデータが送信されない第1モード(例えば操作装置2がマイク音声データおよびカメラ画像データを送信しないモード)と、上記各種のデータを全て送信する第2モードとの両方で情報処理システム1が動作可能である場合を考える。この場合、第1モードにおいては上記分割数が相対的に多く設定され、第2モードにおいては上記分割数が相対的に少なく設定されてもよい。
【0165】
また、出力画像データは、同期信号と同期を取って送信される。情報処理装置3は、同期信号により決められるタイミングで出力画像データを送信する。具体的には、情報処理装置3は、同期信号が送信されてから、所定時間T2の経過後に出力画像データ(出力画像データの最初のパケット)を送信する。上記時間T2は、例えば3401[μsec]に設定される。
【0166】
(出力音声データ)
情報処理装置3は、操作装置2へ出力音声データを送信する。出力音声データは、同期信号(換言すれば、出力画像データ)とは非同期で送信される。換言すれば、情報処理装置3は、同期信号とは独立したタイミングで出力音声データを送信する。操作装置2は、同期信号とは独立したタイミングで情報処理装置3から出力音声データを受信する。また、情報処理装置3は、出力音声データの1つのパケットを所定時間T3の間隔で送信する。上記時間T3は、例えば8.83[msec]に設定される。このとき、出力音声データの1つのパケットは1フレーム時間に2回あるいは1回送信される。
【0167】
(送信情報データ)
また、図8において、一点鎖線より下には、操作装置2から情報処理装置3へ送信されるデータ(アップストリーム)が示される。操作装置2は、上記送信情報データを情報処理装置3へ送信する。本実施形態において、操作装置2は、所定の頻度で送信情報データを送信する。すなわち、操作装置2は、所定時間T4の間隔で送信情報データを送信する。情報処理装置3は、上記所定の頻度で操作装置2から送信情報データを受信する。上記時間T4は、例えば、上記同期信号の送信間隔T1の1/m(mは1以上の整数)に設定される。具体的には、時間T4は、例えば5.56(=T1/3)[msec]に設定される。このとき、送信情報データは、1画像分の出力画像データの送信頻度に対して上記m倍の頻度で送信されることになる。
【0168】
また、送信情報データは、同期信号と同期を取って送信される。すなわち、操作装置2は、同期信号により決められるタイミングで送信情報データを送信する。具体的には、操作装置2は、同期信号が送信されてから所定時間T5が経過した時点で送信情報データを送信するための処理を開始する。上記時間T5は、例えば16[msec]に設定される。なお、操作装置2は、同期信号の送信から受信までの時間が十分に短い場合には、同期信号を受信した時点を上記「同期信号が送信された時点」としてもよい。また、操作装置2は、同期信号を受信した時点から所定時間の経過後に送信情報データを送信してもよい。
【0169】
なお、本実施形態においては、操作装置2は、同期信号により決められるタイミングで同期を取って操作装置2内の所定の動作を行う。例えば、操作装置2は、同期信号が送信されてから所定時間T5が経過した時点で、出力画像データの画像表示(描画)処理を開始する。上記時間T5は例えば16[msec]に設定される。この場合には、すべての出力画像データの受信前に描画処理が開始されるが、前述のように画像の領域が分割されているので、操作装置2は、受信されて復号済みの領域の画像から描画処理を行うことが可能である。すべての出力画像データの受信と復号化は、遅くとも最後の領域が描画される前に完了している。描画処理は、その描画処理が開始されたフレーム期間(第1同期信号を送ってから次に第1同期信号を送るまでに期間)の次のフレーム期間において描画処理が開始されるタイミングまでには完了する。したがって、同期信号を送信してから操作装置2において出力画像が表示されるまでに要する時間は、T1+T5以内であって、これは2フレーム分の時間よりも短い。したがって、本実施形態においては、情報処理装置3から無線を介して操作装置2へ画像を送信しているにも関わらず、操作装置において非常に高速な描画を行うことが可能となっている。
【0170】
(カメラ画像データ)
操作装置2は、上記カメラ画像データを情報処理装置3へ送信する。操作装置2は、1画像分のカメラ画像データを所定の頻度で送信する。情報処理装置3は、上記所定の頻度で1画像分のカメラ画像データを操作装置2から受信する。例えば図8に示すように、操作装置2は、1画像分のカメラ画像データを2フレーム時間の間に(2フレーム時間に1つの割合で)送信する。つまり、1画像分の出力画像データの送信頻度に対する1画像分のカメラ画像データの送信頻度は1/2である。
【0171】
カメラ画像データの圧縮および送信の方法はどのような方法でもよい。例えば、通信データ管理部27は、1画像分のカメラ画像データに対して圧縮処理を行ってもよい。また、無線モジュール33は、圧縮されたカメラ画像データを複数(図8では15個)のパケットに分割して送信してもよい。なお、操作装置2(例えば通信データ管理部27)は、通信状況に応じて、および/または、操作装置2と情報処理装置3との間で送受信されるデータ量に応じて圧縮率(換言すれば、パケットの数)を変更してもよい。例えば、上記第1モードにおいては圧縮率が相対的に低く設定され、上記第2モードにおいては圧縮率が相対的に高く設定されてもよい。
【0172】
また、カメラ画像データは、同期信号(換言すれば、送信情報データ)とは同期を取って送信される。すなわち、操作装置2は、同期信号により決められるタイミングでカメラ画像データを送信する。本実施形態においては、操作装置2は、1画像分のカメラ画像データのうちの最後のパケットについて同期信号と同期を取って送信し、当該最後のパケット以外の他のパケットについては、送信が可能となり次第(すなわち、圧縮が完了し次第)送信する。具体的には、操作装置2は、同期信号が送信されてから所定時間T6が経過した時点で、上記最後のパケットを送信する。本実施形態において、上記時間T6は、2フレーム時間(T1×2)よりも短い時間に設定される。これによって、上述のように、1画像分のカメラ画像データを2フレーム時間に1つの割合で送信することができる。なお、本実施形態の変形例においては、操作装置2は、1画像分のカメラ画像データを構成する各パケットを、同期信号と同期を取って送信してもよいし、同期信号とは非同期でカメラ画像データを送信してもよい。
【0173】
(マイク音声データ)
操作装置2は、上記マイク音声データを情報処理装置3へ送信する。マイク音声データは、同期信号(換言すれば、送信情報データ)とは非同期で送信される。換言すれば、操作装置2は、同期信号とは独立したタイミングでマイク音声データを送信する。また、操作装置2は、マイク音声データの1つのパケットを所定の頻度で送信する。すなわち、操作装置2は、マイク音声データの1つのパケットを所定時間T7の間隔で送信する。情報処理装置3は、マイク音声データ(マイク音声データの1つのパケット)を上記所定の頻度で操作装置2から受信する。上記時間T7は、例えば16[msec]に設定される。
【0174】
なお、同期信号との同期を取らないデータ(例えば上記マイク音声データ)に関して、操作装置2は、各パケットの送信タイミングを厳密に管理しなくてもよい。すなわち、同期信号との同期を取らないデータに関して、無線モジュール33は、当該データのパケットが送信できる状態になったことに応じてパケットを順次送信してもよい。
【0175】
<5−2:第2通信モードにおける動作)>
次に、上記第2通信モードにおける通信について説明する。図9は、第2通信モードにおいて、操作装置2と情報処理装置3との間で送受信される各データの送信タイミングを示す図である。
【0176】
ここで、情報処理システム1においては、情報処理装置3と操作装置2との間の通信が行われる前に、情報処理装置3と操作装置2との間で接続設定(ペアリングとも言う)処理が実行される。接続設定処理においては、情報処理装置3と操作装置2との間で識別情報のやり取り等が行われる。接続設定処理において1つの操作装置2が認識された場合、操作装置2および情報処理装置3は、上述したような第1通信モードで動作する。一方、接続設定処理において2つの操作装置2が認識された場合、操作装置2および情報処理装置3は第2通信モードで動作する。この場合、2つの操作装置2のうち一方の装置が第1操作装置に設定され、他方の装置が第2操作装置に設定される。詳細は後述するが、第1操作装置と第2操作装置とでは通信に関する処理に異なる部分がある。以下、第2通信モードにおける通信の詳細について説明する。
【0177】
(同期信号)
図9において、一点鎖線より上には、情報処理装置3から操作装置2へ送信されるデータ(ダウンストリーム)が示される。第2通信モードにおいて、情報処理装置3は、第1同期信号を第1操作装置へ送信し、第2同期信号を第2操作装置へ送信する。第1同期信号の送信処理は、上述の第1通信モードにおける同期信号の送信処理と同様である。一方、情報処理装置3は、第1同期信号の送信の後に続けて第2同期信号を第2操作装置へ送信する。ただし、第1同期信号と第2同期信号とは必ずしも連続して送信される必要はなく、第2同期信号は第1同期信号の送信直後に送信される必要はない。第2同期信号の送信間隔は、第2同期信号の送信間隔T1と同じである。
【0178】
(出力画像データ)
情報処理装置3は、2つの操作装置2へ出力画像データをそれぞれ送信する。すなわち、第1出力画像データが第1操作装置へ送信される。また、第2出力画像データが第2操作装置へ送信される。第1出力画像データは、第1操作装置で表示すべき出力画像を表す出力画像データである。第2出力画像データは、第2操作装置で表示すべき出力画像を表す出力画像データである。第1操作装置は、第1出力画像データを受信する。また、第2操作装置は、第2出力画像データを受信する。
【0179】
情報処理装置3は、上記1フレーム時間に1画像分の出力画像データを送信する。第2通信モードにおいて、情報処理装置3は、第1操作装置および第2操作装置へ同じ数の出力画像データを送信する。具体的には、本実施形態においては、情報処理装置3は、第1操作装置および第2操作装置へ交互に出力画像データを送信する(図9参照)。より具体的な処理としては、あるフレーム期間(第1同期信号を送ってから次に第1同期信号を送るまでに期間)において、情報処理装置3は第1出力画像データを第1操作装置へ送信する。このフレーム期間においては第2出力画像データは第2操作装置へ送信されない。上記のあるフレーム期間の次のフレーム期間において、情報処理装置3は第2出力画像データを第2操作装置へ送信する。当該次のフレーム期間においては第1出力画像データは第1操作装置へ送信されない。情報処理装置3は上記の処理を繰り返し実行することで、各操作装置2へ交互に出力画像データを送信する。以上より、1つの操作装置2に関して言えば、情報処理装置3は、出力画像データを所定の頻度で送信する第1通信モードと、所定の頻度の半分の頻度で出力画像データを送信する第2通信モードとの両方で動作可能であると言える。
【0180】
以上のように、第2通信モードにおいて、各操作装置2は、2フレーム時間(T1×2)に1回の頻度で1画像分の出力画像データを受信する。したがって、操作装置2における出力画像のフレームレート(更新頻度)は第1通信モードにおけるフレームレートの半分になる。すなわち、出力画像データが表す画像の更新頻度(フレームレート)は、約29.97[fps](一般的には30[fps]と言われることもある)となる。
【0181】
第2通信モードにおける各出力画像データの圧縮および送信の方法は、上述の第1通信モードと同様であってもよい。また、第2通信モードにおいて(第1通信モードと同様)、情報処理装置3(例えば圧縮伸張部44)は、通信状況に応じて、および/または、操作装置2と情報処理装置3との間で送受信されるデータ量に応じて、上述の分割数を変更してもよい。
【0182】
第2通信モードにおいて(第1通信モードと同様)、出力画像データは、同期信号と同期を取って送信される。すなわち、情報処理装置3は、第1同期信号により決められるタイミングで第1出力画像データを送信し、第2同期信号により決められるタイミングで第2出力画像データを送信する。第1同期信号に基づく第1出力画像データの送信タイミングは、上述の第1通信モードと同様である。上記時間T2は、(第1通信モードと同様)例えば3401[μsec]に設定される。一方、第2出力画像データについては、情報処理装置3は、第2同期信号が送信されてから、所定時間T2’の経過後に第2出力画像データ(第2出力画像データの最初のパケット)を送信する。上記時間T2’は、第2出力画像を送信するフレーム期間の最初に送信する第2同期信号を基準として、例えば2.184[msec]に設定される。なお、第2出力画像データの送信タイミングは、第2出力画像を送信するフレーム期間の1つ前のフレーム期間に送信する第2同期信号を基準として、当該第2同期信号の送信時点から例えば18.864(=16.68(1フレーム期間)+2.184)[msec]に設定されてもよい。
【0183】
(出力音声データ)
情報処理装置3は、2つの操作装置2へ出力音声データをそれぞれ送信する。すなわち、第1出力音声データが第1操作装置へ送信される。また、第2出力音声データが第2操作装置へ送信される。第1出力音声データは、第1操作装置で出力すべき出力音声を表す出力音声データである。第2出力音声データは、第2操作装置で出力すべき出力音声を表す出力音声データである。第1操作装置は、第1出力音声データを受信する。また、第2操作装置は、第2出力音声データを受信する。
【0184】
第2通信モードにおいて(第1通信モードと同様)、出力音声データは、同期信号(換言すれば、出力画像データ)とは非同期で送信される。すなわち、情報処理装置3は、第1同期信号とは独立したタイミングで第1出力音声データを送信する。また、情報処理装置3は、第2同期信号とは独立したタイミングで第2出力音声データを送信する。また、情報処理装置3は、第1出力音声データの1つのパケットを所定時間T3の間隔で送信し、第2出力音声データの1つのパケットを所定時間T3の間隔で送信する。図9に示すように、情報処理装置3は、第1出力音声データと第2出力音声データとをタイミングをずらして送信する。
【0185】
(送信情報データ)
また、図9において、一点鎖線より下には、各操作装置2から情報処理装置3へ送信されるデータ(アップストリーム)が示される。各操作装置2は、第1送信情報データおよび第2送信情報データを情報処理装置3へ送信する。第1送信情報データは、第1操作装置から送信される送信情報データである。第2送信情報データは、第2操作装置から送信される送信情報データである。第1操作装置が第1送信情報データを送信する処理は、上述の第1通信モードにおいて操作装置2が送信情報データを送信する処理と同様である。
【0186】
一方、第2送信情報データの送信間隔は、第1送信情報データと同じである。また、第2送信情報データは、第2同期信号と同期を取って送信される。すなわち、第2操作装置は、第2同期信号により決められるタイミングで第2送信情報データを送信する。具体的には、第2操作装置は、第2同期信号が送信されてから所定時間T5’が経過した時点で第2送信情報データを送信する。上記時間T5’は、第2送信情報データの送信タイミングが第1送信情報データの送信タイミングとずれるように設定される。すなわち、上記時間T5’は、上記時間T5から所定時間ΔTだけずれた時間(T5+ΔT)に設定される。これによれば、第1送信情報データと第2送信情報データとが衝突する可能性を低くすることができ、通信をより確実に行うことができる。具体的には、時間T5’は、例えば18.25[msec](ΔT=2.5[msec])に設定される。
【0187】
なお、第2通信モードにおいて(第1通信モードと同様)、操作装置2は、同期信号の送信から受信までの時間が十分に短い場合には、同期信号を受信した時点を上記「同期信号が送信された時点」としてもよい。また、操作装置2は、同期信号を受信した時点から所定時間の経過後に送信情報データを送信してもよい。
【0188】
また、第2通信モードにおいて(第1通信モードと同様)、各操作装置2は、同期信号により決められるタイミングで同期を取って操作装置2内の上記所定の動作を行う。なお、第2操作装置は、第2同期信号が送信されてから所定時間T5が経過した時点を基準として同期を取って上記所定の動作を行う。すなわち、各操作装置2は、同期信号が送信されてから所定時間T5が経過した時点で、出力画像データの画像表示(描画)処理を開始する。第2通信モードにおいても第1通信モードと同様、1つの出力画像に関する描画処理は、描画処理が開始されてから1フレーム時間(T1)が経過するまでに完了する。なお、第2通信モードにおいては上述のように、1つの操作装置2においては、2フレーム時間に1回の頻度で1画像分の出力画像データが受信される。したがって、出力画像データが送信されてこないフレーム期間において、各操作装置2は、当該フレーム期間の前のフレーム期間において表示に用いた出力画像データを再度用いて画像表示処理を実行する。つまり、各操作装置2は、出力画像データが送信されてこないフレーム期間においては、前のフレーム期間においてフレームバッファに記憶された画像データを用いて再度表示処理を行う。
【0189】
(カメラ画像データ)
各操作装置2は、第1カメラ画像データおよび第2カメラ画像データを情報処理装置3へ送信する。第1カメラ画像データは、第1操作装置から送信されるカメラ画像データである。第2カメラ画像データは、第2操作装置から送信されるカメラ画像データである。
【0190】
第2通信モードにおいて(第1通信モードと同様)、各操作装置2は、1画像分のカメラ画像データを所定の頻度で(例えば、2フレーム時間で1つの割合で)送信する。なお、本実施形態においては、第2通信モードにおいて、各操作装置2は、第1通信モードにおける圧縮率よりも高い圧縮率でカメラ画像データを圧縮して送信する。つまり、各操作装置2は、第1通信モードにおけるデータサイズよりも小さいデータサイズでカメラ画像データを送信する。したがって、第2通信モードにおいて1つの操作装置から送信されるカメラ画像データのパケット数は、第1通信モードにおけるパケット数よりも少なくなる(図8および図9参照)。そのため、カメラ画像データのパケットの送信間隔は、第1通信モードにおける送信間隔よりも大きくなる。
【0191】
上記のように、送信されるカメラ画像データのデータサイズを小さくすることによって、操作装置2と情報処理装置3との間における通信量を低減することができる。第2通信モードにおいては操作装置2が2台となるので、第1通信モードよりも上記通信量が大きくなる可能性がある。そのため、第2通信モードにおいてはカメラ画像データのデータサイズを小さくすることが有効である。
【0192】
また、操作装置2は(第1通信モードと同様)、各カメラ画像データを同期信号(換言すれば、送信情報データ)と同期を取って送信する。すなわち、各操作装置2は、1画像分のカメラ画像データのうちの最後のパケットを、同期信号が送信されてから所定時間T6が経過した時点で送信する。なお、各操作装置2における上記所定時間T6は互いに異なるように(換言すれば、最後のパケットの送信タイミングが2つの操作装置でずれるように)設定されてもよい。これによって、各操作装置2から送信される最後のパケットが衝突する可能性を低くすることができ、通信をより確実に行うことができる。
【0193】
(マイク音声データ)
各操作装置2は、第1マイク音声データおよび第2マイク音声データを情報処理装置3へ送信する。第1マイク音声データは、第1操作装置から送信されるマイク音声データである。第2マイク音声データは、第2操作装置から送信されるマイク音声データである。第2通信モードにおいて各操作装置2がマイク音声データを送信する方法は、第1通信モードにおけるマイク音声データの送信方法と同様である。
【0194】
なお、上記の説明においては、第2通信モードにおける各種の時間T1〜T7は、第1通信モードにおける時間T1〜T7と同じであるとしたが、これらの時間T1〜T7のいくつかまたは全部は2つの通信モードで異なる値に設定されてもよい。
【0195】
なお、図8または図9に示した各データ(パケット)を送信するタイミングの管理は、どの構成要素で行われてもよい。例えば、上記の管理は、無線モジュール(操作装置2においては無線モジュール33、情報処理装置3においては無線モジュール45)によって行われてもよい。また、操作装置2であれば通信データ管理部27が上記の管理を行ってもよいし、情報処理装置3であれば制御部41あるいは圧縮伸張部44が上記の管理を行ってもよい。
【0196】
また、図8および図9において示した各データのうちのいくつかのデータについては、操作装置2と情報処理装置3との間で常に送受信が行われなくてもよい。例えば、操作装置2は、カメラ画像データおよび/またはマイク音声データを必要に応じて情報処理装置3へ送信してもよい。すなわち、情報処理装置3においてカメラ画像データ(および/またはマイク音声データ)を用いた情報処理を実行する場合に、操作装置2はカメラ画像データ(および/またはマイク音声データ)を送信してもよい。なお、カメラ画像データおよび/またはマイク音声データが送信される間においては、これらのデータは定期的に(一定の頻度で)送信される。
【0197】
また、図8および図9に示すデータの他、情報処理装置3は、上述の制御データを操作装置2へ送信する。なお、制御データは、どのような方法で送信されてもよい。例えば、制御データは、一定の頻度で(例えば、1フレーム時間につき1回の頻度で)送信されてもよいし、制御データの送信頻度は不定(つまり、定期的に送信されるものではない)であってもよい。また、制御データは、上述の同期信号とは同期を取って送信されてもよいし、上述の同期信号とは非同期で送信されてもよい。
【0198】
<5−3:5−1,5−2に関する効果>
以上に示した構成および動作によって、操作装置2は、以下に示す効果を奏する。なお、以下に示す効果を奏するためには、操作装置2は、以下において効果とともに説明する構成を有していればよく、本実施形態における全ての構成を備えている必要はない。
【0199】
以上の第1および第2通信モードにおいては、操作装置2(より具体的には、入出力制御部21)は、操作装置2に対する操作に基づいて操作データを生成する。操作装置2(より具体的には、通信データ管理部27および無線モジュール33)は、1画像分の出力画像データを情報処理装置3から第1頻度(第1通信モードの例では時間T1に1回の頻度、第2通信モードの例では時間(T1×2)に1回の頻度)で受信し、第1頻度よりも高い第2頻度(上記例では時間T4(=T1/3)に1回の頻度)で情報処理装置3へ操作データを送信する。これによれば、操作装置2において表示される画像の更新頻度よりも高い頻度で操作データが送信されるので、操作装置2に対する操作内容を高い頻度で情報処理装置3へ伝達することができ、操作性の良い操作装置2を提供することができる。また、操作装置2は、一定の操作性を提供できる程度に操作データの送信頻度を確保しつつ、情報処理装置3から出力画像データを受信して画像を表示することができる。
【0200】
なお、上記において、操作データの一部または全部は、前回に送信した操作データと同じとなる場合があっても上記の効果を奏することができる。例えば、操作装置2は、操作データの一部のデータについては、操作データが複数回送信される度に1回の割合でその内容を更新して操作データを送信してもよい。つまり、操作データに含まれるデータのうちの所定のデータについては、操作データ自身の送信頻度よりも低い頻度でその内容が更新されてもよい。なお、上記所定のデータとしては、例えば操作データの送信頻度よりも検出頻度が低いセンサに基づくデータが考えられる。
【0201】
なお、操作装置2において表示される画像の更新頻度よりも高い頻度で操作データを送信することを必要としない場合には、上記第2頻度は上記第1頻度よりも必ずしも高く設定される必要はなく、第2頻度は第1頻度以下に設定されてもよい。
【0202】
また、第1および第2通信モードにおいて、操作装置2は、出力画像データを受信する頻度の整数倍(第1通信モードの例では3倍、第2通信モードの例では6倍)の頻度で操作データを送信する。これによれば、出力画像データを受信する1周期の間に操作データを送信する回数は一定となる。換言すれば、情報処理装置3は、1フレーム時間内に一定数の操作データを受信することができる。これによって、操作装置2の操作性を向上することができる。なお、本実施形態の変形例においては、操作データの送信頻度は出力画像データの受信頻度の整数倍に設定されなくてもよい。
【0203】
また、第1および第2通信モードにおいて、情報処理装置3は、同期信号を操作装置2へ送信し、当該同期信号に基づくタイミングで出力画像データを送信する。そして、操作装置2は、情報処理装置3から送信されてくる同期信号に基づくタイミングで操作データを送信する。これによれば、操作装置2で受信される画像と操作装置2から送信される操作データとの同期を取ることができるので、適切なタイミングでの操作データの送信をより確実に行うことができる。また、操作データの送信タイミングを情報処理装置3からの同期信号によって決めることができるので、操作データの遅延時間を保証することができる。なお、本実施形態の変形例においては、操作データは同期信号および/または出力画像データとの同期が取られず、同期信号および/または出力画像データとは独立したタイミングで送信されてもよい。
【0204】
また、第1および第2通信モードにおいて、操作装置2は、同期信号に基づくタイミングで出力画像データを更新して表示する。また、出力画像データは、上記第1頻度(出力画像データの送信頻度)で更新されて表示される。したがって、操作装置2は、同期信号に基づくタイミングで、かつ、上記第1頻度で出力画像データを更新して表示する。これによれば、操作装置2における画像表示タイミングと操作データの送信タイミングとを同期させることができ、操作データをより適切なタイミングで送信することができる。なお、本実施形態の変形例においては、出力画像の表示は同期信号とは独立したタイミングで行われてもよい。
【0205】
また、第1および第2通信モードにおいて、操作装置2は、同期信号を送信してから1フレーム時間内に出力画像を表示する。換言すれば、操作装置2は、同期信号を受信してから、上記第1頻度の間隔(T1=16.68[msec])よりも短い時間(T5=16[msec])内に、当該同期信号に基づくタイミングで送信された出力画像データの描画を開始する。これによれば、情報処理装置3で生成された出力画像について操作装置2において描画を開始するまでの遅延時間を、出力画像の1フレーム時間より小さくすることができる。なお、本実施形態の変形例においては、上記表示遅延時間は、出力画像の1フレーム時間以上に設定されてもよい。
【0206】
また、第1および第2通信モードにおいて、操作装置2は、同期信号とは独立したタイミングで情報処理装置3から出力音声データを受信する。したがって、操作装置2は、同期信号および/または出力画像データの受信状況にかかわらず、出力音声データを逐次受信して出力音声を逐次出力することができる。なお、本実施形態の変形例においては、情報処理装置3は、出力音声データの送信と同期信号の送信との同期を取るようにしてもよい。
【0207】
また、第1および第2通信モードにおいて、操作装置2は、同期信号とは独立したタイミングでマイク音声データを情報処理装置3へ送信する。したがって、操作装置2は、同期信号の受信状況にかかわらず、マイク音声データを逐次送信することができる。なお、本実施形態の変形例においては、操作装置2は、同期信号に基づくタイミングでマイク音声データを送信するようにしてもよい。
【0208】
また、第1通信モードにおいて、操作装置2は、カメラ16による1画像分のカメラ画像データを第1頻度よりも低い頻度(上記例では2フレーム時間に1回の頻度)で情報処理装置3へ送信する。これによれば、出力画像データはカメラ画像データの送信頻度よりも高い頻度で受信されるので、操作装置2は、カメラ画像データを送信する場合であっても、出力画像を高い頻度で表示することができる。なお、本実施形態の変形例においては、操作装置2は、カメラ画像データの送信頻度を出力画像データの受信頻度以上にしてもよい。
【0209】
また、第1および第2通信モードにおいて、操作装置2は、上記1の頻度よりも高くかつ上記第2頻度よりも低い頻度で(上記例では1フレーム時間に1回以上の頻度)1パケット分の出力音声データを情報処理装置3から受信する。これによれば、操作装置2は、1フレーム時間内に少なくとも1回は出力音声データを受信することができるので、出力音声データが表す音声を出力する処理を適切な頻度で実行することができる。なお、本実施形態の変形例においては、出力音声データを受信する頻度は任意であってもよい。
【0210】
また、第1通信モードにおいて、操作装置2は、上記第1頻度よりも高くかつ上記第2頻度よりも低い頻度で、で、マイク32による1パケット分の音声データを情報処理装置3へ送信する。これによれば、操作装置2は、1フレーム時間内に少なくとも1回の頻度でマイクによる音声データを送信するので、情報処理装置3は、マイクによる音声データに対する情報処理を適切な頻度で実行することができる。なお、本実施形態の変形例においては、音声データを送信する頻度は任意であってもよい。
【0211】
また、第1および第2通信モードにおいて、操作装置2は、操作データ(送信情報データ)を所定時間T4に1回の頻度で生成し、操作データが生成される度に当該生成された操作データを送信する。つまり、操作装置2は、送信の度に新しく生成される操作データを送信する。換言すれば、操作装置2は、前回に送信した操作データが表す操作が行われた後に行われた操作に基づいて生成された操作データを、前回に送信した操作データの次に送信する。これによれば、常に新しい内容の操作データが送信されるので、操作装置2は実質的に高い頻度で操作内容を情報処理装置3へ伝達することができ、操作装置2の操作性を向上することができる。なお、本実施形態の変形例においては、操作データの一部または全部は、必ずしも送信の度に新しく生成されなくてもよい。
【0212】
また、操作装置2は、タッチパネル12、加速度センサ23、およびジャイロセンサ24のうち少なくとも1つを含むセンサ部を備える。ここで、詳細は後述するが、操作装置2は、上記センサ部の出力に基づくデータを含む操作データを生成する(後述の“[6.操作データの生成]”を参照)。上述のように、操作データは高い頻度で(例えば、出力画像データの受信頻度より高い頻度で)送信されるので、操作装置2は、上記センサ部の出力に基づくデータを高い頻度で情報処理装置3へ送信することができる。センサ部の出力結果を高い頻度で情報処理装置3へ伝達することができるので、センサ部によって検出される操作の操作性を向上することができる。なお、本実施形態の変形例においては、操作データは、センサ部の出力に基づくデータを含まなくてもよい。
【0213】
また、第1および第2通信モードにおいて、操作装置2(より具体的には、入出力制御部21)は、操作装置2に対する操作に基づいて操作データを生成する。操作装置2(より具体的には、通信データ管理部27および無線モジュール33)は、情報処理装置3から送信される同期信号に基づくタイミングで送信される1画像分の出力画像データを情報処理装置3から上記第1頻度で受信し、情報処理装置3から送信されてくる同期信号に基づくタイミングでかつ第1頻度の整数倍の第2頻度で情報処理装置3へ操作データを送信し、カメラ16による1画像分のカメラ画像データを第1頻度の1/n(nは自然数)の第3頻度で情報処理装置3へ送信する。これによれば、操作装置2において表示される画像の更新頻度の整数倍の頻度で操作データが送信されるので、操作性の良い操作装置2を提供することができる。また、操作装置2は、一定の操作性を提供できる程度に操作データの送信頻度を確保しつつ、情報処理装置3から出力画像データを受信して画像を表示することができる。また、同期信号を用いることによって、操作装置2は、適切なタイミングでの操作データの送信をより確実に行うことができ、また、操作データの送信タイミングを同期信号によって決めることで操作データの遅延時間を保証することができる。さらに、カメラ画像データを第1頻度の1/n(nは自然数)の第3頻度で送信することによって、操作装置2は、カメラ画像データを送信する場合であっても、出力画像を高い頻度で表示することができる。
【0214】
また、第1および第2通信モードにおいて、操作装置2(より具体的には、入出力制御部21)は、操作装置2に対する操作に基づいて操作データを生成する。操作装置2(より具体的には、通信データ管理部27および無線モジュール33)は、カメラ16によって生成されるカメラ画像データを所定の頻度(上記例では2フレーム時間に1回の頻度)で情報処理装置3へ送信し、カメラ16による1画像分のカメラ画像データを送信する頻度よりも高い頻度(上記第2頻度)で操作データを情報処理装置3へ送信する。これによれば、カメラ画像データよりも高い頻度で操作データが送信されるので、操作装置2に対する操作内容を高い頻度で情報処理装置3へ伝達することができ、操作性の良い操作装置2を提供することができる。また、操作装置2は、一定の操作性を提供できる程度に操作データの送信頻度を確保しつつ、情報処理装置3に対してカメラ画像データを送信することができる。なお、上記においては、情報処理装置3から送信される出力画像データを受信する頻度(第1頻度)は任意であり、当該頻度によらず操作装置2は上記の効果を奏することができる。
【0215】
さらに、第1および第2通信モードにおいて、操作装置2は、カメラ16による1画像分のカメラ画像データを送信する頻度(上記例では時間(T1×2)に1回の頻度)の整数倍の頻度(上記例では時間T4(=T1/3)に1回の頻度)で操作データを送信する。これによれば、カメラ画像データを送信する1周期の間に操作データを送信する回数は一定となる。したがって、情報処理装置3は、カメラ画像データと操作データとを一定の比率で受信することができるので、情報処理装置3における処理を簡易化することができる。なお、本実施形態の変形例においては、操作データの送信頻度は出力画像データの受信頻度の整数倍に設定されなくてもよい。
【0216】
また、本実施形態において、操作装置2(より具体的には、入出力制御部21)は、操作装置2に対する操作に基づいて操作データを生成する。操作装置2(より具体的には、通信データ管理部27および無線モジュール33)は、出力画像データを情報処理装置3から受信し、情報処理装置3へ操作データを送信する。操作装置2は、第1頻度(上記例では1フレーム時間に1回の頻度)で出力画像データを受信する第1通信モードと、第1頻度の半分の頻度(上記例では2フレーム時間に1回の頻度)で出力画像データを受信する第2通信モードとの両方で動作可能である。これによれば、操作装置2は、第1頻度で1台の操作装置2へ出力画像データを送信する情報処理装置3の動作に対応可能であるとともに、第1頻度の半分の頻度で2台の操作装置2へそれぞれ出力画像データを送信する情報処理装置3の動作にも対応可能である。つまり、操作装置2は、情報処理装置3に対して1台を無線接続して使用することと、情報処理装置3に対して2台を無線接続して使用することとの両方が可能となる。なお、上記においては、情報処理装置3から各種のデータ(出力画像データ等)を受信する頻度、および、操作装置2から操作データ以外のデータを送信する頻度は任意であり、これらの頻度によらず、操作装置2は上記の効果を奏することができる。
【0217】
なお、操作装置2は、第1通信モードおよび第2通信モードのうちのいずれか1つのモードにのみ対応するものであってもよい。すなわち、操作装置2は、上記第1通信モードにおける動作を行う機能を有し、かつ、上記第2通信モードにおける動作を行う機能を有していなくてもよい。また、操作装置2は、上記第1通信モードにおける動作を行う機能を有しておらず、かつ、上記第2通信モードにおける動作を行う機能を有していなくてもよい。このとき、操作装置2は、上記第1操作装置の動作を行う機能と、上記第2操作装置の動作を行う機能との両方の機能を有していてもよいし、いずれか一方の機能を有していてもよい。
【0218】
また、操作装置2(より具体的には、通信データ管理部27および無線モジュール33)は、第1通信モードおよび第2通信モードのいずれのモードにおいても、第1頻度よりも高い第2頻度で情報処理装置3へ操作データを送信する。これによれば、操作装置2は、上記2つのモードのいずれにおいても出力画像データの送信頻度よりも高い頻度で情報処理装置3へ操作データを送信することができる。したがって、操作装置2に対する操作内容を高い頻度で情報処理装置3へ伝達することができ、操作性の良い操作装置2を提供することができる。なお、本実施形態の変形例においては、第1通信モードおよび第2通信モードにおける操作データの送信頻度は任意であってもよい。
【0219】
また、第1通信モードおよび第2通信モードにおいて、情報処理装置3は、同期信号を操作装置2へ送信し、当該同期信号に基づくタイミングで出力画像データを送信する。操作装置2は、情報処理装置3から送信されてくる同期信号に基づくタイミングで操作データを送信する。このとき、操作装置2は、第2通信モードにおいて、情報処理装置3と通信可能な他の装置(他の操作装置)が操作データを送信するタイミングとは異なるタイミングで操作データを送信することが可能である。これによれば、第2通信モードにおいて2台の操作装置2が情報処理装置3と通信を行う場合に、操作データが衝突する可能性を低減することができる。なお、本実施形態の変形例において、2つの操作装置から送信される操作データの送信タイミングは任意であってもよい。
【0220】
さらに、操作装置2は、第2通信モードにおいて、第1通信モードと同じタイミングで操作データを送信するモード(上記第1操作装置の動作モード)と、第1通信モードと異なるタイミングで操作データを送信するモード(上記第2操作装置の動作モード)との両方で動作可能である。これによれば、情報処理装置3と無線通信可能な他の装置(他の操作装置)との間で操作データの送信タイミングを容易にずらすことができる。
【0221】
また、操作装置2は、第1通信モードおよび第2通信モードのいずれの場合においても、操作装置2が備えるカメラ16による1画像分のカメラ画像データを所定の頻度で情報処理装置3へ送信する。これによれば、操作装置2は、第1通信モードおよび第2通信モードのいずれの場合においても同じ頻度でカメラ画像データを送信することができる。つまり、操作装置2は、1台で使用される場合であっても2台で使用される場合であっても、同じ頻度でカメラ画像データを送信することができる。なお、本実施形態の変形例においては、操作装置2は、第1通信モードと第2通信モードとでカメラ画像データの送信頻度が異なるようにしてもよい。例えば、操作装置2は、第2通信モードにおけるカメラ画像データの送信頻度を、第1通信モードにおける送信頻度よりも低く設定してもよい。
【0222】
また、操作装置2は、第2通信モードにおいては、第1通信モードの場合よりも1画像分のデータ量を減らしてカメラ画像データを情報処理装置3へ送信する。ここで、第2通信モードにおいては操作装置2が2台となるので、操作装置2と情報処理装置3との間における通信量が第1通信モードよりも大きくなる傾向がある。これに対して、上記によれば、操作装置2は、第2通信モードにおける上記通信量の増加を抑えつつ、第1通信モードと同じ頻度でカメラ画像データを送信することができる。なお、本実施形態の変形例においては、操作装置2は、第2通信モードにおけるカメラ画像データのデータ量を第1通信モードにおけるデータ量と同じに設定してもよい。
【0223】
また、上記実施形態においては、操作装置2は、操作データを他のデータ(管理データ52)とともに情報処理装置3へ送信した。ここで、操作データが他のデータとともに情報処理装置3へ送信される(送信情報データに含める形で送信される)か、それとも、単独で送信されるかに関わらず、操作装置2は、“<5−3>”において説明した上記の効果を奏することができる。
【0224】
<5−4:外部装置と通信が行われる場合における動作>
次に、操作装置2と外部装置とが通信を行う場合における動作について説明する。本実施形態においては、外部装置との通信のために、操作装置2と情報処理装置3との間の通信において、上述した各拡張通信データおよび通信管理データが用いられる。すなわち、操作装置2と情報処理装置3との間においては、情報処理装置3からの通信に関する指令を表すデータ、および、外部装置に対して送受信されるデータは、拡張通信データ(第1拡張通信データまたは第2拡張通信データ)として送受信される。また、操作装置2と外部装置との通信に関する状態を情報処理装置3が認識するべく、当該状態を表す通信管理データが操作装置2から情報処理装置3へ送信される。以下、操作装置2と外部装置とが通信を行う場合における動作の詳細について説明する。
【0225】
(赤外線通信における動作)
まず、操作装置2と外部装置とが赤外線通信を行う場合を説明する。図10は、通信管理データに含まれるデータの一例を示す図である。また、図11は、操作装置2と外部装置とが赤外線通信を行う場合における通信動作の一例を示す図である。
【0226】
まず、赤外線通信に用いられる通信管理データの詳細について説明する。図10に示すように、通信管理データ53は、赤外線通信データ61を含む。赤外線通信データ61は、赤外線通信部36による赤外線通信に関する状態を表す。赤外線通信データ61の具体的な内容は任意であるが、赤外線通信データ61は例えば以下のデータを含む。
【0227】
赤外線通信データ61は、接続状態データ62を含む。接続状態データ62は、赤外線通信部36と外部装置との赤外線通信の接続状態を表す。具体的には、接続状態データ62は、例えば上記赤外線通信が確立している(通信可能である)か否かを表すフラグのデータである。以下では、このフラグを「接続状態フラグ」と呼ぶ。なお、操作装置2の通信データ管理部27は、接続状態フラグのオン/オフを表すデータをメモリ29に記憶する。赤外線通信の開始前においては、接続状態フラグはオフに設定される。
【0228】
また、赤外線通信データ61は、赤外イベントデータ63を含む。赤外イベントデータ63は、上記赤外線通信におけるイベントの状態を表す。例えば、赤外イベントデータ63は、イベントの有無(イベントが発生したか否か)を表すフラグのデータである。以下では、このフラグを「赤外イベントフラグ」と呼ぶ。ここで、イベントとは、赤外線通信によって生じた事象であって、情報処理装置3に伝達すべき事象である。イベントの具体的な内容はどのようなものであってもよい。イベントの例としては、例えば、外部装置から情報処理装置3へ送信すべきデータの受信が操作装置2において完了したこと、および、赤外線通信においてエラーが発生したこと等が考えられる。なお、赤外イベントデータ63は、イベントの有無に加えて、あるいは、イベントの有無に代えて、発生したイベントの内容(種類)を表すものであってもよい。なお、操作装置2の通信データ管理部27は、赤外イベントフラグのオン/オフを表すデータをメモリ29に記憶する。赤外線通信の開始前においては、赤外イベントフラグはオフに設定される。
【0229】
以下、図11を参照して、操作装置2と外部装置とが赤外線通信を行う場合の動作を説明する。なお、本実施形態においては、赤外線通信に関する操作装置2における動作は、通信データ管理部27によって管理される。すなわち、通信データ管理部27は、赤外線通信部36を制御することによって外部装置との赤外線通信(赤外線信号の送受信)を行う。また、通信データ管理部27は、無線モジュール33を制御することによって情報処理装置3との通信(拡張通信データおよび送信情報データ等の送受信)を行う。ただし、上記動作の管理は、操作装置2におけるどの構成要素で行われてもよい。
【0230】
赤外線通信を開始する場合、情報処理装置3は、操作装置2へ接続指令を送信する。接続指令は、外部装置との赤外線通信による接続を行う旨を示す指令(コマンド)である。ここで、操作装置2と外部装置との通信(拡張通信)における操作装置2への指令は、当該指令を表す第1拡張通信データを操作装置2へ送信することによって行われる。すなわち、情報処理装置3は、接続指令を表す第1拡張通信データを操作装置2へ送信する。
【0231】
ここで、各拡張通信データ(第1拡張通信データおよび第2拡張通信データ)は、不定期に送信される(定期的には送信されない)データである。なお、「不定期に送信する」とは、送信すべき情報が発生した場合には当該情報を表すデータを送信し、発生していない場合にはデータを送信しない、という意味である。また、上述のように拡張通信データは、図6に示した各データのうちの他のデータ(拡張通信データ以外のデータ)に比べて優先度が低く設定される。したがって、本実施形態においては、拡張通信データは、上記他のデータに比べて送信機会が少ない(送信機会が確保されにくい)データであると言える。なお、図11において、拡張通信データによって送受信される情報は、太い斜線の矢印で示される。一方、送信情報データによって送受信される情報は、細い実線の矢印で示される。なお、図11および図12においては図示しないが、送信情報データは定期的に送信される。
【0232】
情報処理装置3からの接続指令を受信すると、操作装置2は、外部装置との赤外線通信を開始する。ここで、操作装置2が外部装置との赤外線通信を開始する方法としては、認証処理を行ってから通信を開始する方法と、認証処理を行わずに通信を開始する方法とがある。認証処理を行う場合、操作装置2は、接続指令を受信すると外部装置との間で認証処理を行う。そして、認証処理が成功(完了)すると、操作装置2は、上述の接続状態フラグをオンに設定する(図11において、“Connect On”と記載)。一方、認証処理を行わない場合、操作装置2は、接続指令を受信すると、接続状態フラグをオンに設定する。
【0233】
上述のように、接続状態データ62を含む送信情報データは所定時間間隔で情報処理装置3へ送信されている。また、接続状態フラグがオンに設定された後においては、操作装置2は、接続状態フラグがオンであることを表す接続状態データ62を含む送信情報データを生成する。そして、接続状態フラグがオンであることを表す接続状態データ62を含む送信情報データが情報処理装置3へ送信される。これによって、情報処理装置3は、接続状態フラグがオンであること、すなわち、操作装置2と外部装置との赤外線通信の通信接続が完了したことを認識することができる。なお、上記認証処理が行われる場合において、認証処理が失敗する場合には、接続状態フラグはオフに設定されたままである。したがって、接続状態フラグがオフであることを表す接続状態データ62を含む送信情報データが所定時間間隔で情報処理装置3へ送信されるので、情報処理装置3は、操作装置2と外部装置との赤外線通信の接続が完了していないことを認識することができる。このとき、情報処理装置3は、例えば、接続指令を送信してから所定時間を経過しても接続状態フラグがオンとならない場合には、赤外線通信の接続が失敗したと判断してもよい。
【0234】
操作装置2と外部装置との赤外線通信が開始されると、操作装置2と外部装置との間でデータの送受信が行われる。例えば、外部装置から情報処理装置3へ送信すべきデータが外部装置から操作装置2へ送信される処理等が行われる。なお、操作装置2と外部装置との間のデータの送受信は、どのような方法で行われてもよい。例えば、操作装置2および外部装置は、それぞれデータの送信と受信とを交互に行うようにしてもよい。
【0235】
赤外線通信の結果、操作装置2においてイベントが発生した場合、操作装置2は、赤外イベントフラグをオンに設定する(図11において、“Event On”と記載)。なお、イベントが発生した場合とは、例えば、情報処理装置3へ送信すべきデータを操作装置2が外部装置から受信完了した場合、あるいは、赤外線通信においてエラーが発生した場合等である。
【0236】
赤外イベントフラグがオンに設定された後において、操作装置2は、赤外イベントフラグがオンであることを表す赤外イベントデータ63を含む送信情報データを生成する。そして、当該送信情報データが情報処理装置3へ送信される。これによって、情報処理装置3は、赤外イベントフラグがオンであること、すなわち、赤外線通信に関してイベントが発生したことを認識することができる。
【0237】
情報処理装置3は、イベントが発生したことを認識すると、イベントに応じた何らかの動作を行う。具体的には、情報処理装置3は、所定の制御指令を操作装置2へ送信する。この制御指令の内容は任意であるが、例えば、制御指令として受信指令および/または送信指令が考えられる。受信指令とは、外部装置から情報処理装置3へ送信すべきデータを情報処理装置3が受信する旨、すなわち、当該データを操作装置2から情報処理装置3へ送信させる旨の指令である。また、送信指令とは、情報処理装置3から外部装置へ送信すべきデータを、操作装置2が外部装置へ送信する旨の指令である。なお、上述のように、上記所定の制御指令は、第1拡張通信データとして操作装置2へ送信される。また、上記送信指令の場合、情報処理装置3は、上記送信すべきデータを上記第1拡張通信データとして操作装置2へ送信する。
【0238】
操作装置2は、上記所定の制御指令を受信すると、赤外イベントフラグをオフに設定する(図11において、“Event Off”と記載)。発生したイベントに対する情報処理装置3の応答(所定の制御指令)があったので、さらに指令を送信する必要がないことを情報処理装置3に認識させるためである。なお、赤外イベントフラグがオフに設定された後において、操作装置2は、赤外イベントフラグがオフであることを表す赤外イベントデータ63を含む送信情報データを生成して情報処理装置3へ送信する。これによって、情報処理装置3は、赤外イベントフラグがオフであること、すなわち、イベントが発生していないことを認識することができる。
【0239】
また、操作装置2は、上記所定の制御指令を受信すると、当該制御指令に応じた動作を行う。例えば上記受信指令を受信した場合、操作装置2は、外部装置から受信したデータを情報処理装置3へ送信する。また例えば、上記送信指令を受信した場合、操作装置2は、外部装置へ送信すべきデータを情報処理装置3から受信し、当該データを外部装置へ送信する。また例えば、エラーが発生したことに応じて赤外イベントフラグがオンに設定された場合には、操作装置2は、エラーの内容を示す第2拡張通信データを情報処理装置3へ送信してもよい。
【0240】
上記所定の制御指令に応じた動作として、何らかのデータを情報処理装置3へ送信する場合、操作装置2は、当該データを第2拡張通信データとして送信する。本実施形態においては、第2拡張通信データは第1拡張通信データと同様、拡張通信データ以外の他のデータに比べて送信機会が少ないデータであると言える。
【0241】
上記所定の制御指令に応じた操作装置2の動作が完了すると、情報処理装置3は、切断指令を操作装置2へ送信する。切断指令は、外部装置との赤外線通信を切断(終了)する旨を示す指令である。すなわち、情報処理装置3は、切断指令を表す第1拡張通信データを操作装置2へ送信する。
【0242】
情報処理装置3からの切断指令を受信すると、操作装置2は、外部装置との赤外線通信を切断する処理(切断処理)を行う。例えば、操作装置2は、赤外線通信を切断する旨の制御データを外部装置へ送信する。切断処理によって外部装置との赤外線通信が終了すると、操作装置2は、接続状態フラグをオフに設定する(図11において、“Connect Off”と記載)。なお、接続状態フラグがオフに設定された後において、操作装置2は、接続状態フラグがオフであることを表す接続状態データを含む送信情報データを生成して情報処理装置3へ送信する。これによって、情報処理装置3は、接続状態フラグがオフであること、すなわち、操作装置2と外部装置との赤外線通信が完了したことを認識することができる。
【0243】
以上のように、赤外線通信の場合、情報処理装置3からの指令、および、外部装置から情報処理装置3までの間で送受信されるデータは、操作装置2と情報処理装置3との間では拡張通信データとして伝達される。本実施形態において、拡張通信データは、定期的に送信されないことから、および/または、優先度が低く設定されることから、送信機会が相対的に確保されにくいデータである。換言すれば、拡張通信データの送受信は、出力画像データおよび送信情報データ等の他のデータの送受信に対して影響が少ない。つまり、本実施形態においては、赤外線通信が当該他のデータの通信に大きな影響を与えないので、他のデータの通信を安定的に行うことができる。
【0244】
また、赤外線通信の通信状態を表す赤外線通信データ61については、送信情報データを用いて伝達される。上述のように、送信情報データは、定期的に送信されることから、および/または、(拡張通信データよりも)優先度が高く設定されることから、送信機会が相対的に確保されやすいデータである。したがって、送信情報データを用いて上記通信状態が情報処理装置3へ定期的に伝達されることによって、情報処理装置3は、通信状態を迅速に認識することができる。以上より、本実施形態においては、情報処理装置3は、赤外線通信の通信状態を迅速に認識することができるとともに、操作装置2と情報処理装置3との間の通信を安定的に行うことができる。
【0245】
(近距離無線通信における動作)
次に、図10および図12を参照して、操作装置2と外部装置(近距離無線通信においては、「タグ」と呼ばれることもある)とが近距離無線通信を行う場合を説明する。図12は、操作装置2と外部装置とが近距離無線通信を行う場合における通信動作の一例を示す図である。
【0246】
まず、近距離無線通信に用いられる通信管理データの詳細について説明する。図10に示すように、通信管理データ53は、近距離無線通信データ(以下、「NFCデータ」と記載する)64を含む。NFCデータ64は、近距離無線通信部37による近距離無線通信に関する状態を表す。NFCデータ64の具体的な内容は任意であるが、NFCデータ64は例えば以下のデータを含む。
【0247】
NFCデータ64は、検出状態データ65を含む。検出状態データ65は、操作装置2と近距離無線通信が可能な外部装置の検出状態を表す。具体的には、検出状態データ65は、上記外部装置が検出されたか否かを表すフラグのデータである。以下では、このフラグを「検出フラグ」と呼ぶ。なお、操作装置2の通信データ管理部27は、検出フラグのオン/オフを表すデータをメモリ29に記憶する。近距離無線通信の開始前においては、検出フラグはオフに設定される。
【0248】
NFCデータ64は、初期化状態データ66を含む。初期化状態データ66は、操作装置2において実行される、近距離無線通信に関する初期化処理(例えば、近距離無線通信部37の初期化処理)の状態を表す。具体的には、初期化状態データ66は、初期化処理が完了したか否かを表すフラグのデータである。以下では、このフラグを「初期化フラグ」と呼ぶ。なお、操作装置2の通信データ管理部27は、初期化フラグのオン/オフを表すデータをメモリ29に記憶する。近距離無線通信の開始前においては、接続状態フラグはオフに設定される。
【0249】
NFCデータ64は、NFCイベントデータ67を含む。NFCイベントデータ67は、上記近距離無線通信におけるイベントの状態を表す。例えば、NFCイベントデータ67は、イベントの有無(イベントが発生したか否か)を表すフラグのデータである。以下では、このフラグを「NFCイベントフラグ」と呼ぶ。ここで、イベントとは、近距離無線通信によって生じた事象であって、情報処理装置3に伝達すべき事象である。イベントの具体的な内容はどのようなものであってもよい。イベントの例としては、例えば、外部装置から情報処理装置3へ読み出すべきデータを外部装置から受信完了したこと、および、近距離無線通信においてエラーが発生したこと等が考えられる。なお、NFCイベントデータ67は、イベントの有無に加えて、あるいは、イベントの有無に代えて、発生したイベントの内容(種類)を表すものであってもよい。なお、操作装置2の通信データ管理部27は、NFCイベントフラグのオン/オフを表すデータをメモリ29に記憶する。近距離無線通信の開始前においては、NFCイベントフラグはオフに設定される。
【0250】
以下、図12を参照して、操作装置2と外部装置とが近距離無線通信を行う場合の動作を説明する。なお、本実施形態においては、近距離無線通信に関する操作装置2における動作は、通信データ管理部27によって管理される。すなわち、通信データ管理部27は、近距離無線通信部37を制御することによって外部装置との近距離無線通信を行う。また、通信データ管理部27は、無線モジュール33を制御することによって情報処理装置3との通信(拡張通信データおよび送信情報データ等の送受信)を行う。ただし、上記動作の管理は、操作装置2におけるどの構成要素で行われてもよい。
【0251】
近距離無線通信を開始する場合、情報処理装置3は、操作装置2へ初期化指令を送信する。初期化指令は、上記の初期化処理を行う旨を示す指令(コマンド)である。すなわち、情報処理装置3は、初期化指令を表す第1拡張通信データを操作装置2へ送信する。なお、図12においても図11と同様、拡張通信データによって送受信される情報は、太い斜線の矢印で示され、送信情報データによって送受信される情報は、細い実線の矢印で示される。
【0252】
情報処理装置3からの初期化指令を受信すると、操作装置2は、上記の初期化処理を実行する。操作装置2は、初期化処理が完了すると、上記の初期化フラグをオンに設定する(図12において、“Init On”と記載)。ここで、上述のように初期化状態データ66を含む送信情報データは、所定時間間隔で情報処理装置3へ送信されている。したがって、初期化状態フラグがオンに設定された後において、操作装置2は、初期化状態フラグがオンであることを表す接続状態データ62を含む送信情報データを生成し、当該送信情報データを情報処理装置3へ送信する。これによって、情報処理装置3は、初期化状態フラグがオンであること、すなわち、初期化処理が完了したことを認識することができる。
【0253】
情報処理装置3は、初期化処理が完了したことを認識すると、所定の制御指令を送信する。すなわち、所定の制御指令を表す第1拡張通信データを操作装置2へ送信する。この制御指令の内容は任意であるが、例えば、制御指令として読み出し指令および/または書き込み指令が考えられる。読み出し指令とは、外部装置からデータを読み出す旨、すなわち、操作装置2が外部装置からデータを受信して当該データを情報処理装置3へ送信させる旨の指令である。なお、読み出し指令の場合、操作装置2は、外部装置から読み出されたデータを上記第2拡張通信データとして情報処理装置3へ送信する。また、書き込み指令とは、外部装置にデータを書き込む旨、すなわち、外部装置に書き込むべきデータを、操作装置2が情報処理装置3から受信して外部装置へ送信する旨の指令である。なお、書き込み指令の場合、情報処理装置3は、上記書き込むべきデータを上記第1拡張通信データとして操作装置2へ送信する。
【0254】
操作装置2は、上記所定の制御指令を受信すると、外部装置を検知するための検知処理(例えばポーリング処理)を実行する。すなわち、操作装置2は、操作装置2との近距離無線通信が可能な外部装置を検知する。これによって、近距離無線通信が可能な程度に操作装置2と接近している外部装置があれば、当該外部装置が検知される。検知処理の結果、外部装置が検知されると、操作装置2は、上記の検出フラグをオンに設定する(図12において、“Detect On”と記載)。検出フラグがオンに設定された後において、操作装置2は、検出フラグがオンであることを表す検出状態データ65を含む送信情報データを生成し、当該送信情報データを情報処理装置3へ送信する。これによって、情報処理装置3は、検出フラグがオンであること、すなわち、操作装置2との近距離無線通信が可能な外部装置が検出されたことを認識することができる。なお、情報処理装置3は、例えば、制御指令を送信してから所定期間内に外部装置が検出されない場合には近距離無線通信を終了させる目的等で、検出フラグを用いるようにしてもよい。
【0255】
上記検知処理の後、操作装置2は、上記所定の制御指令に応じた処理を実行する。すなわち、操作装置2の近距離無線通信部37は、外部装置および/または情報処理装置3との間で必要に応じてデータの送受信を行う。例えば、制御指令が読み出し指令である場合、読み出すべきデータを外部装置から受信する。また例えば、制御指令が書き込み指令である場合、書き込むべきデータを情報処理装置3から受信し、当該データを外部装置へ送信する。
【0256】
上記所定の制御指令に応じた処理において、操作装置2においてイベントが発生した場合、操作装置2は、NFCイベントフラグをオンに設定する(図12において、“Event On”と記載)。なお、イベントが発生した場合とは、例えば、上記所定の制御指令に応じた処理が完了した場合、あるいは、当該処理においてエラーが発生した場合等である。NFCイベントフラグがオンに設定された後において、操作装置2は、NFCイベントフラグがオンであることを表すNFCイベントデータ67を含む送信情報データを生成する。そして、当該送信情報データが情報処理装置3へ送信される。これによって、情報処理装置3は、NFCイベントフラグがオンであること、すなわち、近距離無線通信に関してイベントが発生したことを認識することができる。なお、エラーが発生したことに応じてNFCイベントフラグがオンに設定された場合には、操作装置2は、エラーの内容を示す第2拡張通信データを情報処理装置3へ送信してもよい。
【0257】
情報処理装置3は、イベントが発生したことを認識すると、操作装置2へ確認指令を送信する。すなわち、情報処理装置3は、確認指令を表す第1拡張通信データを操作装置2へ送信する。確認指令は、上記制御指令に応じた処理が正常に完了したことを確認するための指令である。
【0258】
上記確認指令を受信すると、操作装置2は、NFCイベントフラグおよび検知フラグをそれぞれオフに設定する(図12において、“Event・Detect Off”と記載)。発生したイベントに対する情報処理装置3の応答(確認指令)があったので、さらに指令を送信する必要がないことを情報処理装置3に認識させるためである。なお、NFCイベントフラグおよび検知フラグがオフに設定された後において、操作装置2は、検知フラグがオフであることを表す検出状態データ65と、NFCイベントフラグがオフであることを表すNFCイベントデータ67とを含む送信情報データを生成して情報処理装置3へ送信する。これによって、情報処理装置3は、NFCイベントフラグがオフであること、すなわち、イベントが発生していないことを認識することができる。
【0259】
なお、上記確認指令を受信すると、操作装置2は、必要に応じて情報処理装置3および/または外部装置との間でデータの送受信を行う。例えば、上記制御指令が読み出し指令である場合、操作装置2は、外部装置から読み出したデータを情報処理装置3へとして送信する。このデータは、第2拡張通信データとして情報処理装置3へ送信される。
【0260】
上記所定の制御指令に応じた動作が完了すると、情報処理装置3は、終了指令を操作装置2へ送信する。終了指令は、外部装置との近距離無線通信を切断(終了)する旨を示す指令である。すなわち、情報処理装置3は、終了指令を表す第1拡張通信データを操作装置2へ送信する。
【0261】
情報処理装置3からの終了指令を受信すると、操作装置2は、近距離無線通信部37に対する終了処理を実行する。終了処理が完了すると、操作装置2は、上記の初期化フラグをオフに設定する(図12において、“Init Off”と記載)。初期化フラグがオフに設定された後において、操作装置2は、初期化フラグがオンであることを表す初期化状態データ66を含む送信情報データを生成する。そして、当該送信情報データが情報処理装置3へ送信される。これによって、情報処理装置3は、初期化フラグがオフであること、すなわち、操作装置2と外部装置との近距離無線通信が完了したことを認識することができる。
【0262】
以上のように、近距離無線通信においても赤外線通信と同様、情報処理装置3からの指令、および、外部装置から情報処理装置3までの間で送受信されるデータは、操作装置2と情報処理装置3との間では拡張通信データとして伝達される。これによって、近距離無線通信が拡張通信データ以外の他のデータの通信に大きな影響を与えることなく、当該他のデータの通信を安定的に行うことができる。また、近距離無線通信においても赤外線通信と同様、近距離無線通信の通信状態を表すNFCデータ64については、送信情報データを用いて伝達される。これによって、情報処理装置3は、通信状態を迅速に認識することができる。以上より、本実施形態においては、情報処理装置3は、近距離無線通信の通信状態を迅速に認識することができるとともに、操作装置2と情報処理装置3との間の通信を安定的に行うことができる。
【0263】
以上に説明した赤外線通信および近距離無線通信における動作に関して、操作装置2における情報処理(フラグデータの管理を含む)は、例えば、通信データ管理部27で行われる。ただし、この情報処理は、操作装置2における他の構成要素によって行われてもよい。
【0264】
なお、上記においては、拡張通信による操作装置2と外部装置との通信方法の一例として、赤外線通信および近距離無線通信において、拡張通信データと通信管理データとを用いて通信処理を実行する場合を説明した。ただし、拡張通信の通信方法はこれらの通信に限らず、どのような通信方法であってもよい。また、通信管理データは、赤外線通信および近距離無線通信の通信に関する状態を表すものであったが、これに限らない。通信管理データは、拡張通信による操作装置2と外部装置との通信に関する状態を表すものであってもよい。
【0265】
なお、通信管理データに含まれるデータは、1ビットで構成されてもよい。例えば、赤外線通信データ61に含まれる各データは、1ビットで構成されるフラグデータであってもよい。また例えば、NFCデータ64に含まれる各データは、1ビットで構成されるフラグデータであってもよい。通信管理データに含まれるデータが1ビットで構成される場合、送信情報データのデータサイズに実質的に影響を与えることなく、送信情報データに含めて拡張通信データを情報処理装置3へ送信することができる。
【0266】
<5−5:5−4に関する効果>
以上に示した構成および動作によって、操作装置2は、以下に示す効果を奏する。なお、以下に示す効果を奏するためには、操作装置2は、以下において効果とともに説明する構成を有していればよく、本実施形態における全ての構成を備えている必要はない。
【0267】
以上のように、操作装置2(より具体的には、入出力制御部21)は、操作装置2に対する操作に基づいて操作データを生成する。また、操作装置2は、情報処理装置3とは異なる他の外部装置との通信を行う。そして操作装置2は、外部装置との通信における管理情報を表す通信管理データを操作データとともに所定の頻度(上記例では時間T4に1回の頻度)で情報処理装置3へ送信する。これによれば、操作装置2は管理情報を情報処理装置3へ定期的に送信するので、情報処理装置3は、通信状態を迅速に認識することができる。なお、本実施形態の変形例においては、操作装置2は通信管理データを情報処理装置3へ送信しなくてもよいし、通信管理データを情報処理装置3へ不定期に送信してもよい。
【0268】
また、操作装置2は、送信機会が相対的に多い第1の種類のデータ(送信情報データ)と、送信機会が相対的に少ない第2の種類のデータ(第2拡張通信データ)とを情報処理装置3へ送信可能である。ここで、操作装置2は、通信管理データおよび操作データを、上記第1の種類のデータとして情報処理装置3へ送信し、外部装置から受信したデータを、上記第2の種類のデータとして情報処理装置3へ送信する。これによれば、情報処理システム1は、外部装置から受信したデータを情報処理装置3へ送信する場合であっても、通信管理データおよび操作データを安定的に送信することができる。なお、本実施形態の変形例においては、通信管理データ、操作データ、および、外部装置から受信したデータは、どのような方法で操作装置2から情報処理装置3へ送信されてもよい。例えば、送信頻度が同じとなる(あるいは、送信機会が同じとなる)方法でこれらのデータが送信されてもよい。
【0269】
また、操作装置2は、上記第2の種類のデータの送信よりも上記第1の種類のデータの送信を優先し(第2拡張通信データの優先度よりも送信情報データの優先度が高い)、かつ、第1の種類のデータの送信よりも出力画像データの受信を優先する(送信情報データの優先度よりも出力画像データの優先度が高い)無線通信方法を用いて情報処理装置との通信を行う。これによれば、情報処理システム1は、外部装置から受信したデータを情報処理装置3へ送信する場合において、通信管理データおよび操作データを安定的に送信することができるとともに、出力画像データをより安定的に受信することができる。なお、本実施形態のように、情報処理装置3から出力画像を受信して表示部11に表示する操作装置2においては、出力画像データをより安定的に受信することは有効である。なお、本実施形態の変形例においては、無線通信方法の具体的な内容は任意であり、上記第1の種類のデータと、上記第2の種類のデータと、出力画像データとの優先度はどのように設定されてもよい。
【0270】
[6.操作データの生成]
次に、図13を参照して、操作データの生成方法の詳細について説明する。図13は、操作データに含まれる各データを生成方法の一例を示す図である。上述のように、操作データは、操作装置2に対する操作に基づいて生成される。以下、操作データに含まれるデータの一例と、その生成方法の一例について説明する。
【0271】
(送信ボタンデータ)
操作データ51は、送信ボタンデータ71を含む。送信ボタンデータ71は、操作装置2が備える1以上のボタン(ここではボタン群14)に対する入力状況を表す。例えば、送信ボタンデータ71は、ボタン群14に含まれる各ボタンがそれぞれ押下されたか否かを表す。
【0272】
送信ボタンデータ71は、ボタン群14から出力されるボタンデータに基づくデータである。つまり、送信ボタンデータ71は、各ボタンから出力されるデータを単に1つにまとめたデータ(ボタンデータ)であってもよいし、当該ボタンデータに対して何らかの加工が施されたデータであってもよい。本実施形態においては、入出力制御部21は、ボタン群14からボタンデータを取得する。入出力制御部21は、取得したボタンデータをそのまま送信ボタンデータ71とする(図13参照)。
【0273】
以上のように、本実施形態においては、1つの操作データ51(1回に送信される操作データ51)に含まれる送信ボタンデータ71は、操作装置2が備える各ボタンから出力される上記ボタンデータの1回分のデータとなる。ここで、操作データ51は、ユーザがボタンを押下する一般的な頻度に比べると高い頻度で(例えば、時間T4(=5.56[msec])に1回の頻度で)送信される。したがって、1つの操作データ51には1回分のボタンデータが含まれていれば、ユーザによるボタン操作を十分に検知することができる。また、送信ボタンデータ71が1回分のボタンデータを含むようにすることで、操作データのデータサイズを抑えることができ、操作データのデータサイズを効率の良いものとすることができる。なお、本実施形態の変形例においては、1つの送信ボタンデータ71は、複数回分のボタンデータを含んでいてもよい。
【0274】
(送信指示方向データ)
操作データ51は、送信指示方向データ72を含む。送信指示方向データ72は、操作装置2を用いてユーザによって指示された方向に関する情報を表す。例えば、送信指示方向データ72は、ユーザによって指示された方向(例えば上述の可動部材が傾倒された方向)と、その方向に関する量(例えば可動部材が傾倒された量)とを表す。具体的には、縦方向および横方向の2軸方向の傾き量がそれぞれ検出され、出力される。これらの2軸成分の値は、方向および量を表す2次元ベクトルとみなすこともできる。なお、送信指示方向データ72は、上記方向および量に加えて、上記可動部材が押下されたか否かを表してもよい。また、本実施形態においては、方向入力部13は2つのアナログスティック13Aおよび13Bを含む。したがって、送信指示方向データ72は、アナログスティック13Aおよび13Bのそれぞれに対する指示方向に関する情報を表す。
【0275】
送信指示方向データ72は、方向入力部13から出力される指示方向データに基づくデータである。つまり、送信指示方向データ72は、指示方向データそのものであってもよいし、指示方向データに対して何らかの加工が施されたデータであってもよい。
【0276】
本実施形態においては、入出力制御部21は、操作データ51が送信される1周期分(時間T4)の期間に、4回分の指示方向データ(第1〜第4指示方向データ)を方向入力部から取得する。入出力制御部21は、取得した4回分の指示方向データが表す値の平均値を算出する。入出力制御部21は、算出された平均値を表すデータを送信指示方向データ72とする(図13参照)。
【0277】
以上のように、本実施形態においては、1つの操作データ51に含まれる送信指示方向データ72は、方向入力部13が検出する方向の1個分を表すデータ(上記指示方向データの1個分のデータ)となる。したがって、操作データのデータサイズを抑えることができ、操作データのデータサイズを効率の良いものとすることができる。また、本実施形態においては、送信指示方向データ72は、方向入力部13が検出する複数回分(4回分)の指示方向の平均値を表す。したがって、ユーザによる指示方向を精度良く算出することができ、ひいては操作装置2の操作性を向上することができる。なお、本実施形態の変形例においては、1つの送信指示方向データ72は、複数個分の指示方向データを含んでいてもよい。
【0278】
(送信加速度データ)
操作データ51は、送信加速度データ73を含む。送信加速度データ73は、操作装置2が備える加速度センサ23が検出する加速度に関する情報を表す。送信加速度データ73は、例えば3次元の加速度(ベクトルあるいは行列)を表すが、1次元以上の加速度を表すものであればよい。
【0279】
送信加速度データ73は、加速度センサ23から出力される加速度データに基づくデータである。つまり、送信加速度データ73は、加速度データそのものであってもよいし、当該加速度データに対して何らかの加工が施されたデータであってもよい。
【0280】
本実施形態においては、入出力制御部21は、操作データ51が送信される1周期分(時間T4)の期間に、4回分の加速度データ(第1〜第4加速度データ)を加速度センサ23から取得する。つまり、加速度センサ23は、方向入力部13と同じ頻度で検出結果を出力する。入出力制御部21は、取得した4回分の加速度データが表す値の平均値を算出する。入出力制御部21は、算出された平均値を表すデータを送信加速度データ73とする(図13参照)。
【0281】
以上のように、本実施形態においては、1つの操作データ51に含まれる送信加速度データ73は、加速度センサ23が検出する加速度の1個分を表すデータ(上記加速度データの1個分のデータ)となる。したがって、操作データのデータサイズを抑えることができ、操作データのデータサイズを効率の良いものとすることができる。また、本実施形態においては、送信加速度データ73は、加速度センサ23が検出する複数回分(4回分)の加速度の平均値を表す。したがって、操作装置2に対して加えられる加速度の検出精度を良くすることができ、ひいては操作装置2の操作性を向上することができる。なお、本実施形態の変形例においては、1つの送信加速度データ73は、複数個分の加速度データを含んでいてもよい。
【0282】
(送信角速度データ)
操作データ51は、送信角速度データ74を含む。送信角速度データ74は、操作装置2が備えるジャイロセンサ24が検出する角速度に関する情報を表す。送信角速度データ74は、例えば3次元の角速度(ベクトルあるいは行列)を表すが、1次元以上の角速度を表すものであればよい。
【0283】
送信角速度データ74は、ジャイロセンサ24から出力される角速度データに基づくデータである。つまり、送信角速度データ74は、角速度データそのものであってもよいし、当該角速度データに対して何らかの加工が施されたデータであってもよい。
【0284】
本実施形態においては、入出力制御部21は、操作データ51が送信される1周期分(時間T4)の期間に、9回分の角速度データ(第1〜第9角速度データ)をジャイロセンサ24から取得する。つまり、ジャイロセンサ24は、加速度センサ23よりも高い頻度で検出結果を出力する。入出力制御部21は、取得した9回分の角速度データが表す値の和を算出する。入出力制御部21は、算出された和を表すデータを送信角速度データ74とする(図13参照)。
【0285】
上記のように、本実施形態においては、送信角速度データ74は、角速度データの9個分の値(ジャイロセンサが検出する9回分の角速度の和)を表す。したがって、送信角速度データ74を受信する情報処理装置3は、角速度を用いた演算を行う場合、角速度データの9個分の値を表すものとして送信角速度データ74を取り扱う処理を行う。なお、操作データ51が送信される1周期分の期間に9回分の角速度データをジャイロセンサ24から取得することができない場合、操作装置2は、情報処理装置3での上記のような処理に適合するべく、取得した1回分以上の角速度データから、角速度データの9個分の値を表す送信角速度データ74を生成してもよい。例えば、ジャイロセンサ24から上記期間に1回分の角速度データのみが取得される場合、操作装置2は、当該1回分の角速度データの値を9倍することで送信角速度データ74を生成してもよい。
【0286】
以上のように、本実施形態においては、1つの操作データ51に含まれる送信角速度データ74は、ジャイロセンサ24が検出する複数回(9回)分の角速度を加算した値を表すデータである。したがって、単に9回分の角速度データを送信する場合に比べて操作データのデータサイズを抑えることができ、操作データのデータサイズを効率の良いものとすることができる。また、操作装置2は、9回分の角速度データの値を加算するものの、平均値を算出していない(除算を行わない)。そのため、操作装置2は、操作データの生成処理を簡易化することができ、操作装置2の処理負荷を軽減することができる。
【0287】
なお、本実施形態においては、上記方向入力部13および加速度センサ23に関しては、取得されるデータが2のn乗個(nは1以上の整数。ここでは4個)であるので、操作装置2は、平均値を算出するための除算を簡単な演算(ビットシフト演算)で行うことができる。加速度センサ23および方向入力部13に関しては、ジャイロセンサ24に比べて出力値の急激な変化があまり想定されないので、2のn乗にサンプリング数を制限しても十分な精度が得られる。一方、本実施形態においては、ジャイロセンサ24に関しては、取得されるデータが2のn乗個ではないので、操作装置2は、平均値を算出するための除算をビットシフト演算で行うことはできない。そのような場合であっても、ジャイロセンサ24のデータに関しては、急激な変化を含み得るものであるので、2のn乗にサンプリング数を制限するよりもできるだけ多くのサンプリング数のデータを用いる方が精度を確保する上で好ましい。そのため、本実施形態のように、平均値を算出せずに加算値を算出することは、操作装置2の処理負荷を軽減するために有効である。
【0288】
なお、本実施形態の変形例においては、1つの送信角速度データ74は、1個分の角速度データで構成されてもよい。また、1つの送信角速度データ74は、ジャイロセンサ24が検出する複数回分の角速度の平均値を表すものであってもよい。
【0289】
(送信磁気データ)
操作データ51は、送信磁気データ75を含む。送信磁気データ75は、操作装置2が備える磁気センサ25が検出する磁気方向に関する情報を表す。送信磁気データ75は、例えば3次元の磁気方向(ベクトルあるいは行列)を表すが、1次元以上の磁気方向を表すものであればよい。
【0290】
送信磁気データ75は、磁気センサ25から出力される磁気データに基づくデータである。つまり、送信磁気データ75は、磁気データそのものであってもよいし、当該磁気データに対して何らかの加工が施されたデータであってもよい。
【0291】
本実施形態においては、入出力制御部21は、操作データ51が送信される1周期分(時間T4)の期間に、1回分の磁気データを磁気センサ25から取得する。つまり、磁気センサ25は、加速度センサ23よりも低い頻度で検出結果を出力する。これは、一般的に、磁気センサのサンプリング回数は、加速度センサのサンプリング回数等よりも低いものとなっているためである。入出力制御部21は、取得した磁気データをそのまま送信磁気データとする(図13参照)。
【0292】
以上のように、本実施形態においては、1つの操作データ51に含まれる送信磁気データ75は、磁気センサ25が検出する磁気方向の1個分を表すデータ(上記磁気データの1個分のデータ)となる。換言すれば、送信磁気データ75は、磁気センサ25が検出する1回分の磁気方向を表すデータである。したがって、操作データ51のデータサイズを抑えることができ、操作データ51のデータサイズを効率の良いものとすることができる。また、磁気センサ25による出力結果は操作装置2の姿勢を算出するために用いることができる一方、操作装置2の姿勢は、他のセンサ(加速度センサ23および/またはジャイロセンサ24)の検出結果を用いても算出することができる。したがって、磁気センサ25による出力結果を他のセンサの出力結果と組み合わせて用いる場合には、1つ分の磁気データを用いて精度良く操作装置2の姿勢を算出することができる。なお、本実施形態の変形例においては、1つの送信磁気データ75は、複数個分の磁気データを含んでいてもよい。
【0293】
(入力位置データ)
操作データ51は、送信入力位置データ76を含む。送信入力位置データ76は、操作装置2が備えるタッチパネル12が検出する入力位置(タッチ位置)に関する情報を表す。送信入力位置データ76は例えば、上記入力位置を示す2次元の座標値を表す。また、タッチパネル12が例えばマルチタッチ方式のものである場合には、送信入力位置データ76は、複数個の入力位置に関する情報を表すものであってもよい。
【0294】
送信入力位置データ76は、タッチパネル12から出力される入力位置データに基づくデータである。つまり、送信入力位置データ76は、入力位置データそのものであってもよいし、当該入力位置データに対して何らかの加工が施されたデータであってもよい。
【0295】
本実施形態においては、入出力制御部21は、操作データ51が送信される1周期分(時間T4)の期間に、10回分の入力位置データ(第1〜第10入力位置データ)をタッチパネルコントローラ22を介してタッチパネル12から取得する。入出力制御部21は、取得した10回分の入力位置データを含む送信入力位置データ76を生成する(図13参照)。
【0296】
以上のように、本実施形態においては、1つの操作データ51に含まれる送信入力位置データ76は、タッチパネル12が検出する10個分の入力位置を表すデータ(10個分の入力位置データ)となる。ここで、タッチパネル12については、上記センサ23〜25とは異なり、(タッチパネル12に対する)入力が行われているか否かが検知される。また、タッチパネル12から連続して取得される入力位置データのうち1つの入力位置データのみが、誤検出によって、入力があることを表す結果となる場合が考えられる。このようなタッチパネル12の性質を考慮すると、入力位置データの値を加算等の演算によってまとめると、タッチパネル12の検出精度が低下するおそれがある。
【0297】
そこで、本実施形態においては、操作装置2は、複数個の入力位置データをそのまま送信入力位置データ76に含めて、情報処理装置3へ送信する。これによって、操作装置2は、タッチパネル12の検出精度を向上することができる。また、操作装置2は入力位置データに対して演算を行わないので、送信入力位置データ76の生成処理を簡易化することができ、操作データを生成する処理の処理負荷を軽減することができる。
【0298】
なお、本実施形態の変形例においては、1つの送信入力位置データ76は、1個分の入力位置データで構成されてもよい。また、1つの送信入力位置データ76は、タッチパネル12が検出する複数回分の入力位置の平均値を表すものであってもよい。
【0299】
なお、図13においては、操作装置2が各操作部12〜14および23〜25(タッチパネル12、方向入力部13、ボタン群14、加速度センサ23、ジャイロセンサ24、および磁気センサ25)を備え、操作データ51が、各データ71〜76(送信ボタンデータ71、送信指示方向データ72、送信加速度データ73、送信角速度データ74、送信磁気データ75、および送信入力位置データ76)を含む場合を例として説明した。ただし、操作装置2が備える操作部の具体的な内容や、操作データ51の具体的な内容は任意である。操作データが有するデータは、以下のいずれかであってもよい。
(操作データが各データ71〜76のうちの任意の1つを含む例)
・データ71のみ
・データ72のみ
・データ73のみ
・データ74のみ
・データ75のみ
・データ76のみ
(操作データが各データ71〜76のうちの任意の2つを含む例)
・データ71および72
・データ71および73
・データ71および74
・データ71および75
・データ71および76
・データ72および73
・データ72および74
・データ72および75
・データ72および76
・データ73および74
・データ73および75
・データ73および76
・データ74および75
・データ74および76
・データ75および76
(操作データが各データ71〜76のうちの任意の3つを含む例)
・データ71,72,および73
・データ71,72,および74
・データ71,72,および75
・データ71,72,および76
・データ71,73,および74
・データ71,73,および75
・データ71,73,および76
・データ71,74,および75
・データ71,74,および76
・データ71,75,および76
・データ72,73,および74
・データ72,73,および75
・データ72,73,および76
・データ72,74,および75
・データ72,74,および76
・データ72,75,および76
・データ73,74,および75
・データ73,74,および76
・データ73,75,および76
・データ74,75,および76
(操作データが各データ71〜76のうちの任意の4つを含む例)
・データ71,72,73,および74
・データ71,72,73,および75
・データ71,72,73,および76
・データ71,72,74,および75
・データ71,72,74,および76
・データ71,72,75,および76
・データ71,73,74,および75
・データ71,73,74,および76
・データ71,73,75,および76
・データ71,74,75,および76
・データ72,73,74,および75
・データ72,73,74,および76
・データ72,73,75,および76
・データ72,74,75,および76
・データ73,74,75,および76
(操作データが各データ71〜76のうちの任意の5つを含む例)
・データ71,72,73,74,および75
・データ71,72,73,74,および76
・データ71,72,73,75,および76
・データ71,72,74,75,および76
・データ71,73,74,75,および76
・データ72,73,74,75,および76
なお、上記において、操作装置2は、各操作部12〜14および23〜25のうちで、操作データ51に含まれないデータに対応する操作部を備えていなくてもよい。
【0300】
また、操作装置2は、上記各操作部12〜14および23〜25以外の他の操作部を備え、操作データ51は、上記のデータ71〜76以外の他のデータを含んでいてもよい。例えば、操作装置2がタッチパッドを備え、操作データ51は、タッチパッドにおける検出結果に基づくデータを含んでいてもよい。
【0301】
また、上記実施形態においては、操作データを生成する処理を入出力制御部21が実行することとしたが、当該処理は操作装置2が備える任意の構成要素によって実行されてもよい。例えば、通信データ管理部27が上記処理を実行してもよい。また例えば、入出力制御部21と通信データ管理部27とが1つの部材(例えばLSI)として構成される場合には、当該部材が上記処理を実行してもよい。
【0302】
また、情報処理装置3は、上記の操作データを操作装置2から受信し、上述の第1情報処理において操作データに基づいて所定の処理を実行する。情報処理装置3は、例えば、各センサ23〜25に基づくセンサデータ(上記データ73〜75)を用いて操作装置2の動作情報を算出する。動作情報とは、姿勢、位置、および動きのうちの少なくとも1つに関する情報である。このとき、情報処理装置3は、センサデータに加えてセンサ特性データを用いて動作情報を算出してもよい。ここで、センサ特性データは、センサの入出力関係(入出力特性)を表すデータである。例えば、センサ特性データは、センサに対するある入力の値と、当該入力に対する出力値との対応を表す。具体的には、例えば加速度センサ23に関しては、入力が0[G]のとき、および、±1[G]のときの出力値を表すセンサ特性データが用意される。また、例えばジャイロセンサ24に関しては、入力が0[rpm]のとき、および、±200[rpm]のときの出力値を表すセンサ特性データが用意される。これらのセンサ特性データは、既知の量の動作(既知の量の加速度あるいは角速度)をセンサに加えた場合にセンサから出力されるデータを取得することで得られる。±200[rpm]のときの出力値は、±78[rpm]の角速度がジャイロセンサ24に加えられたときの出力値に基づいて算出される。なお、ここでは、加速度センサ23およびジャイロセンサ24についてセンサ特性データが用意されるが、磁気センサ25についてセンサ特性データが用意されてもよい。また、センサの特性はセンサの個体毎に異なる可能性があるので、センサ特性データの内容は、センサの個体毎に(操作装置の個体毎に)設定されてもよい。
【0303】
上記センサ特性データは、操作装置2において予め記憶されている。そして、操作装置2は、所定のタイミングで情報処理装置3へセンサ特性データを送信する。なお、センサ特性データは、操作データとは別に送信される。例えば、操作装置2が情報処理装置3と通信を開始した際にセンサ特性データが送信されてもよい。情報処理装置3は、センサ特性データに対応するセンサの検出結果に応じた情報処理を実行する場合、当該センサ特性データと、操作データに含まれる当該センサのセンサデータとに基づいて当該情報処理を実行する。なお、情報処理装置3は、実行すべき上記情報処理においてセンサ特性データとセンサデータとを用いてもよい。また、情報処理装置3は、上記情報処理の前にセンサ特性データを用いてキャリブレーション処理を実行しておき、キャリブレーション処理の結果とセンサデータとを用いて上記情報処理を実行してもよい。
【0304】
(効果)
以上に示した構成および動作によって、操作装置2は、以下に示す効果を奏する。なお、以下に示す効果を奏するためには、操作装置2は、以下において効果とともに説明する構成を有していればよく、本実施形態における全て構成を備えている必要はない。
【0305】
本実施形態においては、操作装置2は、ジャイロセンサ24、加速度センサ23、方向入力部13、およびタッチパネル12を少なくとも含む操作部を備え、操作部から得られるデータに基づいて操作データ51を生成する。操作装置2は、操作データ51を所定周期毎に情報処理装置3へ無線で送信する。ここで、1回に送信される操作データ51は以下のデータを含んでいる。つまり、操作装置2は、1回に送信される操作データ51を、以下のデータを含むように生成する。
(1)ジャイロセンサ24が検出する角速度の9個分を加算した値を表すデータ
(2)加速度センサ23が検出する加速度の1個分を表すデータ
(3)方向入力部13が検出する方向の1個分を表すデータ
(4)タッチパネル12が検出する位置の10個分を表すデータ
【0306】
上記によれば、ジャイロセンサ、加速度センサ、方向入力部、およびタッチパネルを備える操作装置2において、操作装置2の操作性を確保しつつ、操作データのデータサイズを効率の良いものとすることができる。上記(2)および(3)のデータを含む操作データとすることで、操作データのデータサイズを抑えることができ、操作データのデータサイズを効率の良いものとすることができる。また、上記(1)のデータを含む操作データとすることで、操作データのデータサイズを抑えることができる。また、操作データの生成処理を簡易化することができる。また、上記(4)のデータを含む操作データとすることで、タッチパネル12の検出精度を向上することができる。また、操作データを生成する処理の処理負荷を軽減することができる。なお、上記においては、操作データの送信頻度は任意であり、この送信頻度によらず、操作装置2は上記の効果を奏することができる。
【0307】
なお、上記(1)のデータは、ジャイロセンサが実際に検出した9回分の角速度の値を加算した値を表すデータに限らず、結果として、9回分の角速度の加算値と同等の値を表すデータであればよい。例えば、操作データが送信される1周期分の期間において、何らかの理由(例えば、センサの能力等による理由)でジャイロセンサが角速度を9回よりも少ない回数しか検出できない場合には、操作装置2は、検出した角速度から9個分の角速度を加算した値を算出して上記(1)のデータを生成してもよい。具体的には、操作装置2は、検出された1つの角速度の値を9倍することで、上記(1)のデータを生成してもよい。これによっても上記と同様の効果を奏することができる。
【0308】
また、何らかの理由でタッチパネルが10個より少ない回数しか位置を検出できない場合には、操作装置2は、検出した位置から10個分の位置の値を生成して上記(4)のデータを生成してもよい。例えば、操作装置2は、タッチパネルが検出する10個よりも少ない位置のいくつかをコピーして10個分の位置を生成することで上記(4)のデータを生成してもよい。これによっても上記と同様の効果を奏することができる。
【0309】
なお、本実施形態の変形例においては、操作データは、上記(1)〜(4)のデータの一部または全部を含まない構成であってもよい。
【0310】
また、本実施形態においては、操作装置2は、ジャイロセンサ24、加速度センサ23、およびタッチパネル12を少なくとも含む操作部を備え、操作部から得られるデータに基づいて操作データ51を生成する。操作装置2は、操作データ51を所定周期毎に情報処理装置3へ無線で送信する。ここで、1回に送信される操作データ51は以下のデータを含んでいる。
(1’)ジャイロセンサ24が検出する複数回(例えば9回)分の角速度を加算した値を表すデータ
(2’)加速度センサ23が検出する複数回(例えば4回)分の加速度の平均値を表すデータ
(4’)タッチパネル12が検出する複数回(例えば10回)分の位置を表すデータ
これによれば、操作装置2は、操作データが上記(1)〜(4)のデータを含む場合と同様の効果を奏することができる。
【0311】
なお、何らかの理由でジャイロセンサが9回分より少ない角速度しか検出できない場合には、操作装置2は、検出した角速度から9回分の角速度の値を算出して上記(1’)のデータを生成してもよい。また、何らかの理由でタッチパネルが10回分より少ない位置しか検出できない場合には、操作装置2は、検出した位置から10回分の位置の値を生成して上記(4’)のデータを生成してもよい。これによっても上記と同様の効果を奏することができる。
【0312】
なお、本実施形態の変形例においては、操作データは、上記(1’)〜(4’)のデータの一部または全部を含まない構成であってもよい。
【0313】
さらに、本実施形態においては、操作部が磁気センサ25をさらに有しており、操作データは、以下のデータをさらに含む。
(5)磁気センサ25が検出する磁気方向の1個分を表すデータ(換言すれば、磁気センサ25が検出する1回分の磁気方向を表すデータ)
これによれば、操作装置2は、操作データのデータサイズを抑えつつ、磁気センサ25の検出結果に基づくデータを情報処理装置3へ送信することができる。なお、本実施形態の変形例においては、操作データは、上記(5)のデータを含まない構成であってもよい。
【0314】
さらに、本実施形態においては、操作装置2は、上記(2)のデータとして、加速度センサ23が検出する複数回分(例えば4回分)の加速度の平均値を表すデータ(送信加速度データ73)を含む操作データ51を生成する。これによれば、操作装置2に対して加えられる加速度の検出精度を良くすることができ、ひいては操作装置2の操作性を向上することができる。なお、本実施形態の変形例においては、操作データ51は、上記加速度の平均値を表すデータを含まない構成であってもよい。
【0315】
さらに、本実施形態においては、操作装置2は、上記(3)のデータとして、方向入力部13が検出する複数回分(例えば4回分)の指示方向の平均値を表すデータ(送信指示方向)を含む操作データ51を生成する。これによれば、ユーザによる指示方向を精度良く算出することができ、ひいては操作装置2の操作性を向上することができる。なお、本実施形態の変形例においては、操作データ51は、上記指示方向の平均値を表すデータを含まない構成であってもよい。
【0316】
さらに、本実施形態においては、操作装置2は、2のn乗回(nは1以上の整数)分の加速度の平均値を表すデータを操作データ51に含める。これによれば、平均値を算出するための除算をビットシフト演算によって行うことができるので、操作データ51を生成する処理を簡易化することができ、操作装置2の処理負荷を軽減することができる。なお、本実施形態の変形例においては、操作データ51は、2のn乗回の加速度の平均値を表すデータを含まない構成であってもよい。
【0317】
また、上記実施形態において、操作装置2は、次の構成を備えると言うこともできる。すなわち、操作装置2は、第1センサ(例えば磁気センサ25)と、第1センサよりも高い頻度で検出結果を出力する第2センサ(例えば加速度センサ23)と、第2センサよりも高い頻度で検出結果を出力する第3センサ(例えばジャイロセンサ24)とを備えており、操作装置2は、次のデータを含む操作データを生成する。
・第1センサが検出する1回分の値を表すデータ
・第2センサが検出する複数回分の値の平均値を表すデータ
・第3センサが検出する複数回分の値の和を表すデータ
上記の構成によれば、操作装置2は、第1センサが検出する1回分の値を表すデータを送信データに含めることによって、操作データのデータサイズを抑えることができる。また、操作装置2は、第2センサが検出する複数回分の値の平均値を表すデータを送信データに含めることによって、操作データのデータサイズを抑えつつ、第2センサの検出精度を向上することができる。さらに、操作装置2は、第3センサが検出する複数回分の値の和を表すデータを送信データに含めることによって、操作データのデータサイズを抑えつつ、第3センサの検出精度を向上することができる。なお、第3センサについては第2センサよりも検出頻度が高く、多くのデータが出力されるので、平均値を算出するための除算を省略することで、操作装置2における処理負荷を軽減することができる。なお、本実施形態の変形例においては、操作データ51は、上記3つのセンサが検出する各データの一部または全部を含まない構成であってもよい。
【0318】
また、上記実施形態において、操作装置2は、ジャイロセンサおよび加速度センサの少なくとも1つについてセンサの入出力関係(入出力特性)を表すセンサ特性データを操作データとは別に情報処理装置3へ送信する。情報処理装置3は、センサ特性データと操作データとに基づいて、当該センサ特性データに対応するセンサの検出結果に応じた情報処理を実行する。これによれば、情報処理システム1は、センサの検出結果を用いる情報処理をより精度良く行うことができ、操作装置2の操作性を向上することができる。なお、本実施形態の変形例においては、操作装置2は、上記センサ特性データを情報処理装置3へ送信しない構成であってもよい。また、情報処理装置3は、センサ特性データに基づかずに上記情報処理を実行してもよい。
【0319】
また、上記実施形態においては、操作装置2は、操作データを他のデータ(管理データ52)とともに情報処理装置3へ送信した。ここで、操作データが他のデータとともに情報処理装置3へ送信される(送信情報データに含める形で送信される)か、それとも、単独で送信されるかに関わらず、操作装置2は、上記“(効果)”において説明した上記の効果を奏することができる。
【0320】
[7.第2プログラムの実行]
<7−1:概要>
次に、図14図18を参照して、操作装置2において上述の第2プログラム(第2情報処理)が実行される場合の動作について説明する。図14は、情報処理システム1の各装置における動作の一例を示す図である。本実施形態においては、上述の第1プログラム(第1情報処理)が情報処理装置3において実行される場合において、操作装置2は第2プログラム(第2情報処理)を実行することが可能である。以下、図14を参照して、上記第1および第2情報処理が実行される場合における上記各装置の動作の概要を説明する。
【0321】
図14に示すように、情報処理装置3は、第1情報処理を実行する。上述のように、第1情報処理は、操作データに基づいて実行され、出力画像データおよび/または出力音声データ(以下、「出力画像データ等」と記載することがある)を生成する処理である。第1情報処理が実行される場合、上述のように操作装置2は操作データ(送信情報データ)を送信する(図14参照)。情報処理装置3は、操作データに基づいて第1情報処理を実行して、出力画像データ等を生成する。そして、情報処理装置3は、出力画像データ等を操作装置2へ送信する(図14参照)。操作装置2は、出力画像データ等を受信して、出力画像等を出力する(図14参照)。すなわち、操作装置2は、出力画像を表示部11に表示し、出力音声をスピーカから出力する。
【0322】
また、図14に示すように、第1情報処理において、情報処理装置3は、表示装置4に表示すべき画像および/または音声を生成して表示装置4から出力させるようにしてもよい。すなわち、情報処理装置3は、表示装置4へ画像を出力して当該画像を表示装置4に表示させてもよいし、スピーカ5へ音声を出力して当該音声をスピーカ5から出力させるようにしてもよい。このように、第1情報処理において、表示装置4は、第1情報処理によって生成された画像を表示する。
【0323】
上記第1情報処理の実行中において、操作装置2に対して所定の操作が行われた場合、操作装置2は、第2情報処理の実行を開始する。つまり、操作装置2は、第2プログラムを起動する(第2プログラムの実行を開始する)。以下、第2プログラムを起動するための上記所定の操作を、「起動操作」と呼ぶことがある。
【0324】
なお、上記第2プログラム(第2情報処理)の内容はどのようなものであってもよい。本実施形態においては、上記第2プログラムは、操作装置2に対する操作に応じて表示装置(テレビ)4を制御するためのプログラムである。換言すれば、第2情報処理は、表示装置4を制御するための制御信号を、操作装置2に対するユーザの操作に応じて出力する処理である。なお、詳細は後述するが、本実施形態においては、操作装置2は、赤外線発光部38からの赤外線信号を制御信号として用いて表示装置4を制御する。
【0325】
第2プログラムの実行中(すなわち、第2情報処理中)において、操作装置2は、第2プログラムの実行による画像を表示部11に表示する。第2プログラムの実行による画像とは、第2プログラムの実行(換言すれば、第2情報処理の実行)によって表示される画像である。以下では、上記「第2プログラムの実行による画像」を「第2出力画像」と呼ぶ。また、“[7.第2プログラムの実行]”の説明においては、情報処理装置3によって生成される上記出力画像データが表す出力画像を、「第1出力画像」と呼ぶことがある。本実施形態においては、第2出力画像として、例えば操作画像が表示部11に表示される。操作画像は、第2プログラムによって実行される処理、すなわち、第2情報処理に関する操作を行うための画像である。操作画像の具体例については後述する。
【0326】
なお、第2プログラムの実行中において、操作装置2は、第2プログラムの実行による音声をスピーカ31から出力してもよい。第2プログラムの実行による音声とは、第2プログラムの実行(換言すれば、第2情報処理の実行)によって出力される音声である。以下では、上記「第2プログラムの実行による音声」を「第2出力音声」と呼ぶ。また、“[7.第2プログラムの実行]”の説明においては、情報処理装置3によって生成される上記出力音声データが表す出力音声を、「第1出力音声」と呼ぶことがある。
【0327】
以上のように、本実施形態においては、情報処理装置3側において第1情報処理が実行されることによって操作装置2に出力画像が表示されている場合に、操作装置2側で別の情報処理(第2情報処理)を実行することが可能である。したがって、ユーザは、情報処理装置3で実行されるアプリケーション(第1プログラム)を使用している間に、操作装置2で実行される別のアプリケーションを使用することができる。これによれば、操作装置2をより多くの情報処理のために用いることができる。ユーザは、操作装置2をより多くの目的で使用することができ、ユーザの利便性を向上することができる。
【0328】
また、図14に示すように、上記第2プログラムの実行中において、操作装置2は、第2プログラムが実行中であることを表す実行中データを情報処理装置3へ送信する。本実施形態において、「実行中データ」とは、上述の起動状態データ54(図7参照)である。また、上述の起動ボタン14Cに対する入力状況を表すボタンデータも、実行中データであると言うことができる。実行中データは、どのような方法で操作装置2から情報処理装置3へ送信されてもよい。なお、本実施形態においては、上述のように、当該実行中データは、操作データとともに、すなわち、送信情報データに含めて送信される。
【0329】
具体的には、図7に示すように、送信情報データ50に含まれる管理データ52には、起動状態データ54が含まれる。起動状態データ54は、第2プログラムの起動状態を表す。具体的には、起動状態データ54は、第2プログラムが起動しているか否か(実行中であるか否か)を表すフラグのデータである。なお、例えば第2プログラムが複数用意される場合、起動状態データ54は、起動している第2プログラムを表すものであってもよい。また、起動状態データ54は1ビットで構成されてもよい。これによれば、操作装置2は、送信情報データのデータサイズにほとんど影響を与えることなく、送信情報データ50に含めて起動状態データ54を情報処理装置3へ送信することができる。
【0330】
上記実行中データを情報処理装置3へ送信することによって、操作装置2は、第2プログラムの起動状態を情報処理装置3へ伝達することができる。これによって、情報処理装置3は、第2プログラムの起動状態を識別することができる。詳細は後述するが、情報処理装置3は、第1情報処理の内容を第2プログラムの起動状態に応じて変更してもよい。
【0331】
また、図14に示すように、本実施形態においては、第2プログラムの実行中において(実行中でない場合と同様に)、第1情報処理は継続して実行される。つまり、第2プログラムの実行中において、情報処理装置3は、第1情報処理を実行し、出力画像データ等を操作装置2へ送信する。これに応じて、操作装置2は、情報処理装置3からの出力画像データが表す出力画像(第1出力画像)を表示部11に表示する。つまり、操作装置2は、第2プログラムの実行中か否かに関わらず、出力画像データを受信して第1出力画像を表示する。したがって、第2プログラムの実行中において、操作装置2は、上記第2出力画像とともに第1出力画像を表示部11に表示する。したがって、本実施形態によれば、ユーザは、表示部11を見ることによって第1情報処理と第2情報処理との両方を確認することができる。
【0332】
<7−2:実行中の画像例>
図15は、第2情報処理の実行中において操作装置に表示される画像の一例を示す図である。図15において、操作装置2の表示部11には、第1出力画像80が表示される。第1出力画像80は、第1プログラムの実行によって生成される画像であり、具体的な内容はどのようなものであってもよい。図15においては、第1プログラムがゲームプログラムであり、第1出力画像80としてゲーム画像が表示される場合を例として示している。すなわち、情報処理装置3は、ゲーム処理を実行し、ゲーム処理によって生成されるゲーム画像データを出力画像データとして操作装置2へ送信する。操作装置2は、ゲーム画像データを受信する。そして、操作装置2は、ゲーム画像データが表す画像を表示部11に表示する。また、情報処理装置3がネットワーク(例えばインターネット)を介して他の情報処理装置と通信可能である場合には、第1プログラムが例えばブラウザプログラムであり、第1出力画像80としてWebページの画像が表示されてもよい。
【0333】
また、表示部11には、上記第2出力画像として操作画像81が表示される。操作画像81は、例えば、第1出力画像80に重ねて表示される。なお、図15においては、操作画像81の一部(ボタン画像以外の部分)は半透明で表示される(図15においては点線で表す)。ただし、操作画像81は、その一部または全部が不透明であってもよいし、一部が透明であってもよい。
【0334】
操作画像81は、第2プログラムによって実行される処理(第2情報処理)に対するユーザの操作に関する画像である。本実施形態においては、操作画像81は、第2情報処理に対する操作を行うための画像である。具体的には、操作画像81は、第2情報処理に対する指示を行うためのボタン画像82〜88を含む。
【0335】
上記のように、本実施形態においては、第2プログラムは、表示装置4の動作を制御することが可能なプログラムである。そのため、操作画像81は、表示装置4に対する操作を行うためのボタン画像(表示装置4に対する操作を表すボタン画像)82〜87を含む。具体的には、操作画像81は、表示装置4の電源のオン/オフを切り替える指示を行うための電源ボタン画像82を含む。また、操作画像81は、入力切替ボタン画像83を含む。入力切替ボタン画像83は、表示装置4における入力を切り替える(例えば、テレビ放送の映像を入力して表示するモードと、情報処理装置3からの出力画像を入力して表示するモードとの間の切り替え)指示を行うためのボタン画像である。また、操作画像81は、音量増加ボタン画像84および音量減少ボタン画像85を含む。音量増加ボタン画像84は、表示装置4の音量を上げる指示を行うためのボタン画像である。音量減少ボタン画像85は、表示装置4の音量を下げる指示を行うためのボタン画像である。また、操作画像81は、チャンネル増加ボタン画像86およびチャンネル減少ボタン画像87を含む。チャンネル増加ボタン画像86は、表示装置(テレビ)4の選局を昇順に1つずつ変更する指示を表す画像である。チャンネル減少ボタン画像87は、表示装置4の選局を降順に1つずつ変更する指示を表す画像である。
【0336】
上記各ボタン画像82〜87に対する操作(具体的には、ボタン画像をタッチする操作)によって、ユーザは表示装置4の電源、入力切替、音量、および選局を操作することができる。なお、操作画像81は、上記各ボタン画像82〜87のいくつかのみを含んでいてもよい。また、操作画像81は、上記各ボタン画像82〜87に加えて、あるいは、上記各ボタン画像82〜87のいくつかに代えて、一般的なテレビのリモコンが有するボタンを含んでいてもよい。例えば、操作画像81は、各チャンネルの番号を表すボタン画像、テレビ放送から取得される電子番組表を表示する指示を表すボタン画像、および、(表示装置4が録画機能を有する場合)録画の指示を表すボタン画像のうちのいくつかを含んでいてもよい。また、操作画像81は、番組表の画像を含んでもいてもよい。
【0337】
また、操作画像81は、第2情報処理に対する指示を行うためのボタン画像として、終了ボタン画像88を含む。終了ボタン画像88は、第2情報処理を終了する、すなわち、第2プログラムの実行を終了する指示を行うためのボタン画像である。ユーザは、終了ボタン画像88に対する操作によって、第2情報処理を終了することができる。
【0338】
なお、上記においては、第2出力画像として表示される「操作に関する画像」の一例として、操作を行うためのボタン画像が表示される場合を例として説明した。なお、上記「操作に関する画像」は、例えば、操作方法を表す画像であってもよい。「操作に関する画像」は、例えば、「Lボタン:音量増」および「Rボタン:音量減」のように、操作装置2のボタンと、当該ボタンによって行われる指示との対応(換言すれば、ボタンと指示との割り当て)を示す画像であってもよい。
【0339】
<7−3:各情報処理における操作データの使用>
上記のように、本実施形態においては、第2情報処理の実行中において、第1情報処理も実行される。したがって、第1情報処理に関する操作と第2情報処理に関する操作との両方の操作が操作装置2によって行われる。つまり、操作装置2の各構成要素は、各情報処理に用いられる可能性がある。そこで、本実施形態においては、操作装置2を2つの情報処理に対応させるべく、操作装置2の各構成要素を次のように使用する。以下、詳細を説明する。
【0340】
図16は、第1および第2情報処理と、操作装置2の各構成要素の使用との対応の一例を示す図である。操作装置2のボタン群14(ただし、起動ボタン14Cを除く)は、第2情報処理において一部が使用される。つまり、各ボタン14A〜14Iのうちのいくつかのボタンは、第2情報処理において使用される。例えば、選択中のボタン画像を変更する操作のために十字ボタン14Aが使用されてもよいし、選択中のボタン画像が表す指示の実行を決定するためにボタン群14Eのいずれかが使用されてもよい。
【0341】
上記のように上記ボタン群14(起動ボタン14Cを除く)は、第2情報処理において使用されるので、第2情報処理の実行中における第1情報処理においては使用されない(無効とされる)。なお、上記ボタン群14のうちで第2情報処理において使用されないボタンについては、第2情報処理の実行中における第1情報処理において使用されてもよい。
【0342】
また、起動ボタン14Cは、第2プログラムを起動(あるいは終了)するために第2情報処理において使用される。そのため、起動ボタン14Cは、第2情報処理の実行中であるか否かに関わらず、第1情報処理においては使用されない。
【0343】
方向入力部13は、第2情報処理において使用される。例えば、選択中のボタン画像を変更する操作のために方向入力部13が使用されてもよい。方向入力部13は、第2情報処理の実行中における第1情報処理では、使用されない。
【0344】
各センサ23〜25は、第2情報処理では使用されない。そのため、第2情報処理の実行中における第1情報処理においては、各センサ23〜25は、単独での実行時と同じように取り扱われる。なお、「単独での実行時」とは、第2情報処理が実行中でない場合における第1情報処理の実行時のことである。つまり、単独での実行時において使用されているセンサは、第2情報処理が実行中である場合もそのまま第1情報処理において使用される。一方、単独での実行時において使用されていないセンサは、第2情報処理が実行中である場合もそのまま第1情報処理において使用されない。
【0345】
タッチパネル12は、第2情報処理において使用される。タッチパネル12は、例えば上述のボタン画像に対する操作を行うために使用される。そのため、第1情報処理においては使用されない。
【0346】
マイク32は、第2情報処理において使用されない。そのため、第2情報処理の実行中における第1情報処理においては、マイク32は、単独での実行時と同じように取り扱われる。
【0347】
カメラ16は、第2情報処理において使用されない。そのため、第2情報処理の実行中における第1情報処理においては、カメラ16は、単独での実行時と同じように取り扱われる。
【0348】
以上のように、入力部(操作部、マイク32、およびカメラ16)は、2つの情報処理のいずれか一方で使用される。つまり、入力部に関しては、第2情報処理で使用されるものについては、第1情報処理で使用されない。一方、第2情報処理で使用されないものについては、第1情報処理においては単独での実行時と同じように取り扱われる。これによって、一方の情報処理に対するユーザの入力が他方の情報処理において誤って使用されることがなく、誤入力を防止することができる。
【0349】
なお、「操作部が第1情報処理で使用されない」とは、情報処理装置3が当該操作部に対する操作を無効として第1情報処理を実行する、換言すれば、当該操作部に対する操作を表す操作データを無効として第1情報処理を実行する、ということである。このとき、操作装置2は、第1情報処理で使用されない操作部に関する操作データを情報処理装置3へ送信してもよいし、しなくてもよい。
【0350】
また、出力機能あるいは通信機能を有する各構成要素は、次のように取り扱われる。第2情報処理の実行中において、スピーカ31は、第1および第2情報処理装置の両方において用いられる。これによって、ユーザは、2つの情報処理による両方の音声を聞くことができる。例えば、操作装置2は、2つの情報処理のいずれにおいても、警告音を出力することでユーザに対して注意喚起を行うことができる。
【0351】
具体的には、操作装置2(通信データ管理部27および/またはサウンドIC30)は、第1情報処理による音声(上記第1出力音声)と、第2情報処理による音声(上記第2出力音声)とをミキシングしてスピーカ31から出力する。ここで、本実施形態においては、操作装置2は、第2情報処理の実行中において、第1出力音声の音量を、第1情報処理の単独での実行時に比べて小さくして出力する。操作装置2は、第1出力音声を第2出力音声よりも比率を小さくして出力してもよい。具体的には、操作装置2は、第1出力音声と第2出力音声とを、25:100の比率でミキシングして出力してもよい(図16においては「音量25%」と記載)。これによれば、操作装置2は、第2出力音声をユーザが聞き取りやすくすることができるとともに、2つの情報処理による両方の音声をユーザに聞かせることができる。
【0352】
バイブレータ26は、第2情報処理において使用されない。また、第2情報処理の実行中においてバイブレータ26が作動することによって第2情報処理に関する操作に何らかの影響を及ぼす可能性があることを考慮して、第2情報処理の実行中における第1情報処理においてバイブレータ26は使用されない。
【0353】
マーカ部15は、第2情報処理において使用されない。そのため、第2情報処理の実行中における第1情報処理においては、マーカ部15は、単独での実行時と同じように取り扱われる。
【0354】
また、赤外線発光部38は、第2情報処理において使用される。なお、第1情報処理においては、赤外線発光部38は使用されない(使用が禁止される)。
【0355】
赤外線通信部36は、第2情報処理において使用されない。また、第2情報処理においては、上記赤外線発光部38が使用されるので、赤外線発光部38からの赤外線信号が操作装置2の窓20(図3参照)を介して出射される。そのため、第2情報処理の実行中における第1情報処理においては、赤外線通信部36から赤外線信号が出力されると、赤外線発光部38による赤外線信号に何らかの影響を及ぼされる可能性を考慮して、赤外線通信部36の使用が禁止される。
【0356】
近距離無線通信部37は、第2情報処理装置において使用されない。また、第2情報処理の実行中における第1情報処理においては、近距離無線通信部37の使用によって何らかの影響(操作ミス等)が生じる可能性を考慮して、近距離無線通信部37の使用が禁止される。
【0357】
以上のように、外部装置との間で拡張通信を行う構成要素(赤外線通信部36および近距離無線通信部37)は、第2情報処理の実行中における第1情報処理においては使用されない。これによって、操作ミス等の可能性を低減することができる。ただし、本実施形態の変形例においては、上記構成要素は、第2情報処理の実行中における第1情報処理において使用されてもよい
【0358】
なお、「通信機能を有する構成要素が第1情報処理で使用されない」とは、情報処理装置3が当該構成要素が外部装置から取得したデータ(第2拡張通信データ等)を無効として第1情報処理を実行する、ということである。このとき、操作装置2は、当該データを情報処理装置3へ送信してもよいし、しなくてもよい。
【0359】
コネクタ26については、第2情報処理装置において使用されない。また、追加の操作機能を有する周辺装置がコネクタ26に接続されている場合に、当該周辺装置が第2情報処理の実行後においても使用可能とすること等を考慮して、第2情報処理の実行中における第1情報処理において、コネクタ26は、単独での実行時と同じように取り扱われる。なお、第2情報処理の実行中における第1情報処理においては、コネクタ26の使用によって何らかの(操作ミス等)影響が生じる可能性を考慮して、コネクタ26の使用が禁止されてもよい。
【0360】
なお、通信機能を有する構成要素について使用が禁止される場合、操作装置2は、通信に関する制御指令(コマンド)を送信しない。また、使用が禁止された時点(第2プログラムが起動された時点)で通信の接続中であれば、操作装置2は、通信を停止(切断)する処理を実行する。
【0361】
<7−4:処理例>
次に、操作装置2および情報処理装置3における処理の流れの一例を説明する。図17は、操作装置2における処理の一例を示すフローチャートである。本実施形態では、操作装置2における処理は通信データ管理部27において実行される。ここで、操作装置2および情報処理装置3の起動後において、第1プログラムを実行する指示がユーザによって行われることに応じて、情報処理装置3は第1プログラムの実行を開始する。図17に示すフローチャートは、第1プログラムの実行開始後に実行される処理を示している。なお、第1プログラムの実行は、どのような方法で開始されてもよい。例えば、操作装置2および情報処理装置3の起動に応じて操作装置2にメニュー画面が表示され、メニュー画面が表示されている状態において、第1プログラムを実行する指示がユーザによって行われることに応じて第1プログラムが起動されてもよい。また、操作装置2および情報処理装置3の起動後に第1プログラムが自動的に起動されてもよい。
【0362】
また、図17に示す各ステップの処理は、通信データ管理部27によって実行されるものとする。ただし、上記各ステップの処理は、通信データ管理部27に限らず、操作装置2の任意の構成要素によって実行されてもよい。
【0363】
第1プログラムの実行が開始された後、ステップS1において、第1情報処理に応じた処理が実行される。すなわち、操作装置2は、情報処理装置3から送信されてくるデータを受信し、受信したデータに応じた処理を実行する。例えば、通信データ管理部27は、出力画像データを受信し、出力画像を表示部11に表示する。また例えば、通信データ管理部27は、出力音声データを受信し、出力音声をスピーカ31から出力する。また、操作装置2は、情報処理装置3へ送信すべきデータを生成し、情報処理装置3へ送信する。例えば、入出力制御部21は操作データを生成し、通信データ管理部27は、生成された操作データを含む送信情報データを生成して情報処理装置3へ送信する。また例えば、通信データ管理部27は、必要に応じてカメラ画像データおよび/またはマイク音声データを情報処理装置3へ送信する。また例えば、通信データ管理部27は、必要に応じて外部装置と通信を行い、通信によって得られたデータの情報処理装置3への送信、および/または、通信に必要なデータの情報処理装置3からの受信を行う。なお、ステップS1において実行される上記の各処理の具体的な内容は、上述の[4.操作装置と情報処理装置との間で通信されるデータ]〜 [6.操作データの生成]において記載されている。
【0364】
ステップS2において、操作装置2は、第2プログラムを起動するか否かを判定する。すなわち、操作装置2は、上述の起動操作が行われたか否かを判定する。なお、操作装置2は、例えば上述の起動ボタン14Cに対する入力状況を表すボタンデータを参照して、起動ボタン14Cが押下されたか否かを判定することによって、ステップS2の判定を行うことができる。なお、ステップS2における処理は、通信データ管理部27と入出力制御部21とのいずれが実行してもよい。ステップS2の処理の判定結果が肯定である場合、ステップS3の処理が実行される。一方、ステップS2の処理の判定結果が否定である場合、上記ステップS1の処理が実行される。
【0365】
以上より、ステップS2において第2プログラムを起動すると判定されるまで、ステップS1の処理が繰り返し実行される。つまり、上記起動操作が行われるまでは、操作装置2においては、第1情報処理に応じた処理が実行される。なお、上記においては、ステップS1の処理は、所定の頻度で繰り返し実行されるものとするが、ステップS1において行われる各処理は、ステップS1が実行される頻度と同じ頻度で実行されるとは限らない。例えば、ステップS1の処理が上述した1フレーム時間(時間T1)に1回の頻度で実行される場合には、送信情報データを送信する処理は、当該頻度よりも高い頻度で実行されてもよい。つまり、送信情報データを送信する処理は、1回のステップS1において複数回実行されてもよい。
【0366】
ステップS3において、操作装置2は、外部装置との通信を停止(切断)する。例えば、通信データ管理部27は、外部装置に対して通信を切断する旨の指示を送信する等の切断処理を実行する。外部装置との通信を切断する処理が完了すると、操作装置2はステップS4の処理を実行する。なお、ステップS3の時点(第2プログラムを起動する時点)において、操作装置2と外部装置との間で通信が行われていない場合には、操作装置2は切断処理を行わずにステップS4の処理に進む。
【0367】
ステップS4において、操作装置2は、第2プログラムを起動する。すなわち、通信データ管理部27のCPU28は、フラッシュメモリ35から第2プログラムを読み出して実行を開始する。なお、後述するステップS6〜S9の処理は、CPU28が第2プログラムを実行することによって行われる。ステップS4の次にステップS5の処理が実行される。以降、ステップS5〜S9の処理が繰り返し実行される。
【0368】
以上のように、操作装置2は、操作装置2に対する所定の操作が行われた場合、所定のプログラム(第2プログラム)を実行する。ここで、上記においては、操作装置2は、情報処理装置3から受信される画像データが表す画像が表示部11に表示されている状態において上記所定の操作が行われた場合、上記所定のプログラムを実行した。なお、操作装置2は、上記画像データが表す画像が表示部11に表示されていない状態において上記所定の操作が行われた場合についても、上記所定のプログラムを実行してもよい。つまり、操作装置2は、情報処理装置3において第1プログラムが実行されていない場合であっても、(上記所定の操作が行われたことに応じて)第2プログラムを実行してもよい。
【0369】
ステップS5において、操作装置2は、第1情報処理に応じた処理を実行する。ステップS5の処理は、出力画像の表示処理、および、出力音声の出力処理が実行されない(これらの処理は後述するステップS6およびS7で実行される)点を除いて、上記ステップS1の処理と同じであってもよい。また、ステップS5において、操作装置2は、第2情報処理中における第1情報処理において使用されないデータを操作データに含めないようにしてもよい。ステップS5の次にステップS6の処理が実行される。
【0370】
ステップS6において、操作装置2は、少なくとも第2出力画像を表示部11に表示する。上述のように本実施形態においては、操作装置2は、第1出力画像と第2出力画像とを重ねて表示部11に表示する。ステップS6の処理において具体的には、通信データ管理部27は、第2出力画像を取得する。ここで、本実施形態においては、第2出力画像を取得するためのデータは、操作装置2内の記憶部(例えばフラッシュメモリ35)に記憶されている。通信データ管理部27は、当該記憶部に記憶されているデータを用いて第2出力画像を取得する。なお、「第2出力画像を取得するためのデータ」は、第2出力画像の画像データそのものであってもよいし、第2出力画像を生成するために用いられるデータ(例えばボタン画像のデータ)であってもよい。また、操作装置2は、「第2出力画像を取得するためのデータ」を情報処理装置3から受信することによって取得してもよい。次に、通信データ管理部27は、ステップS5で生成された第1出力画像に、第2出力画像を重ねた画像を生成する。そして、通信データ管理部27は、生成された画像を表示部11に表示させる。これによって、第1出力画像および第2出力画像が表示部11に表示される。
【0371】
ステップS7において、操作装置2は、スピーカ31に音声を出力する。上述のように本実施形態においては、操作装置2は、第1出力音声および第2出力音声をスピーカ31から出力する。ステップS7の処理において具体的には、通信データ管理部27は、第2出力音声を取得する。ここで、本実施形態においては、第2出力音声を取得するためのデータは、操作装置2内の記憶部(例えばフラッシュメモリ35)に記憶されている。通信データ管理部27は、当該記憶部に記憶されているデータを用いて第2出力音声を取得する。なお、「第2出力音声を取得するためのデータ」は、第2出力音声の音声データそのものであってもよいし、第2出力音声を生成するために用いられるデータ(例えば音源データ)であってもよい。また、操作装置2は、「第2出力音声を取得するためのデータ」を情報処理装置3から受信することによって取得してもよい。次に、通信データ管理部27は、ステップS5で生成された第1出力音声と、第2出力画像とをミキシングしてサウンドIC30へ出力する。通信データ管理部27は、上述のように、操作装置2は、第1出力音声を第2出力音声よりも低い比率でミキシングしてもよい。以上によって、第1出力音声および第2出力音声がスピーカ31から出力される。
【0372】
ステップS8において、操作装置2は、ユーザによる操作に応じた処理を実行する。ステップS8における具体的な処理はどのような内容でもよい。本実施形態においては、操作装置2は、ユーザによる操作に応じて、表示装置4へ制御信号を送信する処理を実行する。具体的には、通信データ管理部27は、表示装置4に対する命令を表す各ボタン画像(ボタン画像82〜87)のいずれかに対して操作が行われた(例えばボタン画像がタッチされた)か否かを判定する。そして、上記各ボタン画像のうちで、操作が行われたボタン画像がある場合、通信データ管理部27は、当該ボタン画像に対応する制御信号を出力する。ここで、表示装置4に対する制御信号は、例えば、ボタン画像と関連づけられて操作装置2内の記憶部(例えばフラッシュメモリ35)に記憶されていてもよい。このとき、通信データ管理部27は、操作が行われたボタン画像に関連づけられている制御信号を記憶部から読み出して出力する。なお、操作装置2は、情報処理装置3から制御信号を受信することによって取得し、取得した制御信号を出力してもよい。また、制御信号は、赤外線発光部38によって赤外線信号として出力される。すなわち、通信データ管理部27は、制御信号を赤外線発光部38に出力させる。これによって、表示装置4の赤外線受光部において制御信号が受信され、表示装置4は制御信号に従った動作を行う。上記ステップS8の次にステップS9の処理が実行される。
【0373】
なお、上記ステップS8において、上記ボタン画像に対して操作が行われていない(すなわち、操作が行われたボタン画像がない場合)、操作装置2は制御信号を出力しない。
【0374】
ステップS9において、操作装置2は、第2プログラムを終了するか否かを判定する。ステップS9の判定は、例えば、第2プログラムを終了する操作が行われたか否かによって行われる。第2プログラムを終了する操作は、例えば、(第2情報処理の実行中における)上述の起動ボタン14Cに対する操作であってもよいし、上述の終了ボタン画像88(図15)に対する操作であってもよい。なお、操作装置2は、例えば上述の起動ボタン14Cに対する入力状況を表すボタンデータを参照して、起動ボタン14Cが押下されたか否かを判定することによって、ステップS9の判定を行うことができる。また、操作装置2は、例えば入力位置データを参照して、終了ボタン画像88に対する操作が行われたか否かを判定することによって、ステップS9の判定を行うことができる。ステップS9の判定結果が否定である場合、ステップS5の処理が再度実行される。以降、ステップS9の判定結果が肯定となるまで、ステップS5〜S9の一連の処理が繰り返し実行される。一方、ステップS9の判定結果が肯定である場合、ステップS1の処理が再度実行される。このとき、第2プログラムの実行は終了され、操作装置2は、第1情報処理に応じた処理を実行する。
【0375】
なお、図17に示すフローチャートにおいては、操作装置2は、ステップS3〜S9の各処理を直列的に実行するものとした。ただし、本実施形態においては、操作装置2は、ステップS3〜S9の各処理のうちのいくつかの処理を並列的に実行してもよい。
【0376】
図18は、情報処理装置3における処理の一例を示すフローチャートである。図18に示すフローチャートは、情報処理装置3における第1プログラムの実行開始後に実行される処理を示している。また、図18に示す各ステップの処理は、制御部41のCPU42によって実行されるものとする。ただし、上記各ステップの処理は、CPU42に限らず、操作装置2の任意の構成要素によって実行されてもよい。
【0377】
第1プログラムの実行が開始された後、ステップS11において、情報処理装置3は、第2プログラムが実行中か否かを判定する。情報処理装置3は、例えば、操作装置2から受信される上述の起動状態データに基づいて判定を行う。すなわち、CPU42は、操作装置2から受信された操作データに含まれる起動状態データを参照し、起動状態データが第2プログラムが実行中であることを示すか否かを判定する。なお、情報処理装置3は、起動状態データに代えて、または、起動状態データに加えて、起動ボタン14Cのボタンデータを用いて判定を行ってもよい。ステップS11の処理の判定結果が否定である場合、ステップS12の処理が実行される。一方、ステップS11の処理の判定結果が肯定である場合、ステップS13の処理が実行される。
【0378】
ステップS12において、情報処理装置3は、第1情報処理を実行する。すなわち、情報処理装置3は、操作装置2から操作データを受信し、受信した操作データに基づいて第1情報処理を実行し、出力画像データ(および出力音声データ)を生成する。また、情報処理装置3は、出力画像データ(および出力音声データ)を操作装置2へ送信する。このとき、情報処理装置3は、必要に応じて、操作装置2の各構成要素(例えばバイブレータ26、および、マーカ部15等)に動作を行わせる制御指示を操作装置2へ送信してもよい。なお、この制御指示は、上述の制御データとして送信されてもよい。また、情報処理装置3は、必要に応じて、操作装置2と外部装置との通信に関する上述の第1拡張通信データを操作装置2へ送信してもよい。
【0379】
なお、ステップS12においては、情報処理装置3は、第2情報処理が実行中であることに起因する制限を加えることなく、操作データを第1情報処理のための入力として用いる。つまり、情報処理装置3は、操作データに含まれるいくつかのデータを無効とすることなく、第1情報処理を実行する。ただし、上述のように、起動ボタン14Cのボタンデータは第1情報処理において使用されない。上記ステップS12の次に、後述するステップS14の処理が実行される。
【0380】
また、情報処理装置3は、操作装置2からの上記カメラ画像データおよび/またはマイク音声データを上記第1情報処理において用いてもよい。つまり、情報処理装置3は、操作装置2から受信した操作データとカメラ画像データ(および/またはマイク音声データ)とを用いて情報処理を実行してもよい。例えば、情報処理装置3は、第1情報処理において、カメラ画像データが表す画像に所定の加工を行って表示装置4に表示させる処理を実行してもよいし、マイク音声データが表す音声を認識し、音声認識の結果に従った処理を実行してもよい。
【0381】
また、情報処理装置3は、操作装置2からの上記第2通信管理データを上記第1情報処理において用いてもよい。つまり、情報処理装置3は、操作装置2から受信した操作データと通信管理データとを用いて情報処理を実行してもよい。例えば、情報処理装置3は、通信管理データの内容に応じて情報処理の内容を変更するようにしてもよいし、操作データおよび通信管理データを入力として用いて情報処理を実行するようにしてもよい。
【0382】
一方、ステップS13において、情報処理装置3は、操作装置2に対する操作のうち一部の操作を無効として、第1情報処理を実行する。すなわち、情報処理装置3は、操作装置2から受信した操作データのうち、一部のデータを使用せずに第1情報処理を実行し、出力画像データ(および出力音声データ)を生成する。なお、第1情報処理において無効とされる(使用が制限される)操作部の一例は、上述の“<7−3:各情報処理における操作データの使用>”で記載されている。また、ステップS13における第1情報処理においては、情報処理装置3は、バイブレータ26を作動させる制御指示を操作装置2へ送信しない。また、ステップS13における第1情報処理においては、情報処理装置3は、操作装置2と外部装置との通信に関する第1拡張通信データを操作装置2へ送信しない。ステップS13の次にステップS14の処理が実行される。
【0383】
ステップS14において、情報処理装置3は、表示装置4へ画像および音声を出力する。表示装置4へ出力すべき画像および音声は、上記ステップS12またはS13の処理において生成されてもよいし、ステップS14において上記第1情報処理に基づいて生成されてもよい。CPU42は、生成された画像および音声をAV−IC47へ出力する。AV−IC47は上記画像を、AVコネクタ48を介して表示装置4へ出力する。これによって、表示装置4に画像が表示される。また、AV−IC47は上記音声を、AVコネクタ48を介してスピーカ5へ出力する。これによって、スピーカ5から音声が出力される。
【0384】
ステップS14の次に、上述のステップS11の処理が再度実行される。情報処理装置3は、上記ステップS11〜S14の一連の処理からなる処理ループを所定時間(例えば1フレーム時間)に1回の割合で繰り返し実行する。なお、情報処理装置3は、例えばユーザ等によって終了指示が行われた場合、図18に示す一連の処理を終了する。
【0385】
なお、図17および図18に示すフローチャートにおける各ステップの処理は、単なる一例に過ぎず、同様の結果が得られるのであれば、各ステップの処理順序を入れ替えてもよいし、各ステップの処理に加えて別の処理が実行されてもよい。
【0386】
<7−5:効果>
以上に示した構成および動作によって、操作装置2は、以下に示す効果を奏する。なお、以下に示す効果を奏するためには、操作装置2は、以下において効果とともに説明する構成を有していればよく、本実施形態における全て構成を備えている必要はない。
【0387】
以上のように、本実施形態においては、操作装置2は、操作データを情報処理装置3へ送信し、情報処理装置3において操作データに基づいた処理によって生成される画像データを情報処理装置3から受信する。そして、操作装置2は、操作装置2に対する所定の操作(起動操作)が行われた場合、所定のプログラム(第2プログラム)を実行し、少なくとも当該プログラムの実行による画像を表示部に表示させる。また、操作装置2は、上記所定のプログラムが実行中であることを表すデータ(実行中データ)を情報処理装置3へ送信する。これによれば、情報処理装置3で実行される情報処理(第1情報処理)による画像を操作装置2において表示する間に、操作装置2において別の情報処理(第2情報処理)を実行することができる。したがって、操作装置2をより多くの情報処理のために用いることができる。ユーザは、操作装置2をより多くの目的で使用することができ、ユーザの利便性を向上することができる。また、本実施形態においては、上記所定のプログラムが実行中であることを表すデータが情報処理装置3へ送信されるので、情報処理装置3は、当該プログラムの実行状態を識別することができる。これによって、情報処理装置3は、操作データに基づいて上記画像データを生成する情報処理の内容を、上記プログラムの実行状態に応じて変更することができる。
【0388】
また、本実施形態においては、操作装置2は、上記プログラム(第2プログラム)の実行による画像(第2出力画像)として、当該プログラムによって実行される所定の処理に関する操作を行うための操作画像81を少なくとも表示する。これによれば、情報処理装置3における情報処理に対する入力を操作装置2によって行うことができるとともに、操作装置2における情報処理に対する入力を操作装置2によって行うことができる。なお、本実施形態の変形例において、操作装置2は、操作画像とは異なる他の画像を表示するようにしてもよい。
【0389】
また、本実施形態においては、操作装置2は、上記所定のプログラムの実行中か否かに関わらず情報処理装置3から画像データを受信する。そして、操作装置2は、上記プログラムの実行中においては上記画像データが表す画像(第1出力画像)を、当該プログラムの実行による画像(第2出力画像)とともに表示する。これによれば、操作装置2には、情報処理装置3における情報処理に関する画像が表示されるとともに、操作装置2における情報処理に関する画像が表示される。すなわち、操作装置2は、上記2つの情報処理に関するそれぞれの画像をユーザに提供することができる。ユーザは、操作装置2を用いて上記2つの画像の両方を確認することができる。なお、本実施形態の変形例において、操作装置2は、上記所定のプログラムの実行中においては情報処理装置3から画像データを受信しないようにしてもよい。また、本実施形態の変形例において、操作装置2は、上記プログラムの実行中においては上記画像データが表す画像(第1出力画像)を表示しないようにしてもよい。
【0390】
また、本実施形態においては、操作装置2は、操作部のうちの一部の操作部(ボタン群14の一部のボタン、方向入力部13、および、タッチパネル12)に対する操作を入力として所定の処理(第2情報処理)を実行する。このとき、情報処理装置3は、上記所定のプログラムが実行中であることを表すデータ(実行中)を受信する場合、上記一部の操作部に対する操作を無効として操作データに基づく処理を実行することによって画像データを生成する。これによれば、操作装置の操作部のうちの上記一部の操作部に対する操作は、操作装置2において実行される所定の処理において用いられ、情報処理装置3において実行される処理においては用いられない。したがって、ある操作部に対する操作が、ユーザが意図しない処理に用いられることがなく、誤入力を防止することができる。なお、本実施形態の変形例において、情報処理装置3は、上記所定のプログラムが実行中であることを表すデータ(実行中)を受信する場合であっても、上記一部の操作部に対する操作を無効とせずに操作データに基づく処理を実行してもよい。
【0391】
また、本実施形態においては、操作装置2は、上記一部の操作部として、表示部11の画面上に設けられるタッチパネル12を備える。これによれば、操作装置2は、操作装置2における情報処理に対する入力を、タッチパネル12を用いた直感的な操作によってユーザに行わせることができる。さらに、上記情報処理に対する操作を行うための画像(例えば、情報処理に対する指示を行うためのボタン画像)が上記操作画像として表示部11に表示される場合には、当該画像に対する直感的かつ容易な操作をユーザに提供することができる。なお、本実施形態の変形例において、上記一部の操作部は、タッチパネル以外の操作部であってもよい。
【0392】
また、本実施形態においては、操作装置2は、上記一部の操作部として1以上のボタンを備える。これによれば、操作装置2は、操作装置2における情報処理に対する入力を、ボタンを用いた容易な操作によってユーザに行わせることができる。なお、本実施形態の変形例において、上記一部の操作部は、ボタン以外の操作部であってもよい。
【0393】
また、本実施形態においては、操作装置2は、操作装置2の位置、姿勢、および動きのうちの少なくとも1つを検出するセンサ(加速度センサ23、ジャイロセンサ24、および磁気センサ25)を備える。また、操作装置2は、上記所定のプログラムの実行中か否かに関わらず、(情報処理装置3において画像データを生成する処理のために、)上記センサによる検出結果に基づくデータを含む操作データを送信する。このとき、操作装置2は、上記センサによる検出結果を用いずに上記所定の処理(第2情報処理)を実行する。これによれば、操作装置2自体を動かす操作が、ユーザの意図に反して操作装置2における処理に用いられることがなく、誤入力を防止することができる。また、情報処理装置3において上記各センサによる検出結果に基づくデータを含む操作データが用いられる場合には、操作装置2は、情報処理装置3における情報処理に対する入力を、操作装置2自体を動かす直感的な操作によってユーザに行わせることができる。さらに、操作装置2における情報処理に対する入力がタッチパネル12によって行われる場合には、操作装置2における情報処理と情報処理装置3における情報処理との両方の処理に関して直感的な操作をユーザに提供することができる。なお、本実施形態の変形例において、操作装置2は、上記センサによる検出結果に基づくデータを用いて上記所定の処理を実行してもよい。
【0394】
また、本実施形態においては、操作装置2は、情報処理装置3からの音声データが表す音声(第1出力音声)、および/または、上記所定の処理によって生成される音声(第2出力音声)を出力する。操作装置2は、上記所定のプログラムの実行中においては、当該プログラムが実行されていない場合に比べて音声データが表す音声(第1出力音声)を小さくして、上記所定の処理によって生成される音声(第2出力音声)とともに出力する。これによれば、操作装置2は、操作装置2における情報処理による音声と情報処理装置3における情報処理による音声との両方をユーザに提供することができるとともに、操作装置2における情報処理による音声をユーザに聞き取りやすく提供することができる。なお、本実施形態の変形例において、操作装置2は、上記所定のプログラムの実行中においては、当該プログラムが実行されていない場合に比べて音声データが表す音声を大きくして(または同程度にして)出力してもよい。
【0395】
また、本実施形態においては、操作装置2は、上記所定のプログラムが実行中であるか否かを表すデータを操作データとともに所定の頻度で情報処理装置3へ送信する。これによれば、情報処理装置3は、上記所定のプログラムの実行状態を確実に確認することができる。なお、本実施形態の変形例において、操作装置2は、上記所定のプログラムが実行中であるか否かを表すデータを操作データとは別にして情報処理装置3へ送信してもよい。
【0396】
また、本実施形態においては、操作装置2は、上記所定のプログラムの実行による画像(第2出力画像)を、画像データが表す画像(第1出力画像)に重ねて表示する。これによれば、操作装置2は、操作装置2における情報処理による画像と情報処理装置3における情報処理による画像との両方をユーザに提供することができるとともに、操作装置2における情報処理による画像をユーザに見やすく提供することができる。なお、本実施形態の変形例においては、操作装置2は、上記所定のプログラムの実行による画像を、画像データが表す画像とは別に表示してもよいし、上記所定のプログラムの実行による画像のみを表示してもよい。
【0397】
また、本実施形態においては、操作装置2は、情報処理装置3において生成された画像を表示可能な表示装置4に対して、操作装置2に対する操作に応じた制御を行うプログラムを所定のプログラムとして実行する。これによれば、ユーザは、操作装置2を用いて表示装置4を操作することができる。なお、例えば情報処理装置3において生成された画像が表示装置4に表示される場合には、操作装置2を用いて表示装置4を操作できることが有効である。
【0398】
すなわち、本実施形態においては、操作装置2は、操作装置2とは異なる他の装置(上記では表示装置4)に対して、操作装置2に対する操作に応じた制御を行うプログラムを実行する。これによって、ユーザは、操作装置2を用いて他の装置を操作することができる。
【0399】
なお、上記所定のプログラムの内容は、任意であり、上記他の装置に対して制御を行うプログラムに限らない。例えば、操作装置2がネットワーク(例えばインターネット)を介して他の情報処理装置と通信可能である場合、上記所定のプログラムは、当該他の情報処理装置との間で電子メールをやり取りするためのプログラム(いわゆるメーラー)であってもよいし、当該他の情報処理装置との間で映像および音声のやり取りを行うための(いわゆるテレビ電話の機能を有する)プログラムであってもよい。
【0400】
また、本実施形態においては、操作装置2は、赤外線信号を発光する赤外線発光部38を備える。また、表示装置4は、赤外線信号を受光する赤外線受光部を備える。操作装置2は、赤外線信号を赤外線発光部に出力させることによって表示装置4を制御する。これによれば、赤外線信号を受信する機能を有する一般的な表示装置(例えばテレビ)を本実施形態における情報処理システム1に用いることができ、種々の表示装置を情報処理システム1に用いることができる。また、赤外線信号を用いることで操作装置2によって表示装置4を容易に制御することができる。なお、本実施形態の変形例においては、操作装置2は、赤外線信号による通信機能を有している必要はない。また、操作装置2と表示装置4との間の通信は、赤外線信号を用いる方法以外の他の方法によって行われてもよい。
【0401】
また、本実施形態においては、操作装置2は、所定のボタン(起動ボタン14C)を備えており、上記所定の操作として当該所定のボタンに対する操作が行われた場合、所定のプログラムを実行する。これによれば、ユーザは所定のボタンを操作することによって容易に上記所定のプログラムを起動することができる。なお、上記所定の操作は、ボタンに対する操作以外の他の操作(例えば、タッチパネルに対する操作)によって行われてもよい。
【0402】
なお、上記において、所定のボタンに対する操作が、情報処理装置3における情報処理(操作データに基づいて出力画像データを生成する処理)には使用されない場合には、ユーザは、情報処理装置3における情報処理の状況にかかわらずいつでも上記所定のプログラムを起動することができる。
【0403】
また、本実施形態においては、操作装置2は、上記所定のプログラムが実行中であるか否かを表すデータと、所定のボタンに対する操作を表すデータとを情報処理装置3へ送信する。これによれば、これらのデータを受信する情報処理装置3は、所定のプログラムが実行中であるか否かをより精度良く判断することができる。なお、本実施形態の変形例においては、上記2つのデータのうちいずれか一方のみが情報処理装置3へ送信されてもよい。
【0404】
また、本実施形態においては、操作装置2は、画像を記憶する記憶部(フラッシュメモリ35)をさらに備え、上記記所定の操作(起動操作)が行われた場合、記憶部に記憶されている画像を表示部11に表示させる。これによれば、操作装置2は、所定のプログラムの実行による画像を容易に生成することができる。なお、本実施形態の変形例においては、所定のプログラムの実行による画像は、記憶部に記憶されている画像でなくてもよい。
【0405】
また、本実施形態においては、操作装置2は、上記画像データとして、情報処理装置3において実行されるゲーム処理によって生成されるゲーム画像データを受信する。表示部11は、ゲーム画像データが表す画像を表示する。これによれば、ユーザは、情報処理装置3におけるゲーム処理に基づくゲームのプレイ中に、操作装置2において他のプログラムを起動することができる。なお、本実施形態の変形例においては、情報処理装置3はゲーム処理以外の他の情報処理を実行してもよく、操作装置2にはゲーム画像以外の他の画像が表示されてもよい。
【0406】
[8.他の実施形態の一例]
上記実施形態においては、“[6.操作データの生成]”において操作データの生成方法およびその詳細な内容について説明した。ただし、操作データの生成方法および具体的な内容はどのようなものであってもよい。
【0407】
また、上記実施形態においては、“[7.第2プログラムの実行]”において、操作装置2がプログラム(第2プログラム)を実行する場合について説明した。ただし、操作装置2はプログラムを実行する機能を有していなくてもよい。また、操作装置2は、プログラムが実行中であることを示す実行中データ(例えば上述の起動状態データ)を情報処理装置3へ送信しなくてもよい。また、操作装置2は、表示装置4を制御する機能を備えていなくてもよい。
【0408】
なお、上記実施形態においては、情報処理システム1は、3つの装置(操作装置2、情報処理装置3、および表示装置4)を含む構成であった。ただし、情報処理システムは、操作装置2および情報処理装置3として(つまり、表示装置4を含まない形態で)提供されてもよい。また、情報処理システムは、情報処理装置3と表示装置4とが一体として構成される形態であってもよい。
【産業上の利用可能性】
【0409】
以上のように、本発明は、情報処理装置と通信可能な操作装置において、操作データを適切に送信すること等を目的として、例えば、ゲームシステム、および、それにおいて用いられる操作装置として利用することができる。
【符号の説明】
【0410】
1 情報処理システム
2 操作装置
3 情報処理装置
4 表示装置
11 表示部
12 タッチパネル
13 方向入力部
14 ボタン群
16 カメラ
21 入出力制御部
23 加速度センサ
24 ジャイロセンサ
25 磁気センサ
27 通信データ管理部
28 CPU
29 メモリ
31 スピーカ
32 マイク
33 無線モジュール
36 赤外線通信部
37 近距離無線通信部
38 赤外線発光部
41 制御部
42 CPU
43 メモリ
44 圧縮伸張部
45 無線モジュール
50 送信情報データ
51 操作データ
52 管理データ
53 通信管理データ
54 起動状態データ
71 送信ボタンデータ
72 送信指示方向データ
73 送信加速度データ
74 送信角速度データ
75 送信磁気データ
76 送信入力位置データ
80 出力画像(第1出力画像)
81 操作画像(第2出力画像)
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18