ホーム > 特許ランキング > 国立大学法人東京工業大学
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022172499
(43)【公開日】2022-11-17
(54)【発明の名称】情報処理装置、情報処理方法及びプログラム
(51)【国際特許分類】
A63B 69/00 20060101AFI20221110BHJP
A63B 59/40 20150101ALI20221110BHJP
G06F 3/01 20060101ALI20221110BHJP
G06T 19/00 20110101ALI20221110BHJP
【ＦＩ】
A63B69/00 504C
A63B69/00 506
A63B69/00 A
A63B59/40
G06F3/01 560
G06T19/00 300B
【審査請求】未請求
【請求項の数】13
【出願形態】ＯＬ
(21)【出願番号】P 2021078286
(22)【出願日】2021-05-06
【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り 〔ウェブサイトの掲載日（発行日）〕 令和３年１月１４日 〔ウェブサイトのアドレス〕ｈｔｔｐｓ：／／ｇｉｔｈｕｂ．ｃｏｍ／ｋｏｉｋｅｌａｂ－ｔｅａｍ／ＳＰｉｎＰｏｎｇ 〔刊行物等〕 〔ウェブサイトの掲載日（発行日）〕 令和３年３月１１日 〔ウェブサイトのアドレス〕ｈｔｔｐｓ：／／ｗｗｗ．ｙｏｕｔｕｂｅ．ｃｏｍ／ｗａｔｃｈ？ｖ＝ＰＲｓｃＩｒｎｂｃ２４ 〔刊行物等〕 〔ウェブサイトの掲載日（発行日）〕 令和３年４月１７日 〔ウェブサイトのアドレス〕ｈｔｔｐｓ：／／ｗｗｗ．ｙｏｕｔｕｂｅ．ｃｏｍ／ｗａｔｃｈ？ｖ＝０ｒＭ６ＩＡｒｋＥｍｓ 〔刊行物等〕 〔ウェブサイトの掲載日（発行日）〕 令和３年３月２２日 〔ウェブサイトのアドレス〕ｈｔｔｐｓ：／／ｗｗｗ．ｃｏｍｐｕｔｅｒ．ｏｒｇ／ｃｓｄｌ／ｊｏｕｒｎａｌ／ｔｇ／５５５５／０１／０９３８２８９２／１ｓａＺｒＲｏｉＡ３Ｃ 〔刊行物等〕 〔開催日〕 令和３年３月２７日～４月２日（発表日：令和３年４月１日） 〔集会名、開催場所〕アイ・トリプル・イー バーチャルリアリティ カンファレンス（ＩＥＥＥ ＶＲ Ｃｏｎｆｅｒｅｎｃｅ） オンライン開催（ｈｔｔｐｓ：／／ｉｅｅｅｖｒ．ｏｒｇ／２０２１／）
【国等の委託研究の成果に係る記載事項】（出願人による申告）令和２年度、国立研究開発法人科学技術振興機構、「戦略的創造研究推進事業」、「チーム型研究（ＣＲＥＳＴ）」、「人間と情報環境の共生インタラクション基盤技術の創出と展開」、「技能獲得メカニズムの原理解明および獲得支援システムへの展開」、「技能の抽象化と獲得メカニズムの原理解明、および獲得支援技術の開発」委託研究、産業技術力強化法第１７条の適用を受ける特許出願
(71)【出願人】
【識別番号】304021417
【氏名又は名称】国立大学法人東京工業大学
(74)【代理人】
【識別番号】110002789
【氏名又は名称】弁理士法人ＩＰＸ
(72)【発明者】
【氏名】ピーケンブロック ミツキ
(72)【発明者】
【氏名】ウー エアウィン
(72)【発明者】
【氏名】小池 英樹
【テーマコード（参考）】
5B050
5E555
【Ｆターム（参考）】
5B050BA08
5B050BA09
5B050BA13
5B050CA06
5B050EA12
5B050EA19
5B050FA02
5B050FA13
5E555AA76
5E555BA02
5E555BA74
5E555BB02
5E555BC01
5E555BE17
5E555CA44
5E555CB19
5E555DA08
5E555DB57
5E555DC09
5E555DC26
5E555DC83
5E555DC85
5E555DD01
5E555FA30
(57)【要約】 （修正有）
【課題】表示装置及びスポーツ用具装置と通信可能な情報処理装置の提供。
【解決手段】情報処理装置１００における表示装置１１０は、ユーザーが装着可能である。スポーツ用具装置１２０は、ユーザーが保持可能である。情報処理装置１００は、制御部を有する。前記制御部は、仮想空間画像が、ユーザーが装着している表示装置１１０に表示されるよう制御すると共に、仮想空間画像に、回転がかけられたボールの画像と、スポーツ用具装置１２０を示すスポーツ用具の画像と、が重畳して表示されるよう制御する。ボールの画像が、スポーツ用具の画像に届くタイミングで、ボールにかけられた回転に応じた振動が生じるようスポーツ用具装置１２０を制御する。
【選択図】図１
【解決手段】情報処理装置１００における表示装置１１０は、ユーザーが装着可能である。スポーツ用具装置１２０は、ユーザーが保持可能である。情報処理装置１００は、制御部を有する。前記制御部は、仮想空間画像が、ユーザーが装着している表示装置１１０に表示されるよう制御すると共に、仮想空間画像に、回転がかけられたボールの画像と、スポーツ用具装置１２０を示すスポーツ用具の画像と、が重畳して表示されるよう制御する。ボールの画像が、スポーツ用具の画像に届くタイミングで、ボールにかけられた回転に応じた振動が生じるようスポーツ用具装置１２０を制御する。
【選択図】図１
【特許請求の範囲】
【請求項1】
表示装置及びスポーツ用具装置と通信可能な情報処理装置であって、
前記表示装置は、ユーザーが装着可能であり、
前記スポーツ用具装置は、前記ユーザーが保持可能であり、
前記情報処理装置は、制御部を有し、
前記制御部は、
仮想空間画像が、前記ユーザーが装着している前記表示装置に表示されるよう制御すると共に、
前記仮想空間画像に、回転がかけられたボールの画像と、前記スポーツ用具装置を示すスポーツ用具の画像と、が重畳して表示されるよう制御し、
前記ボールの画像が、前記スポーツ用具の画像に届くタイミングで、前記ボールにかけられた回転に応じた振動が生じるよう前記スポーツ用具装置を制御する、
情報処理装置。
前記表示装置は、ユーザーが装着可能であり、
前記スポーツ用具装置は、前記ユーザーが保持可能であり、
前記情報処理装置は、制御部を有し、
前記制御部は、
仮想空間画像が、前記ユーザーが装着している前記表示装置に表示されるよう制御すると共に、
前記仮想空間画像に、回転がかけられたボールの画像と、前記スポーツ用具装置を示すスポーツ用具の画像と、が重畳して表示されるよう制御し、
前記ボールの画像が、前記スポーツ用具の画像に届くタイミングで、前記ボールにかけられた回転に応じた振動が生じるよう前記スポーツ用具装置を制御する、
情報処理装置。
【請求項2】
請求項１に記載の情報処理装置において、
前記制御部は、
前記ボールにかけられた回転に基づいて振動波形の信号データを選択し、選択した振動波形の信号データを前記スポーツ用具装置に送信することで、前記ボールにかけられた回転に応じた振動が生じるよう前記スポーツ用具装置を制御する、
情報処理装置。
前記制御部は、
前記ボールにかけられた回転に基づいて振動波形の信号データを選択し、選択した振動波形の信号データを前記スポーツ用具装置に送信することで、前記ボールにかけられた回転に応じた振動が生じるよう前記スポーツ用具装置を制御する、
情報処理装置。
【請求項3】
請求項１又は請求項２に記載の情報処理装置において、
前記制御部は、前記ボールの画像をスローモーションで動作させる、
情報処理装置。
前記制御部は、前記ボールの画像をスローモーションで動作させる、
情報処理装置。
【請求項4】
請求項１から請求項３までの何れか１項に記載の情報処理装置において、
前記制御部は、前記ボールの画像に前記ボールの回転方向を示す画像を重畳して表示させる、
情報処理装置。
前記制御部は、前記ボールの画像に前記ボールの回転方向を示す画像を重畳して表示させる、
情報処理装置。
【請求項5】
請求項１から請求項４までの何れか１項に記載の情報処理装置において、
前記制御部は、前記ボールの画像を拡大して動作させる、
情報処理装置。
前記制御部は、前記ボールの画像を拡大して動作させる、
情報処理装置。
【請求項6】
請求項５に記載の情報処理装置において、
前記制御部は、前記ボールの画像に前記ボールの回転が分かるようにテクスチャ画像を重畳して表示させる、
情報処理装置。
前記制御部は、前記ボールの画像に前記ボールの回転が分かるようにテクスチャ画像を重畳して表示させる、
情報処理装置。
【請求項7】
請求項１から請求項６までの何れか１項に記載の情報処理装置において、
前記制御部は、前記仮想空間画像に、前記ボールの進行方向の軌跡を示す画像を重畳して表示させる、
情報処理装置。
前記制御部は、前記仮想空間画像に、前記ボールの進行方向の軌跡を示す画像を重畳して表示させる、
情報処理装置。
【請求項8】
請求項７に記載の情報処理装置において、
前記制御部は、前記仮想空間画像に、前記ボールの回転に応じて、前記ボールを打つ角度及び位置をガイドするガイド画像を重畳して表示させる、
情報処理装置。
前記制御部は、前記仮想空間画像に、前記ボールの回転に応じて、前記ボールを打つ角度及び位置をガイドするガイド画像を重畳して表示させる、
情報処理装置。
【請求項9】
請求項１から請求項８までの何れか１項に記載の情報処理装置において、
前記制御部は、前記仮想空間画像に、前記ユーザーの対戦相手の画像を重畳して表示させ、
前記対戦相手の画像は、前記ボールにかけられた回転によって異なる、
情報処理装置。
前記制御部は、前記仮想空間画像に、前記ユーザーの対戦相手の画像を重畳して表示させ、
前記対戦相手の画像は、前記ボールにかけられた回転によって異なる、
情報処理装置。
【請求項10】
請求項９に記載の情報処理装置において、
前記対戦相手の画像は、前記ボールに回転をかける動作に関する画像である、
情報処理装置。
前記対戦相手の画像は、前記ボールに回転をかける動作に関する画像である、
情報処理装置。
【請求項11】
請求項１から請求項１０までの何れか１項に記載の情報処理装置において、
ボール出力装置と通信可能であり、
前記制御部は、
前記ボールの画像が、前記スポーツ用具の画像に届くタイミングで、実際のボールが前記スポーツ用具装置に届くよう前記ボール出力装置を制御する、
情報処理装置。
ボール出力装置と通信可能であり、
前記制御部は、
前記ボールの画像が、前記スポーツ用具の画像に届くタイミングで、実際のボールが前記スポーツ用具装置に届くよう前記ボール出力装置を制御する、
情報処理装置。
【請求項12】
表示装置及びスポーツ用具装置と通信可能な情報処理装置が実行する情報処理方法であって、
前記表示装置は、ユーザーが装着可能であり、
前記スポーツ用具装置は、前記ユーザーが保持可能であり、
仮想空間画像が、前記ユーザーが装着している前記表示装置に表示されるよう制御すると共に、
前記仮想空間画像に、回転がかけられたボールの画像と、前記スポーツ用具装置を示すスポーツ用具の画像と、が重畳して表示されるよう制御し、
前記ボールの画像が、前記スポーツ用具の画像に届くタイミングで、前記ボールにかけられた回転に応じた振動が生じるよう前記スポーツ用具装置を制御する、
情報処理方法。
前記表示装置は、ユーザーが装着可能であり、
前記スポーツ用具装置は、前記ユーザーが保持可能であり、
仮想空間画像が、前記ユーザーが装着している前記表示装置に表示されるよう制御すると共に、
前記仮想空間画像に、回転がかけられたボールの画像と、前記スポーツ用具装置を示すスポーツ用具の画像と、が重畳して表示されるよう制御し、
前記ボールの画像が、前記スポーツ用具の画像に届くタイミングで、前記ボールにかけられた回転に応じた振動が生じるよう前記スポーツ用具装置を制御する、
情報処理方法。
【請求項13】
プログラムであって、
コンピュータを、
請求項１から請求項１１までの何れか１項に記載の情報処理装置の制御部として機能させるためのプログラム。
コンピュータを、
請求項１から請求項１１までの何れか１項に記載の情報処理装置の制御部として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、情報処理方法及びプログラムに関する。
【背景技術】
【0002】
特許文献１には球技のトレーニング練習器が開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２００８－３０１９３０号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献１では、ゴム等の伸縮材を引っ張ることによって筋力を鍛えること目的としている。
球技のなかには様々なスピンボールがある。
特許文献１の技術では、対戦相手のスピンボールを打てるようにはならない。
球技のなかには様々なスピンボールがある。
特許文献１の技術では、対戦相手のスピンボールを打てるようにはならない。
【課題を解決するための手段】
【0005】
本発明の一態様によれば、表示装置及びスポーツ用具装置と通信可能な情報処理装置が提供される。この情報処理装置における表示装置は、ユーザーが装着可能である。スポーツ用具装置は、ユーザーが保持可能である。情報処理装置は、制御部を有する。制御部は、仮想空間画像が、ユーザーが装着している表示装置に表示されるよう制御すると共に、仮想空間画像に、回転がかけられたボールの画像と、スポーツ用具装置を示すスポーツ用具の画像と、が重畳して表示されるよう制御する。ボールの画像が、スポーツ用具の画像に届くタイミングで、ボールにかけられた回転に応じた振動が生じるようスポーツ用具装置を制御する。
【図面の簡単な説明】
【0006】
【発明を実施するための形態】
【0007】
以下、図面を用いて本発明の実施形態について説明する。以下に示す実施形態中で示した各種特徴事項は、互いに組み合わせ可能である。
【0008】
本明細書において「部」とは、例えば、広義の回路によって実施されるハードウェア資源と、これらのハードウェア資源によって具体的に実現されうるソフトウェアの情報処理とを合わせたものも含みうる。また、本実施形態においては様々な情報を取り扱うが、これら情報は、０又は１で構成される２進数のビット集合体として信号値の高低によって表され、広義の回路上で通信・演算が実行されうる。
【0009】
また、広義の回路とは、回路（Ｃｉｒｃｕｉｔ）、回路類（Ｃｉｒｃｕｉｔｒｙ）、プロセッサ（Ｐｒｏｃｅｓｓｏｒ）、及びメモリ（Ｍｅｍｏｒｙ）等を少なくとも適当に組み合わせることによって実現される回路である。すなわち、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Ｓｉｍｐｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＳＰＬＤ）、複合プログラマブル論理デバイス（Ｃｏｍｐｌｅｘ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＣＰＬＤ）、及びフィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ：ＦＰＧＡ））等を含むものである。
【0010】
＜実施形態１＞
１．システム構成
図１は、情報処理システム１０００のシステム構成の一例を示す図である。図１に示されるように、情報処理システム１０００は、システム構成として、情報処理装置１００と、ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）１１０と、ラケット１２０と、を含む。ラケット１２０には、位置センサ１３０と、バイブレータ１４０と、不図示の通信装置と、が取り付けられている。ラケット１２０に取り付けられた通信装置は、情報処理装置１００と通信を行う。位置センサ１３０は、取り付けられたラケット１２０の位置を検出して、ラケット１２０の通信装置を介して位置情報を情報処理装置１００に送信する。バイブレータ１４０は、ラケット１２０の通信装置を介して情報処理装置１００から信号を受信し、受信した信号に基づき信号に応じた振動を生じさせる。情報処理装置１００は、ＨＭＤ１１０及びラケット１２０の通信装置と通信可能である。ＨＭＤ１１０は、ユーザーが装着可能である。ラケット１２０は、ユーザーが保持可能である。本実施形態では、球技の一例として、卓球を例に説明を行う。したがって、より具体的に説明すると、ラケット１２０は、卓球のラケットである。
１．システム構成
図１は、情報処理システム１０００のシステム構成の一例を示す図である。図１に示されるように、情報処理システム１０００は、システム構成として、情報処理装置１００と、ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）１１０と、ラケット１２０と、を含む。ラケット１２０には、位置センサ１３０と、バイブレータ１４０と、不図示の通信装置と、が取り付けられている。ラケット１２０に取り付けられた通信装置は、情報処理装置１００と通信を行う。位置センサ１３０は、取り付けられたラケット１２０の位置を検出して、ラケット１２０の通信装置を介して位置情報を情報処理装置１００に送信する。バイブレータ１４０は、ラケット１２０の通信装置を介して情報処理装置１００から信号を受信し、受信した信号に基づき信号に応じた振動を生じさせる。情報処理装置１００は、ＨＭＤ１１０及びラケット１２０の通信装置と通信可能である。ＨＭＤ１１０は、ユーザーが装着可能である。ラケット１２０は、ユーザーが保持可能である。本実施形態では、球技の一例として、卓球を例に説明を行う。したがって、より具体的に説明すると、ラケット１２０は、卓球のラケットである。
【0011】
本実施形態の情報処理システム１０００の情報処理の概略を説明する。情報処理システム１０００は、ＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）空間内に現実空間を忠実に模したトレーニング環境を提示する。ユーザーは、ＨＭＤ１１０を装着し、上述したように、位置センサ１３０とバイブレータ１４０とを取り付けたラケット１２０（感触ラケット）を握り、仮想球を打つ。
本実施形態の仮想空間では、予めビデオ撮影された対戦相手の映像が表示され、仮想ボールが飛んでくる。仮想ボールが感触ラケットに着弾する際に、バイブレータにより着弾の感触がバイブレータに与えられる。情報処理システム１０００では、仮想ボールの時間軸（速度・スピン速度）を変化させることが可能である。特に、高速スピンの返球は、実空間での練習では大変時間がかかるが、仮想空間で時間を低速にすることで、ユーザーがボールの軌道、正しいラケット角度を容易に習得することができる。
本実施形態の仮想空間では、予めビデオ撮影された対戦相手の映像が表示され、仮想ボールが飛んでくる。仮想ボールが感触ラケットに着弾する際に、バイブレータにより着弾の感触がバイブレータに与えられる。情報処理システム１０００では、仮想ボールの時間軸（速度・スピン速度）を変化させることが可能である。特に、高速スピンの返球は、実空間での練習では大変時間がかかるが、仮想空間で時間を低速にすることで、ユーザーがボールの軌道、正しいラケット角度を容易に習得することができる。
【0012】
図１では、説明の簡略化のため、情報処理システム１０００において、ラケット１２０は１台しか図示していない。しかし、情報処理システム１０００に、複数のラケット１２０が含まれてもよい。情報処理装置１００は、サーバーであってもよいし、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）であってもよい。
【0013】
２．ハードウェア構成
（１）情報処理装置１００のハードウェア構成
図２は、情報処理装置１００のハードウェア構成の一例を示す図である。情報処理装置１００は、ハードウェア構成として、制御部２０１と、記憶部２０２と、通信部２０３と、を含む。制御部２０１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等であって、情報処理装置１００の全体を制御する。記憶部２０２は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）又はこれらの任意の組み合わせ等であって、プログラム及び制御部２０１がプログラムに基づき処理を実行する際に利用するデータ等を記憶する。制御部２０１が、記憶部２０２に記憶されているプログラムに基づき、処理を実行することによって、情報処理装置１００の機能及び後述する図４に示されるようなアクティビティ図の処理等が実現される。通信部２０３は、ＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）等であって、情報処理装置１００と他の装置（例えば、ＨＭＤ１１０、ラケット１２０等）との通信を司る。記憶部２０２は、記憶媒体の一例である。
（１）情報処理装置１００のハードウェア構成
図２は、情報処理装置１００のハードウェア構成の一例を示す図である。情報処理装置１００は、ハードウェア構成として、制御部２０１と、記憶部２０２と、通信部２０３と、を含む。制御部２０１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等であって、情報処理装置１００の全体を制御する。記憶部２０２は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）又はこれらの任意の組み合わせ等であって、プログラム及び制御部２０１がプログラムに基づき処理を実行する際に利用するデータ等を記憶する。制御部２０１が、記憶部２０２に記憶されているプログラムに基づき、処理を実行することによって、情報処理装置１００の機能及び後述する図４に示されるようなアクティビティ図の処理等が実現される。通信部２０３は、ＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）等であって、情報処理装置１００と他の装置（例えば、ＨＭＤ１１０、ラケット１２０等）との通信を司る。記憶部２０２は、記憶媒体の一例である。
【0014】
（２）ＨＭＤ１１０のハードウェア構成
図３は、ＨＭＤ１１０のハードウェア構成の一例を示す図である。ＨＭＤ１１０は、ハードウェア構成として、制御部３０１と、記憶部３０２と、入力部３０３と、表示部３０４と、通信部３０５と、を含む。制御部３０１は、ＣＰＵ等であって、ＨＭＤ１１０の全体を制御する。記憶部３０２は、ＲＯＭ、ＲＡＭ、ＳＳＤ又はこれらの任意の組み合わせ等であって、プログラム及び制御部３０１がプログラムに基づき処理を実行する際に利用するデータ等を記憶する。制御部３０１が、記憶部３０２に記憶されているプログラムに基づき、処理を実行することによって、ＨＭＤ１１０の機能等が実現される。入力部３０３は、例えばボタン等であって、ユーザー操作に応じて選択されたボタンに関連する信号を制御部３０１に入力する。ボタンには、例えば、仮想空間画像等の表示を開始する際に選択されるボタン、仮想空間画像等の表示を開始する際に選択されるボタン、後述する表示モードを選択する際に選択される表示モードに応じた複数のボタン等がある。表示部３０４は、後述する仮想空間画像等を表示する。通信部３０５は、ＨＭＤ１１０と他の装置（例えば、情報処理装置１００）との通信を司る。
図３は、ＨＭＤ１１０のハードウェア構成の一例を示す図である。ＨＭＤ１１０は、ハードウェア構成として、制御部３０１と、記憶部３０２と、入力部３０３と、表示部３０４と、通信部３０５と、を含む。制御部３０１は、ＣＰＵ等であって、ＨＭＤ１１０の全体を制御する。記憶部３０２は、ＲＯＭ、ＲＡＭ、ＳＳＤ又はこれらの任意の組み合わせ等であって、プログラム及び制御部３０１がプログラムに基づき処理を実行する際に利用するデータ等を記憶する。制御部３０１が、記憶部３０２に記憶されているプログラムに基づき、処理を実行することによって、ＨＭＤ１１０の機能等が実現される。入力部３０３は、例えばボタン等であって、ユーザー操作に応じて選択されたボタンに関連する信号を制御部３０１に入力する。ボタンには、例えば、仮想空間画像等の表示を開始する際に選択されるボタン、仮想空間画像等の表示を開始する際に選択されるボタン、後述する表示モードを選択する際に選択される表示モードに応じた複数のボタン等がある。表示部３０４は、後述する仮想空間画像等を表示する。通信部３０５は、ＨＭＤ１１０と他の装置（例えば、情報処理装置１００）との通信を司る。
【0015】
３．情報処理
図４は、情報処理装置１００における情報処理の一例を示すアクティビティ図である。
Ａ４０１において、制御部２０１は、ＨＭＤ１１０より表示開始の指示を受信したか否かを判定する。制御部２０１は、ＨＭＤ１１０より表示開始の指示を受信したと判定すると、処理をＡ４０２に進める。制御部２０１は、ＨＭＤ１１０より表示開始の指示を受信していないと判定すると、Ａ４０１の処理を繰り返す。
図４は、情報処理装置１００における情報処理の一例を示すアクティビティ図である。
Ａ４０１において、制御部２０１は、ＨＭＤ１１０より表示開始の指示を受信したか否かを判定する。制御部２０１は、ＨＭＤ１１０より表示開始の指示を受信したと判定すると、処理をＡ４０２に進める。制御部２０１は、ＨＭＤ１１０より表示開始の指示を受信していないと判定すると、Ａ４０１の処理を繰り返す。
【0016】
Ａ４０２において、制御部２０１は、仮想空間画像が、ユーザーが装着しているＨＭＤ１１０に表示されるよう制御すると共に、仮想空間画像に、回転がかけられたボールの画像と、ラケット１２０を示すスポーツ用具の画像と、が重畳して表示されるよう制御する。ここで、ボールの画像は、対戦相手がボールを打ってから、ユーザーがそのボールを打ち返すまで、時刻経過と共に位置を変え、仮想空間画像に重畳して表示される。また、スポーツ用具の画像は、ユーザーがラケット１２０を構えてからボールを打ち返すまで、時間経過と共に位置センサ１３０で検知された位置に基づいて、仮想空間画像に重畳して表示される。
【0017】
図５は、情報処理システム１０００の概要を示す図である。図５の左側５０１は、現実世界を示している。図５の右側５０２は、ＨＭＤ１１０の表示部３０４に表示されている仮想空間画像を示している。図５の左側５０１に示されるように、現実世界では、ボールは卓球マシンから出されているが、仮想空間画像では、ユーザーの対戦相手（サーブを打つ相手）の画像が重畳して表示されている。すなわち、制御部２０１は、仮想空間画像に、ユーザーの対戦相手の画像５０３を重畳して表示させる。ここで、制御部２０１は、対戦相手の画像５０３を、ボールにかけられた回転によって異なるよう表示する。より具体的に説明すると、制御部２０１は、ユーザーの対戦相手の画像を重畳して表示させる際に、ボールの回転に応じた、サーブを撃つ際の動作画像を仮想空間画像に重畳して表示させる。
このように、ユーザーは、サーブを撃つ際の相手の動作からボールの回転等を予測し、回転に応じた打ち方を学ぶことができる。
なお、図５に示されるように、仮想空間画像には、実際の卓球台と同じ位置に同じ大きさの卓球台が重畳表示されている。
このように、ユーザーは、サーブを撃つ際の相手の動作からボールの回転等を予測し、回転に応じた打ち方を学ぶことができる。
なお、図５に示されるように、仮想空間画像には、実際の卓球台と同じ位置に同じ大きさの卓球台が重畳表示されている。
【0018】
制御部２０１は、第１の表示モードが選択されていると判定した場合、ボールの画像をスローモーションで動作させる。図６は、ＨＭＤ１１０の表示部３０４に表示される画像の一例を示す図（その１）である。
【0019】
また、制御部２０１は、第２の表示モードが選択されていると判定した場合、ボールの画像にボールの回転方向を示す画像を重畳して表示させる。図７は、ＨＭＤ１１０の表示部３０４に表示される画像の一例を示す図（その２）である。図７の例では、回転方向を示す矢印の画像がボールの画像に重畳して表示されている。
回転方向を示す矢印の画像７０１等が表示されることによって、ユーザーは、ボールの回転の方向を矢印で認識しながらラケットを振ってボールを返すことができる。
回転方向を示す矢印の画像７０１等が表示されることによって、ユーザーは、ボールの回転の方向を矢印で認識しながらラケットを振ってボールを返すことができる。
【0020】
また、制御部２０１は、第３の表示モードが選択されていると判定した場合、ボールの画像を拡大して動作させる。更に、制御部２０１は、ボールの画像にボールの回転が分かるようにテクスチャ画像を重畳して表示させる。図８は、ＨＭＤ１１０の表示部３０４に表示される画像の一例を示す図（その３）である。図８の例では、ボールの画像８０１が実際のボールの大きさより拡大して表示されている。また、図８の例では、白いボールの画像８０１の上にテクスチャ画像が重畳して表示されている。
ボールが拡大されることによって、また、ボールにボールの回転が分かるようなテクスチャ画像が重畳表示されることによって、ユーザーは、ボールの回転方向を認識しながらラケットを振ってボールを返すことができる。
ボールが拡大されることによって、また、ボールにボールの回転が分かるようなテクスチャ画像が重畳表示されることによって、ユーザーは、ボールの回転方向を認識しながらラケットを振ってボールを返すことができる。
【0021】
また、制御部２０１は、第４の表示モードが選択されていると判定した場合、仮想空間画像に、ボールの進行方向の軌跡を示す画像を重畳して表示させる。更に、制御部２０１は、仮想空間画像に、ボールの回転に応じて、ボールを打つ際のラケット１２０のボールに対する角度及びラケット１２０の位置をガイドするガイド画像を重畳して表示させる。図９は、ＨＭＤ１１０の表示部３０４に表示される画像の一例を示す図（その４）である。図９の例では、ボールの進行方向の軌跡を示す画像９０１と、ボールの回転に応じて、ボールを打つ際のラケットの角度及び位置を示すガイド画像９０２と、が表示されている。
【0022】
ボールの進行方向の軌跡の画像が表示されることによって、また、ボールの回転に応じて、ボールを打つ際のラケットの角度及び位置を示すガイドの画像が表示されることによって、ユーザーは、回転がかけられたボールがどこにきて、どのように打ち返せばよいのか理解することができる。
なお、ユーザーは、複数の表示モードを選択することができる。このような場合、制御部２０１は、選択された複数の表示モードに応じた表示制御を行う。
なお、ユーザーは、複数の表示モードを選択することができる。このような場合、制御部２０１は、選択された複数の表示モードに応じた表示制御を行う。
【0023】
Ａ４０３において、制御部２０１は、仮想空間画像上においてボールの画像がスポーツ用具の画像に届くタイミングが否かを判定する。制御部２０１は、仮想空間画像上においてボールの画像がスポーツ用具の画像に届くタイミングであると判定すると、処理をＡ４０４に進める。制御部２０１は、仮想空間画像上においてボールの画像がスポーツ用具の画像に届くタイミングでないと判定すると、処理をＡ４０５に進める。
【0024】
Ａ４０４において、制御部２０１は、ボールにかけられた回転に応じた振動が生じるようラケット１２０を制御する。すなわち、制御部２０１は、ボールの画像が、スポーツ用具の画像に届くタイミングで、ボールにかけられた回転に応じた振動が生じるようラケット１２０を制御する。より具体的に説明すると、制御部２０１は、ボールにかけられた回転に基づいて振動波形の信号データを選択し、選択した振動波形の信号データをラケット１２０に送信することで、ボールにかけられた回転に応じた振動が生じるようラケット１２０を制御する。
本実施形態の情報処理システム１０００では、ラケット１２０に加速度センサを取り付け、各種の回転サーブボールが当たったときのラケットの振動波形を加速度センサで収集する。そして、回転に関連付けて振動波形の信号データを情報処理装置１００の記憶部２０２等に記憶する。図１０は、ボールの回転と振動波形の一例を示す図（その１）である。図１０では左側のスピンと、このスピンボールを受けたときのラケットの振動波形が示されている。図１１は、ボールの回転と振動波形の一例を示す図（その２）である。図１１ではバックスピンと、このスピンボールを受けたときのラケットの振動波形が示されている。図１２は、ボールの回転と振動波形の一例を示す図（その３）である。図１２では右側のスピンとこのスピンボールを受けたときのラケットの振動波形が示されている。
制御部２０１は、ボールにかけられた回転に基づいて記憶部２０２等より関連する振動波形の信号データを選択、取得し、取得した振動波形の信号データをラケット１２０に送信する。通信装置を介して振動波形の信号データを受信したラケット１２０は、振動波形の信号データに基づきバイブレータ１４０で振動を生じさせる。
本実施形態の情報処理システム１０００では、ラケット１２０に加速度センサを取り付け、各種の回転サーブボールが当たったときのラケットの振動波形を加速度センサで収集する。そして、回転に関連付けて振動波形の信号データを情報処理装置１００の記憶部２０２等に記憶する。図１０は、ボールの回転と振動波形の一例を示す図（その１）である。図１０では左側のスピンと、このスピンボールを受けたときのラケットの振動波形が示されている。図１１は、ボールの回転と振動波形の一例を示す図（その２）である。図１１ではバックスピンと、このスピンボールを受けたときのラケットの振動波形が示されている。図１２は、ボールの回転と振動波形の一例を示す図（その３）である。図１２では右側のスピンとこのスピンボールを受けたときのラケットの振動波形が示されている。
制御部２０１は、ボールにかけられた回転に基づいて記憶部２０２等より関連する振動波形の信号データを選択、取得し、取得した振動波形の信号データをラケット１２０に送信する。通信装置を介して振動波形の信号データを受信したラケット１２０は、振動波形の信号データに基づきバイブレータ１４０で振動を生じさせる。
【0025】
Ａ４０５において、制御部２０１は、ＨＭＤ１１０より表示終了の指示を受信したか否かを判定する。制御部２０１は、ＨＭＤ１１０より表示終了の指示を受信したと判定すると、図４に示す情報処理を終了する。制御部２０１は、ＨＭＤ１１０より表示終了の指示を受信していないと判定すると、処理をＡ４０２に戻す。
【0026】
本実施形態の処理によれば、情報処理システム１０００を用いてスピンボールを打つ練習を行うことによって、ユーザーは、実世界において、対戦相手のスピンボールを打てるようになった。
具体的には、実世界においてスピンボールを打つ練習をした場合のスピンサーブの返球成功率と、第２の表示モードで練習した場合のスピンサーブの返球成功率と、第３の表示モードで練習した場合のスピンサーブの返球成功率と、第４の表示モードで練習した場合のスピンサーブの返球成功率と、を比べると、第４の表示モードで練習した場合のスピンサーブの返球成功率が最も高く、効果を確認することができた。
なお、情報処理システム１０００は、スピンボールのリターンが成功したか否かを判定し、判定結果を仮想空間画像に重畳して表示するようにしてもよい。
具体的には、実世界においてスピンボールを打つ練習をした場合のスピンサーブの返球成功率と、第２の表示モードで練習した場合のスピンサーブの返球成功率と、第３の表示モードで練習した場合のスピンサーブの返球成功率と、第４の表示モードで練習した場合のスピンサーブの返球成功率と、を比べると、第４の表示モードで練習した場合のスピンサーブの返球成功率が最も高く、効果を確認することができた。
なお、情報処理システム１０００は、スピンボールのリターンが成功したか否かを判定し、判定結果を仮想空間画像に重畳して表示するようにしてもよい。
【0027】
（変形例１）
実施形態１の変形例を説明する。図１３は、変形例１の情報処理システム１０００のシステム構成の一例を示す図である。情報処理システム１０００は、図１に示した情報処理システム１０００に比べて、ピンポンマシン１５０が更に含まれる。ピンポンマシン１５０は、ボール出力装置の一例である。ピンポンマシン１５０は、情報処理装置１００と通信可能である。
制御部２０１は、ボールの画像が、スポーツ用具の画像に届くタイミングで、実際のボールがラケット１２０に届くようピンポンマシン１５０を制御する。例えば、実施形態１で説明した第１の表示モードが選択された場合、情報処理装置１００は、仮想空間上においてはボールがゆっくり動くよう画像の表示を制御し、ゆっくり動くボールの画像がラケット１２０の画像に当たるときに、実際のボールがラケット１２０に当たるようピンポンマシン１５０にボールの出力を指示することができる。
実施形態１の変形例を説明する。図１３は、変形例１の情報処理システム１０００のシステム構成の一例を示す図である。情報処理システム１０００は、図１に示した情報処理システム１０００に比べて、ピンポンマシン１５０が更に含まれる。ピンポンマシン１５０は、ボール出力装置の一例である。ピンポンマシン１５０は、情報処理装置１００と通信可能である。
制御部２０１は、ボールの画像が、スポーツ用具の画像に届くタイミングで、実際のボールがラケット１２０に届くようピンポンマシン１５０を制御する。例えば、実施形態１で説明した第１の表示モードが選択された場合、情報処理装置１００は、仮想空間上においてはボールがゆっくり動くよう画像の表示を制御し、ゆっくり動くボールの画像がラケット１２０の画像に当たるときに、実際のボールがラケット１２０に当たるようピンポンマシン１５０にボールの出力を指示することができる。
【0028】
変形例１によれば、仮想のボールを打つ際に実際のボールを打つことができるため、より実際に近い形でスピンボールを打つ練習ができ、対戦相手のスピンボールを打てるようになる。
【0029】
＜付記＞
発明は、次に記載の各態様で提供されてもよい。
前記情報処理装置において、前記制御部は、前記ボールにかけられた回転に基づいて振動波形の信号データを選択し、選択した振動波形の信号データを前記スポーツ用具装置に送信することで、前記ボールにかけられた回転に応じた振動が生じるよう前記スポーツ用具装置を制御する、情報処理装置。
前記情報処理装置において、前記制御部は、前記ボールの画像をスローモーションで動作させる、情報処理装置。
前記情報処理装置において、前記制御部は、前記ボールの画像に前記ボールの回転方向を示す画像を重畳して表示させる、情報処理装置。
前記情報処理装置において、前記制御部は、前記ボールの画像を拡大して動作させる、情報処理装置。
前記情報処理装置において、前記制御部は、前記ボールの画像に前記ボールの回転が分かるようにテクスチャ画像を重畳して表示させる、情報処理装置。
前記情報処理装置において、前記制御部は、前記仮想空間画像に、前記ボールの進行方向の軌跡を示す画像を重畳して表示させる、情報処理装置。
前記情報処理装置において、前記制御部は、前記仮想空間画像に、前記ボールの回転に応じて、前記ボールを打つ角度及び位置をガイドするガイド画像を重畳して表示させる、情報処理装置。
前記情報処理装置において、前記制御部は、前記仮想空間画像に、前記ユーザーの対戦相手の画像を重畳して表示させ、前記対戦相手の画像は、前記ボールにかけられた回転によって異なる、情報処理装置。
前記情報処理装置において、前記対戦相手の画像は、前記ボールに回転をかける動作に関する画像である、情報処理装置。
前記情報処理装置において、ボール出力装置と通信可能であり、前記制御部は、前記ボールの画像が、前記スポーツ用具の画像に届くタイミングで、実際のボールが前記スポーツ用具装置に届くよう前記ボール出力装置を制御する、情報処理装置。
表示装置及びスポーツ用具装置と通信可能な情報処理装置が実行する情報処理方法であって、前記表示装置は、ユーザーが装着可能であり、前記スポーツ用具装置は、前記ユーザーが保持可能であり、仮想空間画像が、前記ユーザーが装着している前記表示装置に表示されるよう制御すると共に、前記仮想空間画像に、回転がかけられたボールの画像と、前記スポーツ用具装置を示すスポーツ用具の画像と、が重畳して表示されるよう制御し、前記ボールの画像が、前記スポーツ用具の画像に届くタイミングで、前記ボールにかけられた回転に応じた振動が生じるよう前記スポーツ用具装置を制御する、情報処理方法。
プログラムであって、コンピュータを、前記情報処理装置の制御部として機能させるためのプログラム。
もちろん、この限りではない。
発明は、次に記載の各態様で提供されてもよい。
前記情報処理装置において、前記制御部は、前記ボールにかけられた回転に基づいて振動波形の信号データを選択し、選択した振動波形の信号データを前記スポーツ用具装置に送信することで、前記ボールにかけられた回転に応じた振動が生じるよう前記スポーツ用具装置を制御する、情報処理装置。
前記情報処理装置において、前記制御部は、前記ボールの画像をスローモーションで動作させる、情報処理装置。
前記情報処理装置において、前記制御部は、前記ボールの画像に前記ボールの回転方向を示す画像を重畳して表示させる、情報処理装置。
前記情報処理装置において、前記制御部は、前記ボールの画像を拡大して動作させる、情報処理装置。
前記情報処理装置において、前記制御部は、前記ボールの画像に前記ボールの回転が分かるようにテクスチャ画像を重畳して表示させる、情報処理装置。
前記情報処理装置において、前記制御部は、前記仮想空間画像に、前記ボールの進行方向の軌跡を示す画像を重畳して表示させる、情報処理装置。
前記情報処理装置において、前記制御部は、前記仮想空間画像に、前記ボールの回転に応じて、前記ボールを打つ角度及び位置をガイドするガイド画像を重畳して表示させる、情報処理装置。
前記情報処理装置において、前記制御部は、前記仮想空間画像に、前記ユーザーの対戦相手の画像を重畳して表示させ、前記対戦相手の画像は、前記ボールにかけられた回転によって異なる、情報処理装置。
前記情報処理装置において、前記対戦相手の画像は、前記ボールに回転をかける動作に関する画像である、情報処理装置。
前記情報処理装置において、ボール出力装置と通信可能であり、前記制御部は、前記ボールの画像が、前記スポーツ用具の画像に届くタイミングで、実際のボールが前記スポーツ用具装置に届くよう前記ボール出力装置を制御する、情報処理装置。
表示装置及びスポーツ用具装置と通信可能な情報処理装置が実行する情報処理方法であって、前記表示装置は、ユーザーが装着可能であり、前記スポーツ用具装置は、前記ユーザーが保持可能であり、仮想空間画像が、前記ユーザーが装着している前記表示装置に表示されるよう制御すると共に、前記仮想空間画像に、回転がかけられたボールの画像と、前記スポーツ用具装置を示すスポーツ用具の画像と、が重畳して表示されるよう制御し、前記ボールの画像が、前記スポーツ用具の画像に届くタイミングで、前記ボールにかけられた回転に応じた振動が生じるよう前記スポーツ用具装置を制御する、情報処理方法。
プログラムであって、コンピュータを、前記情報処理装置の制御部として機能させるためのプログラム。
もちろん、この限りではない。
【0030】
例えば、上述のソフトウェアを実現するためのプログラムは、コンピュータが読み取り可能な非一時的な記録媒体（Ｎｏｎ－Ｔｒａｎｓｉｔｏｒｙ Ｃｏｍｐｕｔｅｒ－Ｒｅａｄａｂｌｅ Ｍｅｄｉｕｍ）として提供されてもよいし、外部のサーバーからダウンロード可能に提供されてもよいし、外部のコンピュータで当該プログラムを起動させてクライアント端末でその機能を実現（いわゆるクラウドコンピューティング）するように提供されてもよい。
また、上述した実施形態及び変形例を任意に組み合わせて実施するようにしてもよい。
上述した実施形態では、情報処理装置１００が画面を生成し、ＨＭＤ１１０に送信するものとして説明を行った。しかし、情報処理装置１００は画面を生成するためのデータをＨＭＤ１１０に送信する。そして、ＨＭＤ１１０が情報処理装置１００より受信したデータに基づき画面を生成し、表示するようにしてもよい。
また、上述した実施形態及び変形例を任意に組み合わせて実施するようにしてもよい。
上述した実施形態では、情報処理装置１００が画面を生成し、ＨＭＤ１１０に送信するものとして説明を行った。しかし、情報処理装置１００は画面を生成するためのデータをＨＭＤ１１０に送信する。そして、ＨＭＤ１１０が情報処理装置１００より受信したデータに基づき画面を生成し、表示するようにしてもよい。
【0031】
また、上述した実施形態等では、卓球を例に情報処理システム１０００の処理を説明したが、野球、テニス、バトミントン等、対戦相手が回転するボールを投げてきて（又は打ってきて）、ユーザーがラケット又はバットを使う球技におけるトレーニングシステムにも応用することができる。
また、上述した情報処理装置が提供する機能は、複数の情報処理装置から構成されるシステムが提供するようにしてもよい。
また、上述した実施形態ではＨＭＤを用いて説明を行ったが、透過型のＡＲディスプレイを用いても同様の効果を得ることができる。
また、上述した情報処理装置が提供する機能は、複数の情報処理装置から構成されるシステムが提供するようにしてもよい。
また、上述した実施形態ではＨＭＤを用いて説明を行ったが、透過型のＡＲディスプレイを用いても同様の効果を得ることができる。
【0032】
最後に、本発明に係る種々の実施形態を説明したが、これらは、例として提示したものであり、発明の範囲を限定することは意図していない。新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。実施形態やその変形は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【0033】
１００ ：情報処理装置
１１０ ：ＨＭＤ
１２０ ：ラケット
１３０ ：位置センサ
１４０ ：バイブレータ
１５０ ：ピンポンマシン
２０１ ：制御部
２０２ ：記憶部
２０３ ：通信部
３０１ ：制御部
３０２ ：記憶部
３０３ ：入力部
３０４ ：表示部
３０５ ：通信部
５０１ ：左側
５０２ ：右側
５０３ ：画像
７０１ ：画像
８０１ ：画像
９０１ ：画像
９０２ ：ガイド画像
１０００ ：情報処理システム
１１０ ：ＨＭＤ
１２０ ：ラケット
１３０ ：位置センサ
１４０ ：バイブレータ
１５０ ：ピンポンマシン
２０１ ：制御部
２０２ ：記憶部
２０３ ：通信部
３０１ ：制御部
３０２ ：記憶部
３０３ ：入力部
３０４ ：表示部
３０５ ：通信部
５０１ ：左側
５０２ ：右側
５０３ ：画像
７０１ ：画像
８０１ ：画像
９０１ ：画像
９０２ ：ガイド画像
１０００ ：情報処理システム
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
