特開 2022-185742 シミュレーション装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022185742

(43)【公開日】2022-12-15

(54)【発明の名称】シミュレーション装置

(51)【国際特許分類】

   A63B 69/00 20060101AFI20221208BHJP

【ＦＩ】

A63B69/00 A

A63B69/00 505H

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2021093546

(22)【出願日】2021-06-03

(71)【出願人】

【識別番号】000132471

【氏名又は名称】株式会社セガ

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(72)【発明者】

【氏名】前山 佑介

(72)【発明者】

【氏名】二瓶 渉

(72)【発明者】

【氏名】江口 秀明

(57)【要約】

【課題】ユーザが現実空間で扱う道具の動きに仮想空間で扱う仮想道具の動きを同期させるシミュレーション装置の精度の向上とコストの削減を両立することを目的とする。
【解決手段】ユーザが現実空間で扱う道具の２箇所に設けられ、道具の位置情報を検出する道具位置検出手段と、道具の２箇所の位置情報に基づいて、道具の姿勢情報を算出する道具姿勢算出手段と、ユーザの頭部に装着される装着物に設けられ、ユーザの頭部の位置情報及び姿勢情報を検出する装着物検出手段と、道具の位置情報及び道具の姿勢情報に基づいて、ユーザが仮想空間で扱う仮想道具の軌道情報を算出する軌道情報算出手段と、仮想道具の軌道情報に基づいて、ユーザの頭部の位置情報及び姿勢情報に対応する仮想空間の仮想視点位置から見た仮想道具を含む立体画像を、表示部に表示させる立体画像制御手段と、を有するシミュレーション装置により上記課題を解決する。
【選択図】 図４

【特許請求の範囲】

【請求項1】

ユーザが現実空間で扱う道具の少なくとも２箇所に設けられ、前記道具の位置情報を検出する道具位置検出手段と、
前記道具の少なくとも２箇所の位置情報に基づいて、前記道具の姿勢情報を算出する道具姿勢算出手段と、
前記ユーザの頭部に装着される装着物に設けられ、前記ユーザの頭部の位置情報及び姿勢情報を検出する装着物検出手段と、
前記道具の位置情報及び前記道具の姿勢情報に基づいて、前記ユーザが仮想空間で扱う仮想道具の軌道情報を算出する軌道情報算出手段と、
前記仮想道具の軌道情報に基づいて、前記ユーザの頭部の位置情報及び姿勢情報に対応する前記仮想空間の仮想視点位置から見た前記仮想道具を含む立体画像を、表示部に表示させる立体画像制御手段と、
を有するシミュレーション装置。

【請求項2】

前記仮想空間を移動するオブジェクトの移動情報を算出する移動情報算出手段と、
前記仮想道具の軌道情報、及び前記オブジェクトの移動情報に基づいて、前記仮想道具と前記オブジェクトとのコリジョン判定を行うコリジョン判定手段、を更に有し、
前記立体画像制御手段は、前記コリジョン判定の結果に基づいた前記仮想道具及び前記オブジェクトを含む立体画像を前記表示部に表示させること
を特徴とする請求項１記載のシミュレーション装置。

【請求項3】

前記軌道情報算出手段は、算出した前記仮想道具の軌道情報を、カルマンフィルタを用いて平滑化すること
を特徴とする請求項１又は２記載のシミュレーション装置。

【請求項4】

前記道具位置検出手段及び前記装着物検出手段は、同一の方式で前記位置情報を検出すること
を特徴とする請求項１乃至３の何れか一項に記載のシミュレーション装置。

【請求項5】

前記立体画像制御手段は、前記ユーザから見て少なくとも２つの方向に位置する床面表示部及び壁面表示部に、前記仮想視点位置から見た前記仮想道具及び前記オブジェクトを含む立体画像を表示させるように、右目用及び左目用の画像を生成し、前記右目用及び左目用の画像を交互に前記床面表示部及び壁面表示部に表示させると共に、前記床面表示部及び壁面表示部に表示される右目用及び左目用の画像と同期して、前記ユーザが装着しているメガネの右目及び左目の視界を交互に開閉する制御を行うこと
を特徴とする請求項２記載のシミュレーション装置。

【請求項6】

前記道具位置検出手段は、前記ユーザが現実空間で扱うバットのグリップエンド及び先端に取り付けられており、
前記道具姿勢算出手段は、前記バットのグリップエンドに取り付けられた第１の道具位置検出手段が検出した位置と前記バットの先端に取り付けられた第２の道具位置検出手段が検出した位置とを繋げた線に基づいて、前記道具の姿勢情報を算出すること
を特徴とする請求項１乃至５の何れか一項に記載のシミュレーション装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、シミュレーション装置に関する。

【背景技術】

【0002】

例えば打球具のスイングを解析するための技術の一例として、仮想空間内において精度のよいスイング軌道を表示することが可能なスイング解析システムおよびスイング解析方法が知られている（例えば特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１９－１８７５０１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１のスイング解析システムは、スイング解析装置と、センサ装置と、撮像システムと、ヘッドマウントディスプレイ（ＨＭＤ）と、マーカと、を含んでいる。センサ装置はバットのグリップエンド部に取り付けられており、グリップエンド部の加速度データおよび角速度データを検出する。撮像システムは光学式モーションキャプチャシステムであり、バットのヘッド部に取り付けられたマーカを撮像することにより、ヘッド部の位置情報及び姿勢情報を取得する。

【0005】

従来のスイング解析システムでは、簡易なトラッキングシステムで精度良く検出することが望まれていた。しかしながら、簡易なトラッキングシステムを利用するスイング解析システムでは、スイングスピードが高速になった場合のスイング軌道を、精度良く検出できない場合があった。

【0006】

なお、上記問題はバットのスイング解析に限定されるものではなく、ユーザが現実空間で扱う道具の動きに、仮想空間で扱う仮想道具の動きを同期させるシミュレーション装置においても同様に生じる。

【0007】

本発明は上記の課題に鑑みなされたものであり、ユーザが現実空間で扱う道具の動きに仮想空間で扱う仮想道具の動きを同期させるシミュレーション装置の精度の向上とコストの削減を両立することを目的とする。

【課題を解決するための手段】

【0008】

上記した課題を解決するために、本願請求項１は、ユーザが現実空間で扱う道具の少なくとも２箇所に設けられ、前記道具の位置情報を検出する道具位置検出手段と、前記道具の少なくとも２箇所の位置情報に基づいて、前記道具の姿勢情報を算出する道具姿勢算出手段と、前記ユーザの頭部に装着される装着物に設けられ、前記ユーザの頭部の位置情報及び姿勢情報を検出する装着物検出手段と、前記道具の位置情報及び前記道具の姿勢情報に基づいて、前記ユーザが仮想空間で扱う仮想道具の軌道情報を算出する軌道情報算出手段と、前記仮想道具の軌道情報に基づいて、前記ユーザの頭部の位置情報及び姿勢情報に対応する前記仮想空間の仮想視点位置から見た前記仮想道具を含む立体画像を、表示部に表示させる立体画像制御手段と、を有することを特徴とする。

【発明の効果】

【0009】

本発明によれば、ユーザが現実空間で扱う道具の動きに仮想空間で扱う仮想道具の動きを同期させるシミュレーション装置の精度の向上とコストの削減を両立できる。

【図面の簡単な説明】

【0010】

【図1】本実施形態に係るバッティングシミュレータの一例の概略図である。

【図2】本実施形態に係るバッティングシミュレータの一例の３面表示部及びプロジェクタの配置例を示した概略図である。

【図3】左打席を利用するユーザ用の立体画像及び右打席を利用するユーザ用の立体画像の一例を示した概略図である。

【図4】本実施形態に係るバッティングシミュレータの一例を示したシステム構成図である。

【図5】本実施形態に係るコンピュータの一例のハードウェア構成図である。

【図6】本実施形態に係るバッティングシミュレータの一例の機能構成図である。

【図7】本実施形態に係るバッティングシミュレータの処理手順の一例のフローチャートである。

【図8】専用バットの位置情報及び姿勢情報に基づいて、仮想空間におけるバットオブジェクトの軌道情報を算出する処理手順の一例のフローチャートである。

【図9】３面表示部に立体表示された仮想バットのスイング軌道の一例のイメージ図である。

【図10】本実施形態に係るバッティングシミュレータの一例の概略図である。

【発明を実施するための形態】

【0011】

次に、本発明の実施形態について詳細に説明する。本実施形態では、ユーザが現実空間で扱う道具の動きに、仮想空間で扱う仮想道具の動きを同期させるシミュレーション装置の例として、バッティングシミュレータを例に説明する。バッティングシミュレータではユーザが現実空間で専用バットを持ってスイングすることで、専用バットの動きに同期する仮想空間の仮想バットでスイングできる。

【0012】

［第１の実施形態］
＜概要＞
図１は本実施形態に係るバッティングシミュレータの一例の概略図である。図２は本実施形態に係るバッティングシミュレータの一例の３面表示部及びプロジェクタの配置例を示した概略図である。図２（Ａ）はバッティングシミュレータを上方から見た概略図を示している。図２（Ｂ）はバッティングシミュレータを正面から見た概略図を示している。図２（Ｃ）はバッティングシミュレータを側面から見た概略図を示している。

【0013】

図１及び図２に示したように、バッティングシミュレータは、３面表示部１０と、床面用プロジェクタ２１と、側面用プロジェクタ２２と、正面用プロジェクタ２３と、を有している。ユーザＰは液晶シャッタメガネ４１を掛け、頭部にヘルメット（図示せず）を装着し、専用バット４２を持った状態でバッティングシミュレータを利用する。

【0014】

３面表示部１０は、床面表示部１１と、壁面表示部（第１壁面表示部１２及び第２壁面表示部１３）と、第１～第３湾曲部１４～１６と、を有する。床面表示部１１は、例えば方形形状又は矩形形状である。第１壁面表示部１２及び第２壁面表示部１３は、例えば上辺が下辺よりも長い台形形状である。床面表示部１１、第１壁面表示部１２、及び第２壁面表示部１３は、それぞれ、実質的に平坦な面である。

【0015】

図１及び図２の例では、第１壁面表示部１２と第２壁面表示部１３とが、例えば約９０度の角度を成す。また、床面表示部１１と第１壁面表示部１２とが成す角度、及び床面表示部１１と第２壁面表示部１３とが成す角度は鈍角であることが好ましく、例えば約９４度の角度を成す。

【0016】

床面表示部１１、第１壁面表示部１２、及び第２壁面表示部１３の相互間は、第１湾曲部１４、第２湾曲部１５、及び第３湾曲部１６を介して接続されている。例えば床面表示部１１と第１壁面表示部１２とは、所定の曲率半径の第１湾曲部１４を介して滑らかに接続されている。床面表示部１１と第２壁面表示部１３とは、所定の曲率半径の第２湾曲部１５を介して滑らかに接続されている。また、第１壁面表示部１２と第２壁面表示部１３とは、所定の曲率半径の第３湾曲部１６を介して滑らかに接続されている。

【0017】

ユーザＰは床面表示部１１上の任意の位置に立つことができる。本実施形態では、床面表示部１１上の空間を現実空間と呼ぶ。本実施形態の現実空間の位置及び方向は、床面表示部１１の隅部（第１壁面表示部１２及び第２壁面表示部１３に対向する隅部）付近の位置を原点ＰＯとする直交座標（ＸｐＹｐＺｐ座標）を用いて表す。

【0018】

床面表示部１１上のユーザＰの視点から見ると、例えば床面表示部１１は下方向（－Ｚｐ方向）に位置する。第１壁面表示部１２は、ユーザＰの前方右側（＋Ｘｐ方向）に位置する。第２壁面表示部１３は、ユーザＰの前方左側（＋Ｙｐ方向）に位置する。

【0019】

床面表示部１１にはスイング領域ＳＲが設けられる。スイング領域ＳＲは、ユーザが専用バット４２を第１壁面表示部１２及び第２壁面表示部１３にぶつける心配なく、安全にスイングすることができるように、第１壁面表示部１２及び第２壁面表示部１３の双方から所定の離間距離が設けられている。

【0020】

床面用プロジェクタ２１、側面用プロジェクタ２２、及び正面用プロジェクタ２３は３面表示部１０に立体画像（立体映像）を映写するための装置である。なお、本実施形態では立体画像の表示方式として、時分割方式を使用する例を説明する。時分割方式の床面用プロジェクタ２１、側面用プロジェクタ２２、及び正面用プロジェクタ２３は、別々に生成された右目用及び左目用の画像を、時分割で交互に３面表示部１０に映し出す。時分割方式の床面用プロジェクタ２１、側面用プロジェクタ２２、及び正面用プロジェクタ２３は、アクティブシャッター方式の３Ｄプロジェクタと呼ばれることがある。

【0021】

また、時分割方式では床面用プロジェクタ２１、側面用プロジェクタ２２、及び正面用プロジェクタ２３によって３面表示部１０に時分割で映し出された右目用及び左目用の画像をユーザが右目及び左目で交互に見ることができるように、液晶シャッタメガネ４１が利用される。液晶シャッタメガネ４１は右目用の画像が３面表示部１０に表示されているときに左目の視界を閉じ、左目用の画像が３面表示部１０に表示されているときに右目の視界を閉じるように、ユーザの視界を交互に開閉制御する。立体画像の表示方式は、既存の技術を利用でき、円偏光方式、直線偏光方式、フレーム・シーケンシャル方式等、他の方式を使用してもよい。

【0022】

床面用プロジェクタ２１は、床面表示部１１用のプロジェクタであり、第１壁面表示部１２の上方に配置される。床面用プロジェクタ２１からの画像は、床面表示部１１、第１湾曲部１４、第２湾曲部１５に映写される。側面用プロジェクタ２２は、第１壁面表示部１２用のプロジェクタであり、第１壁面表示部１２からＸ方向に十分離れた位置の天井付近に配置される。側面用プロジェクタ２２からの映像は、第１壁面表示部１２、第１湾曲部１４、及び第３湾曲部１６に斜め下方に向けて映写される。正面用プロジェクタ２３は第２壁面表示部１３用のプロジェクタであり、第２壁面表示部１３からＹ方向に十分離れた位置の天井付近に配置される。正面用プロジェクタ２３からの映像は、第２壁面表示部１３、第２湾曲部１５、及び第３湾曲部１６に斜め下方に向けて映写される。

【0023】

床面用プロジェクタ２１、側面用プロジェクタ２２、及び正面用プロジェクタ２３によって３面表示部１０に映し出される画像は、時分割で交互に映し出される右目用及び左目用の画像である。３面表示部１０に時分割で交互に映し出される右目用及び左目用の画像を、装着した液晶シャッタメガネ４１を通して見ることにより、床面表示部１１上のユーザＰは画像を立体として認識することができる。

【0024】

本実施形態に係るバッティングシミュレータでは、図３に示すように、左打席を利用するユーザＰ及び右打席を利用するユーザＰの両方に対応できる。図３は、左打席を利用するユーザ用の立体画像及び右打席を利用するユーザ用の立体画像の一例を示した概略図である。

【0025】

図３（Ａ）は、ユーザＰが左打席を利用する場合に、３面表示部１０に表示される立体画像の一例を示している。左打席の位置はユーザＰが専用バット４２を振った際に安全なように設定している。例えば図３（Ａ）は座標で表すと投手映像Ｅ１がＸｐ方向に位置する第１壁面表示部１２に表示され、ボール映像Ｅ２がＸｐ座標に沿って本塁映像Ｅ５Ｈに向かって移動してくる。

【0026】

図３（Ｂ）は、ユーザＰが右打席を利用する場合に、３面表示部１０に表示される立体画像の一例を示している。右打席の位置はユーザＰが専用バット４２を振った際に安全なように設定している。例えば図３（Ｂ）は座標で表すと投手映像Ｅ１がＹｐ方向に位置する第２壁面表示部１３に表示され、ボール映像Ｅ２がＹｐ座標に沿って本塁映像Ｅ５Ｈに向かって移動してくる。図３（Ａ）及び図３（Ｂ）とは、床面表示部１１に表示される本塁映像Ｅ５Ｈが平面視で９０度、変更されている。

【0027】

なお、図１～図３では、本実施形態に係るバッティングシミュレータにおいてユーザＰが操作を行うための構成、ユーザＰからバッティングシミュレータの利用料金を徴収するための構成、ユーザＰの視線を検出する構成、専用バット４２のスイング軌道を検出する構成、３面表示部１０に表示する立体画像を制御する構成、及び打撃結果を判定する構成の図示を省略しているが、図４に示すような構成となる。

【0028】

＜システム構成＞
図４は、本実施形態に係るバッティングシミュレータの一例を示したシステム構成図である。図４に示すバッティングシミュレータ１は、床面用プロジェクタ２１、側面用プロジェクタ２２、正面用プロジェクタ２３、液晶シャッタメガネ４１、専用バット４２、ヘルメット４３、操作ユニット１００、画面表示ユニット１１０、コイン投入ユニット１２０、ＩＣカードユニット１３０、コンピュータ１５０、液晶シャッタメガネ用発信器１９０、赤外線センサ２１０、トラッカ用通信機２２０ａ～２２０ｃ、専用バット４２に取り付けられたトラッカ２３０ａ～２３０ｂ、及びヘルメット４３に取り付けられたトラッカ２３０ｃを有する。

【0029】

バッティングシミュレータ１はコンピュータ１５０を含む。コンピュータ１５０は例えばＰＣ（Personal Computer）等であり、１台のＰＣであってもよいし、複数台のＰＣが連携して処理を行うものであってもよい。

【0030】

コンピュータ１５０は、床面用プロジェクタ２１、側面用プロジェクタ２２、正面用プロジェクタ２３、操作ユニット１００、画面表示ユニット１１０、コイン投入ユニット１２０、ＩＣカードユニット１３０、液晶シャッタメガネ用発信器１９０、赤外線センサ２１０、及びトラッカ用通信機２２０ａ～２２０ｃがデータ通信可能に接続されている。

【0031】

操作ユニット１００はユーザＰが操作を行うためのインターフェースとして機能する装置の一つである。操作ユニット１００は、例えばボタンやタッチパネルなどの入力装置を有している。画面表示ユニット１１０はユーザＰが操作を行うためのインターフェースとして機能する装置の一つである。画面表示ユニット１１０は、例えば液晶モニタなどの表示装置や音声を出力するスピーカなどを有している。

【0032】

コイン投入ユニット１２０はユーザＰからバッティングシミュレータの利用料金を徴収する料金徴収装置の一例である。ＩＣカードユニット１３０は、例えば情報記憶媒体であるＩＣカードの情報を読み書きするＩＣカードリーダライタを含む。ＩＣカードユニット１３０は、ユーザＰのＩＣカードからカードＩＤなどのユーザＰを特定可能な識別情報を読み取ることができる。ユーザＰのＩＣカードから読み取られた識別情報は、例えば電子決済や、バッティングシミュレータによるシミュレーション結果の保存などに利用することができる。

【0033】

床面用プロジェクタ２１、側面用プロジェクタ２２、及び正面用プロジェクタ２３はコンピュータ１５０の制御に従い、３面表示部１０に立体画像を表示させる。液晶シャッタメガネ用発信器１９０は液晶シャッタメガネ４１と無線通信可能に接続されている。液晶シャッタメガネ用発信器１９０はコンピュータ１５０の制御に従い、液晶シャッタメガネ４１の左右のレンズを交互に開閉させる。

【0034】

液晶シャッタメガネ４１の左右のレンズは、右目用の画像が３面表示部１０に表示されているときにユーザＰの左目の視界を閉じ、左目用の画像が３面表示部１０に表示されているときにユーザＰの右目の視界を閉じるように、開閉制御される。

【0035】

本実施形態に係るバッティングシミュレータ１で利用する専用バット４２には、先端にトラッカ２３０ａが取り付けられ、グリップエンドにトラッカ２３０ｂが取り付けられている。また、ユーザＰが頭部に装着するヘルメット４３には、頂点部分にトラッカ２３０ｃが取り付けられている。なお、図示した専用バット４２へのトラッカ２３０ａ及び２３０ｂの取り付け方は一例である。また、図示したヘルメット４３へのトラッカ２３０ｃの取り付け方も一例である。

【0036】

トラッカ２３０ａ～２３０ｃには、それぞれ赤外線マーカ（図示せず）が取り付けられている。赤外線センサ２１０はユーザＰが利用中の専用バット４２及びヘルメット４３を撮影可能な位置に設置されている。赤外線センサ２１０は撮影した画像を解析することにより赤外線マーカの現実空間での位置を検出し、検出した位置情報をコンピュータ１５０に通知する。赤外線センサ２１０から通知されるトラッカ２３０ａ～２３０ｃの位置情報は現実空間における専用バット４２の先端、グリップエンド、及びヘルメット４３の頂点部分の位置を示している。

【0037】

また、トラッカ用通信機２２０ａ～２２０ｃはユーザＰが利用中の専用バット４２及びヘルメット４３と無線通信可能な位置に設置されている。例えばトラッカ用通信機２２０ａは専用バット４２の先端に取り付けられたトラッカ２３０ａから、トラッカ２３０ａが検出した専用バット４２の先端の位置情報及び姿勢情報を受信し、コンピュータ１５０に通知する。トラッカ用通信機２２０ｂは専用バット４２のグリップエンドに取り付けられたトラッカ２３０ｂから、トラッカ２３０ｂが検出した専用バット４２のグリップエンドの位置情報及び姿勢情報を受信し、コンピュータ１５０に通知する。トラッカ用通信機２２０ｃはヘルメット４３の頂点に取り付けられたトラッカ２３０ｃから、トラッカ２３０ｃが検出したヘルメット４３の頂点の位置情報及び姿勢情報を受信し、コンピュータ１５０に通知する。

【0038】

なお、赤外線センサ２１０、トラッカ用通信機２２０ａ～２２０ｃ、及びトラッカ２３０ａ～２３０ｃは、例えばＨＴＣ ＶＩＶＥ（登録商標）のベースステーション、ドングル、及びトラッカなどのトラッキングシステムを用いることができる。

【0039】

上記したように、本実施形態に係るバッティングシミュレータ１では、既存のトラッキングシステムを利用して、専用バット４２の位置情報とヘルメット４３の位置情報とを得るようにしているため、ユーザＰが現実空間で扱う専用バット４２などの道具の動きに仮想空間で扱う仮想バットなどの動きを同期させるシミュレーション装置のコストを低減することができる。

【0040】

図４のコンピュータ１５０は、例えば図５に示したハードウェア構成のコンピュータにより実現される。図５は、本実施形態に係るコンピュータの一例のハードウェア構成図である。

【0041】

図５のコンピュータは、入力装置５０１、出力装置５０２、外部Ｉ／Ｆ５０３、ＲＡＭ５０４、ＲＯＭ５０５、ＣＰＵ５０６、通信Ｉ／Ｆ５０７、及びＨＤＤ５０８などを備えており、それぞれがバスＢで相互に接続されている。なお、入力装置５０１及び出力装置５０２は必要なときに接続して利用する形態であってもよい。

【0042】

入力装置５０１は、ユーザが各種信号を入力するのに用いるタッチパネル、操作キーやボタン、キーボードやマウスなどである。出力装置５０２は、画面を表示する液晶や有機ＥＬなどのディスプレイ、音声や音楽などの音データを出力するスピーカ等で構成されている。通信Ｉ／Ｆ５０７は、コンピュータをネットワークに接続するインターフェースである。これによりコンピュータは、通信Ｉ／Ｆ５０７を介してデータ通信を行うことができる。

【0043】

また、ＨＤＤ５０８はプログラムやデータを格納している不揮発性の記憶装置の一例である。格納されるプログラムやデータにはコンピュータ全体を制御する基本ソフトウェアであるＯＳ、及びＯＳ上において各種機能を提供するアプリケーションなどがある。コンピュータはＨＤＤ５０８に替えて、記憶媒体としてフラッシュメモリを用いるドライブ装置（例えばソリッドステートドライブ：ＳＳＤ）を利用するものであってもよい。

【0044】

外部Ｉ／Ｆ５０３は、外部装置とのインターフェースである。外部装置には、記録媒体５０３ａなどがある。これにより、コンピュータ５００は外部Ｉ／Ｆ５０３を介して記録媒体５０３ａの読み取り及び／又は書き込みを行うことができる。記録媒体５０３ａにはフレキシブルディスク、ＣＤ、ＤＶＤ、ＳＤメモリカード、ＵＳＢメモリなどがある。

【0045】

ＲＯＭ５０５は、電源を切ってもプログラムやデータを保持することができる不揮発性の半導体メモリ（記憶装置）の一例である。ＲＯＭ５０５にはコンピュータの起動時に実行されるＢＩＯＳ、ＯＳ設定、及びネットワーク設定などのプログラムやデータが格納されている。ＲＡＭ５０４はプログラムやデータを一時保持する揮発性の半導体メモリ（記憶装置）の一例である。

【0046】

ＣＰＵ５０６は、ＲＯＭ５０５やＨＤＤ５０８などの記憶装置からプログラムやデータをＲＡＭ５０４上に読み出し、処理（出力装置５０２に出力する画像や音声などを生成する処理も含む）を実行することで、コンピュータ全体の制御や機能を実現する演算装置である。

【0047】

本実施形態に係るバッティングシミュレータ１は、上記したハードウェア構成のコンピュータ１５０においてプログラムを実行することにより、例えば図６に示すような各種機能を実現できる。

【0048】

＜機能構成＞
本実施形態に係るバッティングシミュレータ１は、コンピュータ１５０においてプログラムを実行することにより、例えば図６の機能構成を実現する。図６は本実施形態に係るバッティングシミュレータの一例の機能構成図である。

【0049】

バッティングシミュレータ１は、仮想モデル設定部５０、打席選択部５２、視点位置算出部５４、視線方向設定部５６、立体画像制御部５８、打撃結果判定部６０、バット検出部６２、及びヘルメット検出部６４を有する。バット検出部６２は、バット位置検出部７０、バット姿勢算出部７２、及び軌道情報算出部７４を有する。

【0050】

仮想モデル設定部５０は、３次元の仮想空間に種々のオブジェクトを配置する。３次元の仮想空間に配置する種々のオブジェクトには、現実の球場に存在する人、物、又は設備などの様々な事物に対応するオブジェクトが含まれる。これらのオブジェクトには、移動又は動作させることが可能なオブジェクト（例えば投手オブジェクト、ボールオブジェクト、バットオブジェクトなど）と、移動又は動作させないオブジェクト（例えば投球板オブジェクト、左右の打席オブジェクト、本塁オブジェクト、外野フェンスオブジェクトなど）と、を含む。

【0051】

本実施形態に係るバッティングシミュレータ１は動作させることが可能なオブジェクトの一例である投手オブジェクトを動作させることにより、投手が投球する様子を仮想空間で再現した仮想モデルを設定する。仮想モデル設定部５０は数々のオブジェクトについての形状データが記憶されている。形状データは、オブジェクトの３次元的な形状のデータ及び模様や色のデータ（テクスチャデータ）を含む。

【0052】

また、仮想モデル設定部５０には移動又は動作させることが可能なオブジェクトの動作データが記憶されている。例えば本実施形態に係るバッティングシミュレータ１は、投手オブジェクトを動作させるための投球動作データ及びボールオブジェクトを移動させるためのボール動作データが、動作データとして記憶されている。

【0053】

例えば投手動作データは、投手オブジェクトの投球動作開始時点からの所定時間毎の投手オブジェクトの姿勢を時系列に規定したものである。ボール動作データは、ボールオブジェクトの移動開始時点からの所定時間毎のボールオブジェクトの仮想空間での位置座標を規定したものである。ボール動作データは、例えば現実の投手の投球（ボールの移動経路や速度）をデータ化することにより作成される。ボール動作データに従ってボールオブジェクトを移動させることで、ボールオブジェクトは、現実の投手が投球したボールと同様の移動経路及び速度で仮想空間を移動する。

【0054】

仮想モデル設定部５０は、投球板オブジェクト付近に投手オブジェクトを配置し、投手動作データに従って投手オブジェクトに投球動作を行わせる。また、仮想モデル設定部５０はボール動作データに従ってボールオブジェクトを移動させる。仮想モデル設定部５０は投手オブジェクトの投球動作とボールオブジェクトの移動を同期させ、投手オブジェクトが手を振り下ろしたタイミングでボールオブジェクトの移動を開始させる。

【0055】

打席選択部５２は、操作ユニット１００に対するユーザＰの操作に応じて、左打席又は右打席を選択する。視点位置算出部５４は、赤外線センサ２１０が検出したヘルメット４３の頂点部分の位置情報と、トラッカ用通信機２２０ｃが検出したヘルメット４３の頂点部分の位置情報及び姿勢情報と、に基づき、仮想空間におけるユーザＰの視点位置（左右仮想視点位置）を算出する。なお、左右仮想視点位置の算出方法は、既存の技術を利用することができる。

【0056】

視線方向設定部５６は、打席選択部５２により選択された打席に応じて、立体画像の生成に必要なユーザＰの３つの視線方向を設定する。なお、立体画像の生成に必要なユーザＰの３つの視線方向の設定方法は、既存の技術を利用することができる。

【0057】

立体画像制御部５８は、視点位置算出部５４が算出した左右仮想視点位置から、視線方向設定部５６が設定したユーザＰの３つの視線方向で仮想モデルを見たときの画像をレンダリングすることにより、６つの画像を生成する。例えば立体画像制御部５８は左仮想視点位置から床面表示部１１、第１壁面表示部１２、及び第２壁面表示部１３の方向を見たときの３つの画像を、左目用の画像として生成する。また、立体画像制御部５８は右仮想視点位置から床面表示部１１、第１壁面表示部１２、及び第２壁面表示部１３の方向を見たときの３つの画像を、右目用の画像として生成する。

【0058】

立体画像制御部５８は、別々に生成した右目用及び左目用の画像を、時分割で交互に床面用プロジェクタ２１、側面用プロジェクタ２２、及び正面用プロジェクタ２３に映写させるように制御を行う。また、立体画像制御部５８は右目用の画像が３面表示部１０に表示されているときにユーザＰの左目の視界を閉じ、左目用の画像が３面表示部１０に表示されているときにユーザＰの右目の視界を閉じるように、開閉制御する。

【0059】

したがって、ユーザＰは３面表示部１０に時分割で交互に映し出される右目用及び左目用の画像を、装着した液晶シャッタメガネ４１を通して見ることにより、３面表示部１０に映写された画像を立体として認識することができる。

【0060】

例えば図３に示したように、ボールオブジェクトに対応する映像はボール映像Ｅ２として立体表示される。例えばボール映像Ｅ２は、ボールオブジェクトの仮想空間での移動に応じて、投手映像Ｅ１の位置からユーザＰが専用バット４２で打撃可能な位置を通って本塁映像Ｅ５Ｈの後方まで移動するように立体表示される。ユーザＰは、仮想空間におけるボールオブジェクトの移動経路に対応する移動経路でボール映像Ｅ２が移動してくるように認識できる。

【0061】

したがって、ユーザＰは移動してくるボール映像Ｅ２にタイミング及び位置を合わせて専用バット４２をスイングすることができ、現実の野球ボールを使った打撃練習と同じ感覚で打撃練習を行うことができる。

【0062】

打撃結果判定部６０は、ユーザＰが飛来するボール映像Ｅ２に対して専用バット４２をスイングしたときに、仮想空間におけるボールオブジェクトの位置（移動経路）と、後述のバット検出部６２が検出した仮想空間におけるバットオブジェクト（仮想バット）の位置（移動経路）と、に基づいて、打撃結果を判定する。

【0063】

打撃結果判定部６０は、例えば仮想空間でボールオブジェクトとバットオブジェクトとが最接近したときの距離が一定値未満であればボールオブジェクトとバットオブジェクトとが衝突（コリジョン）したと判定し、一定値以上であれば、空振りと判定する。ボールオブジェクトとバットオブジェクトとが衝突したと判定した場合、打撃結果判定部６０はボールオブジェクトとバットオブジェクトとが衝突した状況（球速、スイング速度、衝突角度、バットオブジェクトの衝突位置、ボールオブジェクトの回転方向および回転速度など）に基づいて、打球の方向や塁打情報等を判定する。例えば打撃結果判定部６０により判定された打撃結果は、立体画像制御部５８の制御により３面表示部１０に映し出される。

【0064】

バット検出部６２は、現実空間においてユーザＰがスイングした専用バット４２の動きを検出する。バット位置検出部７０はトラッカ２３０ａを利用して専用バット４２の先端の位置情報を検出する。また、バット位置検出部７０はトラッカ２３０ｂを利用して専用バット４２のグリップエンドの位置情報を検出する。なお、バット位置検出部７０は専用バット４２の先端及びグリップエンドの位置の検出に、赤外線センサ２１０から通知されるトラッカ２３０ａ～２３０ｂの赤外線マーカの位置情報を利用してもよい。

【0065】

バット姿勢算出部７２は、バット位置検出部７０が検出した専用バット４２の先端及びグリップエンドの位置情報に基づいて、専用バット４２の姿勢情報を算出する。バット姿勢算出部７２は、バット位置検出部７０が検出した専用バット４２の先端の位置及びグリップエンドの位置を繋げた線に基づいて、専用バット４２の姿勢情報を算出する。

【0066】

このように、本実施形態に係るバッティングシミュレータ１では、専用バット４２に取り付けられたトラッカ２３０ａ及びトラッカ２３０ｂが検出した専用バット４２の姿勢情報を使用せず、専用バット４２の先端及びグリップエンドの位置情報から算出した姿勢情報を利用する。

【0067】

この理由は、スイング速度が高速（例えば９０ｋｍ／ｈ以上）の専用バット４２から検出された専用バット４２の姿勢情報の精度が損なわれる場合があることが、データ分析により分かった為である。なお、スイング速度が高速（例えば９０ｋｍ／ｈ以上）の専用バット４２から検出された専用バット４２の位置情報の精度は、姿勢情報と比較して精度が損なわれていなかった。

【0068】

そこで、本実施形態に係るバッティングシミュレータ１では、専用バット４２に取り付けられたトラッカ２３０ａ及びトラッカ２３０ｂが検出した専用バット４２の姿勢情報を使用せず、専用バット４２の先端及びグリップエンドの位置情報から算出した姿勢情報を利用するようにした。

【0069】

軌道情報算出部７４は、バット位置検出部７０が検出した専用バット４２の先端及びグリップエンドの位置情報と、バット姿勢算出部７２が算出した専用バット４２の姿勢情報とに基づいて、仮想空間におけるバットオブジェクト（ユーザＰが仮想空間で扱う仮想バット）の軌道情報を算出する。なお、軌道情報算出部７４は算出したバットオブジェクトの軌道情報を、カルマンフィルタを用いて平滑化する。カルマンフィルタを用いた平滑化は、時系列な測定値を平滑化する方法の一例である。

【0070】

ヘルメット検出部６４は、現実空間においてユーザＰが頭部に装着するヘルメット４３の動きを検出する。ヘルメット検出部６４はトラッカ２３０ｃを利用してヘルメット４３の頂点の位置情報及び姿勢情報を検出する。

【0071】

＜バッティングシミュレータの処理＞
図７は本実施形態に係るバッティングシミュレータの処理手順の一例のフローチャートである。ステップＳ１０において、バッティングシミュレータ１は操作ユニット１００に対するユーザＰの操作に基づき、バッティングシミュレーションに必要な情報の選択を受け付ける。例えばユーザＰは、打席（右打席又は左打席）と、対戦相手の投手と、球種や球速などにより区別される難易度と、を選択する。

【0072】

ステップＳ１２において、バッティングシミュレータ１はユーザＰからの開始指示を受け付け、プレイをスタートする。ユーザＰは、液晶シャッタメガネ４１を掛け、頭部にヘルメット４３を装着し、専用バット４２を持った状態で打席に立つ。

【0073】

ステップＳ１４において、バッティングシミュレータ１はユーザＰが立体として認識できる投球映像を３面表示部１０に表示する。例えばバッティングシミュレータ１は投手オブジェクトが投球動作を行う投球画像を３面表示部１０に表示する。また、バッティングシミュレータ１は投球動作にタイミングを合わせてボールオブジェクトに対応するボール映像が投手映像の位置からユーザＰが専用バット４２で打撃可能な位置を通って本塁映像の後方まで移動するように、３面表示部１０に表示する。

【0074】

ユーザＰは移動してくるボール映像にタイミング及び位置を合わせて専用バット４２をスイングする。ステップＳ１６において、バッティングシミュレータ１は専用バット４２の位置情報及び姿勢情報に基づいて、仮想空間におけるバットオブジェクト（ユーザＰの専用バット４２のスイングと同期して仮想空間でスイングされる仮想バット）の軌道情報を算出する。

【0075】

ステップＳ１８において、バッティングシミュレータ１は仮想空間におけるボールオブジェクトの位置（移動経路）とバットオブジェクトの位置（移動経路）を表す軌道情報とに基づいて、仮想空間でボールオブジェクトとバットオブジェクトとが衝突したか否かを判定する。また、バッティングシミュレータ１は仮想空間でボールオブジェクトとバットオブジェクトとが衝突したと判定すると、ボールオブジェクトとバットオブジェクトとが衝突した状況（球速、スイング速度、衝突角度など）に基づいて、打球の方向や塁打情報等を判定する。

【0076】

ステップＳ２０において、バッティングシミュレータ１は仮想バットであるバットオブジェクトで仮想ボールであるボールオブジェクトを打撃したか否かを判定する。仮想空間でバットオブジェクトとボールオブジェクトとが衝突したと判定した場合、バッティングシミュレータ１は、仮想バットであるバットオブジェクトで仮想ボールであるボールオブジェクトを打撃したと判定する。

【0077】

仮想バットで仮想ボールを打撃したと判定した場合、バッティングシミュレータ１はステップＳ２２に進み、ステップＳ１８の打球の方向や塁打情報等に基づいて、仮想バットにより打撃されたボール映像を３面表示部１０に立体表示する。仮想バットで仮想ボールを打撃しなかったと判定した場合、バッティングシミュレータ１は空振りと判定して、ステップＳ２２の処理をスキップする。なお、バッティングシミュレータ１はボールを打撃したか否かに関わらず、仮想バットのスイング軌道を３面表示部１０に立体表示する。

【0078】

図７のフローチャートの処理によれば、ボールオブジェクト及びバットオブジェクトなどが配置された仮想モデルをレンダリングすることで、仮想空間における打撃結果を現実空間にボール映像及びバット映像で立体表示できる。

【0079】

図７のステップＳ１６の処理は、例えば図８に示すような処理手順で実行される。図８は専用バットの位置情報及び姿勢情報に基づいて、仮想空間におけるバットオブジェクトの軌道情報を算出する処理手順の一例のフローチャートである。

【0080】

ステップＳ３０において、専用バット４２の先端に取り付けられたトラッカ２３０ａ及びグリップエンドに取り付けられたトラッカ２３０ｂが位置情報を検出する。ステップＳ３２において、バット検出部６２は、専用バット４２の先端に取り付けられたトラッカ２３０ａが検出した位置情報、及びグリップエンドに取り付けられたトラッカ２３０ｂが検出した位置情報を繋げた線に基づいて、専用バット４２の姿勢情報を算出する。

【0081】

ステップＳ３４において、バット検出部６２はステップＳ３０で検出した専用バット４２の先端及びグリップエンドの位置情報と、ステップＳ３２で算出した専用バット４２の姿勢情報とに基づいて、現実空間の専用バット４２と動きを同期させる仮想空間におけるバットオブジェクト（仮想空間の仮想バット）の軌道情報を算出する。そして、ステップＳ３６において、バット検出部６２はカルマンフィルタを用いて、ステップＳ３４で算出した仮想バットの軌道情報を平滑化する。

【0082】

図８のフローチャートの処理によれば、ステップＳ３４で算出した仮想バットの軌道情報を平滑化し、図９に示すように仮想バットの軌道情報を精度よく表示できる。図９は３面表示部に立体表示された仮想バットのスイング軌道の一例のイメージ図である。図９は専用バット４２のスイング軌道と同期させた仮想バットのスイング軌道が精度良く表示された例である。

【0083】

［他の実施形態］
上記の実施形態では、３面表示部１０がユーザＰから見て３つの方向に３つの表示部を有する例を説明したが、例えば図１０に示すように、３つの表示部の一つを省略することもできる。

【0084】

図１０は本実施形態に係るバッティングシミュレータの一例の概略図である。図１０のバッティングシミュレータは、２つの方向に２つの表示部を有する２面表示部を有する例である。

【0085】

図１０に示したように、バッティングシミュレータは、２面表示部、床面用プロジェクタ２１、及び正面用プロジェクタ２３、を有している。ユーザＰは第１の実施形態と同様に液晶シャッタメガネ４１を掛け、頭部にヘルメット（図示せず）を装着し、専用バット４２を持った状態でバッティングシミュレータを利用する。２面表示部は、床面表示部１１と、壁面表示部（第２壁面表示部１３）と、第２湾曲部１５と、を有する。

【0086】

床面用プロジェクタ２１、及び正面用プロジェクタ２３によって２面表示部に映し出される画像は、時分割で交互に映し出される右目用及び左目用の画像である。２面表示部に時分割で交互に映し出される右目用及び左目用の画像を、装着した液晶シャッタメガネ４１を通して見ることにより、床面表示部１１上のユーザＰは画像を立体として認識することができる。

【0087】

また、上記の実施形態では、投影型のプロジェクタを用いて立体画像を３面表示部１０等に投影する例を説明したが、液晶ディスプレイやプラズマディスプレイなどの表示装置を用いて立体画像を表示してもよいし、ヘッドマウントディスプレイを用いて立体画像を表示してもよい。

【0088】

また、上記の実施形態では、ユーザＰが現実空間で扱う道具の一例である専用バット４２を用いて説明したが、専用バット４２以外の道具にも適用可能である。本実施形態は例えば、テニスのラケット、卓球のラケット、バトミントンのラケット、アイスホッケーのスティック、ゴルフのクラブ、剣道の竹刀などの道具に適用することも可能である。

【0089】

さらに、本実施形態に係るバッティングシミュレータ１は、野球などのスポーツの練習の目的で使用することができ、また、ゲームや遊びの目的で使用することもできる。例えばゲームの目的で使用する場合は、スポーツゲームに限定されず、例えばロールプレイングゲームやアクションゲームへの適用も可能である。例えばロールプレイングゲームではユーザＰが現実空間で動かす剣や盾などの動きのセンシングに適用することで、仮想空間でユーザＰが動かすことのできるゲーム内の剣や盾の動きを、ユーザＰが現実空間で動かす剣や盾などの動きと同期できる。

【0090】

（まとめ）
本実施形態によれば、ユーザＰが現実空間で扱う専用バット４２などの道具の動きに仮想空間で扱う仮想バットなどの動きを同期させるシミュレーション装置のコストを低減することができる。

【0091】

本発明は、具体的に開示された上記の実施形態に限定されるものではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えばバット位置検出部７０は道具位置検出手段の一例である。バット姿勢算出部７２は道具姿勢算出手段の一例である。ヘルメット検出部６４は装着物検出手段の一例である。軌道情報算出部７４は軌道情報算出手段の一例である。立体画像制御部５８は立体画像制御手段の一例である。立体画像制御部５８は移動情報算出手段としても機能する。打撃結果判定部６０はコリジョン判定手段の一例である。

【符号の説明】

【0092】

１ バッティングシミュレータ
１０ ３面表示部
１１ 床面表示部
１２ 第１壁面表示部
１３ 第２壁面表示部
２１ 床面用プロジェクタ
２２ 側面用プロジェクタ
２３ 正面用プロジェクタ
４１ 液晶シャッタメガネ
４２ 専用バット
４３ ヘルメット
５０ 仮想モデル設定部
５２ 打席選択部
５４ 視点位置算出部
５６ 視線方向設定部
５８ 立体画像制御部
６０ 打撃結果判定部
６２ バット検出部
６４ ヘルメット検出部
７０ バット位置検出部
７２ バット姿勢算出部
７４ 軌道情報算出部
１００ 操作ユニット
１１０ 画面表示ユニット
１２０ コイン投入ユニット
１３０ ＩＣカードユニット
１５０ コンピュータ
１９０ 液晶シャッタメガネ用発信器
２１０ 赤外線センサ
２２０ａ～２２０ｃ トラッカ用通信機
２３０ａ～２３０ｃ トラッカ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】