(58)【調査した分野】(Int.Cl.,DB名)
前記制御部は、前記仮想空間内において前記オブジェクトが静止している場合、前記スピーカー、前記振動スピーカー、及び前記サーキュレーターのうちの少なくとも1つの動作を時間の経過とともに変更する請求項1に記載の仮想現実体験システム。
前記制御部は、前記仮想空間内において前記オブジェクトが速い速度で近づいてくる場合、前記振動スピーカーによる振動及び前記サーキュレーターの風量を最大値とし、前記仮想空間内において前記オブジェクトが速い速度で離れていく場合、前記振動スピーカーによる振動及び前記サーキュレーターの風量を急激に低下させる請求項1または請求項2に記載の仮想現実体験システム。
前記制御部は、海中及び宇宙空間を含む特定環境のシーンにおいて前記複数台のサーキュレーターのうちの第1のサーキュレーターと第2のサーキュレーターとの送風のタイミングをずらす動作を行う請求項1から請求項3のいずれか1項に記載の仮想現実体験システム。
【発明を実施するための形態】
【0018】
以下、本発明の実施形態について図面を参照して説明する。ただし、本発明はこれに限定されるものではない。また、図面においては、実施形態を説明するため、一部分を大きくまたは強調して記載するなど適宜縮尺を変更して表現することがある。
【0019】
<第1実施形態>
図1は、本発明に係る仮想現実体験システムの構成を示す図である。なお、
図1では、天井が外された状態の現実空間100を示している。
図1に示す仮想現実体験システムは、プレイヤー1に仮想現実(VR)を体験させるシステムである。この仮想現実体験システムは、例えばアトラクションゲームやシミュレーション装置などに利用される。
図1に示すように、仮想現実体験システムは、情報処理装置10と、プレイヤー1に装着されるヘッドマウントディスプレイ(HMD)20と、現実空間100内に設けられる複数の振動スピーカー30、複数のサーキュレーター40、及び赤外線位置センサー50(位置検知装置)と、を備えている。
【0020】
情報処理装置10は、ヘッドマウントディスプレイ20(後述する表示部21及びスピーカー22)、複数の振動スピーカー30、及び複数のサーキュレーター40を制御する装置である。この情報処理装置10は、有線又は無線でヘッドマウントディスプレイ20、複数の振動スピーカー30、及び複数のサーキュレーターと接続され、これらの装置(ヘッドマウントディスプレイ20、複数の振動スピーカー30、及び複数のサーキュレーター40)との間で各種情報を送受信する。情報処理装置10は、例えば汎用のコンピュータ(パーソナルコンピュータやサーバ)で実現される。ただし、情報処理装置10は専用の制御装置で実現されてもよい。また、この情報処理装置10は、赤外線位置センサー50と有線又は無線で接続され、赤外線位置センサー50から送信される位置情報に基づいて現実空間100内におけるプレイヤー1の位置を認識(特定)する。なお、情報処理装置10の構成の詳細については後述する(
図6参照)。
【0021】
ヘッドマウントディスプレイ20は、プレイヤー1の頭部に装着するディスプレイ装置である。ヘッドマウントディスプレイ20は、スマートグラスなどとも呼ばれる。ヘッドマウントディスプレイ20は、ゴーグル又は眼鏡のような形状であって、プレイヤー1の両眼を覆うタイプのディスプレイである。なお、ヘッドマウントディスプレイ20は、ゴーグルのような形状に限らず、帽子やヘルメットのような形状であってもよい。
【0022】
図2は、
図1のヘッドマウントディスプレイ20の構成を示す図である。
図2に示すように、ヘッドマウントディスプレイ20は、表示部21、スピーカー22及び方向検知センサー23を有している。表示部21は、画像(静止画及び動画)を表示する装置である。この表示部21は、プレイヤー1が外部の様子を見ることができない非透過型のディスプレイを想定している。ただし、ヘッドマウントディスプレイ20は、プレイヤー1が外部の様子を見ることができる透過型のものであってもよい。スピーカー22は、音声を出力する装置であり、ヘッドフォンの耳あての位置に設けられている。
【0023】
方向検知センサー23は、プレイヤー1の頭部の方向(向き)を検出するセンサーである。この方向検知センサー23は、センサー自体の3軸回り(X軸回り、Y軸回り、Z軸回り)の角加速度を検出する3軸ジャイロセンサと、センサー自体の3軸方向(X軸方向、Y軸方向、Z軸方向)の直線加速度を検出する3軸加速度センサーとで構成される。すなわち、方向検知センサー23は、3軸回り及び3軸方向の6要素の加速度を検出可能なセンサーである。
【0024】
図1の説明に戻り、振動スピーカー30は、低音(人が聞こえない程度の低い音も含む)を発生させることで振動を発生させるスピーカーである。
図1に示す例では、4つの振動スピーカー30が現実空間100の四隅に設けられている。このように、4つの振動スピーカー30が現実空間100内の周囲に配置され、プレイヤー1に対して振動を伝えることが可能となる。ただし、振動スピーカー30の数は、4つ未満であっても5つ以上であってもよい。
【0025】
サーキュレーター40は、プレイヤー1に送風する装置である。
図1に示す例では、16つのサーキュレーター40が現実空間100の側壁の上部に、1つの側壁あたり4つずつ設けられている。このように、16つのサーキュレーター40が現実空間100内の周囲に配置され、プレイヤー1に対して風(風圧)を伝えることが可能となる。ただし、サーキュレーター40の数は、16つ未満であっても17つ以上であってもよい。赤外線位置センサー50は、赤外線(赤外線レーザー)を現実空間100内に照射し、反射した赤外線によってプレイヤー1の位置を検出するセンサーである。赤外線位置センサー50は位置検知装置を構成する。
図1に示す例では、2つの赤外線位置センサー50が現実空間100の天井側の対角上の隅に設けられている。
【0026】
次に、現実空間100と特定空間200との関係について説明する。
図3は、現実空間100と特定空間200の関係を示す図である。また、
図4は、プレイヤー1の移動に伴って特定空間200が移動する状態を示す図である。現実空間100は、プレイヤー1が動くことが可能な、壁、床及び天井によって仕切られた空間である。なお、現実空間100の天井は設けられなくてもよい。
【0027】
特定空間200は、ヘッドマウントディスプレイ20の表示部21に表示される画像(映像)によって実現される仮想的な空間(以下、仮想空間という。)内に設定された空間である。特定空間200は、ヘッドマウントディスプレイ20の表示部21に画像として表示されるわけではなく、仮想空間内に仮想的に設定された透明な壁で仕切られた空間である。
【0028】
本実施形態において、現実空間100は、
図3に示すように、立方体又は直方体の形状の空間であって、現実空間100の底面の縦・横の長さは例えば5m×5mとしている。なお、現実空間100の高さ(側面の長さ)はプレイヤー1の動きの邪魔にならなければ5mよりも長くても短くてもよい。特定空間200も、
図3に示すように、立方体又は直方体の形状の空間であって、特定空間200の底面の縦・横の長さは例えば20m×20mとしている。なお、特定空間200の高さ(側面の長さ)は任意の高さ(例えば5mや20m)でよい。
【0029】
現実空間100内のプレイヤー1の移動に伴って、特定空間200も移動する。例えば、
図4に示すように、プレイヤー1が現実空間100内において所定方向に2m移動した場合、現実空間100は移動しないが特定空間200は所定方向に2m移動する。また、プレイヤー1が現実空間100内において所定方向と反対方向に2m移動した場合、現実空間100は移動しないが特定空間200は所定方向と反対方向に2m移動する。このように、本実施形態では、特定空間200は、現実空間100内のプレイヤー1の移動距離と同じ距離だけ同じ方向に移動する。
【0030】
図5は、表示部21の表示画面300に表示される画像例を示す図である。
図5に示す例では、表示画面300には、山の背景画像310A、雲の背景画像310A、木の背景画像310Cが表示されている。また、表示画面300には、動くことが可能な恐竜のオブジェクト画像320Aが表示されている。また、表示画面300には、現実空間100の範囲を示す境界線330が表示されている。ヘッドマウントディスプレイ20が非透過型のディスプレイであり、プレイヤー1が現実空間100内を動き回れる場合、プレイヤー1が現実空間100の側壁にぶつかるおそれがある。そのような危険な状況が生じるのを回避するため、プレイヤー1が動ける範囲を示す境界線330を表示画面300に表示している。なお、
図5に示す例では、現実空間100の範囲を示す境界線330を表示しているが、そのような構成に限定されず、現実空間100の範囲を示す壁(例えば透明又は半透明な壁、メッシュ状の壁)を表示してもよい。
【0031】
次に、情報処理装置10の詳細構成について説明する。
図6は、第1実施形態における仮想現実体験システムの構成を示すブロック図である。情報処理装置10は、
図6に示すように、通信部11、画像処理部12、表示制御部13、制御部14、及び記憶部15を有している。通信部11は、ヘッドマウントディスプレイ20の表示部21、ヘッドマウントディスプレイ20のスピーカー22、振動スピーカー30、サーキュレーター40、赤外線位置センサー50、及びヘッドマウントディスプレイ20の方向検知センサー23との間でデータ通信を行う処理部である。具体的には、通信部11は、画像データを表示部21に送信する。通信部11は、音声データをスピーカー22に出力する。通信部11は、低音の音声データを振動スピーカー30に送信する。通信部11は、制御信号をサーキュレーター40に送信する。通信部11は、赤外線位置センサー50から送信されるプレイヤー1の位置を示す位置情報を受信する。通信部11は、方向検知センサー23から送信されるプレイヤー1の頭部の方向(向き)を示す方向情報を受信する。
【0032】
画像処理部12は、記憶部15に記憶されている画像データを読み出し、読み出した画像データに基づいて仮想空間内の背景画像及びオブジェクト画像を描画する処理部である。例えば、画像処理部12は、赤外線位置センサー50からの位置情報に基づいて現実空間100内のプレイヤー1の位置を認識する。また、画像処理部12は、現実空間100内のプレイヤー1の位置に対応する特定空間200の位置を認識する。また、画像処理部12は、現在の時間(例えばプレイを開始してからの経過時間)における仮想空間内の背景及びオブジェクトの位置を認識する。そして、画像処理部12は、現実空間100内のプレイヤー1の位置及び現在の時間における仮想空間内の背景及びオブジェクトの位置に基づいて、必要な画像データ(仮想空間においてプレイヤー1から見える範囲の背景及びオブジェクトの画像データ)を読み出し、読み出した画像データに基づいて背景画像及びオブジェクト画像を描画する。ここで、画像データは、背景やオブジェクトの形状を3次元座標(X,Y,Z)の情報で表現されるデータである。従って、画像処理部12は、画像データに基づいて背景及びオブジェクトの位置を3次元座標の情報として認識することができる。
【0033】
表示制御部13は、画像処理部12が描画した画像を表示部21に表示させる制御を行う処理部である。例えば、表示制御部13は、方向検知センサー23からの方向情報に基づいて画像処理部12により描画された背景画像及びオブジェクト画像がプレイヤー1の視野に入ったか否かを判定する。そして、表示制御部13は、プレイヤー1の視野に入ったと判定したときに、プレイヤー1の視野内の背景画像及びオブジェクト画像を表示部21に表示させる。
【0034】
制御部14は、仮想空間内におけるオブジェクトの位置に合わせて、スピーカー22、振動スピーカー30、及びサーキュレーター40を制御する処理部である。例えば、制御部14は、赤外線位置センサー50からの位置情報に基づいて現実空間100内のプレイヤー1の位置を認識する。また、画像処理部12は、現実空間100内のプレイヤー1の位置に対応する特定空間200の位置を認識する。また、制御部14は、現在の時間(例えばプレイを開始してからの経過時間)における仮想空間内の背景及びオブジェクトの位置を認識する。そして、制御部14は、現実空間100内のプレイヤー1の位置及び現在の時間における仮想空間内の背景及びオブジェクトの位置に基づいて、スピーカー22から音声出力を行うか否か、音声出力を行う場合の音声パターン、振動スピーカー30から振動を発生させるか否か、振動スピーカー30から振動を発生させる場合におけるいずれの振動スピーカー30を動作させるか及びその振動パターン、サーキュレーター40から風を送るか否か、サーキュレーター40から風を送る場合におけるいずれのサーキュレーター40を動作させるか及びその送風パターンを決定する。制御部14は、決定した動作パターンに基づいて、スピーカー22、振動スピーカー30及びサーキュレーター40の動作を制御する。
【0035】
記憶部15は、情報処理装置10の処理・制御に必要な各種情報・データを記憶する。例えば、記憶部15は、複数の背景画像及び複数のオブジェクト画像の画像データを記憶する。また、記憶部15は、複数種類のパターンの音声データを記憶する。また、記憶部15は、複数種類の振動パターンのデータを記憶する。また、記憶部15は、複数種類の送風パターンのデータを記憶する。情報処理装置10の処理・制御を司る制御プログラムや、各種パラメータの情報なども記憶する。なお、通信部11、画像処理部12、表示制御部13、及び制御部14は、CPUなどの演算装置が制御プログラムに従って処理・制御を実行することにより実現される。
【0036】
図7は、オブジェクトが移動するパターンを示す図である。また、
図8は、オブジェクトが移動するパターンの動作タイミングを示すタイミング図である。
図7に示すように、恐竜のオブジェクト画像320Aが仮想空間に設定された特定空間200の外にいる場合、画像処理部12は、オブジェクト画像320Aを描画しない。このとき、制御部14は、特定空間200の透明な壁により環境音が遮断されるものとみなす。すなわち、制御部14は、特定空間200の外から聞こえる環境音(音源が特定空間200の外にある環境音)を遮断する(
図8のステップS0)。なお、制御部14は、特定空間200内の環境音をスピーカー22から出力する制御を行う。
【0037】
画像処理部12は、現実空間100内におけるプレイヤー1の位置に対応する特定空間200の位置(3次元座標)と、その時点におけるオブジェクト画像320Aの位置(3次元座標)とに基づいて、オブジェクト画像320Aが特定空間200に進入したか否かを判定する。
図7に示すように、移動するオブジェクト画像320Aが特定空間200に進入した時点(
図8のタイミングt1)において、画像処理部12は、オブジェクト画像320Aを描画する(
図8のステップS1)。
【0038】
また、制御部14は、現実空間100内におけるプレイヤー1の位置に対応する特定空間200の位置(3次元座標)と、その時点におけるオブジェクト画像320Aの位置(3次元座標)とに基づいて、オブジェクト画像320Aが特定空間200に進入したか否かを判定する。制御部14は、オブジェクト画像320Aが特定空間200に進入した時点(
図8のタイミングt1)において、スピーカー22から出力する環境音を特定空間200内のオブジェクトの位置に合わせて遮断する(
図8のステップS2)。また、制御部14は、スピーカー22からオブジェクトに応じた音(オブジェクト音:例えば恐竜の鳴き声)を出力させる(
図8のステップS3)。また、制御部14は、特定空間200内のオブジェクトの位置に応じた振動スピーカー30から振動を発生させる(
図8のステップS4)。さらに、制御部14は、振動スピーカー30からの振動に連動させて、特定空間200内のオブジェクトの位置に応じたサーキュレーター40から送風させる(
図8のステップS5)。
【0039】
このように、制御部14は、空間音響としては環境音とオブジェクト音をスピーカー22から出力させる。また、空間音響では低音はプレイヤー1に伝わりにくいので、制御部14は、空間音響に連動させて振動スピーカー30から振動を出力させる。また、制御部14は、サーキュレーター40から送風する場合、プレイヤー1に風を感知させやすくするために風量の強弱をつける(つまり、ゆらいでいるように感じる風を送る)。サーキュレーター40の風量は比較的弱めに設定し、最大でもサーキュレーター40の弱の風量又は弱の風量の1/2程度とする。このような制御により、プレイヤー1は、何かが(恐竜のオブジェクト)が近付いてきていることを認識することができる。
【0040】
その後、プレイヤー1がオブジェクトに気付き、オブジェクトの方に振り向いた時点で(
図8のタイミングt2)、オブジェクト画像320Aがプレイヤー1の視野に入る。表示制御部13は、方向検知センサー23からの方向情報に基づいてオブジェクト画像320Aがプレイヤー1の視野に入ったか否かを判定する。表示制御部13は、オブジェクト画像320Aがプレイヤー1の視野に入ったと判定したときに、そのオブジェクト画像320Aの画像データを表示部21に出力して表示部21にオブジェクト画像320Aを表示させる(
図8のステップS6)。このとき、制御部14は、サーキュレーター40の風量を低下させる制御を行う(
図8のステップS7)。以上のように、
図7及び
図8に示すパターンでは、制御部14は、プレイヤー1とオブジェクトとの距離に応じて、振動スピーカー30及びサーキュレーター40の動作を変更する。
【0041】
図9は、オブジェクトが静止しているパターンを示す図である。また、
図10は、オブジェクトが静止しているパターンの動作タイミングを示すタイミング図である。
図9に示すように、怪獣のオブジェクト画像320Bが特定空間200の中に出現したとき(
図10のタイミングt11)、画像処理部12は、オブジェクト画像320Bを描画する(
図10のステップS11)。また、制御部14は、スピーカー22から出力する環境音を特定空間200内のオブジェクトの位置に合わせて遮断する(
図10のステップS12)。また、制御部14は、スピーカー22からオブジェクトに応じた音(オブジェクト音:例えば怪獣の鳴き声)を出力させる(
図10のステップS13)。また、制御部14は、特定空間200内のオブジェクトの位置に応じた振動スピーカー30から振動を発生させる(
図10のステップS14)。さらに、制御部14は、振動スピーカー30からの振動に連動させて、特定空間200内のオブジェクトの位置に応じたサーキュレーター40から送風させる(
図10のステップS15)。このような制御により、プレイヤー1は、何かが(怪獣のオブジェクト)が近くに存在することを認識することができる。
【0042】
その後、時間が経過して所定のタイミングになると(
図10のタイミングt12)、制御部14は、サーキュレーター40の風量の最大値を増加する(
図10のステップS16)。これにより、プレイヤー1は、何かが(怪獣のオブジェクト)が近くに存在することをより一層認識することができる。
【0043】
プレイヤー1がオブジェクトに気付き、オブジェクトの方に振り向いた時点で(
図10のタイミングt13)、オブジェクト画像320Bがプレイヤー1の視野に入る。表示制御部13は、方向検知センサー23からの方向情報に基づいてオブジェクト画像320Bがプレイヤー1の視野に入ったと判定したときに、そのオブジェクト画像320Bの画像データを表示部21に出力して表示部21にオブジェクト画像320Bを表示させる(
図10のステップS17)。このとき、制御部14は、サーキュレーター40の風量を低下させる制御を行う(
図10のステップS18)。制御部14は、ステップS18においては、
図8のステップS7における風量の低下よりも滑らかに風量を低下させる。このようにオブジェクトの種類によって制御を異ならせている。以上のように、
図9及び
図10に示すパターンでは、制御部14は、オブジェクトが出現してからの経過時間に応じて、振動スピーカー30及びサーキュレーター40の動作を変更する。
【0044】
図11は、オブジェクトが速い速度で移動するパターンを示す図である。また、
図12は、オブジェクトが速い速度で移動するパターンの動作タイミングを示すタイミング図である。
図11に示すように、楕円形のオブジェクト画像320Cが仮想空間に設定された特定空間200の外にいる場合、画像処理部12は、オブジェクト画像320Cを描画しない。
【0045】
図11に示すように、急速に移動(落下)するオブジェクト画像320Cが特定空間200に進入した時点(
図12のタイミングt21)において、画像処理部12は、オブジェクト画像320Cを描画する(
図12のステップS21)。また、この時点において、制御部14は、スピーカー22から出力する環境音を特定空間200内のオブジェクトの位置に合わせて遮断する(
図12のステップS22)。また、制御部14は、スピーカー22からオブジェクトに応じたオブジェクト音を出力させる(
図12のステップS23)。また、制御部14は、特定空間200内のオブジェクトの位置に応じた振動スピーカー30から振動を発生させる(
図12のステップS24)。さらに、制御部14は、振動スピーカー30からの振動に連動させて、特定空間200内のオブジェクトの位置に応じたサーキュレーター40から送風させる(
図12のステップS25)。
【0046】
その後、プレイヤー1がオブジェクトに気付き、オブジェクトの方に振り向いた時点で(
図12のタイミングt22)、オブジェクト画像320Cがプレイヤー1の視野に入る。表示制御部13は、方向検知センサー23からの方向情報に基づいてオブジェクト画像320Cがプレイヤー1の視野に入ったと判定したときに、そのオブジェクト画像320Cの画像データを表示部21に出力して表示部21にオブジェクト画像320Cを表示させる(
図12のステップS26)。
【0047】
オブジェクトが速い速度でプレイヤー1から離れていくとき、表示制御部13は、プレイヤー1から速い速度で離れていくオブジェクト画像320Cを表示部21に表示させるとともに(
図12のステップS27)、制御部14は、サーキュレーター40の風量を急速に低下させる制御を行う(
図12のステップS28)。以上のように、
図11及び
図12に示すパターンでは、制御部14は、プレイヤー1とオブジェクトとの距離及びオブジェクトの移動速度に応じて、振動スピーカー30及びサーキュレーター40の動作を変更する。
【0048】
図13は、海中及び宇宙空間を含む特定環境シーンのパターンの動作タイミングを示すタイミング図である。
図13におけるステップS31及びS32の処理は、
図8のステップS1及びS4の処理と同様である。制御部14は、海中及び宇宙空間を含む特定環境のシーン(音が聞こえない又は聞こえにくい環境)において複数台のサーキュレーター40のうちの第1のサーキュレーターと第2のサーキュレーターとの送風のタイミングをずらす動作(複数のサーキュレーターによるゆらぎ演出)を行う(ステップS33)。例えば、プレイヤー1が向いている方向のサーキュレーター(第1のサーキュレーター)と、プレイヤー1が向いている方向の左右方向のサーキュレーター(第2のサーキュレーター)とで風量の強弱をつけるタイミングをずらすことで、風がゆらいでいるような演出を実行することができる。これにより、プレイヤー1に浮遊感を感じさせることができる。
図13におけるステップS34及びS35の処理は、
図8のステップS6及びS7の処理と同様である。なお、複数のサーキュレーターによるゆらぎ演出は、中央のサーキュレーターと、そのサーキュレーターの左右のサーキュレーターとの合計3台を用いて実行しているが、そのような構成に限定されず、2台のサーキュレーターで実行してもよく、4台以上のサーキュレーターで実行してもよい。
【0049】
<第2実施形態>
上記第1実施形態では、仮想空間内に特定空間200は1つだけであった。これに対して、第2実施形態では、仮想空間内に複数の特定空間を設定する。
【0050】
図14は、第2実施形態における現実空間100と特定空間200A,200Bの関係を示す図である。現実空間100は、第1実施形態と同様、プレイヤー1が動くことが可能な、壁、床及び天井によって仕切られた空間である。
図14に示す例では、仮想空間内に設定される特定空間として、第1空間200Aと第2空間200Bとが設けられている。第1空間200A及び第2空間200Bは、ヘッドマウントディスプレイ20の表示部21に画像として表示されるわけではなく、仮想空間内に仮想的に設定された透明な壁で仕切られた空間である。
【0051】
本実施形態において、現実空間100は、
図14に示すように、立方体又は直方体の形状の空間であって、現実空間100の底面の縦・横の長さは例えば5m×5mとしている。なお、現実空間100の高さ(側面の長さ)はプレイヤー1の動きの邪魔にならなければ5mよりも長くても短くてもよい。特定空間としての第1空間200Aは、
図14に示すように、立方体又は直方体の形状の空間であって、底面の縦・横の長さは例えば20m×20mとしている。なお、第1空間200Aの高さ(側面の長さ)は任意の高さ(例えば5mや20m)でよい。また、特定空間としての第2空間200Bも、
図14に示すように、立方体又は直方体の形状の空間である。第2空間200Bの底面の縦・横の長さは例えば17.5m×17.5mとしている。なお、第2空間200Bの高さ(側面の長さ)は任意の高さ(例えば5mや20m)でよい。現実空間100内のプレイヤー1の移動に伴って、第1空間200A及び第2空間200Bも移動する。
【0052】
画像処理部12は、特定空間としての第1空間200Aにオブジェクトが進入した場合に、該オブジェクトの画像を描画する。また、制御部14は、特定空間としての第2空間200Bにオブジェクトが進入した場合に、スピーカー22、振動スピーカー30、及びサーキュレーター40の動作を実行させる。
【0053】
このように、第2実施形態では、画像処理部12が画像を描画させる場合のプレイヤー1とオブジェクトの距離と、制御部14がスピーカー22、振動スピーカー30、及びサーキュレーター40を動作させる場合のプレイヤー1とオブジェクトの距離とを異ならせているので、状況に合わせた様々な制御を実行することができる。なお、特定空間を3つ以上設け、オブジェクトが進入した特定空間内に応じて動作させる対象(装置)を異ならせてもよい。
【0054】
<第3実施形態>
上記実施形態1では、1台の情報処理装置10がヘッドマウントディスプレイ20(表示部21、スピーカー22)、振動スピーカー30、及びサーキュレーター40を制御してた。これに対して、第3実施形態では、第1情報処理装置がヘッドマウントディスプレイ20の表示部21及びスピーカー22を制御し、第2情報処理装置が振動スピーカー30及びサーキュレーター40を制御する。
【0055】
図15は、第3実施形態における仮想現実体験システムの構成を示すブロック図である。
図15に示す情報処理装置は、第1情報処理装置10Mと第2情報処理装置10Nとの2台の装置で構成される。第1情報処理装置10Mは、ヘッドマウントディスプレイ20の表示部21、及びスピーカー22を制御する情報処理装置である。
図15に示すように、第1情報処理装置10Mは、ヘッドマウントディスプレイ20の表示部21、スピーカー22、方向検知センサー23、及び赤外線位置センサー50と有線又は無線で接続されている。また、第1情報処理装置10Mは、第2情報処理装置10Nと有線又は無線で接続されている。
【0056】
第1情報処理装置10Mは、第1通信部11M、画像処理部12、表示制御部13、第1制御部14M、及び第1記憶部15Mを有している。第1通信部11Mは、表示部21に画像データを送信し、スピーカー22に音声データを送信し、方向検知センサー23からの方向情報を受信し、赤外線位置センサー50からの位置情報を受信する処理を行う。画像処理部12及び表示制御部13は、上記第1実施形態で説明したものと同様であるため、重複する説明を省略する。第1制御部14Mは、音声データをスピーカー22に出力することで、スピーカー22による音声出力を実行する。第1記憶部15Mは、画像データ、音声データ、制御プログラムなどを記憶する。
【0057】
第2情報処理装置10Nは、振動スピーカー30及びサーキュレーター40を制御する情報処理装置である。
図15に示すように、第2情報処理装置10Nは、振動スピーカー30及びサーキュレーター40と有線又は無線で接続されている。また、第2情報処理装置10Nは、第1情報処理装置10Mと有線又は無線で接続されている。
【0058】
第2情報処理装置10Nは、第2通信部11N、第2制御部14N、及び第2記憶部15Nを有している。第2通信部11Nは、振動スピーカー30に低音の音声データを送信し、サーキュレーター40に制御信号を送信する処理を行う。第2制御部14Nは、
低音の音声データを振動スピーカー30に出力することで、振動スピーカー30による振動の発生を制御し、また、制御信号をサーキュレーター40に出力することで、サーキュレーター40による送風を制御する。第2記憶部15Nは、音声データ、制御プログラムなどを記憶する。
【0059】
第1情報処理装置10Mの画像処理部12は、現実空間100内におけるプレイヤー1の位置に対応する特定空間200の位置(3次元座標)と、その時点におけるオブジェクトの位置(3次元座標)とに基づいて、オブジェクトが特定空間200に進入したか否か(存在しているか否か)を判定する。画像処理部12は、移動するオブジェクトが特定空間200に進入した時点において、オブジェクト画像を描画する。また、第1制御部14Mは、現実空間100内におけるプレイヤー1の位置に対応する特定空間200の位置(3次元座標)と、その時点におけるオブジェクトの位置(3次元座標)とに基づいて、オブジェクトが特定空間200に進入したか否か(存在しているか否か)を判定する。第1制御部14Mは、オブジェクトが特定空間200に進入した時点において、オブジェクトの位置に応じたスピーカー22による音声出力を実行する。そして、画像処理部12は、現実空間100内におけるプレイヤー1の位置に対応する特定空間200の位置(3次元座標)を示す情報、及びオブジェクト画像320Aの位置(3次元座標)を示す情報を第1通信部11Mを介して第2情報処理装置10Nに送信する。
【0060】
第2情報処理装置10Nの第2通信部11Nは、現実空間100内におけるプレイヤー1の位置に対応する特定空間200の位置(3次元座標)を示す情報、及びオブジェクト画像320Aの位置(3次元座標)を示す情報を受信し、受信した情報を第2制御部14Nに渡す。第2制御部14Nは、現実空間100内におけるプレイヤー1の位置に対応する特定空間200の位置(3次元座標)と、その時点におけるオブジェクトの位置(3次元座標)とに基づいて、オブジェクトが特定空間200に進入したか否かを判定する。第2制御部14Nは、オブジェクトが特定空間200に進入した時点において、オブジェクトの位置に応じた振動スピーカー30による振動の発生やサーキュレーター40による送風を行う。
【0061】
このように、第1情報処理装置10Mが表示部21の画像表示及びスピーカー22による音声出力を制御し、第2情報処理装置10Nが振動スピーカー30による振動の発生及びサーキュレーター40による送風を制御するので、情報処理装置の処理負担を軽減させることができる。また、第1情報処理装置10Mと第2情報処理装置10Nとが連携して制御を行うことで、表示部21の画像表示、スピーカー22による音声出力、振動スピーカー30による振動の発生、及びサーキュレーター40による送風を連動させて(同期させて)制御することができる。
【0062】
<第4実施形態>
上記第1実施形態では、情報処理装置10がヘッドマウントディスプレイ20(表示部21、スピーカー22)、振動スピーカー30及びサーキュレーター40を制御していた。これに対して、第4実施形態では、ゲームサーバが制御装置に指令を送り、制御装置が指令に基づいてヘッドマウントディスプレイ20(表示部21、スピーカー22)、振動スピーカー30及びサーキュレーター40を制御する。
【0063】
図16は、第4実施形態における仮想現実体験システムの構成を示すブロック図である。
図16に示す情報処理装置は、システム全体の制御を司るゲームサーバ10Aと、ゲームサーバ10Aとインターネットなどの通信ネットワーク1000を介して接続され、ゲームサーバ10Aとの間で情報を送受信するとともに、複数の制御装置10C1〜10C3との間で情報を送受信する通信装置10Bと、データを記憶する記憶部(図示せず)を有し、データに基づいて表示部21、スピーカー22、振動スピーカー30、及びサーキュレーター40を制御する複数の制御装置10C(10C1〜10C3)と、を備えている。
【0064】
本実施形態では、現実空間として3つの現実空間100A,100B,100Cが設けられている。各現実空間100A,100B,100C内には、
図1に示した場合と同様に、それぞれ、振動スピーカー30、サーキュレーター40及び赤外線位置センサー50が設置されている。各現実空間100A,100B,100C内の赤外線位置センサー50は、それぞれ、プレイヤー1の位置情報を、制御装置10C1〜20C3及び通信装置10Bを介してゲームサーバ10Aに送信する。また、各現実空間100A,100B,100Cに対応して設けられた制御装置10C1〜10C3は、プレイを開始してからの経過時間を示す時間情報を、制御装置10C1〜20C3及び通信装置10Bを介してゲームサーバ10Aに送信する。また、各現実空間100A,100B,100C内のヘッドマウントディスプレイ20の方向検知センサー23は、それぞれ、プレイヤー1の頭部の方向を示す方向情報を、制御装置10C1〜20C3及び通信装置10Bを介してゲームサーバ10Aに送信する。
【0065】
ゲームサーバ10Aは、赤外線位置センサー50からの位置情報に基づいて現実空間100内のプレイヤー1の位置を認識する。また、ゲームサーバ10Aは、プレイを開始してからの経過時間における仮想空間内の背景及びオブジェクトの位置を認識する。そして、ゲームサーバ10Aは、現実空間100内のプレイヤー1の位置及び経過時間における仮想空間内の背景及びオブジェクトの位置に応じて指令を制御装置20C1〜20C3に送信する。制御装置10C1〜10C3は、ゲームサーバ10Aから送信される指令に基づいて記憶部からデータを読み出し、読み出したデータに基づいて表示部21、スピーカー22、振動スピーカー30、及びサーキュレーター40を制御する。
【0066】
このような構成によれば、ゲームサーバ10Aが一元的に複数の制御装置10C1〜10C3の制御を管理することができるとともに、画像データや音声データなどの容量の大きいデータを通信ネットワーク1000を介して送信する必要がないので、通信ネットワーク1000の回線容量も小さくて済み、また画像表示や音声出力などの制御が遅れてしまい同期がとれなくなってしまうような事態を回避することができる。なお、1つの制御装置10Cが複数の現実空間内の装置を制御してもよい。また、通信装置10Bを設けずに、直接、ゲームサーバ10Aと制御装置10C1〜10C3とでデータのやり取りを行う構成でもよい。
【0067】
以上、本発明の実施形態を説明したが、本発明の技術的範囲は、上記の実施形態に記載の範囲には限定されない。本発明の趣旨を逸脱しない範囲で、上記の実施形態に、多様な変更または改良を加えることが可能である。また、上記の実施形態で説明した要件の1つ以上は、省略されることがある。そのような変更または改良、省略した形態も本発明の技術的範囲に含まれる。また、上記した実施形態や変形例の構成を適宜組み合わせて適用することも可能である。
【0068】
なお、上記実施形態では、特定空間を直方体又は立方体としていたが、シンプルの3次元形状であれば球形や半球形などの形状でもよい。
【0069】
上記した実施形態では、仮想現実を実現するための装置として、ヘッドマウントディスプレイ20(表示部21、スピーカー22)、振動スピーカー30、サーキュレーター40を設けていたが、臭い(匂い)を発生させる装置を設けてもよい。例えば、サーキュレーター40の前に、弱い刺激臭(例えば唐辛子スプレーを薄めて弱くしたもの)を発生させる装置を設置し、サーキュレーター40の風とともに刺激臭をプレイヤー1に伝える。花畑なら花、工場なら機械油といった、仮想環境の場面ごとに応じた臭い(匂い)を合成してもよい。また、臭い(匂い)を合成するのではなく、常に同じ臭い(匂い)例えば何らかの刺激臭でも良い。単なる風量だけでなく、刺激臭を加えることで、プレイヤー1に対してより気配を気づきやすくさせることができる。
【0070】
上記したスピーカー22は、ヘッドマウントディスプレイ20に搭載されているが、そのような構成に限定されず、ヘッドマウントディスプレイ20に搭載されていないスピーカー22(ヘッドフォン、イヤフォン)に情報処理装置からの音声データを送信する構成でもよい。
【0071】
上記した仮想現実体験システムは、例えばアトラクションゲームやシミュレーション装置として利用することができる。アトラクションゲームとしては、ゲームセンサーやテーマパークなどに設置される、シューティングゲームなどを実現するシステムに用いられる。シューティングゲームの場合、キャラクタなどのオブジェクトを撃つためのガンコントローラーが情報処理装置に接続され、情報処理装置がガンコントローラーで撃った位置・方向を認識する。このとき、キャラクタなどのオブジェクトよりも小さい範囲又は大きい範囲をオブジェクトの的としての範囲としてもよい。シミュレーション装置としては、建設作業や運輸作業の作業員の研修用・教育用などのシステムに用いることもできる。また、上記した仮想現実体験システムは4D映画館などに利用されてもよい。
【解決手段】背景及びオブジェクトの画像を表示するヘッドマウントディスプレイ20の表示部21と、プレイヤー1に対して音声を出力するスピーカー22と、プレイヤー1に対して振動を伝える複数台の振動スピーカー30と、プレイヤー1に対して送風する複数台のサーキュレーター40と、表示部21、スピーカー22、振動スピーカー30、及びサーキュレーター40を制御する情報処理装置10とを備えている。情報処理装置10は、オブジェクトの画像がプレイヤー1の視野に入ったと判定したときに、オブジェクトの画像を表示部21に表示する。情報処理装置10は、仮想空間内におけるオブジェクトの位置に合わせて、スピーカー22、振動スピーカー30、及びサーキュレーター40のうちの少なくとも1つの動作を変更する。