知財求人 - 知財ポータルサイト「IP Force」
特開2023-27126データ処理プログラム、データ処理方法、および、データ処理装置
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023027126
(43)【公開日】2023-03-01
(54)【発明の名称】データ処理プログラム、データ処理方法、および、データ処理装置
(51)【国際特許分類】
G06T 19/00 20110101AFI20230221BHJP
G06F 3/01 20060101ALI20230221BHJP
G06F 3/04815 20220101ALI20230221BHJP
【ＦＩ】
G06T19/00 300B
G06F3/01 510
G06F3/04815
【審査請求】有
【請求項の数】12
【出願形態】ＯＬ
(21)【出願番号】P 2022188990
(22)【出願日】2022-11-28
(62)【分割の表示】P 2021077850の分割
【原出願日】2018-05-17
(71)【出願人】
【識別番号】504437801
【氏名又は名称】グリー株式会社
(74)【代理人】
【識別番号】100105957
【弁理士】
【氏名又は名称】恩田 誠
(74)【代理人】
【識別番号】100068755
【弁理士】
【氏名又は名称】恩田 博宣
(72)【発明者】
【氏名】野▲崎▼ 雅人
(72)【発明者】
【氏名】安部 美春
(72)【発明者】
【氏名】櫻井 淳子
(57)【要約】 （修正有）
【課題】プレイヤが装着している表示装置に必要な情報を表示するデータ処理プログラム、データ処理方法及びデータ処理装置を提供する。
【解決手段】データ処理プログラムは、プレイヤが頭部に装着するヘッドマウントディスプレイ（ＨＭＤ）１０に少なくとも一つのオブジェクトを含む仮想空間画像を表示させる制御部２１を、外部情報を取得する取得部と、オブジェクトに関連付けられたオブジェクト情報に基づいて、外部情報を表示可能である特定オブジェクトを特定する特定部と、ＨＭＤ１０に特定オブジェクトを表示させているときに、特定オブジェクトに設定された情報表示領域に対して外部情報を重畳させて表示させる表示処理部と、して機能させる。
【選択図】図２
【解決手段】データ処理プログラムは、プレイヤが頭部に装着するヘッドマウントディスプレイ（ＨＭＤ）１０に少なくとも一つのオブジェクトを含む仮想空間画像を表示させる制御部２１を、外部情報を取得する取得部と、オブジェクトに関連付けられたオブジェクト情報に基づいて、外部情報を表示可能である特定オブジェクトを特定する特定部と、ＨＭＤ１０に特定オブジェクトを表示させているときに、特定オブジェクトに設定された情報表示領域に対して外部情報を重畳させて表示させる表示処理部と、して機能させる。
【選択図】図２
【特許請求の範囲】
【請求項1】
プレイヤが頭部に装着する表示装置に少なくとも一つのオブジェクトを含む仮想空間画像を表示させる制御装置を、
外部情報を取得する取得部と、
前記オブジェクトに関連付けられたオブジェクト情報に基づいて、前記外部情報を表示可能である特定オブジェクトを特定する特定部と、
前記表示装置に前記特定オブジェクトを表示させているときに、前記特定オブジェクトに設定された情報表示領域に対して前記外部情報を重畳させて表示させる表示処理部として機能させる、データ処理プログラム。
外部情報を取得する取得部と、
前記オブジェクトに関連付けられたオブジェクト情報に基づいて、前記外部情報を表示可能である特定オブジェクトを特定する特定部と、
前記表示装置に前記特定オブジェクトを表示させているときに、前記特定オブジェクトに設定された情報表示領域に対して前記外部情報を重畳させて表示させる表示処理部として機能させる、データ処理プログラム。
【請求項2】
前記制御装置を、
表示中の前記仮想空間画像の場面に関連付けられた識別情報に基づいて、当該場面が前記外部情報を表示可能なタイミングであるか否かを判定する判定部と、
取得した前記外部情報の重要度を判別する判別部としてさらに機能させ、
前記外部情報を表示可能な場面に関連付けられた前記識別情報は、表示可能である前記外部情報の重要度を含み、
前記判定部は、前記識別情報に基づき、取得した前記外部情報の重要度が、表示中の前記仮想空間画像の場面に関連付けられた重要度に該当する場合に、当該場面において前記外部情報を表示可能であると判定する、請求項１に記載のデータ処理プログラム。
表示中の前記仮想空間画像の場面に関連付けられた識別情報に基づいて、当該場面が前記外部情報を表示可能なタイミングであるか否かを判定する判定部と、
取得した前記外部情報の重要度を判別する判別部としてさらに機能させ、
前記外部情報を表示可能な場面に関連付けられた前記識別情報は、表示可能である前記外部情報の重要度を含み、
前記判定部は、前記識別情報に基づき、取得した前記外部情報の重要度が、表示中の前記仮想空間画像の場面に関連付けられた重要度に該当する場合に、当該場面において前記外部情報を表示可能であると判定する、請求項１に記載のデータ処理プログラム。
【請求項3】
前記外部情報の一つは、前記プレイヤを送信先とする電子メールを受信したことに関する情報である、
請求項１又は２に記載のデータ処理プログラム。
請求項１又は２に記載のデータ処理プログラム。
【請求項4】
前記外部情報の一つは、現実世界の天気に関する情報である、
請求項１～３のいずれか１項に記載のデータ処理プログラム。
請求項１～３のいずれか１項に記載のデータ処理プログラム。
【請求項5】
前記外部情報の一つは、チャットの内容、又はチャットの着信を知らせる情報である、
請求項１～４のいずれか１項に記載のデータ処理プログラム。
請求項１～４のいずれか１項に記載のデータ処理プログラム。
【請求項6】
前記外部情報の一つは、仮想空間内でプレイ中のゲームの攻略情報である、請求項１～５のいずれか１項に記載のデータ処理プログラム。
【請求項7】
前記制御装置を、
複数種類の前記外部情報が入力されたとき、特定の前記外部情報を優先して表示する優先度判別部として機能させる
請求項１～６のいずれか１項に記載のデータ処理プログラム。
複数種類の前記外部情報が入力されたとき、特定の前記外部情報を優先して表示する優先度判別部として機能させる
請求項１～６のいずれか１項に記載のデータ処理プログラム。
【請求項8】
前記制御装置を、ゲームの進行を管理するとともに前記ゲームの前記仮想空間画像を前記表示装置に表示させる進行管理部としてさらに機能させ、
前記判定部は、前記進行管理部による前記ゲームの進行に基づいて表示される前記場面に関連付けられた前記識別情報に応じて前記外部情報を表示可能なタイミングであるか否かを判定する、請求項２に記載のデータ処理プログラム。
前記判定部は、前記進行管理部による前記ゲームの進行に基づいて表示される前記場面に関連付けられた前記識別情報に応じて前記外部情報を表示可能なタイミングであるか否かを判定する、請求項２に記載のデータ処理プログラム。
【請求項9】
前記特定オブジェクトは、仮想の情報処理装置である、請求項１～８のいずれか１項に記載のデータ処理プログラム。
【請求項10】
前記外部情報は文字データを含む、請求項１～９のいずれか１項に記載のデータ処理プログラム。
【請求項11】
プレイヤが頭部に装着する表示装置に少なくとも一つのオブジェクトを含む仮想空間画像を表示させる制御装置が、
外部情報を取得する取得処理と、
前記オブジェクトに関連付けられたオブジェクト情報に基づいて、前記外部情報を表示可能である特定オブジェクトを特定する特定処理と、
前記表示装置に前記特定オブジェクトを表示させているときに、前記特定オブジェクトに設定された情報表示領域に対して前記外部情報を重畳させて表示させる表示制御処理と、を実行する、データ処理方法。
外部情報を取得する取得処理と、
前記オブジェクトに関連付けられたオブジェクト情報に基づいて、前記外部情報を表示可能である特定オブジェクトを特定する特定処理と、
前記表示装置に前記特定オブジェクトを表示させているときに、前記特定オブジェクトに設定された情報表示領域に対して前記外部情報を重畳させて表示させる表示制御処理と、を実行する、データ処理方法。
【請求項12】
プレイヤが頭部に装着する表示装置に少なくとも一つのオブジェクトを含む仮想空間画像を表示させる表示制御部と、
外部情報を取得する取得部と、
前記オブジェクトに関連付けられたオブジェクト情報に基づいて、前記外部情報を表示可能である特定オブジェクトを特定する特定部と、を備え、
前記表示制御部は、前記表示装置に前記特定オブジェクトを表示させているときに、前記特定オブジェクトに設定された情報表示領域に対して前記外部情報を重畳させて表示させる、データ処理装置。
外部情報を取得する取得部と、
前記オブジェクトに関連付けられたオブジェクト情報に基づいて、前記外部情報を表示可能である特定オブジェクトを特定する特定部と、を備え、
前記表示制御部は、前記表示装置に前記特定オブジェクトを表示させているときに、前記特定オブジェクトに設定された情報表示領域に対して前記外部情報を重畳させて表示させる、データ処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、仮想空間に外部情報を表示可能としたデータ処理プログラム、データ処理方法、および、データ処理装置に関する。
【背景技術】
【0002】
頭部に表示装置としてのヘッドマウントディスプレイ（以下、ＨＭＤという。）を装着しているときは、ＨＭＤに表示されている画像に没入しており、プレイヤの周辺環境を認識しづらくなる。そこで、特許文献１などのように、ＨＭＤの表示において、周辺環境の状況をメッセージで表示したり、カメラで撮像した周辺環境の現実空間画像を表示するようにしている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１６－１９８１８０号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、ＨＭＤを装着してゲームなどをしているときには、プレイヤの周辺環境の現実空間画像を表示するだけでは情報が不十分なこともある。
本発明は、プレイヤが装着している表示装置に、多様な情報を表示可能としたデータ処理プログラム、データ処理方法、および、データ処理装置を提供することを目的とする。
本発明は、プレイヤが装着している表示装置に、多様な情報を表示可能としたデータ処理プログラム、データ処理方法、および、データ処理装置を提供することを目的とする。
【課題を解決するための手段】
【0005】
上記課題を解決するデータ処理プログラムは、プレイヤが頭部に装着する表示装置に仮想空間画像を表示させる制御装置を、前記表示装置に前記仮想空間画像を表示させているときに、前記仮想空間画像に含まれる第１特定オブジェクトに対して、外部から入力された第１外部情報を表示させる第１表示処理部、および、前記表示装置に前記仮想空間画像を表示させているときに、外部から入力された第２外部情報であって、現実空間画像を含む前記第２外部情報を、前記仮想空間画像とともに表示させる第２表示処理部のうちの少なくとも一方を表示処理部として機能させるとともに、前記仮想空間画像を表示する場面に応じて、当該場面が前記第１外部情報又は前記第２外部情報を表示可能なタイミングであるか否かを判定する判定部として機能させ、前記第１表示処理部は、前記判定部により前記場面が前記第１外部情報を表示可能なタイミングであると判定された場合に前記第１外部情報を表示し、前記第２表示処理部は、前記判定部により前記場面が前記第２外部情報を表示可能なタイミングであると判定された場合に前記第２外部情報を表示する。
【0006】
上記構成によれば、プレイヤが装着している表示装置に多様な情報を表示可能とすることができる。
【0007】
また、上記構成によれば、第１外部情報と第２外部情報の少なくとも１つの外部情報が表示処理部により表示される。したがって、プレイヤは、表示装置を装着してゲームに没入しているときであっても、第１外部情報と第２外部情報の少なくとも１つの外部情報を視認することができる。
【0008】
上記データ処理プログラムにおいて、前記第１外部情報は、前記プレイヤを送信先とする電子メールを受信したことに関する情報、及び天気情報に変化が生じたことに関する情報の少なくとも一方であってもよい。
【0009】
上記データ処理プログラムにおいて、前記第１表示処理部は、環境情報に変化が生じたことを契機として前記第１外部情報を取得した場合、前記仮想空間画像に含まれる複数のオブジェクトから第１特定オブジェクトを特定し、特定した前記第１特定オブジェクトに対して、前記第１外部情報を表示させてもよい。
【0010】
上記データ処理プログラムにおいて、前記現実空間画像は、前記プレイヤの周辺環境を撮像した画像であって、前記第２表示処理部は、前記第２外部情報に変化が検出された場合、前記仮想空間画像とともに前記第２外部情報として前記現実空間画像を表示させてもよい。
【0011】
上記データ処理プログラムにおいて、前記第２表示処理部は、前記仮想空間画像に対して重ねて前記第２外部情報としての前記現実空間画像を表示させてもよい。
【0012】
上記データ処理プログラムにおいて、前記制御装置を、前記仮想空間画像の中から第２特定オブジェクトを特定するオブジェクト特定部として機能させ、前記第２表示処理部は、前記第２特定オブジェクトに対して前記第２外部情報としての前記現実空間画像を重ねて表示させてもよい。
【0013】
上記データ処理プログラムにおいて、前記第２表示処理部は、前記現実空間画像に対して前記仮想空間画像を重ねて表示させてもよい。
【0014】
上記データ処理プログラムにおいて、前記制御装置を、前記現実空間画像の中から第３特定オブジェクトを特定するオブジェクト特定部であって、前記第３特定オブジェクトに対して前記仮想空間画像を表示させるオブジェクト特定部として機能させてもよい。
【0015】
上記データ処理プログラムにおいて、前記第２表示処理部は、表示領域を分割して、一方の表示領域に前記仮想空間画像を表示させ、他方の表示領域に前記第２外部情報としての前記現実空間画像を表示させてもよい。
【0016】
上記データ処理プログラムにおいて、前記第１外部情報は、複数種類あり、種類に応じた取得先があり、前記制御装置を、事前に登録された前記第１外部情報の取得先の各々から前記第１外部情報を取得する取得部として機能させてもよい。
【0017】
上記データ処理プログラムにおいて、前記制御装置を、複数種類の前記第１外部情報が入力されたとき、特定の前記第１外部情報を優先して表示する判別部として機能させてもよい。
【0018】
上記データ処理プログラムにおいて、前記制御装置を、外部からの入力が前記第１外部情報であるか前記第２外部情報であるかを判別する判別部として機能させてもよい。
【0019】
上記データ処理プログラムにおいて、前記制御装置を、複数種類の前記第２外部情報が入力されたとき、特定の前記第２外部情報を優先して表示する判別部として機能させてもよい。
【0020】
上記課題を解決するデータ処理方法は、プレイヤが頭部に装着する表示装置に仮想空間画像を表示させるデータ処理方法において、前記表示装置に前記仮想空間画像を表示させているときに、前記仮想空間画像に含まれる第１特定オブジェクトに対して、外部から入力された第１外部情報を表示させる表示処理ステップ、および、前記表示装置に前記仮想空間画像を表示させているときに、外部から入力された第２外部情報であって、現実空間
画像を含む前記第２外部情報を、前記仮想空間画像とともに表示させる第２表示処理ステップのうちの少なくとも一方の表示処理ステップを実行するとともに、前記仮想空間画像を表示する場面に応じて、当該場面が前記第１外部情報又は前記第２外部情報を表示可能なタイミングであるか否かを判定する判定ステップ、を実行し、前記第１表示処理ステップでは、前記判定部により前記場面が前記第１外部情報を表示可能なタイミングであると判定された場合に前記第１外部情報を表示し、前記第２表示処理ステップでは、前記判定部により前記場面が前記第２外部情報を表示可能なタイミングであると判定された場合に前記第２外部情報を表示する。
画像を含む前記第２外部情報を、前記仮想空間画像とともに表示させる第２表示処理ステップのうちの少なくとも一方の表示処理ステップを実行するとともに、前記仮想空間画像を表示する場面に応じて、当該場面が前記第１外部情報又は前記第２外部情報を表示可能なタイミングであるか否かを判定する判定ステップ、を実行し、前記第１表示処理ステップでは、前記判定部により前記場面が前記第１外部情報を表示可能なタイミングであると判定された場合に前記第１外部情報を表示し、前記第２表示処理ステップでは、前記判定部により前記場面が前記第２外部情報を表示可能なタイミングであると判定された場合に前記第２外部情報を表示する。
【0021】
上記課題を解決するデータ処理装置は、プレイヤが頭部に装着する表示装置に仮想空間画像を表示させるデータ処理装置において、前記表示装置に前記仮想空間画像を表示させているときに、前記仮想空間画像に含まれる第１特定オブジェクトに対して、外部から入力された第１外部情報を表示させる第１表示処理部、および、前記表示装置に前記仮想空間画像を表示させているときに、外部から入力された第２外部情報であって、現実空間画像を含む前記第２外部情報を、前記仮想空間画像とともに表示させる第２表示処理部のうちの少なくとも一方の表示処理部を備えるとともに、前記仮想空間画像を表示する場面に応じて、当該場面が前記第１外部情報又は前記第２外部情報を表示可能なタイミングであるか否かを判定する判定部を備え、前記第１表示処理部は、前記判定部により前記場面が前記第１外部情報を表示可能なタイミングであると判定された場合に前記第１外部情報を表示し、前記第２表示処理部は、前記判定部により前記場面が前記第２外部情報を表示可能なタイミングであると判定された場合に前記第２外部情報を表示する。
【発明の効果】
【0022】
本発明によれば、プレイヤが装着している表示装置に多様な情報を表示可能とすることができる。
【図面の簡単な説明】
【0023】
【図1】データ処理システムの実施態様を模式的に示す斜視図。
【図2】データ処理システムのブロック図。
【図3】プレイヤの頭部の位置と向きの特定に用いられる座標系を示す図。
【図4】データ処理方法のフローチャート。
【図5】仮想空間画像にあるスマートフォンの第１特定オブジェクトに第１外部情報として電子メールを重畳して表示した画面を示す図。
【図6】キャラクタオブジェクトからの質問に対して回答をする画面であって、掲示板の第１特定オブジェクトに第１外部情報としての攻略情報を重畳して表示した画面を示す図。
【図7】仮想空間画像に屋外の様子（雨）のオブジェクトを重畳して表示するとともに、掲示板の第１特定オブジェクトに第１外部情報としての天気情報を重畳して表示した画面を示す図。
【図8】キャラクタオブジェクトに対する質問に対して回答をする画面であって、第２外部情報としてプレイヤ周辺の現実空間画像を重畳して表示した画面を示す図。
【図9】仮想空間画像にあるスマートフォンの第２特定オブジェクトに第２外部情報として屋外の現実空間画像を重畳して表示した画面を示す図。
【図10】キャラクタオブジェクトからの質問に対して回答をする画面であって、掲示板の第１特定オブジェクトに第１外部情報として攻略情報を重畳して表示するとともに、第２外部情報としてプレイヤ周辺の現実空間画像を重畳して表示した画面を示す図。
【図11】第２外部情報としての現実空間画像の中から検出された第３特定オブジェクトの情報表示領域に仮想空間画像を重畳して表示した画面を示す図。
【図12】表示画面が第１領域と第２領域とに分割され、第１領域に、ゲームの仮想空間画像を表示し、第２領域に、第２外部情報としての現実空間画像を表示した画面を示す図。
【図13】ゲーム処理装置のハードウェア構成を示す図。
【発明を実施するための形態】
【0024】
図１～図１３を参照して、本発明を適用したゲーム処理システムについて図面を参照して説明する。
［概要］
図１に示すように、本発明が適用されたゲーム処理システムは、ヘッドマウントディスプレイ（以下、ＨＭＤ）１０と、ゲーム処理装置２０と、操作装置３０と、撮像装置４０とを備えている。ＨＭＤ１０とゲーム処理装置２０とは、有線または無線による通信を行う。また、操作装置３０とＨＭＤ１０およびゲーム処理装置２０との間も有線または無線による通信を行う。さらに、撮像装置４０とゲーム処理装置２０およびＨＭＤ１０との間も有線または無線による通信を行う。ゲーム処理システムでは、バーチャルリアリティゲームを行うことができる。
［概要］
図１に示すように、本発明が適用されたゲーム処理システムは、ヘッドマウントディスプレイ（以下、ＨＭＤ）１０と、ゲーム処理装置２０と、操作装置３０と、撮像装置４０とを備えている。ＨＭＤ１０とゲーム処理装置２０とは、有線または無線による通信を行う。また、操作装置３０とＨＭＤ１０およびゲーム処理装置２０との間も有線または無線による通信を行う。さらに、撮像装置４０とゲーム処理装置２０およびＨＭＤ１０との間も有線または無線による通信を行う。ゲーム処理システムでは、バーチャルリアリティゲームを行うことができる。
【0025】
ＨＭＤ１０は、プレイヤＰの頭部に装着され、操作装置３０は、プレイヤＰに操作される。ゲーム処理装置２０は、ＨＭＤ１０の少なくとも向きに応じた視点でゲームの仮想空間画像をＨＭＤ１０に表示させ、ＨＭＤ１０および操作装置３０にて検出された情報に基づき、仮想空間で行われるゲームの進行を管理する。１つのＨＭＤ１０は、１つの操作装置３０と対応付けられている。したがって、互いに対応付けられたＨＭＤ１０と操作装置３０とは、同一のプレイヤに利用される。なお、ゲーム処理システムは、ＨＭＤ１０と操作装置３０との組が複数であってもよく、複数の場合は、複数人で同時にゲームを行うことができる。ゲーム処理システムは、プレイヤＰの周辺の現実空間画像を撮像する撮像装置４０を備えている。ゲーム処理システムは、プレイヤＰがゲーム没入しているときであっても、自分宛ての電子メールなどのメッセージの着信やプレイ中のゲームの攻略情報などを第１外部情報として告知できるようにしている。また、撮像装置４０は、プレイヤＰがゲームに没入しているときであっても、周辺環境に変化が生じたときに、ＨＭＤ１０を装着しているプレイヤＰに対して周辺環境を告知できるようにしている。
【0026】
［ＨＭＤ］
図２に示すように、ＨＭＤ１０は、ＨＭＤ制御部１１、センサ１２、ディスプレイ１３、および、スピーカ１４を備える。ＨＭＤ１０は、ゲーム処理装置２０に各種の情報を出力するとともに、ゲーム処理装置２０から各種の情報が入力される。
図２に示すように、ＨＭＤ１０は、ＨＭＤ制御部１１、センサ１２、ディスプレイ１３、および、スピーカ１４を備える。ＨＭＤ１０は、ゲーム処理装置２０に各種の情報を出力するとともに、ゲーム処理装置２０から各種の情報が入力される。
【0027】
センサ１２は、現実空間におけるＨＭＤ１０の少なくとも向きを検出する。センサ１２は、ＨＭＤ１０の位置を検出するようにしてもよい。センサ１２は、例えば、ジャイロセンサ、加速度センサ、地磁気センサなどの少なくとも一つを備える。例えば、センサ１２は、視線センサをさらに備えて、プレイヤの視線が向けられる方向（視線方向）を、直接的に検出してもよい。
【0028】
ＨＭＤ制御部１１は、センサ１２の検出した結果を用いて、プレイヤＰの頭部の向きを算出する。ＨＭＤ制御部１１は、プレイヤＰの頭部の向きに加え、頭部の位置を算出してもよい。ＨＭＤ制御部１１は、頭部の向きを算出するとき、各軸周りの角度として算出する。ＨＭＤ制御部１１は、頭部の位置を算出するとき、３軸方向の位置を算出する。例えば、図３に示すように、３軸は、水平方向に沿ったＸ軸、鉛直方向に沿ったＹ軸、および、奥行方向に沿ったＺ軸である。軸周りの角度は、Ｘ軸を中心とした回転方向を示すピッチθｐ、Ｙ軸を中心とした回転方向を示すヨーθｙ、および、Ｚ軸を中心とした回転方向を示すロールθｒである。
【0029】
ＨＭＤ制御部１１は、入出力インタフェースを含み、プレイヤＰの頭部の向きをゲーム
処理装置２０に送信する。ＨＭＤ制御部１１のプレイヤＰの頭部の位置を算出した場合には、頭部の位置をゲーム処理装置２０に送信する。ゲーム処理装置２０は、プレイヤＰの頭部の向きなどから、仮想空間におけるプレイヤＰの向き（仮想カメラの視線方向）とを算出する。
処理装置２０に送信する。ＨＭＤ制御部１１のプレイヤＰの頭部の位置を算出した場合には、頭部の位置をゲーム処理装置２０に送信する。ゲーム処理装置２０は、プレイヤＰの頭部の向きなどから、仮想空間におけるプレイヤＰの向き（仮想カメラの視線方向）とを算出する。
【0030】
ディスプレイ１３は、表示装置の一例である。ディスプレイ１３は、視差画像を出力して、奥行き感のある立体的な画像をプレイヤＰに視認させる。ゲーム処理装置２０は、仮想空間におけるプレイヤＰの向きに基づいて、視差画像を出力するための画像データを生成する。ゲーム処理装置２０は、生成した画像データをＨＭＤ１０に送信する。ＨＭＤ制御部１１は、ゲーム処理装置２０から受信した信号を用いて、仮想空間の画像をディスプレイ１３に表示させる。
【0031】
スピーカ１４は、視差画像の背景で流す効果音、音声、および、楽曲などのゲーム音を出力する。ゲーム処理装置２０は、ゲームの進捗状況を把握し、ゲームの進捗状況に適した音を出力するための音データを生成する。ゲーム処理装置２０は、生成した音データをＨＭＤ１０に送信する。ＨＭＤ制御部１１は、ゲーム処理装置２０から受信した音声信号をスピーカ１４に出力する。
【0032】
［操作装置］
操作装置３０は、当該操作装置３０と対応付けられたＨＭＤ１０と有線または無線により通信可能に構成され、プレイヤＰが操作装置３０を手に持つこと、あるいは、プレイヤＰが操作装置３０を手や腕に装着することによってプレイヤＰに携帯される。操作装置３０は、情報処理部３１と、トラッキング情報検出部３２と、操作部３３とを備えている。
操作装置３０は、当該操作装置３０と対応付けられたＨＭＤ１０と有線または無線により通信可能に構成され、プレイヤＰが操作装置３０を手に持つこと、あるいは、プレイヤＰが操作装置３０を手や腕に装着することによってプレイヤＰに携帯される。操作装置３０は、情報処理部３１と、トラッキング情報検出部３２と、操作部３３とを備えている。
【0033】
情報処理部３１は、プロセッサ、メモリ、通信用インタフェース等を含む。情報処理部３１は、センサ１２の検出結果に応じた信号、および、操作部３３に対する操作に応じた信号をＨＭＤ１０に出力する。ＨＭＤ１０は、操作装置３０から入力された信号に応じた信号を、ゲーム処理装置２０に出力する。
【0034】
トラッキング情報検出部３２は、操作装置３０の位置および向きの算出のための情報を検出する機器を含む。操作装置３０の位置は、プレイヤＰの手の位置に相当する。トラッキング情報検出部３２には、少なくとも方向の変化を検出するセンサが含まれる。例えば、ジャイロセンサ、加速度センサ、および、地磁気センサのうち少なくとも１つのセンサが含まれる。トラッキング情報検出部３２の検出結果から算出される操作装置３０の位置は、操作装置３０の初期位置に対する相対的な位置であってもよいし、操作装置３０と対応付けられたＨＭＤ１０の位置に対する相対的な位置であってもよいし、現実空間における絶対的な位置であってもよい。
【0035】
操作部３３は、例えば、プレイヤＰが押して操作するボタン型や上下左右に動かすジョイスティックのようなレバー型であり、プレイヤＰが目視せずとも操作可能に構成されている。また、タッチパネルであってもよい。なお、操作装置３０は、ＨＭＤ１０を介さず直接にゲーム処理装置２０と通信を行い、トラッキング情報検出部３２の検出結果に応じた信号、および、操作部３３に対する操作に応じた信号をゲーム処理装置２０に出力してもよい。この場合、ＨＭＤ１０と操作装置３０との対応付けは、ゲーム処理装置２０において、ＨＭＤ１０と操作装置３０との各々の識別情報の対応付けが記憶されること等によって管理されればよい。
【0036】
なお、例えば、トラッキング情報検出部３２は、主としてＨＭＤ１０の位置の算出に用いられる情報を検出するための位置検出用機器を含んでもよい。具体的には、位置検出用機器は、プレイヤＰが位置する現実空間にＨＭＤ１０とは別に設けられたトラッキング補
助装置３６との協働により、ＨＭＤ１０の位置の算出のための情報を検出可能とする。位置検出用機器とトラッキング補助装置３６とは、ＨＭＤ１０の位置に加えて向きの算出にも利用されてもよい。例えば、位置検出用機器とトラッキング補助装置３６との一方は、赤外光もしくは可視光を射出するレーザー装置やＬＥＤ等の発光装置であり、位置検出用機器とトラッキング補助装置３６との他方は、上記発光装置に対応した光を受光するカメラ等の受光装置である。そして、所定の配置を有する複数の発光装置のうち、何れの発光装置からの光を受光装置が受光したか、所定の配置を有する複数の受光装置のうち、何れの受光装置が発光装置からの光を受光したか、発光装置からの光の射出方向、発光装置から射出された光が受光装置への到達までに要した時間等の情報が検出され、これらの情報に基づき、ＨＭＤ１０の位置や向きが算出される。トラッキング補助装置３６が受光装置である場合や、トラッキング補助装置３６が発光装置であって、その発光をゲーム処理装置２０が制御する場合には、トラッキング補助装置３６はゲーム処理装置２０と直接に、もしくは、ＨＭＤ１０を介して、通信可能に構成されていればよい。
助装置３６との協働により、ＨＭＤ１０の位置の算出のための情報を検出可能とする。位置検出用機器とトラッキング補助装置３６とは、ＨＭＤ１０の位置に加えて向きの算出にも利用されてもよい。例えば、位置検出用機器とトラッキング補助装置３６との一方は、赤外光もしくは可視光を射出するレーザー装置やＬＥＤ等の発光装置であり、位置検出用機器とトラッキング補助装置３６との他方は、上記発光装置に対応した光を受光するカメラ等の受光装置である。そして、所定の配置を有する複数の発光装置のうち、何れの発光装置からの光を受光装置が受光したか、所定の配置を有する複数の受光装置のうち、何れの受光装置が発光装置からの光を受光したか、発光装置からの光の射出方向、発光装置から射出された光が受光装置への到達までに要した時間等の情報が検出され、これらの情報に基づき、ＨＭＤ１０の位置や向きが算出される。トラッキング補助装置３６が受光装置である場合や、トラッキング補助装置３６が発光装置であって、その発光をゲーム処理装置２０が制御する場合には、トラッキング補助装置３６はゲーム処理装置２０と直接に、もしくは、ＨＭＤ１０を介して、通信可能に構成されていればよい。
【0037】
なお、ＨＭＤ１０の外部に設置されたトラッキング補助装置３６を用いずに、ＨＭＤ１０が備えるトラッキング情報検出部３２の検出結果のみを利用して、ＨＭＤ１０の位置および向きが算出可能なように、トラッキング情報検出部３２が構成されていてもよい。トラッキング情報検出部３２の検出結果から算出されるＨＭＤ１０の位置は、ＨＭＤ１０の初期位置に対する相対的な位置であってもよいし、現実空間、すなわち、プレイヤＰがゲームをプレイする際に位置する所定の大きさの三次元空間における絶対的な位置であってもよい。
【0038】
［撮像装置］
撮像装置４０は、ゲーム処理装置２０やＨＭＤ１０と有線または無線により通信可能に構成されている。撮像装置４０は、プレイヤＰの周辺環境を撮像するものである。撮像装置４０は、プレイヤＰの近くのテーブル等に三脚などによって設置されていてもよい。この場合の撮像装置４０の撮像方向は、プレイヤＰの視線方向であってもよいし、プレイヤＰの背面方向であってもよい。プレイヤＰの視線方向を撮像方向としたときには、プレイヤＰの前方に近づいた人物などを検出することができる。また、プレイヤＰの背面方向を撮像方向としたときには、プレイヤＰの背後に近づいた人物などを検出することができる。また、撮像装置４０は、屋外を撮像するものであってもよい。屋外を撮像可能な撮像装置４０は、例えばプレイヤＰが居る建物の屋上などの屋外に設置されている。撮像装置４０は、複数の撮像部を備えることによって、プレイヤＰの周辺環境や屋外の様子などの複数箇所の現実空間画像を取得することができる。勿論、撮像部の数や設置する箇所は、これらの箇所に限定されるものではない。
撮像装置４０は、ゲーム処理装置２０やＨＭＤ１０と有線または無線により通信可能に構成されている。撮像装置４０は、プレイヤＰの周辺環境を撮像するものである。撮像装置４０は、プレイヤＰの近くのテーブル等に三脚などによって設置されていてもよい。この場合の撮像装置４０の撮像方向は、プレイヤＰの視線方向であってもよいし、プレイヤＰの背面方向であってもよい。プレイヤＰの視線方向を撮像方向としたときには、プレイヤＰの前方に近づいた人物などを検出することができる。また、プレイヤＰの背面方向を撮像方向としたときには、プレイヤＰの背後に近づいた人物などを検出することができる。また、撮像装置４０は、屋外を撮像するものであってもよい。屋外を撮像可能な撮像装置４０は、例えばプレイヤＰが居る建物の屋上などの屋外に設置されている。撮像装置４０は、複数の撮像部を備えることによって、プレイヤＰの周辺環境や屋外の様子などの複数箇所の現実空間画像を取得することができる。勿論、撮像部の数や設置する箇所は、これらの箇所に限定されるものではない。
【0039】
撮像装置４０は、撮像部４１と、検出部４２とを備えている。撮像部４１は、例えば、立体画像を表示できるように、右目用の撮像素子と、左目用の撮像素子とを備えていてもよい。撮像素子は、例えば、ＣＣＤ素子やＣＭＯＳ素子である。撮像部４１は、例えば、広角レンズを備えたカメラである。また、撮像範囲は、６０°程度であってもよいし、１８０°程度であってもよいし、３６０°であってもよい。例えば、撮像装置４０は、三脚に設置されることで、自動的に、パン方向およびチルト方向に回転するようにしてもよい。撮像部４１は、少なくとも、プレイヤＰの周辺環境（ゲーム処理装置２０の近く）や屋外に設置される。複数の撮像部４１を備えるときには、全ての撮像部が２つの撮像素子を備えていなくてもよい。
【0040】
検出部４２は、例えば人感センサである。検出部４２は、赤外線により周囲の温度変化を検出する熱センサ、光の反射を検出する光センサ、音波の変化を検出する音波センサ、音を検出する音感センサ、人物の静電気を検出するタッチセンサなどであり、プレイヤＰの周囲に人が近づいたことを検出する。そして、人物等の生体を検出したとき、撮像部４
１で周辺環境を撮像する。検出部４２は、センサを用いて構成するのではなく、データ処理によって画像の変化を検出する検出部であってもよい。例えば、撮像している領域は、動体が存在しない静止空間であって、そこに人が現れたときには、それまでの現実空間画像に変化が生じる。検出部４２は、この画像の変化を検出し、ＨＭＤ１０やゲーム処理装置２０に対して出力するようにしてもよい。さらに、屋外の撮像部４１の近くには、例えば、降雨センサや湿度センサや温度センサなどを配置しておいてもよく、これにより、種々の屋外環境を検出できるようになる。このような検出部４２は、複数箇所に撮像部４１が設置される場合において、各撮像部４１に検出部４２を設けてもよいし、室内の撮像部４１だけに設けてもよいし、屋外の撮像部４１だけに設けるようにしてもよい。また、撮像部４１を設置する場所に応じて、異なる種類の検出部４２を設けるようにしてもよい。
１で周辺環境を撮像する。検出部４２は、センサを用いて構成するのではなく、データ処理によって画像の変化を検出する検出部であってもよい。例えば、撮像している領域は、動体が存在しない静止空間であって、そこに人が現れたときには、それまでの現実空間画像に変化が生じる。検出部４２は、この画像の変化を検出し、ＨＭＤ１０やゲーム処理装置２０に対して出力するようにしてもよい。さらに、屋外の撮像部４１の近くには、例えば、降雨センサや湿度センサや温度センサなどを配置しておいてもよく、これにより、種々の屋外環境を検出できるようになる。このような検出部４２は、複数箇所に撮像部４１が設置される場合において、各撮像部４１に検出部４２を設けてもよいし、室内の撮像部４１だけに設けてもよいし、屋外の撮像部４１だけに設けるようにしてもよい。また、撮像部４１を設置する場所に応じて、異なる種類の検出部４２を設けるようにしてもよい。
【0041】
［ゲーム処理装置］
ゲーム処理装置２０は、中央演算処理装置、メモリ、および、特定用途向けの集積回路などの各種のハードウェア要素から構成される。ゲーム処理装置２０は、制御装置の一例である制御部２１と記憶部２２とを備える。なお、ゲーム処理装置２０とＨＭＤ１０とは、１台のゲーム処理装置２０に１台のＨＭＤ１０が接続される関係であってもよいし、１台のゲーム処理装置２０に複数台のＨＭＤ１０が接続される関係であってもよい。
ゲーム処理装置２０は、中央演算処理装置、メモリ、および、特定用途向けの集積回路などの各種のハードウェア要素から構成される。ゲーム処理装置２０は、制御装置の一例である制御部２１と記憶部２２とを備える。なお、ゲーム処理装置２０とＨＭＤ１０とは、１台のゲーム処理装置２０に１台のＨＭＤ１０が接続される関係であってもよいし、１台のゲーム処理装置２０に複数台のＨＭＤ１０が接続される関係であってもよい。
【0042】
制御部２１は、ハードウェア要素にゲーム処理プログラムを実行させて、オブジェクト特定部２１Ａ、および、進行管理部２１Ｂ、第１表示処理部２１Ｃ、第２表示処理部２１Ｄ、取得部２１Ｅ、テーブル２１Ｆ、および、判別部２１Ｇとして機能する。記憶部２２は、ゲームの進行に用いられる各種の情報を格納する。記憶部２２に格納される情報は、画像情報２２Ａ、オブジェクト情報２２Ｂおよび、ゲーム音情報２２Ｃを含む。また、ゲーム処理プログラムがネットワークや光ディスクやハードディスクやＵＳＢメモリなどの外部記録媒体からインストールされる。
【0043】
画像情報２２Ａは、仮想空間情報の一例であり、仮想空間の画像を表示するための情報である。仮想空間の画像は、仮想空間の背景となる画像、および、仮想空間に存在するオブジェクトの画像を含む。仮想空間に存在するオブジェクトは、仮想空間のみに存在するオブジェクトを含む。
【0044】
オブジェクトは、ディスプレイ１３に表示させる画像の単位要素である。オブジェクトは、例えば、プレイヤキャラクタ、敵キャラクタ、味方キャラクタ、および、中立キャラクタなどのゲームキャラクタを含む。オブジェクトは、例えば、武器、防具、魔法、乗り物、および、建物、携帯電話、スマートフォン、掲示板などのゲームアイテムといったゲーム媒体を含む。例えば、ゲーム媒体は、ゲーム内で利用されるものであってもよいし、ゲーム以外で利用されるものであってもよい。ゲーム媒体は、ゲームに応じて変更可能なデータである。すなわち、ゲーム媒体は、ゲームに使用される電子データであり、ユーザによってゲーム内で取得、所有、使用、管理、交換、合成、強化、売却、廃棄、または贈与等され得るデータである。例えば、ゲーム媒体は、カード、仮想通貨、チケット、キャラクタ、アバタなどを表す画像データや動画データを含んでいる。また、ゲーム媒体は、カード、仮想通貨、チケット、キャラクタ、アバタなどに化体するレベル情報、ステータス情報、および、パラメータ情報（体力値や攻撃力など）、能力情報（スキル、アビリティ、呪文、ジョブなど）などの任意の媒体データを含んでいる。また、オブジェクトは、例えば、テキスト、アイコン、および、マップなどのインデックスを含む。
【0045】
オブジェクトは、ゲームにおける仮想空間において存在するテレビジョン受像機、パーソナルコンピュータに接続されたモニタ、スマートフォンなどの情報処理装置、掲示板、看板等の情報表示が可能な特定オブジェクトを含む。また、オブジェクトは、仮想空間において、プレイヤＰの操作によって選択可能なオブジェクト、および、選択不可能なオブ
ジェクトを含む。特定オブジェクトの中でも第１特定オブジェクトは、例えば、第１外部情報が配置されるオブジェクトである。また、特定オブジェクトの中でも第２特定オブジェクトは、第２外部情報が配置されるオブジェクトである。
ジェクトを含む。特定オブジェクトの中でも第１特定オブジェクトは、例えば、第１外部情報が配置されるオブジェクトである。また、特定オブジェクトの中でも第２特定オブジェクトは、第２外部情報が配置されるオブジェクトである。
【0046】
第１外部情報は、第１特定オブジェクトと関連付けて表示する情報である。第１外部情報は、例えば文字データであって、電子メール又はチャットの内容や着信を知らせる表示や現在プレイしているゲームの攻略情報、検索サイトを使用した攻略情報の検索結果や屋外の天気情報などの情報である。第２外部情報は、オブジェクトと関連付けずに表示される情報である。第２外部情報は、例えば、撮像装置４０で撮像された現実空間画像を含む情報である。第２外部情報には、現実空間画像の他に、撮像装置４０と共に設置した各種センサによって検出した湿度情報や温度情報などを表示するためのテキストデータなどを含んでいてもよい。なお、各種情報を、第１外部情報および第２外部情報のいずれとして扱うかは予め設定されていてもよいし、プレイヤＰが予め設定していてもよい。
【0047】
オブジェクト情報２２Ｂは、オブジェクトの識別子、オブジェクトの種類、および、仮想空間におけるオブジェクトの位置を含む。オブジェクトの種類は、第１外部情報や第２外部情報が配置される第１特定オブジェクトや第２特定オブジェクトとして特定可能であるか否かを示す。オブジェクトの位置は、仮想空間におけるオブジェクトの位置である。オブジェクトの位置などは、ゲームの進行に伴い、制御部２１によって更新される。
【0048】
ゲーム音情報２２Ｃは、仮想空間情報の一例であり、ＨＭＤ１０にゲーム音を出力させるための情報である。進行管理部２１Ｂは、プレイヤＰに認識させるゲーム音を出力させるための情報を、ゲーム音情報２２Ｃの中から抽出し、抽出された情報を、ＨＭＤ１０に送信する。
【0049】
オブジェクト特定部２１Ａは、第１外部情報が入力されたとき、第１外部情報が配置される特定オブジェクトをオブジェクト情報２２Ｂを参照して特定する。また、オブジェクト特定部２１Ａは、第２外部情報が入力されたとき、第２外部情報が配置される特定オブジェクトをオブジェクト情報２２Ｂを参照して特定する。さらに、オブジェクト特定部２１Ａは、第２外部情報として撮像装置４０から入力された現実空間画像が入力されたとき、現実空間画像の中から現実空間において存在するテレビジョン受像機、パーソナルコンピュータに接続されたモニタ、スマートフォンなどの情報処理装置、掲示板、看板等の情報表示が可能な物体を、仮想現実画像を表示する第３特定オブジェクトとして特定する。そして、オブジェクト特定部２１Ａは、現実空間画像の中から特定された第３特定オブジェクトの情報表示領域、すなわち情報表示画面を特定する。情報表示画面は、テレビジョン受像機、パーソナルコンピュータに接続されたモニタ、スマートフォンなどの情報処理装置等における情報表示領域である。また、掲示板や看板などのオブジェクトの場合は、メモなどを書いたりメモ用紙を貼ったりする領域である。また、予め定義されたテレビジョン受像機、モニタ、スマートフォン、掲示板、看板などやこれらの情報表示領域の形状や色などの特徴を現実空間画像の中から検出して特定することができる。
【0050】
進行管理部２１Ｂは、ゲームの進行を管理する。また、第１表示処理部２１Ｃは、仮想空間画像の中の第１特定オブジェクトの情報表示領域に第１外部情報を表示する。また、第２表示処理部２１Ｄは、仮想空間画像や第２オブジェクトに対して撮像装置４０で撮像された現実空間画像を含む第２外部情報を表示する。第１表示処理部２１Ｃは、仮想空間画像の視差情報に対して第１外部情報や第１特定オブジェクトの視差情報を変えることによって、仮想空間画像に対して第１外部情報や第１特定オブジェクトが飛び出したり窪んだりするように表示することができる。これは、右目用仮想空間画像と左目用仮想空間画像のずれ量に対して右目用の第１外部情報や第１特定オブジェクトと左目用の第１外部情報や第１特定オブジェクトのずれ量を変えることによって実現することができる。第２表
示処理部２１Ｄも、仮想空間画像の視差情報に対して第２外部情報や第２特定オブジェクトの視差情報を変えることによって、仮想空間画像に対して第２外部情報や第２特定オブジェクトが飛び出したり窪んだりするように表示することができる。これにより、仮想空間画像に対して、表示の大きさにさほど影響されることなく、第１外部情報、第２外部情報、第１特定オブジェクト、第２特定オブジェクトなどを仮想空間画像に対して目立たせることができる。
示処理部２１Ｄも、仮想空間画像の視差情報に対して第２外部情報や第２特定オブジェクトの視差情報を変えることによって、仮想空間画像に対して第２外部情報や第２特定オブジェクトが飛び出したり窪んだりするように表示することができる。これにより、仮想空間画像に対して、表示の大きさにさほど影響されることなく、第１外部情報、第２外部情報、第１特定オブジェクト、第２特定オブジェクトなどを仮想空間画像に対して目立たせることができる。
【0051】
取得部２１Ｅは、ネットワークを介して第１外部情報や第２外部情報を取得する。
第１外部情報は、例えば電子メールの内容や着信を知らせる表示や現在プレイしているゲームの攻略情報や屋外の天気情報などの環境情報である。第１外部情報が電子メールである場合、取得部２１Ｅは、プレイヤ宛の電子メールが届いているかメールサーバに定期的にアクセスする。又は、取得部２１Ｅは、ゲーム処理装置２０がメールアプリケーションを有しているか若しくはメールアプリケーションにアクセスしている場合、このメールアプリケーションに定期的にアクセスする。又は、メールサーバ又はメールアプリケーションに定期的にアクセスせずに、メールサーバ又はメールアプリケーションから送信された通知を取得するようにしてもよい。プレイヤＰ宛の電子メールがメールサーバ２６やメールアプリケーションに届いているとき、当該電子メールをダウンロードし、電子メールの受信の旨や送信元やタイトルや本文の一部などを第１特定オブジェクトの情報表示領域に表示する。メールサーバ２６のアドレスデータもテーブル２１Ｆに登録されている。
第１外部情報は、例えば電子メールの内容や着信を知らせる表示や現在プレイしているゲームの攻略情報や屋外の天気情報などの環境情報である。第１外部情報が電子メールである場合、取得部２１Ｅは、プレイヤ宛の電子メールが届いているかメールサーバに定期的にアクセスする。又は、取得部２１Ｅは、ゲーム処理装置２０がメールアプリケーションを有しているか若しくはメールアプリケーションにアクセスしている場合、このメールアプリケーションに定期的にアクセスする。又は、メールサーバ又はメールアプリケーションに定期的にアクセスせずに、メールサーバ又はメールアプリケーションから送信された通知を取得するようにしてもよい。プレイヤＰ宛の電子メールがメールサーバ２６やメールアプリケーションに届いているとき、当該電子メールをダウンロードし、電子メールの受信の旨や送信元やタイトルや本文の一部などを第１特定オブジェクトの情報表示領域に表示する。メールサーバ２６のアドレスデータもテーブル２１Ｆに登録されている。
【0052】
また、第１外部情報が現在プレイしているゲームの攻略情報である場合、取得部２１Ｅは、現在プレイ中の攻略情報が説明された攻略サイト２７から攻略情報を取得する。例えば、取得部２１Ｅは、攻略サイト２７のＵＲＬ（Uniform Resource Locator）などのアドレスデータがゲームを識別するゲーム識別データと関連付けられて登録されたテーブル２１Ｆを備えている。取得部２１Ｅは、現在プレイしているゲームに付与されているゲーム識別データと一致するテーブル２１Ｆ内のゲーム識別データに関連付いたアドレスデータに所在する攻略サイトにアクセスし、攻略情報を取得する。例えば、現在プレイしているゲームにおける現在の場面に識別データが付与されているときは、攻略サイト２７内の当該識別データが付与されている部分の攻略情報を取得する。なお、このＵＲＬは、プレイヤが指定することもできる。
【0053】
第１外部情報が屋外の天気情報などの環境情報である場合、取得部２１Ｅは、テーブル２１Ｆに登録してある天気情報が掲載された天気サイト２８のＵＲＬなどのアドレスデータにアクセスし、外部環境情報を取得する。例えば、取得部２１Ｅは、天気情報として警報や注意報に関する情報が発令されたとき、警報情報や注意報情報を取得したり、天気に変化があったとき（晴れから曇り、雨から晴れなど）、天気情報を取得する。取得部２１Ｅは、ＧＰＳ（Global Positioning System）などを利用して、ゲーム処理装置２０など
が設置されている現在位置情報を取得している。また、プレイヤＰによって現在位置情報が装置のメモリに保存されている。取得部２１Ｅは、天気サイト２８に対して現在位置情報の天気情報を取得する。
が設置されている現在位置情報を取得している。また、プレイヤＰによって現在位置情報が装置のメモリに保存されている。取得部２１Ｅは、天気サイト２８に対して現在位置情報の天気情報を取得する。
【0054】
なお、第1外部情報の取得先は、メールサーバ、攻略サイト、天気サイトに限定される
ものではない。例えば、取得先は、プレイヤＰやその他のユーザが自分の好みに応じてテーブル２１Ｆに自由に登録することができる。
ものではない。例えば、取得先は、プレイヤＰやその他のユーザが自分の好みに応じてテーブル２１Ｆに自由に登録することができる。
【0055】
第２外部情報は、例えば、撮像装置４０で撮像された現実空間画像である。撮像装置４０がプレイヤＰの周辺環境を撮像している場合、検出部４２が人物を検出したとき、取得部２１Ｅは、周辺環境の現実空間画像を取得する。また、撮像装置４０が屋外カメラである場合、検出部４２が人物を検出したとき、取得部２１Ｅは、屋外の現実空間画像を取得したり、降雨を検出したり、湿度や温度が閾値を超えたときまたは下がったときに屋外の
現実空間画像を取得する。なお、取得部２１Ｅは、プレイヤＰの周辺環境を撮像している場合であれ屋外を撮像している場合であれ、常時現実空間画像を常に取得していてもよい。また、第２外部情報には、検出部４２としての降雨センサや湿度センサや温度センサが検出した降雨情報、温度情報、湿度情報などを文字や図形で表現する現実空間画像に関連する関連情報が含まれていてもよい。
現実空間画像を取得する。なお、取得部２１Ｅは、プレイヤＰの周辺環境を撮像している場合であれ屋外を撮像している場合であれ、常時現実空間画像を常に取得していてもよい。また、第２外部情報には、検出部４２としての降雨センサや湿度センサや温度センサが検出した降雨情報、温度情報、湿度情報などを文字や図形で表現する現実空間画像に関連する関連情報が含まれていてもよい。
【0056】
判別部２１Ｇは、進行中のゲームの場面に応じて、その場面が第１外部情報や第２外部情報を表示可能なタイミングかどうかを判断する。例えば、ロールプレイングゲームやシミュレーションゲームである場合には、１つのステージから次のステージに移行する際など、ストーリーが進んで行く中で重要な場面を再生している場面において、第１外部情報や第２外部情報を表示しないようにする。これにより、プレイヤＰが重要な場面を見逃さないようにすることができる。
【0057】
また、戦闘ゲームや対戦ゲームの場合は、戦闘時など相手を倒すための攻略情報が必要となる場合がある。また、このような場面は、プレイヤＰが没入し易い場面であり、ゲームに集中するあまり周辺環境の変化に気づきにくくなる画面でもある。そこで、このような場面では、例えば、第１特定オブジェクトの情報表示領域に第１外部情報を表示するとともに、第２外部情報も仮想空間画像に表示するようにする。これにより、プレイヤＰが第１外部情報も第２外部情報も取得できるようになる。
【0058】
また、判別部２１Ｇは、取得部２１Ｅが取得した外部情報が第１外部情報か第２外部情報であるかを判別する。例えば、判別部２１Ｇは、第１外部情報が入力されたとき、第１特定オブジェクトの情報表示領域に第１外部情報を表示できるようにする。また、判別部２１Ｇは、撮像装置４０がプレイヤＰの周辺環境の変化を検出して第２外部情報が入力されたとき、仮想空間画像や第２特定オブジェクトの情報表示領域に第２外部情報を表示できるようにする。判別部２１Ｇは、第１特定オブジェクトの情報表示領域に第１外部情報を表示しているときに撮像装置４０が例えば周辺環境の変化を検出したとき、仮想空間画像や第２特定オブジェクトの情報表示領域に、周辺環境の現実空間画像を追加的に表示できるようにする。ここで、第１特定オブジェクトと第２特定オブジェクトとは同じオブジェクトであってもよいし、異なるオブジェクトであってもよい。
【0059】
また、判別部２１Ｇは、第１外部情報と第２外部情報を選択的に表示するとき、第１外部情報または第２外部情報を優先して表示できるようにする。また、第１外部情報と第２外部情報とが表示される場合においても、第１外部情報および第２外部情報の一方の外部情報を他方の外部情報よりも目立つように（例えば大きく）表示できるようにする。例えば、ゲーム中に第１特定オブジェクトの情報表示領域に攻略情報を表示しているときであっても、撮像装置４０からプレイヤＰの周辺環境を撮像した現実空間画像が入力されたとき、第２外部情報として当該現実空間画像を画面の全体に表示し、現実空間画像の中にある第３特定オブジェクトの情報表示領域に仮想空間画像を表示できるようにする。この場合、第３特定オブジェクトの情報表示領域に表示される仮想空間画像には、さらに第１特定オブジェクトが表示され、第１特定オブジェクトの情報表示領域に第１外部情報が表示されるようにしてもよい。
【0060】
判別部２１Ｇは、第１外部情報の中でも第１外部情報が複数種類あるときはその種類を判別する。例えば、ゲームの場面に応じて、第１外部情報の中でも種類に応じて特定の第１外部情報を優先的に表示できるようにする。例えば、ゲームをしている最中において、第１外部情報である現在プレイしているゲームの攻略情報は、他の第１外部情報（電子メールの受信の表示や天気情報）より優先して表示される。又は、ゲームをプレイしている最中であっても第１である電子メールの表示は、他の第１外部情報（ゲームの攻略情報や天気情報）より優先して表示される。又は、ゲームをプレイしている最中であっても第１
外部情報である天気情報（特に注意報や警報の情報）は、他の第１外部情報（ゲームの攻略情報や電子メールの表示）より優先して表示される。
外部情報である天気情報（特に注意報や警報の情報）は、他の第１外部情報（ゲームの攻略情報や電子メールの表示）より優先して表示される。
【0061】
第２外部情報であっても、判別部２１Ｇは、第２外部情報が複数種類あるときはその種類を判別する。撮像装置４０がプレイヤＰの周辺環境と屋外を撮像する場合、判別部２１Ｇは、周辺環境の現実空間画像または屋外の現実空間画像の一方の現実周辺画像を優先的に表示する。例えば、仮想空間画像や第２特定オブジェクトの情報表示領域に屋外の現実空間画像を表示しているときであっても、プレイヤＰの周辺環境に変化があった（例えば人物を検出した）ときは、プレイヤＰの周辺環境の現実空間画像を優先して表示する。
【0062】
以上のような、第１外部情報の中の重要度、第２外部情報の中の重要度、第１外部情報と第２外部情報の間の重要度は、予めゲーム処理装置２０において定義されていてもよいし、プレイヤＰやその他のユーザが設定するものであってもよい。
【0063】
［外部情報の表示処理］
図４に示すように、ステップＳ１において、取得部２１Ｅは、ネットワークを介して第１外部情報や第２外部情報を取得する。ステップＳ２において、判別部２１Ｇは、進行中のゲームの場面に応じて、その場面が第１外部情報や第２外部情報を表示可能なタイミングかどうかを判断する。判断する時点の場面が第１外部情報や第２外部情報を表示可能なタイミングであるか否かは、進行管理部２１Ｂが管理しているゲーム進行を参照して判別部２１Ｇが判別する。例えば、判別部２１Ｇは、進行管理部２１Ｂで管理しているゲームの進行に関連付いた第１外部情報および第２外部情報を表示可能であるか否かを示す識別情報を参照し、第１外部情報および第２外部情報を表示するか否かを判断する。
図４に示すように、ステップＳ１において、取得部２１Ｅは、ネットワークを介して第１外部情報や第２外部情報を取得する。ステップＳ２において、判別部２１Ｇは、進行中のゲームの場面に応じて、その場面が第１外部情報や第２外部情報を表示可能なタイミングかどうかを判断する。判断する時点の場面が第１外部情報や第２外部情報を表示可能なタイミングであるか否かは、進行管理部２１Ｂが管理しているゲーム進行を参照して判別部２１Ｇが判別する。例えば、判別部２１Ｇは、進行管理部２１Ｂで管理しているゲームの進行に関連付いた第１外部情報および第２外部情報を表示可能であるか否かを示す識別情報を参照し、第１外部情報および第２外部情報を表示するか否かを判断する。
【0064】
例えば、第１外部情報および第２外部情報を表示可能であるか否かを示す識別情報は、場面に応じて、第１外部情報および第２外部情報の両方を表示可能、第１外部情報のみを表示可能、第２外部情報のみを表示可能の何れか１つである。ゲームの場面と関連付けて説明すると、例えば、仮想空間内のゲーム体験を妨げないことが望ましい場面では、識別情報を、重要度の高い第１外部情報のみを表示可能な内容とし、重要度の低い第２外部情報は表示しないようにすることができる。さらに言えば、識別情報を、第１外部情報のうち攻略情報のみを表示可能とする内容にすることもできる。
【0065】
また、上記実施形態では、ステップＳ２において、ゲームの場面に応じて、その場面が第１外部情報や第２外部情報を表示可能なタイミングがどうかを判断するようにした。これに代えて、プレイヤＰが動作しているか否かで第１外部情報や第２外部情報を表示可能なタイミングがどうかを判断するようにしてもよい。プレイヤＰが動作しているか否かは、ＨＭＤ１０のセンサ１２の検出結果や、操作装置３０のトラッキング情報検出部３２の検出結果に基づいて判断することが可能である。プレイヤＰが動作していると、第１特定オブジェクトや第２特定オブジェクトに注目できない。また、プレイヤＰの頭部の向きに合わせて動く画像に合わせて、現実空間画像１０２Ｒを画面の一部に静的に表示すると違和感が生じてしまう。このようにプレイヤＰが動いているときは、第１外部情報や第２外部情報が見にくくなる（注目しにくくなる）ため、第１外部情報や第２外部情報を表示しない制御を行うようにしてもよい。
【0066】
判別部２１Ｇは、第１外部情報や第２外部情報を表示可能なとき、ステップＳ３に進み、表示可能な場面でないとき、ステップＳ２を繰り返す。ステップＳ３において、判別部２１Ｇは、外部情報の種類を判別する。具体的に、判別部２１Ｇは、取得部２１Ｅが取得した外部情報が第１外部情報か第２外部情報であるかを判別する。また、判別部２１Ｇは、第１外部情報の種類を判別する。さらに、判別部２１Ｇは、第２外部情報の種類を判別する。
【0067】
ステップＳ４において、第１表示処理部２１Ｃは、仮想空間画像の中の特定オブジェクトの情報表示領域に第１外部情報を表示する。このとき、第１表示処理部２１Ｃは、ディスプレイ１３に表示されている仮想空間の中に第１特定オジェクトが含まれるか否かを判断する。第１特定オブジェクトが表示されている場合には、第１外部情報を、第１特定オブジェクトの所定範囲に重畳して表示する。また、複数の第１外部情報の入力があったとき、第１表示処理部２１Ｃは、優先的に特定の第１外部情報を第１特定オブジェクトに表示する。
【0068】
ステップＳ５において、第２表示処理部２１Ｄは、仮想空間画像の中に第２外部情報を表示する。このとき、第２表示処理部２１Ｄは、ディスプレイ１３に表示されている仮想空間の中に第２特定オジェクトが含まれるか否かを判断する。第２特定オブジェクトが表示されている場合には、第２外部情報を、第２特定オブジェクトの所定範囲に重畳して表示する。また、複数の第２外部情報の入力があったとき、第２表示処理部２１Ｄは、優先的に特定の第２外部情報を第２特定オブジェクトに表示する。
【0069】
ステップＳ６において、判別部２１Ｇは、第１外部情報や第２外部情報を表示する画面が終了したかを判断し、終了していないときは、ステップＳ２からの処理を繰り返すことになる。第１外部情報や第２外部情報を表示する画面が終了するときは、例えばゲームが終了するときである。また、ストーリーの中で重要な場面に移行したときなど第１外部情報や第２外部情報を表示するのに好ましくない画面に移行したときである。
【0070】
［出力例］
以下の出力例の説明では、プレイヤキャラクタが仮想キャラクタとコミュニケーションを取りながら進行させるゲームを例に説明する。
以下の出力例の説明では、プレイヤキャラクタが仮想キャラクタとコミュニケーションを取りながら進行させるゲームを例に説明する。
【0071】
図５は、ＨＭＤ１０のディスプレイ１３に表示された仮想空間画像１０１Ｖを示している。仮想空間画像１０１Ｖ中の仮想キャラクタがキャラクタオブジェクト１０１Ｃであって、スマートフォンが第１特定オブジェクト１０１Ｓである。第１特定オブジェクト１０１Ｓは、オブジェクト情報２２Ｂを参照してオブジェクト特定部２１Ａによって特定されており、その情報表示領域に、第１外部情報としてプレイヤＰを宛先として送信された電子メール１０１Ｅが表示される。図５の画面は、外部情報として電子メール１０１Ｅを取得部２１Ｅが取得し（ステップＳ１）、取得時が第１外部情報を表示可能な場面であり（ステップＳ２）、第１外部情報として判断された結果（ステップＳ３，４）、仮想空間画像１０１Ｖの第１特定オブジェクト１０１Ｓに電子メール１０１Ｅが重畳して表示されている。プレイヤＰは、第１特定オブジェクト１０１Ｓに注目して、電子メール１０１Ｅを読むことができる。なお、電子メールでなくても、ソーシャル・ネットワーキング・サービスにおける自分宛のメッセージであってもよい。このように第１特定オブジェクト１０１Ｓに第１外部情報が表示される場合には、ゲームへの没入感が妨げられることを防ぐことができる。
【0072】
なお、第１特定オブジェクト１０１Ｓからは、電子メール１０１Ｅを、第１表示処理部２１Ｃが所定期間経過したら消去するようにしてもよいし、次の第１外部情報が取得されるまで表示し続けてもよい。消去された後、情報表示領域には、ゲームの中でのデフォルトの画像が表示される。また、電子メール１０１Ｅより優先度の高い第１外部情報が取得されるまで表示し続けてもよい。例えば、天気情報（特に注意報や警報の情報）に変化があったとき、第１表示処理部２１Ｃは、電子メール１０１Ｅに優先して天気情報を第１特定オブジェクト１０１Ｓに表示する。
【0073】
図６は、プレイヤＰが選択をする画面であって、キャラクタオブジェクト１０１Ｃが音
声などでプレイヤＰに対して（Ａ）デザートを注文するか、（Ｂ）踊って欲しいかを質問している画面である。そして、プレイヤＰは、キャラクタオブジェクト１０１Ｃからの音声の質問に対して、例えば首を縦に振ったり（選択を示す操作信号を発生）横に振ったりする（非選択の操作信号を発生）ことで、選択信号を入力することができる。図５の画面では、第１外部情報として、掲示板のオブジェクトである第１特定オブジェクト１０１Ｓに攻略情報１０１Ｉが表示されている。攻略情報１０１Ｉは、取得部２１Ｅが取得し、判別部２１Ｇが第１外部情報と判別した情報である。
声などでプレイヤＰに対して（Ａ）デザートを注文するか、（Ｂ）踊って欲しいかを質問している画面である。そして、プレイヤＰは、キャラクタオブジェクト１０１Ｃからの音声の質問に対して、例えば首を縦に振ったり（選択を示す操作信号を発生）横に振ったりする（非選択の操作信号を発生）ことで、選択信号を入力することができる。図５の画面では、第１外部情報として、掲示板のオブジェクトである第１特定オブジェクト１０１Ｓに攻略情報１０１Ｉが表示されている。攻略情報１０１Ｉは、取得部２１Ｅが取得し、判別部２１Ｇが第１外部情報と判別した情報である。
【0074】
なお、攻略情報１０１Ｉに代えて、検索サイトを用いたゲームの攻略情報の検索結果を表示してもよい。検索キーワードは、例えばゲームプログラムにおいて、ゲームの進行に合わせて記述されている。又は、検索キーワードは、プレイヤＰがマイクを通じて音声で入力したり、キーボードなどで入力する。又は、ゲーム処理装置２０は、プレイヤＰが実行しているゲームのタイトル等を検索サイトに出力し、検索を行う。検索結果は、第１特定オブジェクト１０１Ｓに表示される。その検索結果のうち一つをプレイヤＰが選択すると、選択されたウェブサイトのページが第１特定オブジェクト１０１Ｓに表示される。この際、第１特定オブジェクト１０１Ｓは、選択されたウェブサイトのウェブページが表示可能なように拡大されてもよい。
【0075】
掲示板の第１特定オブジェクト１０１Ｓは、図６の画面に遷移したとき、攻略情報１０１Ｉが掲示板の第１特定オブジェクト１０１Ｓに配置された状態で、仮想空間画像１０１Ｖに対してポップアップで重畳表示される。または、攻略情報１０１Ｉは、掲示板の第１特定オブジェクト１０１Ｓが消えて、代わりに、スマートフォンの第１特定オブジェクト１０１Ｓに表示される。攻略情報１０１Ｉは、攻略サイト２７における図５の画面の識別データが付与された部分から抽出される。これにより、プレイヤＰは、攻略情報１０１Ｉを参考に（Ａ）と（Ｂ）とを選択する際の参考にすることができる。
【0076】
なお、第１表示処理部２１Ｃは、攻略情報１０１Ｉを表示している第１特定オブジェクト１０１Ｓを、（Ａ）と（Ｂ）の選択が終了したとき消去する。また、第１表示処理部２１Ｃは、それまで、第１特定オブジェクト１０１Ｓに天気情報が表示されていたとしても、天気情報に代えて攻略情報１０１Ｉを表示する。第１特定オブジェクト１０１Ｓに天気情報が表示されているところに割り込んで攻略情報を表示した場合は、攻略情報の表示が終了したとき、元の天気情報を表示する。
【0077】
攻略情報１０１Ｉは、掲示板の第１特定オブジェクト１０１Ｓに代えて、第１特定オブジェクト１０１Ｓであるスマートフォンの画面に表示されてもよい。図６において、第１特定オブジェクト１０１Ｓであるスマートフォンは表示されていないが、この場合、例えば、カウンターの上にスマートフォンが画面を上にして配置されたり、キャラクタオブジェクト１０１Ｃが手に持っていたりする。そして、そのスマートフォンの画面に攻略情報１０１Ｉが表示されることになる。さらに、そのスマートフォンの画面に表示された検索結果の中の１つを選択できるようにしてもよい。例えば、プレイヤＰが「攻略情報提供サイトＡ」のＵＲＬ、「攻略情報提供サイトＢ」のＵＲＬをゲーム処理装置２０に予め登録しておき、仮想空間内の第１特定オブジェクト１０１Ｓであるスマートフォンの画面には、「攻略情報提供サイトＡ」および「攻略情報提供サイトＢ」の何れかを選択可能に表示する。プレイヤＰによる操作装置３０の入力操作によって、何れかのウェブサイトが選択されると、ゲーム処理装置２０は、そのウェブサイトのＵＲＬにアクセスし、選択されたウェブサイトの攻略情報１０１Ｉを第１特定オブジェクト１０１Ｓであるスマートフォンの画面に表示する。
【0078】
また、第１特定オブジェクト１０１Ｓは、仮想空間画像１０１Ｖに複数表示されていてもよく、例えば、掲示板とスマートフォンが同時に表示されていてもよいし、スマートフ
ォンが複数台表示されていたり、掲示板が複数台表示されていてもよい。このような例では、１つの第１特定オブジェクト１０１Ｓには第１外部情報となる検索結果を表示し、他の第１特定オブジェクト１０１Ｓには第１外部情報となる攻略情報提供サイトの攻略情報１０１Ｉを表示することができる。例えば、スマートフォンと掲示板が第１特定オブジェクト１０１Ｓとして表示されている場合、例えば、スマートフォンの画面には、「攻略情報提供サイトＡ」および「攻略情報提供サイトＢ」の何れかを選択可能に表示される。プレイヤＰによる操作装置３０の入力操作によって、「攻略情報提供サイトＡ」が選択されると、ゲーム処理装置２０は、そのウェブサイトのＵＲＬにアクセスし、選択された「攻略情報提供サイトＡ」の攻略情報１０１Ｉを第１特定オブジェクト１０１Ｓである掲示板に表示する。プレイヤＰは、「攻略情報提供サイトＡ」の攻略情報１０１Ｉを第１特定オブジェクト１０１Ｓである掲示板に表示しているときに、第１特定オブジェクト１０１Ｓであるスマートフォンの画面の「攻略情報提供サイトＢ」を選択することで、第１特定オブジェクト１０１Ｓである掲示板を「攻略情報提供サイトＡ」の攻略情報１０１Ｉから「攻略情報提供サイトＢ」の攻略情報１０１Ｉに切り替えることができる。このような例では、複数の攻略情報提供サイトを簡単な操作で容易に切り替えることができる。
ォンが複数台表示されていたり、掲示板が複数台表示されていてもよい。このような例では、１つの第１特定オブジェクト１０１Ｓには第１外部情報となる検索結果を表示し、他の第１特定オブジェクト１０１Ｓには第１外部情報となる攻略情報提供サイトの攻略情報１０１Ｉを表示することができる。例えば、スマートフォンと掲示板が第１特定オブジェクト１０１Ｓとして表示されている場合、例えば、スマートフォンの画面には、「攻略情報提供サイトＡ」および「攻略情報提供サイトＢ」の何れかを選択可能に表示される。プレイヤＰによる操作装置３０の入力操作によって、「攻略情報提供サイトＡ」が選択されると、ゲーム処理装置２０は、そのウェブサイトのＵＲＬにアクセスし、選択された「攻略情報提供サイトＡ」の攻略情報１０１Ｉを第１特定オブジェクト１０１Ｓである掲示板に表示する。プレイヤＰは、「攻略情報提供サイトＡ」の攻略情報１０１Ｉを第１特定オブジェクト１０１Ｓである掲示板に表示しているときに、第１特定オブジェクト１０１Ｓであるスマートフォンの画面の「攻略情報提供サイトＢ」を選択することで、第１特定オブジェクト１０１Ｓである掲示板を「攻略情報提供サイトＡ」の攻略情報１０１Ｉから「攻略情報提供サイトＢ」の攻略情報１０１Ｉに切り替えることができる。このような例では、複数の攻略情報提供サイトを簡単な操作で容易に切り替えることができる。
【0079】
なお、３つ目の第１特定オブジェクト１０１Ｓ（例えば掲示板）があるときには、２つ目の第１特定オブジェクト１０１Ｓ（例えば掲示板）に「攻略情報提供サイトＡ」の攻略情報１０１Ｉを表示する。そして、第１特定オブジェクト１０１Ｓのスマートフォンの画面で「攻略情報提供サイトＢ」が選択されたとき、３つ目の第１特定オブジェクト１０１Ｓ（例えば掲示板）に「攻略情報提供サイトＢ」の攻略情報１０１Ｉを表示することができる。すなわち、「攻略情報提供サイトＡ」の攻略情報１０１Ｉと「攻略情報提供サイトＢ」の攻略情報１０１Ｉとを同時に表示することができる。
【0080】
図７は、キャラクタオブジェクト１０１Ｃが屋外に居る状態の画面である。図７の画面では、第１外部情報として天気情報１０１Ｗが掲示板の第１特定オブジェクト１０１Ｓの情報表示領域に表示されている。天気情報１０１Ｗは、天気サイト２８から取得部２１Ｅが取得し（ステップＳ１）、取得時が第１外部情報を表示可能な場面であり（ステップＳ２）、第１外部情報として判断された結果（ステップＳ３，４）、第１特定オブジェクト１０１Ｓに表示されている。天気情報１０１Ｗは、現在の天気が雨を示しており、第１外部情報としての天気情報１０１Ｗとして「外は雨。」とテキストデータで表示されている。また、第１表示処理部２１Ｃは、雨を示す天気マークオブジェクト１０１Ｍ（例えば雨滴）を仮想空間画像１０１Ｖに対して重畳して表示する。このように天気マークオブジェクト１０１Ｍを表示することによって、実際の屋外の状況に同期して、仮想空間内に雨が降っているように見える。そして、第１外部情報と仮想空間画像とを関連付けることができる。なお、晴れであれば太陽や日陰と日当たりを示す天気マークオブジェクトを表示したりすればよいし、曇りであれば曇りの天気マークオブジェクトを表示したりすればよい。
【0081】
なお、第１特定オブジェクト１０１Ｓに天気情報１０１Ｗが表示されるように設定されている場合、晴れから曇り、雨から晴れといったように天気情報に変更があったとき、天気情報１０１Ｗの表示内容を変更する。例えば、取得部２１Ｅは、常時または定期的に天気サイト２８にアクセスし天気情報に変更があったかを検出し、変更のあったとき、変更後の天気情報を取得する。また、第１特定オブジェクト１０１Ｓには、天気予報（例えば現時点から１時間おきの天気予報）を表示するようにしてもよい。また、画面が図７の画面から図６の画面に遷移した場合、第１特定オブジェクト１０１Ｓには、天気情報１０１Ｗから攻略情報１０１Ｉに変更されることになる。天気情報１０１Ｗは、所定時間表示してから消去してもよいし、次の第1外部情報が取得されるまで表示し続けてもよい。
【0082】
図８は、図６の画面に第１外部情報に代わって第２外部情報を仮想空間画像１０１Ｖに
重畳して表示している。すなわち、図８では、第１外部情報を表示していない。図８では、第２外部情報として、プレイヤＰの周辺環境を撮像する撮像装置４０で撮像した周辺環境の現実空間画像１０２Ｒを仮想空間画像１０１Ｖに対して重畳して表示している。ここでは、第２外部情報を第２特定オブジェクトに表示していない。図６および図８の画面は、ゲーム進行上、プレイヤＰに対して選択を迫る画面であり、プレイヤＰがゲームに集中し没入していることが多い。例えば、撮像装置４０は、検出部４２の出力に拘わらず、現実空間画像１０２Ｒを取得部２１Ｅに出力している。そして、第２表示処理部２１Ｄは、図６および図８の画面に遷移したとき、仮想空間画像１０１Ｖに対して現実空間画像１０２Ｒを重畳して表示し、周辺環境をプレイヤＰが視認できるようにする。また、第２表示処理部２１Ｄは、図８の画面に関係なくゲーム中のどの画面であっても、検出部４２が周辺環境に人物を検出したとき、取得部２１Ｅが第２外部情報として取得した現実空間画像１０２Ｒを仮想空間画像１０１Ｖに対して重畳して表示する。このため、プレイヤＰは、ゲームに没入していても、重要な情報である第２外部情報を確認することができる。
重畳して表示している。すなわち、図８では、第１外部情報を表示していない。図８では、第２外部情報として、プレイヤＰの周辺環境を撮像する撮像装置４０で撮像した周辺環境の現実空間画像１０２Ｒを仮想空間画像１０１Ｖに対して重畳して表示している。ここでは、第２外部情報を第２特定オブジェクトに表示していない。図６および図８の画面は、ゲーム進行上、プレイヤＰに対して選択を迫る画面であり、プレイヤＰがゲームに集中し没入していることが多い。例えば、撮像装置４０は、検出部４２の出力に拘わらず、現実空間画像１０２Ｒを取得部２１Ｅに出力している。そして、第２表示処理部２１Ｄは、図６および図８の画面に遷移したとき、仮想空間画像１０１Ｖに対して現実空間画像１０２Ｒを重畳して表示し、周辺環境をプレイヤＰが視認できるようにする。また、第２表示処理部２１Ｄは、図８の画面に関係なくゲーム中のどの画面であっても、検出部４２が周辺環境に人物を検出したとき、取得部２１Ｅが第２外部情報として取得した現実空間画像１０２Ｒを仮想空間画像１０１Ｖに対して重畳して表示する。このため、プレイヤＰは、ゲームに没入していても、重要な情報である第２外部情報を確認することができる。
【0083】
図９は、図５に示す画面に１外部情報に代わって第２外部情報を仮想空間画像１０１Ｖに重畳して表示している。すなわち、図９では、第１外部情報を表示していない。図９では、スマートフォンが第２特定オブジェクト１０２Ｓとなって、第２特定オブジェクト１０２Ｓに撮像装置４０の屋外カメラで撮像された屋外の現実空間画像１０２Ｒを表示している。スマートフォンなどは、仮想空間画像１０１Ｖにおいて、第１特定オブジェクトにも第２特定オブジェクトにもなり得る特定オブジェクトである。撮像装置４０は、検出部４２の出力に拘わらず、現実空間画像１０２Ｒを取得部２１Ｅに出力している。第２表示処理部２１Ｄは、仮想空間画像１０１Ｖの第２特定オブジェクト１０２Ｓに対して現実空間画像１０２Ｒを重畳して表示し、屋外の様子（図９では雨の様子）をプレイヤＰが視認できるようにする。
【0084】
図１０は、図６の画面に表示されている第１外部情報と図８の画面に表示されている第２外部情報とが仮想空間画像１０１Ｖに重畳して表示されている。図６、図８、および、図１０の画面は、ゲーム進行上、プレイヤＰに対して選択を迫る画面であり、プレイヤＰがゲームに集中し没入していることが多い。そこで、第１表示処理部２１Ｃは、第１外部情報として攻略情報１０１Ｉを表示するとともに、第２表示処理部２１Ｄは、第２外部情報として周辺環境の現実空間画像１０２Ｒを仮想空間画像１０１Ｖに重畳して表示する。これにより、プレイヤＰは、攻略情報１０１Ｉを参考にしながら周辺環境を視認することができるようになる。なお、図１０の例では、掲示板などの第２特定オブジェクトの情報表示領域に第２外部情報を表示するようにはしていない。
【0085】
図１１は、第２外部情報を仮想空間画像１０１Ｖよりも大きく表示した例である。例えば、表示画面全体に図５に示すような仮想空間画像１０１Ｖ（第１外部情報が表示されていても表示されていなくてもよい。）が表示されているときにおいて、プレイヤＰの周辺環境に変化があったとき、判別部２１Ｇは、図１１に示すような画面に切り替える。第２表示処理部２１Ｄは、第２外部情報としてのプレイヤＰの現実空間画像１０２Ｒの入力があったとき、当該現実空間画像１０２Ｒを表示領域全体に表示する。これと共に、オブジェクト特定部２１Ａは、現実空間画像１０２Ｒの中からテレビジョン受像機、モニタ、スマートフォン、掲示板、看板などやこれらの情報表示領域の形状や色などの特徴を検出し、第３特定オブジェクト１０３Ｓを特定する。そして、第３特定オブジェクト１０３Ｓの情報表示領域に現在プレイしているゲームの仮想空間画像１０１Ｖを表示する。第３特定オブジェクト１０３Ｓの情報表示領域に表示された仮想空間画像１０１Ｖには、さらに第１特定オブジェクト１０１Ｓが表示され、第１特定オブジェクト１０１Ｓの情報表示領域に第１外部情報が表示されていてもよいし、第１外部情報が表示されず第１特定オブジェクト１０１Ｓだけが表示されていてもよい。ここでは、スマートフォンの第１特定オブジェクト１０１Ｓに第１外部情報としての電子メール１０１Ｅが表示される。
【0086】
なお、仮想空間画像１０１Ｖは、現実空間画像１０２Ｒの第３特定オブジェクト１０３Ｓに表示されるのではなく、現実空間画像１０２Ｒのコーナ部などの特定領域に重ねて表示することもできる。
【0087】
また、仮想空間画像の視差情報を現実空間画像の視差情報と異ならせることで、現実空間画像に対して仮想空間画像を飛び出させたり窪ませて表示することができる。これは、右目用現実空間画像と左目用現実空間画像のずれ量に対して右目用の仮想空間画像と左目用の仮想空間画像のずれ量を変えることによって実現することができる。これにより、現実空間画像に対して仮想空間画像を表示の大きさにさほど影響されることなく、現実空間画像の中で仮想空間画像を目立たせることができる。
【0088】
図１２は、表示画面が第１領域１０４Ａと第２領域１０４Ｂとに分割され、第１領域１０４Ａには、ゲームの仮想空間画像１０１Ｖが表示され、第２領域１０４Ｂには、第２外部情報としての現実空間画像１０２Ｒが表示されている。すなわち、図５から図１１までは、仮想空間画像１０１Ｖに対して第１特定オブジェクト１０１Ｓや第１外部情報としての電子メール１０１Ｅ、攻略情報１０１Ｉ、天気情報１０１Ｗを重畳して表示している。図１１では、第２外部情報としての現実空間画像１０２Ｒに対して第３特定オブジェクト１０３Ｓを重畳して表示し、さらに、第３特定オブジェクト１０３Ｓに対して仮想空間画像１０１Ｖを重畳して表示するようにしている。これに対して、図１２では、表示領域を２つに分割し、重畳させることなく、第１領域１０４Ａに仮想空間画像１０１Ｖを表示し、第２領域１０４Ｂに現実空間画像１０２Ｒを表示させる。第１領域１０４Ａに表示された仮想空間画像１０１Ｖには、第１特定オブジェクト１０１Ｓや第１外部情報を表示させる。
【0089】
なお、第１領域１０４Ａの大きさと第２領域１０４Ｂの大きさは、同じであってもよいし、何れか一方の領域が他方の領域よりも大きくてもよい。また、第１領域１０４Ａや第２領域１０４Ｂは、ウィンドウ１０４Ｃに構成されていてもよいし、ウィンドウ１０４Ｃを備えていなくてもよい。また、表示画面を上下に分割し、上側表示領域を第１領域１０４Ａとし、下側表示領域を第２領域１０４Ｂとしてもよい。また、１つの表示画面を２つの領域に分割するので、各表示領域は狭くなり、第１領域１０４Ａでは、仮想空間画像１０１Ｖの全ての領域を表示しきれなくなるおそれがあり、第２領域１０４Ｂでも、現実空間画像１０２Ｒの全ての領域を表示しきれなくなるおそれがある。このような場合、仮想空間画像１０１Ｖの左右両端や上下の領域を切り捨ててもよい。又は、仮想空間画像１０１Ｖの全ての領域を表示しきれない場合、これを検出し、第１領域１０４Ａや第２領域１０４Ｂに、上下や左右にスクロールするスクロールバーを表示するようにしてもよい。この場合、スクロールバーを操作することで、第１領域１０４Ａや第２領域１０４Ｂの画像をスクロールさせることができるようになり、スクロールによって画像全体を確認できるようになる。
【0090】
［ハードウェア構成］
図１３を参照して、本実施形態のゲーム処理装置２０のハードウェア構成について説明する。
図１３を参照して、本実施形態のゲーム処理装置２０のハードウェア構成について説明する。
【0091】
図１３は、ゲーム処理装置２０の例を示す図である。ゲーム処理装置２０はデスクトップパソコン、ノートパソコン、携帯情報端末（ＰＤＡ）、サーバ、家庭用または業務用のゲーム専用機、他の種類のコンピュータ等である。なお、図１３に示す構成と各構成の接続関係は一例である。
【0092】
ゲーム処理装置２０は、プロセッサ２０１およびメモリ２０２を有する。また、ゲーム
処理装置２０は、ノースブリッジ２０３、サウスブリッジ２０４および記憶装置２０５を有する。プロセッサ２０１、メモリ２０２、各ブリッジ２０３，２０４は各種バス２０６を用いて相互に接続されている。プロセッサ２０１は、ゲームの進行を司るとともに、ノースブリッジ２０３に接続されるＨＭＤ１０等に画像を出力する。なお、ゲーム処理装置２０は、複数のプロセッサを有していてもよく、複数のメモリを有していてもよい。
処理装置２０は、ノースブリッジ２０３、サウスブリッジ２０４および記憶装置２０５を有する。プロセッサ２０１、メモリ２０２、各ブリッジ２０３，２０４は各種バス２０６を用いて相互に接続されている。プロセッサ２０１は、ゲームの進行を司るとともに、ノースブリッジ２０３に接続されるＨＭＤ１０等に画像を出力する。なお、ゲーム処理装置２０は、複数のプロセッサを有していてもよく、複数のメモリを有していてもよい。
【0093】
メモリ２０２は、ノースブリッジ２０３に接続され、ゲーム処理に関する情報をプロセッサ２０１に出力する。例えば、メモリ２０２は、揮発性記憶装置、または、不揮発性記憶装置である。また、メモリ２０２は、磁気または光ディスク等の記憶媒体である。
【0094】
記憶装置２０５は、サウスブリッジ２０４に接続され、ゲーム処理に関する情報をプロセッサ２０１に出力する。例えば、記憶装置２０５は、ハードディスク装置、光ディスク装置、フラッシュメモリ、または、その他の記憶装置である。
【0095】
ノースブリッジ２０３は、ＨＭＤ１０に接続される。サウスブリッジ２０４は、拡張ポート２０７に接続されている。拡張ポート２０７は、各種の通信ポート（例えば、ＵＳＢ、ブルートゥース（登録商標）、イーサネット（登録商標）、ワイヤレスイーサネット）を含んでいてもよく、キーボード、マウス、ネットワーク装置等の入出力装置に接続されてもよい。
【0096】
上記構成において、プロセッサ２０１、メモリ２０２、および、ノースブリッジ２０３が制御部２１に対応し、メモリ２０２および記憶装置２０５が、記憶部２２に対応することになる。
【0097】
以上説明したように、本実施形態によれば、以下の効果が得られる。
（１）ゲーム処理システムによれば、第１外部情報と第２外部情報の少なくとも１つの外部情報が表示処理部により表示される。したがって、プレイヤＰは、ＨＭＤ１０を装着してゲームに没入しているときであっても、第１外部情報と第２外部情報の少なくとも１つの外部情報を視認することができる。第２外部情報は、現実空間画像を含んでいるので、プレイヤＰは、ゲームに没入していても、周辺環境の現実空間画像から人が近づいてきたかなどを容易に視認することができ、また、屋外の現実空間画像などから屋外の様子を視認することができる。また、第１外部情報は、電子メールであったり、攻略情報であったり、天気情報であったりするので、プレイヤＰは、自身に密接に関連する情報を容易に取得することができる。
（１）ゲーム処理システムによれば、第１外部情報と第２外部情報の少なくとも１つの外部情報が表示処理部により表示される。したがって、プレイヤＰは、ＨＭＤ１０を装着してゲームに没入しているときであっても、第１外部情報と第２外部情報の少なくとも１つの外部情報を視認することができる。第２外部情報は、現実空間画像を含んでいるので、プレイヤＰは、ゲームに没入していても、周辺環境の現実空間画像から人が近づいてきたかなどを容易に視認することができ、また、屋外の現実空間画像などから屋外の様子を視認することができる。また、第１外部情報は、電子メールであったり、攻略情報であったり、天気情報であったりするので、プレイヤＰは、自身に密接に関連する情報を容易に取得することができる。
【0098】
（２）第２外部情報の現実空間画像は、その変化が検出されたとき、仮想空間画像とともに表示される。したがって、第２外部情報は、常時表示されるのではなく、適当なときに表示されるようになる。したがって、ゲームをするプレイヤＰの邪魔になりにくくすることができる。
【0099】
（３）現実空間画像を含む第２外部情報は、ゲームの仮想空間画像に重畳して表示されるので、仮想空間画像の表示領域が狭められることを防ぐことができる。また、現実空間画像を仮想空間画像のコーナ領域などに比較的小さく表示することで、ゲームプレイの妨げになることを防ぐことができる。
【0100】
（４）ゲームの１つのシーンを構成する仮想空間画像に含まれる第２特定オブジェクトの情報表示領域に第２外部情報の現実空間画像を表示することで、現実空間画像を、仮想空間画像の中に違和感なく表示することができる。
【0101】
（５）図１１の画面では、現実空間画像１０２Ｒの中に仮想空間画像１０１Ｖを表示す
るようにしている。したがって、現実空間画像１０２ＲをプレイヤＰに対して目立たせることができるとともに、現実空間画像１０２Ｒが大きく表示されてしまうことで、仮想空間画像１０１Ｖが視認できなくなって、ゲームが中断されることも防ぐことができる。
るようにしている。したがって、現実空間画像１０２ＲをプレイヤＰに対して目立たせることができるとともに、現実空間画像１０２Ｒが大きく表示されてしまうことで、仮想空間画像１０１Ｖが視認できなくなって、ゲームが中断されることも防ぐことができる。
【0102】
（６）図１１の画面では、現実空間画像１０２Ｒの中から第３特定オブジェクト１０３Ｓが特定され、第３特定オブジェクト１０３Ｓの情報表示領域に仮想空間画像１０１Ｖが表示される。したがって、仮想空間画像１０１Ｖを現実空間画像１０２Ｒの中に違和感なく表示させることができる。
【0103】
（７）表示領域は、第１領域１０４Ａに仮想空間画像１０１Ｖを表示し、第２領域１０４Ｂに現実空間画像１０２Ｒを表示することで、プレイヤＰが各画像を見易くすることもできる。
【0104】
（８）テーブル２１Ｆに第１外部情報の複数の取得先を登録することで、容易に第１外部情報を取得し、第１特定オブジェクト１０１Ｓに表示することができる。また、第１外部情報として複数種類の情報を表示することができる。
【0105】
（９）複数種類の第１外部情報が入力されたときに、何れかの第１外部情報を優先的に表示することができる。例えば、現在プレイしているゲームの攻略情報は、他の第１外部情報（電子メールの受信の表示や天気情報）より優先して表示することができる。
【0106】
（１０）第１外部情報と第２外部情報の中で何れかの外部情報を優先的に表示することができる。例えば、プレイヤＰに対してゲーム中にゲーム以外の情報が過度に表示されないようにするため、第１外部情報と第２外部情報とを選択的に表示する制御を行うことができる。このような場合も、何れかの外部情報を優先的に表示させることができる。例えば、第１特定オブジェクトの情報表示領域に第１外部情報を表示しているときに撮像装置４０が例えば周辺環境の変化を検出したとき、仮想空間画像や第２特定オブジェクトの情報表示領域に、周辺環境の現実空間画像を追加的に表示できるようにする。これにより、プレイヤＰには、周辺に人が来たことを最優先で知らせることができる。
【0107】
（１１）複数種類の第２外部情報が入力されたときに、何れかの第２外部情報を優先的に表示することができる。例えば、周辺環境の現実空間画像または屋外の現実空間画像の一方の現実周辺画像を優先的に表示することができる。更に具体的には、仮想空間画像や第２特定オブジェクトの情報表示領域に屋外の現実空間画像を表示しているときであっても、プレイヤＰの周辺環境に変化があった（例えば人物を検出した）ときは、プレイヤＰの周辺環境の現実空間画像を優先して表示することができる。
【0108】
上記各実施形態は、以下のように変更して実施することが可能である。
・第２外部情報を取得する撮像装置４０は、室内のプレイヤＰの周辺に設置する室内カメラと屋外カメラの何れか一方だけでもよい。また、降雨センサや湿度センサや温度センサなどを屋外カメラが備えていたり、その近くに設置されている場合、その温度情報や湿度情報などを第２外部情報として現実空間画像とともに文字や図形で出力するようにしてもよい。
・第２外部情報を取得する撮像装置４０は、室内のプレイヤＰの周辺に設置する室内カメラと屋外カメラの何れか一方だけでもよい。また、降雨センサや湿度センサや温度センサなどを屋外カメラが備えていたり、その近くに設置されている場合、その温度情報や湿度情報などを第２外部情報として現実空間画像とともに文字や図形で出力するようにしてもよい。
【0109】
・第２外部情報の種類としては１種類であってもよい。例えば、室内のプレイヤＰの周辺を撮像するだけであってもよいし、屋外だけを撮像するだけであってもよい。また、第２外部情報としては、現実空間画像を含んでいればよく、その現実空間画像の場所は、プレイヤＰの周辺でなくても、プレイヤＰの居る建物の屋外でなくてもよい。
【0110】
・第１外部情報としては、電子メールの情報、ゲームの攻略情報、天気情報に限定され
るものではない。その他、第１外部情報としては、テレビ放送の映像や録画したテレビ番組のビデオ映像であってもよい。また、記録媒体に格納されたアーティストなどのビデオ映像であってもよい。これらの情報は、電子メールの情報、ゲームの攻略情報、天気情報の中の少なくとも１つの代わりとして入力されることになる。また、天気情報などのように図形で表示可能な第１外部情報は、晴れマーク、雨マークなどの図形オブジェクトで表現するようにしてもよい。
るものではない。その他、第１外部情報としては、テレビ放送の映像や録画したテレビ番組のビデオ映像であってもよい。また、記録媒体に格納されたアーティストなどのビデオ映像であってもよい。これらの情報は、電子メールの情報、ゲームの攻略情報、天気情報の中の少なくとも１つの代わりとして入力されることになる。また、天気情報などのように図形で表示可能な第１外部情報は、晴れマーク、雨マークなどの図形オブジェクトで表現するようにしてもよい。
【0111】
・第１外部情報の種類の判別は、テーブル２１Ｆに登録されたアドレスデータに付与された識別データで判別することができるし、アドレスデータそのもので識別することも可能である。また、各第１外部情報には、重要度を示すランク付けデータを付与し、重要度の高い第１外部情報を優先的に第１特定オブジェクトに表示するようにしてもよい。重要度は、予め各取得先やゲーム処理装置２０において定義されていてもよいし、プレイヤＰやその他のユーザが設定するものであってもよい。
【0112】
・第２外部情報の種類の判別は、設置された撮像部の識別データで判別することが可能である。また、各第２外部情報には、重要度を示すランク付けデータを付与し、重要度の高い第２外部情報を優先的に表示するようにしてもよい。重要度は、予めゲーム処理装置２０において定義されていてもよいし、プレイヤＰやその他のユーザが設定するものであってもよい。
【0113】
・第１外部情報と第２外部情報の識別は、例えばゲーム処理装置２０における第１外部情報の入力ポートと第２外部情報の入力ポートの番地（識別データ）で識別することができる。また、第1外部情報および第２外部情報には、重要度を示すランク付けデータを付
与し、重要度の高い外部情報を優先的に表示するようにしてもよい。重要度は、予めゲーム処理装置２０において定義されていてもよいし、プレイヤＰやその他のユーザが設定するものであってもよい。
与し、重要度の高い外部情報を優先的に表示するようにしてもよい。重要度は、予めゲーム処理装置２０において定義されていてもよいし、プレイヤＰやその他のユーザが設定するものであってもよい。
【0114】
・図５～図１２に至る第１外部情報と第２外部情報の表示態様は、ユーザによる設定画面で設定可能とすればよい。設定画面では、第１外部情報を表示するか否か、第２外部情報を表示するか否か、第１外部情報を表示するのであればどのような表示態様で表示するのか、第２外部情報を表示するのであればどのような表示態様で表示するのかなどを設定することになる。このよう作業は、ゲーム処理装置２０の操作部を操作して行うことになり、このときの設定画面は、ＨＭＤでもよいし、ゲーム処理装置２０に接続されたモニタであってもよい。
【0115】
・以上の例ではプレイヤキャラクタが仮想キャラクタとコミュニケーションを取りながら進行させるゲームを例に説明したが、ゲームの種類としてはこれに限定されるものではない。
【0116】
例えば、シューティングゲームや対戦型ゲームなどの場合、敵キャラクタを撃ち落とすための攻略情報を第１外部情報として表示することができる。例えば、攻略情報として、最適な武器や攻撃のタイミングや弱点である。
【0117】
釣りゲームの場合、特定の魚を釣り上げるための攻略情報を第１外部情報として表示することができる。例えば、特定の魚を釣り上げるための位置や時間や釣竿や仕掛けや餌に関する情報を第１外部情報としてプレイヤＰが選択操作をする画面で表示することができる。
【0118】
ゲームが恋愛シミュレーションゲームの場合、相手のキャラクタが関心や好意を抱くようにする情報を第１外部情報として表示することができる。例えば、この種の情報として
、相手のキャラクタが好きなプレゼントや性格に関する情報を第１外部情報としてプレイヤＰが選択操作をする画面で表示することができる。
、相手のキャラクタが好きなプレゼントや性格に関する情報を第１外部情報としてプレイヤＰが選択操作をする画面で表示することができる。
【0119】
育成型ゲームの場合、育成対象となるキャラクタを効率良く育成させる情報を第１外部情報として表示することができる。例えば、育成対象のキャラクタが好物の餌や給餌の時間や量などの情報を第１外部情報としてプレイヤＰが選択操作をする画面で表示することができる。
【0120】
着せ替えゲームの場合、着せ替え対象となるキャラクタに対して他者から人気の出る衣服やアクセサリなどのファッション情報を第１外部情報として表示することができる。例えば、第１外部情報としての着せ替え対象のキャラクタのファッション情報を、衣服やアクセサリなどを着替えさせる画面であってプレイヤＰが選択操作をする画面で表示することができる。
【0121】
・ＨＭＤとしては、例えば帽子型で非透過のヘッドマウントディスプレイがある。また、眼鏡の上部または前部に投影装置が装着されており、投影装置部分に投影される眼鏡型がある。さらに、眼鏡型のアダプタにスマートフォンなどのスマートデバイスを装着するものがある。ディスプレイも、外の様子が見えない非透過であってもよいし、ディスプレイ装置はハーフミラーでできており、外の様子が見える光学透過であってもよい。さらに、投影方式もハーフミラーなどを利用することにより虚像を形成する虚像投影方式であってもよいし、目の水晶体を利用して網膜に直接結像させる網膜投影方式であってもよい。
【0122】
・ＨＭＤで視認される立体映像は、左右異なる角度から撮影した映像をそれぞれ赤と青の光で重ねて再生し、左右に赤と青のカラーフィルタの付いた眼鏡で見るアナグリフ方式であってもよい。また、左右の映像に直交する直線偏光をかけて重ねて投影し、これを偏光フィルタの付いた眼鏡により分離する偏光眼鏡方式であってもよい。さらに、左右異なる角度から撮影した映像を交互に再生し、左右の視界が交互に遮蔽される液晶シャッタを備えた眼鏡で見る液晶シャッタ眼鏡方式であってもよい。
【0123】
・本発明はゲーム処理システム以外のシステムにも適用可能である。例えば、外科医の手術練習システムに適用可能である。ＨＭＤに手術対象の患者を仮想空間画像として表示し、次の作業などを第１外部情報として表示する。また、練習している医師は、練習に没入していることが多く、第２外部情報で周辺環境を知らせることができる。
次に、上記実施形態及び別例から把握できる技術的思想について、それらの効果とともに以下に追記する。
［１］プレイヤが頭部に装着する表示装置に仮想空間画像を表示させる制御装置を、
前記表示装置に前記仮想空間画像を表示させているときに、前記仮想空間画像に含まれる第１特定オブジェクトに対して、外部から入力された第１外部情報を表示させる第１表示処理部、
および、
前記表示装置に前記仮想空間画像を表示させているときに、外部から入力された第２外部情報であって、現実空間画像を含む前記第２外部情報を、前記仮想空間画像とともに表示させる第２表示処理部のうちの少なくとも一方を表示処理部として機能させるとともに、
前記仮想空間画像を表示する場面に応じて、当該場面が前記第１外部情報又は前記第２外部情報を表示可能なタイミングであるか否かを判定する判定部として機能させ、
前記第１表示処理部は、前記判定部により前記場面が前記第１外部情報を表示可能なタイミングであると判定された場合に前記第１外部情報を表示し、
前記第２表示処理部は、前記判定部により前記場面が前記第２外部情報を表示可能なタイミングであると判定された場合に前記第２外部情報を表示するデータ処理プログラム。
［２］前記第１外部情報は、前記プレイヤを送信先とする電子メールを受信したことに関する情報、及び天気情報に変化が生じたことに関する情報の少なくとも一方である［１］に記載のデータ処理プログラム。
［３］前記第１表示処理部は、環境情報に変化が生じたことを契機として前記第１外部情報を取得した場合、前記仮想空間画像に含まれる複数のオブジェクトから第１特定オブジェクトを特定し、特定した前記第１特定オブジェクトに対して、前記第１外部情報を表示させる、［１］又は［２］に記載のデータ処理プログラム。
［４］前記現実空間画像は、前記プレイヤの周辺環境を撮像した画像であって、
前記第２表示処理部は、前記第２外部情報に変化が検出された場合、前記仮想空間画像とともに前記第２外部情報として前記現実空間画像を表示させる、［１］～［３］のいずれか１項に記載のデータ処理プログラム。
［５］前記第２表示処理部は、前記仮想空間画像に対して重ねて前記第２外部情報としての前記現実空間画像を表示させる、［１］～［４］のいずれか１項に記載のデータ処理プログラム。
［６］前記制御装置を、
前記仮想空間画像の中から第２特定オブジェクトを特定するオブジェクト特定部として機能させ、
前記第２表示処理部は、前記第２特定オブジェクトに対して前記第２外部情報としての前記現実空間画像を重ねて表示させる、［５］記載のデータ処理プログラム。
［７］
前記第２表示処理部は、前記現実空間画像に対して前記仮想空間画像を重ねて表示させる、［１］～［６］のいずれか１項に記載のデータ処理プログラム。
［８］前記制御装置を、
前記現実空間画像の中から第３特定オブジェクトを特定するオブジェクト特定部であって、前記第３特定オブジェクトに対して前記仮想空間画像を表示させるオブジェクト特定部として機能させる、［７］記載のデータ処理プログラム。
［９］前記第２表示処理部は、表示領域を分割して、一方の表示領域に前記仮想空間画像を表示させ、他方の表示領域に前記第２外部情報としての前記現実空間画像を表示させる、［１］～［６］のいずれか１項に記載のデータ処理プログラム。
［１０］前記第１外部情報は、複数種類あり、種類に応じた取得先があり、
前記制御装置を、
事前に登録された前記第１外部情報の取得先の各々から前記第１外部情報を取得する取得部として機能させる［１］ないし［９］のうち何れか１項に記載のデータ処理プログラム。
［１１］前記制御装置を、
複数種類の前記第１外部情報が入力されたとき、特定の前記第１外部情報を優先して表示する判別部として機能させる、［１０］に記載のデータ処理プログラム。
［１２］前記制御装置を、
外部からの入力が前記第１外部情報であるか前記第２外部情報であるかを判別する判別部として機能させる、［１］ないし［１１］のうち何れか１項に記載のデータ処理プログラム。
［１３］前記制御装置を、
複数種類の前記第２外部情報が入力されたとき、特定の前記第２外部情報を優先して表示する判別部として機能させる、［１］ないし［１２］のうち何れか１項に記載のデータ処理プログラム。
［１４］プレイヤが頭部に装着する表示装置に仮想空間画像を表示させるデータ処理方法において、
前記表示装置に前記仮想空間画像を表示させているときに、前記仮想空間画像に含まれる第１特定オブジェクトに対して、外部から入力された第１外部情報を表示させる第１表示処理ステップ、
および、
前記表示装置に前記仮想空間画像を表示させているときに、外部から入力された第２外部情報であって、現実空間画像を含む前記第２外部情報を、前記仮想空間画像とともに表示させる第２表示処理ステップのうちの少なくとも一方の表示処理ステップを実行するとともに、
前記仮想空間画像を表示する場面に応じて、当該場面が前記第１外部情報又は前記第２外部情報を表示可能なタイミングであるか否かを判定する判定ステップ、を実行し、
前記第１表示処理ステップでは、前記場面が前記第１外部情報を表示可能なタイミングであると判定された場合に前記第１外部情報を表示し、
前記第２表示処理ステップでは、前記場面が前記第２外部情報を表示可能なタイミングであると判定された場合に前記第２外部情報を表示するデータ処理方法。
［１５］プレイヤが頭部に装着する表示装置に仮想空間画像を表示させるデータ処理装置において、
前記表示装置に前記仮想空間画像を表示させているときに、前記仮想空間画像に含まれる第１特定オブジェクトに対して、外部から入力された第１外部情報を表示させる第１表示処理部、
および、
前記表示装置に前記仮想空間画像を表示させているときに、外部から入力された第２外部情報であって、現実空間画像を含む前記第２外部情報を、前記仮想空間画像とともに表示させる第２表示処理部のうちの少なくとも一方の表示処理部を備えるとともに、
前記仮想空間画像を表示する場面に応じて、当該場面が前記第１外部情報又は前記第２外部情報を表示可能なタイミングであるか否かを判定する判定部を備え、
前記第１表示処理部は、前記判定部により前記場面が前記第１外部情報を表示可能なタイミングであると判定された場合に前記第１外部情報を表示し、
前記第２表示処理部は、前記判定部により前記場面が前記第２外部情報を表示可能なタイミングであると判定された場合に前記第２外部情報を表示するデータ処理装置。
次に、上記実施形態及び別例から把握できる技術的思想について、それらの効果とともに以下に追記する。
［１］プレイヤが頭部に装着する表示装置に仮想空間画像を表示させる制御装置を、
前記表示装置に前記仮想空間画像を表示させているときに、前記仮想空間画像に含まれる第１特定オブジェクトに対して、外部から入力された第１外部情報を表示させる第１表示処理部、
および、
前記表示装置に前記仮想空間画像を表示させているときに、外部から入力された第２外部情報であって、現実空間画像を含む前記第２外部情報を、前記仮想空間画像とともに表示させる第２表示処理部のうちの少なくとも一方を表示処理部として機能させるとともに、
前記仮想空間画像を表示する場面に応じて、当該場面が前記第１外部情報又は前記第２外部情報を表示可能なタイミングであるか否かを判定する判定部として機能させ、
前記第１表示処理部は、前記判定部により前記場面が前記第１外部情報を表示可能なタイミングであると判定された場合に前記第１外部情報を表示し、
前記第２表示処理部は、前記判定部により前記場面が前記第２外部情報を表示可能なタイミングであると判定された場合に前記第２外部情報を表示するデータ処理プログラム。
［２］前記第１外部情報は、前記プレイヤを送信先とする電子メールを受信したことに関する情報、及び天気情報に変化が生じたことに関する情報の少なくとも一方である［１］に記載のデータ処理プログラム。
［３］前記第１表示処理部は、環境情報に変化が生じたことを契機として前記第１外部情報を取得した場合、前記仮想空間画像に含まれる複数のオブジェクトから第１特定オブジェクトを特定し、特定した前記第１特定オブジェクトに対して、前記第１外部情報を表示させる、［１］又は［２］に記載のデータ処理プログラム。
［４］前記現実空間画像は、前記プレイヤの周辺環境を撮像した画像であって、
前記第２表示処理部は、前記第２外部情報に変化が検出された場合、前記仮想空間画像とともに前記第２外部情報として前記現実空間画像を表示させる、［１］～［３］のいずれか１項に記載のデータ処理プログラム。
［５］前記第２表示処理部は、前記仮想空間画像に対して重ねて前記第２外部情報としての前記現実空間画像を表示させる、［１］～［４］のいずれか１項に記載のデータ処理プログラム。
［６］前記制御装置を、
前記仮想空間画像の中から第２特定オブジェクトを特定するオブジェクト特定部として機能させ、
前記第２表示処理部は、前記第２特定オブジェクトに対して前記第２外部情報としての前記現実空間画像を重ねて表示させる、［５］記載のデータ処理プログラム。
［７］
前記第２表示処理部は、前記現実空間画像に対して前記仮想空間画像を重ねて表示させる、［１］～［６］のいずれか１項に記載のデータ処理プログラム。
［８］前記制御装置を、
前記現実空間画像の中から第３特定オブジェクトを特定するオブジェクト特定部であって、前記第３特定オブジェクトに対して前記仮想空間画像を表示させるオブジェクト特定部として機能させる、［７］記載のデータ処理プログラム。
［９］前記第２表示処理部は、表示領域を分割して、一方の表示領域に前記仮想空間画像を表示させ、他方の表示領域に前記第２外部情報としての前記現実空間画像を表示させる、［１］～［６］のいずれか１項に記載のデータ処理プログラム。
［１０］前記第１外部情報は、複数種類あり、種類に応じた取得先があり、
前記制御装置を、
事前に登録された前記第１外部情報の取得先の各々から前記第１外部情報を取得する取得部として機能させる［１］ないし［９］のうち何れか１項に記載のデータ処理プログラム。
［１１］前記制御装置を、
複数種類の前記第１外部情報が入力されたとき、特定の前記第１外部情報を優先して表示する判別部として機能させる、［１０］に記載のデータ処理プログラム。
［１２］前記制御装置を、
外部からの入力が前記第１外部情報であるか前記第２外部情報であるかを判別する判別部として機能させる、［１］ないし［１１］のうち何れか１項に記載のデータ処理プログラム。
［１３］前記制御装置を、
複数種類の前記第２外部情報が入力されたとき、特定の前記第２外部情報を優先して表示する判別部として機能させる、［１］ないし［１２］のうち何れか１項に記載のデータ処理プログラム。
［１４］プレイヤが頭部に装着する表示装置に仮想空間画像を表示させるデータ処理方法において、
前記表示装置に前記仮想空間画像を表示させているときに、前記仮想空間画像に含まれる第１特定オブジェクトに対して、外部から入力された第１外部情報を表示させる第１表示処理ステップ、
および、
前記表示装置に前記仮想空間画像を表示させているときに、外部から入力された第２外部情報であって、現実空間画像を含む前記第２外部情報を、前記仮想空間画像とともに表示させる第２表示処理ステップのうちの少なくとも一方の表示処理ステップを実行するとともに、
前記仮想空間画像を表示する場面に応じて、当該場面が前記第１外部情報又は前記第２外部情報を表示可能なタイミングであるか否かを判定する判定ステップ、を実行し、
前記第１表示処理ステップでは、前記場面が前記第１外部情報を表示可能なタイミングであると判定された場合に前記第１外部情報を表示し、
前記第２表示処理ステップでは、前記場面が前記第２外部情報を表示可能なタイミングであると判定された場合に前記第２外部情報を表示するデータ処理方法。
［１５］プレイヤが頭部に装着する表示装置に仮想空間画像を表示させるデータ処理装置において、
前記表示装置に前記仮想空間画像を表示させているときに、前記仮想空間画像に含まれる第１特定オブジェクトに対して、外部から入力された第１外部情報を表示させる第１表示処理部、
および、
前記表示装置に前記仮想空間画像を表示させているときに、外部から入力された第２外部情報であって、現実空間画像を含む前記第２外部情報を、前記仮想空間画像とともに表示させる第２表示処理部のうちの少なくとも一方の表示処理部を備えるとともに、
前記仮想空間画像を表示する場面に応じて、当該場面が前記第１外部情報又は前記第２外部情報を表示可能なタイミングであるか否かを判定する判定部を備え、
前記第１表示処理部は、前記判定部により前記場面が前記第１外部情報を表示可能なタイミングであると判定された場合に前記第１外部情報を表示し、
前記第２表示処理部は、前記判定部により前記場面が前記第２外部情報を表示可能なタイミングであると判定された場合に前記第２外部情報を表示するデータ処理装置。
【符号の説明】
【0124】
Ｐ…プレイヤ、１０…ＨＭＤ、１１…ＨＭＤ制御部、１２…センサ、１３…ディスプレイ、１４…スピーカ、２０…ゲーム処理装置、２１…制御部、２１Ａ…オブジェクト特定部、２１Ｂ…進行管理部、２１Ｃ…第１表示処理部、２１Ｄ…第２表示処理部、２１Ｅ…取得部、２１Ｆ…テーブル、２１Ｇ…判別部、２２…記憶部、２２Ａ…画像情報、２２Ｂ…オブジェクト情報、２２Ｃ…ゲーム音情報、２６…メールサーバ、２７…攻略サイト、２８…天気サイト、３０…操作装置、３１…情報処理部、３２…トラッキング情報検出部、３３…操作部、３６…トラッキング補助装置、４０…撮像装置、４１…撮像部、４２…検出部、１０１Ｃ…キャラクタオブジェクト、１０１Ｅ…電子メール、１０１Ｉ…攻略情報、１０１Ｍ…天気マークオブジェクト、１０１Ｓ…第１特定オブジェクト、１０１Ｖ…仮想空間画像、１０１Ｗ…天気情報、１０２Ｒ…現実空間画像、１０２Ｓ…第２特定オブジェクト、１０３Ｓ…第３特定オブジェクト、１０４Ａ…第１領域、１０４Ｂ…第２領域、１０４Ｃ…ウィンドウ。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】