(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-12-06
(45)【発行日】2023-12-14
(54)【発明の名称】プログラム、電子機器およびサーバシステム
(51)【国際特許分類】
A63F 13/52 20140101AFI20231207BHJP
A63F 13/655 20140101ALI20231207BHJP
A63F 13/216 20140101ALI20231207BHJP
A63F 13/211 20140101ALI20231207BHJP
G06F 3/0485 20220101ALI20231207BHJP
G06T 19/00 20110101ALI20231207BHJP
【ＦＩ】
A63F13/52
A63F13/655
A63F13/216
A63F13/211
G06F3/0485
G06T19/00 600
【請求項の数】
11
(21)【出願番号】P 2019065737
(22)【出願日】2019-03-29
(65)【公開番号】P2020162831
(43)【公開日】2020-10-08
【審査請求日】2022-03-14
【前置審査】
(73)【特許権者】
【識別番号】000134855
【氏名又は名称】株式会社バンダイナムコエンターテインメント
(74)【代理人】
【識別番号】100124682
【弁理士】
【氏名又は名称】黒田 泰
(74)【代理人】
【識別番号】100104710
【弁理士】
【氏名又は名称】竹腰 昇
(74)【代理人】
【識別番号】100090479
【弁理士】
【氏名又は名称】井上 一
(72)【発明者】
【氏名】木水 克典
(72)【発明者】
【氏名】手代木 央士
(72)【発明者】
【氏名】吉浦 大海
(72)【発明者】
【氏名】恩田 明生
【審査官】宮本 昭彦
(56)【参考文献】
【文献】特開２０１１－０７６５８９（ＪＰ，Ａ）
【文献】特開２０１２－２１２３４３（ＪＰ，Ａ）
【文献】特開２０１５－０８２３１４（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ６３Ｆ １３／００ － １３／９８
Ｇ０６Ｆ ３／０４８ － ３／０４８９５
Ｇ０６Ｔ １９／００ － １９／２０
(57)【特許請求の範囲】
【請求項1】
撮影部と、表示部と、位置および姿勢を計測する位置姿勢計測機能とを備えたコンピュータの前記表示部に、拡張現実の画像を表示させるためのプログラムであって、前記撮影部で撮影されている撮影中画像に所与の拡張現実オブジェクトの画像を合成して前記表示部に表示させる第１表示モードの表示制御を行う第１表示モード制御手段、
前記第１表示モードから切り替えられた第２表示モードでの表示制御を行う第２表示モード制御手段であって、切り替え直前の前記第１表示モードで表示されていた前記撮影中画像に前記拡張現実オブジェクトの画像を合成して前記表示部に表示させることで前記第２表示モードの表示制御を行う第２表示モード制御手段、
前記第１表示モード制御手段による前記第１表示モードにおいて、前記位置姿勢計測機能の計測結果に基づき算出される撮影方向が所定の撮影方向変化条件を満たした場合に、前記第１表示モードから前記第２表示モードへの切り替えを行い、その後に前記撮影方向が当該第２表示モードへの切り替え前の状態になったことを示す回復切替条件を満たした場合に、前記第２表示モードから前記第１表示モードへ切り替える制御である、一時的な切り替え制御を行うモード切替制御手段、
として前記コンピュータを機能させ、
前記拡張現実オブジェクトは、所与の特性情報が対応付けられたゲームキャラクタであり、
前記モード切替制御手段は、前記第１表示モードにおいて、表示されている前記ゲームキャラクタに対応付けられた前記特性情報に基づいて、前記一時的な切り替え制御を行うか否かを制御する、
プログラム。
【請求項2】
前記第１表示モード制御手段は、前記位置姿勢計測機能の計測結果の変化に応じて、表示画像中の前記ゲームキャラクタの表示位置を変更することで、前記第１表示モードの表示制御を行い、前記第２表示モード制御手段は、前記ゲームキャラクタを所定の表示位置に表示させることで、前記第２表示モードの表示制御を行う、
請求項１に記載のプログラム。
【請求項3】
前記第２表示モード制御手段は、切り替え前の前記第１表示モードで表示されていた前記ゲームキャラクタの表示位置に、当該ゲームキャラクタを表示させることで、前記第２表示モードの表示制御を行う、請求項２に記載のプログラム。
【請求項4】
前記撮影方向変化条件は、前記位置姿勢計測機能の計測結果に基づき算出される仰俯角に関する前記撮影方向が、重力方向に近づくように変化した場合の変化角度に基づいて定められている、請求項１～３の何れか一項に記載のプログラム。
【請求項5】
前記撮影方向変化条件は、前記位置姿勢計測機能の計測結果に基づき算出される仰俯角に関する撮影方向が、前記第１表示モード用に定められた角度範囲から、前記第２表示モード用に定められた角度範囲に変化したこと、として定められている、請求項１～３の何れか一項に記載のプログラム。
【請求項6】
前記ゲームキャラクタに基づき進行が変化する所定のゲームを進行制御するゲーム進行制御手段、前記モード切替制御手段により前記第２表示モードへの切り替えが行われた場合に所与のゲームイベントを発動させるゲームイベント制御手段、
として前記コンピュータを更に機能させるための請求項１～５の何れか一項に記載のプログラム。
【請求項7】
前記ゲームイベント制御手段は、前記モード切替制御手段により前記第２表示モードへの切り替えが行われた場合に、切り替え前の前記位置姿勢計測機能の計測結果に基づいて前記ゲームイベントの内容を変更する、請求項６に記載のプログラム。
【請求項8】
前記モード切替制御手段により前記第２表示モードへの切り替えが行われた場合に、切り替えが行われた旨の通知を行う切替通知制御手段、として前記コンピュータを更に機能させるための請求項１～７の何れか一項に記載のプログラム。
【請求項9】
前記モード切替制御手段によるモードの切り替えに関わらず、所与の操作アイコンを前記表示部の所定位置に表示する制御を行う操作アイコン表示制御手段、として前記コンピュータを更に機能させるための請求項１～８の何れか一項に記載のプログラム。
【請求項10】
撮影部と、表示部と、位置および姿勢を計測する位置姿勢計測機能とを備え、前記表示部に拡張現実の画像を表示する電子機器であって、前記撮影部で撮影されている撮影中画像に所与の拡張現実オブジェクトの画像を合成して前記表示部に表示させる第１表示モードの表示制御を行う第１表示モード制御手段と、
前記第１表示モードから切り替えられた第２表示モードでの表示制御を行う第２表示モード制御手段であって、切り替え直前の前記第１表示モードで表示されていた前記撮影中画像に前記拡張現実オブジェクトの画像を合成して前記表示部に表示させることで前記第２表示モードの表示制御を行う第２表示モード制御手段と、
前記第１表示モード制御手段による前記第１表示モードにおいて、前記位置姿勢計測機能の計測結果に基づき算出される撮影方向が所定の撮影方向変化条件を満たした場合に、前記第１表示モードから前記第２表示モードへの切り替えを行い、その後に前記撮影方向が当該第２表示モードへの切り替え前の状態になったことを示す回復切替条件を満たした場合に、前記第２表示モードから前記第１表示モードへ切り替える制御である、一時的な切り替え制御を行うモード切替制御手段と、
を備え、
前記拡張現実オブジェクトは、所与の特性情報が対応付けられたゲームキャラクタであり、
前記モード切替制御手段は、前記第１表示モードにおいて、表示されている前記ゲームキャラクタに対応付けられた前記特性情報に基づいて、前記一時的な切り替え制御を行うか否かを制御する、
電子機器。
【請求項11】
撮影部と、表示部と、位置および姿勢を計測する位置姿勢計測機能とを備えたユーザ端末の前記表示部に、拡張現実の画像を表示させる制御を行うサーバシステムであって、前記撮影部で撮影されている撮影中画像に所与の拡張現実オブジェクトの画像を合成して前記表示部に表示させる第１表示モードの表示制御を行う第１表示モード制御手段と、
前記第１表示モードから切り替えられた第２表示モードでの表示制御を行う第２表示モード制御手段であって、切り替え直前の前記第１表示モードで表示されていた前記撮影中画像に前記拡張現実オブジェクトの画像を合成して前記表示部に表示させることで前記第２表示モードの表示制御を行う第２表示モード制御手段と、
前記第１表示モード制御手段による前記第１表示モードにおいて、前記位置姿勢計測機能の計測結果に基づき算出される撮影方向が所定の撮影方向変化条件を満たした場合に、前記第１表示モードから前記第２表示モードへの切り替えを行い、その後に前記撮影方向が当該第２表示モードへの切り替え前の状態になったことを示す回復切替条件を満たした場合に、前記第２表示モードから前記第１表示モードへ切り替える制御である、一時的な切り替え制御を行うモード切替制御手段と、
を備え、
前記拡張現実オブジェクトは、所与の特性情報が対応付けられたゲームキャラクタであり、
前記モード切替制御手段は、前記第１表示モードにおいて、表示されている前記ゲームキャラクタに対応付けられた前記特性情報に基づいて、前記一時的な切り替え制御を行うか否かを制御する、
サーバシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、位置および姿勢を計測する位置姿勢計測機能を備えた携帯型のコンピュータの表示部に、拡張現実の画像を表示させるためのプログラム等に関する。
【背景技術】
【0002】
近年普及が進んでいる拡張現実は、現実世界の画像に拡張現実オブジェクト（現実世界には存在し無いオブジェクトや情報表示オブジェクトなどのＡＲ（Augmented Reality）コンテンツ）を合成して表示することで実現されている。用途はさまざまであるが、例えば、ゲーム（例えば、特許文献１、特許文献２を参照）での利用が広く知られている他、広告や経路案内などにも利用されている（例えば、特許文献３を参照）。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１３－１２２７０８号公報
【文献】特開２０１７－１８２５７９号公報
【文献】特開２０１６－０５３７７６号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
拡張現実を実現するためにユーザが使用するハードウェアとしては、スマートグラスなどと呼ばれるメガネ型のウェアラブルコンピュータも存在するが一般に普及するまでには至っていない。近年普及が進んでいる拡張現実においてユーザが使用する主なハードウェアは、表面にフラットパネルディスプレイを備え、背面にカメラを備えた電子機器、例えばスマートフォンである。そして、多くのスマートフォンは、位置情報を取得するための測位センサ（例えば、ＧＰＳセンサ。緯度・経度を取得。）や、方位を計測する方位センサ、３軸加速度センサ、３軸ジャイロセンサなどを搭載しており、位置認識型の拡張現実を実現できる。
【0005】
拡張現実を利用するには、ユーザは、コンパクトカメラで風景を撮影するかのごとく、スマートフォンを片手又は両手で持ち、前方に突き出すように支え続けなければならない。しかし、その姿勢は、腕が疲れるので長時間の使用には向かないし、状況によってはマナーの観点から避けるべき場合もある。撮影方向を一時的に変えたいと思う場合があるのである。
【0006】
例えば、観光やショッピングをするユーザを、位置認識型の拡張現実を用いてサポートするサービスがあるとする。サービス提供者により、対象とする地理的範囲内に、位置情報と対応づけた拡張現実オブジェクトが多数用意されているとする。ユーザのスマートフォンには、その時々のカメラの撮影方向の撮影範囲内に設定されている拡張現実オブジェクトが逐一選択され、その時々にカメラで撮影されている現実画像（撮影中画像：ファインダー画像）に合成して表示される。
【0007】
ユーザは、コンパクトカメラで風景を撮影するような姿勢でスマートフォンを手に持って、カメラで撮影された現実画像に合成された拡張現実オブジェクト（この場合、広告や、イベント案内、道案内標識、など）を頼りに、街中を移動することになる。しかし、目的地まで腕を上げた状態を保ち続けるのは疲れる。腕が疲れてスマートフォンを下ろせば撮影方向が変わってしまうので、移動の頼りとしていた拡張現実オブジェクトは表示されなくなってしまう。また、撮影方向が変わったことで、撮影されている現実画像も変わってしまう。腕を休ませ、再び元の撮影方向にスマートフォンを向ければ、先程までの現実画像が再び表示され、移動の頼りとしていた拡張現実オブジェクトも再び表示されるはずであるが、その拡張現実オブジェクトを表示画像の中から再び探し出さなければならない。腕力に自信のあるユーザでも、人混みの中で常時腕を前方に突き出したまま歩くのはマナーや安全性の観点から好ましいとは言えない。
【0008】
また例えば、位置認識型の拡張現実を用いて、位置情報と対応づけた何種類ものキャラクタを用意しておいて、それらのキャラクタを探し出して捕獲するゲームがあるとする。ユーザは、やはりコンパクトカメラで風景を撮影するような姿勢でスマートフォンを手に持って街中を歩き回ることになる。スマートフォンで計測される位置情報と、キャラクタの位置情報とが近づくと、カメラで撮影されている現実画像に当該キャラクタの画像（拡張現実オブジェクト）が表示される。ユーザは、所定の操作をして表示されたキャラクタを捕獲したり、街中に出現したキャラクタの姿を記念撮影して保存したりしてゲームを楽しむ。この例でも、腕が疲れる点やマナーの観点からの問題は先の例と同様である。カメラの撮影方向を維持し続けないと、同じ現実画像を表示し続けることができず、目的の拡張現実オブジェクトも表示させ続けることができないため、先の例と同様の不便がある。
【0009】
本発明は、拡張現実の利用において、一時的に撮影方向を変えるときに生じる不便を低減するための技術を提供することを目的に考案された。
【課題を解決するための手段】
【0010】
上記した課題を解決するための第１の発明は、撮影部と、表示部と、位置および姿勢を計測する位置姿勢計測機能とを備えたコンピュータの前記表示部に、拡張現実の画像を表示させるためのプログラムであって、前記撮影部で撮影されている撮影中画像に所与の拡張現実オブジェクトの画像を合成して前記表示部に表示させる第１表示モードの表示制御を行う第１表示モード制御手段、過去の撮影中画像に前記拡張現実オブジェクトの画像を合成して前記表示部に表示させる第２表示モードの表示制御を行う第２表示モード制御手段、として前記コンピュータを機能させるためのプログラムである。
【0011】
第１の発明によれば、その時々で撮影されている現実世界の画像である撮影中画像（換言すると、リアルタイム撮影画像、ファインダー画像）に、拡張現実オブジェクト（換言するとＡＲコンテンツ）を合成表示する第１表示モードと、過去の撮影中画像に拡張現実オブジェクトを合成表示した第２表示モードとがある。
【0012】
よって、例えば、第１表示モードであるときに撮影方向を一時的に変える状況にあっても、第２表示モードとすることで、撮影方向を変える前に表示されていた拡張現実オブジェクトの表示が維持され、しかも過去の撮影中画像にその拡張現実オブジェクトが合成表示される。このため、撮影方向を一時的に変える場合の不便を低減できる。
【0013】
第２の発明は、前記第１表示モード制御手段による前記第１表示モードと、前記第２表示モード制御手段による前記第２表示モードとを切り替えるモード切替制御手段、として前記コンピュータを更に機能させるための第１の発明のプログラムである。
【0014】
第２の発明によれば、第１表示モードと第２表示モードとの切り替えを行うことができるようになり、撮影方向を一時的に変える場合のユーザビリティが向上する。
【0015】
第３の発明は、前記モード切替制御手段が、前記第１表示モード制御手段による前記第１表示モードから、前記第２表示モード制御手段による前記第２表示モードへと切り替える小休止切替手段を有し、前記第２表示モード制御手段は、前記小休止切替手段による切り替え前の前記第１表示モードで表示されていた撮影中画像を、前記過去の撮影中画像とすることで、前記第２表示モードの表示制御を行う、第２の発明のプログラムである。
【0016】
第３の発明によれば、第２表示モードにおいて、第２表示モードに切り替えられる前の撮影中画像が表示されるため、第２表示モードへの切り替え前の表示を一時保持（ポーズ）したかのようにユーザに見せることができる。
【0017】
第４の発明は、前記拡張現実オブジェクトには、キャラクタオブジェクトが少なくとも含まれ、前記第１表示モード制御手段は、前記位置姿勢計測機能の計測結果の変化に応じて、表示画像中の前記キャラクタオブジェクトの表示位置を変更することで、前記第１表示モードの表示制御を行い、前記第２表示モード制御手段は、前記キャラクタオブジェクトの画像を所定の表示位置に表示させることで、前記第２表示モードの表示制御を行う、第３の発明プログラムである。
【0018】
第５の発明は、前記第２表示モード制御手段が、前記小休止切替手段による切り替え前の前記第１表示モードで表示されていた前記キャラクタオブジェクトの表示位置に、当該キャラクタオブジェクトの画像を表示させることで、前記第２表示モードの表示制御を行う、第４の発明のプログラムである。
【0019】
第４又は第５の発明によれば、拡張現実オブジェクトがキャラクタオブジェクトである場合、第２表示モードに切り替えられた後は、切り替え前の第１表示モードで表示されていたキャラクタオブジェクトの表示位置と同じ表示位置に同じキャラクタオブジェクトが表示されることとなる。よって、ユーザにとっては、キャラクタオブジェクトの表示位置が変化しないため、第２表示モードに切り替わったときに便宜である。
【0020】
第６の発明は、前記拡張現実オブジェクトには、位置に対応付けられた位置情報オブジェクトが少なくとも含まれ、前記第２表示モード制御手段は、前記小休止切替手段による切り替え前の前記第１表示モードで表示されていた撮影中画像に、当該第１表示モードで表示されていた前記位置情報オブジェクトの画像を、表示位置を変化させて合成して前記表示部に表示させることで前記第２表示モードの表示制御を行う、第３～第５の何れかの発明のプログラムである。
【0021】
第６の発明によれば、位置情報オブジェクトの表示位置を、第１表示モードと第２表示モードとで異なるようにすることができる。これにより、例えば、表示モードが変わっていることをユーザに認識させ易い、といった効果が得られる。
【0022】
第７の発明は、前記小休止切替手段が、前記位置姿勢計測機能の計測結果に基づき算出される撮影方向が所定の撮影方向変化条件を満たしたことを少なくとも含む小休止切替条件を満たした場合に、前記第１表示モードから前記第２表示モードへ切り替える、第３～第６の何れかの発明のプログラムである。
【0023】
第７の発明によれば、撮影方向の変化が所定の撮影方向変化条件を満たす場合に、自動的に第１表示モードから第２表示モードへの切り替えを実行できるようになる。
【0024】
第８の発明は、前記撮影方向変化条件が、前記位置姿勢計測機能の計測結果に基づき算出される仰俯角に関する撮影方向が、重力方向に近づくように変化した場合の変化角度に基づいて定められている、第７の発明プログラムである。
【0025】
第８の発明によれば、撮影方向の仰俯角が重力方向に近づくように変化した場合に、自動的に第２表示モードへの切り替えを実行できるようになる。
【0026】
第９の発明は、前記撮影方向変化条件が、前記位置姿勢計測機能の計測結果に基づき算出される仰俯角に関する撮影方向が、前記第１表示モード用に定められた角度範囲から、前記第２表示モード用に定められた角度範囲に変化したこと、として定められている、第７の発明のプログラムである。
【0027】
第９の発明によれば、ユーザは、撮影方向の仰俯角を変化させることで、ボタン操作やタッチ操作などを行わずとも、第２表示モードへの切り替えを実行させることができるようになる。
【0028】
第１０の発明は、前記拡張現実オブジェクトには、キャラクタオブジェクトが少なくとも含まれ、前記小休止切替条件には、前記第１表示モードにおいて前記キャラクタオブジェクトの画像が表示されていること、を更に含む、第７～第９の何れかの発明のプログラムである。
【0029】
第１０の発明によれば、第１表示モードにおいてキャラクタオブジェクトの画像が表示されている場合に、第２表示モードへの切り替えが可能になる。
【0030】
第１１の発明は、前記キャラクタオブジェクトには、レベルおよび／又は属性の情報である特性情報が対応付けられており、前記小休止切替条件は、前記第１表示モードにおいて表示されている前記キャラクタオブジェクトの特性情報に応じた複数種類が用意されており、前記小休止切替手段は、前記第１表示モードにおいて表示されている前記キャラクタオブジェクトの前記特性情報に応じた種類の前記小休止切替条件を満たす場合に、前記第１表示モードから前記第２表示モードへ切り替える、第１０の発明のプログラムである。
【0031】
第１１の発明によれば、キャラクタオブジェクトの特性情報に基づいて、表示モードの切り替えが行われる条件を多様化できる。例えば、レベルの低いキャラクタオブジェクトは、簡単に小休止切替条件が満たされるが、レベルの高いキャラクタオブジェクトでは、そう簡単には小休止切替条件が満たさないように設定できる。例えば、拡張現実サービスをゲームとした場合、ゲームのやりごたえ感を醸成する仕組みとすることができ、ゲームの興趣性を向上させることができる。
【0032】
第１２の発明は、前記キャラクタオブジェクトに基づき進行が変化する所定のゲームを進行制御するゲーム進行制御手段、前記小休止切替手段により前記第２表示モードへの切り替えが行われた場合に所与のゲームイベントを発動させるゲームイベント制御手段、として前記コンピュータを更に機能させるための第１０又は第１１の発明のプログラムである。
【0033】
第１２の発明によれば、第２表示モードへの切り替えに応じてゲームイベントを発動させることができるようになる。
【0034】
第１３の発明は、前記ゲームイベント制御手段が、前記小休止切替手段により前記第２表示モードへの切り替えが行われた場合に、切り替え前の前記位置姿勢計測機能の計測結果に基づいて前記ゲームイベントの内容を変更する、第１２の発明のプログラムである。
【0035】
第１３の発明によれば、第２表示モードへの切り替え前の位置姿勢計測機能の計測結果に基づいてゲームイベントの内容が変化することになり、興趣性のあるゲームとすることができる。
【0036】
第１４の発明は、前記小休止切替手段により前記第２表示モードへの切り替えが行われた場合に、切り替えが行われた旨の通知を行う切替通知制御手段、として前記コンピュータを更に機能させるための第７～第１３の何れか一項に記載のプログラムである。
【0037】
第１４の発明によれば、第２表示モードへの切り替えが行われた旨の通知を行うことができる。
【0038】
第１５の発明は、前記モード切替制御手段が、前記小休止切替手段による前記第２表示モードへの切り替えの後に、所定の回復切替条件を満たした場合に、前記第２表示モードから前記第１表示モードへと切り替える回復切替手段を有する、第３～第１４の何れかの発明のプログラムである。
【0039】
第１５の発明によれば、所定の回復切替条件を満たした場合に、第２表示モードから第１表示モードへと切り替えることができる。
【0040】
第１６の発明は、前記回復切替条件が、前記位置姿勢計測機能の計測結果に基づき算出される仰俯角に関する撮影方向が、前記小休止切替手段による前記第２表示モードへの切り替え前の状態になったことを示す所定の撮影方向回復条件を満たしたこと、を少なくとも含む、第１５の発明のプログラムである。
【0041】
第１６の発明によれば、撮影方向の仰俯角を第２表示モードへの切り替え前の状態になるようにすると、表示モードが第２表示モードに切り替われることになる。よって、表示モードの切り替えがユーザに直感的に理解し易くなる。
【0042】
第１７の発明は、前記モード切替制御手段によるモードの切り替えに関わらず、所与の操作アイコンを前記表示部の所定位置に表示する制御を行う操作アイコン表示制御手段、として前記コンピュータを更に機能させるための第１～第１６の何れかの発明のプログラムである。
【0043】
第１７の発明によれば、操作アイコンについては、表示モードの切り替えとは切り離して表示することができる。例えば、表示モードに係わらず、設定の変更、別機能の呼び出し、記念撮影、などといった操作アイコンを表示部の所定位置に表示することができる。
【0044】
第１８の発明は、撮影部と、表示部と、位置および姿勢を計測する位置姿勢計測機能とを備え、前記表示部に拡張現実の画像を表示する電子機器であって、前記撮影部で撮影されている撮影中画像に所与の拡張現実オブジェクトの画像を合成して前記表示部に表示させる第１表示モードの表示制御を行う第１表示モード制御手段と、過去の撮影中画像に前記拡張現実オブジェクトの画像を合成して前記表示部に表示させる第２表示モードの表示制御を行う第２表示モード制御手段と、前記第１表示モード制御手段による前記第１表示モードと、を備えた電子機器である。
【0045】
第１８の発明によれば、第１の発明と同様の作用効果が得られる電子機器を実現できる。
【0046】
第１９の発明は、撮影部と、表示部と、位置および姿勢を計測する位置姿勢計測機能とを備えたユーザ端末の前記表示部に、拡張現実の画像を表示させる制御を行うサーバシステムであって、前記撮影部で撮影されている撮影中画像に所与の拡張現実オブジェクトの画像を合成して前記表示部に表示させる第１表示モードの表示制御を行う第１表示モード制御手段と、過去の撮影中画像に前記拡張現実オブジェクトの画像を合成して前記表示部に表示させる第２表示モードの表示制御を行う第２表示モード制御手段と、前記第１表示モード制御手段による前記第１表示モードと、を備えたサーバシステムである。
【0047】
ここで言う「サーバシステム」とは、サーバとして機能する単数のコンピュータは勿論、複数のコンピュータが連携して構成されるものでもよい。
【0048】
第１９の発明によれば、第１の発明と同様の効果が得られるサーバシステムを実現できる。
【図面の簡単な説明】
【0049】
【図1】ゲームシステムの構成の一例を示す図。
【図2】ユーザ端末の構成例を示す正面。
【図3】ゲームについて説明するための概念図。
【図4】第１表示モードにおける表示画像の例を示す図。
【図5】第２表示モードにおける表示画像の例を示す図。
【図6】撮影方向変化条件の例を説明するための図。
【図7】ユーザ端末の機能構成の一例を示す機能ブロック図。
【図8】端末記憶部が記憶するプログラムやデータの例を示す図。
【図9】拡張現実オブジェクト定義データのデータ構成例を示す図。
【図10】小休止切替条件定義データのデータ構成例を示す図。
【図11】通知パターン定義データのデータ構成例を示す図。
【図12】拡張現実管理データのデータ構成例を示す図。
【図13】ユーザ端末における処理の流れを説明するためのフローチャート。
【図14】第２実施形態におけるサーバシステムの機能構成例を示す機能ブロック図。
【図15】第２実施形態におけるユーザ端末の機能構成の一例を示す機能ブロック図。
【発明を実施するための形態】
【0050】
以下、本発明の実施形態の一例を説明するが、本発明を適用可能な形態が以下の実施形態に限られないことは勿論である。
【0051】
〔第１実施形態〕
図１は、第１実施形態におけるゲームシステムの構成の一例を示す図である。本実施形態のゲームシステム１０００は、通信回線９に接続することで相互にデータ通信が可能なサーバシステム１１００および複数のユーザ端末１５００（１５００ａ，１５００，…）を含むコンピュータシステムである。
図１は、第１実施形態におけるゲームシステムの構成の一例を示す図である。本実施形態のゲームシステム１０００は、通信回線９に接続することで相互にデータ通信が可能なサーバシステム１１００および複数のユーザ端末１５００（１５００ａ，１５００，…）を含むコンピュータシステムである。
【0052】
通信回線９は、データ通信が可能な通信路を意味する。すなわち、通信回線９とは、直接接続のための専用線（専用ケーブル）やイーサネット（登録商標）等によるＬＡＮ（Local Area Network）の他、電話通信網やケーブル網、インターネット等の通信網を含む意味であり、また、通信方法については有線／無線を問わない。
【0053】
サーバシステム１１００は、本体装置１１０１と、キーボード１１０６と、タッチパネル１１０８と、ストレージ１１４０とを有し、本体装置１１０１には制御基板１１５０を搭載する。
【0054】
制御基板１１５０には、ＣＰＵ（Central Processing Unit）１１５１やＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）などの各種マイクロプロセッサ、ＶＲＡＭやＲＡＭ，ＲＯＭ等の各種ＩＣメモリ１１５２、通信装置１１５３が搭載されている。なお、制御基板１１５０の一部又は全部は、ＡＳＩＣ（Application Specific Integrated Circuit）や、ＦＰＧＡ（Field-Programmable Gate Array）、ＳｏＣ（System on a Chip）により実現するとしてもよい。
【0055】
そして、サーバシステム１１００は、制御基板１１５０が所定のプログラムおよびデータに基づいて演算処理することにより、ユーザ登録等に係るユーザ管理機能と、登録ユーザであるプレーヤ２（２ａ，２ｂ，…）がユーザ端末１５００（１５００ａ，１５００，…）でゲームプレイするのに必要なデータを提供する機能と、を実現する。
【0056】
なお、サーバシステム１１００は単体の装置として図示しているが、各機能を分担する複数のブレードサーバを搭載して相互に内部バスを介してデータ通信可能に接続した構成であっても良い。或いは、離れた場所に設置された独立した複数のサーバを、通信回線９を介してデータ通信させることで、全体としてサーバシステム１１００として機能させる構成であっても良い。
【0057】
ユーザ端末１５００（１５００ａ，１５００，…）は、ユーザであるプレーヤ２（２ａ，２ｂ，…）がゲームプレイのために個別に使用するコンピュータシステムであって、通信回線９を介してサーバシステム１１００にアクセスできる電子装置（電子機器）である。機能的に言えば、ユーザ端末１５００はゲーム装置となるものである。本実施形態のユーザ端末１５００は、いわゆるスマートフォンと呼ばれる装置であるが、携帯型ゲーム装置や、タブレット型コンピュータ、コンパクトデジタルカメラ、などでもよい。
【0058】
図２は、本実施形態におけるユーザ端末１５００の構成例を示す正面図である。
ユーザ端末１５００は、方向入力キー１５０２と、ボタンスイッチ１５０４と、画像表示デバイス兼接触位置入力デバイスとして機能するタッチパネル１５０６と、スピーカ１５１０と、内蔵バッテリー１５０９と、マイク１５１２と、イメージセンサーユニット１５２０と、制御基板１５５０と、コンピュータ読み出し可能な記憶媒体であるメモリカード１５４０からデータを読み書きできるメモリカード読取装置１５４２と、を備える。その他、図示されていない電源ボタン、音量調節ボタン等が設けられている。また、ゲームプレイの対価の支払いが可能なＩＣカード型のクレジットカードやプリペイドカードに対して非接触にデータの読み書きが行えるＩＣカード読取装置などを設けるとしてもよい。
ユーザ端末１５００は、方向入力キー１５０２と、ボタンスイッチ１５０４と、画像表示デバイス兼接触位置入力デバイスとして機能するタッチパネル１５０６と、スピーカ１５１０と、内蔵バッテリー１５０９と、マイク１５１２と、イメージセンサーユニット１５２０と、制御基板１５５０と、コンピュータ読み出し可能な記憶媒体であるメモリカード１５４０からデータを読み書きできるメモリカード読取装置１５４２と、を備える。その他、図示されていない電源ボタン、音量調節ボタン等が設けられている。また、ゲームプレイの対価の支払いが可能なＩＣカード型のクレジットカードやプリペイドカードに対して非接触にデータの読み書きが行えるＩＣカード読取装置などを設けるとしてもよい。
【0059】
制御基板１５５０は、
１）ＣＰＵ１５５１や、ＧＰＵ，ＤＳＰなどの各種マイクロプロセッサ、
２）ＶＲＡＭやＲＡＭ，ＲＯＭ等の各種ＩＣメモリ１５５２、
３）通信回線９に接続する携帯電話基地局や無線ＬＡＮ基地局などと無線通信するための無線通信モジュール１５５３、
４）方位を計測する方位センサ１５５４、
５）測位システムを利用して自機の緯度・経度等の測位情報を取得する測位モジュール１５５５、
６）３軸加速度センサ１５５６、
７）３軸ジャイロ１５５７、
８）インターフェース回路１５５８、などを搭載する。
１）ＣＰＵ１５５１や、ＧＰＵ，ＤＳＰなどの各種マイクロプロセッサ、
２）ＶＲＡＭやＲＡＭ，ＲＯＭ等の各種ＩＣメモリ１５５２、
３）通信回線９に接続する携帯電話基地局や無線ＬＡＮ基地局などと無線通信するための無線通信モジュール１５５３、
４）方位を計測する方位センサ１５５４、
５）測位システムを利用して自機の緯度・経度等の測位情報を取得する測位モジュール１５５５、
６）３軸加速度センサ１５５６、
７）３軸ジャイロ１５５７、
８）インターフェース回路１５５８、などを搭載する。
【0060】
測位モジュール１５５５は、ユーザ位置を取得するための手段である。本実施形態では既存の測位システムを利用して現実空間における位置座標を取得することができる手段とする。すなわち、測位モジュール１５５５は、測位システムから提供される信号を受信して所定周期で（例えば１秒毎に）測位情報を出力することで、ユーザ端末１５００における測位機能を提供する。本実施形態では、測位システムとしてＧＰＳ（Global Positioning System）を利用する。よって測位モジュール１５５５は、既存の「ＧＰＳモジュール」や「ＧＰＳ受信器」等を利用することができる。「測位情報」には、測位日時（例えば協定世界時であるＵＴＣ：Coordinated Universal Time）、位置座標（緯度・経度・高度）、方位などが含まれる。利用する測位システムはＧＰＳに限らず適宜選択可能である。例えば、測位モジュール１５５５は、携帯電話の無線基地局やＷｉ－Ｆｉネットワークの無線基地局などと無線接続する通信機と、方位センサとの構成で置き換えることができる。すなわち、接続中の無線基地局について予め測位されている位置情報を取得して、これを自機の現実空間における位置座標とするとしてもよい。
【0061】
インターフェース回路１５５８には、タッチパネル１５０６のドライバ回路、方向入力キー１５０２およびボタンスイッチ１５０４からの信号を受信する回路、スピーカ１５１０へ音声信号を出力する出力アンプ回路、マイク１５１２で集音した音声の信号を生成する入力信号生成回路、イメージセンサーユニット１５２０で撮影された画像の画像データを入力する回路、メモリカード読取装置１５４２への信号入出力回路、などが含まれている。
【0062】
制御基板１５５０に搭載されているこれらの要素は、バス回路などを介して電気的に接続され、データの読み書きや信号の送受信が可能に接続されている。なお、制御基板１５５０の一部又は全部をＡＳＩＣやＦＰＧＡ、ＳｏＣにて構成してもよい。そして、制御基板１５５０は、本実施形態のゲームのユーザ端末としての機能を実現させるためのプログラムや各種データをＩＣメモリ１５５２に記憶する。
【0063】
なお、本実施形態では、ユーザ端末１５００はゲームプログラムや各種設定データをサーバシステム１１００からダウンロードする構成としているが、別途入手したメモリカード１５４０などの記憶媒体から読み出す構成としても良い。また、以降では、イメージセンサーユニット１５２０を簡略して「カメラ」と呼ぶこととする。
【0064】
［ゲームの説明］
図３は、本実施形態のゲームについて説明するための概念図である。
本実施形態のゲームは、現実世界の街中をプレイフィールドとして、現実世界に隠れている幻のキャラクタを発見し収集することを目的とした位置認識型の拡張現実を用いたゲームである。また、本実施形態のゲームは、街中でプレイしつつも、観光や、ショッピング、催しものへの参加などを積極的に推進すべく、観光スポットやショッピングスポットの情報を拡張現実を用いてプレーヤに提供する拡張現実サービスや拡張現実コンテンツとも言えるものである。
図３は、本実施形態のゲームについて説明するための概念図である。
本実施形態のゲームは、現実世界の街中をプレイフィールドとして、現実世界に隠れている幻のキャラクタを発見し収集することを目的とした位置認識型の拡張現実を用いたゲームである。また、本実施形態のゲームは、街中でプレイしつつも、観光や、ショッピング、催しものへの参加などを積極的に推進すべく、観光スポットやショッピングスポットの情報を拡張現実を用いてプレーヤに提供する拡張現実サービスや拡張現実コンテンツとも言えるものである。
【0065】
プレイフィールドとされる地理的範囲には、ゲーム提供者により複数の拡張現実オブジェクトＡＲｎ（ＡＲ１，ＡＲ２，…）が、それぞれ位置情報と対応づけられて定義されている。
【0066】
「位置情報」は、少なくとも緯度と経度とを含む。その他として標高を含めても良いし、建物内であればフロアー数を含めてもよい。
【0067】
拡張現実オブジェクトＡＲｎに係る各種設定に関する情報は、拡張現実オブジェクト定義データ５１０により定義されている。拡張現実オブジェクト定義データ５１０は、固有のオブジェクトＩＤ５１１と、オブジェクトの見かけ上の分類にあたるタイプ５１２と、設定位置座標５１３と、オブジェクトデータ５１４と、を含む。勿論、これら以外のデータも適宜含めることができる。
【0068】
タイプ５１２の種類は適宜設定可能であるが、本実施形態では、ゲーム要素である「キャラクタオブジェクト」と、主に広告や経路案内等の位置情報等の提供に使用されるオブジェクトである「バナーオブジェクト（位置情報オブジェクト）」と、を含む。前者は、図３中の拡張現実オブジェクトＡＲ８、ＡＲ９がこれに該当する。後者は、図中の拡張現実オブジェクトＡＲ１～ＡＲ７がこれに該当する。それぞれを画面に表示するためのデータは、オブジェクトデータ５１４に設定されている。
【0069】
設定位置座標５１３は、当該拡張現実オブジェクトに対応づけられている位置情報である。ジオタグと呼んでも良い。
【0070】
ユーザ端末１５００は、ゲームプログラムを実行することで、拡張現実オブジェクト定義データ５１０をサーバシステム１１００から取得する。そして、自機で計測される位置情報・姿勢・方位に基づいて、カメラの撮影方向Ｄｐ（イメージセンサーユニット１５２０の撮影方向の意。）を判定し、カメラの光学系諸元に基づいて撮影範囲を判定する。
【0071】
そして、自機の現在の位置情報を基準に、カメラの撮影範囲にその対応づけられている位置情報が含まれる拡張現実オブジェクトＡＲｎを選択し、カメラで今まさに撮影している撮影中画像（ファインダー画像とも呼ばれる）に、選択した拡張現実オブジェクトＡＲｎを合成表示させる。こうした拡張現実の表示制御を本実施形態では「第１表示モード」と呼ぶこととする。
【0072】
図４は、第１表示モードにおける表示画像の例を示す図である。
登録ユーザであるプレーヤ２は、コンパクトカメラで風景を撮影するかのごとく、ユーザ端末１５００を片手或いは両手で持ち、前方に突き出すように支えながらプレイする（図１参照）。タッチパネル１５０６には、ゲーム画面２０と、操作アイコン２２（２２ａ，２２ｂ，…）とが表示される。勿論、これら以外にも通信状況表示や、内蔵バッテリーの残量表示など、その他の表示も適宜含めることができる。
登録ユーザであるプレーヤ２は、コンパクトカメラで風景を撮影するかのごとく、ユーザ端末１５００を片手或いは両手で持ち、前方に突き出すように支えながらプレイする（図１参照）。タッチパネル１５０６には、ゲーム画面２０と、操作アイコン２２（２２ａ，２２ｂ，…）とが表示される。勿論、これら以外にも通信状況表示や、内蔵バッテリーの残量表示など、その他の表示も適宜含めることができる。
【0073】
ゲーム画面２０では、カメラ（イメージセンサーユニット１５２０）によりその時々にリアルタイムに撮影されている撮影中画像２１に、その時々に選択された拡張現実オブジェクトＡＲｎ（図４の例では、ＡＲ２，ＡＲ３、ＡＲ４、ＡＲ５、ＡＲ８）が合成表示されている。
【0074】
カメラの撮影範囲に含まれる拡張現実オブジェクトＡＲｎの幾つを、どのように表示するか、言い換えると表示位置と表示向きと表示サイズとは、別途、配置アルゴリズムを用意してそれに従うものとする。本実施形態では、ユーザ端末１５００から近い順に「５つ」選択し、ユーザ端末１５００に近い程より大きな表示サイズとし、遠い程相対的に画面上方へ表示する。但し、拡張現実オブジェクトＡＲｎが、キャラクタオブジェクト（図４中の拡張現実オブジェクトＡＲ８）の表示サイズについてはその対象外とし、キャラクタ設定が示すサイズから遠近法に基づいて表示サイズを決定することとする。
【0075】
従来の拡張現実と同様に、プレーヤ２が撮影方向を変化させれば、ユーザ端末１５００は位置・姿勢が変化して計測結果としてこれを検出し、当該変化に応じて表示画像中の拡張現実オブジェクトＡＲｎの表示位置を変化させる。勿論、キャラクタオブジェクトである拡張現実オブジェクトＡＲ８の表示位置も計測結果の変化に応じて変更することができる。こうした表示位置の変化制御は、拡張現実による画像表示の特徴の１つである。
【0076】
そして、本実施形態では、ゲーム画面２０の表示制御を、第１表示モードから第２表示モードへ切り替えたり、また第２表示モードから第１表示モードに戻したりすることができる。
【0077】
前提として、撮影中画像２１は、一定時間分バッファされ、古い順から順次自動的に消去される。つまり、撮影中画像２１は、撮影された時系列にリングバッファに随時更新記録されていく。
そして、ユーザ端末１５００は、「第２表示モード」では、リングバッファに記録された過去の撮影中画像２１に、拡張現実オブジェクトＡＲｎの画像を合成して表示する。
そして、ユーザ端末１５００は、「第２表示モード」では、リングバッファに記録された過去の撮影中画像２１に、拡張現実オブジェクトＡＲｎの画像を合成して表示する。
【0078】
図５は、第２表示モードにおける表示画像の例を示す図である。
第２表示モードでは、リングバッファに記録されている過去の撮影中画像２１のうち、切り替え前の第１表示モードで表示されていた撮影中画像２１を、第２表示モードで表示させる過去の撮影中画像２１とする。具体的には、その時リアルタイムで撮影されている画像に代えて、切り替えが実行される所定時間或いは所定描画フレーム数前の、リングバッファに記録されている過去の画像を選択して読み出して、ゲーム画面２０の背景として表示制御する。故に、図５の例では、図４にて背景とされた撮影中画像２１と同じになっている。
第２表示モードでは、リングバッファに記録されている過去の撮影中画像２１のうち、切り替え前の第１表示モードで表示されていた撮影中画像２１を、第２表示モードで表示させる過去の撮影中画像２１とする。具体的には、その時リアルタイムで撮影されている画像に代えて、切り替えが実行される所定時間或いは所定描画フレーム数前の、リングバッファに記録されている過去の画像を選択して読み出して、ゲーム画面２０の背景として表示制御する。故に、図５の例では、図４にて背景とされた撮影中画像２１と同じになっている。
【0079】
そして、第２表示モードにおいては、ユーザ端末１５００は、プレーヤ２に表示モードが変化した旨の通知を行う。
【0080】
第１の通知は、拡張現実オブジェクトＡＲｎの表示位置を、第１表示モードにおける表示位置から変更することで、実現される。
具体的には、ユーザ端末１５００は、位置情報オブジェクトである「バナー」タイプの拡張現実オブジェクトＡＲｎについて、切り替え前の第１表示モードで表示されていた撮影中画像２１に表示されていた表示位置を変化させて合成して表示させることで、第１の通知を実現する。
具体的には、ユーザ端末１５００は、位置情報オブジェクトである「バナー」タイプの拡張現実オブジェクトＡＲｎについて、切り替え前の第１表示モードで表示されていた撮影中画像２１に表示されていた表示位置を変化させて合成して表示させることで、第１の通知を実現する。
【0081】
より具体的には、図５のように、ゲーム画面２０の縁部に寄せるように表示位置を変化させる。ゲーム画面２０の四囲のうちのどの縁部に向けて寄せるかは適宜設定可能である。必ず、上方の縁部に寄せるとしても良いし、表示モードの切り替えに係る撮影方向の変化と逆方向に該当する縁部に寄せるとしても良い。例えば、表示モードの切り替え時に撮影方向が下方へ変化したことが計測されていた場合には、上方の縁部に寄せるといった具合である。プレーヤは、表示モードの切り替え前に表示されていた拡張現実オブジェクトＡＲｎが、ゲーム画面２０の縁部に寄せられたその様子から、表示モードが変わったことを理解する。
【0082】
但し、「キャラクタ」タイプの拡張現実オブジェクトＡＲｎ（図４の例では拡張現実オブジェクトＡＲ８）については、ユーザ端末１５００は、当該オブジェクトの画像を所定の表示位置に表示させるように制御する。具体的には、第２表示モードへ切り替える前の第１表示モードで表示されていた当該オブジェクトの表示位置に、当該オブジェクトの画像を表示させる。
【0083】
また、操作アイコン２２についても、第２表示モードに切り替わっても、第１表示モードと同じ表示位置に同じように表示させる。
【0084】
第２の通知は、ゲームイベントの発生により実現される。すなわち、第２表示モードへの切り替えを行うと、ユーザ端末１５００は、所与のゲームイベントを発動させる。ゲームイベントの内容は、適宜設定可能である。例えば、表示されている拡張現実オブジェクトＡＲｎがキャラクタオブジェクトである場合には、当該キャラクタに関する動画の再生や、当該キャラクタの特別なモーションの実行、当該キャラクタを用いたミニゲーム（例えば、ジャンケンゲームなど）を実行するとしてもよい。図５の例では、ジャンケンゲームのイベントが発動した様子を描いており、イベント通知２３がポップアップ表示されている。なお、本実施形態では、ユーザ端末１５００が、切り替え前のユーザ端末１５００の位置や姿勢の計測結果に基づいてゲームイベントの内容を変更する。
【0085】
そして、第２表示モード中に、プレーヤ２が撮影方向を変化させ、ユーザ端末１５００がその位置・姿勢の変化を検出したとしても、ユーザ端末１５００は、第１表示モードのように当該変化に応じて表示画像中の拡張現実オブジェクトＡＲｎの表示位置を変化させることはせず、表示位置を保持し続ける。つまり、リアルタイムに拡張現実オブジェクトＡＲｎを随時選択して、カメラで撮影している撮影中画像２１に合成して表示することは、一時休止になる。
【0086】
第１表示モードから第２表示モードへの切り替えは、操作アイコン２２のうち小休止操作を実行させるアイコン（図４の例では、「ポーズ」と書かれた第３の操作アイコン２２ｃ）をタッチ操作することで実行されるが、所定の条件が満たされることでも自動的に実行される。
【0087】
自動的な実行のための条件を「小休止切替条件」と言う。そして、本実施形態の「小休止切替条件」は、幾つかのサブ条件のＡＮＤ又はＯＲで組み合わせることで定義される。小休止切替条件を記述するサブ条件としては次の例を用いることができる。
【0088】
第１のサブ条件は、第１表示モードで表示されている拡張現実オブジェクトＡＲｎについての条件であって「表示中オブジェクト条件」と呼べる。
例えば、表示中オブジェクト条件５２２ａは、例えば「レベル「１」以上のキャラクタが表示中」「表示されているオブジェクト数が５個以上」などとすることができる。
また例えば、第１表示モードにおいてキャラクタオブジェクト（タイプが「キャラクタ」である拡張現実オブジェクトＡＲｎ）の画像が表示されていて、且つ、当該キャラクタオブジェクトの特性情報が所与の条件を満たす」とすることができる。
ここで言う「特性情報」とは、キャラクタオブジェクトに対応付けられているレベルおよび／又は属性の情報を含む。例えば、「レベル１以上（ｍは自然数）」「全属性」「レベル５以上で火属性」などである。
例えば、表示中オブジェクト条件５２２ａは、例えば「レベル「１」以上のキャラクタが表示中」「表示されているオブジェクト数が５個以上」などとすることができる。
また例えば、第１表示モードにおいてキャラクタオブジェクト（タイプが「キャラクタ」である拡張現実オブジェクトＡＲｎ）の画像が表示されていて、且つ、当該キャラクタオブジェクトの特性情報が所与の条件を満たす」とすることができる。
ここで言う「特性情報」とは、キャラクタオブジェクトに対応付けられているレベルおよび／又は属性の情報を含む。例えば、「レベル１以上（ｍは自然数）」「全属性」「レベル５以上で火属性」などである。
【0089】
第２のサブ条件は、ゲーム進行状況についての条件であって「ゲーム進行条件」と呼べる。ゲーム進行条件５２２ｂは、例えば、「獲得済キャラクタ数が「１０」以上「２０」未満」「イベントクリア数「５」以上」などとすることができる。勿論、これら以外のパラメータも用いることができる。特性情報を用いることもできる。
【0090】
第３のサブ条件は、撮影方向に関する条件であって「撮影方向条件」と呼べる。
撮影方向条件５２２ｃは、撮影方向の現状や、撮影方向の変化に関する条件として記述することができる。例えば「北を中心に東西４５°範囲を向いている」などと設定することができる。また、「位置姿勢計測機能の計測結果に基づき算出される撮影方向が、所定の撮影方向変化条件を満たす」などと設定することができる。
撮影方向条件５２２ｃは、撮影方向の現状や、撮影方向の変化に関する条件として記述することができる。例えば「北を中心に東西４５°範囲を向いている」などと設定することができる。また、「位置姿勢計測機能の計測結果に基づき算出される撮影方向が、所定の撮影方向変化条件を満たす」などと設定することができる。
【0091】
ここで言う「撮影方向変化条件」は、位置姿勢計測機能の計測結果に基づき算出される仰俯角に関する撮影方向が、重力方向に近づくように変化した場合の変化角度に基づいて定めると好適である。
例えば、図６に示すように「（１）撮影方向Ｄｐが所定の許容範囲Ｗ１内（例えば、水平方向を０°として、俯角側をマイナス、仰角側をプラスとした場合に、マイナス５°～プラス８０°）に収まり、（２）撮影方向Ｄｐの変化が所定範囲Ｗ２内（例えば、３°以内）に収まる状態が所定時間（例えば、１０秒）以上継続した後に、（３）下方に向けて所定の基準値（例えば１０°）を超える変化ΔＤｐをし、且つ、（４）撮影位置が降下するような加速度変化ΔＧｚを検出した」場合、とすることができる。
例えば、図６に示すように「（１）撮影方向Ｄｐが所定の許容範囲Ｗ１内（例えば、水平方向を０°として、俯角側をマイナス、仰角側をプラスとした場合に、マイナス５°～プラス８０°）に収まり、（２）撮影方向Ｄｐの変化が所定範囲Ｗ２内（例えば、３°以内）に収まる状態が所定時間（例えば、１０秒）以上継続した後に、（３）下方に向けて所定の基準値（例えば１０°）を超える変化ΔＤｐをし、且つ、（４）撮影位置が降下するような加速度変化ΔＧｚを検出した」場合、とすることができる。
【0092】
また例えば「撮影方向変化条件」は、位置姿勢計測機能の計測結果に基づき算出される仰俯角に関する撮影方向が、第１表示モード用に定められた角度範囲（例えば、水平方向を０°として、マイナス５°～プラス８０°）から、第２表示モード用に定められた角度範囲（例えば、マイナス１５°以下）に変化したこと、として定めることができる。
【0093】
これらの撮影方向変化条件の例を採用した場合、プレーヤがユーザ端末１５００を持つ手を下ろすと、自動的に表示モードを第２表示モードへ切り替えることになる。
例えば、プレーヤが、キャラクタオブジェクトである拡張現実オブジェクトＡＲｎを見つけて、捕獲操作をするためにユーザ端末１５００を持つ手を下ろしたり、好みの構図でキャラクタオブジェクトを撮影するためにユーザ端末１５００を持つ手を下ろすと、自動的に第２表示モードに切り替わることになる。
勿論、単にユーザ端末１５００を持つ手が疲れたので下ろした場合や、他者との衝突を回避するために急に持つ手を下ろした場合でも、自動的に表示モードが切り替わることになる。
例えば、プレーヤが、キャラクタオブジェクトである拡張現実オブジェクトＡＲｎを見つけて、捕獲操作をするためにユーザ端末１５００を持つ手を下ろしたり、好みの構図でキャラクタオブジェクトを撮影するためにユーザ端末１５００を持つ手を下ろすと、自動的に第２表示モードに切り替わることになる。
勿論、単にユーザ端末１５００を持つ手が疲れたので下ろした場合や、他者との衝突を回避するために急に持つ手を下ろした場合でも、自動的に表示モードが切り替わることになる。
【0094】
第４のサブ条件は、ユーザ端末１５００の位置や位置の変化に関する条件であって「位置条件」と呼べる。位置条件５２２ｄは、例えば、「移動速度が基準値（例えば、時速１０ｋｍ）以上」「高度が２０ｍ以上変化」「５秒以上静止又は略静止後に降下したことを検出」などと設定することができる。
【0095】
第５のサブ条件は、ユーザ端末１５００の姿勢や姿勢の変化に関するサブ条件である「姿勢条件」と呼べる。姿勢条件５２２ｅは、例えば「ピッチ角マイナス５°～プラス８０°」「２秒以内にピッチ角マイナス１０°以上変化」「２Ｇ以上の姿勢変化検出」などと設定することができる。
【0096】
本実施形態はゲームであるため、第１のサブ条件「第１表示モードにおいてキャラクタオブジェクトの画像が表示されている」で小休止切替条件を構成するか、又は、少なくとも当該第１のサブ条件を含む小休止切替条件とすると好適である。なお、第１のサブ条件から第５のサブ条件の何れも、実質的に条件が無いことを意味する「条件なし」を設定することができる。
【0097】
第２表示モードから第１表示モードへの切り替えは、操作アイコン２２のうち小休止操作に関するアイコン（図５の例では、第３の操作アイコン２２ｃ）をタッチ操作することで実行されるが、第２表示モードへの切り替えの後に、所定の回復切替条件を満たした場合には自動的に第１表示モードへの切り替えが実行される。
【0098】
ここで言う「回復切替条件」とは、「小休止切替条件」の対となる内容として定めることができる。例えば、回復切替条件は、「位置姿勢計測機能の計測結果に基づき算出される仰俯角に関する撮影方向が、第２表示モードへの切り替え前の状態になったことを示す所定の撮影方向回復条件を満たしたこと」、を少なくとも満たすように定めると好適である。複数のＯＲ条件で回復切替条件を設定する場合は、複数のＯＲ条件のうちの１つの条件に「位置姿勢計測機能の計測結果に基づき算出される仰俯角に関する撮影方向が、第２表示モードへの切り替え前の状態になったことを示す所定の撮影方向回復条件を満たしたこと」とすると好適である。また、ユーザ端末１５００が、第２表示モードに切り替え後の経過時間を経時する構成とするならば「切り替え後から、所定時間経過」をＯＲ条件の１つの条件とするとしてもよい。
【0099】
［機能構成の説明］
図７は、本実施形態におけるユーザ端末１５００の機能構成の一例を示す機能ブロック図である。本実施形態のユーザ端末１５００は、操作入力部１００と、撮影部１２０と、端末処理部２００と、音出力部３９０と、画像表示部３９２と、通信部３９４と、端末記憶部５００と、を備える。
図７は、本実施形態におけるユーザ端末１５００の機能構成の一例を示す機能ブロック図である。本実施形態のユーザ端末１５００は、操作入力部１００と、撮影部１２０と、端末処理部２００と、音出力部３９０と、画像表示部３９２と、通信部３９４と、端末記憶部５００と、を備える。
【0100】
操作入力部１００は、プレーヤ２によってなされた各種の操作入力に応じた操作入力信号を端末処理部２００に出力する。例えば、プッシュスイッチや、ジョイスティック、タッチパッド、トラックボール、などによって実現できる。図２の方向入力キー１５０２や、ボタンスイッチ１５０４、タッチパネル１５０６がこれに該当する。
【0101】
また、本実施形態ではユーザ端末１５００の移動や、姿勢の変化（向きの変化）などもユーザ操作の一部と見なされる。よって、操作入力部１００は、測位部１０２と、方位計測部１０４と、加速度計測部１０６と、姿勢計測部１０８と、を有する。
【0102】
測位部１０２は、ユーザ端末１５００の位置情報を取得し端末処理部２００へ出力する。図２の測位モジュール１５５５がこれに該当する。
【0103】
方位計測部１０４は、ユーザ端末１５００が向いている方位を計測し、端末処理部２００へ出力する。図２の方位センサ１５５４がこれに該当する。
【0104】
加速度計測部１０６は、ユーザ端末１５００に生じた加速度を計測し、端末処理部２００へ出力する。図２の３軸加速度センサ１５５６がこれに該当する。
【0105】
姿勢計測部１０８は、ユーザ端末１５００の姿勢変化を計測し、端末処理部２００へ出力する。図２の３軸ジャイロ１５５７がこれに該当する。
【0106】
撮影部１２０は、外部の様子を撮影し、その画像データを生成して端末処理部２００へ出力する。図２のイメージセンサーユニット１５２０がこれに該当する。
【0107】
端末処理部２００は、例えばＣＰＵやＧＰＵ等のマイクロプロセッサや、ＩＣメモリなどの電子部品によって実現され、操作入力部１００、撮影部１２０、端末記憶部５００を含む各機能部との間でデータの入出力制御を行う。そして、所定のプログラムやデータ、操作入力部１００からの操作入力信号、撮影部１２０で撮影した画像の画像データ、サーバシステム１１００から受信した各種データに基づいて各種の演算処理を実行して、ユーザ端末１５００の動作を制御する。図２の制御基板１５５０がこれに該当する。
【0108】
そして、本実施形態における端末処理部２００は、ゲーム管理部２１０と、計時部２８０と、音生成部２９０と、画像生成部２９２と、通信制御部２９４と、を有する。
【0109】
ゲーム管理部２１０は、ゲームを管理する各種処理を実行する。そして、ゲーム管理部２１０は、撮影中画像保存制御部２１１と、ゲーム進行制御部２１２と、第１表示モード制御部２１４と、第２表示モード制御部２１６と、ゲームイベント制御部２１８と、モード切替制御部２２０と、切替通知制御部２３０と、操作アイコン表示制御部２３２と、を有する。
【0110】
撮影中画像保存制御部２１１は、撮影部１２０で撮影された画像（その時々の撮影中画像）を、過去所定時間分、端末記憶部５００に記憶する制御を行う。いわゆる、リングバッファ制御を行う。保存されている画像が「過去の撮影中画像」となる。
【0111】
ゲーム進行制御部２１２は、キャラクタオブジェクトに基づき進行が変化する所定のゲームを進行制御する。
【0112】
第１表示モード制御部２１４は、撮影部１２０で撮影されている撮影中画像に所与の拡張現実オブジェクトＡＲｎの画像を合成して画像表示部３９２に表示させる第１表示モードの表示制御を行う。その際、位置姿勢計測機能の計測結果の変化に応じて、表示画像中の拡張現実オブジェクトＡＲｎ（キャラクタオブジェクトを含む）の表示位置を変更することで、第１表示モードの表示制御を行う。つまり、測位部１０２によって得られる位置情報、方位計測部１０４で計測される方位、加速度計測部１０６で計測される移動、姿勢計測部１０８で計測される姿勢などの計測結果の変化に応じて、表示させる拡張現実オブジェクトＡＲｎを選択し、その表示位置と表示サイズを逐一更新する制御を繰り返し実行する。
【0113】
第２表示モード制御部２１６は、過去の撮影中画像に拡張現実オブジェクトＡＲｎの画像を合成して画像表示部３９２に表示させる第２表示モードの表示制御を行う。
具体的には、第２表示モード制御部２１６は、過去の撮影中画像として、表示モードの切り替え前の第１表示モードで表示されていた撮影中画像を採用することで第２表示モードの表示制御を行う。また、第２表示モード制御部２１６は、キャラクタオブジェクトである拡張現実オブジェクトＡＲｎの画像については、切り替え前の第１表示モードで表示されていたキャラクタオブジェクトの表示位置に表示させるように表示制御を行う。位置情報オブジェクトである拡張現実オブジェクトＡＲｎの画像については、第２表示モード制御部２１６は、切り替え前の第１表示モードで表示されていた撮影中画像に、当該第１表示モードで表示されていた当該位置情報オブジェクトの画像を、表示位置を変化させて合成して画像表示部３９２に表示させる。
具体的には、第２表示モード制御部２１６は、過去の撮影中画像として、表示モードの切り替え前の第１表示モードで表示されていた撮影中画像を採用することで第２表示モードの表示制御を行う。また、第２表示モード制御部２１６は、キャラクタオブジェクトである拡張現実オブジェクトＡＲｎの画像については、切り替え前の第１表示モードで表示されていたキャラクタオブジェクトの表示位置に表示させるように表示制御を行う。位置情報オブジェクトである拡張現実オブジェクトＡＲｎの画像については、第２表示モード制御部２１６は、切り替え前の第１表示モードで表示されていた撮影中画像に、当該第１表示モードで表示されていた当該位置情報オブジェクトの画像を、表示位置を変化させて合成して画像表示部３９２に表示させる。
【0114】
ゲームイベント制御部２１８は、第２表示モードへの切り替えが行われた場合に所与のゲームイベントを発動させる。その際、ゲームイベント制御部２１８は、切り替え前の位置姿勢計測機能の計測結果に基づいてゲームイベントの内容を変更することができる。
【0115】
モード切替制御部２２０は、第１表示モードと、第２表示モードとの間で表示モードの切り替え制御を行う。
具体的には、モード切替制御部２２０は、小休止切替部２２２を有する。
小休止切替部２２２は、小休止切替条件を満たした場合に、第１表示モードから第２表示モードへの切り替えを行う。本実施形態では、第１表示モードにおいて表示されているキャラクタオブジェクトに設定され得る特性情報に応じた複数種類の小休止切替条件が用意されており、小休止切替部２２２は、第１表示モードにおいて表示されているキャラクタオブジェクトの特性情報に応じた種類の小休止切替条件を満たす場合に、第１表示モードから第２表示モードへ切り替える制御を行う。
具体的には、モード切替制御部２２０は、小休止切替部２２２を有する。
小休止切替部２２２は、小休止切替条件を満たした場合に、第１表示モードから第２表示モードへの切り替えを行う。本実施形態では、第１表示モードにおいて表示されているキャラクタオブジェクトに設定され得る特性情報に応じた複数種類の小休止切替条件が用意されており、小休止切替部２２２は、第１表示モードにおいて表示されているキャラクタオブジェクトの特性情報に応じた種類の小休止切替条件を満たす場合に、第１表示モードから第２表示モードへ切り替える制御を行う。
【0116】
また、モード切替制御部２２０は、回復切替部２２４を有する。
回復切替部２２４は、第２表示モードへの切り替えの後に、所定の回復切替条件を満たした場合に、第２表示モードから第１表示モードへと切り替える制御を行う。
回復切替部２２４は、第２表示モードへの切り替えの後に、所定の回復切替条件を満たした場合に、第２表示モードから第１表示モードへと切り替える制御を行う。
【0117】
切替通知制御部２３０は、第２表示モードへの切り替えが行われた場合に、切り替えが行われた旨の通知を行う。本実施形態では、第２表示モードにて、切り替え前に第１表示モードで表示されていた拡張現実オブジェクトＡＲｎについて、その表示位置を、第１表示モードにおける表示位置から変化させることで、第１の通知としている。よって、切替通知制御部２３０の機能の一部は、第２表示モード制御部２１６の機能によって実現される。
【0118】
操作アイコン表示制御部２３２は、表示モードの切り替えに関わらず、所与の操作アイコンを画像表示部３９２の所定位置に表示する制御を行う。
【0119】
計時部２８０は、システムクロックを利用して現在日時や制限時間等の計時を行う。
【0120】
音生成部２９０は、例えばデジタルシグナルプロセッサ（ＤＳＰ）や、音声合成ＩＣなどのプロセッサ、音声ファイルを再生可能なオーディオコーデック等によって実現され、ゲームに係る効果音やＢＧＭ、各種操作音の音信号を生成し、音出力部３９０に出力する。
音出力部３９０は、音生成部２９０から入力される音信号に基づいて効果音やＢＧＭ等を音出力する装置によって実現される。図２のスピーカ１５１０がこれに該当する。
音出力部３９０は、音生成部２９０から入力される音信号に基づいて効果音やＢＧＭ等を音出力する装置によって実現される。図２のスピーカ１５１０がこれに該当する。
【0121】
画像生成部２９２は、ゲーム画像等の画像を生成することができる。画像を表示させるための信号を画像表示部３９２へ出力する。
画像表示部３９２は、ゲーム画面表示制御部２６２から入力される画像信号に基づいて各種ゲーム画像を表示する。例えば、フラットパネルディスプレイ、ヘッドマウントディスプレイといった画像表示装置によって実現できる。本実施形態では、図２のタッチパネル１５０６がこれに該当する。
画像表示部３９２は、ゲーム画面表示制御部２６２から入力される画像信号に基づいて各種ゲーム画像を表示する。例えば、フラットパネルディスプレイ、ヘッドマウントディスプレイといった画像表示装置によって実現できる。本実施形態では、図２のタッチパネル１５０６がこれに該当する。
【0122】
通信制御部２９４は、データ通信に係るデータ処理を実行し、通信部３９４を介して外部装置とのデータのやりとりを実現する。
通信部３９４は、通信回線９と接続して通信を実現する。例えば、無線通信機、モデム、ＴＡ（ターミナルアダプタ）、有線用の通信ケーブルのジャックや制御回路等によって実現され、図２の無線通信モジュール１５５３がこれに該当する。
通信部３９４は、通信回線９と接続して通信を実現する。例えば、無線通信機、モデム、ＴＡ（ターミナルアダプタ）、有線用の通信ケーブルのジャックや制御回路等によって実現され、図２の無線通信モジュール１５５３がこれに該当する。
【0123】
端末記憶部５００は、端末処理部２００にユーザ端末１５００を統合的に制御させるための諸機能を実現するためのプログラムや、各種データ等を記憶する。また、端末処理部２００の作業領域として用いられ、端末処理部２００が各種プログラムに従って実行した演算結果や操作入力部１００から入力される入力データ等を一時的に記憶する。こうした機能は、例えばＲＡＭやＲＯＭなどのＩＣメモリ、ハードディスク等の磁気ディスクなどによって実現される。図２の制御基板１５５０が搭載するＩＣメモリ１５５２やメモリカード１５４０がこれに該当する。オンラインストレージを利用する構成も可能である。
【0124】
図８は、端末記憶部５００が記憶するプログラムやデータの例を示す図である。端末記憶部５００は、ゲームプログラム５０２と、拡張現実オブジェクト定義データ５１０と、小休止切替条件定義データ５２０と、通知パターン定義データ５３０と、第１表示モード定義データ５４０と、第２表示モード定義データ５４２と、プレイデータ７００と、現在日時８００と、を含む。勿論、これら以外のプログラムやデータも適宜含めることができる。
【0125】
ゲームプログラム５０２は、端末処理部２００が読み出して実行することで、ゲーム管理部２１０としての機能を実現させるためのプログラムである。
【0126】
拡張現実オブジェクト定義データ５１０は、拡張現実オブジェクトＡＲｎ毎に用意され、当該オブジェクトに係る各種設定データを格納する。オリジナルデータは、サーバシステム１１００にて管理されており、ユーザ端末１５００は定期的に拡張現実オブジェクト定義データ５１０をサーバシステム１１００からダウンロードして更新する。
【0127】
１つの拡張現実オブジェクト定義データ５１０は、例えば図９に示すように、固有のオブジェクトＩＤ５１１と、タイプ５１２と、設定位置座標５１３と、オブジェクトデータ５１４と、固有通知制御データ５１５と、特性情報５１６と、を含む。勿論、これら以外のデータも適宜含めることができる。
【0128】
固有通知制御データ５１５は、表示モードが第１表示モードから第２表示モードに変更されたことをプレーヤへ通知するためのデータであって、当該オブジェクトに固有の通知を実現するためのデータである。例えば、当該オブジェクトが、位置情報オブジェクトであれば、表示形態の変更パターンや、ジャンピングなどのモーション、を実現するためのデータを設定することができる。当該オブジェクトが、キャラクタオブジェクトであれば、当該キャラクタの２次元画像を表示するいわゆるカットイン画像、キャラクタに特別なモーションを実現させるためのデータ、などを設定することができる。
【0129】
特性情報５１６は、当該オブジェクトに関連する情報を格納する。例えば、当該オブジェクトが、位置情報オブジェクトであって、例えば店舗位置を示すオブジェクトならば、店舗のウェブサイトのＵＲＬ、店舗の開店時間や連絡先のテキスト、店舗の外観画像、などのデータを設定することができる。当該オブジェクトが、キャラクタオブジェクトであれば、当該キャラクタの種類、レベル、属性、などのデータを設定することができる。
【0130】
なお、ユーザ端末１５００は、位置情報オブジェクトの拡張現実オブジェクトＡＲｎが表示されていて、プレーヤがこれをタッチ操作したことを検出すると、特性情報５１６がＵＲＬを含むならばウェブブラウザを起動させ、テキストを含むならば、それをポップアップ表示することができる。
【0131】
図８に戻って、小休止切替条件定義データ５２０は、小休止切替条件の種類毎に用意され、当該条件についての各種データを格納する。
１つの小休止切替条件定義データ５２０は、例えば図１０に示すように、固有の切替条件ＩＤ５２１と、小休止切替条件５２２と、を含む。勿論、これら以外のデータも適宜含めることができる。
１つの小休止切替条件定義データ５２０は、例えば図１０に示すように、固有の切替条件ＩＤ５２１と、小休止切替条件５２２と、を含む。勿論、これら以外のデータも適宜含めることができる。
【0132】
小休止切替条件５２２は、小休止切替条件の内容を定義する。小休止切替条件５２２は、例えば、
１）第１表示モードで表示されている拡張現実オブジェクトＡＲｎについてのサブ条件である表示中オブジェクト条件５２２ａと、
２）ゲーム進行状況についてのサブ条件であるゲーム進行条件５２２ｂと、
３）撮影方向に関するサブ条件である撮影方向条件５２２ｃと、
４）ユーザ端末１５００の位置や位置の変化に関するサブ条件である位置条件５２２ｄと、
５）ユーザ端末１５００の姿勢や姿勢の変化に関するサブ条件である姿勢条件５２２ｅと、
を含む。勿論、これら以外のサブ条件も適宜利用できる。また、小休止切替条件５２２には、各サブ条件をＯＲ条件とするか、ＡＮＤ条件とするかの情報が含まれる。
１）第１表示モードで表示されている拡張現実オブジェクトＡＲｎについてのサブ条件である表示中オブジェクト条件５２２ａと、
２）ゲーム進行状況についてのサブ条件であるゲーム進行条件５２２ｂと、
３）撮影方向に関するサブ条件である撮影方向条件５２２ｃと、
４）ユーザ端末１５００の位置や位置の変化に関するサブ条件である位置条件５２２ｄと、
５）ユーザ端末１５００の姿勢や姿勢の変化に関するサブ条件である姿勢条件５２２ｅと、
を含む。勿論、これら以外のサブ条件も適宜利用できる。また、小休止切替条件５２２には、各サブ条件をＯＲ条件とするか、ＡＮＤ条件とするかの情報が含まれる。
【0133】
図８に戻って、通知パターン定義データ５３０は、表示モードが切り替わったことをプレーヤに通知する通知パターン毎に用意され、当該通知パターンを実現するための各種設定を格納する。１つの通知パターン定義データ５３０は、例えば図１１に示すように、固有のパターンＩＤ５３１と、当該通知パターンが適用されるために満たすべき適用要件５３２と、適用通知パターンの内容を示すパターン内容５３３と、を含む。勿論、これら以外のデータも適宜含めることができる。
【0134】
適用要件５３２は、小休止切替条件定義データ５２０の小休止切替条件５２２と同様の単数のサブ条件、複数のサブ条件のＡＮＤ又はＯＲ、で記述される。
【0135】
パターン内容５３３は、通知を実行するために必要なデータを格納する。例えば、適用要件５３２が、ある特定のキャラクタが第１表示モードで表示されていることである通知パターン定義データ５３０については、当該キャラクタの固有通知制御データ５１５を利用することを、パターン内容５３３として設定することができる。例えば、固有通知制御データ５１５でモーションが定義されていた場合には、当該キャラクタにそのモーションを行わせるように表示制御することで、通知を実現する。また、あるゲームイベントを発生させる場合には、当該ゲームイベントを実行するためのデータがパターン内容５３３に設定され、当該ゲームイベントを実行することで通知を実現する。
【0136】
図８に戻って、第１表示モード定義データ５４０は、第１表示モードにおいて、拡張現実オブジェクトＡＲｎをどの位置にどのサイズで表示するかを決定するための各種データを格納する。例えば、表示位置（第１表示位置）を決定するための関数である第１表示位置算出関数と、表示サイズ（第１表示サイズ）を決定するための関数である第１表示サイズ決定関数と、を含む。勿論、これら以外のデータも適宜含めることができる。
【0137】
第２表示モード定義データ５４２は、第２表示モードにおいて、拡張現実オブジェクトＡＲｎをどの位置にどのサイズで表示するかを決定するための各種データを格納する。例えば、表示位置（第２表示位置）を決定するための関数である第２表示位置算出関数と、表示サイズ（第２表示サイズ）を決定するための関数である第２表示サイズ決定関数と、を含む。勿論、これら以外のデータも適宜含めることができる。
【0138】
プレイデータ７００は、ゲーム進行状況を記述する各種データを格納する。
例えば、プレイ開始日時７０１と、捕獲済キャラクタオブジェクトＩＤリスト７０３と、拡張現実管理データ７１０と、を含む。勿論、これら以外のデータも適宜含めることができる。
例えば、プレイ開始日時７０１と、捕獲済キャラクタオブジェクトＩＤリスト７０３と、拡張現実管理データ７１０と、を含む。勿論、これら以外のデータも適宜含めることができる。
【0139】
拡張現実管理データ７１０は、拡張現実オブジェクトＡＲｎの表示を管理するための各種データを格納する。拡張現実管理データ７１０は、例えば図１２に示すように、最新位置座標７１１と、最新方位７１２と、最新姿勢７１３と、最新撮影方向７１４と、最新撮影範囲７１５と、撮影中画像を一定時間分保存するためのリングバッファ７２０と、表示対象オブジェクトＩＤリスト７２１と、オブジェクト管理データ７３０と、第１表示モードおよび第２表示モードの何れが設定されているかを示す現在表示モード７４０と、小休止切替条件判定用データ７４１と、切替日時７４２と、回復切替条件判定用データ７４３と、を含む。勿論、これら以外のデータも適宜含めることができる。
【0140】
表示対象オブジェクトＩＤリスト７２１は、拡張現実オブジェクト定義データ５１０で定義される拡張現実オブジェクトＡＲｎのうち、その時々の最新撮影方向７１４と最新撮影範囲７１５とに基づいて撮影中画像内に表示させる表示対象として選択された拡張現実オブジェクトＡＲｎのオブジェクトＩＤのリストである。
【0141】
オブジェクト管理データ７３０は、表示対象とされる拡張現実オブジェクトＡＲｎ毎に用意され、その表示制御に係る各種データを格納する。１つのオブジェクト管理データ７３０は、固有のオブジェクトＩＤ７３１と、表示位置７３２と、表示サイズ７３３と、表示動作７３４と、を含む。勿論、これら以外のデータも適宜含めることができる。
【0142】
小休止切替条件判定用データ７４１は、小休止切替条件が満たされているか否かを判定するために必要とされるデータを格納する。本実施形態では、撮影方向が安定している時間を含む小休止切替条件が設定されているので、例えば撮影方向の変化が所定の誤差条件を満たす範囲内をキープしている時間である安定時間をカウントするカウンタ値が格納される。
【0143】
切替日時７４２は、第１表示モードから第２表示モードへの切り替えが実行されたタイミングの現在日時８００が格納される。
【0144】
回復切替条件判定用データ７４３は、回復切替条件を判定するためのデータが格納される。本実施形態では、位置姿勢計測機能の計測結果に基づき算出される仰俯角に関する撮影方向が、第２表示モードへの切り替え前の状態になったことを示す所定の撮影方向回復条件を満たしたこと、とする回復切替条件が少なくとも設定されるので、回復切替条件判定用データ７４３には、第２表示モードへの切り替え前の撮影方向が格納される。
【0145】
［動作の説明］
次に、ユーザ端末１５００における処理の流れについて説明する。ここで説明する処理の流れは、本実施形態では端末処理部２００がゲームプログラム５０２を実行することにより実現される。
次に、ユーザ端末１５００における処理の流れについて説明する。ここで説明する処理の流れは、本実施形態では端末処理部２００がゲームプログラム５０２を実行することにより実現される。
【0146】
なお、フローチャートでは省略されているが、ゲームが開始されて以降、操作アイコン２２へのタッチ操作が検出されると、ユーザ端末１５００は、その都度、タッチ操作された操作アイコン２２に応じた処理を実行する操作対応処理を実行するものとする。
例えば、表示対象である拡張現実オブジェクトＡＲｎにキャラクタオブジェクトが含まれていて、且つ、所定のキャッチ操作入力を検出したならば、ユーザ端末１５００は、当該キャラクタオブジェクトを獲得済に設定する。つまり、ゲームを進行させる。
例えば、表示対象である拡張現実オブジェクトＡＲｎにキャラクタオブジェクトが含まれていて、且つ、所定のキャッチ操作入力を検出したならば、ユーザ端末１５００は、当該キャラクタオブジェクトを獲得済に設定する。つまり、ゲームを進行させる。
【0147】
また例えば、表示対象である拡張現実オブジェクトＡＲｎに位置情報オブジェクトが含まれていて、プレーヤがその画像にタッチ操作したことが検出されると、ユーザ端末１５００は、当該拡張現実オブジェクトＡＲｎの特性情報をプレーヤに提供する処理（例えば、特性情報の示すＵＲＬのウェブサイトの表示、特性画像の表示、など）を実行する。その他の操作アイコン２２についてもそれぞれに対応付けられている処理が実行されるものとする。
【0148】
図１３は、ユーザ端末１５００における処理の流れを説明するためのフローチャートである。ユーザ端末１５００は、先ず位置認識型の拡張現実を実現するための基礎情報の周期的で連続的な取得を開始する（ステップＳ１０）。
具体的には、ユーザ端末１５００は、測位モジュール１５５５により測位を開始し、方位センサ１５５４により撮影方向の方位の計測を開始し、３軸ジャイロ１５５７によるユーザ端末１５００の姿勢の計測を開始し、３軸加速度センサ１５５６による加速度の計測を開始する。
具体的には、ユーザ端末１５００は、測位モジュール１５５５により測位を開始し、方位センサ１５５４により撮影方向の方位の計測を開始し、３軸ジャイロ１５５７によるユーザ端末１５００の姿勢の計測を開始し、３軸加速度センサ１５５６による加速度の計測を開始する。
【0149】
次に、ユーザ端末１５００は、カメラでの撮影を開始し、撮影中画像のリングバッファ７２０への保存制御を開始する（ステップＳ１２）。また、ユーザ端末１５００は、最新撮影方向７１４と、最新撮影範囲７１５の逐次更新を開始して（ステップＳ１４）、ゲーム進行制御を開始する（ステップＳ１６）。
【0150】
次に、ゲームを開始したならば、ユーザ端末１５００は、表示対象とする拡張現実オブジェクトＡＲｎを選択して、選択結果を表示対象オブジェクトＩＤリスト７２１に格納する（ステップＳ２０）。
そして、ユーザ端末１５００は、表示対象である拡張現実オブジェクトＡＲｎそれぞれについて表示位置と表示サイズを第１表示モード定義データ５４０に基づいて決定する（ステップＳ２２）。これに伴い、表示対象である拡張現実オブジェクトＡＲｎのうち、対応するオブジェクト管理データ７３０が無いオブジェクトについては、新たにオブジェクト管理データ７３０が作成される。
そして、ユーザ端末１５００は、表示対象である拡張現実オブジェクトＡＲｎそれぞれについて表示位置と表示サイズを第１表示モード定義データ５４０に基づいて決定する（ステップＳ２２）。これに伴い、表示対象である拡張現実オブジェクトＡＲｎのうち、対応するオブジェクト管理データ７３０が無いオブジェクトについては、新たにオブジェクト管理データ７３０が作成される。
【0151】
そして、ユーザ端末１５００は、ゲーム画面を表示する（ステップＳ２４）。具体的には、撮影中画像２１に表示対象である拡張現実オブジェクトＡＲｎの画像を合成し、操作アイコン２２を配置してゲーム画面としてこれを表示する。
【0152】
ユーザ端末１５００は、次に、小休止操作の入力を検出したか、又は小休止切替条件が満たされたかを判定する（ステップＳ６０）。具体的には、ユーザ端末１５００は、小休止切替操作に対応する第３の操作アイコン２２ｃへのタッチ操作を検出した場合は肯定判定する。また、小休止切替条件定義データ５２０（図１０参照）のうち何れかの小休止切替条件５２２が満たされている場合も肯定判定する。
【0153】
そして、肯定の場合（ステップＳ６０のＹＥＳ）、ユーザ端末１５００は、表示対象とする拡張現実オブジェクトＡＲｎの選択処理を一時休止し（ステップＳ６２）、現在表示モード７４０を「２」に設定し、切替日時７４２に現在日時８００を設定し、回復切替条件判定用データ７４３を設定する（ステップＳ６４）。
【0154】
次いで、ユーザ端末１５００は、最新の撮影中画像に代えて過去の撮影中画像を使用したゲーム画面を表示し（ステップＳ６５）、表示対象である拡張現実オブジェクトＡＲｎの表示位置と表示サイズとを第２表示モード定義データ５４２に基づいて更新する（ステップＳ６６）。
【0155】
次に、ユーザ端末１５００は、通知パターンの選択と通知表示を行う（ステップＳ６８）。具体的には、通知パターン定義データ５３０（図１１参照）の中から、適用要件５３２が満たされている定義データを検索し、検索された定義データのパターン内容５３３を参照し、その定めに従って第２の通知を実行する。パターン内容５３３にゲームイベントが設定されている場合には、当該ゲームイベントを発動させる。
【0156】
次いで、ユーザ端末１５００は、所定のゲーム終了条件が満たされているかを判定する。
もし、ゲーム終了条件が満たされておらず（ステップＳ８０のＮＯ）且つ、現在の表示モードが第１表示モードならば（ステップＳ８２の第１）、ユーザ端末１５００はステップＳ２０に戻り、第１表示モードのままゲーム進行制御を続ける。
もし、ゲーム終了条件が満たされておらず（ステップＳ８０のＮＯ）且つ、現在の表示モードが第１表示モードならば（ステップＳ８２の第１）、ユーザ端末１５００はステップＳ２０に戻り、第１表示モードのままゲーム進行制御を続ける。
【0157】
もし、ゲーム終了条件が満たされておらず（ステップＳ８０のＮＯ）且つ、現在の表示モードが第２表示モードならば（ステップＳ８２の第２）、ユーザ端末１５００は回復切替条件が満たされているかを判定する（ステップＳ８４）。そして、回復切替条件が満たされているならば（ステップＳ８４のＹＥＳ）、ステップＳ２０に戻る。もし、回復切替条件が満たされていないならば（ステップＳ８４のＮＯ）、ステップＳ６５に戻る。
【0158】
もし、ゲーム終了条件が満たされれば（ステップＳ８０のＹＥＳ）、ユーザ端末１５００は、一連の処理を終了する。
【0159】
以上、本実施形態によれば、その時々で撮影されている現実世界の画像である撮影中画像に拡張現実オブジェクトを合成表示する第１表示モードと、過去の撮影中画像に拡張現実オブジェクトを合成表示した第２表示モードとを切り替えることができる。例えば、第１表示モードであるときに撮影方向を一時的に変える状況にあっても、第２表示モードに切り替えることで、撮影方向を変える前に表示されていた拡張現実オブジェクトの表示を維持され、しかも過去の撮影中画像にその拡張現実オブジェクトが合成表示される。このため、撮影方向を一時的に変える場合の不便を低減できる。
【0160】
また、第２表示モードにおいて、第２表示モードに切り替えられる前の撮影中画像が表示されるため、第２表示モードへの切り替え前の表示を一時保持（ポーズ）したかのようにユーザに見せることができる。
【0161】
また、拡張現実オブジェクトがキャラクタオブジェクトである場合、第２表示モードに切り替えられた後は、切り替え前の第１表示モードで表示されていたキャラクタオブジェクトの表示位置と同じ表示位置に同じキャラクタオブジェクトが表示されることとなる。よって、ユーザにとっては、キャラクタオブジェクトの表示位置が変化しないため、第２表示モードに切り替わったときに便宜である。
【0162】
また、位置情報オブジェクトの表示位置を、第１表示モードと第２表示モードとで異なるようにすることができる。これにより、例えば、表示モードが変わっていることをユーザに認識させ易い、といった効果が得られる。
【0163】
また、撮影方向の変化が所定の撮影方向変化条件を満たす場合に、自動的に第１表示モードから第２表示モードへの切り替えを実行できるようになる。
【0164】
また、撮影方向の仰俯角が重力方向に近づくように変化した場合に、自動的に第２表示モードへの切り替えを実行できるようになる。このため、例えば、腕が疲れて思わず腕を下ろしてしまって撮影方向が変わった場合に、自動的に第２表示モードに切り替えることができる。
【0165】
また、ユーザは、撮影方向の仰俯角を変化させることで、ボタン操作やタッチ操作などを行わずとも、第２表示モードへの切り替えを実行させることができるようにもなる。
【0166】
また、キャラクタオブジェクトの特性情報に基づいて、表示モードの切り替えが行われる条件を多様化できる。例えば、レベルの低いキャラクタオブジェクトは、簡単に小休止切替条件が満たされるが、レベルの高いキャラクタオブジェクトでは、そう簡単には小休止切替条件が満たさないように設定できるので、ゲームのやりごたえ感を醸成する仕組みとすることができ、ゲームの興趣性を向上させることができる。
【0167】
また、第２表示モードへの切り替えにともないゲームイベントを発動させることで、第２表示モードに切り替わったことを分かり易くユーザに報せることができる。加えて、第２表示モードへの切り替わりをゲーム進行演出の節目として利用し、ゲームを盛り上げることができる。
【0168】
また、第２表示モードへの切り替え前の位置姿勢計測機能の計測結果に基づいてゲームイベントの内容を変更することができるので、ゲームイベントに係る多様性を高め、興趣性のあるゲームとすることができる。
【0169】
また、第２表示モードから第１表示モードの回復に、位置姿勢計測機能の計測結果に基づき算出される仰俯角に関する撮影方向が、第２表示モードへの切り替え前の状態になったことを示す所定の撮影方向回復条件を満たしたこと、を少なくとも含む、ので、プレーヤがユーザ端末１５００の向きや姿勢を撮影方向の仰俯角が第２表示モードへの切り替え前の状態に戻すと、第１表示モードに戻せるようになる。よって、表示モードの切り替えがユーザに直感的に理解し易くなる。
【0170】
また、表示モードの切り替えに関わらず、所与の操作アイコンを所定位置に表示することができるので、表示モードに係わらず、例えば、設定の変更、別機能の呼び出し、記念撮影、などといった操作アイコンを表示部の所定位置に表示することができる。
【0171】
〔第２実施形態〕
次に、本発明を適用した第２実施形態について説明する。本実施形態は、基本的には第１実施形態と同様に実現されるが、ゲーム管理に係る処理主体がサーバシステム１１００である点が異なる。つまり、本実施形態におけるゲームは、一種のクライアント・サーバ型のオンラインゲームとして実現される。なお、以降では、主に第１実施形態との差異について述べることとし、第１実施形態と同様の構成要素については同じ符号を付与して説明は省略するものとする。
次に、本発明を適用した第２実施形態について説明する。本実施形態は、基本的には第１実施形態と同様に実現されるが、ゲーム管理に係る処理主体がサーバシステム１１００である点が異なる。つまり、本実施形態におけるゲームは、一種のクライアント・サーバ型のオンラインゲームとして実現される。なお、以降では、主に第１実施形態との差異について述べることとし、第１実施形態と同様の構成要素については同じ符号を付与して説明は省略するものとする。
【0172】
図１４は、本実施形態におけるサーバシステム１１００の機能構成例を示す機能ブロック図である。本実施形態におけるサーバシステム１１００は、操作入力部１００ｓと、サーバ処理部２００ｓと、音出力部３９０ｓと、画像表示部３９２ｓと、通信部３９４ｓと、サーバ記憶部５００ｓとを備える。
【0173】
操作入力部１００ｓは、サーバの管理のための各種操作を入力するための手段である。図１のキーボード１１０６がこれに該当する。
【0174】
サーバ処理部２００ｓは、例えばＣＰＵやＧＰＵ等のマイクロプロセッサや、ＡＳＩＣ、ＩＣメモリなどの電子部品によって実現され、操作入力部１００ｓやサーバ記憶部５００ｓを含む各機能部との間でデータの入出力制御を行う。そして、所定のプログラムやデータ、操作入力部１００ｓからの操作入力信号、ユーザ端末１５００から受信したデータ、等に基づいて各種の演算処理を実行して、サーバシステム１１００の動作を統合的に制御する。
【0175】
そして、本実施形態のサーバ処理部２００ｓは、ユーザ管理部２０２と、ゲーム管理部２１０と、計時部２８８ｓと、音生成部２９０ｓと、画像生成部２９２ｓと、通信制御部２９４ｓとを含む。勿論、これら以外の機能部も適宜含めることができる。
【0176】
ユーザ管理部２０２は、ユーザ登録手続きに係る処理およびユーザアカウントに紐付けられる各ユーザのデータの管理を行う。本実施形態では、ユーザ管理部２０２は、（１）登録ユーザへの固有のユーザアカウントの付与と、（２）ユーザアカウント別に個人情報を登録管理する登録情報管理と、（３）課金要素の支払いで消費される電子決済用の決済媒体の帳簿管理と、（４）ゲームプレイするためのログインおよびログアウトの履歴等を管理するプレイ履歴管理と、（５）ゲームセーブデータの管理と、の各機能を有する。勿論、これら以外のアカウントに紐付けられる他のデータの管理機能も適宜含めることができる。
【0177】
本実施形態のゲームは、クライアント・サーバ型のオンラインゲームなので、本実施形態のゲーム管理部２１０は、ゲーム進行制御並びにユーザ端末１５００と通信を行いながらゲームプレイに必要なデータを提供する制御を行うことができる。
【0178】
計時部２８８ｓは、システムクロックを利用して現在日時や制限時間等の計時を行う。
【0179】
音生成部２９０ｓは、音声データの生成やデコードをするＩＣ等により実現され、サーバシステム１１００のシステム管理やゲームプレイに係る操作音やＢＧＭなどの音声データを生成或いはデコードする。そして、システム管理に関する音声信号は音出力部３９０ｓへ出力する。
【0180】
音出力部３９０ｓは、音声信号を放音する。図１の例では本体装置１１０１やタッチパネル１１０８が備えるスピーカ（不図示）がこれに該当する。
【0181】
画像生成部２９２ｓは、サーバシステム１１００のシステム管理に関する画像や、ゲーム画像（又はゲーム画像をユーザ端末１５００で表示させるためのデータ）等を生成することができる。そして、システム管理に関する画像は画像表示部３９２ｓへ出力することができる。
【0182】
画像表示部３９２ｓは、画像生成部２９２ｓから入力される画像信号に基づいてシステム管理のための各種画像を表示する。例えば、フラットパネルディスプレイ、プロジェクター、ヘッドマウントディスプレイといった画像表示装置によって実現できる。図１の例ではタッチパネル１１０８が該当する。
【0183】
通信制御部２９４ｓは、データ通信に係るデータ処理を実行し、通信部３９４ｓを介して外部装置とのデータのやりとりを実現する。
【0184】
通信部３９４ｓは、通信回線９と接続して通信を実現する。例えば、無線通信機、モデム、ＴＡ（ターミナルアダプタ）、有線用の通信ケーブルのジャックや制御回路等によって実現される。図１の例では通信装置１１５３が該当する。
【0185】
サーバ記憶部５００ｓは、サーバ処理部２００ｓにサーバシステム１１００を統合的に制御させるための諸機能を実現するためのプログラムや各種データ等を記憶する。また、サーバ処理部２００ｓの作業領域として用いられ、サーバ処理部２００ｓが各種プログラムに従って実行した演算結果などを一時的に記憶する。この機能は、例えばＲＡＭやＲＯＭなどのＩＣメモリ、ハードディスク等の磁気ディスク、ＣＤ－ＲＯＭやＤＶＤなどの光学ディスク、オンラインストレージなどによって実現される。図１の例では本体装置１１０１が搭載するＩＣメモリ１１５２やハードディスクなどの記憶媒体、およびストレージ１１４０がこれに該当する。
【0186】
サーバ記憶部５００ｓは、サーバプログラム５０１と、配信用ゲームクライアントプログラム５０３と、拡張現実オブジェクト定義データ５１０と、小休止切替条件定義データ５２０と、通知パターン定義データ５３０と、第１表示モード定義データ５４０と、第２表示モード定義データ５４２と、ユーザ別に用意され登録情報やゲームセーブデータなどを格納するユーザ管理データ６００と、プレイデータ７００と、現在日時８００と、を記憶する。勿論、これら以外のデータも適宜含めることができる。
【0187】
図１５は、本実施形態におけるユーザ端末１５００の機能構成の一例を示す機能ブロック図である。第１実施形態のユーザ端末１５００の機能構成（図７、図８参照）と比較すると、本実施形態ではゲーム管理部２１０が省略されている。代わりに、ユーザ端末演算部２６０を備える。
【0188】
ユーザ端末演算部２６０は、操作信号送信制御部２６１と、ゲーム画面表示制御部２６２とを含む。
【0189】
操作信号送信制御部２６１は、操作入力部１００へなされた操作に応じて、各種データやリクエストをサーバシステム１１００へ送信するための処理を実行する。
【0190】
ゲーム画面表示制御部２６２は、サーバシステム１１００から受信した各種データに基づいてゲーム画面を表示するための制御を行う。ゲーム画面の中には、コンテンツの実行に伴う画面・画像も含まれている。本実施形態では、ゲーム画面の画像データをサーバシステム１１００にて生成する構成とするが、当該画像データを画像生成部２９２で生成する構成も可能である。
【0191】
本実施形態におけるサーバシステム１１００で実行される処理の流れは、第１実施形態におけるユーザ端末１５００におけるそれと基本的に同じであり（図１３参照）、ゲーム管理部２１０をサーバシステム１１００にて実行するのに合わせて、適宜各ステップの実行主体をサーバシステム１１００と読み替えれば良い。
【0192】
本実施形態によれば、第１実施形態と同様の作用効果が得られる。
【0193】
〔変形例〕
以上、本発明を適用した実施形態について説明したが、本発明を適用可能な形態は上記形態に限定されるものではなく適宜構成要素の追加・省略・変更を施すことができる。
以上、本発明を適用した実施形態について説明したが、本発明を適用可能な形態は上記形態に限定されるものではなく適宜構成要素の追加・省略・変更を施すことができる。
【0194】
［変形例その１］
例えば、上記第２実施形態では、クライアント・サーバ型のコンピュータシステムにてオンラインゲームを実現する例を挙げたが、ゲーム装置とも言える複数のユーザ端末１５００（或いはユーザ端末１５００）をピアツーピア接続したコンピュータシステムにおいて実現するとしてもよい。その場合、何れかのユーザ端末１５００に第２実施形態におけるサーバシステム１１００としての機能を担わせる。或いは、複数のユーザ端末１５００でゲーム管理部２１０が有する機能を分担して担う構成としてもよい。
例えば、上記第２実施形態では、クライアント・サーバ型のコンピュータシステムにてオンラインゲームを実現する例を挙げたが、ゲーム装置とも言える複数のユーザ端末１５００（或いはユーザ端末１５００）をピアツーピア接続したコンピュータシステムにおいて実現するとしてもよい。その場合、何れかのユーザ端末１５００に第２実施形態におけるサーバシステム１１００としての機能を担わせる。或いは、複数のユーザ端末１５００でゲーム管理部２１０が有する機能を分担して担う構成としてもよい。
【0195】
［変形例その２］
また、上記実施形態では、位置認識型の拡張現実を利用したゲームを例示したが、ゲーム要素を省略し、観光案内サービスや経路案内サービスのアプリケーションプログラムとして実現してもよい。
また、上記実施形態では、位置認識型の拡張現実を利用したゲームを例示したが、ゲーム要素を省略し、観光案内サービスや経路案内サービスのアプリケーションプログラムとして実現してもよい。
【0196】
［変形例その３］
また、上記実施形態では、第２表示モードにおけるゲーム画面の背景を、過去の撮影中画像とする例を示したが、第１表示モードと同じく最新の撮影中画像を背景として使用する構成も可能である。或いは、記念撮影を実行する操作入力が検出された場合に限定して、第１表示モードと同じく最新の撮影中画像を背景として使用する構成も可能である。
また、上記実施形態では、第２表示モードにおけるゲーム画面の背景を、過去の撮影中画像とする例を示したが、第１表示モードと同じく最新の撮影中画像を背景として使用する構成も可能である。或いは、記念撮影を実行する操作入力が検出された場合に限定して、第１表示モードと同じく最新の撮影中画像を背景として使用する構成も可能である。
【符号の説明】
【0197】
２…プレーヤ
２０…ゲーム画面
２１…撮影中画像
２２…操作アイコン
１０２…測位部
１０６…加速度計測部
１０８…姿勢計測部
１２０…撮影部
２００…端末処理部
２１０…ゲーム管理部
２１１…撮影中画像保存制御部
２１２…ゲーム進行制御部
２１４…第１表示モード制御部
２１６…第２表示モード制御部
２１８…ゲームイベント制御部
２２０…モード切替制御部
２２２…小休止切替部
２２４…回復切替部
２３０…切替通知制御部
２３２…操作アイコン表示制御部
５００…端末記憶部
５０２…ゲームプログラム
５１０…拡張現実オブジェクト定義データ
５１６…特性情報
５２０…小休止切替条件定義データ
５２２…小休止切替条件
５２２ａ…表示中オブジェクト条件
５２２ｂ…ゲーム進行条件
５２２ｃ…撮影方向条件
５２２ｄ…位置条件
５２２ｅ…姿勢条件
５３０…通知パターン定義データ
５４０…第１表示モード定義データ
５４２…第２表示モード定義データ
７００…プレイデータ
７１０…拡張現実管理データ
７１１…最新位置座標
７１４…最新撮影方向
７２０…リングバッファ
７２１…表示対象オブジェクトＩＤリスト
７３０…オブジェクト管理データ
７４１…小休止切替条件判定用データ
７４３…回復切替条件判定用データ
１０００…ゲームシステム
１１００…サーバシステム
１５００…ユーザ端末
１５２０…イメージセンサーユニット
１５５０…制御基板
１５５５…測位モジュール
１５５６…３軸加速度センサ
１５５７…３軸ジャイロ
ＡＲｎ…拡張現実オブジェクト
Ｄｐ…撮影方向
２０…ゲーム画面
２１…撮影中画像
２２…操作アイコン
１０２…測位部
１０６…加速度計測部
１０８…姿勢計測部
１２０…撮影部
２００…端末処理部
２１０…ゲーム管理部
２１１…撮影中画像保存制御部
２１２…ゲーム進行制御部
２１４…第１表示モード制御部
２１６…第２表示モード制御部
２１８…ゲームイベント制御部
２２０…モード切替制御部
２２２…小休止切替部
２２４…回復切替部
２３０…切替通知制御部
２３２…操作アイコン表示制御部
５００…端末記憶部
５０２…ゲームプログラム
５１０…拡張現実オブジェクト定義データ
５１６…特性情報
５２０…小休止切替条件定義データ
５２２…小休止切替条件
５２２ａ…表示中オブジェクト条件
５２２ｂ…ゲーム進行条件
５２２ｃ…撮影方向条件
５２２ｄ…位置条件
５２２ｅ…姿勢条件
５３０…通知パターン定義データ
５４０…第１表示モード定義データ
５４２…第２表示モード定義データ
７００…プレイデータ
７１０…拡張現実管理データ
７１１…最新位置座標
７１４…最新撮影方向
７２０…リングバッファ
７２１…表示対象オブジェクトＩＤリスト
７３０…オブジェクト管理データ
７４１…小休止切替条件判定用データ
７４３…回復切替条件判定用データ
１０００…ゲームシステム
１１００…サーバシステム
１５００…ユーザ端末
１５２０…イメージセンサーユニット
１５５０…制御基板
１５５５…測位モジュール
１５５６…３軸加速度センサ
１５５７…３軸ジャイロ
ＡＲｎ…拡張現実オブジェクト
Ｄｐ…撮影方向
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】