特開 2015-149032 拡張現実提供システム、プログラムおよび拡張現実提供方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2015-149032(P2015-149032A)

(43)【公開日】2015年8月20日

(54)【発明の名称】拡張現実提供システム、プログラムおよび拡張現実提供方法

(51)【国際特許分類】

   G06T 19/00 20110101AFI20150724BHJP

【ＦＩ】

   G06T19/00 G

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

【全頁数】29

(21)【出願番号】特願2014-22949(P2014-22949)

(22)【出願日】2014年2月10日

(71)【出願人】

【識別番号】591128453

【氏名又は名称】株式会社メガチップス

(74)【代理人】

【識別番号】100135002

【弁理士】

【氏名又は名称】松岡 直之

(72)【発明者】

【氏名】佐々木 裕介

【テーマコード（参考）】

5B050

【Ｆターム（参考）】

5B050BA09

5B050DA01

5B050EA19

5B050EA26

5B050FA02

(57)【要約】

【課題】ユーザや周囲の環境といった様々な状況を的確に判断することにより、より柔軟性、汎用性に富んだ拡張現実を実現する技術を提供する。
【解決手段】拡張現実提供システムに、コンテンツ情報１１２を記憶する記憶装置２１と、ユーザにより携帯される携帯端末装置２の現在位置を示す位置情報２１５を取得するとともに、携帯端末装置２の状態を示す状態情報２１６を取得する位置状態取得部２０１と、取得された位置情報２１５および取得された状態情報２１６に応じて、記憶装置２１に記憶されたコンテンツ情報１１２から拡張現実を構成する架空情報２１７を選択する拡張現実構成部２０２と、選択された架空情報２１７を出力することにより、拡張現実を表現する表示部２３とを設ける。
【選択図】図５

【特許請求の範囲】

【請求項1】

コンテンツ情報を記憶する記憶手段と、
ユーザにより携帯される端末装置の現在位置を示す位置情報を取得する位置取得手段と、
前記端末装置の状態を示す状態情報を取得する状態取得手段と、
前記位置取得手段により取得された前記位置情報および前記状態取得手段により取得された前記状態情報に応じて、前記記憶手段に記憶されたコンテンツ情報から拡張現実を構成する架空情報を選択する情報選択手段と、
前記情報選択手段により選択された架空情報を出力することにより、前記拡張現実を表現する出力手段と、
を備える拡張現実提供システム。

【請求項2】

請求項１に記載の拡張現実提供システムであって、
前記端末装置の周辺の環境情報を取得する環境取得手段をさらに備え、
前記情報選択手段は、前記環境取得手段により検出された前記環境情報に応じて、前記記憶手段に記憶されたコンテンツ情報から拡張現実を構成する架空情報を選択する拡張現実提供システム。

【請求項3】

請求項１または２に記載の拡張現実提供システムであって、
時間情報を取得する時間取得手段をさらに備え、
前記情報選択手段は、前記時間取得手段により取得された前記時間情報に応じて、前記記憶手段に記憶されたコンテンツ情報から拡張現実を構成する架空情報を選択する拡張現実提供システム。

【請求項4】

請求項１ないし３のいずれかに記載の拡張堅実システムであって、
前記状態取得手段は、前記位置取得手段により取得された位置情報に基づいて、前記状態情報を取得する拡張現実提供システム。

【請求項5】

請求項１ないし４のいずれかに記載の拡張現実提供システムであって、
前記端末装置の運動に関する慣性情報を取得する運動検出手段をさらに備える拡張現実提供システム。

【請求項6】

請求項５に記載の拡張現実提供システムであって、
前記状態取得手段は、前記運動検出手段により取得された慣性情報に基づいて、前記状態情報を取得する拡張現実提供システム。

【請求項7】

請求項５または６に記載の拡張現実提供システムであって、
前記位置取得手段は、前記運動検出手段により取得された慣性情報に基づいて、前記位置情報を特定する拡張現実提供システム。

【請求項8】

請求項１ないし７のいずれかに記載の拡張現実提供システムであって、
前記出力手段は、画像情報を表示するディスプレイを備え、
前記情報選択手段は、前記状態取得手段により取得された前記状態情報において、前記端末装置を携帯するユーザの前記ディスプレイに対する閲覧状態に応じて、前記架空情報としての画像情報の選択を禁止する拡張現実提供システム。

【請求項9】

ユーザにより携帯されるコンピュータ読み取り可能なプログラムであって、前記コンピュータによって実行されることにより、前記コンピュータを、
コンテンツ情報を記憶する記憶手段と、
前記コンピュータの現在位置を示す位置情報を特定する位置取得手段と、
前記コンピュータの状態を示す状態情報を取得する状態取得手段と、
前記位置取得手段により特定された前記位置情報および前記状態取得手段により取得された前記状態情報に応じて、前記記憶手段に記憶されたコンテンツ情報から拡張現実を構成する架空情報を選択する情報選択手段と、
前記情報選択手段により選択された架空情報を出力することにより、前記拡張現実を表現する出力手段と、
を備えるコンピュータとして機能させるプログラム。

【請求項10】

コンテンツ情報を記憶手段に記憶する工程と、
ユーザにより携帯される端末装置の現在位置を示す位置情報を特定する工程と、
前記端末装置の状態を示す状態情報を取得する工程と、
前記位置情報および前記状態情報に応じて、前記記憶手段に記憶されたコンテンツ情報から拡張現実を構成する架空情報を選択する工程と、
選択された前記架空情報を出力することにより、前記拡張現実を表現する工程と、
を有する拡張現実提供方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、現実環境を拡張した拡張現実を提供するに際して、当該拡張現実のバリエーションを豊かにする技術に関する。

【背景技術】

【0002】

従来より、現実の環境における情報（あるいは現実の風景）に、コンピュータ等で作成した情報を付与することで、現実環境を拡張する拡張現実（ＡＲ：Augmented Reality）を実現する技術が知られている。拡張現実は、位置情報に基づいて、表示する仮想物体の内容や、現実環境における表示位置を決定し、現実の視覚情報と仮想物体とを合成表示する技術である。

【0003】

拡張現実においては位置を把握することが必要になるが、例えば、特許文献１には、位置を把握する技術として、ＧＰＳ（Global Positioning System）を利用する技術が記載されている。特許文献１に記載された技術では、ＧＰＳより取得した位置情報から周囲の地物情報をデータベースより取得して、透過型ディスプレイに仮想物体を描画することで現実環境と仮想物体との合成を実現する。

【0004】

また、例えば、撮影画像を利用した拡張現実技術も知られている。撮影画像を利用した拡張現実技術は、現実空間に専用の識別情報を有する画像（マーカ）を設置し、撮影画像内にマーカが存在すればマーカ上に仮想物体を描画する方法や、画像内の特定の図形（人体など）を認識し仮想物体を描画する方法などがある。例えば、特許文献２には、現実環境に存在するマーカを利用して仮想物体の重畳表示を可能とする技術が記載されている。

【0005】

さらに、例えば、特許文献３には、現実環境に実物体としてのマーカを用いることなく、既知である現実空間の配置物を識別して仮想物体の表示を可能とする技術が記載されている。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２０１２−０６８４８１号公報

【特許文献2】特開２０１２−１４１７７９号公報

【特許文献3】特開２００３−２５６８７６号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

ところが、特許文献１ないし３に記載された技術では、ユーザが画面を見ていないときにも仮想物体を表示してしまうという問題があった。また、マーカや設置物体、現在位置（特に、視点位置）によって出力内容が固定されてしまい、他の要因（状況）に応じた、より効果的な拡張現実を提供できないという問題があった。

【0008】

本発明は、上記課題に鑑みてなされたものであり、ユーザ自身や周囲の環境といった様々な状況を的確に判断することにより、より柔軟性、汎用性に富んだ拡張現実を実現する技術を提供することを目的とする。

【課題を解決するための手段】

【0009】

上記の課題を解決するため、請求項１の発明は、拡張現実提供システムであって、コンテンツ情報を記憶する記憶手段と、ユーザにより携帯される端末装置の現在位置を示す位置情報を取得する位置取得手段と、前記端末装置の状態を示す状態情報を取得する状態取得手段と、前記位置取得手段により取得された前記位置情報および前記状態取得手段により取得された前記状態情報に応じて、前記記憶手段に記憶されたコンテンツ情報から拡張現実を構成する架空情報を選択する情報選択手段と、前記情報選択手段により選択された架空情報を出力することにより、前記拡張現実を表現する出力手段とを備える。

【0010】

また、請求項２の発明は、請求項１の発明に係る拡張現実提供システムであって、前記端末装置の周辺の環境情報を取得する環境取得手段をさらに備え、前記情報選択手段は、前記環境取得手段により検出された前記環境情報に応じて、前記記憶手段に記憶されたコンテンツ情報から拡張現実を構成する架空情報を選択する。

【0011】

また、請求項３の発明は、請求項１または２の発明に係る拡張現実提供システムであって、時間情報を取得する時間取得手段をさらに備え、前記情報選択手段は、前記時間取得手段により取得された前記時間情報に応じて、前記記憶手段に記憶されたコンテンツ情報から拡張現実を構成する架空情報を選択する。

【0012】

また、請求項４の発明は、請求項１ないし３のいずれかの発明に係る拡張堅実システムであって、前記状態取得手段は、前記位置取得手段により取得された位置情報に基づいて、前記状態情報を取得する。

【0013】

また、請求項５の発明は、請求項１ないし４のいずれかの発明に係る拡張現実提供システムであって、前記端末装置の運動に関する慣性情報を取得する運動検出手段をさらに備える。

【0014】

また、請求項６の発明は、請求項５の発明に係る拡張現実提供システムであって、前記状態取得手段は、前記運動検出手段により取得された慣性情報に基づいて、前記状態情報を取得する。

【0015】

また、請求項７の発明は、請求項５または６の発明に係る拡張現実提供システムであって、前記位置取得手段は、前記運動検出手段により取得された慣性情報に基づいて、前記位置情報を特定する。

【0016】

また、請求項８の発明は、請求項１ないし７のいずれかの発明に係る拡張現実提供システムであって、前記出力手段は、画像情報を表示するディスプレイを備え、前記情報選択手段は、前記状態取得手段により取得された前記状態情報において、前記端末装置を携帯するユーザの前記ディスプレイに対する閲覧状態に応じて、前記架空情報としての画像情報の選択を禁止する。

【0017】

また、請求項９の発明は、ユーザにより携帯されるコンピュータ読み取り可能なプログラムであって、前記コンピュータによって実行されることにより、前記コンピュータを、コンテンツ情報を記憶する記憶手段と、前記コンピュータの現在位置を示す位置情報を特定する位置取得手段と、前記コンピュータの状態を示す状態情報を取得する状態取得手段と、前記位置取得手段により特定された前記位置情報および前記状態取得手段により取得された前記状態情報に応じて、前記記憶手段に記憶されたコンテンツ情報から拡張現実を構成する架空情報を選択する情報選択手段と、前記情報選択手段により選択された架空情報を出力することにより、前記拡張現実を表現する出力手段とを備えるコンピュータとして機能させる。

【0018】

また、請求項１０の発明は、拡張現実提供方法であって、コンテンツ情報を記憶手段に記憶する工程と、ユーザにより携帯される端末装置の現在位置を示す位置情報を特定する工程と、前記端末装置の状態を示す状態情報を取得する工程と、前記位置情報および前記状態情報に応じて、前記記憶手段に記憶されたコンテンツ情報から拡張現実を構成する架空情報を選択する工程と、選択された前記架空情報を出力することにより、前記拡張現実を表現する工程とを有する。

【発明の効果】

【0019】

請求項１ないし１０に記載の発明は、ユーザにより携帯される端末装置の現在位置を示す位置情報を取得するとともに、端末装置の状態を示す状態情報を取得し、位置情報および状態情報に応じて、記憶されたコンテンツ情報から拡張現実を構成する架空情報を選択して、選択された架空情報を出力することにより、拡張現実を表現する。これにより、豊富なコンテンツ情報から適切な架空情報を選択することができる。したがって、よりリアルに拡張現実を表現することができる。あるいは、提供可能な拡張現実の幅が広がる。

【図面の簡単な説明】

【0020】

【図1】拡張現実提供システムを示す図である。

【図2】携帯端末装置、基準位置提供装置およびデータベースサーバのブロック図である。

【図3】センサ群に含まれる構成を示す図である。

【図4】収集情報に含まれる情報を示す図である。

【図5】携帯端末装置が備える機能ブロックをデータの流れとともに示す図である。

【図6】拡張現実提供方法を示す流れ図である。

【図7】拡張現実提供方法を示す流れ図である。

【図8】拡張現実空間において拡張現実としてのお化け屋敷を提供するアプリケーションにおける表示例を示す図である。

【図9】図８における位置において、ユーザが下を向いているときの表示例を示す図である。

【図10】図８における位置において、ユーザが下を向いているときの拡張現実提供システムにおける表示例を示す図である。

【図11】図８における位置において、ユーザが上を向いているときの拡張現実提供システムにおける表示例を示す図である。

【図12】お化け屋敷のアプリケーションにおける表示更新例を示す図である。

【図13】お化け屋敷のアプリケーションにおける表示更新例を示す図である。

【図14】拡張現実空間において拡張現実として「宝探しゲーム」を提供するアプリケーションをユーザが体験している様子を概念的に示す図である。

【図15】拡張現実空間において拡張現実として「宝探しゲーム」を提供するアプリケーションをユーザが体験している様子を概念的に示す図である。

【図16】ユーザと「宝箱」とが近く、かつ、ユーザが画面を閲覧しているときの表示例を示す図である。

【図17】ユーザと「宝箱」とが近く、かつ、ユーザが画面を閲覧しているときの表示例を示す図である。

【図18】宝探しゲームをユーザが体験している様子を概念的に示す図である。

【図19】宝探しゲームをユーザが体験している様子を概念的に示す図である。

【図20】図１９に示す位置にユーザが存在しているときに画面に表示される画像を示す図である。

【図21】状態情報が「ハンドル操作済み」と書き換えられた状態で、ユーザが図１９に示す位置に移動した状態を概念的に示す図である。

【発明を実施するための形態】

【0021】

以下、本発明の好適な実施の形態について、添付の図面を参照しつつ、詳細に説明する。ただし、以下の説明において特に断らない限り、方向や向きに関する記述は、当該説明の便宜上、図面に対応するものであり、例えば実施品、製品または権利範囲等を限定するものではない。

【0022】

＜１． 実施の形態＞
図１は、拡張現実提供システム１を示す図である。図１に示す拡張現実空間９は、拡張現実提供システム１による拡張現実が提供されるエリアを概念的に図示したものである。

【0023】

拡張現実提供システム１は、携帯端末装置２と、絶対位置が既知であり位置が当該絶対位置に固定される設置型の装置として構成される基準位置提供装置１０と、データベースサーバ１１とを備えている。なお、携帯端末装置２、基準位置提供装置１０およびデータベースサーバ１１の数は、図１に示す数に限定されるものではない。

【0024】

拡張現実提供システム１において、基準位置提供装置１０およびデータベースサーバ１１は、システム運営者によって提供され設置される装置を想定している。一方で、携帯端末装置２としては、システム運営者が拡張現実を提供しようとするエリアを訪れたユーザによって所有される装置を想定しており、個人所有の携帯電話、スマートフォン、あるいは、ＰＤＡ端末などが該当する。

【0025】

図２は、携帯端末装置２、基準位置提供装置１０およびデータベースサーバ１１のブロック図である。

【0026】

携帯端末装置２は、ＣＰＵ２０、記憶装置２１、操作部２２、表示部２３、センサ群２４、撮像部２５、非接触ＩＣカード部２６、通信部２７およびスピーカ２８を備えている。携帯端末装置２は、ユーザによって携帯される装置であり、対象物としてのユーザに付随して移動する装置（位置が可変の装置）として構成されている。また、携帯端末装置２がセンサ群２４を備えていることにより、携帯端末装置２がユーザに携帯されている状態において、当該センサ群２４も対象物としてのユーザに付随した状態となる。

【0027】

ＣＰＵ２０は、記憶装置２１に格納されているプログラム２１０を読み取りつつ実行し、各種データの演算や制御信号の生成等を行う。これにより、ＣＰＵ２０は、携帯端末装置２が備える各構成を制御するとともに、各種データを演算し作成する機能を有している。すなわち、携帯端末装置２は、一般的なコンピュータとして構成されている。

【0028】

記憶装置２１は、携帯端末装置２において各種データを記憶する機能を提供する。特に、本実施の形態における記憶装置２１は、プログラム２１０、基準情報１０３、オーナー情報２１１、収集情報２１２、撮像画像情報２１３、位置情報２１５、状態情報２１６およびコンテンツ情報１１２（架空情報２１７）を記憶するために使用される。

【0029】

記憶装置２１としては、ＣＰＵ２０の一時的なワーキングエリアとして使用されるＲＡＭやバッファ、読み取り専用のＲＯＭ、不揮発性のメモリ（例えばＮＡＮＤメモリなど）、比較的大容量のデータを記憶するハードディスク、専用の読み取り装置に装着された可搬性の記憶媒体（ＰＣカード、ＳＤカード、ＵＳＢメモリなど）等が該当する。図１においては、記憶装置２１を、あたかも１つの構造物であるかのように図示している。しかし、通常、記憶装置２１は、上記例示した各種装置（あるいは媒体）のうち、必要に応じて採用される複数種類の装置から構成されるものである。すなわち、記憶装置２１は、データを記憶する機能を有する装置群の総称である（後述する記憶装置１０１，１１０についても同様。）。

【0030】

また、現実のＣＰＵ２０は高速にアクセス可能なＲＡＭを内部に備えた電子回路である。しかし、このようなＣＰＵ２０が備える記憶装置も、説明の都合上、記憶装置２１に含めて説明する。すなわち、本実施の形態においては、一時的にＣＰＵ２０自体が記憶するデータも、記憶装置２１が記憶するとして説明する。

【0031】

記憶装置２１に格納されるオーナー情報２１１とは、操作部２２が操作されることによりユーザによって入力される当該ユーザに関する情報であって、より詳細にはユーザの特性に関する情報である。具体的には、携帯端末装置２を所有するユーザの年齢、性別、職業、住所、趣味、趣向、行動（購買）履歴、病歴（アレルギーの有無など）、婚姻状況、家族構成、所有物（車、家など）といった個人情報である。これらの情報は、操作部２２から直接入力される情報に限定されるものではなく、他のアプリケーションによって自動的に収集されてもよい。

【0032】

なお、基準情報１０３、収集情報２１２、撮像画像情報２１３、位置情報２１５、状態情報２１６およびコンテンツ情報１１２（架空情報２１７）については、適宜、後述する。

【0033】

操作部２２は、ユーザが携帯端末装置２（拡張現実提供システム１）に対して指示を入力するために操作されるハードウエアである。操作部２２としては、例えば、各種キーやボタン類、タッチパネル、ポインティングデバイス、あるいは、ジョグダイヤルなどが該当する。

【0034】

表示部２３は、各種データを表示することにより出力する機能を有するハードウェアである。表示部２３としては、例えば、ランプやＬＥＤ、液晶ディスプレイや液晶パネルなどが該当する。特に、本実施の形態における表示部２３は、画像を画面に表示する液晶ディスプレイを備えており、架空情報２１７を出力することにより拡張現実を表現する機能を有している。すなわち、表示部２３は、本発明に係る出力手段に相当する。

【0035】

図３は、センサ群２４に含まれる構成を示す図である。図４は、収集情報２１２に含まれる情報を示す図である。

【0036】

図３に示すように、センサ群２４は、加速度センサ２４０、ジャイロセンサ２４１、時間取得部２４２、磁気センサ２４３、マイク２４４、温度センサ２４５、照度センサ２４６、湿度センサ２４７および気圧センサ２４８を備えている。また、収集情報２１２には、加速度情報２１２０、角速度情報２１２１、時間情報２１２２、磁気情報２１２３、音声情報２１２４、温度情報２１２５、照度情報２１２６、湿度情報２１２７および気圧情報２１２８を含んでいる。

【0037】

加速度センサ２４０は、携帯端末装置２における加速度を検出して、加速度情報２１２０を取得する。なお、加速度センサ２４０は、携帯端末装置２について定義された座標系（例えば、３軸座標系）に従って表現された出力値を加速度情報２１２０として作成する。

【0038】

ジャイロセンサ２４１は、携帯端末装置２における角速度を測定して角速度情報２１２１を取得する。本実施の形態におけるジャイロセンサ２４１は、いわゆる３軸のジャイロセンサとして構成されており、互いに垂直な３つの軸（例えば、Ｘ，Ｙ，Ｚ軸）方向回りの角速度を測定し、当該測定値を角速度情報２１２１として出力する。

【0039】

加速度センサ２４０により取得される加速度情報２１２０およびジャイロセンサ２４１により取得される角速度情報２１２１は、携帯端末装置２の運動に関する慣性情報２１２９である。すなわち、加速度センサ２４０およびジャイロセンサ２４１は、本発明における運動検出部に相当する。

【0040】

厳密に言えば、慣性情報２１２９は、携帯端末装置２の運動に関する情報である。したがって、厳密に言えば、慣性情報２１２９を解析して得られる運動状態は、携帯端末装置２の運動状態である。しかし、一方で、すでに説明したように、本実施の形態における拡張現実提供システム１においては、ユーザが携帯端末装置２を携帯することにより、センサ群２４（加速度センサ２４０およびジャイロセンサ２４１）が対象物としてのユーザに付随した状態となる。これにより、加速度センサ２４０およびジャイロセンサ２４１は、ユーザの動きを反映した情報を測定することになる。すなわち、加速度センサ２４０およびジャイロセンサ２４１は、間接的に、ユーザの動作の状態を観測することができる。

【0041】

時間取得部２４２は、いわゆるタイマであり、時間の経過を計測する機能を有している。予め記憶されている基準時およびカレンダー情報と、時間取得部２４２により計測される基準時からの経過時間とに基づいて、携帯端末装置２では、現在の年月日や季節、曜日、時間等を取得することが可能であり、これらの情報は時間情報２１２２として記録される。

【0042】

磁気センサ２４３は、周辺の磁気を測定して、磁気情報２１２３を取得する機能を有している。磁気情報２１２３を参照して、磁気センサ２４３によって測定される磁気（磁力）を解析することにより、現在位置における地磁気を検出することが可能であり、方位を得ることができる。

【0043】

マイク２４４は、携帯端末装置２の周辺の音声を録音して、音声情報２１２４を取得する。

【0044】

温度センサ２４５は、携帯端末装置２の周辺の温度を測定して、温度情報２１２５を取得する。

【0045】

照度センサ２４６は、携帯端末装置２の周辺の照度（明るさ）を測定して、照度情報２１２６を取得する。

【0046】

湿度センサ２４７は、携帯端末装置２の周辺の湿度を測定して、湿度情報２１２７を取得する。

【0047】

気圧センサ２４８は、携帯端末装置２の周辺の気圧を測定して、気圧情報２１２８を取得する。

【0048】

磁気センサ２４３、マイク２４４、温度センサ２４５、照度センサ２４６、湿度センサ２４７および気圧センサ２４８によって収集される情報は、携帯端末装置２の周辺の環境を示す情報（以下、これらの「環境情報」と称する場合がある。）である。すなわち、収集情報２１２には、環境情報が含まれている。磁気センサ２４３、マイク２４４、温度センサ２４５、照度センサ２４６、湿度センサ２４７および気圧センサ２４８は、環境取得部に相当する。

【0049】

なお、センサ群２４に含まれるセンサ（検出装置）は、上記に示した例に限定されるものではない。また、本実施の形態に示した全ての検出装置を備えていなければならないわけでもない。すなわち、提供される拡張現実の内容や装置コスト等に応じて、これらの装置が適宜、選択されてもよい。

【0050】

図２に戻って、撮像部２５は、レンズなどの光学素子と、ＣＣＤなどの光電変換素子を備え、撮像範囲内にある被写体を撮像して、当該被写体の現実の外観を表現した撮像画像情報２１３を取得する機能を有している。すなわち、撮像部２５は、一般的なデジタルカメラとしての構成および機能を有している。

【0051】

詳細は後述するが、表示部２３は、周囲に現実に存在する被写体の現実の外観を表現した撮像画像情報２１３と、周囲に存在しない事物（文字などを含む。）を表現したコンテンツ情報１１２から選択される架空情報２１７とを合成して表示することにより、画面に拡張現実を表現する。また、以下の説明では、特に断らない限り、撮像画像情報２１３は、複数のフレーム画像から構成されるカラーの動画像である。なお、携帯端末装置２が提供する拡張現実においては、撮像画像情報２１３に含まれる情報が全て再現されなくてもよい。例えば、撮像された現実の事物の一部が当該拡張現実においては、あたかも存在しないかのように表現されてもよい。

【0052】

非接触ＩＣカード部２６は、一般的な非接触ＩＣカードの構成および機能を有している。これにより、携帯端末装置２は、基準位置提供装置１０の非接触ＩＣカードリーダー部１００との間で、近接無線通信を行うことが可能とされている。なお、非接触ＩＣカード部２６の回路構成および機能等は、従来技術（各種標準規格等）を適宜採用可能である。したがって、非接触ＩＣカード部２６の回路構成および機能についての詳細な説明は、省略する。

【0053】

このように、携帯端末装置２が非接触ＩＣカード部２６を備えているため、ユーザは、携帯端末装置２を基準位置提供装置１０の非接触ＩＣカードリーダー部１００に近接させてかざすことにより、基準位置提供装置１０から必要な情報を、非接触ＩＣカード部２６側に取得することができる。特に、本実施の形態における携帯端末装置２は、基準情報１０３およびコンテンツ情報１１２を、基準位置提供装置１０から取得する。なお、以下の説明では、ユーザが、携帯端末装置２を非接触ＩＣカードリーダー部１００に近接させてかざす一連の動作を「通信可能化動作」と称する。

【0054】

通信部２７は、携帯端末装置２が外部の装置との間で無線による通信を行う機能を提供する。通信部２７が提供する通信は、データ通信に限定されるものではなく、通話であってもよい。

【0055】

スピーカ２８は、音声情報（主に架空情報２１７に含まれる情報）を再生して、音声を出力する装置である。

【0056】

基準位置提供装置１０は、すでに説明したように、絶対位置が既知であり、当該絶対位置に固定される設置型の装置として構成されている。基準位置提供装置１０は、拡張現実を提供するエリアの近傍に設置することが好ましい。

【0057】

図２に示すように、基準位置提供装置１０は、非接触ＩＣカードリーダー部１００および記憶装置１０１を備えている。なお、図２では、基準位置提供装置１０の詳細な構成の図示を省略しているが、基準位置提供装置１０は、ＣＰＵや操作部、表示部および通信部などを備えており、一般的なコンピュータとして構成されている。

【0058】

非接触ＩＣカードリーダー部１００は、一般的な非接触ＩＣカードとの間で近接無線通信を行い、当該非接触ＩＣカードに記憶されている様々な情報を読み取ることが可能であるとともに、当該非接触ＩＣカードに様々な情報を送信することも可能である。このような非接触ＩＣカードリーダー部１００としては、従来の技術を適用できるため、詳細な説明は省略する。本実施の形態における非接触ＩＣカードリーダー部１００は、携帯端末装置２が備える非接触ＩＣカード部２６との間で近接無線通信を行う。

【0059】

基準位置提供装置１０の外表面を構成する筐体は、図１に示すように、ユーザが通信可能化動作を行うために適した外面形状となっている。すなわち、ユーザが携帯端末装置２を用いて通信可能化動作を実行するときにおいては、当該携帯端末装置２（センサ群２４）の位置および姿勢とが明確に規定される外面形状となっている。具体的には、非接触ＩＣカードリーダー部１００の位置において、筐体の外表面が水平面に対して傾斜した平面形状となっており、かつ、当該外表面の色彩が他の部分と異なるように図案化されている。これにより、ユーザは、混乱することなく、かつ、正確に通信可能化動作を実行することができる。

【0060】

ユーザが通信可能化動作を実行しているときの携帯端末装置２の位置および姿勢は、先述のように、基準位置提供装置１０の筐体によって規定される。また、基準位置提供装置１０の絶対位置は既知であり、かつ、基準位置提供装置１０が設置型の装置であることから当該絶対位置は容易に変化することはない。したがって、基準位置提供装置１０の非接触ＩＣカードリーダー部１００と、携帯端末装置２の非接触ＩＣカード部２６とが、互いにデータ通信を行っているときにおいて、携帯端末装置２（センサ群２４）の位置および姿勢は既知とみなせる。

【0061】

本実施の形態における拡張現実提供システム１は、基準位置提供装置１０の非接触ＩＣカードリーダー部１００と、携帯端末装置２の非接触ＩＣカード部２６とが互いにデータ通信を行っているときの携帯端末装置２（センサ群２４）の位置を「基準位置」とし、当該基準位置におけるセンサ群２４の姿勢（向き）を「基準姿勢」とする。

【0062】

基準位置および基準姿勢は、いずれも基準位置提供装置１０を設置する際に各基準位置提供装置１０ごとに予め測定し、基準情報１０３として記憶しておくことができる。すなわち、基準情報１０３は、基準位置提供装置１０の個別情報に相当し、非接触ＩＣカードリーダー部１００と非接触ＩＣカード部２６とが互いにデータ通信を行っているときのセンサ群２４の位置および姿勢（向き）を示す情報である。また、本実施の形態における基準位置には、水平面内における位置（例えば、緯度および経度）に関する情報だけでなく、高さ位置（例えば、海抜）に関する情報も含まれている。

【0063】

記憶装置１０１は、基準位置提供装置１０において情報を記憶する機能を有する装置の総称である。特に、記憶装置１０１は、基準位置提供装置１０のＣＰＵ（図示せず）によって実行されるプログラム１０２、基準位置提供装置１０の個別情報としての基準情報１０３、および、データベースサーバ１１から取得されるコンテンツ情報１１２を記憶するために使用される。

【0064】

基準位置提供装置１０は、ユーザが通信可能化動作を行っているときに、基準情報１０３およびコンテンツ情報１１２を、非接触ＩＣカードリーダー部１００を介して、携帯端末装置２（非接触ＩＣカード部２６）に送信する。

【0065】

データベースサーバ１１は、図２に示すように、記憶装置１１０を備えている。なお、図２では、データベースサーバ１１の詳細な構成の図示を省略しているが、データベースサーバ１１は、ＣＰＵや操作部、表示部および通信部などを備えており、一般的なコンピュータとして構成されている。

【0066】

データベースサーバ１１の設置場所としては、例えばシステム運営者のセンターやバックヤードなどが想定される。データベースサーバ１１は、ＬＡＮやインターネット、公衆網などのネットワークを介して基準位置提供装置１０と接続されており、必要に応じてコンテンツ情報１１２を基準位置提供装置１０に送信する。

【0067】

記憶装置１１０は、データベースサーバ１１において情報を記憶する機能を有する装置の総称である。特に、記憶装置１１０は、データベースサーバ１１のＣＰＵ（図示せず）によって実行されるプログラム１１１、および、コンテンツ情報１１２を記憶するために使用される。

【0068】

コンテンツ情報１１２は、データベースサーバ１１のオペレータやデザイナ、プログラマ等により作成され、記憶装置１１０に格納される。コンテンツ情報１１２は、拡張現実を提供し、表現するために必要となる情報の総称である。

【0069】

コンテンツ情報１１２には、拡張現実を表現するために出力される情報（出力候補情報）と、出力候補情報の中から実際に出力する情報を選択するために参照される情報（検索情報）とが含まれる。出力候補情報としては、例えば、仮想物体のグラフィック情報や拡張現実を表現するために出力される音声情報などが該当するが、完全に仮想的な情報に限定されるものではなく、現実を抽象化した情報なども含まれる。検索情報としては、各仮想物体を出力するときの条件を示す情報であり、例えば、位置や姿勢、状態、時間、季節、天気、温度、照度、湿度、気圧などである。

【0070】

コンテンツ情報１１２は、一般には、提供される拡張現実ごとに異なる情報であり、それぞれの基準位置提供装置１０ごとにデータベースサーバ１１から送信される。また、提供中の拡張現実の内容を変更するときには、データベースサーバ１１においてコンテンツ情報１１２が更新され、基準位置提供装置１０に向けてアップロードされる。

【0071】

本実施の形態では、コンテンツ情報１１２は、基準位置提供装置１０を経由して、携帯端末装置２に送信され記憶される。しかし、データベースサーバ１１と携帯端末装置２との間の通信により、コンテンツ情報１１２が携帯端末装置２に送信され記憶されてもよい。

【0072】

図５は、携帯端末装置２が備える機能ブロックをデータの流れとともに示す図である。図５に示すカード制御部２００、位置状態取得部２０１および拡張現実構成部２０２は、ＣＰＵ２０がプログラム２１０に従って動作することにより実現される機能ブロックである。

【0073】

カード制御部２００は、非接触ＩＣカード部２６を制御することにより、基準位置提供装置１０との間の近接無線通信を制御する機能を有している。すなわち、カード制御部２００は、非接触ＩＣカード部２６との間のインタフェースを構成しており、非接触ＩＣカード部２６が受信した基準情報１０３およびコンテンツ情報１１２を記憶装置２１に転送し、記憶させる。

【0074】

なお、図５では、記憶装置２１から何らかの情報が読み出されて非接触ＩＣカード部２６から送信されることについては図示していないが、そのような情報が存在していてもよい。すなわち、カード制御部２００は、記憶装置２１に対して、情報の書き込み専用でなくてもよい。記憶装置２１からカード制御部２００によって読み出され、非接触ＩＣカード部２６から送信される情報としては、例えば、認証用のパスワードなどが想定される。

【0075】

本実施の形態では、ユーザが通信可能化動作を行ったときに、非接触ＩＣカード部２６と、基準位置提供装置１０の非接触ＩＣカードリーダー部１００との間で近接無線通信が開始される。その時点で、携帯端末装置２（センサ群２４）は、位置が固定（既知）された基準位置提供装置１０の非接触ＩＣカードリーダー部１００に近接した状態である。したがって、通信可能化動作が行われたときの携帯端末装置２の位置は、正確に特定することができる。すなわち、基準情報１０３を受信したとカード制御部２００が認識したときが、携帯端末装置２（センサ群２４）が基準位置（基準情報１０３に示される位置）に存在するときである。

【0076】

また、ユーザが通信可能化動作を行ったときの携帯端末装置２の姿勢は、基準位置提供装置１０の筐体の形状により、所定の姿勢に規定される。したがって、基準情報１０３を受信したとカード制御部２００が認識したときの携帯端末装置２（センサ群２４）の姿勢（基準姿勢）は、既知である。すでに説明したように、基準姿勢を示す情報は、基準情報１０３に含まれている。

【0077】

位置状態取得部２０１は、基準情報１０３および収集情報２１２を参照して、所定の演算を実行することにより、姿勢情報２１４および位置情報２１５を取得する。

【0078】

姿勢情報２１４とは、携帯端末装置２の姿勢を示す情報である。

【0079】

位置情報２１５とは、携帯端末装置２（ユーザ）の位置を示す情報である。本実施の形態においては、位置情報２１５は、水平面内の位置を示す情報のみならず、高度に関する位置を示す情報も含んでいる。

【0080】

位置状態取得部２０１は、主に、収集情報２１２のうちの時間情報２１２２、磁気情報２１２３および慣性情報２１２９（加速度情報２１２０および角速度情報２１２１）を用いて、姿勢情報２１４および位置情報２１５を求める。

【0081】

すでに説明したように、拡張現実提供システム１は、通信可能化動作が行われたときに、携帯端末装置２が基準位置に基準姿勢で存在しているものとみなす。したがって、位置状態取得部２０１は、通信可能化動作が実行されたときからの相対的な変化（姿勢の変化および位置の変化）を慣性情報２１２９に基づいて演算することによって姿勢情報２１４および位置情報２１５を求める。

【0082】

すなわち、位置状態取得部２０１は、加速度センサ２４０およびジャイロセンサ２４１により取得された慣性情報２１２９に基づいて、姿勢情報２１４および位置情報２１５を取得する機能を有している。このようにして、姿勢情報２１４および位置情報２１５を求める手法は、従来の技術を、適宜、採用することができるため、ここでは詳細な説明を省略する。なお、姿勢情報２１４や位置情報２１５は、現在の姿勢や位置の情報に限定されるものではない。過去の情報を、例えば、経路情報等として記録しておいてもよい。

【0083】

位置状態取得部２０１は、慣性情報２１２９以外の情報を用いて、姿勢情報２１４および位置情報２１５の精度を高めることも可能とされている。例えば、磁気情報２１２３により、姿勢や移動方向を補正することができる。また、ユーザの移動中の経路（推定された経路）と、地図情報（コンテンツ情報１１２）と重畳させることにより、姿勢や位置を補正してもよい。また、高さ位置に関しては、気圧情報２１２８を参照し、基準位置からの変化量に応じて特定する。さらに、オーナー情報２１１に記録されているユーザ固有の情報（歩幅や歩行速度など）を用いても、姿勢情報２１４および位置情報２１５の精度を高めることが可能である。

【0084】

また、位置状態取得部２０１は、基準情報１０３、収集情報２１２、姿勢情報２１４および位置情報２１５を参照しつつ、状態を判定して、状態情報２１６を生成することにより、当該状態情報２１６を取得する。

【0085】

ここで、状態情報２１６に示される「状態」とは、ユーザの状態、携帯端末装置２の状態、周辺の環境の状態、あるいは、履歴状態などが想定される。

【0086】

ユーザの状態とは、ユーザの行動状態であって、例えば、歩行状態、搭乗状態あるいは静止状態などの区別である。歩行状態においても、歩行速度や迷走状態（進行方向の切り替わり頻度が多い状態）等によって状態を複数に分類してもよい。搭乗状態とは、何らかの装置（エスカレータやエレベータ）や乗り物（車や電車）等に乗っている状態である。

【0087】

携帯端末装置２を携帯しているユーザが歩行状態か否かは、主に、加速度センサ２４０およびジャイロセンサ２４１から得られる慣性情報２１２９に基づいて判定することが可能である。人の歩行動作は、左右の足を交互に踏み出す運動であるため、慣性情報２１２９を解析することにより、例えば、上下方向に周期的な動きが検出される。

【0088】

ユーザが搭乗状態であるか否かは、歩行状態でないにもかかわらず位置情報２１５における位置（特に水平面内の位置）が移動していることにより検出することができる。また、エスカレータ上で歩行しながら搭乗している場合には、歩行運動の周期等から求められる歩行速度よりも移動速度が速いことなどから検出することができる。あるいは、エスカレータの位置が既知であれば、位置情報２１５を参照することにより、検出することも可能である。

【0089】

なお、ユーザの行動状態は、厳密には携帯端末装置２がどのような運動状態にあるかによって間接的に取得される。言い換えれば、検出されるユーザの行動状態の多くは、携帯端末装置２の（運動）状態から推定される状態である。すなわち、広い意味の携帯端末装置２の状態には、ユーザの状態が含まれる。

【0090】

また、ユーザの状態とは、ここに示した例に限定されるものではない。例えば、あまり想定されないが、ユーザが足踏みしている状態など、ユーザの位置は移動しないが、何らかの動作を実行している状態をユーザの状態に含めてもよい。すなわち、ユーザの状態とは、位置状態取得部２０１がユーザの行動を推定することにより取得される情報である。 慣性情報２１２９に基づいて人の様々な行動状態を推定する手法は、従来の技術を適用することが可能であるため、ここではこれ以上詳しい説明を省略する。

【0091】

また、携帯端末装置２の状態とは、携帯端末装置２がユーザによってどのように携帯されているかを示す携帯状態である。具体例を挙げるとすれば、手振り状態、手持ち状態（閲覧状態と非閲覧状態とがある。）、装着状態等である。手振り状態とは、ユーザが携帯端末装置２を手に所持しつつ、所持した当該手を前後に振って歩行等をしている状態である。手持ち状態とは、ユーザが携帯端末装置２を手に所持しつつ、当該手を自身の顔に対して概ね固定し、いつでも携帯端末装置２の表示部２３を閲覧可能な状態に維持している状態である。手持ち状態における閲覧状態とは、ユーザが携帯端末装置２の表示部２３を注視して、何らかの情報を閲覧している状態である。手持ち状態における非閲覧状態とは、手持ち状態であるが、表示部２３を注視していない状態である。装着状態とは、ユーザが携帯端末装置２をポケットに挿入したり、腰のホルダー等に固定したりしている状態であって、携帯端末装置２がユーザの体にほぼ固定されている状態である。

【0092】

手振り状態は、例えば、ユーザの歩行中の手の動き（手を前後に振る動き）による運動が観測されることにより検出することが可能である。

【0093】

手持ち状態は、例えば、表示部２３の画面がユーザの顔（特に、目）の方向に向いており、かつ、携帯端末装置２とユーザの体との相対的な位置関係の変化が手振り状態に比べて少ないことにより検出することができる。

【0094】

手持ち状態には、手持ち状態における閲覧状態と、非閲覧状態との区別は、ユーザの体との相対的な位置関係の変化により判定することができる。人は、自身の手に所持した物に注目している場合には、当該物と自分の目との相対的な位置関係を維持しつづけるように、無意識に手を動かすことが知られている。すなわち、携帯端末装置２の動きにおいて、ユーザの手によるこのような補正動作が観測されたとき、閲覧状態と判定することができる。

【0095】

装着状態は、例えば、ユーザの体との相対的な位置関係がほぼ固定されていることにより検出することができる。装着状態にある携帯端末装置２は、手持ち状態に比べても、ユーザの体との相対的な位置関係の変化は少ない。

【0096】

なお、携帯端末装置２の状態とは、ここに示した例に限定されるものではない。この他にも、ユーザが携帯端末装置２を、鞄などに収納しつつ携帯している状態（格納状態）なども存在する。拡張現実の提供を受けようとするユーザが携帯端末装置２を格納状態におくことはあまり想定できないが、もちろん、このような状態を想定し、検出するように構成してもよい。

【0097】

周辺の環境の状態とは、例えば、季節、天気、湿度、温度、音の状態、昼夜の区別、屋内か野外かの区別などである。位置状態取得部２０１は、収集情報２１２（特に、時間情報２１２２、音声情報２１２４、温度情報２１２５、照度情報２１２６、湿度情報２１２７および気圧情報２１２８）に基づいて周辺の環境の状態を判定し、状態情報２１６に記録する。

【0098】

履歴状態とは、ユーザの行動等に関する履歴の状態である。例えば、特定の経路を通過したか否かや、所定のアイテムを所持しているか否か、あるいは、所定の操作を実行したかなどである。履歴状態には、ユーザが意図して実行した事象に限定されるわけではなく、ユーザが意図しない事象についても記録される。

【0099】

なお、位置状態取得部２０１が検出する「状態」として、ここに挙げた状態以外の状態をさらに定義してもよい。また、位置状態取得部２０１が、どのような収集情報２１２が得られた場合に、どのような状態であると判定するかについては、利用するアプリケーションによって異なってもよい。

【0100】

拡張現実構成部２０２は、オーナー情報２１１、収集情報２１２、撮像画像情報２１３、姿勢情報２１４、位置情報２１５および状態情報２１６に応じて、コンテンツ情報１１２から拡張現実を構成する架空情報２１７を選択する機能を有している。

【0101】

架空情報２１７は、表示部２３において、液晶ディスプレイの画面に表示される情報を含んでおり、提供される拡張現実において現実を拡張するための情報に相当する。表示部２３は、架空情報２１７を撮像画像情報２１３に重ねて（合成して）あるいは追加して表示することにより、当該画面に拡張現実を表現する。

【0102】

また、図５において図示を省略しているが、コンテンツ情報１１２から選択される架空情報２１７は、音声情報を含んでいる。音声情報としての架空情報２１７は、スピーカ２８によって再生され、提供される拡張現実において現実を拡張するための情報に相当する。

【0103】

なお、架空情報２１７は、コンテンツ情報１１２から選択されるときに、拡張現実構成部２０２によって加工されてもよい。すなわち、そのような加工手順に関する情報も、コンテンツ情報１１２に含まれていてもよい。

【0104】

以上が拡張現実提供システム１の構成および機能の説明である。次に、拡張現実提供システム１を用いて、ユーザに対して、拡張現実を提供する方法について具体的に説明する。

【0105】

図６および図７は、拡張現実提供方法を示す流れ図である。なお、図６に示す各工程が開始されるまでに、携帯端末装置２が起動され、所定の初期設定が完了し、記憶装置２１にオーナー情報２１１が記憶されているものとする。また、基準位置提供装置１０の記憶装置１０１に、コンテンツ情報１１２がすでに記憶されているものとする。また、図６および図７では、説明の都合上、１人のユーザに対する各工程を示しているが、拡張現実提供システム１は同時に複数のユーザ（複数の携帯端末装置２）に対して拡張現実を提供することが可能である。

【0106】

ユーザは、拡張現実空間９の近傍に到着する（ステップＳ１）と、持参した携帯端末装置２を用いて、当該拡張現実空間９の入り口付近に設置されている基準位置提供装置１０に対して通信可能化動作を行う（ステップＳ２）。

【0107】

ユーザが通信可能化動作を行わなければ、携帯端末装置２が基準情報１０３およびコンテンツ情報１１２を取得することはできない。その場合、拡張現実提供システム１は、当該ユーザに対して拡張現実を提供することは困難である。したがって、ユーザに通信可能化動作を確実に実行させる仕組みを設けておくことが好ましい。例えば、通信可能化動作を行ったか否かを判定して、拡張現実空間９に入場するためのゲートが開くように構成するといった手法が考えられる。

【0108】

ユーザにより通信可能化動作（ステップＳ２）が実行されることで、携帯端末装置２の非接触ＩＣカード部２６と、基準位置提供装置１０の非接触ＩＣカードリーダー部１００との間で通信リンクが確立され、近接無線通信が開始される。

【0109】

ステップＳ２が実行され、近接無線通信が開始されることにより、携帯端末装置２のＣＰＵ２０（カード制御部２００）は、ステップＳ３においてＹｅｓと判定する。すなわち、カード制御部２００は、ステップＳ３においてＹｅｓと判定した時点で、携帯端末装置２（センサ群２４）が基準位置に基準姿勢で存在すると判定する。

【0110】

近接無線通信が開始されると、携帯端末装置２は、基準位置提供装置１０から基準情報１０３およびコンテンツ情報１１２を取得する（ステップＳ４）。

【0111】

これにより、記憶装置２１に基準情報１０３およびコンテンツ情報１１２が格納される。また、ステップＳ４において取得されたコンテンツ情報１１２に応じて、拡張現実空間９において提供される拡張現実に応じたアプリケーションが起動される。

【0112】

次に、撮像部２５が、周囲（拡張現実空間９内）の撮像を開始する（ステップＳ５）。これにより、以後、撮像周期に応じて撮像画像情報２１３が取得される状態となる。なお、本実施の形態ではステップＳ５の処理は、通信可能化動作後の一連の工程として自動的に開始されるが、もちろん、ユーザの指示（操作部２２に対するユーザ操作）により開始するように構成してもよい。

【0113】

ステップＳ５の処理と並行して、センサ群２４が測定を開始する（ステップＳ６）。これにより、以後、センサ群２４の測定周期に応じて収集情報２１２が更新される状態となる。なお、時間情報２１２２については、携帯端末装置２が時計機能を提供するために、通常、ステップＳ６に関係なく、時間取得部２４２による計測が行われている。また、ステップＳ６において、ＣＰＵ２０は、必ずしもセンサ群２４に含まれる全ての検出装置を起動させる必要はない。提供される拡張現実の内容に応じて、情報の収集が必要な検出装置のみ、測定を開始するようにしてもよい。

【0114】

ステップＳ４ないしＳ６が実行されると、位置状態取得部２０１は、携帯端末装置２の現在位置および現在の姿勢を特定し（ステップＳ１１）、姿勢情報２１４および位置情報２１５を作成する。このとき、位置状態取得部２０１は、基準情報１０３（移動経路の始点に関する情報）、および、収集情報２１２に基づいて、姿勢および位置を特定する。ただし、すでに説明したように、コンテンツ情報１１２やオーナー情報２１１を参照してもよい。

【0115】

次に、位置状態取得部２０１は、現在の状態を判定し、状態情報２１６を作成する（ステップＳ１２）。位置状態取得部２０１は、あらかじめ想定されている複数の状態の中から、現在の状態を特定（推定）し、状態情報２１６とする。なお、状態情報２１６に格納される「状態」の種別（識別子）は、１つに限られるものではない。例えば、ユーザの状態として「歩行状態」が格納されるとともに、携帯端末装置２の状態として「手振り状態」が格納されるといったことも想定される。

【0116】

ステップＳ１２が実行されて、状態情報２１６が作成（更新）されると、拡張現実構成部２０２は、表示部２３による表示を禁止すべき状態か否かを判定する（ステップＳ１３）。

【0117】

本実施の形態では、状態情報２１６において、携帯端末装置２の状態が「手持ち状態（閲覧状態のみならず非閲覧状態を含む。）」でないときに、拡張現実構成部２０２はステップＳ１３においてＹｅｓと判定する。非閲覧状態は、ユーザが表示部２３の画面を閲覧していないと推定される状態である。しかし、この状態は、ユーザにとって表示部２３を閲覧するための準備状態といえる。したがって、非閲覧状態において表示部２３による表示を禁止すると、ユーザが表示部２３に目を移したときには表示部２３が消えていることになる。この場合、閲覧したいと所望するユーザに、何らかの操作を強いることとなり、ユーザの負担が増大する。したがって、拡張現実提供システム１では、非閲覧状態であっても、手持ち状態であれば、表示部２３による表示を禁止すべき状態ではないと判定する。ただし、非閲覧状態を、表示部２３による表示を禁止すべき状態とみなしてもよい。

【0118】

ステップＳ１３においてＹｅｓと判定されたとき、ＣＰＵ２０は、画面を消すように表示部２３を制御する。これに応じて、表示部２３は、画面の表示を消す（ステップＳ１４）。したがって、無駄な表示を抑制することができ、省電力および演算速度の向上が達成される。

【0119】

このように、拡張現実構成部２０２は、位置状態取得部２０１により取得された状態情報２１６において、携帯端末装置２を携帯するユーザの表示部２３に対する閲覧状態に応じて、架空情報２１７としての画像情報の選択を禁止する。したがって、無駄な表示を抑制することができ、省電力および演算速度の向上が達成される。

【0120】

ステップＳ１４の処理と並行して、ＣＰＵ２０は、撮像部２５による撮像を停止させる（ステップＳ１５）。ステップＳ１４が実行されると、拡張現実が表示部２３に表現されることはなくなるので、撮像画像情報２１３の取得も不要になるからである。これにより、無駄な撮像を抑制することができ、省電力および演算速度の向上が達成される。

【0121】

次に、拡張現実構成部２０２は、画像情報（表示部２３に表示すべき情報）を除いたコンテンツ情報１１２から架空情報２１７を選択する（ステップＳ１６）。これにより、拡張現実提供システム１において、架空情報２１７としての画像情報の選択が禁止される。

【0122】

このように、拡張現実構成部２０２は、位置状態取得部２０１により取得された状態情報２１６において、携帯端末装置２を携帯するユーザの表示部２３に対する閲覧状態に応じて、架空情報２１７としての画像情報の選択を禁止する。したがって、無駄な表示を抑制することができ、省電力および演算速度の向上が達成される。

【0123】

なお、本実施の形態においては、ステップＳ１６において選択される架空情報２１７は、音声情報に限定されることとなる。

【0124】

一方、表示部２３における表示を禁止する状態でない場合（ステップＳ１３においてＮｏ。）、拡張現実構成部２０２は、画像情報を含む全てのコンテンツ情報１１２から架空情報２１７を選択する（ステップＳ１７）。なお、ステップＳ１３においてＮｏと判定されたときにおいて、すでにステップＳ１４，Ｓ１５が実行されていた場合には、ステップＳ１７を実行する前に、ＣＰＵ２０は、表示部２３の画面を付ける（表示を再開させる）処理と、撮像部２５による撮像を再開させる処理とを実行する。

【0125】

架空情報２１７の選択は、様々な条件に基づいて行うことが可能である。まず、従来の技術と同様に位置情報２１５により選択することができる。ただし、拡張現実提供システム１における拡張現実構成部２０２は、位置情報２１５のみによって架空情報２１７を選択するのではなく、他の情報を重畳的に用いて、架空情報２１７を選択する。

【0126】

例えば、拡張現実構成部２０２は、位置情報２１５によって架空情報２１７となる候補の情報を複数抽出してから、さらに他の情報を参照することにより、これら複数の候補の情報の中から１つに絞って、これを架空情報２１７とする。すなわち、コンテンツ情報１１２には、同じ位置において架空情報２１７として選択されうる情報（候補の情報）が複数用意されており、他の条件によりこれら複数の情報の中から適切なものが絞り込まれて架空情報２１７として選択されるのである。

【0127】

ただし、コンテンツ情報１１２には、位置情報２１５のみで選択される架空情報２１７が含まれていてもよい。また、架空情報２１７を選択するときの詳細については、具体例を用いて後述する。

【0128】

次に、拡張現実構成部２０２は、姿勢情報２１４および位置情報２１５に応じて、拡張現実空間９における絶対位置と姿勢とを決定し、当該拡張現実における視点および視線方向を決定する。

【0129】

視点および視線方向が決まれば、拡張現実空間９における視野を決定することができる。そして、拡張現実空間９における視野が決まれば、当該視野に対応して仮想的に表示させるべき事物の大きさや形状などが決まる。このようにして拡張現実構成部２０２は、架空情報２１７を表示部２３に表示させることができる。

【0130】

拡張現実構成部２０２が決定する「視点および視線方向」が、撮像部２５による「撮像点（撮像範囲の中心点）および撮像方向」と一致するほど、架空情報２１７と撮像画像情報２１３とを合成表示したときのユーザの違和感が抑制される。したがって、位置状態取得部２０１は、この点（携帯端末装置２における撮像部２５の位置や向き）を考慮して、位置情報２１５を作成することが好ましい。

【0131】

また、拡張現実構成部２０２は、スピーカ２８に再生させる音声情報としての架空情報２１７について、ボリューム（ユーザに感じられる音源までの距離に応じた出力。）や、左右の強弱（ユーザに感じられる音源方向に応じた出力。）を決定して出力させる。

【0132】

このように、拡張現実構成部２０２の制御により、表示部２３およびスピーカ２８に架空情報２１７が出力されて、拡張現実が表現される（ステップＳ１８）。ただし、ステップＳ１６が実行されているときには、架空情報２１７が表示部２３に表示されることはないので、ステップＳ１８において拡張現実における視点および視線方向を決定する処理は不要である。

【0133】

以後、拡張現実の提供を終了させるか否かを判定しつつ（ステップＳ１９）、終了させる指示があるまでステップＳ１１ないしＳ１９の処理を繰り返す。

【0134】

なお、拡張現実の提供を終了させる指示は、ユーザが操作部２２を操作することにより入力する。ただし、拡張現実の提供を終了させる指示を取得する手法は、このような手法に限定されるものではない。例えば、ユーザが拡張現実空間９から退出したことを位置情報２１５に基づいてＣＰＵ２０により検出し、これをＣＰＵ２０が終了指示と解釈することにより、終了指示を自動的に取得するように構成してもよい。このように構成することにより、拡張現実提供システム１は、ユーザに特に意識させることなく、拡張現実の提供を終了することができる。

【0135】

次に、具体例を用いて、位置状態取得部２０１による状態推定（状態情報２１６の取得）、および、拡張現実構成部２０２による架空情報２１７の選択について説明する。

【0136】

図８は、拡張現実空間９において拡張現実としてのお化け屋敷を提供するアプリケーションにおける表示例である。図８において、撮像画像情報２１３ａは、撮像部２５により撮像された現実部分を表現した画像である。また、図８において、樹木画像２１７ａおよび怪物画像２１７ｂは、拡張現実構成部２０２によってコンテンツ情報１１２から選択された架空情報２１７である。

【0137】

図８は、携帯端末装置２が「手持ち状態」であり、かつ、ユーザが前方に向いていると判定したときの表示例を示す図である。ユーザが前方に向いているか否かは、例えば、閲覧されている携帯端末装置２（表示部２３の画面）の水平面に対する傾きにより判定することができる。

【0138】

図８に示す例では、現実部分を表現した撮像画像情報２１３ａに、仮想的な情景物体を表現した樹木画像２１７ａと、ユーザを驚かすための仮想的な事物を表現した怪物画像２１７ｂとが合成されて表示されている。

【0139】

図９は、図８における位置において、ユーザが下を向いているときの表示例を示す図である。ユーザが下を向いていることにより、図８に示した場合と比べて撮像領域が変化し、撮像画像情報２１３として撮像画像情報２１３ｂが表示されている。また、ユーザの視野（表示対象領域：撮像画像情報２１３ｂ）が図８に示す場合と変化したことにより、樹木画像２１７ａおよび怪物画像２１７ｂの一部が画面から切れてしまっている。

【0140】

ここに示すアプリケーションの例において、情景物体としての樹木画像２１７ａについては、このように表現されることにあまり問題はない。逆に、図９に示す場合において、樹木画像２１７ａの全体が視認できるように、樹木画像２１７ａの表示位置を変更すると、ユーザには樹木画像２１７ａが移動したように感じられて拡張現実空間９における現実味が低下する。

【0141】

一方で、怪物画像２１７ｂについても、図９に示すように表示された方が現実味は向上する。しかしながら、ユーザを驚かせるという目的からすれば、怪物画像２１７ｂの一部しか表示されない状態は好ましいとは言えない。かといって、例えば、怪物画像２１７ｂをその全体が表示領域に含まれるように画面内における表示位置を変更すると、ユーザにとっては「怪物」が地面に寝そべっている（張り付いている）かのように感じられ、現実味が低下する。

【0142】

図１０は、図８における位置において、ユーザが下を向いているときの拡張現実提供システム１における表示例を示す図である。

【0143】

拡張現実提供システム１（拡張現実構成部２０２）は、ユーザが下を向いている状態であると判定した場合には、怪物画像２１７ｂではなく、虫画像２１７ｃを架空情報２１７として選択する。このように、ユーザが下を向いている状態のときには、地面を這う「虫」を表現した虫画像２１７ｃを選択することにより、表示部２３に表示する。さらに、拡張現実構成部２０２は、状態情報２１６における周辺の環境の状態に基づいて、季節が「冬」であれば、虫画像２１７ｃを選択せずに、他の画像（冬に適した事物）を選択するように構成してもよい。

【0144】

これにより、拡張現実提供システム１は、現実味を低下させることなく、状態に応じて、効果的にユーザを驚かせることができる。なお、図１０に示す例において、虫が這いずり回る音を架空情報２１７として選択し、スピーカ２８によって再生してもよい。

【0145】

図１１は、図８における位置において、ユーザが上を向いているときの拡張現実提供システム１における表示例を示す図である。ユーザが上を向いていることにより、図８に示した場合と比べて撮像領域が変化し、現実部分を表現するものとして、撮像画像情報２１３としての撮像画像情報２１３ｃが表示されている。

【0146】

拡張現実提供システム１（拡張現実構成部２０２）は、ユーザが上を向いている状態であると判定した場合には、怪物画像２１７ｂや虫画像２１７ｃではなく、コウモリ群画像２１７ｄを架空情報２１７として選択する。このように、拡張現実構成部２０２は、ユーザが上を向いている状態のときには、空を飛ぶ「コウモリ」を表現したコウモリ群画像２１７ｄを架空情報２１７として選択する。したがって、コウモリ群画像２１７ｄと撮像画像情報２１３ｃとが合成されて表示部２３に表示される。

【0147】

これにより、拡張現実提供システム１は、現実味を低下させることなく、効果的にユーザを驚かせることができる。なお、図１１に示す例において、「コウモリが羽ばたくときの音」を架空情報２１７として選択し、スピーカ２８によって再生してもよい。

【0148】

図１２および図１３は、お化け屋敷のアプリケーションにおける表示更新例を示す図である。図１２および図１３において、現実部分を表現する撮像画像情報２１３は、図８と同様の撮像画像情報２１３ａである。

【0149】

図１２に示すノイズ画像２１７ｅは、拡張現実構成部２０２により選択された架空情報２１７である。拡張現実構成部２０２は、状態情報２１６を参照し、ユーザが歩行状態であり、かつ、表示部２３を閲覧している状態である場合に、ノイズ画像２１７ｅを表示させ、一旦、画面を見づらくすることによってユーザの注意を喚起する。

【0150】

このような場合、ユーザは、画面を注視するために歩行を止めて静止状態になるか、あるいは、画面を鮮明にするために携帯端末装置２の操作部２２を操作したりすると予想される。このようなユーザ状態を検出すると、拡張現実構成部２０２は、ユーザが表示部２３に注視している状態であるとみなして、ノイズ画像２１７ｅの代わりに、怪物画像２１７ｂを選択し、画面を更新して表示させる（図１３）。

【0151】

このように、拡張現実提供システム１では、ユーザの注意を引いた後に（ユーザが注視状態であるとみなせるときに）、効果的な架空情報２１７を表示させることも可能である。すなわち、単に、位置情報２１５に基づいて決まった画像を表示するのではなく、表示するタイミングについても様々な表現が可能となる。

【0152】

図１４および図１５は、拡張現実空間９において拡張現実として「宝探しゲーム」を提供するアプリケーションをユーザが体験している様子を概念的に示す図である。図１４および図１５に示されている「宝箱」は、現実にその場所に置かれているものではなく、仮想的な事物としてアプリケーション（コンテンツ情報１１２）内で定義されているものである。また、図１４および図１５において、迷路を形成している壁は、現実物体としての壁である。さらに、図１４は、ユーザと「宝箱」（厳密には「宝箱」が定義されている位置）との距離が比較的遠い状態を示している。また、図１５は、ユーザと「宝箱」との距離が比較的近い状態を示している。

【0153】

拡張現実提供システム１は、図１４に示すように、ユーザと「宝箱」とが離れている状態のときには、「宝箱」を表現したコンテンツ情報１１２を架空情報２１７として選択することはなく、例え、ユーザが表示部２３を閲覧していたとしても表示されるのは撮像画像情報２１３のみである。一方で、図１５に示すように、ユーザと「宝箱」とが近いとき、拡張現実提供システム１は、ユーザの行動状態に応じて、架空情報２１７を選択して、拡張現実を提供する。

【0154】

例えば、図１５に示すように、ユーザと宝箱とが近いときにおいて、ユーザが携帯端末装置２（表示部２３の画面）を閲覧していない状態（例えば、手振り状態）であれば、拡張現実構成部２０２は、架空情報２１７として、音声情報を選択し、スピーカ２８から再生する。これにより、ユーザに「宝箱」の接近を報知することができ、ユーザは携帯端末装置２の表示部２３の画面を閲覧する。なお、すでに説明したように、ユーザが携帯端末装置２を閲覧していない状態のとき、拡張現実提供システム１は表示部２３への表示を禁止する（図７：ステップＳ１４参照）。

【0155】

図１６および図１７は、ユーザと「宝箱」とが近く、かつ、ユーザが画面を閲覧しているときの表示例を示す図である。すなわち、図１６および図１７は、ユーザが図１５に示す位置に存在しているときに表示する画面の例である。

【0156】

図１６は、携帯端末装置２が下を向いている状態のときの表示例である。位置状態取得部２０１は、携帯端末装置２の姿勢情報２１４を解析することにより、携帯端末装置２が下を向いている状態を検出することが可能である。その場合、位置状態取得部２０１は、状態情報２１６に「下向き状態」を記録する。拡張現実構成部２０２は、当該状態情報２１６を参照することにより、携帯端末装置２が前方に向けられているのではないと判定して、例えば、レーダー画像２１７ｆおよび宝箱画像２１７ｇを架空情報２１７として選択する。これにより、図１６に示すように、撮像された床画像２１３ｄ（現実部分を表現した画像）に、レーダー画像２１７ｆおよび宝箱画像２１７ｈが合成されて表示され、拡張現実が表現される。

【0157】

図１７は、携帯端末装置２が前方を向いている状態（部屋の内部に向けられている状態）のときの表示例である。図１７では、部屋の内部の様子が撮像された撮像画像情報２１３ｅが現実部分を表現する画像として表示されている。さらに、宝箱画像２１７ｈが架空情報２１７として選択され、撮像画像情報２１３ｅに合成され表示されている。これにより、部屋の内部に「宝箱」が置かれた画像が表示部２３の画面に表示され、拡張現実が表現されている。

【0158】

このように、拡張現実提供システム１では、ユーザの存在する位置が同一であっても、ユーザが画面を閲覧していない状態、閲覧しているが下を向いている状態、あるいは、閲覧しながら前方を観察している状態に応じて、提供する拡張現実を変更することができる。したがって、従来の技術に比べて、拡張現実において、現実味のある、バラエティー豊かな表現が可能となる。

【0159】

図１８および図１９は、宝探しゲームをユーザが体験している様子を概念的に示す図である。図１８および図１９に示す例においても、図１４および図１５に示した例と同様に「宝箱」が仮想的な事物として定義されている。

【0160】

しかし、ここに示す例では、「宝箱」に加えて、「壁」と「ハンドル」とが定義されている。「壁」は、「宝箱」が定義されている部屋の入り口付近に定義されている。また、「壁」を表現するコンテンツ情報１１２は、状態情報２１６における履歴状態が「ハンドル未操作（初期値）」のときにのみ拡張現実構成部２０２によって架空情報２１７として選択される。一方で、状態情報２１６における履歴状態が「ハンドル未操作（初期値）」のとき、拡張現実構成部２０２は、架空情報２１７として宝箱画像２１７ｈを選択しない。さらに、「ハンドル」は、「宝箱」から少し離れた場所に定義されている。

【0161】

ユーザが図１８に示す位置（図１５に示す位置と同じ位置）に到着したとしても、状態情報２１６が「ハンドル未操作」のままであれば、「壁」の画像が架空情報２１７として選択され、入り口を塞ぐように表示される。すなわち、図１７に示すような画像は表示されず、ユーザは「宝箱」を発見することはできない。

【0162】

図１９は、ユーザが「ハンドル」が定義されている位置に移動した状態を概念的に示している。図２０は、図１９に示す位置にユーザが存在しているときに画面に表示される画像を示す図である。すなわち、ユーザが図１９に示す位置に到着すると、現実に存在する壁を撮像した撮像画像情報２１３ｆに、架空情報２１７としてのハンドル画像２１７ｉおよびメッセージ画像２１７ｊが合成され、表示される。

【0163】

図２０に示す表示を見たユーザは、メッセージ画像２１７ｊの指示に従って、携帯端末装置２を回転させる。位置状態取得部２０１は、姿勢情報２１４および位置情報２１５を解析することにより、ユーザが所定の操作（携帯端末装置２を回転させる操作）を所定の位置（図１９に示す位置）において実行したことを検出し、状態情報２１６の履歴状態を「ハンドル操作済み」と書き換える。

【0164】

図２１は、状態情報２１６が「ハンドル操作済み」と書き換えられた状態で、ユーザが図１９に示す位置に移動した状態を概念的に示す図である。状態情報２１６に「ハンドル操作済み」と記録された状態でユーザが図２１に示す位置（図１８に示す位置と同じ。）に移動すると、拡張現実構成部２０２は、架空情報２１７として「壁」の画像を選択せずに、宝箱画像２１７ｈを選択する。これにより、図１７と同様の表示がされることになり、ユーザは「宝箱」を発見することができる。

【0165】

このように、拡張現実提供システム１は、履歴状態に応じて、架空情報２１７を選択することにより、さらに、柔軟な表現が可能となる。なお、架空情報２１７として表示される「壁」は実在しないため、ユーザは当該「壁」を無視して、仮想的な事物としての「ハンドル」を操作することなく、部屋に入ることは可能である。このような場合には、宝箱画像２１７ｈの代わりに他の画像（例えば、ガラクタの画像）を選択したり、あるいは、何も表示しないことが好ましい。拡張現実構成部２０２は、不正に侵入したユーザについては、状態情報２１６を参照することにより、「ハンドル未操作」状態であることを検出することができる。したがって、そのような場合に、宝箱画像２１７ｈを表示しないように構成することもできる。

【0166】

拡張現実提供システム１が提供する拡張現実としては、ショッピングモールや地下街において、道案内（店舗案内）を行うアプリケーションも考えられる。

【0167】

このようなアプリケーションでは、ユーザの高さ位置（どの階に存在しているか。）も重要な位置情報２１５となる。拡張現実提供システム１では、基準位置提供装置１０が設置されている高さ位置（基準情報１０３）に基づいて、気圧センサ２４８を補正することができる。したがって、気圧情報２１２８に基づいて、ユーザの居る階を検出し、状態情報２１６に格納することもできる。これにより、ユーザの居る階に応じた売り場案内を画像として表示することもできる。

【0168】

また、コンテンツ情報１１２内の地図情報と、位置情報２１５とを照合することにより、エスカレータに搭乗状態のユーザを検出することもできる。したがって、例えば、２階から３階に移動しているユーザに対しては、予め３階の売り場案内を表示させることもできる。エスカレータに搭乗状態となっているユーザは、商品を見ている可能性は低く、表示部２３の画面を注視している可能性が高い。したがって、このようなユーザ状態を検出して架空情報２１７を表示することにより、効果的なタイミングを逃さず、より有効な拡張現実を提供することができる。

【0169】

また、時間情報２１２２と状態情報２１６を用いれば、昼食時に未だレストランに入場していないユーザを履歴状態から検出して、当該ユーザをレストランに導くように案内することもできる。また、季節（時間情報２１２２）や天気（周辺の環境の状態）、好み（オーナー情報２１１）等により、おすすめのレストランを表現した架空情報２１７を選択して表示させてもよい。

【0170】

以上のように、拡張現実提供システム１は、コンテンツ情報１１２を記憶する記憶装置２１と、ユーザにより携帯される携帯端末装置２の現在位置を示す位置情報２１５を取得するとともに、携帯端末装置２の状態を示す状態情報２１６を取得する位置状態取得部２０１と、位置情報２１５および状態情報２１６に応じて、記憶装置２１に記憶されたコンテンツ情報１１２から拡張現実を構成する架空情報２１７を選択する拡張現実構成部２０２と、選択された架空情報２１７を出力することにより、拡張現実を表現する表示部２３およびスピーカ２８とを備える。これにより、豊富なコンテンツ情報１１２から適切な架空情報２１７を選択することができる。したがって、よりリアルに拡張現実を表現することができるとともに、提供可能な拡張現実の幅が広がる。

【0171】

また、拡張現実提供システム１は、携帯端末装置２の周辺の環境情報（磁気情報２１２３、音声情報２１２４、温度情報２１２５、照度情報２１２６、湿度情報２１２７および気圧情報２１２８）を取得し、拡張現実構成部２０２は、当該環境情報に応じて、前記記憶装置２１に記憶されたコンテンツ情報１１２から拡張現実を構成する架空情報２１７を選択する。これにより、さらに適切な架空情報２１７を選択することができる。したがって、よりリアルに拡張現実を表現することができる。

【0172】

また、拡張現実提供システム１は、時間情報２１２２を取得する時間取得部２４２をさらに備え、拡張現実構成部２０２は、時間取得部２４２により取得された時間情報２１２２に応じて、記憶装置２１に記憶されたコンテンツ情報１１２から拡張現実を構成する架空情報２１７を選択する。これによっても、さらに適切な架空情報２１７を選択することができる。したがって、よりリアルに拡張現実を表現することができる。

【0173】

位置状態取得部２０１は、取得された位置情報２１５に基づいて、状態情報２１６を取得する。これにより、例えば、位置が変化していることにより、移動状態を検出できる。また、エスカレータの位置に存在していれば、エスカレータに搭乗状態であることも検出できる。したがって、検出可能な状態のバリエーションが増えるため、さらにバラエティー豊かな拡張現実を提供することができる。

【0174】

また、携帯端末装置２の運動に関する慣性情報２１２９を取得する加速度センサ２４０およびジャイロセンサ２４１をさらに備え、位置状態取得部２０１は、取得された慣性情報２１２９に基づいて、状態情報２１６を取得する。これによっても、検出可能な状態のバリエーションが増えるため、さらにバラエティー豊かな拡張現実を提供することができる。

【0175】

また、位置状態取得部２０１は、取得された慣性情報２１２９に基づいて、位置情報２１５を特定する。自蔵センサを位置取得に流用することができ、位置精度が向上する。

【0176】

さらに、拡張現実構成部２０２は、位置状態取得部２０１により取得された状態情報２１６において、携帯端末装置２を携帯するユーザの表示部２３に対する閲覧状態に応じて、架空情報２１７としての画像情報の選択を禁止する。これにより、無駄な表示を抑制することができ、省電力および演算速度の向上が達成される。

【0177】

＜２． 変形例＞
以上、本発明の実施の形態について説明してきたが、本発明は上記実施の形態に限定されるものではなく様々な変形が可能である。

【0178】

例えば、上記実施の形態に示した各工程は、あくまでも例示であって、上記に示した順序や内容に限定されるものではない。すなわち、同様の効果が得られるならば、適宜、順序や内容が変更されてもよい。例えば、撮像部２５が撮像を開始する工程（ステップＳ５）と、センサ群２４が測定を開始する工程（ステップＳ６）とを入れ替えてもよい。

【0179】

また、上記実施の形態に示した機能ブロック（カード制御部２００や位置状態取得部２０１、拡張現実構成部２０２など）は、ＣＰＵ２０がプログラム２１０に従って動作することにより、ソフトウェア的に実現されると説明した。しかし、これらの機能ブロックの一部または全部を専用の論理回路で構成し、ハードウェア的に実現してもよい。

【0180】

また、上記実施の形態におけるユーザの状態とは、位置状態取得部２０１がユーザの行動を推定することにより取得される情報であると説明した。しかし、例えば、センサ群２４に生体センサ（体温センサや脈拍センサ、発汗センサ、呼吸数計測センサなど）を含め、生体センサから得られる情報に応じてユーザの状態を判定してもよい。生体センサから得られる情報によるユーザの状態とは、行動状態に限定されるものではなく、例えば、大きく驚いている状態や、平静状態、あるいは、疲労状態等が考えられる。

【0181】

また、位置を特定する構成としては、加速度センサ２４０およびジャイロセンサ２４１を用いた慣性航行による位置推定に限定されるものではない。例えば、慣性航行による位置推定の代わりに、ＧＰＳ（Global Positioning System）による測位を採用する構成（ＧＰＳ受信装置）としてもよい。また、ＧＰＳ測位と、慣性航行による位置推定とを併用してもよい。ただし、ユーザや携帯端末装置２の様々な状態を検出するためには、加速度センサ２４０およびジャイロセンサ２４１によって慣性情報２１２９を取得することが好ましい。したがって、本発明は、慣性航行による位置推定を行う構成との親和性が高いと言える。

【0182】

また、架空情報２１７は、表示部２３に表示される画像情報やスピーカ２８から再生される音声情報に限定されるものではない。例えば、携帯端末装置２をバイブレータ（図示せず）により振動させるといった表現も可能である。

【0183】

また、携帯端末装置２は、ＨＭＤ（Head Mounted Display）型の装置として構成することも可能である。ＨＭＤ型の装置は、ユーザが頭部に装着することにより、当該ユーザに付随して移動する装置である。この場合、現実部分を表現した画像（撮像画像情報２１３）を表示する必要はなく、架空情報２１７の表示のみで拡張現実を提供することができる。

【0184】

また、指標となる物体は、基準位置提供装置１０のような装置に限定されるものではなく、基準位置や基準姿勢に関する情報を表現したバーコードでもよい。例えば、基準位置において特定の姿勢で読み取るバーコードを拡張現実空間９の近傍に設け、これを撮像部２５で撮像し読み取るように構成してもよい。

【0185】

また、上記実施の形態では、センサ群２４と出力手段（表示部２３およびスピーカ２８）とが同一の装置に設けられている例について説明した。しかし、これらは別の装置に存在してもよい。例えば、ペット（対象物）にセンサ群２４を取り付けて、拡張現実空間９内に放し、当該ペットの動きに応じて、ユーザが携帯する装置に設けられた出力手段に仮想物体を表示することにより拡張現実を提供してもよい。あるいは、センサ群２４を内蔵したボール（対象物）を拡張現実空間９内でユーザが投げ、投げられた瞬間の位置および加速度に応じて、当該ボールの軌道を計算し、当該ボールに対応した仮想物体（例えば、槍や魔法による火の玉など）の軌道や標的となった敵の様子をユーザの手元の装置（出力手段）に表示するといったアプリケーションも想定される。

【0186】

また、架空情報２１７としては、所定のエフェクト（処理効果）を定義した情報でもよい。例えば、現実を表現する撮像画像情報２１３の一部または全部に、選択されたエフェクトを施して、仮想事物として表示してもよい。このようなエフェクトとしては、現実の物体が徐々に歪んでいく演出（変形）や、色彩が失われていく演出（変色）などが考えられる。すなわち、本来であれば現実部分を表現する撮像画像情報２１３を仮想的に変化させて、拡張現実を表現してもよい。

【符号の説明】

【0187】

１ 拡張現実提供システム
１０ 基準位置提供装置
１００ 非接触ＩＣカードリーダー部
１０１，１１０，２１ 記憶装置
１０２，１１１，２１０ プログラム
１０３ 基準情報
１１ データベースサーバ
１１２ コンテンツ情報
１１２ 候補情報
２ 携帯端末装置
２０ ＣＰＵ
２００ カード制御部
２０１ 位置状態取得部
２０２ 拡張現実構成部
２１１ オーナー情報
２１２ 収集情報
２１２０ 加速度情報
２１２１ 角速度情報
２１２２ 時間情報
２１２３ 磁気情報
２１２４ 音声情報
２１２５ 温度情報
２１２６ 照度情報
２１２７ 湿度情報
２１２８ 気圧情報
２１２９ 慣性情報
２１３，２１３ａ，２１３ｂ，２１３ｃ，２１３ｅ，２１３ｆ 撮像画像情報
２１３ｄ 床画像
２１４ 姿勢情報
２１５ 位置情報
２１６ 状態情報
２１７ 架空情報
２１７ａ 樹木画像
２１７ｂ 怪物画像
２１７ｃ 虫画像
２１７ｄ コウモリ群画像
２１７ｅ ノイズ画像
２１７ｆ レーダー画像
２１７ｇ，２１７ｈ 宝箱画像
２１７ｉ ハンドル画像
２１７ｊ メッセージ画像
２２ 操作部
２３ 表示部
２４ センサ群
２４０ 加速度センサ
２４１ ジャイロセンサ
２４２ 時間取得部
２４３ 磁気センサ
２４４ マイク
２４５ 温度センサ
２４６ 照度センサ
２４７ 湿度センサ
２４８ 気圧センサ
２５ 撮像部
２６ 非接触ＩＣカード部
２７ 通信部
２８ スピーカ
９ 拡張現実空間

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】