特許 7449437 プログラム、情報処理方法及び情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2024-03-05

(45)【発行日】2024-03-13

(54)【発明の名称】プログラム、情報処理方法及び情報処理装置

(51)【国際特許分類】

   G06T 19/00 20110101AFI20240306BHJP

【ＦＩ】

G06T19/00 600

【請求項の数】 11

(21)【出願番号】P 2023142372

(22)【出願日】2023-09-01

【審査請求日】2023-09-01

【早期審査対象出願】

(73)【特許権者】

【識別番号】503095963

【氏名又は名称】株式会社ほぼ日

(74)【代理人】

【識別番号】100114557

【弁理士】

【氏名又は名称】河野 英仁

(74)【代理人】

【識別番号】100078868

【弁理士】

【氏名又は名称】河野 登夫

(72)【発明者】

【氏名】後藤 太

(72)【発明者】

【氏名】清木 昌

(72)【発明者】

【氏名】千野 裕太郎

(72)【発明者】

【氏名】渡邉 青

【審査官】益戸 宏

(56)【参考文献】

【文献】米国特許出願公開第２０１９／０１５６５８０（ＵＳ，Ａ１）

【文献】特開２０１９－０９１２０３（ＪＰ，Ａ）

【文献】特表２０１７－５２２６８２（ＪＰ，Ａ）

【文献】大山繁樹，売れる「ほぼ日のアースボール」、ＡＲＸ地球儀で新しい体験，ＮＩＫＫＥＩ ＤＥＳＩＧＮ，2018年06月24日，第３７３号 ，pp.20-21

【文献】佐藤信彦，入学祝いにぴったりな学習用のＡＲ地球儀「Ｏｒｂｏｏｔ」－－地球上に画像がポップアップ，CNET Japan [online]，2017年03月03日，[検索日 2018.05.02], インターネット<URL:https://japan.cnet.com/article/35097547/>

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １９／００

(57)【特許請求の範囲】

【請求項1】

現実空間の地球儀をかざした場合に、前記地球儀の動きに対応して第１仮想空間の地球儀を表示すると共に該第１仮想空間上の所定位置に複数のオブジェクトを表示し、
いずれかの前記オブジェクトの選択を受け付けた場合に、前記第１仮想空間の地球儀領域の地球画像を、前記第１仮想空間とは異なる第２仮想空間における前記地球画像とは異なる第２画像へ変更すると共に前記第２画像内に選択されたオブジェクトを表示し、
前記第２仮想空間内の前記地球画像とは異なる第２画像へ変更された該第２画像内のオブジェクトを現実空間に拡張させるコマンドを受け付けた場合に、前記第２仮想空間内の前記オブジェクトを、地球儀領域外の領域であり、かつ、撮像部から取り込んだ現実空間オブジェクトが写りこんだ現実空間の画像領域に拡張現実として表示する
処理をコンピュータに実行させるプログラム。

【請求項2】

前記オブジェクトのサイズ情報を取得し、
取得した前記オブジェクトのサイズ情報に基づき、拡張現実として表示された前記オブジェクトを等身大まで拡大する
請求項１に記載のプログラム。

【請求項3】

拡張現実として表示された前記オブジェクトを等身大まで拡大するためのスライダーを表示し、
表示したスライダーにより、前記オブジェクトを等身大まで拡大する
請求項２に記載のプログラム。

【請求項4】

前記オブジェクトとは異なる第２オブジェクトの選択を受け付けた場合に、前記第２仮想空間内に選択された第２オブジェクトを表示し、
前記第２仮想空間内の第２オブジェクトを現実空間に拡張させるコマンドを受け付けた場合に、前記オブジェクトと共に、前記第２仮想空間内の前記第２オブジェクトを前記地球儀領域外の現実空間に拡張現実として表示する
請求項１又は２に記載のプログラム。

【請求項5】

前記第２仮想空間内の前記オブジェクトを、前記オブジェクトに対応する位置における画像と共に前記第２仮想空間に表示する
請求項１又は２に記載のプログラム。

【請求項6】

前記地球儀の動きに対応して、前記オブジェクトに対応する位置における画像及び前記オブジェクトを変化させる
請求項５に記載のプログラム。

【請求項7】

前記第２仮想空間を表示している場合に、前記第２仮想空間から前記第１仮想空間への切り替えるためのボタンを表示し、
表示したボタンの操作を受け付けた場合に、前記第２仮想空間から前記第１仮想空間へ切り替える
請求項１又は２に記載のプログラム。

【請求項8】

前記オブジェクトの選択を受け付けた場合に、前記地球儀領域の周囲に前記オブジェクトに関連する情報を記載した複数のボードを表示する
請求項１又は２に記載のプログラム。

【請求項9】

前記地球儀の動きの検知にかかわらず、前記複数のボードの表示位置を保持する
請求項８に記載のプログラム。

【請求項10】

現実空間の地球儀をかざした場合に、前記地球儀の動きに対応して第１仮想空間の地球儀を表示すると共に該第１仮想空間上の所定位置に複数のオブジェクトを表示し、
いずれかの前記オブジェクトの選択を受け付けた場合に、前記第１仮想空間の地球儀領域の地球画像を、前記第１仮想空間とは異なる第２仮想空間における前記地球画像とは異なる第２画像へ変更すると共に前記第２画像内に選択されたオブジェクトを表示し、
前記第２仮想空間内の前記地球画像とは異なる第２画像へ変更された該第２画像内のオブジェクトを現実空間に拡張させるコマンドを受け付けた場合に、前記第２仮想空間内の前記オブジェクトを、地球儀領域外の領域であり、かつ、撮像部から取り込んだ現実空間オブジェクトが写りこんだ現実空間の画像領域に拡張現実として表示する
処理をコンピュータが実行する情報処理方法。

【請求項11】

制御部を備える情報処理装置であって、
前記制御部は、
現実空間の地球儀をかざした場合に、前記地球儀の動きに対応して第１仮想空間の地球儀を表示すると共に該第１仮想空間上の所定位置に複数のオブジェクトを表示し、
いずれかの前記オブジェクトの選択を受け付けた場合に、前記第１仮想空間の地球儀領域の地球画像を、前記第１仮想空間とは異なる第２仮想空間における前記地球画像とは異なる第２画像へ変更すると共に前記第２画像内に選択されたオブジェクトを表示し、
前記第２仮想空間内の前記地球画像とは異なる第２画像へ変更された該第２画像内のオブジェクトを現実空間に拡張させるコマンドを受け付けた場合に、前記第２仮想空間内の前記オブジェクトを、地球儀領域外の領域であり、かつ、撮像部から取り込んだ現実空間オブジェクトが写りこんだ現実空間の画像領域に拡張現実として表示する
情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、プログラム、情報処理方法及び情報処理装置に関する。

【背景技術】

【0002】

近年、拡張現実（ＡＲ：Augmented Reality）システムを用いた商品の開発が行われている。ＡＲシステムでは、Apple（登録商標） Vision Pro等のＡＲグラス（ＡＲゴーグル）、スマートフォン、タブレット端末、携帯ゲーム機等のようにカメラ及び表示部を有する情報機器に、ＡＲマーカを認識するためのアプリケーションプログラムをインストールしておく。このような情報機器を用いて、ＡＲマーカが付された被写体を撮影すると、情報機器がＡＲマーカを認識し、認識したＡＲマーカに応じたコンテンツを、撮影画像の上に重ねて表示する。これにより、ユーザは、撮影対象の被写体にコンテンツが重畳された画像を表示部にて見ることができる。特許文献１には、立体対象物を撮影し、撮影した画像中の立体対象物の上に画像又は文字等の付加情報を重ねて表示するシステムが開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１３－９２４０７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１に係る発明は、撮影した画像中の地球儀（立体対象物）の上に表示されているオブジェクトを、地球儀領域外の現実空間に拡張現実として表示することができないという問題がある。

【0005】

一つの側面では、撮影した画像中の地球儀の上に表示されているオブジェクトを、地球儀領域外の現実空間に拡張現実として表示することが可能なプログラム等を提供することにある。

【課題を解決するための手段】

【0006】

一つの側面に係るプログラムは、現実空間の地球儀をかざした場合に、前記地球儀の動きに対応して第１仮想空間の地球儀を表示すると共に該第１仮想空間上の所定位置に複数のオブジェクトを表示し、いずれかの前記オブジェクトの選択を受け付けた場合に、前記第１仮想空間の地球儀領域の地球画像を、前記第１仮想空間とは異なる第２仮想空間における前記地球画像とは異なる第２画像へ変更すると共に前記第２画像内に選択されたオブジェクトを表示し、前記第２仮想空間内の前記地球画像とは異なる第２画像へ変更された該第２画像内のオブジェクトを現実空間に拡張させるコマンドを受け付けた場合に、前記第２仮想空間内の前記オブジェクトを、地球儀領域外の領域であり、かつ、撮像部から取り込んだ現実空間オブジェクトが写りこんだ現実空間の画像領域に拡張現実として表示する処理をコンピュータに実行させる。

【発明の効果】

【0007】

一つの側面では、撮影した画像中の地球儀の上に表示されているオブジェクトを、地球儀領域外の現実空間に拡張現実として表示することが可能となる。

【図面の簡単な説明】

【0008】

【図1】ＡＲシステムの構成例を示す模式図である。

【図2】ユーザ端末の構成例を示すブロック図である。

【図3】恐竜ＤＢ及び位置画像ＤＢのレコードレイアウトの一例を示す説明図である。

【図4】第１仮想空間内の複数の恐竜の選択画面の一例を示す説明図である。

【図5】第２仮想空間を表示する画面の一例を示す説明図である。

【図6】恐竜の拡張画面の一例を示す説明図である。

【図7】スライダーにより恐竜を等身大まで拡大する画面の一例を示す説明図である。

【図8】第２仮想空間内の恐竜及び画像を表示する画面の一例を示す説明図である。

【図9】地球儀領域内の恐竜を地球儀領域外の現実空間に拡張現実として表示する際の処理手順を示すフローチャートである。

【図10】複数の恐竜を第１仮想空間に表示する処理のサブルーチンの処理手順を示すフローチャートである。

【図11】恐竜を地球儀領域外の現実空間に拡張現実として表示する処理のサブルーチンの処理手順を示すフローチャートである。

【図12】拡張現実として表示された恐竜を拡大または縮小する際の処理手順を示すフローチャートである。

【図13】恐竜を拡大または縮小する処理のサブルーチンの処理手順を示すフローチャートである。

【図14】第２仮想空間から第１仮想空間へ切り替える際の処理手順を示すフローチャートである。

【図15】第２仮想空間内の恐竜及び画像を表示する際の処理手順を示すフローチャートである。

【図16】実施形態２における恐竜の拡張画面の一例を示す説明図である。

【図17】第１恐竜と共に第２恐竜を地球儀領域外の現実空間に拡張現実として表示する際の処理手順を示すフローチャートである。

【図18】ボードの表示画面の一例を示す説明図である。

【図19】複数のボードを表示する際の処理手順を示すフローチャートである。

【発明を実施するための形態】

【0009】

以下、本発明をその実施形態を示す図面に基づいて詳述する。

【0010】

（実施形態１）
実施形態１は、現実空間の地球儀（アースボール）をかざした場合、地球儀領域内のオブジェクトを地球儀領域外の現実空間に拡張現実として表示する形態に関する。オブジェクトは、例えば、恐竜、象、パンダもしくはキリン等の動物、飛行機もしくは船等の乗り物、国旗、植物または建物等を含む。なお、本実施形態では、オブジェクトが恐竜である例を説明するが、他の種類のオブジェクトにも同様に適用することができる。

【0011】

図１は、ＡＲシステムの構成例を示す模式図である。本実施形態のＡＲシステムは、ＡＲマーカ（マーカ）を表面に有する球体である地球儀１及び情報処理端末２を含み、地球儀１を被写体とし、地球儀１を情報処理端末２で撮影して使用する。

【0012】

地球儀１は例えばプラスチック製の中空の球体であるが、これに限らない。地球儀１の表面には、地球上の地図が印刷されており、地図中の適宜位置にＡＲマーカが付されている。例えば図１に示す例では、地図中の海及び大陸のそれぞれに名称が付されており、各国及び都市のそれぞれに国名及び都市名が付されている。これらの文字はＡＲマーカを構成する。

【0013】

なお、図１では省略しているが、地図中に各国の国境線が含まれる場合、国境線もＡＲマーカを構成させても良い。なお、地図中の河川、平野、山脈等は地形毎に所定の色で色分けされた場合、各色もＡＲマーカを構成させても良い。

【0014】

なお、地図中の海にはそれぞれの海、海域等を識別するために所定のマークが付されてても良い。または、船、亀又はカモメ等の動物を識別するために所定のマークが付されてても良い。更にまた、地図中の大陸にはそれぞれの大陸、地域等を識別するために所定のマークが付されても良い。

【0015】

情報処理端末２は、各ユーザの端末装置である。情報処理端末２は、例えば、Apple Vision Pro等のＡＲグラス、スマートフォン、携帯電話、アップルウォッチ（Apple Watch：登録商標）等のウェアラブルデバイス、タブレット、ゲーム機、またはパーソナルコンピュータ端末等の情報処理機器である。以下では簡潔のため、情報処理端末２をユーザ端末２と読み替える。

【0016】

本実施形態に係るユーザ端末２は、現実空間の地球儀１をかざした場合、当該地球儀１の動きに対応して第１仮想空間の地球儀を表示すると共に該第１仮想空間上の所定位置に複数の恐竜を表示する。

【0017】

ユーザ端末２は、複数の恐竜のうち、いずれかの恐竜の選択を受け付けた場合、当該第１仮想空間の地球儀領域内に、当該第１仮想空間とは異なる第２仮想空間内に選択された恐竜を表示する。ユーザ端末２は、第２仮想空間内の恐竜を現実空間に拡張させるコマンドを受け付けた場合、当該第２仮想空間内の恐竜を地球儀領域外の現実空間に拡張現実として表示する。

【0018】

拡張現実において、仮想空間におけるオブジェクトを臨場感あふれるように表示することができるが、従来技術では、例えば恐竜のようなオブジェクトを仮想空間の地球儀上に重畳表示しても、臨場感を高める表現が難しい。

【0019】

これに対し、地球儀上にオブジェクトを重畳表示する仮想空間の他に、現実空間で地球儀の占める領域を一つの球体仮想空間（第１仮想空間）とみなして、臨場感の高い拡張現実を実現することができる。第１仮想空間は、オブジェクトを大きく表示し、地球儀を回転させることで、当該オブジェクトを自由に回転させながら観察することが可能な第２仮想空間と、当該オブジェクトをさらに大きく表示させる地球儀領域外の現実空間とを有する。このような第１仮想空間を利用することにより、臨場感を高める拡張現実を実現することができる。

【0020】

図２は、ユーザ端末２の構成例を示すブロック図である。ユーザ端末２は、制御部２１、記憶部２２、通信部２３、入力部２４、表示部２５、撮影部２６及び大容量記憶部２７を含む。各構成はバスＢで接続されている。

【0021】

制御部２１は、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）、ＤＳＰ（Digital Signal Processor）、または量子プロセッサ等の演算処理装置を含む。制御部２１は、記憶部２２に記憶された制御プログラム２Ｐ（プログラム製品）を読み出して実行することにより、ユーザ端末２に係る種々の情報処理または制御処理等を行う。なお、図２では制御部２１を単一のプロセッサであるものとして説明するが、マルチプロセッサであっても良い。

【0022】

記憶部２２はＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等のメモリ素子を含み、制御部２１が処理を実行するために必要な制御プログラム２Ｐ又はデータ等を記憶している。また、記憶部２２は、制御部２１が演算処理を実行するために必要なデータ等を一時的に記憶する。通信部２３は通信に関する処理を行うための通信モジュールであり、ネットワークＮを介して、外部の情報処理装置等と情報の送受信を行う。

【0023】

入力部２４は、コントローラー、ジェスチャを感知するためのジェスチャ入力装置、キーボード、マウスまたは表示部２５と一体化したタッチパネルでも良い。ジェスチャ入力装置を利用する場合、制御部２１は、例えば、撮影部２６により撮影した手の画像から手の位置及び形状等を認識する。制御部２１は、認識した手の位置及び形状等に基づき、手のジェスチャ（動き）を判定する。制御部２１は、判定した手のジェスチャに応じて、該当する操作を行う。例えば、制御部２１は、親指及び人差指でつまむようなジェスチャを判定した場合、手の位置にあるオブジェクトを選択するような操作を行っても良い。

【0024】

表示部２５は、液晶ディスプレイ又は有機ＥＬ（electroluminescence）ディスプレイ等であり、制御部２１の指示に従い各種情報を表示する。撮影部２６は、例えばＣＣＤ（Charge Coupled Device）カメラ、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）カメラ等の撮影装置である。なお、撮影部２６はユーザ端末２の中に内蔵せず、外部で直接にユーザ端末２と接続し、撮影可能な構成としても良い。

【0025】

大容量記憶部２７は、例えばＨＤＤ（Hard disk drive）、またはＳＳＤ（Solid State Drive）等の記録媒体を備える。大容量記憶部２７は、恐竜ＤＢ（database）２７１及び位置画像ＤＢ２７２を含む。恐竜ＤＢ２７１は、恐竜に関する情報を記憶している。位置画像ＤＢ２７２は、各位置における画像（例えば、背景画像）を記憶している。

【0026】

なお、本実施形態において記憶部２２及び大容量記憶部２７は一体の記憶装置として構成されていても良い。また、大容量記憶部２７は複数の記憶装置により構成されていても良い。更にまた、大容量記憶部２７はユーザ端末２に接続された外部記憶装置であっても良い。

【0027】

図３は、恐竜ＤＢ２７１及び位置画像ＤＢ２７２のレコードレイアウトの一例を示す説明図である。

【0028】

恐竜ＤＢ２７１は、恐竜ＩＤ列、学名列、サイズ列、生息地列、画像列及び説明列を含む。恐竜ＩＤ列は、各恐竜を識別するために、一意に特定される恐竜のＩＤを記憶している。学名列は、恐竜の学名を記憶している。サイズ列は、恐竜のサイズ（全長）を記憶している。

【0029】

生息地列は、恐竜の生息地、または生息地の経緯度等を記憶している。画像列は、恐竜の画像データを記憶している。説明列は、食べ物、生息時期または特徴等を含む恐竜の説明情報を記憶している。

【0030】

位置画像ＤＢ２７２は、画像ＩＤ列、経緯度列及び画像列を含む。画像ＩＤ列は、各位置における画像を識別するために、一意に特定される画像のＩＤを記憶している。経緯度列は、位置の経緯度を記憶している。画像列は、各位置における画像の画像データを記憶している。

【0031】

なお、上述した各ＤＢの記憶形態は一例であり、データ間の関係が維持されていれば、他の記憶形態であっても良い。

【0032】

続けて、ＡＲシステムの処理動作を説明する説明図である。ユーザ端末２は、外部の情報処理装置（例えば、サーバ装置）から、恐竜に関する情報を取得する。恐竜に関する情報は、恐竜の学名、サイズ、生息地、画像及び説明情報等を含む。

【0033】

ユーザ端末２は、取得した恐竜に関する情報に対し、恐竜ＩＤを割り振る。ユーザ端末２は、割り振った恐竜ＩＤに対応付けて、恐竜の学名、サイズ、生息地、画像及び説明情報を一つのレコードとして恐竜ＤＢ２７１に記憶する。なお、恐竜に関する情報は、予め恐竜ＤＢ２７１に記憶されても良い。

【0034】

図４は、第１仮想空間内の複数の恐竜の選択画面の一例を示す説明図である。当該画面は、第１仮想空間表示欄１１ａ及び恐竜表示欄１１ｂを含む。

【0035】

第１仮想空間表示欄１１ａは、第１仮想空間を表示する表示欄である。第１仮想空間は、地球儀領域及び地球儀領域外の現実空間領域を含む仮想空間である。恐竜表示欄１１ｂは、恐竜の学名及び画像を表示する表示欄である。なお、恐竜表示欄１１ｂは、恐竜の数に応じて設けられる。

【0036】

ユーザ端末２は、現実空間の地球儀１をかざした場合、撮影部２６を介して、マーカを表面に有する当該地球儀１の撮影画像を取り込むことにより、地球儀領域を含む地球儀１の撮影画像を第１仮想空間表示欄１１ａに表示する。

【0037】

ユーザ端末２は、地球儀１の撮影画像中のマーカ情報に基づき、撮影画像に表示されている地球儀領域の位置を特定する。例えば、ユーザ端末２は、撮影画像に表示されている地球儀領域に応じてＡＲマーカ情報を認識する。ユーザ端末２は、認識したＡＲマーカ情報に基づいて位置情報を抽出する。

【0038】

ユーザ端末２は、抽出した位置情報を参照して、各恐竜の生息地に基づき、該当する複数の恐竜に関する情報（恐竜の学名、サイズ、生息地、画像または説明情報等）を恐竜ＤＢ２７１から取得する。ユーザ端末２は、取得した各恐竜の生息地に対応する経緯度を取得する。例えば、ユーザ端末２は、グーグル・マップ（Google Map）サービス等により生息地に対応する経緯度を取得しても良い。

【0039】

ユーザ端末２は、第１仮想空間の地球儀を表示すると共に、該第１仮想空間上の所定位置に複数の恐竜を表示する。図示のように、ユーザ端末２は、かざされた地球儀１を第１仮想空間表示欄１１ａに表示すると共に、第１仮想空間上の各恐竜の生息地に対応する経緯度に、各恐竜の学名及び画像を該当する恐竜表示欄１１ｂに表示する。

【0040】

なお、ユーザ端末２は、地球儀１の回転、またはユーザ端末２と地球儀１との相対位置の変化等の動きを検知した場合、検知した動きに対応して、地球儀１の撮影画像を再度取り込む。ユーザ端末２は、再度取り込んだ地球儀１の撮影画像を第１仮想空間表示欄１１ａに表示する。

【0041】

ユーザ端末２は、上述した処理と同様に、地球儀１の撮影画像中のマーカ情報に基づき、撮影画像に表示されている地球儀領域の位置を再度特定する。ユーザ端末２は、再度特定した位置を参照して、該当する複数の恐竜に関する情報を恐竜ＤＢ２７１から取得する。ユーザ端末２は、取得した各恐竜の生息地に対応する経緯度に、各恐竜の学名及び画像を該当する恐竜表示欄１１ｂに表示する。

【0042】

ユーザ端末２は、第１仮想空間上の所定位置に表示しているいずれかの恐竜の選択を受け付けた場合、第１仮想空間の地球儀領域内に、当該第１仮想空間とは異なる第２仮想空間内に選択された恐竜を表示する。

【0043】

具体的には、ユーザ端末２は、恐竜表示欄１１ｂのタッチ（クリック）操作を受け付けた場合、選択された恐竜ＩＤ及び画像データを第２仮想空間の表示画面（図５）に渡し、当該第２仮想空間の表示画面に遷移する。

【0044】

なお、上述したタッチ操作に限るものではない。例えば、入力部２４がジェスチャ入力装置である場合、ユーザ端末２は、手の画像から認識された手の位置及び形状等に基づき、例えば、親指及び人差指でつまむようなジェスチャを判定すると、恐竜表示欄１１ｂに表示されている恐竜の選択操作を受け付けても良い。なお、以下では簡潔のため、タッチ操作の例を説明するが、ジェスチャ入力装置等が利用される際の選択操作にも同様に適用することができる。

【0045】

図５は、第２仮想空間を表示する画面の一例を示す説明図である。なお、図４と重複する内容については同一の符号を付して説明を省略する。当該画面は、第２仮想空間表示欄１１ｃ及び切り替えボタン１１ｄを含む。

【0046】

第２仮想空間表示欄１１ｃは、第２仮想空間を表示する表示欄である。第２仮想空間は、第１仮想空間の地球儀領域内の仮想空間である。切り替えボタン１１ｄは、第２仮想空間から第１仮想空間への切り替えるためのボタンである。

【0047】

ユーザ端末２は、恐竜の選択画面（図４）から受け渡された恐竜ＩＤ及び画像データを受け取る。ユーザ端末２は、受け取った恐竜の画像データを第２仮想空間表示欄１１ｃに表示する。ユーザ端末２は、切り替えボタン１１ｄのタッチ操作を受け付けた場合、第２仮想空間から第１仮想空間へ切り替え、恐竜の選択画面（図４）に戻る。

【0048】

ユーザ端末２は、第２仮想空間表示欄１１ｃに表示されている恐竜を現実空間に拡張させるコマンドを受け付けた場合、当該恐竜ＩＤ及び画像データを恐竜の拡張画面（図６）に渡し、当該恐竜の拡張画面に遷移する。

【0049】

コマンドは、例えば、ユーザによる第２仮想空間内の恐竜に対するタッチ操作であっても良く、または、現実空間に拡張させるボタン（図示なし）に対するタッチ操作であっても良い。更にまた、コマンドは、第２仮想空間内の恐竜に対するドラッグアンドドロップ操作またはスワイプ操作であっても良い。例えば、ユーザ端末２は、第２仮想空間内の恐竜を現実空間にドラッグアンドドロップして、当該恐竜を現実空間にドロップした位置に拡張させる。

【0050】

図６は、恐竜の拡張画面の一例を示す説明図である。拡張画面は、第２仮想空間内の恐竜を地球儀領域外の現実空間に拡張現実として表示するための画面である。なお、図４～図５と重複する内容については同一の符号を付して説明を省略する。

【0051】

当該画面は、現実空間恐竜表示欄１１ｆ及びスライダー１１ｅを含む。現実空間恐竜表示欄１１ｆは、恐竜を地球儀領域外の現実空間に拡張現実として表示する表示欄である。スライダー１１ｅは、拡張現実として恐竜を等身大まで拡大するためのスライダーである。

【0052】

ユーザ端末２は、第２仮想空間の表示画面（図５）から受け渡された恐竜ＩＤ及び画像データを受け取る。ユーザ端末２は、第２仮想空間内の恐竜の初期表示サイズを算出する。例えば、ユーザ端末２は、恐竜ＩＤに基づき、当該恐竜のサイズを恐竜ＤＢ２７１から取得する。ユーザ端末２は、取得した恐竜のサイズに基づき、所定の割合（例えば、１０％）により初期表示サイズを算出する。

【0053】

ユーザ端末２は、算出した第２仮想空間内の恐竜の初期表示サイズに応じて、第２仮想空間内の恐竜を第１仮想空間の地球儀領域外の現実空間に拡張現実として表示する。図示のように、恐竜の初期表示サイズに応じて、第２仮想空間内の恐竜が現実空間恐竜表示欄１１ｆに表示される。

【0054】

ユーザ端末２は、スライダー１１ｅのタッチ操作を受け付けた場合、拡張現実として恐竜を等身大表示サイズまで拡大するか、または恐竜の初期表示サイズに縮小する。図示のように、スライダー１１ｅは、水平方向に長い棒状の領域内に、左側が恐竜のサイズが小さくなるように、右側が恐竜のサイズが大きくなるように設けられる。スライダー１１ｅを左右へスライドさせる操作を行うことによって、恐竜のサイズを変化することができる。

【0055】

なお、本実施形態では、スライダー１１ｅにより恐竜を拡大または縮小させた例を説明したが、これに限るものではない。例えば、恐竜を拡大または縮小させるボタン等を設けても良い。

【0056】

例えば、ユーザ端末２は、スライダー１１ｅの左側へスライドさせた操作を受け付けた場合、恐竜のサイズに基づき、拡張現実として表示された恐竜のサイズを徐々に恐竜の初期表示サイズに縮小する。または、ユーザ端末２は、スライダー１１ｅの右側へスライドさせた操作を受け付けた場合、恐竜のサイズに基づき、拡張現実として表示された恐竜のサイズを徐々に等身大表示サイズまで拡大する。

【0057】

図７は、スライダー１１ｅにより恐竜を等身大まで拡大する画面の一例を示す説明図である。図示のように、ユーザ端末２は、スライダー１１ｅの一番右側へスライドさせた操作を受け付けた場合、恐竜のサイズに基づき、拡張現実として表示された恐竜を等身大表示サイズに拡大する。ユーザ端末２は、等身大表示サイズに拡大した恐竜を現実空間恐竜表示欄１１ｆに表示する。

【0058】

なお、上述した拡大処理に限るものではない。例えば、ユーザ端末２は、第１仮想空間の地球儀領域外の現実空間にあるオブジェクトを参照物として、当該オブジェクトのサイズを参照して拡大処理を行っても良い。例えば、ユーザ端末２は、第１仮想空間の地球儀領域外の現実空間にある地球儀１の直径を参照し、拡大対象となる恐竜の等身大表示サイズに基づき、拡大処理に用いられる拡大率を算出する。ユーザ端末２は、算出した拡大率に応じて、当該恐竜の拡大処理を行う。

【0059】

または、ユーザ端末２は、オブジェクトを配置した現実空間上の位置と、ユーザ端末２の位置との距離を元に拡大率を算出する。ユーザ端末２は、算出した拡大率に応じて、当該恐竜の拡大処理を行っても良い。当該拡大処理を利用することにより、恐竜から離れるほどに恐竜が大きくなっていくという演出効果が得られる。

【0060】

続いて、第２仮想空間の恐竜を、当該恐竜に対応する位置における画像と共に当該第２仮想空間に表示する処理を説明する。

【0061】

図８は、第２仮想空間内の恐竜及び画像を表示する画面の一例を示す説明図である。ユーザ端末２は、恐竜ＩＤに基づき、恐竜の生息地及び恐竜の画像データを恐竜ＤＢ２７１から取得する。ユーザ端末２は、当該恐竜に対応する位置における画像を取得する。

【0062】

具体的には、ユーザ端末２は、取得した恐竜の生息地に対応する経緯度を取得する。ユーザ端末２は、取得した経緯度に基づき、該当する画像データを位置画像ＤＢ２７２から取得する。図示のように、空及び草原を含む画像データが位置画像ＤＢ２７２から取得される。ユーザ端末２は、第２仮想空間表示欄１１ｃに、取得した恐竜の画像データと、当該恐竜に対応する位置における画像データとを表示する。

【0063】

また、第１仮想空間の地球儀の動きに対応して、恐竜及び当該恐竜に対応する位置における画像を変化させる。具体的には、ユーザ端末２は、第１仮想空間の地球儀の回転、またはユーザ端末２と地球儀１との相対位置の変化等の動きを検知した場合、当該地球儀の回転方向を取得する。ユーザ端末２は、取得した回転方向に合わせて、恐竜の画像データ、及び当該恐竜に対応する位置における画像データを回転させて第２仮想空間表示欄１１ｃに表示する。

【0064】

図９は、地球儀領域内の恐竜を地球儀領域外の現実空間に拡張現実として表示する際の処理手順を示すフローチャートである。ユーザ端末２の制御部２１は、複数の恐竜を第１仮想空間に表示する処理のサブルーチンを実行する（ステップＳ２０１）。なお、第１仮想空間における表示処理のサブルーチンに関しては後述する。制御部２１は、複数の恐竜から、いずれかの恐竜の選択を入力部２４により受け付ける（ステップＳ２０２）。

【0065】

制御部２１は、選択された恐竜を第２仮想空間に表示部２５により表示する（ステップＳ２０３）。制御部２１は、第２仮想空間内の恐竜を第１仮想空間の地球儀領域外の現実空間に拡張現実として表示する処理のサブルーチンを実行する（ステップＳ２０４）。なお、地球儀領域外の現実空間への表示処理のサブルーチンに関しては後述する。制御部２１は、処理を終了する。

【0066】

図１０は、複数の恐竜を第１仮想空間に表示する処理のサブルーチンの処理手順を示すフローチャートである。ユーザ端末２の制御部２１は、現実空間の地球儀１をかざした場合、撮影部２６を介して、マーカを表面に有する地球儀１の撮影画像を取り込む（ステップＳ０１）。撮影画像には、地球儀領域、及び当該地球儀領域外の現実空間領域が含まれる。制御部２１は、取り込んだ撮影画像を表示部２５により第１仮想空間に表示する（ステップＳ０２）。

【0067】

制御部２１は、撮影画像に表示されている地球儀領域に応じてＡＲマーカ情報を認識する（ステップＳ０３）。制御部２１は、認識したマーカ情報に基づき、撮影画像に表示されている地球儀領域の位置を特定する（ステップＳ０４）。制御部２１は、特定した位置情報を参照して、各恐竜の生息地に基づき、該当する複数の恐竜に関する情報（恐竜の学名、サイズ、生息地、画像または説明情報等）を大容量記憶部２７の恐竜ＤＢ２７１から取得する（ステップＳ０５）。

【0068】

制御部２１は、取得した複数の恐竜に関する情報から、各恐竜の生息地を取得する（ステップＳ０６）。制御部２１は、例えば、グーグル・マップサービス等を利用し、取得した各恐竜の生息地に対応する経緯度を取得する（ステップＳ０７）。制御部２１は、第１仮想空間の地球儀を表示部２５により表示する（ステップＳ０８）。

【0069】

制御部２１は、取得した複数の恐竜を当該第１仮想空間に表示する（ステップＳ０９）。具体的には、制御部２１は、当該第１仮想空間上の各恐竜の生息地に対応する経緯度に各恐竜の学名及び画像を表示部２５により表示する。制御部２１は、第１仮想空間における表示処理のサブルーチンを終了してリターンする。

【0070】

図１１は、恐竜を地球儀領域外の現実空間に拡張現実として表示する処理のサブルーチンの処理手順を示すフローチャートである。ユーザ端末２の制御部２１は、第２仮想空間内の恐竜を現実空間に拡張させるコマンド（ユーザによる第２仮想空間内の恐竜に対するタッチ操作、ドラッグアンドドロップ操作またはスワイプ操作等）を入力部２４により受け付ける（ステップＳ１１）。

【0071】

制御部２１は、第２仮想空間内の恐竜の初期表示サイズを算出する（ステップＳ１２）。具体的には、制御部２１は、恐竜ＩＤに基づき、当該恐竜のサイズを大容量記憶部２７の恐竜ＤＢ２７１から取得する。制御部２１は、取得した恐竜のサイズに基づき、所定の割合（例えば、１０％）により初期表示サイズを算出する。

【0072】

制御部２１は、表示部２５を介して、算出した第２仮想空間内の恐竜の初期表示サイズに応じて、第２仮想空間内の恐竜を第１仮想空間の地球儀領域外の現実空間に拡張現実として表示する（ステップＳ１３）。制御部２１は、地球儀領域外の現実空間への表示処理のサブルーチンを終了してリターンする。

【0073】

図１２は、拡張現実として表示された恐竜を拡大または縮小する際の処理手順を示すフローチャートである。なお、図９と重複する内容については同一の符号を付して説明を省略する。ユーザ端末２の制御部２１は、ステップＳ２０４の処理を実行した後に、拡張現実として恐竜を拡大または縮小する処理のサブルーチンを実行する（ステップＳ２０５）。なお、恐竜の拡大縮小処理のサブルーチンに関しては後述する。

【0074】

制御部２１は、表示部２５を介して、拡大縮小処理を行った恐竜を、第１仮想空間の地球儀領域外の現実空間に拡張現実として再度表示する（ステップＳ２０６）。制御部２１は、処理を終了する。

【0075】

図１３は、恐竜を拡大または縮小する処理のサブルーチンの処理手順を示すフローチャートである。ユーザ端末２の制御部２１は、拡張現実として恐竜を等身大まで拡大するためスライダー（図６のスライダー１１ｅ）を表示部２５により表示する（ステップＳ２１）。制御部２１は、表示したスライダーの操作を入力部２４により受け付ける（ステップＳ２２）。

【0076】

制御部２１は、受け付けた操作に基づき、恐竜に対する操作が拡大操作であるか否かを判定する（ステップＳ２３）。具体的には、制御部２１は、スライダーの左側へスライドさせた操作を受け付けた場合、恐竜に対する操作が縮小操作であると判定する。または、制御部２１は、スライダーの右側へスライドさせた操作を受け付けた場合、恐竜に対する操作が拡大操作であると判定する。

【0077】

制御部２１は、恐竜に対する操作が拡大操作である場合（ステップＳ２３でＹＥＳ）、スライダー上にスライドされた位置、恐竜の初期表示サイズ（スライダーの一番左側に対応する恐竜の表示サイズ）、及び、恐竜の等身大表示サイズ（スライダーの一番右側に対応する恐竜の表示サイズ）に基づき、拡大表示サイズを算出する（ステップＳ２４）。制御部２１は、算出した拡大表示サイズに応じて、拡張現実として表示された恐竜を拡大する処理を行う（ステップＳ２５）。制御部２１は、恐竜の拡大縮小処理のサブルーチンを終了してリターンする。

【0078】

制御部２１は、恐竜に対する操作が拡大操作でない場合（ステップＳ２３でＮＯ）、スライダー上にスライドされた位置、恐竜の初期表示サイズ、及び、恐竜の等身大表示サイズに基づき、縮小表示サイズを算出する（ステップＳ２６）。制御部２１は、算出した縮小表示サイズに応じて、拡張現実として表示された恐竜を縮小する処理を行う（ステップＳ２７）。制御部２１は、恐竜の拡大縮小処理のサブルーチンを終了してリターンする。

【0079】

図１４は、第２仮想空間から第１仮想空間へ切り替える際の処理手順を示すフローチャートである。なお、図９と重複する内容については同一の符号を付して説明を省略する。ユーザ端末２の制御部２１は、ステップＳ２０３の処理を実行した後に、第２仮想空間から第１仮想空間への切り替えるための切り替えボタンを表示部２５により表示する（ステップＳ２１１）。

【0080】

制御部２１は、切り替えボタンのタッチ操作を入力部２４により受け付ける（ステップＳ２１２）。制御部２１は、第２仮想空間から第１仮想空間へ切り替える（ステップＳ２１３）。制御部２１は、処理を終了する。

【0081】

図１５は、第２仮想空間内の恐竜及び画像を表示する際の処理手順を示すフローチャートである。なお、図９と重複する内容については同一の符号を付して説明を省略する。ユーザ端末２の制御部２１は、ステップＳ２０２の処理を実行した後に、選択された恐竜の生息地に対応する経緯度に基づき、当該恐竜に対応する位置における画像を大容量記憶部２７の位置画像ＤＢ２７２から取得する（ステップＳ２２１）。

【0082】

制御部２１は、第２仮想空間に、選択された恐竜の画像データと、当該恐竜に対応する位置における画像データとを表示部２５により表示する（ステップＳ２２２）。制御部２１は、第１仮想空間の地球儀の回転、またはユーザ端末２と地球儀１との相対位置の変化等の動きを検知した場合（ステップＳ２２３）、当該地球儀の回転方向を取得する（ステップＳ２２４）。

【0083】

制御部２１は、表示部２５を介して、取得した回転方向に合わせて、恐竜の画像データ、及び当該恐竜に対応する位置における画像データを回転させて第２仮想空間に表示する（ステップＳ２２５）。制御部２１は、ステップＳ２２３の処理に戻る。

【0084】

本実施形態によると、現実空間の地球儀１をかざした場合、地球儀１の動きに対応して第１仮想空間の地球儀を表示すると共に該第１仮想空間上の所定位置に複数の恐竜を表示することが可能となる。

【0085】

本実施形態によると、第１仮想空間上に選択された恐竜を第２仮想空間内に表示することが可能となる。

【0086】

本実施形態によると、第２仮想空間内の恐竜を地球儀領域外の現実空間に拡張現実として表示することが可能となる。

【0087】

本実施形態によると、恐竜のサイズ情報に基づき、拡張現実として表示された当該恐竜を等身大まで拡大することが可能となる。

【0088】

本実施形態によると、第２仮想空間内の恐竜を、当該恐竜に対応する位置における画像と共に当該第２仮想空間に表示することが可能となる。

【0089】

（実施形態２）
実施形態２は、恐竜（第１恐竜）と共に、当該第１恐竜とは異なる第２恐竜を地球儀領域外の現実空間に拡張現実として表示する形態に関する。なお、実施形態１と重複する内容については説明を省略する。

【0090】

図１６は、実施形態２における恐竜の拡張画面の一例を示す説明図である。なお、図６と重複する内容については説明を省略する。当該画面は、現実空間第１恐竜表示欄１１ｆ（図６の現実空間恐竜表示欄１１ｆ）、及び現実空間第２恐竜表示欄１１ｇを含む。現実空間第２恐竜表示欄１１ｇは、第２恐竜を地球儀領域外の現実空間に拡張現実として表示する表示欄である。

【0091】

ユーザ端末２は、第１恐竜を第１仮想空間の地球儀領域外の現実空間に拡張現実として表示している場合、第１仮想空間内の複数の恐竜の選択画面（図４）を通じて、第１仮想空間上の所定位置（例えば、恐竜の生息地）に表示されている複数の恐竜のうち、当該第１恐竜とは異なる第２恐竜の選択を受け付ける。ユーザ端末２は、選択された第２恐竜を第２仮想空間表示欄１１ｃに表示する。

【0092】

ユーザ端末２は、第２仮想空間表示欄１１ｃに表示されている第２仮想空間内の第２恐竜を現実空間に拡張させるコマンド（例えば、ユーザによる第２恐竜に対するタッチ操作）を受け付けた場合、第１恐竜と共に、当該第２仮想空間内の第２恐竜を地球儀領域外の現実空間に拡張現実として表示する。

【0093】

図示のように、現実空間第１恐竜表示欄１１ｆに表示されている第１恐竜、及び、現実空間第２恐竜表示欄１１ｇに表示されている第２恐竜が、地球儀領域外の現実空間に拡張現実として表示される。

【0094】

また、スライダー１１ｅを左右へスライドさせる操作を行うことによって、第１恐竜と同様に、第２恐竜のサイズを変化することができる。なお、第２恐竜のサイズの変化処理は、実施形態１と同様であるため、説明を省略する。

【0095】

図１７は、第１恐竜と共に第２恐竜を地球儀領域外の現実空間に拡張現実として表示する際の処理手順を示すフローチャートである。なお、図９と重複する内容については同一の符号を付して説明を省略する。

【0096】

ユーザ端末２の制御部２１は、ステップＳ２０４の処理を実行した後に、複数の恐竜から、第１恐竜とは異なる第２恐竜の選択を入力部２４により受け付ける（ステップＳ２３１）。制御部２１は、選択された第２恐竜を第２仮想空間に表示部２５により表示する（ステップＳ２３２）。制御部２１は、第２仮想空間内の第２恐竜を第１仮想空間の地球儀領域外の現実空間に拡張現実として表示する処理のサブルーチンを実行する（ステップＳ２３３）。制御部２１は、処理を終了する。

【0097】

なお、本実施形態では、第１恐竜と第２恐竜とを地球儀領域外の現実空間に拡張現実として表示した例を説明したが、これに限らず、恐竜の数は特に限定されない。

【0098】

本実施形態によると、第１恐竜と共に、第２仮想空間内の第２恐竜を地球儀領域外の現実空間に拡張現実として表示することが可能となる。

【0099】

（実施形態３）
実施形態３は、恐竜の選択を受け付けた場合、地球儀領域の周囲に恐竜に関連する情報を記載した複数のボードを表示する形態に関する。なお、実施形態１～２と重複する内容については説明を省略する。

【0100】

図１８は、ボードの表示画面の一例を示す説明図である。当該画面は、ボード表示欄１２ａを含む。ボード表示欄１２ａは、地球儀領域の周囲に恐竜に関連する情報を記載した欄である。なお、ボード表示欄１２ａは、恐竜に関する情報に応じて複数設けられても良い。

【0101】

ユーザ端末２は、第１仮想空間上の各恐竜の生息地に対応する経緯度に、各恐竜の学名及び画像を該当する恐竜表示欄１１ｂに表示する。ユーザ端末２は、恐竜表示欄１１ｂのタッチ操作を受け付けた場合、該当する恐竜の選択を受け付ける。ユーザ端末２は、選択された恐竜ＩＤに基づき、生息地または説明情報等を含む恐竜に関する情報を恐竜ＤＢ２７１から取得する。説明情報は、食べ物、生息時期もしくは特徴等を含む。

【0102】

ユーザ端末２は、取得した恐竜に関する情報を記載した複数のボード表示欄１２ａを生成する。ユーザ端末２は、生成した複数のボード表示欄１２ａを第１仮想空間の地球儀領域の周囲に表示する。図示のように、食べ物を記載したボード表示欄１２ａ、生息時期を記載したボード表示欄１２ａ、及び特徴を記載したボード表示欄１２ａが地球儀領域の周囲に表示される。

【0103】

なお、第１仮想空間の地球儀を回転しても、食べ物を記載したボード表示欄１２ａ、生息時期を記載したボード表示欄１２ａ、及び特徴を記載したボード表示欄１２ａの表示位置を保持することができる。

【0104】

図１９は、複数のボードを表示する際の処理手順を示すフローチャートである。なお、図９と重複する内容については同一の符号を付して説明を省略する。ユーザ端末２の制御部２１は、ステップＳ２０２の処理を実行した後に、選択された恐竜ＩＤに基づき、恐竜に関する情報（生息地または説明情報等）を大容量記憶部２７の恐竜ＤＢ２７１から取得する（ステップＳ２４１）。

【0105】

制御部２１は、取得した恐竜に関する情報を記載した複数のボードを生成する（ステップＳ２４２）。制御部２１は、表示部２５を介して、生成した複数のボードを第１仮想空間の地球儀領域の周囲に表示する（ステップＳ２４３）。制御部２１は、第１仮想空間の地球儀の回転、またはユーザ端末２と地球儀１との相対位置の変化等の動きを検知した場合（ステップＳ２４５）、第１仮想空間の地球儀領域の周囲に表示されている複数のボードの表示位置を保持するための処理を行う（ステップＳ２４６）。制御部２１は、ステップＳ２４５の処理に戻る。

【0106】

本実施形態によると、恐竜の選択を受け付けた場合、地球儀領域の周囲に恐竜に関連する情報を記載した複数のボードを表示することが可能となる。

【0107】

本実施形態によると、複数のボードを表示することにより、恐竜に関する情報を一目瞭然で確認することが可能となる。

【0108】

今回開示された実施形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。

【0109】

各実施形態に記載した事項は相互に組み合わせることが可能である。また、特許請求の範囲に記載した独立請求項及び従属請求項は、引用形式に関わらず全てのあらゆる組み合わせにおいて、相互に組み合わせることが可能である。さらに、特許請求の範囲には他の２以上のクレームを引用するクレームを記載する形式（マルチクレーム形式）を用いているが、これに限るものではない。

【符号の説明】

【0110】

１ 地球儀
２ 情報処理端末（ユーザ端末；コンピュータ）
２１ 制御部
２２ 記憶部
２３ 通信部
２４ 入力部
２５ 表示部
２６ 撮影部
２７ 大容量記憶部
２７１ 恐竜ＤＢ
２７２ 位置画像ＤＢ
２Ｐ 制御プログラム

【要約】      （修正有）

【課題】撮影した画像中の地球儀の上に表示されているオブジェクトを、地球儀領域外の現実空間に拡張現実として表示することが可能なプログラム、情報処理方法及び情報処理装置を提供すること。
【解決手段】拡張現実システムは、現実空間の地球儀１をかざした場合に、前記地球儀１の動きに対応して第１仮想空間の地球儀を表示すると共に該第１仮想空間上の所定位置に複数のオブジェクトを表示し、いずれかの前記オブジェクトの選択を受け付けた場合に、前記第１仮想空間の地球儀領域内に、前記第１仮想空間とは異なる第２仮想空間内に選択されたオブジェクトを表示し、前記第２仮想空間内のオブジェクトを現実空間に拡張させるコマンドを受け付けた場合に、前記第２仮想空間内の前記オブジェクトを地球儀領域外の現実空間に拡張現実として表示する処理をコンピュータ２に実行させる。
【選択図】図１

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】