特開 2022-30135 端末装置、情報処理方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022030135

(43)【公開日】2022-02-18

(54)【発明の名称】端末装置、情報処理方法、およびプログラム

(51)【国際特許分類】

   G06T 19/00 20110101AFI20220210BHJP

【ＦＩ】

G06T19/00 600

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2020133917

(22)【出願日】2020-08-06

【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り 〔１〕 公開日 令和元年９月１３日 集会名 「株式会社ＮＴＴドコモ九州様との打合せ」 ＜資 料＞ プレゼンテーション資料「スマートメンテナンスの取り組み」 〔２〕 開催日 令和元年１０月３１日～１１月１日 集会名 「つくばフォーラム ２０１９」 ＜資 料＞ つくばフォーラム２０１９ ウェブページ プリントアウト ＜資 料＞ つくばフォーラム２０１９ 発表資料 〔３〕 開催日 令和元年１１月２１日～２２日 集会名 「ＮＴＴ ＣＯＭＷＡＲＥ’Ｓ ＤＡＹ ２０１９」 ＜資 料＞ ＮＴＴ ＣＯＭＷＡＲＥ’Ｓ ＤＡＹ ２０１９ ウェブページ プリントアウト ＜資 料＞ ＮＴＴ ＣＯＭＷＡＲＥ’Ｓ ＤＡＹ ２０１９ 発表資料 〔４〕 開催日 令和２年５月２０日 集会名 「海上保安庁打合せ（３Ｄ付箋）」 ＜資 料＞ プレゼンテーション資料「３Ｄフセンによる設備保守業務の効率化」

(71)【出願人】

【識別番号】397065480

【氏名又は名称】エヌ・ティ・ティ・コムウェア株式会社

(74)【代理人】

【識別番号】100161207

【弁理士】

【氏名又は名称】西澤 和純

(74)【代理人】

【識別番号】100126664

【弁理士】

【氏名又は名称】鈴木 慎吾

(74)【代理人】

【識別番号】100181124

【弁理士】

【氏名又は名称】沖田 壮男

(72)【発明者】

【氏名】北林 厚志

(72)【発明者】

【氏名】井筒 豪一

【テーマコード（参考）】

5B050

【Ｆターム（参考）】

5B050AA10

5B050BA09

5B050BA11

5B050CA07

5B050CA08

5B050DA04

5B050EA05

5B050EA09

5B050EA19

5B050EA27

5B050FA02

5B050FA05

5B050FA13

(57)【要約】

【課題】オブジェクトを設定および閲覧するユーザにとっての利便性を高くすること。
【解決手段】本発明の一態様は、撮像部と、マーカの特徴に関する情報を情報処理装置に送信する送信部と、前記マーカに対応するオブジェクトの相対位置および特徴を含む情報を前記情報処理装置から受信する受信部と、前記受信部により受信された情報に基づいて、前記オブジェクトの位置と前記撮像部により撮像された画像に基づいて抽出された実空間の特徴との対応を記憶する記憶部と、前記記憶部に記憶された前記対応に基づいて、拡張現実空間において前記マーカの位置を原点としたオブジェクトを表示する表示部と、を備える、端末装置である。
【選択図】図１２

【特許請求の範囲】

【請求項1】

撮像部と、
マーカの特徴に関する情報を情報処理装置に送信する送信部と、
前記マーカに対応するオブジェクトの相対位置および特徴を含む情報を前記情報処理装置から受信する受信部と、
前記受信部により受信された情報に基づいて、前記オブジェクトの位置と前記撮像部により撮像された画像に基づいて抽出された実空間の特徴との対応を記憶する記憶部と、
前記記憶部に記憶された前記対応に基づいて、拡張現実空間において前記マーカの位置を原点としたオブジェクトを表示する表示部と、
を備える、端末装置。

【請求項2】

前記表示部は、前記記憶部に記憶された前記オブジェクトの相対位置に対応した実空間の特徴が前記拡張現実空間に存在する場合、当該存在する実空間の特徴の位置に対応する前記拡張現実空間の位置に前記オブジェクトを表示する、請求項１に記載の端末装置。

【請求項3】

前記端末装置の挙動に基づく信号を検出するセンサを備え、
前記センサにより出力された信号に基づく実空間の位置と、前記撮像された画像に基づく実空間の特徴とを対応付ける第１のマッピングと、前記受信部により受信した情報に基づくオブジェクトの位置と実空間の位置とを対応付ける第２のマッピングと、前記オブジェクトと実空間の特徴とを対応付ける第３のマッピングとを行うことで、前記記憶部に前記対応を記憶させる、マッピング部を備える、
請求項１または２に記載の端末装置。

【請求項4】

前記記憶部は、前記撮像部により撮像された画像、前記センサにより出力された信号に基づく実空間の位置と、前記撮像部により撮像された画像に基づく実空間の特徴との対応を記憶する、請求項３に記載の端末装置。

【請求項5】

前記端末装置が前記オブジェクトを表示させるための実空間が変更した場合、前記記憶部に記憶された前記対応を更新する、
請求項１から４のうち何れか１項に記載の端末装置。

【請求項6】

実空間を撮像するステップと、
マーカの特徴に関する情報を情報処理装置に送信するステップと、
前記マーカに対応するオブジェクトの相対位置および特徴を含む情報を前記情報処理装置から受信するステップと、
前記受信された情報に基づいて、前記オブジェクトの位置と前記撮像された画像に基づいて抽出された実空間の特徴との対応を記憶するステップと、
前記記憶された前記対応に基づいて、拡張現実空間において前記マーカの位置を原点としたオブジェクトを表示するステップと、
を含む情報処理方法。

【請求項7】

端末装置のコンピュータに、
実空間を撮像するステップと、
マーカの特徴に関する情報を情報処理装置に送信するステップと、
前記マーカに対応するオブジェクトの相対位置および特徴を含む情報を前記情報処理装置から受信するステップと、
前記受信された情報に基づいて、前記オブジェクトの位置と前記撮像された画像に基づいて抽出された実空間の特徴との対応を記憶するステップと、
前記記憶された前記対応に基づいて、拡張現実空間において前記マーカの位置を原点としたオブジェクトを表示するステップと、
を実行させる、プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、端末装置、情報処理方法、およびプログラムに関する。

【背景技術】

【0002】

従来より、下記の特許文献１のように、拡張現実空間に配置される仮想オブジェクトを複数の端末間で共有する技術が知られている。特許文献１に記載された拡張現実プログラムは、端末に、カメラにより撮影される画像に基づく拡張現実空間をディスプレイに表示するステップと、拡張現実空間内に配置される仮想オブジェクトを特定する情報と仮想オブジェクトの位置及び向きを特定する情報とを含むオブジェクト情報を含むオブジェクトデータを生成するステップと、オブジェクトデータをサーバに送信するステップと、特定のオブジェクトデータをサーバに要求するステップと、要求した特定のオブジェクトデータをサーバから受信するステップと、受信した特定のオブジェクトデータに含まれるオブジェクト情報により特定される仮想オブジェクトを拡張現実空間内に配置するステップと、を実行させる。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特許第６５４８２４１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上述した拡張現実プログラムは、ＧＰＳにおける位置情報に基づいて仮想オブジェクトを拡張現実空間内に配置しているので、位置情報に対応して仮想オブジェクトを設定する必要がある。したがって、上述した拡張現実プログラムは、例えば、同じ位置情報に対応して複数の仮想オブジェクトが設定できないなど、ユーザにとっての利便性が低い可能性があった。

【0005】

本発明は、上記の課題に鑑みてなされたものであって、オブジェクトを設定および閲覧するユーザにとっての利便性を高くすることができる端末装置、情報処理方法、およびプログラムを提供することを目的としている。

【課題を解決するための手段】

【0006】

（１）本発明の一態様は、撮像部と、マーカの特徴に関する情報を情報処理装置に送信する送信部と、前記マーカに対応するオブジェクトの相対位置および特徴を含む情報を前記情報処理装置から受信する受信部と、前記受信部により受信された情報に基づいて、前記オブジェクトの位置と前記撮像部により撮像された画像に基づいて抽出された実空間の特徴との対応を記憶する記憶部と、前記記憶部に記憶された前記対応に基づいて、拡張現実空間において前記マーカの位置を原点としたオブジェクトを表示する表示部と、を備える、端末装置である。

【0007】

（２）本発明の一態様は、上記の端末装置であって、前記表示部は、前記記憶部に記憶された前記オブジェクトの相対位置に対応した実空間の特徴が前記拡張現実空間に存在する場合、当該存在する実空間の特徴の位置に対応する前記拡張現実空間の位置に前記オブジェクトを表示してよい。

【0008】

（３）本発明の一態様は、上記の端末装置であって、前記端末装置の挙動に基づく信号を検出するセンサを備え、前記センサにより出力された信号に基づく実空間の位置と、前記撮像された画像に基づく実空間の特徴とを対応付ける第１のマッピングと、前記受信部により受信した情報に基づくオブジェクトの位置と実空間の位置とを対応付ける第２のマッピングと、前記オブジェクトと実空間の特徴とを対応付ける第３のマッピングとを行うことで、前記記憶部に前記対応を記憶させる、マッピング部を備えてよい。

【0009】

（４）本発明の一態様は、上記の端末装置であって、前記記憶部は、前記撮像部により撮像された画像、前記センサにより出力された信号に基づく実空間の位置と、前記撮像部により撮像された画像に基づく実空間の特徴との対応を記憶してよい。

【0010】

（５）本発明の一態様は、上記の端末装置であって、前記端末装置が前記オブジェクトを表示させるための実空間が変更した場合、前記記憶部に記憶された前記対応を更新してよい。

【0011】

（６）本発明の一態様は、実空間を撮像するステップと、マーカの特徴に関する情報を情報処理装置に送信するステップと、前記マーカに対応するオブジェクトの相対位置および特徴を含む情報を前記情報処理装置から受信するステップと、前記受信された情報に基づいて、前記オブジェクトの位置と前記撮像された画像に基づいて抽出された実空間の特徴との対応を記憶するステップと、前記記憶された前記対応に基づいて、拡張現実空間において前記マーカの位置を原点としたオブジェクトを表示するステップと、を含む情報処理方法である。

【0012】

（７）本発明の一態様は、端末装置のコンピュータに、実空間を撮像するステップと、マーカの特徴に関する情報を情報処理装置に送信するステップと、前記マーカに対応するオブジェクトの相対位置および特徴を含む情報を前記情報処理装置から受信するステップと、前記受信された情報に基づいて、前記オブジェクトの位置と前記撮像された画像に基づいて抽出された実空間の特徴との対応を記憶するステップと、前記記憶された前記対応に基づいて、拡張現実空間において前記マーカの位置を原点としたオブジェクトを表示するステップと、を実行させる、プログラムである。

【発明の効果】

【0013】

本発明の一態様によれば、オブジェクトを設定および閲覧するユーザにとっての利便性を高くすることができる。

【図面の簡単な説明】

【0014】

【図1】実施形態の情報処理システム１の一構成例を示すブロック図である。

【図2】実施形態における情報処理システム１の全体の処理手順を示すフローチャートである。

【図3】実施形態の情報処理システム１においてオブジェクトを設定および表示する処理を説明するための図である。

【図4】実施形態の情報処理システム１においてオブジェクトを設定および表示する他の処理を説明するための図である。

【図5】実施形態の情報処理システム１においてオブジェクトを設定および表示する他の処理を説明するための図である。

【図6】実施形態の情報処理システム１における詳細な処理手順の一例を示す図である。

【図7】第２実施形態における情報処理システム１における処理手順の一例を示すフローチャートである。

【図8】第２実施形態の情報処理システム１においてマーカおよびオブジェクトの設定、およびオブジェクトを表示する処理を説明するための図である。

【図9】第３実施形態における情報処理システム１において２次元地図に重畳されたマーカおよびオブジェクトの一例を示す図である。

【図10】第３実施形態における情報処理システム１において３次元地図に重畳されたマーカおよびオブジェクトの一例を示す図である。

【図11】第３実施形態の情報処理システム１における詳細な処理手順の一例を示す図である。

【図12】第４実施形態におけるユーザ端末装置１００Ａの構成の一例を示すブロック図である。

【図13】実空間特徴に基づいてオブジェクトを表示させる処理を説明するための図である。

【図14】第４実施形態におけるユーザ端末装置１００Ａの動作手順を示すフローチャートである。

【発明を実施するための形態】

【0015】

以下、本発明を適用した端末装置、情報処理方法、およびプログラムを、図面を参照して説明する。

【0016】

＜実施形態の概要＞
実施形態の情報処理システム１は、端末装置の操作に基づいて、拡張現実（Augmented Reality、ＡＲ）空間においてマーカを任意の位置に設定し、マーカを起点としたオブジェクトを設定する。そして、情報処理システム１は、端末装置の操作に基づいて、拡張現実空間においてマーカを認識した場合に、当該マーカに対応付けられたオブジェクトを閲覧するための情報を提供する。情報処理システム１は、例えば、端末装置のディスプレイに対するタッチ操作等で拡張現実空間内にメッセージや付箋といったオブジェクトを設定し、他の端末装置のディスプレイにより拡張現実空間内のメッセージや付箋を見ることができるシステムを提供することができる。情報処理システム１によれば、例えば、管理者の操作に基づいて工事現場の保守手順を付箋に記述し、現場担当者が付箋を見て保守作業を実施したり、現場担当者が異常箇所を付箋に記述し、補修員が付箋を見て異常箇所を確認することができる。このように、情報処理システム１によれば、オブジェクトを設定および閲覧するユーザにとっての利便性を高くすることができる。以下、詳細に説明する。

【0017】

＜第１実施形態＞
＜情報処理システム１の構成＞
図１は、実施形態の情報処理システム１の一構成例を示すブロック図である。情報処理システム１は、例えば、一又は複数のユーザ端末装置１００と、情報処理装置２００と、データベース管理装置３００とを備える。ユーザ端末装置１００、情報処理装置２００、およびデータベース管理装置３００は、例えば、通信ネットワークに接続される。通信ネットワークに接続される各装置は、ＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）や無線通信モジュールなどの通信インターフェースを備えている（図１では不図示）。通信ネットワークは、例えば、インターネット、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、セルラー網などを含む。

【0018】

ユーザ端末装置１００は、例えば、撮像部１０２、表示部１０４、および制御部１０６を備える。ユーザ端末装置１００は、例えばスマートフォンやタブレット端末などのカメラ装置（撮像部１０２）を備えた携帯型端末装置である。ユーザ端末装置１００は、ブラウザやアプリケーションプログラムなどのＵＡ（Ｕｓｅｒ Ａｇｅｎｔ）を起動する。ＵＡは、例えば、情報処理装置２００と通信等をするためのアプリケーション（制御部１０６）である。ユーザ端末装置１００は、ＵＡとしてのＡＲ用アプリケーションを利用し、情報処理装置２００から受信したコンテンツを用いて表示部１０４による表示処理や、表示部１０４と一体となったタッチパネル操作の受け付け処理などを行う。また、ユーザ端末装置１００は、ＡＲ用アプリケーションを利用して、ユーザの操作に基づく操作情報や撮影画像等を情報処理装置２００に提供する。

【0019】

情報処理装置２００は、ユーザ端末装置１００からの要求を受け付け、各種の情報処理を行う情報処理装置である。情報処理装置２００は、例えば、ＡＰＩ（Application Programming Interface）部２１０と、マーカ登録部２２０と、オブジェクト登録部２３０と、情報抽出部２４０とを備える。ＡＰＩ部２１０、マーカ登録部２２０、オブジェクト登録部２３０、および情報抽出部２４０といった機能部は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等のプロセッサがプログラムメモリに格納されたプログラムを実行することにより実現される。また、これらの機能部のうち一部または全部は、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、またはＦＰＧＡ（Ｆｉｅｌｄ-Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等のハードウェアにより実現されてもよいし、ソフトウェアとハードウェアが協働することで実現されてもよい。

【0020】

ＡＰＩ部２１０は、ユーザ端末装置１００から各種の情報や要求等を受け付ける処理や、ユーザ端末装置１００にコンテンツや要求等を提供する処理などを行う。マーカ登録部２２０は、拡張現実空間にマーカを登録する。オブジェクト登録部２３０は、拡張現実空間にオブジェクトを登録する。情報抽出部２４０は、マーカに関する情報をユーザ端末装置１００から受け付けた場合に、ユーザ端末装置１００から受け付けたマーカと一致するマーカに対応して登録されたオブジェクトの位置および特徴に基づいて、拡張現実空間においてマーカの位置を原点としてオブジェクトをユーザ端末装置１００に表示させるための情報を抽出する。オブジェクトをユーザ端末装置１００に表示させるための情報は、後述のオブジェクト情報の一部または全部であってもよく、オブジェクト情報を用いて生成した画像データであってもよく、オブジェクトを表示させるためのマークアップ言語で記述されたデータであってもよい。

【0021】

＜情報処理システム１の全体処理＞
図２は、実施形態における情報処理システム１の全体の処理手順を示すフローチャートである。情報処理システム１は、まず、ユーザ端末装置１００の操作に基づいて、拡張現実空間におけるマーカを登録する（ステップＳ１０）。マーカとは、拡張現実空間において基準点に位置し、他のオブジェクトと対応づけられるオブジェクトである。以下、基準点に位置するオブジェクトを「マーカ」と記載し、当該マーカに紐付けられる、基準点以外に位置するオブジェクトを「オブジェクト」と記載する。マーカを登録する処理は、拡張現実空間におけるマーカの特徴、および位置を含むマーカ情報データベース管理装置３００に記憶させる処理である。データベース管理装置３００は、マーカを一意に特定する情報としてキー情報をマーカ情報に含める。

【0022】

マーカを登録する処理において、ユーザ端末装置１００は、マーカの位置情報を、絶対位置の情報としてデータベース管理装置３００に記憶する。すなわち、マーカの位置情報は、緯度、経度、および高さを持つ。

【0023】

次に情報処理システム１は、ユーザ端末装置１００の操作に基づいて、オブジェクトを登録する（ステップＳ１２）。オブジェクトを登録する処理は、拡張現実空間におけるオブジェクトの特徴、およびマーカに対する相対位置または相対距離や傾きを含むオブジェクト情報をデータベース管理装置３００に記憶させる処理である。データベース管理装置３００は、オブジェクトを一意に特定する情報としてキー情報をオブジェクト情報に含める。

【0024】

なお、マーカおよびオブジェクトの特徴は、例えば、文字や、文字列、ＵＲＬ（Uniform Resource Locator）等のリンク情報、記号、図形、写真画像、２次元画像、３次元画像などであるが、拡張現実空間に配置することができる電子的な表現手法を用いたものであればよい。

【0025】

次に情報処理システム１は、ユーザ端末装置１００からの送信されたマーカの特徴を表す情報に基づいて、当該マーカが、データベース管理装置３００に登録されたマーカの特徴に一致するか否かを判定する（ステップＳ１４）。情報処理システム１は、マーカが一致する場合（ステップＳ１４：ＹＥＳ）、当該マーカに紐付けられたオブジェクトを表示させる（ステップＳ１６）。

【0026】

＜情報処理システム１の処理説明＞
図３は、実施形態の情報処理システム１においてオブジェクトを設定および表示する処理を説明するための図である。例えば、道路に設置されている電柱に関するオブジェクトを登録したいものとする。まず、電柱が設置されている現実空間の所定位置に、マーカの特徴に相当する模様が描かれたマーカ物体Ｍを設置する。ユーザＰ１がユーザ端末装置１００－１を操作し、現実空間を撮像すると、マーカ物体Ｍに対応する画像Ｍ＃が撮像される。ユーザ端末装置１００－１は、例えば、ユーザＰ１が画像Ｍ＃を指定する操作を受け付けたことに応じて、画像Ｍ＃が占める領域をマーカとして認識する。さらに、ユーザ端末装置１００－１は、ユーザＰ１の操作に基づいて、電柱の名称としての「電柱Ａ」を含む付箋画像を、拡張現実空間におけるオブジェクトとして設定する。マーカ情報およびオブジェクト情報は、情報処理システム１に登録される。

【0027】

例えば、ユーザＰ１とは違うユーザＰ２が「電柱Ａ」という名称の電柱を特定したいものとする。まず、電柱が設置されている現実空間の所定位置にマーカ物体Ｍを設置する。ユーザＰ２がユーザ端末装置１００－２を操作し、現実空間を撮像すると、マーカ物体Ｍに対応する画像Ｍ＃が撮像される。ユーザ端末装置１００－２は、画像Ｍ＃を情報処理システム１に送信し、情報処理システム１から画像Ｍ＃に対応するマーカ情報およびオブジェクト情報を受信し、文字情報としての「電柱Ａ」を含む付箋画像を、拡張現実空間におけるオブジェクトとして表示する。これにより、ユーザ端末装置１００－２は、オブジェクトの表示や編集を行うことができる。

【0028】

図４は、実施形態の情報処理システム１においてオブジェクトを設定および表示する他の処理を説明するための図である。情報処理システム１は、所定の拡張現実空間において異なるマーカを用い、マーカごとに異なるオブジェクトを設定および表示してよい。
例えば、道路に設置されている電柱に関する保守方法のオブジェクトを登録したいものとする。まず、ユーザＰ１が、電柱が設置されている現実空間の所定位置に、マーカの特徴に相当する模様が描かれたマーカ物体を設置する。ユーザＰ１がユーザ端末装置１００－１を操作し、現実空間を撮像すると、マーカ物体に対応する画像ＭＡが撮像される。ユーザ端末装置１００－１は、例えば、ユーザＰ１が画像ＭＡを指定する操作を受け付けたことに応じて、画像ＭＡが占める領域をマーカとして認識する。さらに、ユーザ端末装置１００－１は、ユーザＰ１の操作に基づいて、「保守方法」を示す文字情報を含む付箋画像ＯＢを、拡張現実空間におけるオブジェクトとして設定する。マーカ（画像ＭＡ）に関するマーカ情報およびオブジェクト（付箋画像ＯＢ）に関するオブジェクト情報は、情報処理システム１に登録される。

【0029】

例えば、ユーザＰ１とは違うユーザＰ２が電柱の「異常箇所」を登録したいものとする。まず、ユーザＰ２が、電柱が設置されている現実空間の所定位置にマーカ物体を設置する。ユーザＰ２が設置したマーカ物体は、例えば、ユーザＰ１が設置したマーカ物体とは模様が違う。ユーザＰ２がユーザ端末装置１００－２を操作し、現実空間を撮像すると、マーカ物体に対応する画像ＭＣが撮像される。ユーザ端末装置１００－２は、例えば、ユーザＰ２が画像ＭＣを指定する操作を受け付けたことに応じて、画像ＭＣが占める領域をマーカとして認識する。さらに、ユーザ端末装置１００－２は、ユーザＰ２の操作に基づいて、「異常箇所」を示す文字情報を含む付箋画像ＯＤを、拡張現実空間におけるオブジェクトとして設定する。マーカ（画像ＭＣ）に関するマーカ情報およびオブジェクト（付箋画像ＯＤ）に関するオブジェクト情報は、情報処理システム１に登録される。

【0030】

例えば、現実空間にマーカ（画像ＭＡ）に対応するマーカ物体が設置された場合、マーカ（画像ＭＡ）を撮像したユーザ端末装置１００は、マーカ（画像ＭＡ）に対応するオブジェクト（付箋画像ＯＢ）を拡張現実空間において表示することができる。例えば、現実空間にマーカ（画像ＭＣ）に対応するマーカ物体が設置された場合、マーカ（画像ＭＣ）を撮像したユーザ端末装置１００は、マーカ（画像ＭＣ）に対応するオブジェクト（付箋画像ＯＤ）を拡張現実空間において表示することができる。これにより、情報処理システム１は、異なるマーカ物体それぞれに対応して異なるオブジェクトそれぞれを登録および表示することができる。

【0031】

図５は、実施形態の情報処理システム１においてオブジェクトを設定および表示する他の処理を説明するための図である。情報処理システム１は、所定の拡張現実空間において任意の平面形状のオブジェクトを設定および表示させ、平面形状のオブジェクトの編集を可能としてもよい。

【0032】

情報処理システム１は、例えば、マーカ（ＭＡ）に紐付けして「異常箇所」に関するオブジェクト（ＯＤ）を設定する。さらに、情報処理システム１は、例えばユーザＰ１のユーザ端末装置１００－１に対する操作に基づいて、拡張現実空間において平面形状のオブジェクトＰａを設定する。情報処理システム１は、例えば、平面形状のオブジェクトＰａが占める領域を、拡張現実空間におけるマーカ（ＭＡ）の相対位置として設定する。さらに情報処理システム１は、ユーザ端末装置１００－１の操作に基づいて「伝言（ｔ１）：異常を確認してください。」という時刻ｔ１の伝言を含む文字情報をオブジェクトＰａに関する特徴として設定する。情報処理システム１は、平面形状のオブジェクトＰａの相対位置および特徴を、オブジェクトＰａに関するオブジェクト情報として情報処理システム１に登録する。

【0033】

情報処理システム１は、例えば、ユーザＰ２が持つユーザ端末装置１００－２によりマーカ（ＭＡ）に関するマーカ情報を受信した場合、マーカ（ＭＡ）に紐付けられたオブジェクト（ＯＤ）およびオブジェクトＰａをユーザ端末装置１００-２に表示させる。これにより、情報処理システム１は、ユーザＰ２に、電柱の異常を確認する必要があることを認識させることができきる。情報処理システム１は、例えばユーザＰ２によって異常が補修された場合、ユーザ端末装置１００－２の操作に基づいて、オブジェクトＰａに対し「伝言（ｔ２）：異常を補修しました。」という時刻ｔ２の伝言を含む文字情報を追加することで、新たなオブジェクトＰｂを設定する。

【0034】

＜情報処理システム１の詳細な処理例＞
図６は、実施形態の情報処理システム１における詳細な処理手順の一例を示す図である。なお、情報処理システム１における詳細な処理手順は、ユーザ端末装置１００の処理、情報処理装置２００におけるアプリケーション処理（ＡＰ処理）、および情報処理装置２００およびデータベース管理装置３００によるデータベース処理（ＤＢ処理）それぞれと、これらの処理間の関係について説明する。

【0035】

まず、マーカを認識する処理について説明する。ユーザ端末装置１００は、ＡＲ用アプリケーションを起動し、マーカ物体を撮影し、撮影画像を情報処理装置２００に送信する（ステップＳ１００）。情報処理装置２００は、ユーザ端末装置１００から受信した撮影画像に基づいて、マーカの特徴を受け付ける（ステップＳ１０２）。情報処理装置２００は、例えば撮影画像から物体が占める領域を推定し、推定した領域の特徴を、マーカの特徴として抽出する。情報処理装置２００は、データベース管理装置３００に登録されたマーカの特徴と撮影画像から抽出したマーカの特徴とを比較し、双方のマーカの特徴が一致するか否かを判定する（ステップＳ１０４）。情報処理装置２００は、双方のマーカの特徴が一致しない場合（ステップＳ１０４：ＮＯ）、ユーザ端末装置１００に再撮影を要求する。これにより、ユーザ端末装置１００は、再撮影を通知する（ステップＳ１０６）。情報処理装置２００は、双方のマーカの特徴が一致した場合（ステップＳ１０４：ＹＥＳ）、一致したマーカ情報をデータベース管理装置３００から抽出する（ステップＳ１０８）。以上の処理が、マーカを認識する処理である。

【0036】

次に、オブジェクトを設置する処理について説明する。ユーザ端末装置１００は、撮影画像内におけるオブジェクトの位置を選択する操作を受け付ける（ステップＳ１１０）。ユーザ端末装置１００は、受け付けた撮影画像内位置を示す情報を情報処理装置２００に送信する。情報処理装置２００は、ステップＳ１０８において抽出したマーカの位置から、撮影画像内位置に対応するオブジェクトの拡張現実空間内位置までの相対距離を取得する。さらに、情報処理装置２００は、マーカの位置に対するオブジェクトの傾きを取得する（ステップＳ１１２）。次に情報処理装置２００は、マーカのキー情報を取得し（ステップＳ１１４）、取得したキー情報をユーザ端末装置１００に送信する。

【0037】

なお、ユーザ端末装置１００は、オブジェクトの撮影画像内位置を示す情報に加えて、ユーザ端末装置１００に内蔵されたジャイロセンサ等の動きセンサ（不図示）により検出したユーザ端末装置１００の動きを表す情報を情報処理装置２００に送信してよい。情報処理装置２００は、ユーザ端末装置１００の動きに基づいてオブジェクトの相対距離および傾きを決定することができる。これにより、情報処理装置２００は、高い精度で拡張現実空間内におけるオブジェクトの相対距離および傾きを取得することができる。

【0038】

次にユーザ端末装置１００は、オブジェクトの特徴を入力する操作を受け付ける（ステップＳ１１６）。ユーザ端末装置１００は、受け付けたオブジェクトの特徴を示す情報を情報処理装置２００に送信し、情報処理装置２００は、オブジェクトの特徴を示す情報を取得する（ステップＳ１１８）。情報処理装置２００は、ステップＳ１１２において取得したオブジェクトの相対距離、傾き、およびステップＳ１１８において取得した特徴をデータベース管理装置３００に送信し、データベース管理装置３００において登録させる（ステップＳ１２０）。次に情報処理装置２００は、マーカのキー情報に対応するオブジェクト情報を取得し（ステップＳ１２２）、ユーザ端末装置１００に送信する。ユーザ端末装置１００は、送信されたオブジェクト情報に基づいて表示を行うことで、オブジェクトを表示させる（ステップＳ１２４）。以上の処理が、オブジェクトを設置する処理である。

【0039】

次に、設置したオブジェクトを他のユーザ端末装置１００と共有する処理について説明する。ユーザ端末装置１００は、まず、ＡＲ用アプリケーションを起動する（ステップＳ１２６）。ユーザ端末装置１００は、マーカに関する情報を情報処理装置２００に送信する。マーカに関する情報は、例えば、マーカを撮影した撮影画像であるが、これに限定されず、マーカのキー情報であってもよく、登録されたマーカの位置付近の位置情報であってもよい。ユーザ端末装置１００は、登録されたマーカの位置付近の位置として、ユーザ端末装置１００の位置情報を送信してもよい。情報処理装置２００は、例えばマーカを撮影した撮影画像することで、マーカの特徴を受け付ける（ステップＳ１２８）。

【0040】

次に情報処理装置２００は、ユーザ端末装置１００から受け付けたマーカの特徴とデータベース管理装置３００に登録されたマーカの特徴とを比較し、双方のマーカの特徴が一致するか否かを判定する（ステップＳ１３０）。情報処理装置２００は、双方のマーカの特徴が一致しない場合（ステップＳ１３０：ＮＯ）、ユーザ端末装置１００に再撮影を要求する。これにより、ユーザ端末装置１００は、再撮影を通知する（ステップＳ１３２）。情報処理装置２００は、双方のマーカの特徴が一致した場合（ステップＳ１３０：ＹＥＳ）、一致したマーカ情報をデータベース管理装置３００から抽出する（ステップＳ１３４）。情報処理装置２００は、マーカに対応するオブジェクト情報をデータベース管理装置３００から抽出し（ステップＳ１３６）、マーカのキー情報に対応するオブジェクト情報を取得し（ステップＳ１３８）、オブジェクト情報をユーザ端末装置１００に送信する。ユーザ端末装置１００は、情報処理装置２００から受信したオブジェクト情報を用いてオブジェクトを表示する（ステップＳ１４０）。以上の処理が、オブジェクトを他のユーザ端末装置１００と共有する処理である。

【0041】

＜第１実施形態の効果＞
以上説明したように、第１実施形態の情報処理システム１によれば、マーカの特徴および位置を登録するマーカ登録部２２０と、マーカに対応して、マーカの位置に対する相対的な位置および特徴を持つオブジェクトを登録するマーカ登録部２２０と、マーカに関する情報をユーザ端末装置１００から受け付けた場合に、ユーザ端末装置１００から受け付けたマーカと一致するマーカに対応して登録されたオブジェクトの位置および特徴に基づいて、拡張現実空間においてマーカの位置を原点としてオブジェクトをユーザ端末装置１００に表示させるための情報を抽出する情報抽出部２４０とを備える、情報処理装置２００を実現することができる。情報処理システム１によれば、マーカに対応してオブジェクトを登録するので、異なるマーカを用いることによって同一の拡張現実空間に複数のマーカおよびオブジェクトを設定することができる。この結果、情報処理システム１によれば、オブジェクトを設定および閲覧するユーザにとっての利便性を高くすることができる。

【0042】

また、情報処理システム１によれば、拡張現実空間における任意の平面、および任意の平面に配置されるオブジェクトの特徴を登録することができるので、オブジェクトを設定および閲覧するユーザにとっての利便性をさらに高くすることができる。

【0043】

＜第２実施形態＞
以下、第２実施形態について説明する。第２実施形態の情報処理システム１は、ユーザ端末装置１００により画像を撮影し、撮影画像を用いてマーカを登録する点で、第１実施形態とは異なる。図７は、第２実施形態における情報処理システム１における処理手順の一例を示すフローチャートである。図８は、第２実施形態の情報処理システム１においてマーカおよびオブジェクトの設定、およびオブジェクトを表示する処理を説明するための図である。

【0044】

まず、ユーザ端末装置１００は、ユーザＰ１の操作により、例えば電柱に設置された文字盤上の文字「ＡＢＣ」を含む撮影画像を撮影する（ステップＳ２０、図８（Ａ））。ユーザＰ１は、一意なマーカの特徴にするために、例えば電柱に記載された電柱名や住所などを含む撮影画像を撮影することが望ましい。次にユーザ端末装置１００は、撮影画像を情報処理装置２００に送信し、情報処理装置２００は、撮影画像に含まれる画像の特徴を抽出する。情報処理装置２００は、例えば、撮影画像に含まれる電柱名や住所などを含む領域を画像の特徴として抽出する。情報処理装置２００は、抽出した画像の特徴をユーザ端末装置１００に送信する。ユーザ端末装置１００は、情報処理装置２００から受信した画像の特徴をマーカの特徴として登録する操作を受け付けた場合、情報処理装置２００にマーカの特徴の登録を要求する。情報処理装置２００は、登録の要求に従って、マーカの特徴をデータベース管理装置３００に登録する（ステップＳ２２）。さらに、ユーザ端末装置１００および情報処理装置２００は、第１実施形態と同様にオブジェクト情報をデータベース管理装置３００に登録する（ステップＳ２４、図８（Ｂ））。

【0045】

ユーザ端末装置１００-２は、ユーザＰ２の操作に従って電柱に設置された文字盤を撮影し（図８（Ｃ））、撮影画像を情報処理装置２００に送信する。情報処理装置２００は、ユーザ端末装置１００－２から受信した撮影画像に、データベース管理装置３００に登録したマーカの特徴が含まれていると認識したか否か判定する（ステップＳ２６）。情報処理装置２００は、マーカを認識しない場合（ステップＳ２６：ＮＯ）、本フローチャートの処理を終了する。情報処理装置２００は、マーカを認識した場合（ステップＳ２６：ＹＥＳ）、認識したマーカに対応するオブジェクト情報をユーザ端末装置１００－２に送信する。ユーザ端末装置１００－２は、受信したオブジェクト情報を用いて、オブジェクトを表示する（ステップＳ２８、図８（Ｄ））。

【0046】

以上説明したように、第２実施形態の情報処理システム１によれば、ユーザ端末装置１００により撮像された画像およびユーザ端末装置１００の位置情報を受け付け、画像内における物体の特徴および位置をマーカの特徴および位置として登録することができる。また、情報処理システム１によれば、ユーザ端末装置１００により撮像された画像を受け付け、画像内における物体の特徴と一致するマーカに対応して登録されたオブジェクトの位置および特徴に基づいて、拡張現実空間においてマーカの位置を原点としてオブジェクトをユーザ端末装置１００に表示させるための情報を抽出することができる。これにより、情報処理システム１によれば、マーカ物体を用意する手間を省くことができる。

【0047】

＜第３実施形態＞
以下、第３実施形態について説明する。第３実施形態の情報処理システム１は、マーカの位置を実空間における位置として登録し、実空間における地図情報にマーカおよびオブジェクトを重畳して表示させる点で、上述した実施形態とは異なる。図９は、第３実施形態における情報処理システム１において２次元地図に重畳されたマーカおよびオブジェクトの一例を示す図である。図１０は、第３実施形態における情報処理システム１において３次元地図に重畳されたマーカおよびオブジェクトの一例を示す図である。図９および図１０に示した地図は、例えば、室内空間において配置された家具の配置図であって、天井に配置された複数の照明器具に対応するオブジェクトとして設定された状態を示している。

【0048】

ユーザ端末装置１００により拡張現実空間においてマーカおよびオブジェクトを設定する操作を行った場合、情報処理装置２００は、マーカおよびオブジェクトの拡張現実空間内位置に対応する実空間内位置を取得する。情報処理装置２００は、取得した実空間内位置に対応する地図内位置にマーカおよびオブジェクトに対応する画像を配置する。

【0049】

情報処理装置２００は、例えば、図９および図１０に示すような室内空間を示す地図画像に、丸形状の画像でマーカを示す画像を配置し、三角形状の画像でオブジェクトを示す画像を配置する。さらに、情報処理装置２００は、複数のオブジェクトのうち文字情報が設定されたオブジェクトと、文字情報が設定されていないオブジェクトとで表示形態を区別してもよい。情報処理装置２００は、例えば、室内の天井に埋め込まれた照明器具が複数存在する場合、交換等の対処済みの照明器具に対応するオブジェクトに「対処不要」という文字情報を設定し、交換等の対処が必要な照明器具に対応するオブジェクトに「要対処」という文字情報を設定する。なお、実施形態において、データベース管理装置３００がマーカおよびオブジェクトと紐付けられる地図データを記憶しているが、これに限定されず、情報処理装置２００内やユーザ端末装置１００内の地図データを用いてよい。

【0050】

図１１は、第３実施形態の情報処理システム１における詳細な処理手順の一例を示す図である。なお、情報処理システム１における詳細な処理手順は、ユーザ端末装置１００の処理、情報処理装置２００におけるアプリケーション処理（ＡＰ処理）、および情報処理装置２００およびデータベース管理装置３００によるデータベース処理（ＤＢ処理）それぞれと、これらの処理間の関係について説明する。

【0051】

まず、地図を表示する処理について説明する。ユーザ端末装置１００は、マップ用アプリケーションを起動し、マーカ物体を撮影する。ユーザ端末装置１００は、撮影画像およびユーザ端末装置１００の位置情報を情報処理装置２００に送信する（ステップＳ２００）。情報処理装置２００は、ユーザ端末装置１００から受信した位置情報に基づいて、データベース管理装置３００から地図データを抽出し（ステップＳ２０２）、地図データを取得する（ステップＳ２０４）。情報処理装置２００は、例えば、例えばユーザ端末装置１００の位置を中心とした所定範囲の地図データを抽出してよい。

【0052】

情報処理装置２００は、抽出した地図データの範囲に含まれるマーカ情報をデータベース管理装置３００から抽出する（ステップＳ２０６）。情報処理装置２００は、データベース管理装置３００から、抽出したマーカ情報に含まれるキー情報に対応するオブジェクト情報を抽出する（ステップＳ２０８）。これにより、情報処理装置２００は、地図データに対応したマーカ情報およびオブジェクト情報を取得する（ステップＳ２１０）。情報処理装置２００は、取得したマーカ情報およびオブジェクト情報を、ユーザ端末装置１００に送信する。ユーザ端末装置１００は、情報処理装置２００から受信したマーカ情報およびオブジェクト情報を用いて、マップ用アプリケーションで表示している地図にマーカおよびオブジェクトの位置を重畳して表示する（ステップＳ２１２）。以上の処理が、地図を表示する処理である。

【0053】

次に、ユーザ端末装置１００によるオブジェクトの更新処理について説明する。ユーザ端末装置１００は、上述した実施形態と同様に、オブジェクト情報の更新を行う（ステップＳ２２０）。なお、ユーザ端末装置１００は、例えば地図に重畳されたオブジェクトを選択することで変更対象のオブジェクトを指定し、オブジェクトの位置や傾き、オブジェクトの特徴の変更を行う。ユーザ端末装置１００は、変更したオブジェクト情報を情報処理装置２００に送信し、情報処理装置２００は、オブジェクト情報を取得する（ステップＳ２２２）。情報処理装置２００は、変更されたオブジェクト情報のオブジェクトに紐付けられたマーカのキー情報を取得し（ステップＳ２２４）、マーカのキー情報に対応付けられたオブジェクトの相対距離、傾き、および特徴を登録する（ステップＳ２２６）。情報処理装置２００は、マーカのキー情報に対応したオブジェクト情報を取得し（ステップＳ２２８）、ユーザ端末装置１００に送信する。これにより、ユーザ端末装置１００は、更新されたオブジェクトを表示することができる（ステップＳ２３０）。なお、ユーザ端末装置１００は、２次元地図を表示している場合には、緯度および経度に相当する方向でオブジェクトの位置を変更することができる。また、ユーザ端末装置１００は、３次元地図を表示している場合には、緯度および経度に相当する方向に加えて、高さ方向においてもオブジェクトの位置を変更することができる。

【0054】

次に、オブジェクトの更新を自動で行う処理について説明する。情報処理装置２００は、例えば３秒といった所定期間ごとにユーザ端末装置１００に要求し、ユーザ端末装置１００から受信した位置を含む地図データを取り込む（ステップＳ２４０）。情報処理装置２００は、取り込んだ地図データの範囲に含まれるマーカ情報をデータベース管理装置３００から抽出する（ステップＳ２４２）。情報処理装置２００は、データベース管理装置３００から、抽出したマーカ情報に含まれるキー情報に対応するオブジェクト情報を抽出する（ステップＳ２４４）。これにより、情報処理装置２００は、地図データに対応したマーカ情報およびオブジェクト情報を取得する（ステップＳ２４６）。情報処理装置２００は、取得したマーカ情報およびオブジェクト情報を、ユーザ端末装置１００に送信する。ユーザ端末装置１００は、情報処理装置２００から受信したマーカ情報およびオブジェクト情報を用いて、マップ用アプリケーションで表示している地図にマーカおよびオブジェクトの位置を重畳して表示する（ステップＳ２４８）。これにより、情報処理システム１は、ユーザの操作に応じて地図のスクロールや縮尺変更がされた場合であっても、ユーザの操作に追従してマーカおよびオブジェクトを表示させることができる。

【0055】

以下、ユーザ端末装置１００によりオブジェクトを設置または表示する処理を説明する。まず、ユーザ端末装置１００は、情報処理装置２００から、マーカを認識した位置の絶対座標（ｘ０，ｙ０，ｚ０）を取得する。絶対座標（ｘ０，ｙ０，ｚ０）の要素は、それぞれ、緯度、経度、および高さに相当する。次に、ユーザ端末装置１００は、情報処理装置２００から、オブジェクトを設置または表示する位置の相対座標（ｘ１，ｙ１，ｚ１）を取得する。相対座標（ｘ１，ｙ１，ｚ１）の要素は、拡張現実空間におけるマーカの位置を基準とした座標値であって、マーカの位置から離れるほど大きな値となる座標値である。次に、ユーザ端末装置１００は、マーカの絶対座標（ｘ０，ｙ０，ｚ０）から相対座標（ｘ１，ｙ１，ｚ１）までの変化量（Δｘ，Δｙ，Δｚ）を取得する。Δｘ［メートル］はｘ１－ｘ０により算出され、Δｙ［メートル］はｙ１－ｙ０により算出され、Δｚ［メートル］はｚ１－ｚ０により算出される。ユーザ端末装置１００は、絶対座標からΔｘ，Δｙ，Δｚの位置にオブジェクトを設置または表示する。

【0056】

以下、データベース管理装置３００の地図にオブジェクトを設置または表示する処理を説明する。まず、情報処理装置２００は、マーカを設置した位置の絶対座標（ｘ０，ｙ０）を取得する。次に、情報処理装置２００は、オブジェクトを設置または表示する位置の相対座標（ｘ１，ｙ１）を取得する。絶対座標（ｘ０，ｙ０）および相対座標（ｘ１，ｙ１）は、共に緯度および経度で表現される。次に、情報処理装置２００は、マーカの絶対座標（ｘ０，ｙ０）から相対座標（ｘ１，ｙ１）までの変化量（Δｘ，Δｙ）を取得する。Δｘ［メートル］はｘ１－ｘ０により算出され、Δｙ［メートル］はｙ１－ｙ０により算出される。情報処理装置２００は、絶対座標からΔｘ，Δｙの位置にオブジェクトを設置または表示する。

【0057】

以上説明したように、第３実施形態の情報処理システム１によれば、マーカの位置を実空間における絶対位置として登録し、オブジェクトの位置を拡張現実空間におけるマーカの位置に対する相対位置として登録し、実空間を表す地図情報にマーカおよびオブジェクトを重畳して、ユーザ端末装置１００に表示させることができる。これにより、情報処理システム１によれば、地図上でオブジェクトの登録、閲覧、および編集を実行することができ、さらに利便性を高くすることができる。

【0058】

＜第４実施形態＞
以下、第４実施形態について説明する。第４実施形態の情報処理システム１は、現実空間における特徴に基づいてオブジェクトを表示する点で、上述した実施形態と異なる。以下、相違点を中心に説明する。図１２は、第４実施形態におけるユーザ端末装置１００Ａの構成の一例を示すブロック図である。ユーザ端末装置１００Ａは、例えば、例えば、撮像部１０２と、表示部１０４と、制御部１０６と、送信部１０８と、受信部１１０と、記憶部１１２と、センサ１１４とを備える。

【0059】

送信部１０８および受信部１１０は、例えば、情報処理装置２００との間で通信を行う通信インターフェースである。送信部１０８は、マーカに関する情報を情報処理装置２００に送信する。受信部１１０は、マーカ情報およびオブジェクト情報を情報処理装置２００から受信する。

【0060】

撮像部１０２は、ユーザの操作に従って現実空間を撮像し、映像データを表示部１０４および記憶部１１２に供給する。撮像部１０２は、特徴抽出部１０２ａを備える。特徴抽出部１０２ａは、例えば映像データに各種処理を行うＩＣ等であり、汎用の画像処理ライブラリを実行することにより実現される。特徴抽出部１０２ａは、映像データに所定の処理を施すことにより映像データに含まれる実空間の特徴を抽出する。特徴抽出部１０２ａは、例えば、画像内のエッジを、実空間の特徴として抽出する。特徴抽出部１０２ａは、実空間の特徴を表す情報、および実空間の特徴の画像内位置を表す情報を記憶部１１２に供給する。

【0061】

記憶部１１２は、ユーザ端末装置１００Ａ内のＲＯＭやＲＡＭ等のメモリである。記憶部１１２は、空間情報を記憶する。空間情報は、例えば、撮像部１０２により撮像された映像データ、実空間の特徴を表す情報、および実空間の特徴の画像内位置を表す情報を含む。記憶部１１２は、受信部１１０により受信されたマーカ情報およびオブジェクト情報を記憶する。記憶部１１２は、マッピング情報を記憶する。マッピング情報は、例えば、オブジェクトと実空間の特徴との対応を表す情報である。

【0062】

センサ１１４は、ユーザ端末装置１００Ａの挙動に基づく信号を検出し、制御部１０６に供給する。制御部１０６は、センサ１１４からの信号に基づいて、ユーザ端末装置１００Ａの位置、向きや傾きを算出する。

【0063】

制御部１０６は、例えば、表示制御部１２０と、マッピング部１２２とを備える。表示制御部１２０およびマッピング部１２２は、例えばＣＰＵ等がプログラムを実行することにより実現される機能部である。表示制御部１２０は、センサ１１４から取得した信号、空間情報、マーカ情報、オブジェクト情報、およびマッピング情報に基づいて、拡張現実空間にオブジェクトを表示させる。特に、表示制御部１２０は、拡張現実空間における実空間の特徴に基づいてオブジェクトの表示を制御する。マッピング部１２２は、マッピング情報を生成する。

【0064】

図１３は、実空間の特徴に基づいてオブジェクトを表示させる処理を説明するための図である。実空間の特徴の位置とオブジェクトとは、マッピング情報により対応付けられる。例えば、拡張現実空間における建築物のエッジ部分で検出された実空間の特徴の位置と、オブジェクトの位置とが重複しているものとする。ユーザ端末装置１００Ａは、拡張現実空間を撮像部１０２により撮像された映像により表示している状態において、表示している拡張現実空間に建築物のエッジ部分が含まれる場合、当該建築物のエッジ部分に重複するようにオブジェクトを表示させる。これにより、ユーザ端末装置１００Ａは、センサ１１４により検出したユーザ端末装置１００Ａの挙動に加えてまたは代えて、実空間の特徴の位置とオブジェクトの位置との対応に基づいてオブジェクトを表示させることができる。

【0065】

図１４は、第４実施形態におけるユーザ端末装置１００Ａの動作手順を示すフローチャートである。
先ず、ユーザ端末装置１００Ａは、実空間を撮像する（ステップＳ３００）。撮像して得た映像データは、記憶部１１２に記憶される。次に、ユーザ端末装置１００Ａは、映像データを用いて実空間の特徴を抽出する（ステップＳ３０２）。ユーザ端末装置１００Ａは、実空間の特徴を表す情報と実空間の特徴の位置情報とを対応づける第１のマッピングを行う（ステップＳ３０４）。例えば、ユーザ端末装置１００Ａは、実空間の特徴を表す情報と実空間の特徴の位置情報とを一対一に対応付けたテーブルデータを作成する。

【0066】

次にユーザ端末装置１００Ａは、マーカ物体を撮影し、撮影画像を情報処理装置２００に送信する（ステップＳ３０６）。情報処理装置２００は、撮影画像から抽出したマーカの特徴と一致する特徴を持つマーカのマーカ情報、およびオブジェクト情報を取得し、ユーザ端末装置１００に送信する。ユーザ端末装置１００は、情報処理装置２００からマーカ情報およびオブジェクト情報を受信する（ステップＳ３０８）。なお、図１４においては、ステップＳ３００～ステップＳ３０４の処理後にステップＳ３０６およびステップＳ３０８を実行したが、これに限定されず、ステップＳ３０６、ステップＳ３０８、ステップＳ３００、ステップＳ３０２、ステップＳ３０４の順で実行してもよい。

【0067】

ユーザ端末装置１００Ａは、オブジェクトの位置と実空間の位置とを対応づける第２のマッピングを行う（ステップＳ３１０）。次にユーザ端末装置１００Ａは、オブジェクトと実空間の特徴とを対応付ける第３のマッピングを行う（ステップＳ３１２）。このとき、ユーザ端末装置１００Ａは、マーカの実空間の位置とオブジェクト情報により示されたマーカに対する相対位置とからオブジェクトの実空間の位置を計算することで、オブジェクトの位置を実空間の位置にマッピングし、オブジェクト情報に含まれるオブジェクトの特徴を実空間の位置にマッピングする。これにより、ユーザ端末装置１００Ａは、マッピング情報として、オブジェクトと実空間の特徴との対応を記憶部１１２に記憶する。

【0068】

次にユーザ端末装置１００Ａは、撮像部１０２により撮像していて表示部１０４に表示させている拡張現実空間に、オブジェクトに対応付けられた実空間の特徴が存在するか否かを判定し（ステップＳ３１４）、拡張現実空間にオブジェクトに対応付けられた実空間の特徴が存在しない場合には（ステップＳ３１４：NO）、オブジェクトを表示させない。ユーザ端末装置１００Ａは、拡張現実空間にオブジェクトに対応付けられた実空間の特徴が存在する場合（ステップＳ３１４：ＹＥＳ）、当該実空間の特徴に対応付けられたオブジェクトを表示させる（ステップＳ３１６）。

【0069】

以上説明した第４実施形態のユーザ端末装置１００Ａによれば、撮像部１０２と、マーカの特徴に関する情報を情報処理装置２００に送信する送信部１０８と、マーカに対応するオブジェクトの相対位置および特徴を含む情報を情報処理装置２００から受信する受信部１１０と、受信部１１０により受信された情報に基づいて、オブジェクトの位置と撮像部１０２により撮像された画像に基づいて抽出された実空間の特徴との対応を記憶する記憶部１１２と、記憶部１１２に記憶された対応に基づいて、拡張現実空間においてマーカの位置を原点としたオブジェクトを表示する表示部１０４と、を備える、端末装置を実現することができる。また、ユーザ端末装置１００Ａによれば、記憶部１１２に記憶されたオブジェクトの相対位置に対応した実空間の特徴が拡張現実空間に存在する場合、当該存在する実空間の特徴の位置に対応する拡張現実空間の位置にオブジェクトを表示する。

【0070】

このユーザ端末装置１００Ａによれば、オブジェクトの位置と実空間の特徴との対応に基づいて、オブジェクトに対応した実空間の特徴が存在することを条件にオブジェクトを表示する。これにより、ユーザ端末装置１００Ａは、スマートフォン、タブレット等といったユーザに保持された端末を用いる場合であっても、オブジェクトの表示位置の精度を高くすることができる。また、ユーザ端末装置１００Ａによれば、オブジェクトの表示位置を安定化させることができる。

【0071】

ユーザ端末装置１００Ａにおける内部のセンサ１１４は、ユーザ端末装置１００Ａがユーザの挙動により短時間であらゆる方向に振動する場合がある。この場合、ユーザ端末装置１００Ａにより検出しているユーザ端末装置１００Ａの位置や傾きなどに大きな誤差が発生する可能性があり、センサ１１４の検出のみに基づいてオブジェクトの表示位置を決定すると、オブジェクトの表示位置の精度が低下したり、安定して同じ位置にオブジェクトを表示することができない可能性が高くなる。これに対し、ユーザ端末装置１００Ａは、センサ１１４の検出に基づかずに実空間の特徴に基づいてオブジェクトを表示させることができる。すなわちユーザ端末装置１００Ａは、センサ１１４の検出位置がオブジェクトの相対位置に一致しなくても、実空間の特徴を見つけることができれば正確な位置にオブジェクトを表示することができる。この結果、センサ１１４の検出位置に誤差が発生しても、オブジェクトの表示位置の精度および安定性を向上させることができる。

【0072】

なお、第４実施形態において、ステップＳ３００の実空間の撮影は、オブジェクトを表示させる前やマーカを撮影する前に行わなくてよい。ユーザ端末装置１００Ａは、センサ１１４の検出に基づいてオブジェクトを最初に表示させた時に、実空間の特徴を読み取り、オブジェクトと実空間の特徴とを対応付けてよい。ただし、マーカの撮影やオブジェクトの表示よりも前に実空間を撮影した方が、ユーザ端末装置１００Ａのセンサ１１４の誤差を少なくなるように丁寧に撮影することができることが多いので、オブジェクトの表示位置の精度を高くすることができる。

【0073】

また、ユーザ端末装置１００Ａによれば、センサ１１４により出力された信号に基づく実空間の位置と、撮像された画像に基づく実空間の特徴とを対応付ける第１のマッピングと、受信部１１０により受信した情報に基づくオブジェクトの位置と実空間の位置とを対応付ける第２のマッピングと、オブジェクトと実空間の特徴とを対応付ける第３のマッピングとを行うことで、記憶部１１２に対応を記憶させる、マッピング部１２２を備える。これにより、ユーザ端末装置１００Ａによれば、記憶部１１２に記憶された対応に基づいてオブジェクトを表示させることができる。

【0074】

さらに、ユーザ端末装置１００Ａによれば、撮像部１０２により撮像された画像、センサ１１４により出力された信号に基づく実空間の位置と、撮像部１０２により撮像された画像に基づく実空間の特徴との対応を記憶するので、情報処理装置２００やデータベース管理装置３００にユーザ端末装置１００Ａ固有の空間的な情報を記憶する必要が無い。したがって、ユーザ端末装置１００Ａによれば、オブジェクトの表示位置の精度および安定性を向上させるために情報処理装置２００やデータベース管理装置３００の負担を増加させることがない。

【0075】

さらに、ユーザ端末装置１００Ａによれば、ユーザ端末装置１００Ａ内部のＧＰＳ処理部によりオブジェクトを表示させるための実空間が変更したことを検出した場合に、記憶部１１２に記憶された対応（マッピング情報）を更新することが望ましい。これにより、ユーザ端末装置１００Ａは、実空間が変更しても、オブジェクトの表示位置の精度および安定性を高くすることができる。

【0076】

また、ユーザ端末装置１００Ａは、撮像部１０２により撮像された画像に基づいて実空間の特徴が変更した場合に、オブジェクトに対応した実空間の特徴を更新してもよい。例えば、実空間の場所Ａに対応した特徴Ａとオブジェクトａが対応付けられている状態から、実空間の場所Ａに存在する家具等が移動して特徴Ｂに変更した場合、オブジェクトａを特徴Ｂに更新してもよい。これにより、ユーザ端末装置１００Ａは、実空間内の状況が変更しても、オブジェクトの表示位置の精度および安定性が低下することを抑制することができる。

【0077】

＜その他の実施形態＞
上述した実施形態は、保守方法や異常箇所をオブジェクトの特徴として設置または表示する一例を説明したが、その他の用途でオブジェクトを設置または表示することができる。情報処理システム１は、例えば、ロッカーや冷蔵庫等の収容箱に収容された物品名や収容位置を表す情報をオブジェクトの特徴として登録してよい。これにより、情報処理システム１は、収容箱に貼り付けられたマーカ物体を撮像するだけで、収容箱を開けなくても、収容物を確認することができる。

【0078】

情報処理システム１は、実空間における公共設備にマーカ物体を設置し、設備の機能や利用条件などの情報をオブジェクトの特徴として設定することで、マーカ物体を撮像するだけで公共設備の情報を提供することができる。情報処理システム１は、実空間における店舗や企業サービスなどの個人の設備にマーカ物体を設置し、サービス内容や広告などの情報をオブジェクトの特徴として設定することで、マーカ物体を撮像するだけで個人の設備の情報を提供することができる。情報処理システム１は、例えば、ユーザの役割（保守作業員や補修員）、使用言語や年代別に区別された複数のマーカ物体を設備に設置しておき、使用言語や年代ごとに異なるオブジェクトの特徴を設定することにより、ユーザが望む言語や年代に合った設備の情報を提供することができる。

【0079】

なお、各実施形態および変形例について説明したが、一例であってこれらに限られず、例えば、各実施形態や各変形例のうちのいずれかや、各実施形態の一部や各変形例の一部を、他の１または複数の実施形態や他の１または複数の変形例と組み合わせて本発明の一態様を実現させてもよい。

【0080】

なお、本実施形態におけるユーザ端末装置１００や情報処理装置２００の各処理を実行するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、当該記録媒体に記録されたプログラムを、コンピュータシステムに読み込ませ、実行することにより、ユーザ端末装置１００や情報処理装置２００に係る上述した種々の処理を行ってもよい。

【0081】

なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器などのハードウェアを含むものであってもよい。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリなどの書き込み可能な不揮発性メモリ、ＣＤ－ＲＯＭなどの可搬媒体、コンピュータシステムに内蔵されるハードディスクなどの記憶装置のことをいう。

【0082】

さらに「コンピュータ読み取り可能な記録媒体」とは、インターネットなどのネットワークや電話回線などの通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Ｄｙｎａｍｉｃ
Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ））のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置などに格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。

【0083】

ここで、プログラムを伝送する「伝送媒体」は、インターネットなどのネットワーク（通信網）や電話回線などの通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

【0084】

以上、本発明の実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計なども含まれる。例えば、本発明の実施形態として、ユーザ端末装置１００だけで構成される場合もある。

【符号の説明】

【0085】

１００ ユーザ端末装置
１０２ 撮像部
１０４ 表示部
１０６ 制御部
２００ 情報処理装置
２１０ ＡＰＩ部
２２０ マーカ登録部
２３０ オブジェクト登録部
２４０ 情報抽出部
３００ データベース管理装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】