特許 6768123 拡張現実方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6768123

(24)【登録日】2020年9月24日

(45)【発行日】2020年10月14日

(54)【発明の名称】拡張現実方法及び装置

(51)【国際特許分類】

   G06T 19/00 20110101AFI20201005BHJP

   G06F 3/0481 20130101ALI20201005BHJP

【ＦＩ】

   G06T19/00 600

   G06F3/0481 150

【請求項の数】13

【外国語出願】

【全頁数】17

(21)【出願番号】特願2019-126867(P2019-126867)

(22)【出願日】2019年7月8日

(65)【公開番号】特開2020-9447(P2020-9447A)

(43)【公開日】2020年1月16日

【審査請求日】2019年7月11日

(31)【優先権主張番号】201810743420.7

(32)【優先日】2018年7月9日

(33)【優先権主張国】CN

(73)【特許権者】

【識別番号】513224353

【氏名又は名称】バイドゥ オンライン ネットワーク テクノロジー （ベイジン） カンパニー リミテッド

(74)【代理人】

【識別番号】100105924

【弁理士】

【氏名又は名称】森下 賢樹

(72)【発明者】

【氏名】ジアン、ジーレイ

【審査官】 村松 貴士

(56)【参考文献】

【文献】 特開２０１１−１６４７０１（ＪＰ，Ａ）

【文献】 特開２００５−１４９４０９（ＪＰ，Ａ）

【文献】 特表２０１６−５０５９６１（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １９／００

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０４８ − ３／０４８９

(57)【特許請求の範囲】

【請求項1】

拡張現実方法であって、
予め設定された選択条件を満たす複数の建物の、三次元空間における建物の輪郭を記述するための輪郭データを取得するステップと、
複数の建物のそれぞれの投影線分に基づいて、参照情報を生成するステップであって、建物の投影線分が建物の三次元空間における輪郭をユーザの端末の画面の所在平面にマッピングすることによって得られ、参照情報は、水平方向において複数の建物のそれぞれに遮蔽が存在するか否か及び遮蔽が存在する場合の遮蔽状況を記述するために用いられるステップと、
参照情報に基づいて、複数の建物のうちの対象建物と、対象建物のアノテーション情報とのユーザの端末で取り込まれた画像における重畳領域を決定するステップと、
対象建物のアノテーション情報を、決定された重畳領域に重畳して、拡張現実画像を得るステップとを備える拡張現実方法。

【請求項2】

参照情報は、水平方向において複数の建物のうちユーザからの距離が最も近い建物が他の全ての建物を完全遮蔽することを示す指示情報を備え、
前記参照情報に基づいて、複数の建物のうちの対象建物と、対象建物のアノテーション情報とのユーザの端末で取り込まれた画像における重畳領域を決定するステップは、
複数の建物のうちユーザからの距離が最も近い建物を対象建物とすることと、
前記ユーザからの距離が最も近い建物の投影線分の中心点に基づいて、前記ユーザからの距離が最も近い建物の前記画像における重畳領域の中心点を決定することとを備える請求項１に記載の方法。

【請求項3】

参照情報は、水平方向において複数の建物のうち、少なくとも１つの建物で完全遮蔽された建物のタグと、建物のいずれかで完全遮蔽されていない建物のタグとを含み、
前記参照情報に基づいて、複数の建物のうちの対象建物と、対象建物のアノテーション情報とのユーザの端末で取り込まれた画像における重畳領域を決定するステップは、
水平方向において建物のいずれかで完全遮蔽されていない建物を対象建物とすることと、
最も近い建物と２番目に近い建物との間の第１遮蔽関連状況に基づいて、最も近い建物のアノテーション情報の前記画像における重畳領域と、２番目に近い建物のアノテーション情報の前記画像における重畳領域とを決定することであって、最も近い建物は全ての対象建物のうちユーザからの距離が最も近い対象建物であり、２番目に近い建物は全ての対象建物のうちユーザからの距離が２番目に近い対象建物であることと、
全ての対象建物のうち、最も近い建物及び２番目に近い建物を除いた対象建物のそれぞれに対して、対象建物と前記対象建物の前の対象建物との間の第２遮蔽関連状況に基づいて、前記対象建物のアノテーション情報の前記画像における重畳領域を決定することとを備える請求項１に記載の方法。

【請求項4】

前記最も近い建物と２番目に近い建物との間の第１遮蔽関連状況に基づいて、最も近い建物のアノテーション情報の前記画像における重畳領域と、２番目に近い建物のアノテーション情報の前記画像における重畳領域とを決定することは、
最も近い建物の投影線分の中心点の横座標を、最も近い建物のアノテーション情報の前記画像における重畳領域の中心点の横座標とすることと、
第１遮蔽関連状況が予め設定された遮蔽関連状況である場合に、２番目に近い建物の投影線分のうち、最も近い建物で遮蔽されていない部分に対応するサブ線分の中心点の横座標を、２番目に近い建物のアノテーション情報の前記画像における重畳領域の中心点の横座標とすることであって、予め設定された遮蔽関連状況は、２番目に近い建物が最も近い建物で部分的に遮蔽されて、２番目に近い建物の最も近い建物で遮蔽されていない部分が最も近い建物の片側に位置することと、
第１遮蔽関連状況が予め設定された遮蔽関連状況ではない場合に、２番目に近い建物の投影線分の中心点の横座標を、２番目に近い建物のアノテーション情報の前記画像における重畳領域の中心点の横座標とすることと、を備える請求項３に記載の方法。

【請求項5】

前記方法はさらに、
ユーザからの距離によって全ての対象建物を順序付けするステップと、
順序付け後の対象建物それぞれの順序に基づいて、対象建物毎のアノテーション情報の前記画像における重畳領域の中心点の縦座標を決定するステップと、を備える請求項４に記載の方法。

【請求項6】

拡張現実装置であって、
予め設定された選択条件を満たす複数の建物の、三次元空間における建物の輪郭を記述するための輪郭データを取得するように配置される取得ユニットと、
複数の建物のそれぞれの投影線分に基づいて、参照情報を生成するように配置される生成ユニットであって、建物の投影線分が建物の三次元空間における輪郭をユーザの端末の画面の所在平面にマッピングすることによって得られ、参照情報は、水平方向において複数の建物のそれぞれに遮蔽が存在するか否か及び遮蔽が存在する場合の遮蔽状況を記述するために用いられる生成ユニットと、
参照情報に基づいて、複数の建物のうちの対象建物と、対象建物のアノテーション情報とのユーザの端末で取り込まれた画像における重畳領域を決定するように配置される決定ユニットと、
対象建物のアノテーション情報を、決定された重畳領域に重畳して、拡張現実画像を得るように配置される表示ユニットとを備える拡張現実装置。

【請求項7】

決定ユニットは、
参照情報が水平方向において複数の建物のうち、ユーザからの距離が最も近い建物が他の全ての建物を完全遮蔽することを示す指示情報を備える場合に、複数の建物のうちユーザからの距離が最も近い建物を対象建物とし、前記ユーザからの距離が最も近い建物の投影線分の中心点に基づいて、前記ユーザからの距離が最も近い建物の前記画像における重畳領域の中心点を決定するように配置される第１対象建物・重畳領域決定サブユニットを備える請求項６に記載の装置。

【請求項8】

決定ユニットは、
参照情報が水平方向において複数の建物のうち、少なくとも１つの建物で完全遮蔽された建物のタグと、建物のいずれかで完全遮蔽されていない建物のタグとを備える場合に、水平方向において建物のいずれかで完全遮蔽されていない建物を対象建物とし、最も近い建物と２番目に近い建物との間の第１遮蔽関連状況に基づいて、最も近い建物のアノテーション情報の前記画像における重畳領域と、２番目に近い建物のアノテーション情報の前記画像における重畳領域とを決定し、ここでは、最も近い建物は全ての対象建物のうちユーザからの距離が最も近い対象建物であり、２番目に近い建物は全ての対象建物のうちユーザからの距離が２番目に近い対象建物であり、全ての対象建物のうち、最も近い建物及び２番目に近い建物を除いた対象建物のそれぞれに対して、対象建物と前記対象建物の前の対象建物との間の第２遮蔽関連状況に基づいて、前記対象建物のアノテーション情報の前記画像における重畳領域を決定するように配置される第２対象建物・重畳領域決定サブユニットを備える請求項６に記載の装置。

【請求項9】

前記第２対象建物・重畳領域決定サブユニットはさらに、最も近い建物の投影線分の中心点の横座標を、最も近い建物のアノテーション情報の前記画像における重畳領域の中心点の横座標とし、第１遮蔽関連状況が予め設定された遮蔽関連状況である場合に、２番目に近い建物の投影線分のうち、最も近い建物で遮蔽されていない部分に対応するサブ線分の中心点の横座標を、２番目に近い建物のアノテーション情報の前記画像における重畳領域の中心点の横座標とし、予め設定された遮蔽関連状況は、２番目に近い建物が最も近い建物で部分的に遮蔽されて、２番目に近い建物の最も近い建物で遮蔽されていない部分が最も近い建物の片側に位置することを備え、第１遮蔽関連状況が予め設定された遮蔽関連状況ではない場合に、２番目に近い建物の投影線分の中心点の横座標を、２番目に近い建物のアノテーション情報の前記画像における重畳領域の中心点の横座標とするように配置される請求項８に記載の装置。

【請求項10】

前記装置は、
ユーザからの距離によって全ての対象建物を順序付けし、順序付け後の対象建物それぞれの順序に基づいて、対象建物毎のアノテーション情報の前記画像における重畳領域の中心点の縦座標を決定するように配置される縦座標決定ユニットをさらに備える請求項９に記載の装置。

【請求項11】

端末であって、
１つ又は複数のプロセッサと、
１つ又は複数のプログラムを格納するためのメモリとを備え、
前記１つ又は複数のプログラムが前記１つ又は複数のプロセッサで実行される場合に、前記１つ又は複数のプロセッサに請求項１〜５のいずれか一項に記載の方法を実現させることを特徴とする端末。

【請求項12】

コンピュータプログラムが格納されているコンピュータ可読媒体であって、該プログラムがプロセッサで実行される場合に、請求項１〜５のいずれか一項に記載の方法を実現することを特徴とするコンピュータ可読媒体。

【請求項13】

コンピュータプログラムであって、
前記コンピュータプログラムがプロセッサにより実行されると、請求項１〜５のいずれか一項に記載の方法を実現する、コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、コンピュータ分野に関し、具体的には拡張現実分野、特に拡張現実方法及び装置に関する。

【背景技術】

【0002】

現在、いくつかのナビゲーションアプリケーションにおいて、ユーザが撮影した建物の一部にアノテーション情報を表示する機能を提供している。従来の表示方法は、アノテーション情報を建物上の重畳位置に予め手動で設定し、アノテーション情報の建物における重畳位置がユーザの端末のカメラの画角範囲内に位置していなければ、アノテーション情報を表示できない。例えば、よく現われた、ユーザの位置で大型の建物の一部しか撮影できなくて、予め設定された重畳位置が撮影された部分に含まれていない場合に、アノテーション情報をユーザに表示することができないとともに、予め設定された複数の建物のアノテーション情報が重なってしまい、アノテーション情報を明確に表示できない課題が存在している。

【発明の概要】

【0003】

本発明の実施例は、拡張現実方法及び装置を提供している。

【0004】

第１態様において、本発明の実施例は、拡張現実方法を提供し、該方法は、予め設定された選択条件を満たす複数の建物の、三次元空間における建物の輪郭を記述するための輪郭データを取得するステップと、複数の建物のそれぞれの投影線分に基づいて、参照情報を生成するステップであって、建物の投影線分が建物の三次元空間における輪郭をユーザの端末の画面の位置する平面にマッピングすることによって得られ、参照情報は、水平方向において複数の建物のそれぞれに遮蔽が存在するか否か及び遮蔽が存在する場合の遮蔽状況を記述するために用いられるステップと、参照情報に基づいて、複数の建物のうちの対象建物と、対象建物のアノテーション情報とのユーザの端末で取り込まれた画像における重畳領域を決定するステップと、対象建物のアノテーション情報を、決定された重畳領域に重畳して、拡張現実画像を得るステップとを備える。

【0005】

第２態様において、本発明の実施例は、拡張現実装置を提供し、該装置は、予め設定された選択条件を満たす複数の建物の、三次元空間における建物の輪郭を記述するための輪郭データを取得するように配置される取得ユニットと、複数の建物のそれぞれの投影線分に基づいて、参照情報を生成するように配置される生成ユニットであって、建物の投影線分が建物の三次元空間における輪郭をユーザの端末の画面の位置する平面にマッピングすることによって得られ、参照情報は、水平方向において複数の建物のそれぞれに遮蔽が存在するか否か及び遮蔽が存在する場合の遮蔽状況を記述するために用いられる生成ユニットと、参照情報に基づいて、複数の建物のうちの対象建物と、対象建物のアノテーション情報とのユーザの端末で取り込まれた画像における重畳領域を決定するように配置される決定ユニットと、対象建物のアノテーション情報を、決定された重畳領域に重畳して、拡張現実画像を得るように配置される表示ユニットとを備える。

【0006】

本発明の実施例に係る拡張現実方法及び装置は、予め設定された選択条件を満たす複数の建物の、三次元空間における建物の輪郭を記述するための輪郭データを取得するステップと、複数の建物のそれぞれの投影線分に基づいて、参照情報を生成するステップであって、建物の投影線分が建物の三次元空間における輪郭をユーザの端末の画面の位置する平面にマッピングすることによって得られ、参照情報は、水平方向において複数の建物のそれぞれに遮蔽が存在するか否か及び遮蔽が存在する場合の遮蔽状況を記述するために用いられるステップと、参照情報に基づいて、複数の建物のうちの対象建物と、対象建物のアノテーション情報とのユーザの端末で取り込まれた画像における重畳領域を決定し、対象建物のアノテーション情報を、決定された重畳領域に重畳して、拡張現実画像を得るステップとによって、ユーザの端末のカメラによって様々な画角から建物又は建物の一部のみが撮影された場合にしても、建物のアノテーション情報を、撮影された画像に表示して拡張現実を達成することができ、しかも複数の建物のアノテーション情報が重ならずに明確に表示できるようになった。

【図面の簡単な説明】

【0007】

本発明の他の特徴、目的及び利点は、以下の図面を参照してなされる非限定的な実施例に係る詳細な説明を読むことにより、より明らかになるであろう。

【0008】

【図1】本発明の実施例を実現するために適用される例示的なシステムアーキテクチャを示す図である。

【0009】

【図2】本発明に係る拡張現実方法の一実施例を示すフローチャートである。

【0010】

【図3】本発明に係る拡張現実装置の一実施例を示す構造概略図である。

【0011】

【図4】本発明の実施例を実施するための端末に適用されるコンピュータシステムを示す構造概略図である。

【発明を実施するための形態】

【0012】

以下、添付図面及び実施例を参照しながら、本発明をより詳細に説明する。ここで説明する具体的な実施例は、関連する発明を説明するためのものに過ぎず、当該発明を限定するものではないことを理解されたい。また、説明の便宜上、図面には発明に関連する部分のみが示されていることに留意されたい。

【0013】

なお、本発明の実施例及び実施例における特徴は、矛盾を生じない限り、相互に組み合わせることができる。以下、添付図面及び実施例を参照しながら、本発明を詳細に説明する。

【0014】

本発明の実施例を実現するために適用される例示的システムアーキテクチャを示す図１を参照する。

【0015】

図１に示すように、システムアーキテクチャは端末１０１、ネットワーク１０２及びサーバ１０３を備える。ネットワーク１０２は有線通信網又は無線通信網であってもよい。

【0016】

サーバ１０３は電子地図サービスを提供するサーバであってもよい。サーバ１０３には複数の建物の輪郭データが予め対応して格納されている。建物の輪郭データが建物の地平面における輪郭データであってもよい。端末１０１はサーバ１０３から端末１０１のユーザ近傍の複数の建物の輪郭データを取得することができる。

【0017】

本発明に係る拡張現実方法の一実施例のフローチャートを示す図２を参照する。本発明の実施例に係る拡張現実方法は、端末（例えば、図１における端末１０１）により実行されてもよい。該方法は次のステップを備える。

【0018】

ステップ２０１において、予め設定された選択条件を満たす複数の建物の輪郭データを取得する。

【0019】

本実施例において、建物はオフィスビル、ショッピングモール、住宅などであってもよい。ユーザの端末におけるカメラがオンにされて、ユーザがユーザの端末のカメラで取り込まれた画像においていくつかの建物のアノテーション情報が拡張表示される機能を使用する場合に、まず選択条件が予め設定された複数の建物の輪郭データを取得することができる。予め設定された選択条件は、少なくとも一部がユーザの端末のカメラの画角範囲内に位置するとともに、ユーザからの距離が近い順で順序付けした後、その順序が予め設定された順序よりも小さい大型建物を含んでもよい。言い換えれば、少なくとも一部がユーザの端末のカメラの画角範囲内に位置するユーザからの距離が最も近い複数の大型建物の輪郭データを取得する。複数の建物のそれぞれはいずれも少なくとも一部がユーザの端末のカメラで取り込まれた画像内に位置する。

【0020】

ユーザの端末はユーザの位置及びユーザの端末のカメラの撮影角度を、電子地図サービスを提供するサーバに送信することができ、電子地図サービスを提供するサーバには、大量の建物の輪郭データ、大量の建物の電子地図における輪郭が予め格納されている。電子地図サービスを提供するサーバは、ユーザの位置及びユーザの端末のカメラの撮影角度に基づいて、少なくとも一部がユーザの端末のカメラの画角範囲内に位置するとともに、ユーザからの距離が近い順で順序付けした後にその順序が予め設定された順序よりも小さい大型建物を検索し、さらに検索された大型建物の輪郭データを取得することができる。建物の輪郭データが建物の三次元空間における地平面上の輪郭を記述する。

【0021】

本実施例において、建物のアノテーション情報は、吹き出しと、吹き出し内にある建物の名称、建物とユーザの距離を含んでもよい。吹き出しの形状が矩形、気泡形状などであってもよい。

【0022】

ステップ２０２において、複数の建物のそれぞれの投影線分に基づいて、参照情報を生成する。

【0023】

本実施例において、予め設定された選択条件を満たす複数の建物の輪郭データを取得した後に、複数の建物の三次元空間における輪郭を決定することができる。まず、複数の建物のそれぞれに対して、建物毎の三次元空間における輪郭をユーザの端末の画面の位置する平面にそれぞれマッピングして、建物毎に対応する線分をそれぞれ得ることができる。建物毎に対応する線分の長さが三次元空間における実長であり、建物毎のユーザの端末の画面における投影線分をそれぞれ得るために、その実長をユーザの端末の画面における長さに変換する必要がある。言い換えれば、建物の三次元空間における輪郭をユーザの端末の画面にマッピングして、建物毎の投影線分を得ることに相当する。

【0024】

本実施例において、建物の三次元空間における輪郭をユーザの端末の画面にマッピングする場合に、建物の三次元空間における輪郭上の三次元点のワールド座標系における三次元座標を、ユーザの端末の画面に対応する二次元座標系における二次元座標に変換することにより、建物の三次元空間における輪郭上の三次元点の、ユーザの端末の画面に対応する二次元点を決定し、全ての三次元点に対応する二次元点がいずれも同一水平線上に位置し、水平方向においてユーザの端末の画面の両端から最も近い二次元点をそれぞれ投影線分の一端の端点とし、さらに建物の投影線分を構成する。

【0025】

例えば、建物の三次元空間における輪郭をユーザの端末の画面にマッピングする場合に、ＯｐｅｎＧＬ（オープンジーエル、Ｏｐｅｎ Ｇｒａｐｈｉｃｓ Ｌｉｂｒａｒｙ）によって提供されるＭＶＰ（Ｍｏｄｅｌ Ｖｉｅｗ Ｐｒｏｊｅｃｔｉｏｎ）投影アルゴリズムを用いて、建物の三次元空間における輪郭上の三次元点のワールド座標系における三次元座標を、ユーザの端末の画面に対応する二次元座標系における二次元座標に変換することにより、さらに建物の三次元空間における輪郭をユーザの端末の画面にマッピングして、建物の投影線分を得ることができる。

【0026】

本実施例において、建物毎に対して、建物の三次元空間における輪郭をユーザの端末の画面にマッピングする場合に、三次元空間における同一高さにおいて建物毎の三次元空間における輪郭をユーザの端末の画面の位置する平面にそれぞれマッピングして、建物毎に対応する線分を得ることができ、その後、ユーザの端末の画面における長さに変換し、建物毎のユーザの端末上の画面における投影線分を得る。したがって、建物毎のユーザの端末上の画面における投影線分が同一水平線上に位置する。

【0027】

本実施例において、複数の異なる画面の幅を有する端末で同一建物を撮影する場合に、該建物の水平方向における最大実長と画面における該建物の水平方向における最大長さを予め決定することができる。水平方向の最大実長は、建物の三次元空間における輪郭上に横座標の最も小さい点と横座標の最も大きい点との間の距離である。画面における該建物の水平方向における最大長さは、画像における建物の輪郭上に横座標の最も小さい画素ドットと横座標の最も大きい画素ドットとの間の距離である。各幅の画面に対して、画面における該建物の水平方向における最大長さを、該建物の水平方向における最大実長で除算して得られた割合を、画面に対応する割合とすることができる。建物の三次元空間における輪郭をユーザの端末の画面の位置する平面にマッピングして、該建物に対応する線分を得た後、該建物に対応する線分の三次元空間における実長を、該端末の画面に対応する割合に乗じて、該建物の投影線分の長さを得ることができる。

【0028】

本実施例において、複数の建物のそれぞれの投影線分に基づいて、参照情報を生成することができる。参照情報は、各建物が水平方向において他の建物で遮蔽されたか否か及び遮蔽された場合の遮蔽状況を記述することができ、遮蔽状況が部分遮蔽、完全遮蔽であってもよい。

【0029】

本実施例において、建物が他の建物で遮蔽されたか否かとは、該建物が、ユーザからの距離が該建物のユーザからの距離よりも小さい他の建物で遮蔽されたか否かということを指す。言い換えれば、建物が他の建物で遮蔽されたか否かとは、該建物が、その前に位置する他の建物で遮蔽されたか否かということを指す。

【0030】

本実施例において、複数の建物のそれぞれの三次元空間における輪郭をユーザの端末の画面にマッピングして、建物毎の投影線分が得られた後に、建物毎の投影線分に基づいて、各建物がその前に位置する他の建物で遮蔽されたか否かを判断し、遮蔽されたと判断した場合にさらに遮蔽状況が部分遮蔽であるかそれとも完全遮蔽であるかを判断する。

【0031】

本実施例において、複数の建物のそれぞれの投影線分に基づいて、各建物がその前に位置する他の建物で遮蔽されたか否かを判断し、遮蔽されたと判断した場合に、さらに遮蔽状況が部分遮蔽であるかそれとも完全遮蔽であるかを判断し、複数の建物のそれぞれがその前に位置する他の建物で遮蔽されたか否か及び遮蔽された場合の遮蔽状況を記述する参照情報を生成することができる。

【0032】

本実施例において、複数の建物のそれぞれに対して、該建物の投影線分及び該建物の前に位置する他の建物の投影線分に基づいて、水平方向において該建物が該他の建物で遮蔽されたか否かを判断し、遮蔽された場合の遮蔽状況を判断することができる。該建物の投影線分と該他の建物の投影線分とが同一水平線にある場合に、該建物の投影線分と該他の建物の投影線分とは同じサブ線分がない場合に、該建物が該他の建物で遮蔽されていない。該建物の投影線分と該他の建物の投影線分とが同一水平線にある場合に、該建物の投影線分と該他の建物の投影線分とは同じサブ線分を有するとともに、該建物の投影線分が該他の建物の有しないサブ線分を有する場合に、該建物が該他の建物で部分的に遮蔽されている。該建物の投影線分と該他の建物の投影線分とが同一水平線にある場合に、該建物の投影線分が該他の建物の投影線分のサブ線分となる場合に、該建物が該他の建物で完全遮蔽されている。

【0033】

ステップ２０３において、参照情報に基づいて、複数の建物のうちの対象建物と、重畳領域とを決定する。

【0034】

本実施例において、ユーザの端末で取り込まれた画像にアノテーション情報が表示されるべき建物が対象建物である。まず、複数の建物のうち少なくとも１つの建物で完全遮蔽された建物を決定することができ、その後、複数の建物のうち少なくとも１つの建物で完全遮蔽された建物を除いた建物、即ち建物のいずれかで完全遮蔽されていない建物を対象建物とする。ユーザからの距離が最も近い建物が建物のいずれかで完全遮蔽されていなければ、ユーザからの距離が最も近い建物を対象建物とする。言い換えれば、ユーザに表示するアノテーション情報は、各対象建物、即ち建物のいずれかで完全遮蔽されていない建物のアノテーション情報を備える。

【0035】

本実施例において、建物のアノテーション情報は吹き出しと、吹き出し内にある建物の名称とを備える。吹き出しの形状が矩形、気泡形状などであってもよい。建物毎の吹き出しの形状及び面積がいずれも同じである。

【0036】

本実施例において、建物の名称及びユーザからの距離が建物のアノテーション情報における吹き出しでユーザに表示されるので、建物のアノテーション情報のユーザの端末で取り込まれた画像における重畳領域が、建物のアノテーション情報における吹き出しのユーザの端末で取り込まれた画像に占める領域に相当することができる。建物のアノテーション情報のユーザの端末で取り込まれた画像における重畳領域を決定することは、建物のアノテーション情報における吹き出しのユーザの端末で取り込まれた画像に占める領域を決定することに相当する。対象建物毎のアノテーション情報の重畳領域の中心点が、対象建物毎のアノテーション情報における吹き出しの中心点に相当することができる。

【0037】

まず、対象建物毎のアノテーション情報における吹き出しの中心点の横座標値を決定することができる。横座標値がユーザの端末の画面の１つのコーナー点、例えば左下コーナーを座標系の原点とする座標系における横座標値であってもよい。対象建物毎のアノテーション情報の吹き出しの中心点の横座標値は、全ての対象建物のうちいずれか２つの対象建物のアノテーション情報における吹き出しが水平方向に重ならないようにするべきである。いずれか２つの対象建物のアノテーション情報における吹き出しが水平方向において重ならないようにすることは、いずれか２つの対象建物のアノテーション情報における吹き出しの中心点が同一水平線に位置する場合に、いずれか２つの対象建物のアノテーション情報における吹き出しが水平方向に重ならないことに相当する。

【0038】

対象建物毎のアノテーション情報の吹き出しの中心点の横座標値が決定された後に、対象建物毎のアノテーション情報の吹き出しの中心点の縦座標を決定することができる。対象建物毎のアノテーション情報の吹き出しの中心点の縦座標は、全ての対象建物のうちいずれか２つの対象建物の吹き出しが垂直方向に重ならないようにするべきである。いずれか２つの対象建物のアノテーション情報における吹き出しが垂直方向に重ならないようにすることは、いずれか２つの対象建物のアノテーション情報における吹き出しの中心点が同一垂直線に位置する場合に、いずれか２つの対象建物のアノテーション情報における吹き出しが垂直方向に重ならないことに相当する。

【0039】

対象建物毎のアノテーション情報の吹き出しの中心点の横座標及び縦座標が決定された後に、対象建物毎のアノテーション情報の吹き出しの中心点の位置を得ることができる。さらに形状及び面積がいずれも同じである対象建物毎のアノテーション情報の吹き出しの、ユーザの端末で取り込まれた画像に占める領域をそれぞれ決定することにより、対象建物毎のアノテーション情報のユーザの端末で取り込まれた画像における重畳領域を決定することができる。

【0040】

本実施例のいくつかの任意選択実施形態において、複数の建物のうちユーザからの距離が最も近い建物が他の全ての建物を完全遮蔽した場合に、ユーザからの距離が最も近い建物の投影線分の長さが画面の幅よりも大きいことに基づいて、複数の建物のうちユーザからの距離が最も近い建物が他の全ての建物を完全遮蔽することを判定することができ、水平方向において複数の建物のうちユーザからの距離が最も近い建物が他の全ての建物を完全遮蔽することを示す指示情報を生成することができる。従って、参照情報は、水平方向において複数の建物のうちユーザからの距離が最も近い建物が他の全ての建物を完全遮蔽することを示す指示情報を備える。複数の建物のうちの対象建物を決定して、対象建物のアノテーション情報のユーザの端末で取り込まれた画像における重畳領域を決定する場合に、ユーザからの距離が最も近い建物を対象建物とすることができる。言い換えれば、ユーザからの距離が最も近い建物のアノテーション情報だけをユーザに表示する。ユーザからの距離が最も近い建物の投影線分の中心点の横座標を、ユーザからの距離が最も近い建物のアノテーション情報の画像における重畳領域の中心点の横座標とすることができる。その後、ユーザからの距離が最も近い建物のアノテーション情報の画像における重畳領域の中心点の縦座標を決定することができ、ユーザからの距離が最も近い建物のアノテーション情報における吹き出しの中心点の位置を決定することができる。

【0041】

本実施例のいくつかの任意選択実施形態において、複数の建物には水平方向に少なくとも１つの建物で完全遮蔽される建物及び建物のいずれかで完全遮蔽されていない建物が含まれる場合に、建物毎の投影線分に基づいて、複数の建物には水平方向に少なくとも１つの建物で完全遮蔽される建物及び建物のいずれかで完全遮蔽されていない建物が含まれることを決定することができる。生成される参照情報はさらに、複数の建物のうち水平方向に少なくとも１つの建物で完全遮蔽される建物のタグと、複数の建物のうち建物のいずれかで完全遮蔽されていない建物のタグとを備える。

【0042】

参照情報に基づいて、表示すべきアノテーション情報と、表示すべきアノテーション情報のユーザの端末で取り込まれた画像における重畳領域とを決定する場合に、参照情報における水平方向に少なくとも１つの建物で完全遮蔽される建物のタグと、建物のいずれかで完全遮蔽されていない建物のタグとに基づいて、複数の建物のうち少なくとも１つの建物で完全遮蔽される建物と、建物のいずれかで完全遮蔽されていない建物とを決定することができる。その後、水平方向に建物のいずれかで完全遮蔽されていない建物を対象建物とすることができる。対象建物の数が複数であってもよい。

【0043】

まず、対象建物のうち最も近い建物と対象建物のうち２番目に近い建物との間の第１遮蔽関連状況に基づいて、最も近い建物と２番目に近い建物のアノテーション情報のユーザの端末で取り込まれた画像における重畳領域を決定することができる。最も近い建物は全ての対象建物のうちユーザからの距離が最も近い対象建物であり、２番目に近い建物は全ての対象建物のうちユーザからの距離が２番目に近い対象建物である。第１遮蔽関連状況は、２番目に近い建物が最も近い建物で遮蔽されていないこと、２番目に近い建物が最も近い建物で部分的に遮蔽されて２番目に近い建物の最も近い建物で遮蔽されていない部分が最も近い建物の片側に位置すること、２番目に近い建物が最も近い建物で部分的に遮蔽されて２番目に近い建物の最も近い建物で遮蔽されていない部分が最も近い建物の両側に配置されることであってもよい。

【0044】

最も近い建物の投影線分と２番目に近い建物の投影線分とが同一水平線にある場合に、２番目に近い建物の投影線分と最も近い建物の投影線分とは同じサブ線分がない場合に、２番目に近い建物が最も近い建物で遮蔽されていない。最も近い建物の投影線分と２番目に近い建物の投影線分とが同一水平線にある場合に、２番目に近い建物の投影線分上の最も近い建物の投影線分に属しないサブ線分が最も近い建物の投影線分の片側、即ち左側又は右側に位置する場合に、２番目に近い建物が最も近い建物で部分的に遮蔽されて２番目に近い建物の最も近い建物で遮蔽されていない部分が最も近い建物の片側に位置する。最も近い建物の投影線分と２番目に近い建物の投影線分とが同一水平線にある場合に、最も近い建物の投影線分の両側に２番目に近い建物の投影線分上の最も近い建物の投影線分に属しないサブ線分を有する場合に、２番目に近い建物が最も近い建物で部分的に遮蔽されて２番目に近い建物の最も近い建物で遮蔽されていない部分が最も近い建物の両側に配置される。

【0045】

第１遮蔽関連状況は、最も近い建物が２番目に近い建物で遮蔽されていないことである場合に、２番目に近い建物の投影線分の中心点の横座標を、２番目に近い建物のアノテーション情報における吹き出しの中心点の横座標とし、同時に、最も近い建物の投影線分の中心点の横座標を、最も近い建物のアノテーション情報における吹き出しの中心点の横座標とすることができる。

【0046】

第１遮蔽関連状況は、２番目に近い建物が最も近い建物で部分的に遮蔽されて遮蔽されていない部分が２番目に近い建物の片側にあるか又は最も近い建物が２番目に近い建物で部分的に遮蔽されて遮蔽されていない部分が最も近い建物の両側に配置されることである場合に、２番目に近い建物の投影線分と最も近い建物の投影線分とが同一水平線にある場合に、２番目に近い建物の投影線分上の、最も近い建物の投影線分に属しないサブ線分の中心点を２番目に近い建物のアノテーション情報における吹き出しの中心点とすることができる。同時に、最も近い建物の投影線分の中心点の横座標を、最も近い建物のアノテーション情報における吹き出しの中心点の横座標とする。

【0047】

２番目に近い建物及び最も近い建物のアノテーション情報における吹き出しの中心点の横座標が決定された後に、２番目に近い建物及び最も近い建物のアノテーション情報における吹き出しの中心点の縦座標を決定することができ、２番目に近い建物及び最も近い建物のアノテーション情報における吹き出しの中心点の縦座標は、垂直方向において２番目に近い建物のアノテーション情報における吹き出しと、最も近い建物のアノテーション情報における吹き出しとが重ならないようにすることができる。最も近い建物及び２番目に近い建物のアノテーション情報における吹き出しの中心点の横座標及び縦座標が決定された後に、最も近い建物及び２番目に近い建物のアノテーション情報における吹き出しの中心点の位置を同時に決定することができ、従って、最も近い建物及び２番目に近い建物のアノテーション情報における吹き出しのユーザの端末で撮影された画像に占める領域を決定することができ、即ち最も近い建物及び２番目に近い建物のアノテーション情報のユーザの端末で撮影された画像における重畳領域を決定することができる。

【0048】

対象建物のうち最も近い建物及び２番目に近い建物を除く対象建物毎に対して、それぞれ対象建物と対象建物の前にある対象建物との間の第２遮蔽関連状況に基づいて、対象建物のアノテーション情報のユーザの端末で取り込まれた画像における重畳領域を決定し、即ち対象建物のアノテーション情報における吹き出しのユーザの端末で取り込まれた画像に占める領域を決定する。最も近い建物及び２番目に近い建物を除く対象建物の前にある対象建物とは、ユーザからの距離が該対象建物のユーザからの距離よりも小さい、最も近い建物及び２番目に近い建物を除くその他の対象建物のうち、ユーザからの距離が最も大きい対象建物のことを指す。

【0049】

最も近い建物及び２番目に近い建物を除く対象建物とその前の対象建物との第２遮蔽関連状況は、該対象建物がその前の対象建物で遮蔽されていないこと、該対象建物がその前の対象建物で部分的に遮蔽されて該対象建物の、その前の対象建物で遮蔽されていない部分がその前の対象建物の片側に位置すること、該対象建物がその前の対象建物で部分的に遮蔽されて該対象建物の、その前の対象建物で遮蔽されていない部分がその前の対象建物の両側に配置されることであってもよい。

【0050】

最も近い建物及び２番目に近い建物を除く対象建物のそれぞれに対して、ユーザからの距離の近い順に基づいて、対象建物毎のアノテーション情報における吹き出しの中心点の位置を順次決定する。

【0051】

最も近い建物及び２番目に近い建物を除く対象建物のアノテーション情報における吹き出しの中心点の位置を決定する場合に、該対象建物の前にある対象建物のアノテーション情報における吹き出しの中心点の位置が既に決定され、決定後の前にある建物のアノテーション情報における吹き出しの中心点がそのままに保持される。該対象建物とその前の対象建物との第２遮蔽関連状況は、該対象建物が該その前の建物で遮蔽されていないことである場合に、該対象建物の投影線分の中心点の横座標を、該対象建物のアノテーション情報における吹き出しの中心点の横座標とすることができる。該対象建物とその前の対象建物との第２遮蔽関連状況は、該対象建物が該その前の対象建物で部分的に遮蔽されて、遮蔽されていない部分が該その前の対象建物の片側にあるか又は該その前の対象建物の両側に配置されることである場合に、該対象建物と該その前の対象建物とが同一水平線にある場合において、該対象建物上の該その前の対象建物の投影線分に属しないサブ線分の中心点を、該対象建物のアノテーション情報における吹き出しの中心点とすることができる。該対象建物のアノテーション情報における吹き出しの中心点の横座標が決定された後に、該対象建物のアノテーション情報における吹き出しの中心点の縦座標を決定することができる。該対象建物のアノテーション情報における吹き出しの中心点の縦座標は、垂直方向において該対象建物のアノテーション情報における吹き出しと該その前の対象建物のアノテーション情報における吹き出しとが重ならないようにすることができる。

【0052】

本実施例のいくつかの任意選択実施形態において、最も近い建物と２番目に近い建物との間の第１遮蔽関連状況は、最も近い建物が２番目に近い建物で遮蔽されていないか又は最も近い建物が２番目に近い建物で部分的に遮蔽されて、遮蔽されていない部分が最も近い建物の両側に配置されることである場合に、２番目に近い建物の投影線分の中心点の横座標を２番目に近い建物のアノテーション情報における吹き出しの中心点の横座標とし、同時に、最も近い建物の投影線分の中心点の横座標を最も近い建物のアノテーション情報における吹き出しの中心点の横座標とすることができる。

【0053】

最も近い建物と２番目に近い建物との間の第１遮蔽関連状況は、２番目に近い建物が最も近い建物で部分的に遮蔽されて、遮蔽されていない部分が２番目に近い建物の片側にあることである場合に、２番目に近い建物の投影線分と最も近い建物の投影線分とが同一水平線にある場合において、最も近い建物で遮蔽されていない部分に対応するサブ線分即ち２番目に近い建物の投影線分上の最も近い建物の投影線分に属しないサブ線分の中心点を、２番目に近い建物のアノテーション情報における吹き出しの中心点とすることができる。同時に、最も近い建物の投影線分の中心点の横座標を、最も近い建物のアノテーション情報における吹き出しの中心点の横座標とする。

【0054】

本実施例のいくつかの任意選択実施形態において、対象建物毎のアノテーション情報の前記画像における重畳領域の中心点の縦座標が決定された場合に、ユーザからの距離に基づいて全ての対象建物を順序付けし、順序付け後の対象建物毎の順序に基づいて、対象建物毎のアノテーション情報のユーザの端末で取り込まれた画像における重畳領域の中心点の縦座標を決定し、即ち対象建物毎のアノテーション情報における吹き出しを決定することができる。

【0055】

ユーザからの距離が近い順で対象建物を順序付けすることができ、対象建物の順序が遠いほど、縦座標の数値が大きい。言い換えれば、対象建物の順序が遠いほど、該対象建物のアノテーション情報における吹き出しのユーザの端末の画面における位置が高い。対象建物毎のアノテーション情報のユーザの端末で取り込まれた画像における重畳領域の中心点の縦座標は、いずれか２つの対象建物のアノテーション情報における吹き出しが垂直方向において重ならないようにすることができる。

【0056】

建物の輪郭、建物の他の特徴などに応じて、ユーザの端末で取り込まれた画像における各対象建物の画像における高さをおおざっぱに決定することができ、さらに対象建物のアノテーション情報における吹き出しの縦座標の最大値を決定することができ、決定された対象建物のアノテーション情報における吹き出しの中心点の縦座標が、縦座標の最大値よりも小さくすべきである。言い換えれば、決定された対象建物のアノテーション情報における吹き出しの中心点の縦座標が縦座標の最大値よりも大きい場合に、対象建物のアノテーション情報における吹き出しの部分が画像において対象建物の画像における最高高さを超える可能性がある。

【0057】

ステップ２０４において、対象建物のアノテーション情報を重畳領域に重畳して、拡張現実画像を得る。

【0058】

本実施例において、対象建物毎のユーザの端末で取り込まれた画像における重畳領域が決定された後、即ち対象建物毎のアノテーション情報における吹き出しのユーザの端末で取り込まれた画像に占める領域が決定された後に、対象建物のアノテーション情報を、決定された重畳領域に重畳することができる。言い換えれば、対象建物毎のアノテーション情報における吹き出しを、決定された吹き出しのユーザの端末で取り込まれた画像に占める領域に設定する。対象建物毎の少なくとも一部がユーザの端末で取り込まれた画像内に位置し、対象建物毎の吹き出しの少なくとも一部がユーザの端末で取り込まれた画像における所属する対象建物のある領域にある。従って、ユーザの端末で取り込まれた画像には対象建物毎のアノテーション情報における吹き出し内に位置する対象建物の名称及び対象建物のユーザからの距離が含まれ、拡張現実画像が得られる。いずれか２つの対象建物のアノテーション情報における吹き出しが水平方向に重ならなく、いずれか２つの対象建物のアノテーション情報における吹き出しが垂直方向に重ならないことが決定されたため、従って、ユーザに表示する際に、拡張現実画像におけるいずれか２つの対象建物の吹き出し内に位置する対象建物の名称及び対象建物のユーザからの距離も重なることはない。

【0059】

図３を参照すると、上記の各図面に示された方法の実施態様として、本発明は、装置の一実施例を提供し、該装置の実施例は、図２に示された方法の実施例に対応している。

【0060】

図３に示すように、本実施例の装置は、取得ユニット３０１と、生成ユニット３０２と、決定ユニット３０３と、表示ユニット３０４とを備える。取得ユニット３０１は予め設定された選択条件を満たす複数の建物の輪郭データを取得するように配置され、前記輪郭データが建物の三次元空間における輪郭を記述するために用いられ、生成ユニット３０２は複数の建物のそれぞれの投影線分に基づいて、参照情報を生成するように配置され、建物の投影線分が建物の三次元空間における輪郭をユーザの端末の画面の所在平面にマッピングすることによって得られ、参照情報は、水平方向において複数の建物のうち建物の間に遮蔽が存在するか否か及び遮蔽が存在する場合の遮蔽状況を記述するために用いられ、決定ユニット３０３は参照情報に基づいて、複数の建物のうち対象建物と、対象建物のアノテーション情報のユーザの端末で取り込まれた画像における重畳領域とを決定するように配置され、表示ユニット３０４は対象建物のアノテーション情報を、決定された重畳領域に重畳して、拡張現実画像を得るように配置される。

【0061】

本実施例のいくつかの任意選択実施形態において、決定ユニットは第１対象建物・重畳領域決定サブユニットを備え、該第１対象建物・重畳領域決定サブユニットは、参照情報が水平方向において複数の建物のうちユーザからの距離が最も近い建物が他の全ての建物を完全遮蔽することを示す指示情報を備える場合に、複数の建物のうちユーザからの距離が最も近い建物を対象建物とし、前記ユーザからの距離が最も近い建物の投影線分の中心点に基づいて、前記ユーザからの距離が最も近い建物の前記画像における重畳領域の中心点を決定するように配置される。

【0062】

本実施例のいくつかの任意選択実施形態において、決定ユニットは第２対象建物・重畳領域決定サブユニットを備え、該第２対象建物・重畳領域決定サブユニットは、参照情報が水平方向において複数の建物のうち少なくとも１つの建物で完全遮蔽される建物のタグと、建物のいずれかで完全遮蔽されていない建物のタグとを備える場合に、水平方向に建物のいずれかで完全遮蔽されていない建物を対象建物に決定し、最も近い建物と２番目に近い建物との間の第１遮蔽関連状況に基づいて、最も近い建物のアノテーション情報の前記画像における重畳領域と、２番目に近い建物のアノテーション情報の前記画像における重畳領域とを決定し、ここでは最も近い建物は全ての対象建物のうちユーザからの距離が最も近い対象建物であり、２番目に近い建物は全ての対象建物のうちユーザからの距離が２番目に近い対象建物であり、全ての対象建物のうち最も近い建物及び２番目に近い建物を除く対象建物のそれぞれに対して、対象建物と前記対象建物の前にある対象建物との間の第２遮蔽関連状況に基づいて、前記対象建物のアノテーション情報の前記画像における重畳領域を決定するように配置される。

【0063】

本実施例のいくつかの任意選択実施形態において、第２対象建物・重畳領域決定サブユニットは、さらに、最も近い建物の投影線分の中心点の横座標を、最も近い建物のアノテーション情報の前記画像における重畳領域の中心点の横座標とし、第１遮蔽関連状況が予め設定された遮蔽関連状況である場合に、２番目に近い建物の投影線分の、最も近い建物で遮蔽されていない部分に対応するサブ線分の中心点の横座標を、２番目に近い建物のアノテーション情報の前記画像における重畳領域の中心点の横座標とし、予め設定された遮蔽関連状況は、２番目に近い建物が最も近い建物で部分的に遮蔽されて、２番目に近い建物の最も近い建物で遮蔽されていない部分が最も近い建物の片側に位置することを備え、第１遮蔽関連状況が予め設定された遮蔽関連状況ではない場合に、２番目に近い建物の投影線分の中心点の横座標を、２番目に近い建物のアノテーション情報の前記画像における重畳領域の中心点の横座標とするように配置される。

【0064】

本実施例のいくつかの任意選択実施形態において、拡張現実装置は、ユーザからの距離によって全ての対象建物を順序付けし、順序付け後の対象建物それぞれの順序に基づいて、対象建物毎のアノテーション情報の前記画像における重畳領域の中心点の縦座標を決定するように配置される縦座標決定ユニットをさらに備える。

【0065】

図４は、本発明の実施例を実現するためのサーバに適用されるコンピュータシステムを示す構造概略図である。

【0066】

図４に示すように、コンピュータシステムは、読み出し専用メモリ（ＲＯＭ）４０２に格納されているプログラム又は記憶部４０８からランダムアクセスメモリ（ＲＡＭ）４０３にロードされたプログラムによって様々で、適当な動作及び処理を実行することができる中央処理装置（ＣＰＵ）４０１を備える。ＲＡＭ４０３には、コンピュータシステムの操作に必要な様々なプログラム及びデータがさらに格納されている。ＣＰＵ４０１、ＲＯＭ４０２及びＲＡＭ４０３がバス４０４を介して互いに接続されている。入力／出力（Ｉ／Ｏ）インターフェース４０５もバス４０４に接続されている。

【0067】

入力部４０６、出力部４０７、ハードディスクなどを備える記憶部４０８、並びにＬＡＮカード、モデムなどを備えるネットワークインターフェースカードの通信部４０９は、Ｉ／Ｏインターフェース４０５に接続されている。通信部４０９は、例えばインターネットのようなネットワークを介して通信処理を実行する。ドライバ４１０も必要に応じてＩ／Ｏインターフェース４０５に接続されている。リムーバブルメディア４１１は、例えば、マグネチックディスク、光ディスク、光磁気ディスク、半導体メモリなどが挙げられ、必要に応じてドライバ４１０に取り付けられることによって、リムーバブルメディアから読み出されたコンピュータプログラムが所望により記憶部４０８にインストールされる。

【0068】

特に、本発明の実施例に記載されたプロセスは、コンピュータプログラムとして実現されてもよい。例えば、本発明の実施例は、コンピュータ可読媒体に担持されるコンピュータプログラムを備えるコンピュータプログラム製品を備え、該コンピュータプログラムは、フローチャートで示される方法を実行するための命令を備える。該コンピュータプログラムは、通信部４０９を介してネットワークからダウンロードされてインストールされてもよく、及び／又はリムーバブルメディア４１１からインストールされてもよい。該コンピュータプログラムが中央処理装置（ＣＰＵ）４０１によって実行される場合に、本発明の方法で限定された上記の機能を実行する。

【0069】

本発明はさらに、端末を提供しており、該端末には、１つ又は複数のプロセッサと、前記実施例に記載された操作を実行するための命令が含まれる１つ又は複数のプログラムを格納するためのメモリとが配置されてもよい。１つ又は複数のプログラムが１つ又は複数のプロセッサで実行される場合に、１つ又は複数のプロセッサが上記の実施例に記載された操作を実行する。

【0070】

本発明はさらに、コンピュータ可読媒体を提供しており、該コンピュータ可読媒体は、端末に含まれるものであってもよく、独立に存在して端末に組み立てられていないものであってもよい。前記コンピュータ可読媒体には１つ又は複数のプログラムが担持され、１つ又は複数のプログラムがサーバで実行される場合に、端末は、予め設定された選択条件を満たす複数の建物の輪郭データを取得し、前記輪郭データが建物の三次元空間における輪郭を記述するために用いられ、複数の建物のそれぞれの投影線分に基づいて、参照情報を生成し、建物の投影線分が建物の三次元空間における輪郭をユーザの端末の画面の所在平面にマッピングすることによって得られ、参照情報は、水平方向において複数の建物のそれぞれの間に遮蔽が存在するか否か及び遮蔽が存在する場合の遮蔽状況を記述するために用いられ、参照情報に基づいて、複数の建物のうち対象建物と、対象建物のアノテーション情報のユーザの端末で取り込まれた画像における重畳領域とを決定し、対象建物のアノテーション情報を、決定された重畳領域に重畳して、拡張現実画像を得る。

【0071】

注意すべきなのは、本発明に記載したコンピュータ可読媒体は、コンピュータ可読信号媒体又はコンピュータ可読記憶媒体、又はこれらの任意の組み合わせであってもよい。コンピュータ可読記憶媒体は、例えば、電子、磁気、光学、電磁気、赤外線、又は半導体のシステム、装置若しくはデバイス、又はこれらの任意の組み合わせを含むことができるが、これらに限定されない。コンピュータ可読記憶媒体のより具体的な例としては、１本又は複数の導線を有する電気的接続、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能プログラマブル読み出し専用メモリ（ＥＰＲＯＭ若しくはフラッシュメモリ）、光ファイバ、ポータブルコンパクトディスク読み出し専用メモリ（ＣＤ−ＲＯＭ）、光メモリ、磁気メモリ、又はこれらの任意の適切な組み合わせを含むことができるが、これらに限定されない。本発明において、コンピュータ可読記憶媒体は、命令実行システム、装置若しくはデバイスで使用可能な、又はそれらに組み込まれて使用可能なプログラムを包含又は格納する任意の有形の媒体であってもよい。本発明において、コンピュータ可読信号媒体は、ベースバンド内で、又はキャリアの一部として伝送される、コンピュータ可読プログラムコードが担持されたデータ信号を含んでもよい。このような伝送されたデータ信号は、様々な形態をとることができ、電磁信号、光信号、又はこれらの任意の適切な組み合わせを含むことができるが、これらに限定されない。コンピュータ可読信号媒体は、さらにコンピュータ可読記憶媒体以外の任意のコンピュータ可読媒体であってもよい。該コンピュータ可読媒体は、命令実行システム、装置若しくはデバイスによって使用されるか、又はそれらに組み込まれて使用されるプログラムを、送信、伝送又は転送することができる。コンピュータ可読媒体に含まれるプログラムコードは任意の適切な媒体で伝送することができ、無線、有線、光ケーブル、ＲＦなど、又はこれらの任意の適切な組み合わせを含むが、これらに限定されない。

【0072】

図面におけるフローチャート及びブロック図は、本発明の各実施例に係るシステム、方法及びコンピュータプログラム製品により実現可能なシステムアーキテクチャ、機能及び操作を示す。ここで、フローチャート又はブロック図における各ブロックは、モジュール、プログラムセグメント若しくはコードの一部を表してもよく、該モジュール、プログラムセグメント、又はコードの一部は、規定されたロジック機能を達成するための１つ以上の実行可能な命令を含む。なお、いくつかの代替実施態様において、ブロック内に示された機能は、図面に示された順番とは異なるもので実行されてもよい。例えば、連続して示された２つのブロックは、実際には関連する機能に応じて、ほぼ並行に実行されてもよく、逆の順番で実行されてもよい。なお、ブロック図及び／又はフローチャートにおける各ブロック、並びに、ブロック図及び／又はフローチャートにおけるブロックの組み合わせは、規定された機能若しくは操作を実行する、ハードウェアに基づく専用システムで実現されてもよいか、又は専用ハードウェアとコンピュータ命令との組み合わせで実行されてもよい。

【0073】

以上の記載は、本発明の好ましい実施例、及び使用される技術的原理に関する説明に過ぎない。本発明に係る発明の範囲が、上記の技術的特徴の特定の組み合わせからなる技術案に限定されるものではなく、上記の本発明の趣旨を逸脱しない範囲で、上記の技術的特徴又はそれらの同等の特徴を任意に組み合わせてなる他の技術案も含むべきであることを、当業者に理解されたい。例えば、上記の特徴と、本発明に開示された類似の機能を持っている技術的特徴（これらに限定されていない）とを互いに置き換えてなる技術案が挙げられる。

【図1】

【図2】

【図3】

【図4】