特許 7082175 仮想物体を表示する端末装置とサーバ装置とを含むシステム及び該サーバ装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-05-30

(45)【発行日】2022-06-07

(54)【発明の名称】仮想物体を表示する端末装置とサーバ装置とを含むシステム及び該サーバ装置

(51)【国際特許分類】

   H04L 67/00 20220101AFI20220531BHJP

   G06F 3/01 20060101ALI20220531BHJP

【ＦＩ】

H04L67/00

G06F3/01 510

【請求項の数】 7

(21)【出願番号】P 2020211541

(22)【出願日】2020-12-21

(62)【分割の表示】P 2019107433の分割

【原出願日】2017-03-27

(65)【公開番号】P2021051789

(43)【公開日】2021-04-01

【審査請求日】2020-12-21

【早期審査対象出願】

(73)【特許権者】

【識別番号】000208891

【氏名又は名称】ＫＤＤＩ株式会社

(74)【代理人】

【識別番号】110003281

【氏名又は名称】特許業務法人大塚国際特許事務所

(74)【代理人】

【識別番号】100076428

【弁理士】

【氏名又は名称】大塚 康徳

(74)【代理人】

【識別番号】100115071

【弁理士】

【氏名又は名称】大塚 康弘

(74)【代理人】

【識別番号】100112508

【弁理士】

【氏名又は名称】高柳 司郎

(74)【代理人】

【識別番号】100116894

【弁理士】

【氏名又は名称】木村 秀二

(74)【代理人】

【識別番号】100130409

【弁理士】

【氏名又は名称】下山 治

(74)【代理人】

【識別番号】100134175

【弁理士】

【氏名又は名称】永川 行光

(74)【代理人】

【識別番号】100131886

【弁理士】

【氏名又は名称】坂本 隆志

(74)【代理人】

【識別番号】100170667

【弁理士】

【氏名又は名称】前田 浩次

(72)【発明者】

【氏名】横田 健治

(72)【発明者】

【氏名】水田 修

(72)【発明者】

【氏名】伊藤 義浩

(72)【発明者】

【氏名】大川 祥一

(72)【発明者】

【氏名】増崎 和彦

(72)【発明者】

【氏名】山崎 あかり

【審査官】岩田 玲彦

(56)【参考文献】

【文献】特開２０１３－１６４６９６（ＪＰ，Ａ）

【文献】特開２０１１－２３３００５（ＪＰ，Ａ）

【文献】特開２０１４－１７４６４３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｌ ６７／００

Ｇ０６Ｆ ３／０１

(57)【特許請求の範囲】

【請求項1】

第１仮想物体を第１撮像手段により撮像した第１撮像画像に重畳させて第１ディスプレイに表示することができる第１端末装置と、第２仮想物体を第２撮像手段により撮像した第２撮像画像に重畳させて第２ディスプレイに表示することができる第２端末装置と、を含む複数の端末装置と、
前記複数の端末装置のそれぞれと無線ネットワークを介して通信できるサーバ装置と、
を含むシステムであって、
前記第２端末装置は、実空間上の第２位置を示す第２位置情報と、前記第２端末装置が属する端末装置のグループを特定する情報と、を前記サーバ装置に送信し、
前記サーバ装置は、前記第２端末装置と同じグループに属する前記第１端末装置から受信する第１位置情報が示す第１位置と前記第２位置との距離が所定値以内である場合、前記第２端末装置と同じグループに属する前記第１端末装置に前記第２仮想物体を示す仮想物体情報及び前記第２位置情報を送信し、
前記第２端末装置と同じグループに属する前記第１端末装置は、前記サーバ装置から前記仮想物体情報及び前記第２位置情報を受信すると、受信した前記第２位置情報が示す前記実空間上の前記第２位置に前記第２仮想物体が存在している様に、前記第２仮想物体を前記第１撮像画像に重畳させて前記第１ディスプレイに表示することを特徴とするシステム。

【請求項2】

前記第２端末装置と同じグループに属する前記第１端末装置は、前記サーバ装置から前記仮想物体情報及び前記第２位置情報を受信した場合において、受信した前記第２位置情報が示す前記第２位置と前記第１位置との距離が閾値よりも大きい場合、前記第１撮像画像内に含まれる前記実空間上の第３位置であって、前記第１位置との距離が前記閾値以下である前記第３位置に前記第２仮想物体が存在している様に、前記第２仮想物体を前記第１撮像画像に重畳させて前記第１ディスプレイに表示することを特徴とする請求項１に記載のシステム。

【請求項3】

前記サーバ装置は、前記第２端末装置から受信する前記第２位置情報が示す前記第２位置と、前記仮想物体情報及び前記第２位置情報を送信した前記第１端末装置から受信する第１位置情報が示す第１位置との距離が前記所定値を超えると、当該第１端末装置に対し、前記第２仮想物体を前記第１撮像画像に重畳させて前記第１ディスプレイに表示することを停止させるための通知を行うことを特徴とする請求項１又は２に記載のシステム。

【請求項4】

前記サーバ装置は、前記仮想物体情報を前記第２端末装置から受信することを特徴とする請求項１から３のいずれか１項に記載のシステム。

【請求項5】

第１仮想物体を第１撮像手段により撮像した第１撮像画像に重畳させて第１ディスプレイに表示することができる第１端末装置と、第２仮想物体を第２撮像手段により撮像した第２撮像画像に重畳させて第２ディスプレイに表示することができる第２端末装置と、を含む複数の端末装置と、
前記複数の端末装置のそれぞれと無線ネットワークを介して通信できるサーバ装置と、を含むシステムの前記サーバ装置であって、
前記第２端末装置から、実空間上の第２位置を示す第２位置情報と、前記第２端末装置が属する端末装置のグループを特定する情報と、を受信する受信手段と、
前記第２端末装置と同じグループに属する前記第１端末装置から受信する第１位置情報が示す第１位置と前記第２位置との距離が所定値以内である場合、前記第２端末装置と同じグループに属する前記第１端末装置が前記実空間上の前記第２位置に前記第２仮想物体が存在している様に、前記第２仮想物体を前記第１撮像画像に重畳させて前記第１ディスプレイに表示する様に、前記第２仮想物体を示す仮想物体情報及び前記第２位置情報を前記第２端末装置と同じグループに属する前記第１端末装置に送信する送信手段と、
を備えていることを特徴とするサーバ装置。

【請求項6】

前記第２端末装置から受信する前記第２位置情報が示す前記第２位置と、前記仮想物体情報及び前記第２位置情報を送信した前記第１端末装置から受信する第１位置情報が示す第１位置との距離が前記所定値を超えると、前記送信手段は、当該第１端末装置に対して、前記第２端末装置から受信する前記第２位置情報が示す前記第２位置と前記第１位置との距離が前記所定値を超えたことを通知することを特徴とする請求項５に記載のサーバ装置。

【請求項7】

前記受信手段は、前記仮想物体情報を前記第２端末装置から受信することを特徴とする請求項５又は６に記載のサーバ装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、携帯型の端末装置に仮想物体を表示させる技術に関する。

【背景技術】

【0002】

非特許文献１は、端末装置の撮像部、加速度センサ及びジャイロセンサにより場所記述情報を生成し、生成した場所記述情報により、現実には存在しない仮想物体があたかも存在しているかの様に、撮像部が撮像している撮像画像に仮想物体を重畳させてディスプレイに表示する技術を開示している。

【0003】

まず、非特許文献１に記載の場所記述情報の生成について簡単に説明する。場所記述情報とは、撮像部が撮像している画像から撮像部の３次元空間位置と撮像部による撮像方向とを判定できる情報である。端末装置のユーザは、場所記述情報の取得を開始すると、撮像部により画像を撮像しながら、撮像位置や、撮像方向を変化させる。端末装置は、場所記述情報の取得の間、その開始時の撮像部の位置を原点とし、加速度センサ及びジャイロセンサにより測定した加速度情報及び角速度情報に基づき、撮像部による撮像位置及び撮像方向を判定し続ける。また、端末装置は、撮像部が撮像している画像内の特徴点を求める。このとき、端末装置は、３次元空間における撮像位置及び撮像方向と、画像内の同じ特徴点の位置、つまり、特徴点のスクリーン座標を判定する。これにより、端末装置は、３次元空間内の各撮像位置及び各撮像方向において、撮像部が撮像している画像内のどの位置に各特徴点が見えるかを示す場所記述情報を生成する。よって、端末装置は、既に生成した場所記述情報と、撮像部が撮像している画像の特徴点とを比較することで、そのときの撮像部の撮像位置と撮像方向を判定することができる。なお、３次元空間の原点は、場所記述情報を開始したときの位置である。また、端末装置は、既に保存している場所記述情報と、撮像部が撮像している画像の特徴点との比較により撮像位置及び撮像方向を判定すると同時に、撮像部が撮像している画像の特徴点に基づき当該既に保存している場所記述情報の更新も行う。

【先行技術文献】

【非特許文献】

【0004】

【文献】Ｔａｎｇｏ、［ｏｎｌｉｎｅ］、［平成２９年１月１０日検索］、インターネット、＜ＵＲＬ：ｈｔｔｐｓ：／／ｇｅｔ．ｇｏｏｇｌｅ．ｃｏｍ／ｔａｎｇｏ／＞

【発明の概要】

【発明が解決しようとする課題】

【0005】

非特許文献１に記載の技術により各ユーザは、それぞれ独自の仮想物体を端末装置のディスプレイに表示することができる。しかしながら、各ユーザが、その端末装置に独自の仮想物体を表示できるのみで、あるユーザが、当該ユーザの第１端末装置に表示している第１仮想物体と共に、他のユーザが、当該他のユーザの第２端末装置に表示している第２仮想物体を第１端末装置に表示することはできない。

【0006】

本発明は、端末装置のディスプレイに他の端末装置がディスプレイに表示する仮想物体も表示できる仕組みを提供するものである。

【課題を解決するための手段】

【0007】

本発明の一態様によると、システムは、第１仮想物体を第１撮像手段により撮像した第１撮像画像に重畳させて第１ディスプレイに表示することができる第１端末装置と、第２仮想物体を第２撮像手段により撮像した第２撮像画像に重畳させて第２ディスプレイに表示することができる第２端末装置と、を含む複数の端末装置と、前記複数の端末装置のそれぞれと無線ネットワークを介して通信できるサーバ装置と、を含み、前記第２端末装置は、実空間上の第２位置を示す第２位置情報と、前記第２端末装置が属する端末装置のグループを特定する情報と、を前記サーバ装置に送信し、前記サーバ装置は、前記第２端末装置と同じグループに属する前記第１端末装置から受信する第１位置情報が示す第１位置と前記第２位置との距離が所定値以内である場合、前記第２端末装置と同じグループに属する前記第１端末装置に前記第２仮想物体を示す仮想物体情報及び前記第２位置情報を送信し、前記第２端末装置と同じグループに属する前記第１端末装置は、前記サーバ装置から前記仮想物体情報及び前記第２位置情報を受信すると、受信した前記第２位置情報が示す前記実空間上の前記第２位置に前記第２仮想物体が存在している様に、前記第２仮想物体を前記第１撮像画像に重畳させて前記第１ディスプレイに表示することを特徴とする。

【発明の効果】

【0008】

本発明によると、端末装置のディスプレイに他の端末装置がディスプレイに表示する仮想物体も表示することができる。

【図面の簡単な説明】

【0009】

【図1】一実施形態によるシステム構成図。

【図2】一実施形態による端末装置の位置及び仮想物体の配置位置を示す図。

【図3】一実施形態によるシーケンス図。

【図4】一実施形態による端末装置の位置及び仮想物体の配置位置を示す図。

【図5】一実施形態による端末装置のディスプレイに表示される画像を示す図。

【図6】一実施形態による端末装置によるディスプレイへの表示処理の説明図。

【図7】一実施形態による端末装置によるディスプレイへの表示処理の説明図。

【図8】一実施形態による端末装置の構成図。

【図9】一実施形態による制御部のブロック図。

【発明を実施するための形態】

【0010】

以下、本発明の例示的な実施形態について図面を参照して説明する。なお、以下の実施形態は例示であり、本発明を実施形態の内容に限定するものではない。また、以下の各図においては、実施形態の説明に必要ではない構成要素については図から省略する。

【0011】

図１は、本実施形態によるシステムの構成図である。端末装置１０及び２０は、例えば、スマートフォンやタブレット等の無線通信機能を有する携帯型の通信装置であり、ネットワーク５０を介してサーバ装置６０と通信することができる。ネットワーク５０は、所謂、移動通信ネットワークや無線ＬＡＮ等の無線ネットワークを含み、さらには、インターネット等の広域ネットワークを含むことができる。端末装置１０は、第１場所記述情報と、第１仮想物体情報と、第１配置情報と、を保持している。第１場所記述情報は、端末装置１０が非特許文献１に記載の技術により生成した場所記述情報である。ただし、その座標系は、緯度、経度及び高度により示される座標系（以後、実座標系と呼ぶ。）となっている。これは、端末装置１０が第１場所記述情報の取得を開始したときの位置及び方向を、それぞれ、そのときに端末装置１０が測位システムにより取得している端末装置１０の実空間位置（実座標系での位置）、及び、地磁気センサにより取得している方位とすることで行うことができる。第１仮想物体情報は、第１仮想物体を示す情報、つまり、第１仮想物体をディスプレイに表示するための情報である。第１仮想物体情報は、２次元の画像を示す情報であっても、第１仮想物体の３次元モデルを示す情報であっても良い。さらに、第１仮想物体の動きを記述するモーション情報を含むものとすることもできる。さらに、第１仮想物体の大きさを示す情報を含むものとすることができる。また、第１配置情報は、第１仮想物体の配置位置を特定するための情報であり、例えば、端末装置１０の実空間位置を基準とする、相対位置（例えば、相対距離及び相対方向）により示される。端末装置２０が保持する第２場所記述情報と、第２仮想物体を示す第２仮想物体情報と、第２仮想物体の配置位置を特定する第２配置情報についても同様である。

【0012】

ここで、図２に示す様に、端末装置１０が、位置３１に第１仮想物体が存在する様に、そのディスプレイに表示し、端末装置２０が、位置３２に第２仮想物体が存在する様に、そのディスプレイに表示している状態を考える。なお、図２の線５１は、端末装置１０が撮像部により撮像している範囲を示し、線５２は、端末装置２０が撮像部により撮像している範囲を示している。端末装置１０は、第１場所記述情報と撮像部が撮像している画像とに基づき、そのときの撮像位置及び撮像方向を判定できる。また、端末装置１０は、撮像部の光学特性に基づき、線５１で示す範囲と、線５１で示す範囲内の実空間位置とスクリーン座標系での位置（撮像部が撮像している画像の画素位置）との対応関係を判定できる。また、端末装置１０は、第１場所記述情報と撮像部が撮像している画像とに基づき判定した撮像位置及び撮像方向と、第１配置情報に基づき位置３１を特定できる。よって、端末装置１０は、位置３１に第１仮想物体が存在する様に、そのディスプレイに表示することができる。なお、端末装置１０は、撮像位置及び撮像方向と、第１配置情報に基づき位置３１を特定すると、その撮像位置及び撮像方向を変化させても位置３１は変化させない。つまり、第１配置情報は、第１仮想物体の初期配置位置を決める情報である。なお、第１配置情報を、第１仮想物体の配置位置を実座標で示す情報とすることもできる。端末装置２０についても同様である。従来技術では、このように、端末装置１０が、位置３１に第１仮想物体が存在する様にディスプレイに表示し、端末装置２０が、位置３２に第２仮想物体が存在する様にディスプレイに表示することはできるが、端末装置１０が、第１仮想物体及び第２仮想物体を、そのディスプレイに表示することができない。本発明は、端末装置１０が、第１仮想物体及び第２仮想物体を、そのディスプレイに表示することを可能にする。

【0013】

図３は、本実施形態によるシステムにおいて送受信される信号のシーケンス図である。Ｓ１で、端末装置２０は、第２仮想物体の実空間位置を示す第２位置情報と、第２仮想物体情報をサーバ装置６０に送信する。第２位置情報は、図２の位置３２を特定する情報であり、位置３２の実空間位置、つまり、実座標系における位置３２の座標を示す情報とすることができる。或いは、第２位置情報は、端末装置２０の実空間位置と、当該実空間位置から位置３２までの距離及び方向（方位）とを含む情報とすることができる。端末装置２０は、例えば、第２場所記述情報により求めた撮像画像の撮像位置及び撮像方向と、第２配置情報とにより第２位置情報を求めることができる。サーバ装置６０は、Ｓ２で、第２位置情報と、第２仮想物体情報を保存する。Ｓ３で、端末装置１０は、例えば、第１場所記述情報により取得した端末装置１０の（撮像部の）実空間位置を示す第１位置情報をサーバ装置６０に送信すると、サーバ装置６０は、Ｓ４で、第１位置情報が示す第１位置と第２位置情報が示す第２位置との距離が所定値以内であるか否かを判定する。そして、第１位置と第２位置との距離が所定値以内であると、サーバ装置６０は、Ｓ５で、端末装置１０に第２位置情報と、第２仮想物体情報を送信する。

【0014】

なお、Ｓ４で、第１位置情報が示す第１位置との距離が所定値以内である第２位置情報が存在しない場合、端末装置１０はＳ５で情報を受信しない。このため、例えば、端末装置１０は繰り返し第１位置情報をサーバ装置６０に送信することができる。この場合、サーバ装置６０は、定期的にＳ４で、第１位置との距離が所定値以内の第２位置があるかを判定する。また、サーバ装置６０は、第１位置が変更されると、Ｓ４での判定処理を行う構成とすることができる。また、端末装置１０は、第１位置が所定値以上変動すると、サーバ装置６０に第１位置情報を送信する構成とすることもできる。さらに、本実施形態は、１つの端末装置２０を例にしているが、端末装置２０は複数の場合もあり得る。この場合、サーバ装置６０は、Ｓ５である端末装置２０の第２位置情報及び第２仮想物体情報を端末装置１０に送信すると、その直前のＳ３で受信した第１位置情報が示す実空間位置を基準位置として保存しておく。そして、端末装置１０がサーバ装置６０に繰り返し送信する第１位置情報により示される第１位置が基準位置から所定距離以上離れると、サーバ装置６０は、当該第１位置との距離が所定値以内である第２位置情報が存在するかをＳ４で判定する構成とすることもできる。

【0015】

さらに、端末装置１０が、サーバ装置６０を介して第２位置情報及び第２仮想物体情報を取得できる端末装置２０を限定することもできる。たとえば、端末装置２０は、Ｓ１で、グループを特定する識別情報を合わせてサーバ装置６０に送信し、サーバ装置６０は、Ｓ２で、識別情報も保存する。同様に、端末装置１０は、Ｓ３でグループを特定する識別情報を合わせてサーバ装置６０に送信する。そして、サーバ装置６０は、保存している第２位置情報及び第２仮想物体情報に対応する識別情報と同じ識別情報に対応する第１位置情報を受信すると、Ｓ４で、同じ識別情報、つまり、同じグループに属する端末装置１０と端末装置２０の第１位置と第２位置とを比較する。この構成により、端末装置２０は、その第２仮想物体を表示することができる端末装置１０を制限することができる。同様に、端末装置１０は、周囲にいる総ての端末装置２０の第２仮想物体がそのディスプレイに表示されることを防ぐことができる。

【0016】

また、端末装置２０は、Ｓ１で、グループを特定する識別情報を合わせてサーバ装置６０に送信し、サーバ装置６０は、Ｓ２で、識別情報も保存するが、端末装置１０は、Ｓ３でグループを特定する識別情報を送信しない構成とすることもできる。この場合、サーバ装置６０は、Ｓ４で、グループに拘らず第１位置と第２位置との距離を判定するが、端末装置１０には、第２位置情報と第２仮想物体情報に加えて識別情報も送信する。これにより、端末装置１０は、識別情報に基づきディスプレイに表示する第２仮想物体を選択することができる。このため、例えば、端末装置１０のユーザは、ディスプレイに表示する第２仮想物体の識別情報を選択する。なお、グループを特定する識別子として、例えば、同じグループに属する端末装置の電話番号を列挙したものを使用することができる。或いは、グループを特定する識別子として、同じグループに属する端末装置のユーザ間で決めた任意の値を使用することができる。さらには、グループを特定する識別子として、第１仮想物体と第２仮想物体の共通性、例えば、第１仮想物体と第２仮想物体がそれぞれ漫画等の登場人物である場合、当該漫画の題名を示す情報を使用することができる。さらに、グループを特定する識別子として、ユーザの出身地や国籍等の情報を使用することができる。

【0017】

図３の処理により、端末装置１０は、第２仮想物体をディスプレイに表示するために必要な第２仮想物体情報と、第２仮想物体の配置位置を示す第２位置情報を取得し、これにより、第１仮想物体に加えて、第２仮想物体が第２位置に存在しているかのように、ディスプレイに表示することができる。図４は、端末装置１０が、位置３１に第１仮想物体が存在し、第２位置情報で示される位置３２に第１仮想物体が存在している様にディスプレイに表示していることを概念的に説明する図である。また、図５は、端末装置１０のディスプレイに表示されている画像の説明図である。なお、実際には、端末装置１０の撮像部が撮像している撮像画像も表示されるが、図の簡略化のため、図５では省略している。図５の右側が第１仮想物体であり、図５の左側が第２仮想物体である。例えば、第２仮想物体情報が、第２仮想物体の大きさを示す情報を含む場合、当該大きさを示す情報と、第２仮想物体までの距離に基づき、第２仮想物体の大きさを反映してディスプレイに表示することができる。

【0018】

しかしながら、端末装置２０が第２位置情報の判定に使用する第２場所記述情報の座標系は、端末装置２０がＧＰＳ等の測位システムにより取得した位置情報に基づくものであり誤差が含まれている。端末装置１０が判定する第１位置情報についても同様である。つまり、端末装置１０と端末装置２０それぞれの場所記述情報の座標系は、共に、実座標系に変換にされてはいるが、この変換に使用する測位システムの誤差により、その座標系で示される位置は完全には一致しない。したがって、端末装置１０に対する実際の第２位置が図６の位置３２であるとしても、端末装置１０の座標系において第２位置が位置３３の様になることが生じ得る。

【0019】

図６において、位置３３は、端末装置１０の撮像部による撮影範囲内であり、よって、端末装置１０が撮像する撮像画像内に含まれる位置である。しかしながら、位置３３と端末装置１０との距離はかなり離れている。この場合においても、端末装置１０は、位置３３に第２仮想物体があるものとしてディスプレイに表示しても良いが、第２仮想物体が小さくなりすぎる。このため、例えば、端末装置１０は、自身の第１位置と取得した第２位置との距離が閾値より大きいと、第２仮想物体を配置する第３位置を、第２位置から変更することができる。第３位置は、端末装置１０の撮像部による撮影範囲内であり、かつ、第１位置との距離が閾値以内の距離とすることができる。さらに、このとき、第３位置を、第１位置と第２位置とを結ぶ線５３上の位置から選択する構成とすることができる。図６は、端末装置１０の位置である第１位置と、第２仮想物体の位置として取得した第２位置（位置３３）とを結ぶ線５３上にあり、かつ、第１位置との距離が閾値以内である位置３４を第３位置として選択した状態を示している。この第３位置に第２仮想物体が存在する様に端末装置１０がディスプレイに第２仮想物体を表示することで、測位システムでの誤差等に基づく座標系のずれに拘らず、第２仮想物体を適切な大きさでディスプレイに表示することができる。

【0020】

なお、図７に示す様に、端末装置１０が取得する第２位置が、位置３３の様に、端末装置１０の撮像部による撮影範囲外である場合もある。この場合も、端末装置１０は、第２仮想物体を配置する第３位置を決定する。第３位置は、端末装置１０の撮像部による撮影範囲内であり、かつ、第１位置との距離が閾値以内の距離とすることができる。

【0021】

なお、本実施形態では、端末装置２０は、第２仮想物体を表示している位置を第２位置としてサーバ装置６０に送信した。しかしながら、上述した様に、測位システムで取得できる位置には誤差があるため、第２仮想物体を表示している位置に代えて、端末装置２０の実空間位置を第２位置としてサーバ装置６０に送信する構成とすることもできる。また、本実施形態において、端末装置１０は、第１場所記述情報と撮像画像に基づき自装置の位置を判定し、判定した位置を第１位置情報としてサーバ装置６０に送信していた。しかしながら、ＧＰＳ等の測位システムで取得した位置情報を第１位置情報としてサーバ装置６０に送信する構成であっても良い。端末装置２０が、自装置の位置を第２位置情報として送信する場合も同様である。

【0022】

また、端末装置２０は、図３のＳ１で、サーバ装置に第２位置情報と第２仮想物体情報を送信するが、これは、端末装置２０がディスプレイに第２仮想物体を表示しているときに行う構成とすることができる。また、端末装置２０は、第２位置情報及び第２仮想物体情報と共に、或いは、第２位置情報及び第２仮想物体情報とは別に、第２仮想物体をディスプレイに表示しているか否かを示す表示状態情報をサーバ装置６０に送信することもできる。この場合、サーバ装置６０は、第１位置と第２位置との距離が所定値以内であり、かつ、表示状態情報が、第２仮想物体をディスプレイに表示していると示している場合に、第２位置情報と、第２仮想物体情報を端末装置１０に送信する構成とすることもできる。また、端末装置２０は、表示状態情報を繰り返しサーバ装置６０に送信することができる。サーバ装置６０は、表示状態情報により、端末装置２０が第２仮想物体をディスプレイに表示している状態から、表示していない状態に変化すると、端末装置１０に、端末装置２０が第２仮想物体をディスプレイに表示していないことを通知する。そして、端末装置１０は、端末装置２０が第２仮想物体をディスプレイに表示していないとの通知を受けると、第２仮想物体のディスプレイへの表示を停止することができる。さらに、端末装置１０及び２０は、繰り返しサーバ装置６０に第１位置情報及び第２位置情報をそれぞれ送信し、サーバ装置６０は、第１位置情報が示す第１位置と第２位置情報が示す第２位置との距離を判定する構成とすることができる。この場合、サーバ装置６０は、第１位置と第２位置との距離が所定の距離を超えると、端末装置１０にその旨を通知し、端末装置１０は、第１位置と第２位置との距離が所定の距離を超えたとの通知をサーバ装置６０から受信すると、第２仮想物体のディスプレイへの表示を停止、或いは、第２仮想物体情報及び第２位置情報を削除することができる。

【0023】

また、本実施形態において、端末装置１０は、第２仮想物体の配置位置である第３位置を選択する。ここで、第３位置は、サーバ装置６０から受信した第２位置情報が示す第２位置であるか、第２位置に基づき端末装置１０が第２仮想物体の配置位置として選択した位置である。一方、端末装置１０は、端末装置１０の位置と、第１配置情報に基づき、第１仮想物体を配置する第４位置を決定する。端末装置１０は、第４位置に第１仮想物体が存在し、第３位置に第２仮想物体が存在しているかのように、撮像画像に第１仮想物体及び第２仮想物体を重畳させてディスプレイに表示する。ここで、第３位置と第４位置が近接している場合、第１仮想物体と第２仮想物体が部分的に同じ空間を占有する様な状態、つまり、干渉が生じ得る。この場合、端末装置１０は、第１仮想物体と第２仮想物体が干渉しない様に、第３位置又は第４位置を変更することができる。

【0024】

＜端末装置の構成＞
図８は、本実施形態による端末装置１０の構成図である。端末装置１０は、例えば、スマートフォンといった携帯型の通信装置である。スピーカ１０１は、制御部１００から出力する音声信号を音声に変換する。マイク１０２は、音声を音声信号に変換して制御部１００に出力する。撮像部１０３は、レンズ及びＣＣＤセンサを有し画像情報を取得して制御部１００に出力する。ＧＰＳ処理部１０４は、ＧＰＳ衛星からの信号を受信し、受信した信号に基づき、緯度、経度、高度を含む位置情報を制御部１００に出力する。なお、ＧＰＳ衛星ではなく、準天頂衛星の様な、他の測位システムの衛星からの信号に基づき位置情報を取得する構成であっても良い。ディスプレイ１０５は、本実施形態では、タッチセンシティブディスプレイであり、ユーザへの情報の提示に加え、ユーザ操作の入力部としても機能する。なお、ディスプレイがタッチセンシティブディスプレイではない場合、別に、入力部を設ける。深さセンサ１０６は、オブジェクトまでの距離（深さ）を測定して測定結果を深さ情報として制御部１００に出力する。通信部１０７は、ネットワーク５０を介する通信の通信処理を行う。地磁気センサ１０８は、地磁気を検出して端末の基準方向の現在の方位を示す方位情報を制御部１００に出力する。加速度センサ１０９は、加速度を検出して加速度情報を制御部１００に出力する。ジャイロセンサ１１０は、角速度を検出して角速度情報を制御部１００に出力する。

【0025】

制御部１００は、端末装置全体の制御部であり、１つ以上のプロセッサとメモリ部と、を備えている。なお、メモリ部は、プロセッサが一時的なデータの保存用として使用するＲＡＭや、プロセッサが実行するオペレーティングシステム及びアプリケーションと、電源断となっても保持すべきデータとが格納されるフラッシュメモリを有する。

【0026】

図９は、制御部１００の機能ブロック図である。場所記述情報生成部１００１は、例えば、加速度センサ１０９が検出する加速度情報と、ジャイロセンサ１１０が検出する角速度情報と、撮像部１０３が撮像する画像の画像情報とを使用して非特許文献１に記載された技術に基づき第１場所記述情報を生成する。なお、上述した様に、本実施形態では、ＧＰＳ処理部１０４が取得する位置情報及び地磁気センサ１０８が検出する方位情報を使用することで、撮像位置及び撮像方向として実座標系での座標と方位が得られる第１場所記述情報を生成する。そして、場所記述情報生成部１００１は、生成した第１場所記述情報を情報保持部１００４に格納する。

【0027】

情報保持部１００４は、第１場所記述情報と、第１仮想物体情報と、第１配置情報と、を保持している。なお、第１仮想物体情報と、第１配置情報は、例えば、端末装置１０が予めネットワーク５０を介して取得、或いは、外部記憶媒体を介して情報保持部１００４に予め格納したものである。表示処理部１００２は、撮像部１０３が撮像してディスプレイ１０５に表示している画像（以下、撮像画像と呼ぶ。）の特徴点と、第１場所記述情報に基づき、実空間における撮像部１０３の位置及び方向を判定する。なお、撮像部１０３の位置及び方向は、端末装置１０の位置及び方向でもある。また、表示処理部１００２は、第１配置情報と、判定した撮像部１０３の位置に基づき、第１仮想物体を表示する第４位置を判定し、第１仮想物体が第４位置に存在する様に第１仮想物体を撮像画像に重畳させてディスプレイ１０５に表示する表示制御を行う。なお、このとき深さ情報を、第１仮想物体を表示させる第４位置より端末装置１０側に他のオブジェクトが存在するか否か、つまり、オクルージョンが生じているか否の判定に使用する。また、表示処理部１００２は、第１場所記述情報に基づき判定した端末装置１０の位置を情報受信部１００３に通知する。

【0028】

情報受信部１００３は、表示処理部１００２から通知された端末装置１０の位置を第１位置情報として、通信部１０７を介してサーバ装置６０に送信し、その応答として第２位置情報と第２仮想物体情報をサーバ装置６０から取得する。第２位置情報と第２仮想物体情報をサーバ装置６０から取得すると、表示処理部１００２は、第２位置情報に基づき、第２仮想物体を表示する第３位置を上述した様に判定する。この場合、表示処理部１００２は、第１仮想物体が第４位置にあり、第２仮想物体が第３位置にあるように、第１仮想物体及び第２仮想物体を撮像画像に重畳させてディスプレイ１０５に表示する表示制御を行う。なお、第１仮想物体が第４位置にあり、第２仮想物体が第３位置にあると、第１仮想物体と第２仮想物体とが干渉する場合には、第３位置又は第４位置を補正して第１仮想物体と第２仮想物体とが干渉しないようにする。

【0029】

なお、上記実施形態では、端末装置２０がそのディスプレイに表示している第２仮想物体を端末装置１０でも表示させていたが、同時に、端末装置１０がそのディスプレイに表示している第１仮想物体を端末装置２０でも表示させる構成とすることができる。つまり、端末装置１０と端末装置２０の構成は同様である。端末装置１０がそのディスプレイに表示している第１仮想物体を端末装置２０でも表示させる場合、端末装置１０は、第１仮想物体情報と、第４位置を示す情報をサーバ装置６０に送信する。

【0030】

以上、本実施形態によると、端末装置のディスプレイに他の端末装置がディスプレイに表示する仮想物体も表示することができる。

【0031】

なお、本発明による端末装置は、コンピュータを上記端末装置として動作させるプログラムにより実現することができる。これらコンピュータプログラムは、コンピュータが読み取り可能な記憶媒体に記憶されて、又は、ネットワーク経由で配布が可能なものである。

【符号の説明】

【0032】

１０、２０：端末装置、６０：サーバ装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】