特開 2022-109527 情報処理システム及び情報処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022109527

(43)【公開日】2022-07-28

(54)【発明の名称】情報処理システム及び情報処理方法

(51)【国際特許分類】

   G06F 16/587 20190101AFI20220721BHJP

   G06F 16/583 20190101ALI20220721BHJP

【ＦＩ】

G06F16/587

G06F16/583

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2021004902

(22)【出願日】2021-01-15

(71)【出願人】

【識別番号】521023539

【氏名又は名称】Ｃｅｌｌｉｄ株式会社

(74)【代理人】

【識別番号】100166006

【弁理士】

【氏名又は名称】泉 通博

(74)【代理人】

【識別番号】100154070

【弁理士】

【氏名又は名称】久恒 京範

(74)【代理人】

【識別番号】100153280

【弁理士】

【氏名又は名称】寺川 賢祐

(72)【発明者】

【氏名】白神 賢

【テーマコード（参考）】

5B175

【Ｆターム（参考）】

5B175DA02

5B175FB02

(57)【要約】

【課題】空間内の位置及び向きに関連付けられた登録特徴点群データを容易に更新できるようにする。
【解決手段】情報処理方法は、情報端末１が、情報端末１が属する空間の少なくとも一部の領域を撮像することにより撮像画像データを生成するステップと、情報端末１が生成した撮像画像データに含まれる被写体の複数の特徴点群により構成される特徴点群データを、情報端末１から情報処理装置２に送信するステップと、情報処理装置２が、情報端末１から受信した特徴点群データが最新の特徴点群データであると判定した場合に、特徴点群データを空間内の位置に関連付けて記憶装置４に記憶させるステップと、を有する。
【選択図】図６

【特許請求の範囲】

【請求項1】

情報端末と、前記情報端末と通信可能な情報処理装置と、記憶装置と、を備え、
前記情報端末は、
前記情報端末が属する空間の少なくとも一部の領域を撮像することにより撮像画像データを生成する撮像部と、
前記撮像画像データに含まれる被写体の複数の特徴点群により構成される特徴点群データを前記情報処理装置に送信する端末送信処理部と、
を有し、
前記情報処理装置は、
前記情報端末から前記特徴点群データを受信する端末データ受信部と、
前記情報端末から受信した前記特徴点群データを前記空間内の位置に関連付けて前記記憶装置に記憶させる空間データ管理部と、
を有し、
前記空間データ管理部は、前記情報端末から受信した前記特徴点群データが最新の特徴点群データであると判定した場合に、前記情報端末から受信した前記特徴点群データを登録特徴点群データとして前記記憶装置に記憶させる、
情報処理システム。

【請求項2】

前記端末データ受信部は、前記情報端末の位置及び向きを示す位置データをさらに取得し、
前記空間データ管理部は、前記位置データが示す位置及び向きに関連付けられた前記特徴点群データが前記記憶装置に記憶されていない場合に、前記情報端末から受信した前記特徴点群データを前記登録特徴点群データとして前記記憶装置に記憶させる、
請求項１に記載の情報処理システム。

【請求項3】

前記空間データ管理部は、同じ位置及び向きを示す前記位置データを送信した複数の前記情報端末から複数の前記特徴点群データを前記端末データ受信部が受信した場合、データ量が多い前記特徴点群データを前記登録特徴点群データとして前記記憶装置に記憶させる、
請求項２に記載の情報処理システム。

【請求項4】

前記空間データ管理部は、前記位置データが示す位置及び向きに対応する前記登録特徴点群データが前記記憶装置に記憶されている場合、記憶されている前記登録特徴点群データのデータ量よりも前記情報端末から受信した前記特徴点群データのデータ量の方が大きいことを条件として、前記情報端末から受信した前記特徴点群データを前記登録特徴点群データとして前記記憶装置に記憶させる、
請求項２又は３に記載の情報処理システム。

【請求項5】

前記空間データ管理部は、前記情報端末から受信した前記特徴点群データに、予め登録された形状の被写体を示すデータが含まれていることを条件として、前記特徴点群データを前記記憶装置に記憶させる、
請求項１から４のいずれか一項に記載の情報処理システム。

【請求項6】

前記情報端末は、前記記憶装置に記憶されている複数の前記登録特徴点群データを記憶する端末記憶部をさらに有し、
前記端末送信処理部は、前記端末記憶部に記憶された前記複数の登録特徴点群データの中に前記特徴点群データとの差分が閾値以下の登録特徴点群データがない場合に、前記特徴点群データを前記情報処理装置に送信する、
請求項１から５のいずれか一項に記載の情報処理システム。

【請求項7】

情報端末が、前記情報端末が属する空間の少なくとも一部の領域を撮像することにより撮像画像データを生成するステップと、
前記情報端末が生成した前記撮像画像データに含まれる被写体の複数の特徴点群により構成される特徴点群データを、前記情報端末から情報処理装置に送信するステップと、
前記情報処理装置が、前記情報端末から受信した前記特徴点群データが最新の特徴点群データであると判定した場合に、前記特徴点群データを前記空間内の位置に関連付けて記憶装置に記憶させるステップと、
を有する情報処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、拡張現実画像を表示するための情報処理システム及び情報処理方法に関する。

【背景技術】

【0002】

従来、情報端末が被写体を撮像して生成した撮像画像に含まれる被写体の特徴点に基づいて、情報端末に提供する拡張現実画像を特定し、撮像画像に拡張現実画像を重ね合わせて表示部に表示させるシステムが知られている（例えば、特許文献１を参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１９－１７５３８４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

情報端末が被写体の複数の特徴点を特定することにより作成した特徴点群データに基づいて情報端末の位置を特定するためには、作成した特徴点群データを、予め空間内の位置及び向きに関連付けられた多数の登録特徴点群データと比較する必要がある。しかしながら、空間内に新しい建物が建設されたり樹木が成長したりすると、過去に作成された登録特徴点群データが、空間内の最新の被写体の状態に対応しないようになってしまう。その結果、情報端末の位置を特定することができないという問題があった。

【0005】

そこで、本発明はこれらの点に鑑みてなされたものであり、空間内の位置及び向きに関連付けられた登録特徴点群データを容易に更新できるようにすることを目的とする。

【課題を解決するための手段】

【0006】

本発明の第１の態様の情報処理システムは、情報端末と、前記情報端末と通信可能な情報処理装置と、記憶装置と、を備え、前記情報端末は、前記情報端末が属する空間の少なくとも一部の領域を撮像することにより撮像画像データを生成する撮像部と、前記撮像画像データに含まれる被写体の複数の特徴点群により構成される特徴点群データを前記情報処理装置に送信する端末送信処理部と、を有し、前記情報処理装置は、前記情報端末から前記特徴点群データを受信する端末データ受信部と、前記情報端末から受信した前記特徴点群データを前記空間内の位置に関連付けて前記記憶装置に記憶させる空間データ管理部と、を有し、前記空間データ管理部は、前記情報端末から受信した前記特徴点群データが最新の特徴点群データであると判定した場合に、前記情報端末から受信した前記特徴点群データを登録特徴点群データとして前記記憶装置に記憶させる。

【0007】

前記端末データ受信部は、前記情報端末の位置及び向きを示す位置データをさらに取得し、前記空間データ管理部は、前記位置データが示す位置及び向きに関連付けられた前記特徴点群データが前記記憶装置に記憶されていない場合に、前記情報端末から受信した前記特徴点群データを前記登録特徴点群データとして前記記憶装置に記憶させてもよい。

【0008】

前記空間データ管理部は、同じ位置及び向きを示す前記位置データを送信した複数の前記情報端末から複数の前記特徴点群データを前記端末データ受信部が受信した場合、データ量が多い前記特徴点群データを前記登録特徴点群データとして前記記憶装置に記憶させてもよい。

【0009】

前記空間データ管理部は、前記位置データが示す位置及び向きに対応する前記登録特徴点群データが前記記憶装置に記憶されている場合、記憶されている前記登録特徴点群データのデータ量よりも前記情報端末から受信した前記特徴点群データのデータ量の方が大きいことを条件として、前記情報端末から受信した前記特徴点群データを前記登録特徴点群データとして前記記憶装置に記憶させてもよい。

【0010】

前記空間データ管理部は、前記情報端末から受信した前記特徴点群データに、予め登録された形状の被写体を示すデータが含まれていることを条件として、前記特徴点群データを前記記憶装置に記憶させてもよい。

【0011】

前記情報端末は、前記記憶装置に記憶されている複数の前記登録特徴点群データを記憶する端末記憶部をさらに有し、前記端末送信処理部は、前記端末記憶部に記憶された前記複数の登録特徴点群データの中に前記特徴点群データとの差分が閾値以下の登録特徴点群データがない場合に、前記特徴点群データを前記情報処理装置に送信してもよい。

【0012】

本発明の第２の態様の情報処理方法は、情報端末が、前記情報端末が属する空間の少なくとも一部の領域を撮像することにより撮像画像データを生成するステップと、前記情報端末が生成した前記撮像画像データに含まれる被写体の複数の特徴点群により構成される特徴点群データを、前記情報端末から情報処理装置に送信するステップと、前記情報処理装置が、前記情報端末から受信した前記特徴点群データが最新の特徴点群データであると判定した場合に、前記特徴点群データを前記空間内の位置に関連付けて記憶装置に記憶させるステップと、を有する。

【発明の効果】

【0013】

本発明によれば、空間内の位置及び向きに関連付けられた登録特徴点群データを容易に更新できるようになるという効果を奏する。

【図面の簡単な説明】

【0014】

【図1】情報処理システムの概要を示す図である。

【図2】情報処理システムの基本動作を説明するための図である。

【図3】複数の情報端末に表示される画面について説明するための図である。

【図4】第１空間内の被写体に対応する特徴点群データを示す図である。

【図5】情報端末が属する空間に対応する空間データを情報端末が取得する処理の概要を示す図である。

【図6】空間データを更新する処理の概要を示す図である。

【図7】情報端末の構成を示す図である。

【図8】情報処理装置の構成を示す図である。

【図9】コンピュータ群が有するコンピュータの構成を示す図である。

【図10】同じ空間に属する複数の情報端末が空間データを取得するまでの流れを示すシーケンス図である。

【図11】異なる空間に属する複数の情報端末が空間データを取得するまでの流れを示すシーケンス図である。

【図12】同じ空間に属する複数の情報端末がＡＲ画像を表示する処理の流れを示すシーケンス図である。

【図13】情報端末が特徴点群データを空間データとして登録する処理の流れを示すシーケンス図である。

【発明を実施するための形態】

【0015】

［情報処理システムＳの概要］
（システム構成）
図１は、情報処理システムＳの概要を示す図である。情報処理システムＳは、複数の情報端末１に拡張現実画像（以下、「ＡＲ画像」という。）を表示させるためのシステムである。情報処理システムＳは、複数の情報端末１と、情報処理装置２と、コンピュータ群３と、記憶装置４と、を備える。

【0016】

情報端末１は、撮像機能を有する端末であり、例えばスマートフォン、タブレット又は眼鏡型端末である。情報端末１を使用するユーザは任意の場所に移動することができる。図１においては、複数の情報端末１ａ（１ａ－１～１ａ－ｍ，ｍは自然数）が第１空間に存在し、複数の情報端末１ｂ（１ｂ－１～１ｂ－ｎ、ｎは自然数）が第２空間に存在する状態を示している。第１空間及び第２空間は、例えば、壁で仕切られた一つの室内、建物内の一つの階、一つの建物又は一つの町内のように、同じ空間にいるユーザの情報端末１に対して同一のＡＲ画像を表示させるように設定された領域に対応する。同一の座標系の空間内で同一のＡＲ画像を表示する複数の情報端末１は、当該空間に属する情報端末群を構成する。

【0017】

情報処理装置２は、情報端末１に各種のデータを提供するサーバである。情報処理装置２は、例えば、情報端末１が自身の位置及び向きを特定するために使用される空間データ、及び情報端末１に表示させるＡＲ画像データを提供する。空間データは、空間内の複数の位置において空間内を見た場合に見える一以上の被写体の特徴を示す特徴点群から構成される、予め作成された複数の登録特徴点群データを含む。空間データにおいては、複数の登録特徴点群データに、空間内を視認した位置及び向きを示す座標データが関連付けられている。また、登録特徴点群データに含まれる複数の特徴点に、色を示す画素値（Ｒ値、Ｇ値、Ｂ値）及び空間における位置を示す座標が関連付けられていてもよい。

【0018】

コンピュータ群３は、情報端末１の属する空間を特定するためのマッチング処理を実行する。コンピュータ群３は、情報端末１が撮影して生成した撮像画像データ、又は撮像画像データに含まれている被写体の特徴点を示す特徴点群データを取得し、取得した撮像画像データ又は特徴点群データを、複数の空間それぞれに対応する複数の登録特徴点群データにより構成される複数の空間データとマッチング処理することにより、情報端末１が属する空間を特定する。特徴点群データに含まれる複数の特徴点には、色を示す画素値（Ｒ値、Ｇ値、Ｂ値）が関連付けられていてもよい。

【0019】

コンピュータ群３は、情報端末１が属する空間に対応する複数の登録特徴点群データを含む空間データを選択し、選択した空間データを情報端末１に提供する。詳細については後述するが、コンピュータ群３は、複数の空間それぞれに対応する空間データを記憶しているコンピュータ３０を複数有しており、短時間で情報端末１が属する空間を特定するために、複数のコンピュータ３０が並列にマッチング処理を実行する。

【0020】

記憶装置４は、さまざまな空間に対応する空間データを記憶している装置である。記憶装置４は、例えば全世界の多数の空間に対応する空間データを記憶しており、複数の空間データのうち、コンピュータ群３が有する複数のコンピュータ３０それぞれに対応する空間データをそれぞれのコンピュータ３０に提供する。

【0021】

（基本動作）
図２は、情報処理システムＳの基本動作を説明するための図である。図２においては、第１空間に存在する情報端末１ａ－１を使用するユーザＵ１の操作に応じて、同じ第１空間に存在する情報端末１ａ－１のユーザＵ１及び情報端末１ａ－２のユーザＵ２が視認している空間の画像に重ね合わせて同一のＡＲ画像が表示されるという動作の流れを示している。情報端末１ａ－１と情報端末１ａ－２とは、第１空間における異なる位置において異なる向きを向いているので、それぞれが表示中の画面における異なる位置に、同一のＡＲ画像が異なる向きに表示される。

【0022】

ユーザＵ１及びユーザＵ２が視認している空間の画像は、例えば、ユーザＵ１及びユーザＵ２がいる空間を情報端末１が撮影することにより生成された撮像画像である。情報端末１が眼鏡型端末である場合、ユーザＵ１及びユーザＵ２が視認している空間の画像は、眼鏡型端末が有する透明なレンズを介してユーザＵ１及びユーザＵ２の目に入射する光によりユーザＵ１及びユーザＵ２の目に映る画像であってもよい。以下の説明においては、主に、ユーザＵ１及びユーザＵ２が視認している空間の画像が撮像画像である場合を例にして説明するが、ユーザＵ１及びユーザＵ２が視認している空間の画像が、レンズを介してユーザＵ１及びユーザＵ２の目に映る画像である場合においても、以下の構成及び処理は適用される。

【0023】

情報端末１は、ユーザＵが存在する空間内の複数の位置においてユーザＵが視認可能な被写体の特徴点群の位置を示す空間データを情報処理装置２から取得し、少なくともユーザＵが所定の空間にいる間に、所定の空間に対応する空間データを記憶している。特徴点群は、被写体の形状の特徴を示す複数の点の集合体であり、空間内を撮影することにより生成された撮像画像データに含まれる被写体の輪郭線上の複数の点により構成されている。空間データにおいては、緯度、経度、高度及び方位により定められる三次元空間内の位置と向きとの組み合わせと、特徴点群データとが関連付けられている。

【0024】

図３は、複数の情報端末１に表示される画面について説明するための図である。図３（ａ）は、情報端末１ａ－１及び情報端末１ａ－２が撮影している空間を上方から表した図である。図２（ａ）における左右方向がＸ方向であり、上下方向がＹ方向であり、奥行き方向がＺ方向である。

【0025】

図３においては、情報端末１ａ－１を使用するユーザＵ１及び情報端末１ａ－２を使用するユーザＵ２が、図３（ａ）に示す位置にいることが想定されている。図３における被写体Ｔ１～Ｔ４は、情報端末１ａ－１と情報端末１ａ－２が属する第１空間に存在する被写体である。図３における画像Ａ（人）、画像Ｂ（鳥）及び画像Ｃ（矢）は、情報端末１ａ－１と情報端末１ａ－２に表示されるＡＲ画像である。

【0026】

図３（ｂ）は、情報端末１ａ－１に表示される画面の一例を示している。図３（ｂ）は、ユーザＵ１が、画像Ａ（人）から画像Ｂ（鳥）に向けて画像Ｃ（矢）を放つ操作をユーザＵ１の手Ｈにより行った状態を示している。図３（ｃ）は、図３（ｂ）に示す操作が情報端末１ａ－１において行われた場合に情報端末１ａ－２に表示される画像を示している。図３（ｃ）においては、図３（ｂ）と異なる位置における異なる向きに画像Ｃが表示されている。情報端末１ａ－１及び情報端末１ａ－２がこのような画像を表示することで、ユーザＵ１とユーザＵ２は、それぞれが使用する情報端末１の画面において、同じ空間の異なる位置で見える被写体に重ねて、同一のＡＲ画像を異なる向きから見ることができる。

【0027】

以下、図２を参照しながら、情報端末１ａ－１及び情報端末１ａ－２が図３に示した画像を表示する処理の流れについて説明する。情報端末１は、ＡＲ画像を表示する機能を有するゲーム又は観光ガイド等のアプリケーションソフトウェアを実行することにより、内蔵するカメラにより生成された撮像画像データに基づいて特徴点群データを作成する。

【0028】

図４は、図３に示した第１空間内の被写体Ｔ１～Ｔ４に対応する特徴点群データを示す図である。図４（ａ）は、情報端末１ａ－１が、撮影した被写体Ｔ１～Ｔ４の特徴点群データを示しており、図４（ｂ）は、情報端末１ａ－２が、撮影した被写体Ｔ１～Ｔ４の特徴点群データを示している。このように、情報端末１が撮影する位置及び向きによって、特徴点群データに含まれる複数の特徴点の位置が異なる。

【0029】

情報端末１は、作成した特徴点群データと、予め記憶された空間データに含まれている複数の登録特徴点群データとを比較し、複数の登録特徴点群データのうち作成した特徴点群データに最も類似する登録特徴点群データを特定する。情報端末１は、特定した登録特徴点群データに対応する位置及び向きを特定することにより、情報端末１の位置及び向きを特定する。

【0030】

情報端末１ａ－１は、ＡＲ画像を表示するトリガとなるユーザの操作を受け付けた場合、図２に示すように、操作の内容を示す操作データと、特定した位置及び向きを示す位置座標データとを情報処理装置２に通知する。情報端末１ａ－１は、当該位置及び向きに対応するＡＲ画像を情報処理装置２から取得し、例えば図３（ｂ）に示すように、取得したＡＲ画像を表示する。

【0031】

情報処理装置２は、複数の空間に対応する複数のメモリデータベースを有しており、情報端末１ａ－１から通知された位置座標データが、情報端末１ａ－１が属する空間に対応するメモリデータベースに書き込まれたことに応じて、同じ空間に属する他の情報端末１である情報端末１ａ－２に対して、ＡＲ画像と、当該ＡＲ画像を表示する位置と移動させる向きとを示す表示座標データと、を送信する。情報端末１ａ－２は、例えば図３（ｃ）に示すように、受信した表示座標データが示す位置及び向きに対応するＡＲ画像を表示する。

【0032】

本実施の形態のように、ＡＲ画像を表示するシステムにおいては、高速なレスポンスが求められるので、データベースは、メインメモリ上に構築されており、ディスクストレージ機構に記憶されたデータベースに比べて高速にアクセスが可能なインメモリデータベースであることが望ましい。以下の説明においては、データベースがインメモリデータベースである場合を例示する。

【0033】

（空間データの提供）
図５は、情報端末１が属する空間に対応する空間データを情報端末１が取得する処理の概要を示す図である。情報端末１は、所定のアプリケーションソフトウェアを起動したり、ユーザＵが所定のサイトにログインしたり、情報端末１が所定の位置に移動したりしたことをトリガとして、空間データを取得する。

【0034】

情報端末１は、例えば所定のアプリケーションソフトウェアが起動されたことを検出すると、内蔵するカメラが撮影して生成された撮像画像データに基づいて特徴点群データを作成する。情報端末１は、アプリケーションソフトウェアが起動されたことを示す起動情報と、作成した特徴点群データとを情報処理装置２に送信する。情報処理装置２は、起動情報を受信したことに応じて、受信した特徴点群データをコンピュータ群３に送信する。

【0035】

コンピュータ群３は、受信した特徴点群データを複数のコンピュータ３０に入力し、複数のコンピュータ３０においてマッチング処理を実行する。複数のコンピュータ３０のうち、受信した特徴点群データが示す特徴点群のパターンが、自身が記憶している空間データが示す登録特徴点群のパターンと一致していることを検出したコンピュータ３０は、一致したことを情報処理装置２に通知し、自身が記憶している空間データを情報処理装置２に送信する。情報処理装置２は、受信した空間データを情報端末１に送信する。

【0036】

情報端末１は、ＧＰＳ受信機で検出した概略の位置を示す概略位置データを起動情報とともに情報処理装置２に送信してもよい。この場合、情報処理装置２は、受信した概略位置データが示す位置を含む空間に対応するコンピュータ３０に特徴点群データを送信することで、マッチング処理を実行するコンピュータ３０の数を削減することができるので、コンピュータ群３の負荷が低減する。

【0037】

（空間データの更新）
空間内の建物、物品、植物等の物体は、時間の経過に伴って変化する。したがって、記憶装置４が記憶している空間データが、最新の空間の状態に対応しているとは限らない。また、空間データが作成されていない空間も存在し得る。しかしながら、空間の状態が変化するたびに空間データを収集するのは容易ではない。そこで、情報処理システムＳは、大量の情報端末１が作成した特徴点群データを用いて、空間データを最新の状態に更新する。

【0038】

図６は、空間データを更新する処理の概要を示す図である。情報端末１は、情報処理装置２を介して取得した空間データに含まれる複数の登録特徴点群データの中に、自身が作成した特徴点群データと一致する登録特徴点群データが含まれていない場合に、空間データに誤りがある、又は情報端末１が属する空間の空間データが存在しないと判定する。この場合、情報端末１は、自身が作成した特徴点群データ、及び自身の位置を示す位置データとともに、登録特徴点群データを更新することを要求する更新リクエストを情報処理装置２に送信する。位置データは、例えば、緯度、経度、高度及び方位を示すデータである。

【0039】

位置データはできるだけ高精度であることが望ましい。そこで、情報端末１は、例えば、直前に空間データに含まれる登録特徴点群データと自身が作成した特徴点群データとが一致していた位置からの移動距離及び移動方向に基づいて、更新リクエストとともに送信する特徴点群データに対応する位置を算出する。情報端末１は、直前に空間データに含まれる登録特徴点群データと自身が作成した特徴点群データとが一致していた位置からの距離が所定の閾値以内であることを条件にして更新リクエストを送信してもよい。所定の閾値は、空間データが示す位置の精度、又は情報端末１が移動距離及び移動方向を特定できる精度の少なくともいずれかに基づいて決定される。

【0040】

情報処理装置２は、更新リクエストを受信すると、受信した特徴点群データと位置データを記憶装置４に送信する。情報処理装置２は、複数の情報端末１から同一の位置及び向きに対応する特徴点群データを受信した場合、より精度が高いと考えられる特徴点群データを送信する。より精度が高いと考えられる特徴点群データは、特徴点群データに含まれる特徴点の数がより多い特徴点群データ、又は位置を特定するために使用されるセンサの精度がより高い情報端末１から送信された特徴点群データ等である。

【0041】

記憶装置４は、情報端末１から特徴点群データ及び位置データを受信すると、受信した位置データが示す位置及び向き（すなわち、緯度、経度、高度及び方位）に関連付けて特徴点群データを空間データに含まれる登録特徴点群データとして記憶する。記憶装置４がこのようにして空間データに含まれる登録特徴点群データを更新することにより、情報端末１は、最新の空間に対応する空間データを用いて自身の位置及び向きを特定することができ、適切な位置にＡＲ画像を表示することができる。

【0042】

［各部の構成］
（情報端末の構成）
図７は、情報端末１の構成を示す図である。情報端末１は、通信部１１と、操作部１２と、位置検出部１３と、撮像部１４と、表示部１５と、記憶部１６と、制御部１７と、を有する。制御部１７は、送信処理部１７１と、受信処理部１７２と、操作受付部１７３と、概略位置特定部１７４と、画像処理部１７５と、詳細位置特定部１７６と、表示処理部１７７と、空間データ取得部１７８と、を有する。

【0043】

通信部１１は、通信ネットワークに接続するための通信インターフェースを有する。通信部１１は、携帯無線通信ネットワーク又はＷｉ－Ｆｉ（登録商標）等の無線通信ネットワークを介して、情報処理装置２との間で各種のデータを送受信する。通信部１１は、送信処理部１７１から入力されたデータを送信し、通信ネットワークを介して受信したデータを受信処理部１７２に入力する。

【0044】

操作部１２は、情報端末１のユーザＵの操作を検出するためのデバイスを有する。操作部１２は、例えばタッチパネル、トラックボール又はマウスを有する。操作部１２がタッチパネルである場合、操作部１２は表示部１５に重ねて設けられている。操作部１２は、操作が行われた位置又は操作量の少なくともいずれかを示す操作データを操作受付部１７３に通知する。

【0045】

位置検出部１３は、情報端末１の概略の位置を検出するためのデバイスを有する。位置検出部１３は、例えばＧＰＳ（Global Positioning System）受信機を有しており、ＧＰＳ衛星から受信した電波に基づいて検出した緯度・経度を示す位置データを概略位置特定部１７４に通知する。位置検出部１３は、高度計、方位計又はジャイロセンサの少なくともいずれかを有しており、情報端末１の高度及び情報端末１が向いている方位を位置データとして概略位置特定部１７４に通知してもよい。

【0046】

撮像部１４は、情報端末１の周囲の被写体を撮影して撮像画像データを生成するデバイスであり、例えばカメラである。撮像部１４は、情報端末１が属する空間の少なくとも一部の領域を撮像することにより撮像画像データを生成する。撮像部１４は、所定の時間間隔（フレームレート）で連続的に撮像画像データを生成してもよい。また、撮像部１４は、複数の撮像素子を有しており、被写体までの距離を示す距離データを生成するステレオカメラであってもよい。この場合、特徴点群データには、情報端末１から特徴点それぞれに対応する被写体までの距離を示す情報が含まれていてもよい。

【0047】

表示部１５は、各種の情報を表示するためのデバイスであり、例えばディスプレイである。表示部１５は、例えば情報端末１のユーザＵが操作をするための画面を表示したり、撮像部１４が生成した撮像画像データに基づく画像を表示したりする。また、表示部１５は、ユーザＵが視認した空間の画像（例えば撮像画像）に重ねて情報処理装置２から提供されるＡＲ画像を表示する。

【0048】

記憶部１６は、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等の記憶媒体を有する端末記憶部である。記憶部１６は、制御部１７が実行するプログラムを記憶する。また、記憶部１６は、撮像画像データ及びＡＲ画像データ等のように、表示部１５が表示する画像データを一時的に記憶する。記憶部１６は、空間内の複数の位置及び向きから空間を撮像して作成された複数の画像に含まれる被写体の特徴点群を示す複数の特徴点群データを、空間内の位置及び向きに関連付けて記憶する。

【0049】

制御部１７は、例えばＣＰＵ（Central Processing Unit）を有している。制御部１７は、記憶部１６に記憶されたプログラムを実行することにより、送信処理部１７１、受信処理部１７２、操作受付部１７３、概略位置特定部１７４、画像処理部１７５、詳細位置特定部１７６、表示処理部１７７及び空間データ取得部１７８として機能する。

【0050】

送信処理部１７１は、通信部１１を介して、各種のデータを情報処理装置２又は他の外部装置に送信する。送信処理部１７１は、例えば、操作受付部１７３から受けた操作データを情報処理装置２に送信する。操作データには、操作の内容を示す操作内容データと、操作の位置（すなわちＡＲ画像を表示する位置）を示す表示座標データと、ＡＲ画像を表示させる向きを示す表示向きデータと、が含まれている。操作データには、ＡＲ画像を動かす速度に対応する、ユーザＵの操作速度を示す速度データがさらに含まれていてもよい。

【0051】

表示部１５にＡＲ画像を表示するための操作をユーザＵが行った場合、送信処理部１７１は、操作内容データとともに、ＡＲ画像を表示部１５に表示させる際の空間内の座標を示す表示座標データ、表示向きデータ及び速度データを情報処理装置２に送信する。また、送信処理部１７１は、概略位置特定部１７４から受けた概略位置データを情報処理装置２に送信する。

【0052】

送信処理部１７１は、情報処理装置２が有するインメモリデータベースと非同期でリアルタイムにデータを送受信するために、インメモリデータベースにアクセスするためのＰｕｂ／Ｓｕｂメッセージを使用して操作データを送信してもよい。

【0053】

また、送信処理部１７１は、撮像画像データに含まれる被写体の複数の特徴点により構成される特徴点群データを画像処理部１７５から取得し、取得した特徴点群データを情報処理装置２に送信する。送信処理部１７１は、画像処理部１７５から受けた撮像画像データを、特徴点群データに代えて又は特徴点群データとともに情報処理装置２に送信してもよい。送信処理部１７１は、例えば、情報処理装置２が記憶している複数のインメモリデータベースのうち、概略位置特定部１７４が特定した概略位置が属する空間に対応するインメモリデータベースにＰｕｂメッセージを送信することにより、特徴点群データを書き込む。

【0054】

また、送信処理部１７１は、記憶部１６に記憶された複数の登録特徴点群データの中に特徴点群データとの差分が閾値以下の登録特徴点群データがない場合に、登録特徴点群データを更新するための更新リクエストとともに、画像処理部１７５から取得した特徴点群データを情報処理装置２に送信する。

【0055】

受信処理部１７２は、通信部１１を介して、各種のデータを情報処理装置２又は他の外部装置から受信する。受信処理部１７２は、例えば同じ空間に属する他の情報端末１が情報処理装置２に送信した表示座標データを受信する。

【0056】

情報端末１ａ－１を使用するユーザＵ１がＡＲ画像を表示させる操作を行ったことに応じて情報端末１ａ－１が表示座標データを情報処理装置２に送信した場合、情報端末１ａ－２の受信処理部１７２は、後述する情報処理装置２が有する座標送信部２３２が送信した表示座標データを受信する。受信処理部１７２は、受信した表示座標データを詳細位置特定部１７６に入力する。また、受信処理部１７２は、情報端末１が属する空間に対応する空間データを情報処理装置２から受信する。受信処理部１７２は、受信した空間データを空間データ取得部１７８に入力する。

【0057】

操作受付部１７３は、操作部１２から通知された操作データに基づいて、ユーザＵが行った操作の内容を特定する。操作受付部１７３は、受け付けた操作に基づいて、表示するＡＲ画像の種別を示す操作内容データを作成する。操作受付部１７３は、作成した操作内容データを送信処理部１７１に入力することにより、情報処理装置２に操作の内容を通知する。操作受付部１７３は、例えば、ＡＲ画像を空間の画像（例えば撮像画像）に重ねて表示部１５に表示させるための操作を受け付けたことに応じて、ＡＲ画像を表示部１５に表示させる際の空間内の座標を示す表示座標データを作成する。

【0058】

操作受付部１７３は、詳細位置特定部１７６が特定した詳細位置を示す詳細位置データを取得し、取得した詳細位置データが示す情報端末１の位置及び向きと、操作部１２においてユーザＵが操作した位置とに基づいて表示座標データを作成してもよい。すなわち、操作受付部１７３は、詳細位置特定部１７６が特定した位置及び向きと、操作受付部１７３が受け付けた操作の位置との関係に基づいて、表示座標データを作成してもよい。

【0059】

図３（ｂ）に示した例の場合、操作受付部１７３は、手Ｈが操作部１２に触れた位置のＸ座標及びＺ座標を含む表示座標データを作成する。操作受付部１７３は、手Ｈの位置が移動した場合、所定の時間間隔で表示座標データを作成する。操作受付部１７３は、複数の時刻に作成した表示座標データに基づいて手Ｈが移動する速度を示す速度データを含む表示座標データを作成してもよい。撮像部１４が距離データを生成することができるステレオカメラである場合のように、図３（ｂ）において手Ｈが触れた位置の被写体のＹ座標が既知である場合、操作受付部１７３は、Ｙ座標を含む表示座標データを作成してもよい。操作受付部１７３は、作成した表示座標データを送信処理部１７１に入力する。

【0060】

操作受付部１７３は、詳細位置特定部１７６が特定した情報端末１の位置及び向きと、操作受付部１７３が受け付けた操作の位置との関係に基づいて、ＡＲ画像を表示部１５に表示させる際のＡＲ画像の向きを示す表示向きデータを作成してもよい。操作受付部１７３は、表示向きデータを送信処理部１７１に入力する。

【0061】

概略位置特定部１７４は、受信する電波に基づいて情報端末１の概略位置を示す概略位置データを生成する。概略位置特定部１７４は、位置検出部１３から入力された位置データに基づいて、情報端末１の概略位置を特定する。概略位置データは、ＧＰＳの精度に対応する精度で位置を示すデータであり、例えば誤差が１０ｍ以上の位置データである。

【0062】

概略位置特定部１７４は、特定した位置データを送信処理部１７１に入力することにより、情報端末１の概略の位置を情報処理装置２に通知する。概略位置特定部１７４は、定期的に概略位置データを情報処理装置２に通知してもよく、ユーザＵが所定の操作を行った場合、又は登録特徴点群データを取得する必要が生じた場合に、概略位置データを情報処理装置２に通知してもよい。

【0063】

画像処理部１７５は、撮像画像データに含まれる被写体の複数の特徴点により構成される特徴点群データを作成する。具体的には、画像処理部１７５は、まず、撮像画像データにおいて隣接する画素との画素値の変化量が閾値以上である画素を特定することにより、被写体の輪郭線及び被写体の凹凸部の輪郭線を特定する。画像処理部１７５は、特定した輪郭線上の複数の特徴点から構成される特徴点群データを作成する。

【0064】

図４に示した例のように、画像処理部１７５は、輪郭線の方向が変化する点を特徴点として特定することにより特徴点群データを作成してもよい。画像処理部１７５は、撮像部１４から新たな撮像画像データが入力されるたびに特徴点群データを作成する。画像処理部１７５は、作成した特徴点群データを詳細位置特定部１７６に入力する。画像処理部１７５は、空間データを情報処理装置２から取得する必要がある場合（すなわち情報端末１が属する空間を特定する必要がある場合）に、特徴点群データを送信処理部１７１に入力する。

【0065】

また、画像処理部１７５は、詳細位置特定部１７６が、情報処理装置２から取得した登録特徴点群データに基づいて情報端末１の位置及び向きを特定することができないという通知を受けた場合、作成した特徴点群データを記憶装置４に登録するべく、特徴点群データを送信処理部１７１に入力し、登録特徴点群データの更新をするための更新リクエストを情報処理装置２に送信するよう送信処理部１７１に指示する。

【0066】

詳細位置特定部１７６は、情報処理装置２から受信した複数の登録特徴点群データのうち、画像処理部１７５から入力された特徴点群データに最も類似する登録特徴点群データに対応する位置及び向きを特定する。詳細位置特定部１７６は、記憶部１６に記憶された複数の登録特徴点群データのうち、撮像画像データに含まれる被写体の特徴点群を示す特徴点群データに最も類似する登録特徴点群データに対応する位置及び向きを特定する。

【0067】

具体的には、詳細位置特定部１７６は、まず、画像処理部１７５から入力された特徴点群データと、情報処理装置２から取得して記憶部１６に記憶された空間データに含まれる複数の登録特徴点群データとを比較する。詳細位置特定部１７６は、画像処理部１７５から入力された特徴点群データと、空間データに含まれる複数の登録特徴点群データそれぞれとの間の相関値を算出し、算出した相関値が最大になる登録特徴点群データを特定する。

【0068】

詳細位置特定部１７６は、特定した登録特徴点群データに関連付けられている座標データ（例えば緯度、経度、高度、方位を示すデータ）に基づいて、情報端末１の位置及び向きを特定する。詳細位置特定部１７６は、このようにして、例えば概略位置特定部１７４よりも高い精度で情報端末１の位置及び向きを特定することができる。詳細位置特定部１７６は、例えば１ｍｍの精度で情報端末１の位置及び向きを特定する。詳細位置特定部１７６は、特定した位置及び向きを示す詳細位置データを受信処理部１７２及び表示処理部１７７に通知する。

【0069】

表示処理部１７７は、各種の情報又は画像を表示部１５に表示させる。表示処理部１７７は、例えば、情報端末１が属する空間を撮像部１４が撮像して生成された撮像画像データに基づく撮像画像を表示部１５に表示させる。また、表示処理部１７７は、表示座標データに基づいて、ＡＲ画像を表示させる位置及び向きを決定する。表示処理部１７７は、表示座標データが示す空間内の座標に対応する表示部１５における位置に、ユーザＵが視認している空間の画像（例えば情報端末１が属する空間を撮像部１４が撮像して生成された撮像画像データに基づく撮像画像）に重ねて、ＡＲ画像を表示させる。

【0070】

表示処理部１７７は、ユーザＵがＡＲ画像を表示する操作を行った場合、詳細位置特定部１７６から入力された詳細位置データと、操作受付部１７３から通知された操作位置データとに基づいて、ＡＲ画像を表示させる位置及び向きを示す表示座標データを作成する。表示処理部１７７は、情報端末１と同じ空間に属する他の情報端末１のユーザＵがＡＲ画像を表示する操作を行った場合、当該操作に対応するＡＲ画像を表示するために用いる表示座標データを情報処理装置２から取得する。

【0071】

図２に示したように、第１空間に情報端末１ａ－１及び情報端末１ａ－２が存在する場合、情報端末１ａ－１の表示処理部１７７は、操作受付部１７３から通知された表示座標データに基づく位置及び向きにＡＲ画像を表示させる。一方、情報端末１ａ－２の表示処理部１７７は、情報処理装置２から通知された表示座標データに基づく位置及び向きにＡＲ画像を表示させる。このように情報端末１ａ－１及び情報端末１ａ－２それぞれの表示処理部１７７が動作することで、情報端末１ａ－１を使用するユーザＵ１及び情報端末１ａ－２を使用するユーザＵ２は、情報端末１の位置及び向きに応じて異なる位置に、それぞれ異なる向きのＡＲ画像を同時に見ることができる。

【0072】

空間データ取得部１７８は、通信部１１及び受信処理部１７２を介して、登録特徴点群データを含む空間データを情報処理装置２から取得する。空間データ取得部１７８は、複数の登録特徴点群データを情報処理装置から取得するための操作（例えば、所定のアプリケーションソフトウェアの起動操作、所定のサイトへのログインの操作）を操作受付部１７３が受け付けたことに応じて、情報端末１が属する空間に対応する複数の登録特徴点群データを含む空間データを情報処理装置から取得し、取得した空間データを１６に記憶させる。

【0073】

空間データ取得部１７８は、取得した複数の登録特徴点群データを詳細位置特定部１７６に通知する。空間データ取得部１７８は、例えば、取得した複数の登録特徴点群データを記憶部１６に記憶させることにより、記憶部１６を介して、複数の登録特徴点群データを詳細位置特定部１７６に通知する。

【0074】

（情報処理装置２の構成）
図８は、情報処理装置２の構成を示す図である。情報処理装置２は、通信部２１と、記憶部２２と、制御部２３と、を有する。制御部２３は、座標受信部２３１と、座標送信部２３２と、端末データ受信部２３３と、特徴点群送信部２３４と、情報受信部２３５と、空間データ送信部２３６と、空間データ管理部２３７と、台数管理部２３８と、を有する。

【0075】

通信部２１は、通信ネットワークに接続するための通信インターフェースを有する。通信部２１は、情報端末１、コンピュータ群３及び記憶装置４との間で各種のデータを送受信する。

【0076】

記憶部２２は、ＲＯＭ、ＲＡＭ及びＳＳＤ（Solid State Drive）を有する装置記憶部である。記憶部２２は、制御部２３が実行するプログラムを記憶している。また、記憶部２２は、複数の空間に対応する複数のインメモリデータベースとして、第１空間用データベース２２１と第２空間用データベース２２２を記憶している。記憶部２２は、例えば、複数の空間（例えば第１空間及び第２空間）それぞれに対応する表示座標データ又は特徴点群データを記憶する複数のインメモリデータベース（例えば第１空間用データベース２２１及び第２空間用データベース２２２）を記憶している。

【0077】

インメモリデータベースは、上述のとおり、メインメモリ上に構築されたデータベースであり、ディスクストレージ機構に記憶されたデータベースに比べて高速にアクセスが可能なデータベースである。図８においては、記憶部２２は、第１空間用データベース２２１と第２空間用データベース２２２を例示しているが、記憶部２２は、より多くの空間に対応するデータベースを記憶している。

【0078】

記憶部２２は、同一の座標系の空間に属する第１情報端末及び第２情報端末を、同一の空間内でＡＲ画像を表示する複数の情報端末１として記憶する。第１情報端末は、ユーザＵがＡＲ画像を表示させるための操作を行った情報端末１であり、図２に示した例における情報端末１ａ－１である。第２情報端末は第１情報端末と同じ空間に属する他の情報端末１であり、図２に示した例における情報端末１ａ－２である。記憶部２２は、複数の空間それぞれに関連付けて、空間に含まれる複数の情報端末１を識別するための複数の端末識別情報を記憶する。

【0079】

具体的には、記憶部２２が記憶しているインメモリデータベースにおいては、複数の情報端末１それぞれを識別するための端末識別情報に関連付けて、それぞれの情報端末１が属する空間を識別するための空間識別情報が登録されている。また、インメモリデータベースにおいては、空間識別情報に関連付けて、当該空間識別情報に対応する空間に属する情報端末１に表示させるＡＲ画像を識別するためのＡＲ画像識別情報と、当該ＡＲ画像を表示させる位置及び向きを示す表示座標データとが登録されている。

【0080】

複数のインメモリデータベースは、それぞれに対応する空間に属する情報端末１から受信した特徴点群データをコンピュータ群３に受け渡すために、特徴点群データを記憶してもよい。第１空間に対応する第１空間用データベース２２１は、第１空間に属する一以上の情報端末１から特徴点群データを受信すると、特徴点群データが第１空間に対応する登録特徴点群データと一致するか否かを解析するコンピュータ３０に対して、受信した特徴点群データを転送する。インメモリデータベースは、制御部２３を介することなく、情報端末１又はコンピュータ群３から送信されたＰｕｂ／Ｓｕｂメッセージに基づいて、情報端末１とコンピュータ群３との間で特徴点群データを中継してもよい。

【0081】

制御部２３は、例えばＣＰＵを有する。制御部２３は、記憶部２２に記憶されたプログラムを実行することにより、座標受信部２３１、座標送信部２３２、端末データ受信部２３３、特徴点群送信部２３４、情報受信部２３５、空間データ送信部２３６、空間データ管理部２３７及び台数管理部２３８として機能する。

【0082】

座標受信部２３１は、情報端末１を使用するユーザＵの操作に応じて情報端末１が送信した操作内容データ及び表示座標データを受信し、受信した操作内容データ及び表示座標データをインメモリデータベースに登録する。座標受信部２３１は、表示座標データを送信した情報端末１が含まれる空間に対応するインメモリデータベースに表示座標データを登録する。座標受信部２３１は、例えば第１空間に属する情報端末１ａ－１から表示座標データを受信した場合、第１空間用データベース２２１に表示座標データを記憶させる。

【0083】

座標送信部２３２は、座標受信部２３１によってインメモリデータベースに表示座標データが登録されたことに応じて、複数の情報端末１のうちの第１情報端末と異なる第２情報端末に表示座標データを送信する。座標送信部２３２は、第２情報端末が含まれる空間に対応するインメモリデータベースに登録された表示座標データを第２情報端末に送信する。

【0084】

座標送信部２３２は、記憶部２２を参照することにより、表示座標データを送信した第１情報端末の第１端末識別情報に対応する空間に関連付けられた第２端末識別情報を有する第２情報端末に表示座標データを送信する。座標送信部２３２は、第１情報端末が送信した表示向きデータがインメモリデータベースに登録されたことに応じて、第２情報端末に表示向きデータを送信してもよい。これにより、同じ空間に属する複数の情報端末１が、ＡＲ画像を表示させる位置及び表示向きを共有することになる。

【0085】

また、座標送信部２３２は、インメモリデータベースに、第１情報端末から受信された操作内容データが登録されたことに応じて、当該操作内容データに対応する第２ＡＲ画像に対応するデータ、又は第２ＡＲ画像を識別するためのデータを第２情報端末に送信する。第２ＡＲ画像は、第１ＡＲ画像と同一の対象を示し、かつ向き又は大きさが異なる、第１ＡＲ画像に対応する画像である。これにより、同じ空間に属する複数の情報端末１が同一のＡＲ画像を共有することになる。

【0086】

座標送信部２３２は、第１空間用データベース２２１に記憶された表示座標データ及びＡＲ画像を情報端末１ａ－２に送信する。座標送信部２３２が既にＡＲ画像を情報処理装置２に送信している場合、座標送信部２３２は、ＡＲ画像を送信する代わりに、既に送信した複数のＡＲ画像のうち情報端末１ａ－２に表示させるＡＲ画像を識別するためのＡＲ画像識別情報を送信してもよい。

【0087】

端末データ受信部２３３は、通信部２１を介して、情報端末１から特徴点群データを受信する。また、端末データ受信部２３３は、特徴点群データを送信した情報端末１から、情報端末１の概略位置を示す概略位置データを受信する。端末データ受信部２３３は、受信した特徴点群データ及び概略位置データを特徴点群送信部２３４に通知する。端末データ受信部２３３は、特徴点群データ及び概略位置データを記憶部２２に記憶させ、記憶部２２を介して、特徴点群データ及び概略位置データを特徴点群送信部２３４に通知してもよい。

【0088】

特徴点群送信部２３４は、情報端末１から受信した特徴点群データをコンピュータ群３に送信する。特徴点群送信部２３４は、例えば、図５に示したように、情報端末１が起動情報とともに送信した特徴点群データを端末データ受信部２３３が受信した場合に、空間データを要求するメッセージとともに、特徴点群データをコンピュータ群３に送信する。

【0089】

特徴点群送信部２３４は、端末データ受信部２３３から概略位置データを取得した場合、コンピュータ群３に含まれる複数のコンピュータ３０から概略位置データが示す概略位置を含む空間に対応する一以上のコンピュータ３０を選択し、選択した一以上のコンピュータ３０に特徴点群データを送信してもよい。すなわち、特徴点群送信部２３４は、情報端末１が特徴点群データとともに送信した概略位置データが示す概略位置が属するデータに対応する空間に関連付けられたコンピュータ３０に特徴点群データを送信してもよい。

【0090】

特徴点群送信部２３４は、複数の空間それぞれに対応するインメモリデータベースを介して、特徴点群データを情報端末１とコンピュータ群３との間で中継してもよい。特徴点群送信部２３４は、複数のインメモリデータベースのうち特徴点群データが書き込まれたインメモリデータベースに対応する空間に関連付けられたコンピュータ３０に特徴点群データを送信する。

【0091】

情報受信部２３５は、特徴点群送信部２３４が特徴点群データを送信した一以上のコンピュータ３０のうち、送信した特徴点群データに対応する情報端末１が属する空間を特定したコンピュータ３０から、情報端末１が属する空間を特定したことを示す所定の情報を受信する。具体的には、情報受信部２３５は、特徴点群データを送信した一以上のコンピュータ３０のうち、１台のコンピュータ３０から、当該コンピュータ３０が記憶している複数の登録特徴点群データのいずれかと、特徴点群送信部２３４が送信した特徴点群データとの相関値が閾値以上であることを示す所定の情報を受信する。すなわち、情報受信部２３５は、当該コンピュータ３０から、特徴点群送信部２３４が送信した特徴点群データが、当該コンピュータ３０がマッチング処理を担当している空間に含まれる被写体の登録特徴点群データと同等であるということを示す所定の情報を受信する。

【0092】

情報受信部２３５は、所定の情報とともに、当該コンピュータ３０がマッチング処理を担当している空間に対応する複数の登録特徴点群データを含む空間データを取得してもよい。情報受信部２３５は、特徴点群送信部２３４がコンピュータ群３に送信した特徴点群データを作成した情報端末１の端末識別情報とともに、取得した空間データを空間データ送信部２３６に入力する。また、情報受信部２３５は、当該コンピュータ３０がマッチング処理を担当している空間を識別するための空間識別情報を取得し、特徴点群送信部２３４がコンピュータ群３に送信した特徴点群データを作成した情報端末１の端末識別情報に関連付けて空間識別情報を記憶部２２に記憶させてもよい。

【0093】

空間データ送信部２３６は、所定の情報を送信したコンピュータ３０に対応する空間データが含む複数の登録特徴点群データを情報端末１に送信する。空間データ送信部２３６は、情報受信部２３５から取得した端末識別情報に対応する情報端末１に対して、複数の登録特徴点群データを送信する。

【0094】

空間データ管理部２３７は、コンピュータ群３又は記憶装置４が記憶している空間データを最新の状態に維持するための管理を行う。空間データ管理部２３７は、例えば、情報端末１から受信した特徴点群データを空間内の位置に関連付けて記憶装置４に記憶させることにより、空間データを最新の状態に維持する。

【0095】

空間データ管理部２３７は、情報端末１から受信した特徴点群データが最新の特徴点群データであると判定した場合に、情報端末１から受信した特徴点群データを登録特徴点群データとして記憶装置４に記憶させる。空間データ管理部２３７は、例えば複数の情報端末１から、登録特徴点群データを更新することを要求する更新リクエストとともに特徴点群データを受信した場合に、例えば特徴点群データに含まれているタイムスタンプを参照することにより、より後の時点で生成された撮像画像データに基づく特徴点群データが最新の特徴点群データであると判定する。

【0096】

空間データ管理部２３７は、同じ位置及び向きを示す詳細位置データを送信した複数の情報端末１から複数の特徴点群データを装置受信処理部が受信した場合、データ量がより多い特徴点群データを登録特徴点群データとして記憶装置４に記憶させてもよい。データ量は、例えば特徴点群データに含まれる点群の数である。点群の数が多いほど、空間に属する被写体のより細かい特徴が特徴点群データに表れていると考えられるので、空間データ管理部２３７がこのような特徴点群データを登録することで、登録特徴点群データを用いて情報端末１が位置及び向きを特定する際の精度が向上する。

【0097】

空間データ管理部２３７は、特徴点群データとともに情報端末１が送信した詳細位置データが示す位置及び向きに関連付けられた特徴点群データが記憶装置４に記憶されていない場合に、情報端末１から受信した特徴点群データを登録特徴点群データとして記憶装置４に記憶させてもよい。記憶部２２は、記憶装置４が記憶している複数の登録特徴点群データそれぞれに対応する緯度、経度、高度及び方位を記憶しており、空間データ管理部２３７は、詳細位置データが示す緯度、経度、高度及び方位が記憶部２２に記憶されていない場合に、特徴点群データを記憶装置４に記憶させる。

【0098】

空間データ管理部２３７は、位置データが示す位置及び向きに対応する登録特徴点群データが記憶装置４に記憶されている場合、記憶されている登録特徴点群データのデータ量よりも情報端末１から受信した特徴点群データのデータ量の方が大きいことを条件として、情報端末１から受信した特徴点群データを登録特徴点群データとして記憶装置４に記憶させてもよい。

【0099】

記憶部２２は、記憶装置４が記憶している複数の登録特徴点群データそれぞれのデータ量を緯度、経度、高度及び方位とともに記憶しており、空間データ管理部２３７は、情報端末１から送信された特徴点群データのデータ量と、情報端末１から送信された詳細位置データが示す位置及び向きに関連付けて記憶部２２に記憶された登録特徴点群データのデータ量とを比較する。空間データ管理部２３７は、比較した結果、情報端末１から受信した特徴点群データのデータ量の方が大きい場合に、情報端末１から受信した特徴点群データを記憶装置４に記憶させる。空間データ管理部２３７がこのように動作することで、登録特徴点群データを更新することにより、登録特徴点群データが劣化することを防げる。

【0100】

空間データ管理部２３７は、情報端末１から受信した特徴点群データに、予め登録された形状の被写体を示すデータが含まれていることを条件として、特徴点群データを記憶装置４に記憶させてもよい。予め登録された形状の被写体は、例えば、新たに建設された建物である。空間データ管理部２３７がこのように動作することで、登録特徴点群データが存在しないことが予めわかっている場合に、速やかに登録特徴点群データを登録することができる。

【0101】

台数管理部２３８は、予め設定された条件に基づいて、情報端末１が属する空間を特定するためのマッチング処理を実行する複数のコンピュータ３０の台数を決定する。台数管理部２３８は、例えば、記憶装置４に記憶された登録特徴点群データの量に基づいて複数のコンピュータ３０の台数を変更する。特徴点群送信部２３４は、台数管理部２３８が決定した台数のコンピュータ３０に、複数の情報端末１から受信した特徴点群データを送信する。台数管理部２３８がこのように動作することで、時間の経過に伴って登録特徴点群データの量が増加した場合であっても、マッチング処理に要する時間が増加することを抑制できる。

【0102】

台数管理部２３８は、特徴点群送信部２３４が特徴点群データを複数のコンピュータ３０に送信してから、情報端末１が属する空間を特定したことを示す所定の情報を取得するまでに要する時間（すなわち、マッチング処理に要する時間）に基づいて複数のコンピュータ３０の台数を変更してもよい。特徴点群送信部２３４が特徴点群データを複数のコンピュータ３０に送信してから、所定の情報を取得するまでに要する時間が長い場合には、コンピュータ３０の数が不足していると考えられる。そこで、台数管理部２３８は、当該時間が閾値以上になった場合に、マッチング処理を実行させるコンピュータ３０の数を増加させることで、マッチング処理に要する時間が長くなり過ぎることを抑制する。

【0103】

ところで、情報処理装置２が特徴点群データを受信する情報端末１の数が増えた場合、端末データ受信部２３３が受信する特徴点群データの量が増加する。特徴点群データの量が増えると、マッチング処理に要する時間が長くなる。そこで、台数管理部２３８は、端末データ受信部２３３が受信する特徴点群データの量に基づいて複数のコンピュータ３０の台数を変更してもよい。台数管理部２３８は、特徴点群データを送信する情報端末１の数に基づいて複数のコンピュータの台数を変更してもよい。

【0104】

台数管理部２３８は、所定の時間内に端末データ受信部２３３が受信する特徴点群データの量が閾値以上になった場合、又は所定の時間内に特徴点群データを受信する情報端末１の数が増えた場合に、マッチング処理を実行させるコンピュータ３０の数を増加させることで、マッチング処理に要する時間が長くなり過ぎることを抑制する。台数管理部２３８は、端末データ受信部２３３が特徴点群データを受信する情報端末１の数が閾値以上になった場合にマッチング処理を実行させるコンピュータ３０の数を増加させてもよい。

【0105】

情報端末１が移動している場合には、情報端末１が異なる空間に移動し、情報端末１が属する空間を特定するためのマッチング処理の頻度が増加することが想定される。そこで、台数管理部２３８は、端末データ受信部２３３が情報端末１から受信した概略位置データが、情報端末１が移動していることを示しているか否かに基づいて複数のコンピュータ３０の台数を変更してもよい。

【0106】

台数管理部２３８は、移動している情報端末１の数が所定数以上であることを特定した場合に、マッチング処理を実行させるコンピュータ３０の数を増加させることで、マッチング処理に要する時間が長くなり過ぎることを抑制する。逆に、台数管理部２３８は、移動している情報端末１の数が所定数未満であることを特定した場合に、マッチング処理を実行させるコンピュータ３０の数を減少させることで、コンピュータ３０の使用コストを下げることができる。

【0107】

台数管理部２３８は、複数の時刻に送信された複数の概略位置データに基づいて情報端末１の移動速度を特定し、特定した移動速度が閾値以上の情報端末１の数が所定数以上である場合に、コンピュータ３０の数を増加させてもよい。台数管理部２３８がこのように動作することで、空間が切り替わる蓋然性が高い情報端末１の数に基づいてコンピュータ３０の数を変更することができるので、マッチング処理を実行させるコンピュータ３０の数を、より適切な数にすることができる。

【0108】

（コンピュータ群３の構成）
図９は、コンピュータ群３が有するコンピュータ３０の構成を示す図である。通信部３１は、通信部３１と、記憶部３２と、制御部３３と、を有する。制御部３３は、特徴点群取得部３３１と、登録データ取得部３３２と、データ解析部３３３と、を有する。

【0109】

通信部３１は、通信ネットワークに接続するための通信インターフェースを有する。通信部３１は、情報処理装置２及び記憶装置４との間で各種のデータを送受信する。

【0110】

記憶部３２は、ＲＯＭ、ＲＡＭ及びＳＳＤを有する。記憶部３２は、制御部３３が実行するプログラムを記憶している。

【0111】

制御部３３は、例えばＣＰＵを有する。制御部３３は、記憶部３２に記憶されたプログラムを実行することにより、特徴点群取得部３３１、登録データ取得部３３２及びデータ解析部３３３として機能する。

【0112】

特徴点群取得部３３１は、情報処理装置２から特徴点群データを取得する。特徴点群取得部３３１は、取得した特徴点群データをデータ解析部３３３に入力する。

【0113】

登録データ取得部３３２は、複数の空間に対応する登録特徴点群データを記憶した記憶装置４から、コンピュータ３０に割り当てられた空間に対応する複数の登録特徴点群データを読み出すことにより、複数の登録特徴点群データを取得する。登録データ取得部３３２は、取得した複数の登録特徴点群データをデータ解析部３３３に入力する。登録データ取得部３３２は、取得した複数の登録特徴点群データを記憶部３２に記憶させてもよい。

【0114】

なお、コンピュータ３０に割り当てられた空間に対応する空間識別情報は、例えば記憶部３２に記憶されており、登録データ取得部３３２は、空間識別情報に関連付けて記憶装置４に記憶されている複数の登録特徴点群データを記憶装置４から取得する。

【0115】

データ解析部３３３は、特徴点群取得部３３１が取得した特徴点群データと、各コンピュータ３０に割り当てられた空間に対応する、登録データ取得部３３２が取得した複数の登録特徴点群データのいずれかとの差分が閾値以下である場合に所定の情報を情報処理装置２に送信する。所定の情報は、上述したように、登録データ取得部３３２が受信した特徴点群データが、当該コンピュータ３０がマッチング処理を担当している空間に含まれる被写体の特徴点群により構成されているということを示す情報である。

【0116】

［情報処理システムＳにおける処理の流れ］
（空間データを取得する処理）
図１０は、同じ空間に属する複数の情報端末１が空間データを取得するまでの流れを示すシーケンス図である。図１０に示すシーケンス図は、情報端末１が空間データを取得する必要が生じた時点から開始している。空間データを取得する必要が生じた時点は、例えばユーザＵが情報端末１において所定のアプリケーションソフトウェアを起動したり、所定のサイトにログインしたり、前回空間データを取得した地点から所定の距離以上移動したり、前回空間データを取得した時点から所定の時間以上が経過したりした時点である。

【0117】

図１０における第１情報端末及び第２情報端末は、同じ第１空間に属しており、例えば図１に示した情報端末１ａ－１及び情報端末１ａ－２である。第１情報端末は、第１情報端末の位置を示す第１概略位置データと、撮像画像データに基づいて生成した第１特徴点群データを情報処理装置２に送信する。情報処理装置２は、受信した第１概略位置データが示す概略位置を含む第１空間の登録特徴点群データを用いてマッチング処理を実行する第１コンピュータに第１特徴点群データを送信する。ここで、情報処理装置２は、複数の第１コンピュータに第１特徴点群データを送信してもよい。

【0118】

第１コンピュータは、複数の登録特徴点群データのうちのいずれかに第１特徴点群データが一致すると判定した場合、第１情報端末が、一致した登録特徴データに対応する第１空間にいると判定し、第１空間に対応する複数の登録特徴点群データを含む第１空間データを情報処理装置２に送信する。情報処理装置２は、受信した第１空間データを第１情報端末に送信する。その後、第１情報端末は、自身が生成した特徴点群データを、受信した複数の登録特徴点群データと比較することにより、自身の詳細位置を特定する。

【0119】

第２情報端末も第１情報端末と同様に動作し、第２情報端末の位置を示す第２概略位置データと、撮像画像データに基づいて生成した第２特徴点群データを情報処理装置２に送信する。第２情報端末も第１情報端末と同じ第１空間に属するので、情報処理装置２は、第２特徴点群データを第１コンピュータに送信し、第１コンピュータから第１空間データを受信する。情報処理装置２は、第１空間データを第２情報端末に送信し、第２情報端末は、自身が生成した特徴点群データを、受信した第１空間データに含まれる複数の登録特徴点群データと比較することにより、自身の詳細位置を特定する。

【0120】

図１１は、異なる空間に属する複数の情報端末１が空間データを取得するまでの流れを示すシーケンス図である。図１１における第１情報端末及び第３情報端末は、異なる空間に属しており、例えば図１に示した情報端末１ａ－１及び情報端末１ｂ－１である。第１情報端末の動作は、図１０に示した動作と同じである。

【0121】

第３情報端末は、第３情報端末の位置を示す第３概略位置データと、撮像画像データに基づいて生成した第３特徴点群データを情報処理装置２に送信する。第３情報端末は第１情報端末と異なる第２空間に属するので、情報処理装置２は、第３概略位置データに対応する第２空間を担当する第２コンピュータに第３特徴点群データを送信し、第３コンピュータから第２空間データを受信する。情報処理装置２は、第２空間データを第２情報端末に送信し、第２情報端末は、自身が生成した特徴点群データを、受信した第２空間データに含まれる複数の登録特徴点群データと比較することにより、自身の詳細位置を特定する。

【0122】

（ＡＲ画像を表示する処理）
図１２は、同じ空間に属する複数の情報端末１がＡＲ画像を表示する処理の流れを示すシーケンス図である。図１２に示すシーケンス図は、第１情報端末を使用するユーザＵ１が、ＡＲ画像を表示する操作を行った時点から開始している。第１情報端末は、ユーザＵ１が行った操作の内容を特定するとともに（Ｓ１１）、操作が行われた位置を示す操作位置座標を特定する（Ｓ１２）。第１情報端末は、操作の内容を示す操作内容データと操作位置を示す座標データとを情報処理装置２に送信する。

【0123】

情報処理装置２は、受信した操作内容データに基づいて、第１情報端末に表示させるＡＲ画像データを選択し、選択したＡＲ画像データを第１情報端末に送信する。なお、第１情報端末がＡＲ画像データを記憶している場合、情報処理装置２は、ＡＲ画像データを第１情報端末に送信しなくてもよい。

【0124】

情報処理装置２は、第１情報端末と同じ空間に属する第２情報端末に対して、第１情報端末から受信した座標データに対応する表示座標データを送信する。また、情報処理装置２は、第１情報端末に送信したＡＲ画像データを第２情報端末にも送信する。第１情報端末及び第２情報端末は、受信したＡＲ画像データに基づくＡＲ画像を、表示座標データに対応する位置及び向きに表示する（Ｓ１３、Ｓ１４）。第１情報端末及び第２情報端末がこのように動作することで、同じ空間に属する複数の情報端末１が、それぞれの位置及び向きに応じた位置及び向きで同じＡＲ画像を表示することができる。

【0125】

（空間データの登録）
図１３は、情報端末１が特徴点群データを空間データとして登録する処理の流れを示すシーケンス図である。図１３に示すシーケンス図は、第１情報端末が、自身が作成した特徴点群データと登録特徴点群データとを比較する時点から開始している。

【0126】

第１情報端末が、自身が作成した第１特徴点群データと一致する登録特徴点群データを含む空間データがないと判定した場合（Ｓ２１においてＹＥＳ）、空間データを更新する必要があると判定し（Ｓ２２）、更新リクエストとともに第１特徴点群データを情報処理装置２に送信する。同様に、第２情報端末が、自身が作成した第２特徴点群データと一致する登録特徴点群データを含む空間データがないと判定した場合（Ｓ２３においてＹＥＳ）、空間データを更新するための更新リクエストとともに第２特徴点群データを情報処理装置２に送信する。

【0127】

情報処理装置２は、同一の位置及び向きに対応する第１特徴点群データ及び第２特徴点群データを受信した場合、上述した所定の条件のいずれかに基づいて、どちらの特徴点群データを登録すべきかを判定し、一方の特徴点群データを選択する（Ｓ２４）。情報処理装置２は選択した特徴点群データを記憶装置４に送信し、記憶装置４は、受信した特徴点群データを空間データとして登録する（Ｓ２５）。

【0128】

［変形例］
以上の説明においては、情報処理装置２が情報端末１とコンピュータ群３との間で特徴点群データ及び登録特徴点群データを中継したが、コンピュータ群３が情報処理装置２の機能を有していてもよい。

【0129】

また、以上の説明においては、情報端末１が表示座標データを情報処理装置２に送信したことに応じて情報処理装置２がＡＲ画像を情報端末１に提供する場合を例示したが、情報端末１が予め複数のＡＲ画像を記憶していてもよい。この場合、情報端末１は、情報処理装置２からの指示に基づいて、記憶している複数のＡＲ画像から表示するＡＲ画像を選択し、受信した表示座標データに基づく位置及び向きに、選択したＡＲ画像を表示する。

【0130】

また、以上の説明においては、情報処理装置２がインメモリデータベースを有しており、インメモリデータベースを介して各種の表示座標データ及び特徴点群データをやり取りする場合を例示したが、情報処理装置２がインメモリデータベースを有しておらず、複数の情報端末１が、他の記憶媒体を介してこれらのデータをやり取りしてもよい。

【0131】

［情報処理システムＳによる効果］
本実施形態に係る情報処理装置２は、第１情報端末が送信した表示座標データを受信し、受信した前記表示座標データをインメモリデータベースに登録し、インメモリデータベースに表示座標データが登録されたことに応じて、第１情報端末と同じ空間に属する第２情報端末に表示座標データを送信する。情報処理装置２がインメモリデータベースを介して複数の情報端末１との間で表示座標データを送受信することにより、情報端末１にＡＲ画像を表示させるまでに要する時間を短縮することができる。

【0132】

また、コンピュータ群３は、情報端末１が生成した撮像画像データに基づく特徴点群データを取得し、それぞれが異なる空間を担当する複数のコンピュータ３０が、複数の登録特徴点群データと取得した特徴点群データとを比較することにより、情報端末１が属する空間を特定する。そして、コンピュータ群３は、特定した空間に対応する複数の登録特徴点群データを情報端末１に提供する。コンピュータ群３がこのように動作することで、情報端末１は、自身が作成した特徴点群データと比較する対象となる複数の登録特徴点群データを、自身が属する空間に対応する複数の登録特徴点群データに限定することができるので、短時間で自身の正確な位置及び向きを特定することができる。

【0133】

また、情報処理装置２は、予め設定された条件に基づいて、情報端末１が生成した特徴点群データとのマッチング処理を実行するコンピュータ３０の台数を変更する。情報処理装置２がこのように動作することで、情報端末１の台数が増減したり、情報端末１が送信する特徴点群データの量が増減したりしても、情報端末１に適切な登録特徴点群データを送信するまでに要する時間を一定の範囲内に維持することができる。

【0134】

また、情報端末１は、自身が生成した特徴点群データに対応する登録特徴点群データがない場合に、自身が生成した特徴点群データを記憶装置４に登録することができる。大量の情報端末１が生成した特徴点群データを記憶装置４に登録することで、記憶装置４が記憶する登録特徴点群データを最新の状態に維持することができる。さらに、情報処理装置２は、複数の情報端末１から同じ位置及び向きに対応する特徴点群データの更新リクエストを受信した場合、より信頼度が高い特徴点群データを記憶装置４に登録する。情報処理装置２がこのように動作することで、記憶装置４に記憶された登録特徴点群データの信頼性が向上する。

【0135】

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の全部又は一部は、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を併せ持つ。

【符号の説明】

【0136】

１ 情報端末
２ 情報処理装置
３ コンピュータ群
４ 記憶装置
１１ 通信部
１２ 操作部
１３ 位置検出部
１４ 撮像部
１５ 表示部
１６ 記憶部
１７ 制御部
２１ 通信部
２２ 記憶部
２３ 制御部
３０ コンピュータ
３１ 通信部
３２ 記憶部
３３ 制御部
１７１ 送信処理部
１７２ 受信処理部
１７３ 操作受付部
１７４ 概略位置特定部
１７５ 画像処理部
１７６ 詳細位置特定部
１７７ 表示処理部
１７８ 空間データ取得部
２２１ 第１空間用データベース
２２２ 第２空間用データベース
２３１ 座標受信部
２３２ 座標送信部
２３３ 端末データ受信部
２３４ 特徴点群送信部
２３５ 情報受信部
２３６ 空間データ送信部
２３７ 空間データ管理部
２３８ 台数管理部
３３１ 特徴点群取得部
３３２ 登録データ取得部
３３３ データ解析部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】