知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-06-10
(45)【発行日】2024-06-18
(54)【発明の名称】空間認識システム、情報端末、および空間認識方法
(51)【国際特許分類】
G06T 19/00 20110101AFI20240611BHJP
【ＦＩ】
G06T19/00 600
【請求項の数】
6
(21)【出願番号】P 2021575161
(86)(22)【出願日】2020-02-05
(86)【国際出願番号】 JP2020004388
(87)【国際公開番号】W WO2021156977
(87)【国際公開日】2021-08-12
【審査請求日】2022-07-22
(73)【特許権者】
【識別番号】000005810
【氏名又は名称】マクセル株式会社
(74)【代理人】
【識別番号】110002066
【氏名又は名称】弁理士法人筒井国際特許事務所
(72)【発明者】
【氏名】橋本 康宣
(72)【発明者】
【氏名】高見澤 尚久
(72)【発明者】
【氏名】秋山 仁
【審査官】橋爪 正樹
(56)【参考文献】
【文献】特開２０１１－１８６８０８（ＪＰ，Ａ）
【文献】特表２０１４－５１５８５４（ＪＰ，Ａ）
【文献】特開２０１６－１１５２６８（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ １９／００
Ｇ０１Ｃ ３／０６
Ｇ０６Ｆ ３／０１
Ｇ０６Ｆ ３／０４８－ ３／０４８９５
(57)【特許請求の範囲】
【請求項1】
空間を測定するセンサを備え、第１座標系を有する情報端末と、前記第１座標系と異なる第２座標系に基づいた処理を行う情報処理装置と、を備え、
前記情報端末は、前記情報処理装置と分担して空間の認識を行う場合、前記情報処理装置との間の位置および向きを測定し、測定したデータに基づいて、前記第２座標系を前記第１座標系に変換する変換パラメータを計算し、
前記センサにより空間内の第１領域を測定し、前記第１座標系で記述された第１部分空間データを作成し、
前記情報処理装置から前記空間内の第２領域に関する部分空間データを受信し、
前記変換パラメータを用いて、前記受信した部分空間データを前記第２座標系から前記第１座標系で記述された第２部分空間データに変換し、
前記第１部分空間データと前記第２部分空間データを統合し、
前記第１領域と前記第２領域により前記空間の所定割合以上がカバーされたと判断した場合、前記センサによる測定を終了する、
空間認識システム。
【請求項2】
請求項１記載の空間認識システムにおいて、前記情報端末は、さらにカメラと表示画面とを備え、
前記情報端末は、前記カメラで撮影された画像により前記情報処理装置を認識し、前記情報処理装置に合わせたガイド画像を前記カメラで撮影された画像に重畳して前記表示画面に表示し、前記センサを用いて前記情報処理装置との間の位置および向きを測定する、
空間認識システム。
【請求項3】
空間認識システムに用いられ、第１座標系を有する情報端末であって、空間内の物体との間の位置および向きを測定するセンサと、
前記第１座標系と異なる第２座標系に基づいた処理を行う情報処理装置と通信を行う通信インタフェースと、
プロセッサと、を備え、
前記プロセッサは、
前記情報処理装置と分担して空間の認識を行う場合、前記センサを用いて前記情報処理装置との間の位置および向きを測定し、測定したデータに基づいて、前記第２座標系を前記第１座標系に変換する変換パラメータを計算し、
前記センサにより空間内の第１領域を測定し、前記第１座標系で記述された第１部分空間データを作成し、
前記通信インタフェースを用いて、前記情報処理装置から前記空間内の第２領域に関する部分空間データを受信し、
前記変換パラメータを用いて、前記受信した部分空間データを前記第２座標系から前記第１座標系で記述された第２部分空間データに変換し、
前記第１部分空間データと前記第２部分空間データを統合し、
前記第１領域と前記第２領域により前記空間の所定割合以上がカバーされたと判断した場合、前記センサによる測定を終了する、
情報端末。
【請求項4】
請求項３に記載の情報端末において、さらにカメラと表示画面とを備え、
前記プロセッサは、前記カメラで撮影された画像により前記情報処理装置を認識し、前記情報処理装置に合わせたガイド画像を前記カメラで撮影された画像に重畳して前記表示画面に表示し、前記センサを用いて前記情報処理装置との間の位置および向きを測定する、
情報端末。
【請求項5】
空間を測定するセンサを備え、第１座標系を有する情報端末の空間認識方法であって、前記第１座標系と異なる第２座標系に基づいた処理を行う情報処理装置と分担して空間の認識を行う場合、前記センサを用いて前記情報処理装置との間の位置および向きを測定し、測定したデータに基づいて、前記第２座標系を前記第１座標系に変換する変換パラメータを計算するステップと、
前記センサにより空間内の第１領域を測定し、前記第１座標系で記述された第１部分空間データを作成するステップと、
前記情報処理装置から前記空間内の第２領域に関する部分空間データを受信するステップと、
前記変換パラメータを用いて、前記受信した部分空間データを前記第２座標系から前記第１座標系で記述された第２部分空間データに変換するステップと、
前記第１部分空間データと前記第２部分空間データを統合するステップと、
前記第１領域と前記第２領域により前記空間の所定割合以上がカバーされたと判断した場合、前記センサによる測定を終了するステップと、
を有する、空間認識方法。
【請求項6】
請求項５に記載の空間認識方法において、前記情報端末は、さらにカメラと表示画面とを備え、
前記情報端末が、前記カメラで撮影された画像により前記情報処理装置を認識し、前記情報処理装置に合わせたガイド画像を前記カメラで撮影された画像に重畳して前記表示画面に表示し、前記センサを用いて前記情報処理装置との間の位置および向きを測定するステップ、
を有する、空間認識方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報端末が空間を認識するためのシステム等の技術に関する。
【背景技術】
【0002】
ヘッドマウントディスプレイ（ＨＭＤ）やスマートフォン等の情報端末は、仮想現実（ＶＲ）や拡張現実（ＡＲ）等に対応した画像（仮想画像等と記載する場合がある）を表示面に表示する機能を有する。例えば、ユーザに装着されたＨＭＤは、部屋等の空間内で、壁や机等の実物に合わせた位置にＡＲの画像を表示する。
【0003】
上記技術に係わる先行技術例として、特表２０１４－５１４６５３号公報（特許文献１）が挙げられる。特許文献１には、複数の端末において、カメラのキャプチャに基づいて、実空間内の同一の物体、例えば机面を、アンカー表面として認識し、各端末からそのアンカー表面に仮想物体を表示することで、殆ど同じ位置に仮想物体を表示する旨の技術が記載されている。
【先行技術文献】
【特許文献】
【0004】
【文献】特表２０１４－５１４６５３号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
上記情報端末は、ＡＲ等の機能において好適に仮想画像を表示できるためには、空間内の壁や机等の実物についての位置・向き・形状等を、なるべく高精度に把握することが好ましい。情報端末は、その把握のために、カメラやセンサを用いて自機の周囲の空間を検出・測定する機能を有する。例えば、ＨＭＤは、自機のセンサから出射した光が周囲の物体に当たって戻ってくる際の反射点を、特徴点として検出でき、周囲の複数の特徴点を点群データとして取得できる。ＨＭＤは、このような点群データを用いて、空間の形状等を表す空間データ（言い換えると情報端末が空間を認識するためのデータ）を構成できる。
【0006】
しかしながら、ユーザの情報端末が、実世界内の広大な空間や多数の空間を対象として上記測定を行う場合には、効率、ユーザの利便性や作業負荷、等に関して課題がある。例えば、ある建物内の空間を一人のユーザが情報端末で測定する作業を行う場合に、長時間がかかり、負荷が大きい場合がある。
【0007】
また、あるユーザの情報端末が、部屋等の空間を１回測定して把握し、ＡＲ画像表示等に利用した後、その空間を再度利用する場合に、再度測定しなければならないということでは、効率等が良くない。
【0008】
本発明の目的は、情報端末が空間を測定して空間データを作成・登録でき、情報端末がその空間データを取得して利用できる技術、ならびに、複数のユーザの複数の情報端末間でその空間データおよび対応する空間認識を共有することができる技術を提供することである。
【課題を解決するための手段】
【0009】
本発明のうち代表的な実施の形態は、以下に示す構成を有する。一実施の形態の空間認識システムは、空間を測定する機能および表示面に仮想画像を表示する機能を有し端末座標系を有する情報端末と、共通座標系に基づいた処理を行う情報処理装置と、を備え、前記情報端末は、前記端末座標系と前記共通座標系との間の、位置および向きに関する関係を測定し、測定した関係を表すデータに基づいて、前記端末座標系と前記共通座標系とを適合させ、前記情報端末と前記情報処理装置は、前記空間の認識の共有を行う。
【発明の効果】
【0010】
本発明のうち代表的な実施の形態によれば、情報端末が空間を測定して空間データを作成・登録でき、情報端末がその空間データを取得して利用でき、複数のユーザの複数の情報端末間でその空間データおよび対応する空間認識を共有することができる。
【図面の簡単な説明】
【0011】
【図1】本発明の実施の形態１の空間認識システムの構成を示す図である。
【図2】本発明の実施の形態１の空間認識方法の構成を示す図である。
【図3】実施の形態１で、空間の構成例を示す図である。
【図4】実施の形態１で、空間の分担測定例を示す図である。
【図5】実施の形態１で、空間の利用例を示す図である。
【図6】実施の形態１で、情報端末であるＨＭＤの外観構成例を示す図である。
【図7】実施の形態１で、情報端末であるＨＭＤの機能ブロック構成例を示す図である。
【図8】実施の形態１で、座標系ペアリングについての説明図である。
【図9】実施の形態１で、位置伝達等についての説明図である。
【図10】実施の形態１で、情報端末間の処理フローを示す図である。
【図11】実施の形態１で、情報端末による表示例を示す図である。
【図12】実施の形態１で、座標系の回転等についての説明図である。
【図13】実施の形態１の変形例２における、座標系ペアリング等についての説明図である。
【図14】実施の形態１の変形例２における、変換パラメータについての説明図である。
【図15】実施の形態１の変形例３における、座標系ペアリング等についての説明図である。
【図16】本発明の実施の形態２の空間認識システムの構成を示す図である。
【図17】実施の形態２で、座標系ペアリングについての説明図である。
【図18】実施の形態２の変形例４についての説明図である。
【図19】本発明の実施の形態３の空間認識システムの構成を示す図である。
【図20】実施の形態３で、標識の構成例を示す図である。
【図21】実施の形態３で、情報端末とサーバの処理フローを示す図である。
【図22】実施の形態３の変形例５についての説明図である。
【図23】実施の形態３の変形例６に係わる処理フローを示す図である。
【図24】実施の形態３の変形例６に係わる説明図である。
【図25】本発明の実施の形態４の空間認識システムにおける、情報端末による表示例１を示す図である。
【図26】実施の形態４で、空間の分担例を示す図である。
【図27】実施の形態４で、情報端末による表示例２を示す図である。
【図28】実施の形態４で、情報端末による表示例３を示す図である。
【図29】実施の形態４で、情報端末による表示例４を示す図である。
【図30】実施の形態４で、情報端末による表示例５を示す図である。
【図31】本発明の基本構成を示す図である。
【発明を実施するための形態】
【0012】
以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、全図面において同一部には原則として同一符号を付し、繰り返しの説明は省略する。
【0013】
【0014】
従来では、ＨＭＤ等の端末に関して、利用する対象となる空間を、複数のユーザの複数の端末によって空間的または時間的に分担して測定し、空間データを作成・登録するといった概念や、そのための好適な技術については、検討が不十分であった。実施の形態１の空間認識システムおよび方法は、そのような分担による空間の測定、空間データの作成、空間データの共有・再利用といった概念、ならびにそのための一連の手続き等の好適な技術を提供する。このシステムおよび方法は、空間の測定、空間データの作成、空間データの共有・再利用等を、効率的に、例えば高速に実現する。
【0015】
まず、本発明の基本構成を図３１に示す。本発明の基本構成は、空間２を測定する機能および表示面に仮想画像を表示する機能を有し端末座標系ＷＴを有する情報端末1と、共通座標系ＷＳによって記述された空間データ６を処理する情報処理装置９とからなる。情報処理装置９は、情報端末１とは別の情報端末、または後述するサーバ４（図１６等）である。情報端末１は、端末座標系ＷＴと共通座標系ＷＳとの間の、位置および向きに関する関係を測定し、測定した関係を表すデータに基づいて端末座標系ＷＴと共通座標系ＷＳとを適合させる。これを座標系ペアリングと呼ぶ（後述）。この座標系ペアリングにより、情報端末１と情報処理装置９は、空間認識の共有を行う。
【0016】
空間データ６の共有は、共通座標系ＷＳによる空間データ６の記述を媒介にして行われる。例えば、情報端末１は空間２を測定して空間データ６を取得し、情報処理装置９より共通座標系ＷＳに基づいて記述された空間データ６を取得する。情報端末１は、情報処理装置９から取得した空間データ６を自機の端末座標系ＷＴに変換し、自機で測定した空間データ６と統合した上で空間データ６を利用する。あるいは、情報端末１は、自機で測定した空間データ６を共通座標系ＷＳによる記述に変換し、情報処理装置９に提供する。情報処理装置９は、提供された空間データ６と保持していた空間データ６を総合して、これを利用する。
【0017】
図１等に示す実施の形態１の空間認識システムは、複数のユーザの複数の端末１による分担で空間２を測定し、測定データに基づいて空間データ６を作成する。物体の表面方向、物体間の遮蔽関係を明確にするために、空間データ６には、測定時の端末１の位置（測定起点）を含めてもよい。複数のユーザの複数の端末１間では、その空間データ６を互いに提供し、共有して利用でき、同じ空間２内の位置や向き等の認識を共有できる。これにより、複数の端末１間では、例えばＡＲ機能等を用いる際に、空間２内で、所望の同じ位置２１に同じ仮想画像２２を表示することが容易にでき、作業やコミュニケーション等が好適に実現できる。このシステムによれば、一人のユーザの端末によって測定等の作業を行う場合よりも、効率的な作業が実現できる。なお、実施の形態１では、端末１が空間データ６を保持する。また、図３１での情報処理装置９は図１での端末１であり、共通座標系ＷＳは、複数の端末１間で空間データ６の授受を行う際に記述の基準に用いるどちらかの端末１の端末座標系ＷＴである。
【0018】
実施の形態１の空間認識システムおよび方法は、上記分担での空間２の測定や認識に係わる、座標系間の適合等の仕組みを有する。一般に、空間の有する座標系（「空間座標系」と記載する場合がある）や各端末の有する座標系（「端末座標系」と記載する場合がある）は、基本的にはそれぞれ異なる座標系であり、少なくとも最初は一致していない。そこで、実施の形態では、上記分担の際、各端末１の有する各端末座標系間で、それらを相互に関連付けて適合させる動作を、「座標系ペアリング」として行う。この動作によって、端末１には、座標系変換のための変換パラメータ７が設定される。この座標系ペアリングが確立された状態では、変換パラメータ７によって、座標系間で相互に位置や向き等が変換できる。これにより、分担を行う各端末１間では、同じ空間２についての位置等の認識が共有できる。各端末１は、分担での測定によって各端末座標系で記述された部分的な空間データ６を作成する。そして、各端末座標系で記述された複数の部分的な空間データは、変換パラメータ７を用いた変換、および統合によって、ある統一された端末座標系で記述された、空間２を単位とした空間データ６として構成することができる。
【0019】
［空間認識システム］
図１は、実施の形態１の空間認識システムの構成を示す。本例では、端末１が使用する対象の空間２を、建物内の１つの部屋とし、端末１として特にＨＭＤを使用する場合を説明する。実施の形態１の空間認識システムは、複数の各ユーザ、例えばユーザＵ１，Ｕ２が携帯または装着する、複数の各端末１、例えば第１端末１Ａおよび第２端末１Ｂと、各端末１の測定や利用の対象となる空間２とを有する。各端末１は、空間データ６や変換パラメータ７を作成し保持する。端末１は、スマートフォン１ａ，１ｂやタブレット端末等の装置としてもよい。各端末１は、無線ＬＡＮのアクセスポイント２３等を通じて、インターネットやモバイル網等を含む通信網に接続され、通信網を介して外部装置とも通信できる。
図１は、実施の形態１の空間認識システムの構成を示す。本例では、端末１が使用する対象の空間２を、建物内の１つの部屋とし、端末１として特にＨＭＤを使用する場合を説明する。実施の形態１の空間認識システムは、複数の各ユーザ、例えばユーザＵ１，Ｕ２が携帯または装着する、複数の各端末１、例えば第１端末１Ａおよび第２端末１Ｂと、各端末１の測定や利用の対象となる空間２とを有する。各端末１は、空間データ６や変換パラメータ７を作成し保持する。端末１は、スマートフォン１ａ，１ｂやタブレット端末等の装置としてもよい。各端末１は、無線ＬＡＮのアクセスポイント２３等を通じて、インターネットやモバイル網等を含む通信網に接続され、通信網を介して外部装置とも通信できる。
【0020】
空間２は、識別や区分して管理される任意の空間であり、例えば建物内の１つの部屋である。本例では、この部屋の空間２が、分担による空間データ６の作成対象であり、複数の端末１による認識共有対象である。
【0021】
複数の端末１は、例えば、第１ユーザＵ１の第1端末１Ａ（＝第１ＨＭＤ）と、第２ユーザＵ２の第２端末１Ｂ（＝第２ＨＭＤ）とを有する。端末１であるＨＭＤは、筐体に、透過型の表示面１１、カメラ１２、測距センサ１３等を備え、ＡＲの仮想画像を表示面１１に表示する機能等を有する。同様に、スマートフォン１ａ，１ｂは、タッチパネル等の表示面、カメラ、測距センサ等を備え、ＡＲの仮想画像を表示面に表示する機能等を有する。なお、端末１としてスマートフォン等を用いる場合も、ＨＭＤの場合と概略同様の機能等が実現できる。例えば、ユーザは、手に持ったスマートフォンの表示面に表示されるＡＲ等の仮想画像を見る。
【0022】
各端末１は、自機と相手の端末１との間で座標系ペアリングを行う機能を有する。各端末１は、自機の端末座標系（例えば第１端末座標系ＷＡ）と相手の端末座標系（例えば第２端末座標系ＷＢ）との関係を測定し、その関係に基づいて変換パラメータ７を生成し、自機または相手の少なくとも一方に設定する。複数の端末１（１Ａ，１Ｂ）は、対象の空間２を分担して測定し、それぞれの部分的な空間データ６（「部分空間データ」と記載する場合がある）を作成する。例えば、第１端末１Ａは空間データＤ１Ａを作成し、第２端末１Ｂは空間データＤ１Ｂを作成する。複数の端末１は、それらの部分的な空間データ６から、空間２を単位とした空間データ６（例えば空間データＤ１）を作成し、この空間データ６を用いて空間２の認識を共有できる。端末１は、カメラ１２や測距センサ１３等を用いて空間２を測定し、測定データに基づいて空間データ６を作成する機能を有する。端末１は、変換パラメータ７を用いて、測定データや空間データ６の表現に関する座標系間の変換ができる。
【0023】
端末座標系（ＷＡ，ＷＢ）間の関係は、概略的には以下のように求められる。まず、実空間内における異なる２つの特定方向での、各端末座標系（ＷＡ，ＷＢ）での表現の測定に基づいて、座標系間の回転の関係が求められる。次に、端末１間の位置の関係の測定に基づいて、各端末座標系間の原点の関係が求められる。変換パラメータ７は、上記回転のパラメータと原点のパラメータとで構成できる。
【0024】
実施の形態１では、複数の端末１間で、いずれかの端末１の端末座標系（例えば第１端末座標系ＷＡ）を共通座標系として、２台の端末１のペア毎に座標系ペアリングを行う。これにより、少なくともいずれかの端末１（例えば第１端末１Ａ）は、変換パラメータ７を作成し保持する。その後、各端末１は、空間２を分担して測定し、各端末座標系で記述された各部分空間データを作成する。各端末１は、各部分空間データを、他の各端末１との間で共通座標系に基づいて記述されたデータとして授受・交換してもよい。端末１は、変換パラメータ７を用いて、部分空間データを、自機の端末座標系に基づいた記述と共通座標系に基づいた記述との間で変換する。自機の端末座標系が共通座標系である場合は、この変換は不要である。そして、端末１は、統一された端末座標系で記述された複数の部分空間データから、統合によって空間２を単位とした空間データ６を得る。これにより、複数の端末１は、その空間データ６を用いて、同じ空間２内で同じ位置２１に同じ仮想画像２２を好適に表示できる。
【0025】
なお、非透過型ディスプレイを備える端末１の場合でも、その端末１の端末座標系が実空間に固定されている間は、表示面１１に表示している仮想画像の表示位置を他の端末１と共有できる。
【0026】
［座標系］
実施の形態１では、各端末１や空間２において、実空間内の位置や向き等を指定するための基準となる座標系を、世界座標系と呼ぶ。各端末１は、各自の世界座標系として端末座標系を有する。図１で、第１端末１Ａは第１端末座標系ＷＡを有し、第２端末１Ｂは第２端末座標系ＷＢを有する。各端末座標系は、端末１の位置や向き（言い換えると姿勢、回転の状態）、画像表示位置等を認識し制御するための座標系である。これらの端末座標系は、端末１毎に設定されているため、基本的には異なる座標系であり、最初の状態では一致していない。また、空間２は、その空間２の位置や向きを表す世界座標系として、空間座標系Ｗ１を有する。実施の形態１では、空間データ６の測定や作成には空間座標系Ｗ１を用いない。実施の形態１では、空間データ６は、端末座標系で記述される。第１端末座標系ＷＡ、第２端末座標系ＷＢ、および空間座標系Ｗ１は、異なる座標系である。各世界座標系の原点および方向は、実空間（地球や地域等）内に固定されている。
実施の形態１では、各端末１や空間２において、実空間内の位置や向き等を指定するための基準となる座標系を、世界座標系と呼ぶ。各端末１は、各自の世界座標系として端末座標系を有する。図１で、第１端末１Ａは第１端末座標系ＷＡを有し、第２端末１Ｂは第２端末座標系ＷＢを有する。各端末座標系は、端末１の位置や向き（言い換えると姿勢、回転の状態）、画像表示位置等を認識し制御するための座標系である。これらの端末座標系は、端末１毎に設定されているため、基本的には異なる座標系であり、最初の状態では一致していない。また、空間２は、その空間２の位置や向きを表す世界座標系として、空間座標系Ｗ１を有する。実施の形態１では、空間データ６の測定や作成には空間座標系Ｗ１を用いない。実施の形態１では、空間データ６は、端末座標系で記述される。第１端末座標系ＷＡ、第２端末座標系ＷＢ、および空間座標系Ｗ１は、異なる座標系である。各世界座標系の原点および方向は、実空間（地球や地域等）内に固定されている。
【0027】
第１端末座標系ＷＡは、原点ＯＡと、直交する３軸として軸ＸＡ、軸ＹＡ、および軸ＺＡとを有する。第２端末座標系ＷＢは、原点ＯＢと、直交する３軸として軸ＸＢ、軸ＹＢ、および軸ＺＢとを有する。空間座標系Ｗ１は、原点Ｏ１と、直交する３軸として軸Ｘ１、軸Ｙ１、および軸Ｚ１とを有する。原点ＯＡ，ＯＢおよび原点Ｏ１は、それぞれ実空間内の所定の位置に固定されている。第１端末座標系ＷＡにおける第１端末１Ａの位置ＬＡや、第２端末座標系ＷＢにおける第２端末１Ｂの位置ＬＢは、例えば筐体中心位置として予め規定されている（図８）。
【0028】
端末１は、空間２の認識を共有する場合に、他の端末１との間で座標系ペアリングを行う。例えば、分担する端末１（１Ａ，１Ｂ）は、互いに座標系ペアリングを行う。座標系ペアリングの際、各端末１は、互いに所定の諸量を測定・取得し（図８）、その諸量に基づいて端末座標系（ＷＡ，ＷＢ）間の関係を求める。各端末１は、その関係から、端末座標系（ＷＡ，ＷＢ）間の変換パラメータ７を計算する。座標系ペアリングが確立された状態では、各端末１は、変換パラメータ７を用いて互いに位置等の変換が可能となる。すなわち、各端末１は、空間２の測定によって作成した空間データ６における位置等の表現を、共通座標系での表現に変換することができる。各端末１は、共通座標系を基準として記述された空間データ６を媒介として、空間データ６の授受を行う。これにより、各端末１は、各端末１で測定された部分空間データを統合し、統一された端末座標系で記述された空間データ６を作成することができる。なお、座標系ペアリング後では、各端末１は、自機の内部制御を、自機の端末座標系を基本として行うことに限らず、相手の端末座標系を基本として行うことも可能である。
【0029】
［空間認識方法］
図２は、実施の形態１の空間認識方法の概要および処理例を示す。この方法は、図示するステップＳ１～Ｓ９を有する。図２の例では、空間２の分担（後述の図３）として、第１端末１Ａが領域２Ａを測定し、第２端末１Ｂが領域２Ｂを測定する。また、図２の例では、第１端末１Ａで変換パラメータ７を生成し、空間２を単位とする空間データ６（６Ａ，６Ｂ）を構成し、第１端末１Ａが第２端末１Ｂに空間データ６Ｂを提供する。ここでは、第２端末１Ｂが基本構成（図３１）における情報処理装置９であり、第２端末座標系ＷＢが共通座標系ＷＳに相当する。
図２は、実施の形態１の空間認識方法の概要および処理例を示す。この方法は、図示するステップＳ１～Ｓ９を有する。図２の例では、空間２の分担（後述の図３）として、第１端末１Ａが領域２Ａを測定し、第２端末１Ｂが領域２Ｂを測定する。また、図２の例では、第１端末１Ａで変換パラメータ７を生成し、空間２を単位とする空間データ６（６Ａ，６Ｂ）を構成し、第１端末１Ａが第２端末１Ｂに空間データ６Ｂを提供する。ここでは、第２端末１Ｂが基本構成（図３１）における情報処理装置９であり、第２端末座標系ＷＢが共通座標系ＷＳに相当する。
【0030】
ステップＳ１で、第１端末１Ａは、第２端末１Ｂとの座標系ペアリング（後述の図８）を行い、これにより、第１端末座標系ＷＡと第２端末座標系ＷＢとの変換のための変換パラメータ７を生成し、自機に設定する。
【0031】
ステップＳ２で、第１端末１Ａは、分担による領域２Ａを測定し、第１端末座標系ＷＡで記述された部分的な空間データ６（部分空間データＤ１Ａとする）を作成する。なお図面中の※印はその空間データを記述する座標系を示す。一方、ステップＳ３で、第２端末１Ｂは、同様に、分担による領域２Ｂを測定し、第２端末座標系ＷＢで記述された部分的な空間データ６（部分空間データＤ１Ｂとする）を作成する。ステップＳ２，Ｓ３は同時並列で実行可能である。
【0032】
ステップＳ４で、第１端末１Ａは、第２端末１Ｂから部分空間データＤ１Ｂを受信・取得する。ステップＳ５で、第１端末１Ａは、変換パラメータ７を用いて、部分空間データＤ１Ｂを、第１端末座標系ＷＡで記述された部分的な空間データ６（部分空間データＤ１ＢＡとする）に変換する。
【0033】
ステップＳ６で、第１端末１Ａは、部分空間データＤ１Ａと部分空間データＤ１ＢＡとを１つに統合して、第１端末座標系ＷＡで記述された空間２を単位とする空間データ６Ａ（Ｄ１）として得る。これにより、第１端末１Ａは、領域２Ａのみの測定でも、空間２を単位とした空間データ６Ａ（Ｄ１）が得られる。
【0034】
さらに、以下のステップを有する。ステップＳ７で、第１端末１Ａは、変換パラメータ７を用いて、部分空間データＤ１Ａを、第２端末座標系ＷＢで記述された部分的な空間データ６（部分空間データＤ１ＡＢとする）に変換する。ステップＳ８で、第１端末１Ａは、部分空間データＤ１Ｂと部分空間データＤ１ＡＢとを１つに統合して、第２端末座標系ＷＢで記述された、空間２を単位とした空間データ６Ｂ（Ｄ１）として得る。ステップＳ９で、第１端末１Ａは、空間データ６Ｂ（Ｄ１）を第２端末１Ｂへ送信する。これにより、第２端末１Ｂは、領域２Ｂのみの測定でも、空間２を単位とした空間データ６Ｂ（Ｄ１）が得られる。
【0035】
上記方法によって、同じ空間２について、第１端末１Ａは、第１端末座標系ＷＡで記述された空間データ６Ａ（Ｄ１）を取得し、第２端末１Ｂは、第２端末座標系ＷＢで記述された空間データ６Ｂ（Ｄ１）を取得する。よって、それらの端末１（１Ａ，１Ｂ）間で空間２の認識を共有できる。例えば、第１端末１Ａと第２端末１Ｂは、空間２内の同じ位置２１に同じ仮想画像２２を表示できる（後述の図５）。その際、第１端末１Ａは、空間データ６Ａ（Ｄ１）に基づいて第１端末座標系ＷＡで記述された位置２１に仮想画像２２を表示する。第２端末１Ｂは、空間データ６Ｂ（Ｄ１）に基づいて第２端末座標系ＷＢで記述された位置２１に仮想画像２２を表示する。
【0036】
上記方法は、第２端末１Ｂで変換パラメータ７を生成し、空間データ６を構成する場合にも、同様に適用できる。
【0037】
［空間例］
図３は、空間２の構成例、および空間２を複数のユーザの端末１で分担して測定する例を示す。この空間２は、例えば会社等の建物内の１つの部屋、例えば第７会議室である。空間２には、壁、床、天井、ドア２ｄ等の配置物、机２ａやホワイトボード２ｂや他の機器等の配置物がある。配置物とは、空間２を構成する任意の実物である。他の空間２としては、会社や店舗等の建物やエリアとしてもよいし、公共空間等でもよい。
図３は、空間２の構成例、および空間２を複数のユーザの端末１で分担して測定する例を示す。この空間２は、例えば会社等の建物内の１つの部屋、例えば第７会議室である。空間２には、壁、床、天井、ドア２ｄ等の配置物、机２ａやホワイトボード２ｂや他の機器等の配置物がある。配置物とは、空間２を構成する任意の実物である。他の空間２としては、会社や店舗等の建物やエリアとしてもよいし、公共空間等でもよい。
【0038】
空間２を記述する空間データ６（特に後述の空間形状データ）は、例えばその部屋の位置や形状等を表す任意の形式のデータである。空間データ６は、空間２の境界を表すデータと、空間２内に配置されている任意の物体のデータとを含む。空間２の境界を表すデータは、例えば部屋を構成する床、壁、天井、ドア２ｄ等の配置物のデータがある。境界に配置物が無い場合もある。空間２内の物体のデータは、例えば部屋内に配置されている机２ａやホワイトボード２ｂ等のデータがある。空間データ６は、例えば、少なくとも点群データを含み、ある端末座標系において特徴点毎の位置座標情報を持つデータである。空間データ６は、空間内の線や面等を表すポリゴンデータとしてもよい。
【0039】
本例では、１つの部屋である空間２を、二人のユーザであるユーザＵ１，Ｕ２のそれぞれの端末１（１Ａ，１Ｂ）で分担して測定し、この空間２の空間データ６を作成する。分担の内容は任意に決定できる。例えば二人のユーザで相談して図示のように分担する。分担は、本例のように、対象の空間２を空間的に複数の領域（言い換えると部分空間）に分割すること、とすることができる。本例では、空間２は、図３での左右方向（軸Ｙ１方向）での中央に対し左右の半分の領域に分割されている。第１端末１Ａは、左側の領域２Ａを担当し、第２端末１Ｂは、右側の領域２Ｂを担当する。
【0040】
［分担測定例］
図４は、図３のような部屋の空間２の俯瞰（例えばＸ１－Ｙ１面）において、二人のユーザ（Ｕ１，Ｕ２）の端末１（１Ａ，１Ｂ）での分担による測定の例を示す。図４は、ある時における、ＨＭＤである端末１（１Ａ，１Ｂ）のある位置（Ｌ４０１，Ｌ４０２）および向き（ｄ４０１，ｄ４０２）での測定範囲（４０１，４０２）等の状態の例を示す。測定範囲は、ＨＭＤに備える測距センサ１３等の機能に依存する一例である。測定範囲４０１は、第１端末１Ａの位置Ｌ４０１および向きｄ４０１における例えば測距センサ１３を用いた測定範囲を示す。測定範囲４０２は、同様に、第２端末１Ｂの位置Ｌ４０２および向きｄ４０２における測定範囲を示す。
図４は、図３のような部屋の空間２の俯瞰（例えばＸ１－Ｙ１面）において、二人のユーザ（Ｕ１，Ｕ２）の端末１（１Ａ，１Ｂ）での分担による測定の例を示す。図４は、ある時における、ＨＭＤである端末１（１Ａ，１Ｂ）のある位置（Ｌ４０１，Ｌ４０２）および向き（ｄ４０１，ｄ４０２）での測定範囲（４０１，４０２）等の状態の例を示す。測定範囲は、ＨＭＤに備える測距センサ１３等の機能に依存する一例である。測定範囲４０１は、第１端末１Ａの位置Ｌ４０１および向きｄ４０１における例えば測距センサ１３を用いた測定範囲を示す。測定範囲４０２は、同様に、第２端末１Ｂの位置Ｌ４０２および向きｄ４０２における測定範囲を示す。
【0041】
なお、対象の空間２の測定の際には、１００％の領域をカバーする必要は無い。ＡＲ等の機能や必要に応じて、空間２のうち十分な量の領域が測定されればよい。空間２のうち、測定されない一部の領域が生じてもよいし、分担によって重複して測定された領域が生じてもよい。図４の例では、領域４９１は未測定領域であり、領域４９２は重複測定領域である。予め、空間２または分担領域の測定の割合（例えば９０％等）が条件として設定されてもよい。例えば、第１端末１Ａは、分担の領域２Ａをその条件の割合以上で測定した場合、測定終了と判断する。
【0042】
端末１（１Ａ，１Ｂ）間での座標系ペアリング後、各端末１は、分担された領域２Ａ，２Ｂの各測定範囲（４０１，４０２）を測定し、各測定データを得る。第１端末１Ａは、領域２Ａの測定範囲４０１を測定し、測定データ４１１を得る。第２端末１Ｂは、領域２Ｂの測定範囲４０２を測定し、測定データ４１２を得る。測定データは、例えば測距センサ１３によって得られる点群データである。点群データは、周囲の複数の特徴点における点毎に位置、方向、および距離等を持つデータである。各端末１は、測定データから、部分空間データ４２０を作成する。第１端末１Ａは、測定データ４１１から、第１端末座標系ＷＡで記述されている部分空間データＤ１Ａを作成する。第２端末１Ｂは、測定データ４１２から、第２端末座標系ＷＢで記述されている部分空間データＤ１Ｂを作成する。
【0043】
図４の例では、第１端末１Ａが第１端末座標系ＷＡで記述された空間データ６Ａ（Ｄ１）を作成し、第２端末１Ｂが第２端末座標系ＷＢで記述された空間データ６Ｂ（Ｄ１）を作成する場合を示す。各端末１は、相手の端末１に、自機で作成した部分空間データ４２０を送信する。第１端末１Ａは、部分空間データＤ１Ａを第２端末１Ｂに送信する。第２端末１Ｂは、部分空間データＤ１Ｂを第１端末１Ａに送信する。
【0044】
各端末１は、相手の端末１から得た部分空間データ４３０を、変換パラメータ７を用いて、自機の端末座標系での部分空間データ４４０に変換する。第１端末１Ａは、部分空間データＤ１Ｂを、第１端末座標系ＷＡで記述された部分空間データＤ１ＢＡに変換する。第２端末１Ｂは、部分空間データＤ１Ａを、第２端末座標系ＷＢで記述された部分空間データＤ１ＡＢに変換する。
【0045】
各端末１は、自機で得た部分空間データ４２０と、相手から得た部分空間データ４４０とを、統一された端末座標系での１つの空間２を単位とした空間データ６（４５０）に統合する。第１端末１Ａは、部分空間データＤ１Ａと、部分空間データＤ１ＢＡとを１つに統合して、第１端末座標系ＷＡで記述された空間データＤ１（６Ａ）として得る。第２端末１Ｂは、部分空間データＤ１Ｂと、部分空間データＤ１ＡＢとを１つに統合して、第２端末座標系ＷＢで記述された空間データＤ１（６Ｂ）として得る。この例の場合、２つの端末１のうち、どちらが基本構成（図３１）の情報処理装置９に相当すると考えるかは任意でよい。空間データ６の授受で使用する端末座標系がその空間データ６の授受における共通座標系である。
【0046】
上記方法によれば、空間２を一人のユーザの端末１で測定する場合よりも、測定および空間データの取得に係わる時間を短くして効率的に実現できる。
【0047】
なお、空間２のうち、一方のユーザの端末１から見て他ユーザが写っていて他ユーザの奥側の陰になる空間部分が生じる場合、そのような空間部分については、他ユーザの端末１によって測定可能であり、その他ユーザの端末１による測定とした方が効率的である。
【0048】
測定の際には、ユーザおよび対応する端末１が適宜に位置を移動し、測定範囲を変えることもできる。図示の未測定領域４９１についても、別途、他の位置からの測定範囲に含めることで測定できる。
【0049】
分担に関するより高度な方法として、いずれかの端末１が、分担を自動的に判断して決定してもよい。例えば、各端末１は、カメラ画像等に基づいて、部屋内における自機の概略的な位置・向き、他ユーザ・他機の写り込みの有無やその位置・向き等を判断する。例えば、第１端末１Ａは、カメラ画像に第２ユーザＵ２および第２端末１Ｂが写っていない状態の時、その時の向きにある領域・範囲を、第１端末１Ａの分担する領域・範囲として選択する。
【0050】
［利用例］
図５は、図３のように空間２の認識を共有する二人のユーザ（Ｕ１，Ｕ２）の端末１（１Ａ，１Ｂ）間における空間データ６を用いた空間２の利用例を示す。第１端末１Ａと第２端末１Ｂは、第１端末座標系ＷＡと第２端末座標系ＷＢとの座標系ペアリングの状態で、空間データ６を用いて、ＡＲ機能によって、空間２内の同じ位置２１に同じ仮想画像２２を表示する。その際、第１端末１Ａは、表示面１１で第１端末座標系ＷＡでの位置２１に仮想画像２２を表示し、第２端末１Ｂは、表示面１１で第２端末座標系ＷＢでの位置２１に仮想画像２２を表示する。一方の端末１、例えば第１端末１Ａは、位置２１と表示対象の仮想画像２２を指定し、その位置２１等の情報を第２端末１Ｂに伝える。その際、第１端末１Ａまたは第２座標系ＷＢは、変換パラメータ７を用いて、第１端末座標系ＷＡでの位置２１を、第２端末座標系ＷＢでの位置２１に変換する。各端末１は、空間データ６で表す空間２の配置物の位置や形状等に合わせた位置２１に仮想画像２２を速やかに高精度に表示できる。例えば、各端末１は、ユーザＵ１によって指定された机２ａ上面の中心の位置２１に合わせて仮想画像２２を配置し表示できる。ユーザＵ１とユーザＵ２は、同じ仮想画像２２を見ながら作業やコミュニケーションができる。
図５は、図３のように空間２の認識を共有する二人のユーザ（Ｕ１，Ｕ２）の端末１（１Ａ，１Ｂ）間における空間データ６を用いた空間２の利用例を示す。第１端末１Ａと第２端末１Ｂは、第１端末座標系ＷＡと第２端末座標系ＷＢとの座標系ペアリングの状態で、空間データ６を用いて、ＡＲ機能によって、空間２内の同じ位置２１に同じ仮想画像２２を表示する。その際、第１端末１Ａは、表示面１１で第１端末座標系ＷＡでの位置２１に仮想画像２２を表示し、第２端末１Ｂは、表示面１１で第２端末座標系ＷＢでの位置２１に仮想画像２２を表示する。一方の端末１、例えば第１端末１Ａは、位置２１と表示対象の仮想画像２２を指定し、その位置２１等の情報を第２端末１Ｂに伝える。その際、第１端末１Ａまたは第２座標系ＷＢは、変換パラメータ７を用いて、第１端末座標系ＷＡでの位置２１を、第２端末座標系ＷＢでの位置２１に変換する。各端末１は、空間データ６で表す空間２の配置物の位置や形状等に合わせた位置２１に仮想画像２２を速やかに高精度に表示できる。例えば、各端末１は、ユーザＵ１によって指定された机２ａ上面の中心の位置２１に合わせて仮想画像２２を配置し表示できる。ユーザＵ１とユーザＵ２は、同じ仮想画像２２を見ながら作業やコミュニケーションができる。
【0051】
［情報端末装置（ＨＭＤ）］
図６は、端末１の一例としてのＨＭＤの外観構成例を示す。このＨＭＤは、眼鏡状の筐体１０に、表示面１１を含む表示デバイスを備える。この表示デバイスは、例えば透過型表示デバイスであり、表示面１１には外界の実像が透過され、その実像上に画像が重畳表示される。筐体１０には、コントローラ、カメラ１２、測距センサ１３、他のセンサ部１４等が実装されている。
図６は、端末１の一例としてのＨＭＤの外観構成例を示す。このＨＭＤは、眼鏡状の筐体１０に、表示面１１を含む表示デバイスを備える。この表示デバイスは、例えば透過型表示デバイスであり、表示面１１には外界の実像が透過され、その実像上に画像が重畳表示される。筐体１０には、コントローラ、カメラ１２、測距センサ１３、他のセンサ部１４等が実装されている。
【0052】
カメラ１２は、例えば筐体１０の左右両側に配置された２つのカメラを有し、ＨＭＤの前方を含む範囲を撮影して画像を取得する。測距センサ１３は、ＨＭＤと外界の物体との距離を測定するセンサである。測距センサ１３は、ＴＯＦ（Time Of Flight）方式のセンサを用いてもよいし、ステレオカメラや他の方式を用いてもよい。センサ部１４は、ＨＭＤの位置および向きの状態を検出するためのセンサ群を含む。筐体１０の左右には、マイクを含む音声入力装置１８、スピーカやイヤホン端子を含む音声出力装置１９等を備える。
【0053】
端末１には、リモートコントローラ等の操作器が付属していてもよい。その場合、ＨＭＤは、その操作器との間で例えば近距離無線通信を行う。ユーザは、手で操作器を操作することで、ＨＭＤの機能に関する指示入力や表示面１１でのカーソル移動等ができる。ＨＭＤは、外部のスマートフォンやＰＣ等と通信して連携を行ってもよい。例えば、ＨＭＤは、スマートフォンのアプリケーションからＡＲの画像データを受信してもよい。
【0054】
端末１は、作業支援や娯楽のためにＡＲ等の仮想画像を表示面１１に表示させるアプリケーションプログラム等を備える。例えば、端末１は、作業支援のためのアプリケーションの処理によって、作業支援のための仮想画像２２（図１）を生成し、表示面１１において、空間２内の作業対象物の付近の所定の位置２１に仮想画像２２を配置し表示させる。
【0055】
図７は、図６の端末１（ＨＭＤ）の機能ブロック構成例を示す。端末１は、プロセッサ１０１、メモリ１０２、カメラ１２、測距センサ１３、センサ部１４、表示面１１を含む表示デバイス１０３、通信デバイス１０４、マイクを含む音声入力装置１８、スピーカ等を含む音声出力装置１９、操作入力部１０５、およびバッテリ１０６等を備える。これらの要素はバス等を通じて相互に接続されている。
【0056】
プロセッサ１０１は、ＣＰＵ、ＲＯＭ、ＲＡＭ等で構成され、ＨＭＤのコントローラを構成する。プロセッサ１０１は、メモリ１０２の制御プログラム３１やアプリケーションプログラム３２に従った処理を実行することにより、ＯＳ、ミドルウェア、アプリケーション等の機能や他の機能を実現する。メモリ１０２は、不揮発性記憶装置等で構成され、プロセッサ１０１等が扱う各種のデータや情報を記憶する。メモリ１０２には、一時的な情報として、カメラ１２等によって取得した画像や検出情報等も格納される。
【0057】
カメラ１２は、レンズから入射した光を撮像素子で電気信号に変換して画像を取得する。測距センサ１３は、例えばＴＯＦセンサを用いる場合、外界に出射した光が物体に当たって戻ってくるまでの時間から、その物体までの距離を計算する。センサ部１４は、例えば、加速度センサ１４１、ジャイロセンサ（角速度センサ）１４２、地磁気センサ１４３、ＧＰＳ受信器１４４を含む。センサ部１４は、これらのセンサの検出情報を用いて、ＨＭＤの位置、向き、動き等の状態を検出する。ＨＭＤは、これに限らず、照度センサ、近接センサ、気圧センサ等を備えてもよい。
【0058】
表示デバイス１０３は、表示駆動回路や表示面１１を含み、表示情報３４の画像データに基づいて、表示面１１に仮想画像等を表示する。なお、表示デバイス１０３は、透過型表示デバイスに限らず、非透過型表示デバイス等としてもよい。
【0059】
通信デバイス１０４は、所定の各種の通信インタフェースに対応する通信処理回路やアンテナ等を含む。通信インタフェースの例は、モバイル網、Ｗｉ－Ｆｉ（登録商標）、ＢｌｕｅＴｏｏｔｈ（登録商標）、赤外線等が挙げられる。通信デバイス１０４は、他の端末１やアクセスポイント２３（図１）との間での無線通信処理等を行う。通信デバイス１０４は、操作器との近距離通信処理も行う。
【0060】
音声入力装置１８は、マイクからの入力音声を音声データに変換する。音声出力装置１９は、音声データに基づいてスピーカ等から音声を出力する。音声入力装置は、音声認識機能を備えてもよい。音声出力装置は、音声合成機能を備えてもよい。操作入力部１０５は、ＨＭＤに対する操作入力、例えば電源オン／オフや音量調整等を受け付ける部分であり、ハードウェアボタンやタッチセンサ等で構成される。バッテリ１０６は、各部に電力を供給する。
【0061】
プロセッサ１０１によるコントローラは、処理によって実現される機能ブロックの構成例として、通信制御部１０１Ａ、表示制御部１０１Ｂ、データ処理部１０１Ｃ、およびデータ取得部１０１Ｄを有する。
【0062】
メモリ１０２には、制御プログラム３１、アプリケーションプログラム３２、設定情報３３、表示情報３４、座標系情報３５、空間データ情報３６等が格納されている。制御プログラム３１は、空間認識機能を含む制御を実現するためのプログラムである。アプリケーションプログラム３２は、空間データ６を利用するＡＲ等の機能を実現するプログラムである。設定情報３３は、各機能に係わるシステム設定情報やユーザ設定情報を含む。表示情報３４は、仮想画像２２等の画像を表示面１１に表示するための画像データや位置座標情報を含む。
【0063】
座標系情報３５は、空間認識機能に係わる管理情報である。座標系情報３５は、例えば図３のように二人のユーザ間で分担する場合、自機の第1端末座標系ＷＡの情報と、相手の第２端末座標系ＷＢの情報と、自機側の諸量データおよび相手側の諸量データ（図８）と、変換パラメータ７（図１等）と、を含む。
【0064】
空間データ情報３６は、図１等の空間データ６に対応する情報であり、端末１が作成して保持する情報である。端末１は、自機内部にライブラリーとして各空間２に関する空間データ６を保持してもよい。端末１は、他の端末１から空間データ６を取得して保持してもよい。端末１は、後述のように外部のサーバ等が保持し、提供する空間データ６を取得してもよい。
【0065】
通信制御部１０１Ａは、他の端末１との通信の際等に、通信デバイス１０４を用いた通信処理を制御する。表示制御部１０１Ｂは、表示情報３４を用いて、表示デバイス１０３の表示面１１への仮想画像２２等の表示を制御する。
【0066】
データ処理部１０１Ｃは、座標系情報３５を読み書きし、自機の端末座標系の管理のための処理や、相手の端末座標系との座標系ペアリングの処理や、変換パラメータ７を用いた座標系間の変換処理等を行う。データ処理部１０１Ｃは、座標系ペアリングの際には、自機側の諸量データを測定する処理、相手側の諸量データを取得する処理、変換パラメータ７を生成する処理等を行う。
【0067】
データ取得部１０１Ｄは、カメラ１２、測距センサ１３、およびセンサ部１４等の各種のセンサから各検出データを取得する。データ取得部１０１Ｄは、座標系ペアリングの際には、データ処理部１０１Ｃからの制御に従って自機側の諸量データを測定する。
【0068】
［座標系ペアリング］
次に、座標系ペアリングの詳細について説明する。図８は、図１の第１端末１Ａの第１端末座標系ＷＡと第２端末１Ｂの第２端末座標系ＷＢとの間で座標系ペアリングを行う場合の説明図を示し、各座標系や諸量の関係等を示す。以下、これらの２台の端末１間における、第１端末座標系ＷＡと第２端末座標系ＷＢとの間の座標系ペアリングによる空間認識共有について記述する。
次に、座標系ペアリングの詳細について説明する。図８は、図１の第１端末１Ａの第１端末座標系ＷＡと第２端末１Ｂの第２端末座標系ＷＢとの間で座標系ペアリングを行う場合の説明図を示し、各座標系や諸量の関係等を示す。以下、これらの２台の端末１間における、第１端末座標系ＷＡと第２端末座標系ＷＢとの間の座標系ペアリングによる空間認識共有について記述する。
【0069】
なお、図８の例では、第１端末座標系ＷＡの原点ＯＡの位置と第１端末１Ａの位置ＬＡとは異なり、第２端末座標系ＷＢの原点ＯＢの位置と第２端末１Ｂの位置ＬＢとは異なるが、これに限定するものではない。それらの位置が一致する場合もあり、その場合でも同様に適用可能である。以下では、このように世界座標系の原点と端末１の位置とが一致していない一般的な場合について、座標系間の関係を説明する。
【0070】
例えば第１端末１Ａは、第２端末１Ｂとの空間認識共有を行う場合、それらを１つのペアとして、互いに世界座標系情報の共有を行う動作として、座標系ペアリングを行う。２台の端末１（１Ａ，１Ｂ）は、１回座標系ペアリングを行えばよい。３台以上の端末１がある場合でも、同様にペア毎に座標系ペアリングを行えばよい。
【0071】
座標系ペアリングの際、各端末１（１Ａ，１Ｂ）は、各端末座標系（ＷＡ，ＷＢ）で所定の諸量を測定し、相手の端末１との間で諸量データを交換する。第１端末１Ａは、自機側で測定する諸量８０１として、特定方向ベクトルＮＡと、端末間ベクトルＰＢＡと、座標値ｄＡとを測定する。第１端末１Ａは、それらの諸量８０１のデータを第２端末１Ｂに送信する。第２端末１Ｂは、自機側で測定する諸量８０２として、特定方向ベクトルＮＢと、端末間ベクトルＰＡＢと、座標値ｄＢとを測定する。第２端末１Ｂは、それらの諸量８０２のデータを第１端末１Ａに送信する。
【0072】
各端末１は、自機で測定した諸量データと、相手から得た諸量データとに基づいて、ペアの端末座標系間の関係を求めることができ、その関係から、端末座標系間の変換のための変換パラメータ７を計算できる。これにより、端末１間では、変換パラメータ７を用いて、各端末座標系を関連付けて、世界座標系情報の共有ができる。
【0073】
なお、座標系ペアリングにおける一方の端末１、例えば第１端末１Ａのみが、座標系間の変換を行う場合には、その第１端末１Ａのみが、自機側の諸量８０１と相手側の諸量８０２を取得して変換パラメータ７を生成すればよい。この場合、第１端末１Ａから第２端末１Ｂへ諸量８０１を送信する必要は無い。また、その第１端末１Ａが、生成した変換パラメータ７を第２端末１Ｂへ送信してもよい。そうすれば、第２端末１Ｂ側でも変換が可能となる。
【0074】
実施の形態１では、座標系ペアリングの際の諸量として、以下の３つの要素の情報を有する。諸量は、第１情報として特定方向ベクトルと、第２情報として端末間ベクトルと、第３情報として世界座標値とを有する。
【0075】
（１）特定方向ベクトルについて： 各端末１は、世界座標系における実空間内の特定方向に関する情報として、特定方向ベクトルを用いる。座標系間の回転の関係を求めるために、異なる２つの特定方向ベクトル（ＮＡ，ＮＢ，ＭＡ，ＭＢ）を用いる。特定方向ベクトルＮＡは、第１端末１Ａにおける第１の方向ベクトルの表現であり、単位方向ベクトルをｎＡとする。特定方向ベクトルＮＢは、第２端末１Ｂにおける第１の方向ベクトルの表現であり、単位方向ベクトルをｎＢとする。特定方向ベクトルＭＡは、第１端末１Ａにおける第２の方向ベクトルの表現であり、単位方向ベクトルをｍＡとする。特定方向ベクトルＭＢは、第２端末１Ｂにおける第２の方向ベクトルの表現であり、単位方向ベクトルをｍＢとする。
【0076】
実施の形態１では、特に、１つの特定方向（第１特定方向）として、鉛直下方向を用い、もう１つの特定方向（第２特定方向）として、後述の端末間ベクトルを用いる。図８の例では、第１特定方向として鉛直下方向の特定方向ベクトルＮＡ，ＮＢを用いる。特定方向ベクトルＮＡは、第１端末１Ａの鉛直下方向の方向ベクトルであり、単位方向ベクトルをｎＡとする。特定方向ベクトルＮＢは、第２端末１Ｂの鉛直下方向の方向ベクトルであり、単位方向ベクトルをｎＢとする。
【0077】
鉛直下方向は、例えば端末１に備える加速度センサ１４１（図７）である３軸加速度センサを用いて、重力加速度の方向として測定できる。あるいは、世界座標系（ＷＡ，ＷＢ）の設定において、鉛直下方向を、Ｚ軸（ＺＡ，ＺＢ）の負方向として設定してもよい。いずれにせよ、この特定方向である鉛直下方向は、世界座標系において変化しないので、座標系ペアリング毎に毎回測定しなくてもよい。
【0078】
（２）端末間ベクトルについて： 各端末１は、一方の端末１（例えば第１端末１Ａ）から他方の端末１（例えば第２端末１Ｂ）への位置関係を表す情報として、端末位置（ＬＡ，ＬＢ）間のベクトル（すなわち方向と距離）の情報を用いる。この情報を「端末間ベクトル」と記載する。図８の例では、端末間ベクトルＰＢＡ，ＰＡＢを用いる。端末間ベクトルＰＢＡは、第１端末１Ａを基準として位置ＬＡから第２端末１Ｂの位置ＬＢをみた方向での位置関係を表すベクトルである。端末間ベクトルＰＡＢは、第２端末１Ｂを基準として位置ＬＢから第１端末１Ａの位置ＬＡをみた方向での位置関係を表すベクトルである。第１端末１Ａから第２端末１Ｂまでの、第１端末座標系ＷＡでのベクトル表現がＰＢＡであり、第２端末１Ｂから第１端末１Ａまでの、第２端末座標系ＷＢでのベクトル表現がＰＡＢである。
【0079】
端末間ベクトルは、世界座標系間の向きの関係を求めるための、実空間内のもう１つの特定方向（第２特定方向）に関する情報を含む。ここで、特定方向ベクトル（ＭＡ，ＭＢ）と端末間ベクトル（ＰＢＡ，ＰＡＢ）については、下記の対応関係がある。
ＰＢＡ＝ＭＡ
ＰＡＢ＝－ＭＢ
ＰＢＡ＝ＭＡ
ＰＡＢ＝－ＭＢ
【0080】
座標系ペアリングの際、各端末１は、相手の端末１までの端末間ベクトルを、例えば図１等の測距センサ１３あるいはステレオ方式のカメラ１２を用いて測定する。なお、端末１間の位置関係の測距については、詳しくは以下のようにしてもよい。例えば、第１端末１Ａの測距センサ１３は、前方に見える第２端末１Ｂとの距離を測定する。この際、第１端末１Ａは、第２端末１Ｂの認識のために、カメラ１２の画像から第２端末１Ｂの筐体の形状を測定してもよいし、第２端末１Ｂの筐体に形成されている所定のマーカ等を特徴点として測定してもよい。
【0081】
（３）世界座標値について： 各端末１は、世界座標系における位置を表す座標値の情報を用いる。図８の例では、世界座標値として、第１端末座標系ＷＡでの座標値ｄＡ、および第２端末座標系ＷＢでの座標値ｄＢを用いる。第１端末１Ａの位置ＬＡについての第１端末座標系ＷＡにおける座標値を、ｄＡ＝（ｘＡ，ｙＡ，ｚＡ）とする。第２端末１Ｂの位置ＬＢについての第２端末座標系ＷＢにおける座標値を、ｄＢ＝（ｘＢ，ｙＢ，ｚＢ）とする。これらの座標値は、世界座標系の設定に応じて定まる。端末位置ベクトルＶＡは、原点ＯＡから位置ＬＡまでのベクトルである。端末位置ベクトルＶＢは、原点ＯＢから位置ＬＢまでのベクトルである。
【0082】
なお、図８で、ベクトルＦＡは、端末位置情報に相当する、第１端末１Ａの第１端末座標系ＷＡでの第２端末１Ｂの位置を表すベクトルであり、第１端末１Ａの座標値ｄＡ（ベクトルＶＡ）と端末間ベクトルＰＢＡとを合成したベクトルに相当する。ベクトルＦＢは、第２端末１Ｂの第２端末座標系ＷＢでの第１端末１Ａの位置を表すベクトルであり、第２端末１Ｂの座標値ｄＢ（ベクトルＶＢ）と端末間ベクトルＰＡＢとを合成したベクトルに相当する。位置ベクトルＧＡは、第１端末座標系ＷＡにおける位置２１のベクトルであり、位置座標値ｒＡは、その位置２１の座標値である。位置ベクトルＧＢは、第２端末座標系ＷＢにおける位置２１のベクトルであり、位置座標値ｒＢは、その位置２１の座標値である。原点間ベクトルｏＢＡは、第１端末座標系ＷＡの原点ＯＡから第２端末座標系ＷＢの原点ＯＢへのベクトルであり、原点間ベクトルｏＡＢは、第２端末座標系ＷＢの原点ＯＢから第１端末座標系ＷＡの原点ＯＡへのベクトルである。ベクトルＥＡは、ユーザＵ１の視点に対応する位置ＬＡから位置２１を見る場合のベクトルである。ベクトルＥＢは、ユーザＵ２の視点に対応する位置ＬＢから位置２１を見る場合のベクトルである。
【0083】
［変換パラメータ］
上記座標系ペアリングによって、端末１（１Ａ，１Ｂ）間での世界座標系（ＷＡ，ＷＢ）の関係が分かり、互いに位置や向きの変換が可能となる。すなわち、第２端末座標系ＷＢを第１端末座標系ＷＡに合わせるようにするための変換、あるいは、その逆の変換が可能となる。この世界座標系間の変換は、所定の変換パラメータ７で表される。変換パラメータ７は、座標系の方向の変換（言い換えると回転）と、座標系の原点の差との計算用のパラメータである。
上記座標系ペアリングによって、端末１（１Ａ，１Ｂ）間での世界座標系（ＷＡ，ＷＢ）の関係が分かり、互いに位置や向きの変換が可能となる。すなわち、第２端末座標系ＷＢを第１端末座標系ＷＡに合わせるようにするための変換、あるいは、その逆の変換が可能となる。この世界座標系間の変換は、所定の変換パラメータ７で表される。変換パラメータ７は、座標系の方向の変換（言い換えると回転）と、座標系の原点の差との計算用のパラメータである。
【0084】
例えば、第１端末１Ａで座標系変換ができるようにする場合、第１端末１Ａは、自機側の諸量８０１と相手側の諸量８０２とから、端末座標系（ＷＡ，ＷＢ）間の関係を計算して、変換パラメータ７を生成し、自機に設定する。第２端末１Ｂ側でも同様のことが可能である。変換パラメータ７は、第１端末座標系ＷＡでの位置等を第２端末座標系ＷＢの位置等に変換する変換パラメータ７１と、第２端末座標系ＷＢでの位置等を第１端末座標系ＷＡでの位置等に変換する変換パラメータ７２とがある。それらの変換は互いに逆変換である。少なくとも一方の端末１が変換パラメータ７を保持すればよく、両方の端末１が同じ変換パラメータ７を保持してもよい。
【0085】
［位置変換］
図９は、座標系ペアリング後の２台の端末１（１Ａ，１Ｂ）間での位置伝達および座標系変換の構成例を示す。４つの例を（Ａ）～（Ｄ）として示す。端末１（１Ａ，１Ｂ）間では、変換パラメータ７を用いて、空間２内の同じ位置２１（図８）を指定して共有できる。一方の端末１は、他方の端末１に、位置２１の指定の情報や表示対象の仮想画像２２のデータ等を伝達する。一方または他方の端末１は、変換パラメータ７を用いて、座標系間で位置２１を変換する。
図９は、座標系ペアリング後の２台の端末１（１Ａ，１Ｂ）間での位置伝達および座標系変換の構成例を示す。４つの例を（Ａ）～（Ｄ）として示す。端末１（１Ａ，１Ｂ）間では、変換パラメータ７を用いて、空間２内の同じ位置２１（図８）を指定して共有できる。一方の端末１は、他方の端末１に、位置２１の指定の情報や表示対象の仮想画像２２のデータ等を伝達する。一方または他方の端末１は、変換パラメータ７を用いて、座標系間で位置２１を変換する。
【0086】
（Ａ）は第１例を示す。第１端末１Ａは、第１端末座標系ＷＡでの位置（例えば仮想画像２２の表示対象の位置２１）である位置座標値ｒＡを、変換パラメータ７１を用いて、第２端末座標系ＷＢでの位置（位置座標値ｒＢ）に変換し、第２端末１Ｂに送信する。
【0087】
（Ｂ）は第２例を示す。第１端末１Ａは、第１端末座標系ＷＡでの位置である位置座標値ｒＡを、第２端末１Ｂに送信し、第２端末１Ｂは、受信したその位置座標値ｒＡを、変換パラメータ７１を用いて、第２端末座標系ＷＢでの位置座標値ｒＢに変換する。
【0088】
（Ｃ）は第３例を示す。第２端末１Ｂは、第２端末座標系ＷＢでの位置である位置座標値ｒＢを、変換パラメータ７２を用いて、第１端末座標系ＷＡでの位置座標値ｒＡに変換し、第１端末１Ａに送信する。
【0089】
（Ｄ）は第４例を示す。第２端末１Ｂは、第２端末座標系ＷＢでの位置座標値ｒＢを、第１端末１Ａに送信し、第１端末１Ａは、受信したその位置座標値ｒＢを、変換パラメータ７２を用いて、第１端末座標系ＷＡでの位置座標値ｒＡに変換する。
【0090】
上記のように、例えば第１端末１Ａから第２端末１Ｂに位置を伝える場合には、（Ａ）か（Ｂ）の方法で変換を行えばよく、第２端末１Ｂから第１端末１Ａに位置を伝える場合には、（Ｃ）か（Ｄ）の方法で変換を行えばよい。基本構成（図３１）との対応で言えば、（Ａ）と（Ｄ）は第２端末座標系が共通座標系になる場合であり、（Ｂ）と（Ｃ）は第1端末座標系が共通座標系になる場合である。
【0091】
図９の下側には、変換パラメータ７のテーブル構成例を示す。変換パラメータ７１のテーブル９０１は、項目として、変換元端末座標系、変換先端末座標系、回転、および原点表現を有する。「変換元端末座標系」項目は、変換元の端末１（括弧内は対応するユーザ）の識別情報と、その端末１が有する端末座標系の識別情報とを格納する。「変換先端末座標系」項目は、変換先の端末１（括弧内は対応するユーザ）の識別情報と、その端末１が有する端末座標系の識別情報とを格納する。「回転」項目は、それらの端末座標系間の回転の表現の情報を格納する。「原点表現」項目は、それらの端末座標系間の原点の差の表現を格納する。例えば、変換パラメータ７１のテーブル９０１の第１行は、第１端末１Ａの第１端末座標系ＷＡから第２端末１Ｂの第２端末座標系ＷＢへの変換のための回転（ｑＡＢ）と、第１端末座標系ＷＡでみた第２端末座標系ＷＢの原点の表現（ｏＢＡ）とを有する。
【0092】
［処理フロー］
図１０は、図３のような２台の端末１（１Ａ，１Ｂ）間で空間２を分担して測定し、１つの空間データ６を得る場合の処理フロー例を示す。図１０は、第１端末１Ａのフロー（ステップＳ１Ａ～Ｓ１２Ａ）と、第２端末１Ｂのフロー（ステップＳ１Ｂ～Ｓ１２Ｂ）とを有する。
図１０は、図３のような２台の端末１（１Ａ，１Ｂ）間で空間２を分担して測定し、１つの空間データ６を得る場合の処理フロー例を示す。図１０は、第１端末１Ａのフロー（ステップＳ１Ａ～Ｓ１２Ａ）と、第２端末１Ｂのフロー（ステップＳ１Ｂ～Ｓ１２Ｂ）とを有する。
【0093】
ステップＳ１Ａ，Ｓ１Ｂでは、第１端末１Ａと第２端末１Ｂとの間で、図７の通信デバイス１０７の処理を通じて、空間認識共有に係わる無線通信接続を確立する。
【0094】
ステップＳ２Ａ，Ｓ２Ｂでは、ユーザは、ＨＭＤである端末１に、空間２の測定を開始するための入力操作を行う。例えば、ユーザＵ１は、第１端末１Ａに測定開始指示を入力し、ユーザＵ２は、第２端末１Ｂに測定開始指示を入力する。なお、端末１（１Ａ，１Ｂ）間で、測定開始に係わる通信を行ってもよい。また、例えば、端末１は、測定の開始や終了の操作に係わるガイド画像を表示面１１に表示してもよい。ユーザは、それに従って測定の開始や終了の入力操作を行う。入力操作は、ハードウェアボタン操作でもよいし、音声認識による操作でもよいし、手指を動かす等の所定のジェスチャの検出による操作でもよい。また、他の方式としては、端末１が予めの設定や自動的な判断によって、測定の開始や終了等を制御する方式としてもよい。
【0095】
また、ステップＳ２Ａ，Ｓ２Ｂでは、図３，図４のような空間２の領域や測定範囲に関する分担の設定を行ってもよい。端末１は、分担の設定に係わる画像を表示面１１に表示してもよい。ユーザは、その画像に従って設定の操作を行う。ステップＳ２Ａ，Ｓ２Ｂに基づいて、各端末１は、以降のステップを開始する。
【0096】
ステップＳ３Ａ～Ｓ６ＡおよびＳ３Ｂ～Ｓ６Ｂは、座標系ペアリングを行うステップである。なお、実施の形態１の方法は、座標系ペアリング後に空間２の測定を行う方法である。そのため、ステップＳ２Ａ，Ｓ２Ｂの測定開始指示は、言い換えると、座標系ペアリング開始指示である。
【0097】
ステップＳ３Ａ，Ｓ３Ｂでは、一方の端末１から他方の端末１に、座標系ペアリングの要求を送信する。例えば、第１端末１Ａは、第２端末１Ｂに、座標系ペアリング要求を送信する。第２端末１Ｂは、座標系ペアリング要求を受信し、受け入れる場合には、受け入れる旨の座標系ペアリング応答を、第１端末１Ａに送信する。ステップＳ３Ａ，Ｓ３Ｂでは、各端末１は、表示面１１に、座標系ペアリングのガイドのための画像（後述の図１１）を表示してもよい。
【0098】
ステップＳ４Ａ，Ｓ４Ｂでは、第１端末１Ａと第２端末１Ｂは、互いにタイミングを合わせて、座標系ペアリングのための諸量（図８）を測定する。第１端末１Ａは、諸量８０１を測定し、第２端末１Ｂは、諸量８０２を測定する。
【0099】
ステップＳ５Ａ，Ｓ５Ｂでは、第１端末１Ａと第２端末１Ｂは、互いに自機側の諸量データを相手側に送信することで、諸量データを交換する。第１端末１Ａは、第２端末１Ｂから諸量８０２を取得し、第２端末１Ｂは、第１端末１Ａから諸量８０１を取得する。
【0100】
ステップＳ６Ａ，Ｓ６Ｂでは、第１端末１Ａおよび第２端末１Ｂは、それぞれ変換パラメータ７を生成して自機に設定する。第１端末１Ａは、自機側の諸量８０１と相手側の諸量８０２とを用いて変換パラメータ７（例えば図９の変換パラメータ７１，７２の両方）を生成して自機に設定する。第２端末１Ｂは、自機側の諸量８０２と相手側の諸量８０１とを用いて変換パラメータ７（例えば図９の変換パラメータ７１，７２の両方）を生成して自機に設定する。これにより、座標系ペアリングの状態が確立する。
【0101】
なお、座標系ペアリング確立後にステップＳ２Ａ，Ｓ２Ｂの測定開始指示入力を行うフローとしてもよい。
【0102】
ステップＳ６Ａ，Ｓ６Ｂまでで座標系ペアリングが確立された後、ステップＳ７Ａ，Ｓ７Ｂ以降のループでは、各端末１は、分担による空間２の領域を測定する（図３，図４）。ステップＳ７Ａで、第１端末１Ａは、測距センサ１３等を用いて領域２Ａを対象に測定して測定データ４１１を得る。ステップＳ７Ｂで、第２端末１Ｂは、測距センサ１３等を用いて領域２Ｂを対象に測定して測定データ４１２を得る。
【0103】
ステップＳ８Ａ，Ｓ８Ｂでは、各端末１は、測定データに基づいて部分空間データを構成し、互いに相手の端末１に送信する（図４）。第１端末１Ａは、自機側の部分空間データＤ１Ａと、相手側からの部分空間データＤ１Ｂとを得る。第２端末１Ｂは、自機側の部分空間データＤ１Ｂと、相手側からの部分空間データＤ１Ａとを得る。
【0104】
ステップＳ９Ａ，Ｓ９Ｂでは、各端末１は、必要に応じて、相手側の端末座標系で記述された部分空間データを、変換パラメータ７を用いて、自機側の端末座標系で記述された部分空間データに変換する（図４）。例えば、図９の（Ｄ）のように、第１端末１Ａは、部分空間データＤ１Ｂを、変換パラメータ７２を用いて、部分空間データＤ１ＢＡに変換する。図９の（Ｂ）のように、第２端末１Ｂは、部分空間データＤ１Ａを、変換パラメータ７１を用いて、部分空間データＤ１ＡＢに変換する。また、各端末１は、自機側で得た部分空間データと、相手側から得た部分空間データとを、１つに統合して、空間２を単位とした空間データ６を得る（図４）。例えば、第１端末１Ａは、部分空間データＤ１Ａと、部分空間データＤ１ＢＡとから、空間データ６Ａ（Ｄ１）を得る。第２端末１Ｂは、部分空間データＤ１Ｂと、部分空間データＤ１ＡＢとから、空間データ６Ｂ（Ｄ１）を得る。なお、本例は、両方の端末１が同時並行でそれぞれの空間データ６（６Ａ，６Ｂ）を作成する場合を示したが、これに限らず、一方の端末１が作成した空間データ６を相手の端末１に送信してもよい。
【0105】
ステップＳ１０Ａ，Ｓ１０Ｂでは、各端末１は、上記座標系ペアリング状態での空間測定を終了するかどうかを判断する。この際、ユーザが端末１に測定終了指示の入力操作をしてもよいし、端末１が自動的な判断によって測定終了としてもよい。例えば、端末１は、測定データまたは空間データ等に基づいて、対象の空間２または分担の領域のうちの所定の率以上が測定済みまたは作成済みとなったと判断した場合には、自機での測定終了と判断してもよい。その率は可変設定値である。端末１は、測定終了と判断した場合（Yes）には次のステップへ進み、未終了と判断した場合（No）にはステップＳ７Ａ，Ｓ７Ｂに戻って同様に処理を繰り返す。
【0106】
ステップＳ１１Ａ，Ｓ１１Ｂでは、各端末１は、上記作成した空間データ６を用いて、相手の端末１との間で空間２の認識を共有した状態で空間２を利用する。なお、空間データ６の作成までが目的の場合には、ステップＳ１１Ａ，Ｓ１１Ｂを省略できる。空間２の利用は、典型的には、端末１（１Ａ，１Ｂ）間で、ＡＲ機能を用いて、空間２内の所望の同じ位置２１に同じ仮想画像２２を表示し、作業等を行うことが挙げられる（図５）。
【0107】
ステップＳ１２Ａ，Ｓ１２Ｂでは、各端末１は、上記座標系ペアリングの状態を解除する。例えば、空間２の利用が一時的である場合に、各端末１は、変換パラメータ７を削除してもよいし、空間データ６を削除してもよい。これに限らず、各端末１は、その後も座標系ペアリングの状態を維持してもよい。すなわち、各端末１は、その後も変換パラメータ７や空間データ６を保持し続けてもよい。その場合、ステップＳ１２Ａ，Ｓ１２Ｂを省略できる。例えば、各端末１は、変換パラメータ７や空間データ６を自機内部に保持しておくことで、その後に同じ空間２を再利用する場合に、再度の測定等の処理を省略できる。
【0108】
［ガイド表示例］
図１１は、端末１間での座標系ペアリングの際（図１０のステップＳ３Ａ，Ｓ３Ｂ等）に、端末１の表示面１１にガイド等のためのグラフィカル・ユーザ・インタフェース（ＧＵＩ）の画像を表示する例を示す。図１１の例は、ユーザＵ１の第１端末１Ａの表示面１１の例であり、ユーザＵ２の第２端末１Ｂが見えている。第１端末１Ａは、例えばカメラ１２の画像等に基づいて、他のユーザや端末１を認識する。例えば、第１端末１Ａは、第２端末１Ｂを認識した位置に合わせて、画像１１０１を重畳表示する。画像１１０１は、第２端末１Ｂの存在および位置を表すマーカのような仮想画像である。また、第１端末１Ａは、認識したユーザＵ２の第２端末１Ｂとの座標系ペアリングを行うかどうかの確認のための画像１１０２を表示する。画像１１０２は、例えば「ユーザＵ２とのペアリングを行いますか？ ＹＥＳ／ＮＯ」といったメッセージ画像である。ユーザＵ１は、画像１１０２に対し、ＹＥＳ／ＮＯの選択操作を行い、それに応じて、第１端末１Ａは、第２端末１Ｂとの座標系ペアリングの実行有無を決め、開始を制御する。
図１１は、端末１間での座標系ペアリングの際（図１０のステップＳ３Ａ，Ｓ３Ｂ等）に、端末１の表示面１１にガイド等のためのグラフィカル・ユーザ・インタフェース（ＧＵＩ）の画像を表示する例を示す。図１１の例は、ユーザＵ１の第１端末１Ａの表示面１１の例であり、ユーザＵ２の第２端末１Ｂが見えている。第１端末１Ａは、例えばカメラ１２の画像等に基づいて、他のユーザや端末１を認識する。例えば、第１端末１Ａは、第２端末１Ｂを認識した位置に合わせて、画像１１０１を重畳表示する。画像１１０１は、第２端末１Ｂの存在および位置を表すマーカのような仮想画像である。また、第１端末１Ａは、認識したユーザＵ２の第２端末１Ｂとの座標系ペアリングを行うかどうかの確認のための画像１１０２を表示する。画像１１０２は、例えば「ユーザＵ２とのペアリングを行いますか？ ＹＥＳ／ＮＯ」といったメッセージ画像である。ユーザＵ１は、画像１１０２に対し、ＹＥＳ／ＮＯの選択操作を行い、それに応じて、第１端末１Ａは、第２端末１Ｂとの座標系ペアリングの実行有無を決め、開始を制御する。
【0109】
また、第１端末１Ａは、ステップＳ４Ａで諸量８０１を測定する際には、画像１１０３を表示する。画像１１０３は、例えば「ペアリング中。なるべく動かないでください。」といったメッセージ画像である。端末１間での直接的な座標系ペアリングの際には、互いになるべく静止した状態とすることで、諸量を高精度に測定できる。そのため、このようなガイドの画像１１０３の出力が有効である。
【0110】
［座標変換］
以下では、座標変換の詳細について補足説明する。まず、座標系の関係を説明するための記法をまとめる。実施の形態では、座標系は右手系に統一し、座標系の回転を表すために正規化四元数を用いる。正規化四元数とは、ノルムが１の四元数であり、軸の回りの回転を表すことができる。任意の座標系の回転はこのような正規化四元数で表現できる。単位ベクトル（ｎＸ，ｎＹ，ｎＺ）を回転軸とした角度ηの回転を表す正規化四元数ｑは、下記の式１となる。ｉ，ｊ，ｋは四元数の単位である。単位ベクトル（ｎＸ，ｎＹ，ｎＺ）の方向に向いた場合の右回りの回転が、ηが正の回転方向である。
式１： ｑ＝ｃｏｓ（η／２）＋ｎＸｓｉｎ（η／２）ｉ＋ｎＹｓｉｎ（η／２）ｊ＋ｎＺｓｉｎ（η／２）ｋ
以下では、座標変換の詳細について補足説明する。まず、座標系の関係を説明するための記法をまとめる。実施の形態では、座標系は右手系に統一し、座標系の回転を表すために正規化四元数を用いる。正規化四元数とは、ノルムが１の四元数であり、軸の回りの回転を表すことができる。任意の座標系の回転はこのような正規化四元数で表現できる。単位ベクトル（ｎＸ，ｎＹ，ｎＺ）を回転軸とした角度ηの回転を表す正規化四元数ｑは、下記の式１となる。ｉ，ｊ，ｋは四元数の単位である。単位ベクトル（ｎＸ，ｎＹ，ｎＺ）の方向に向いた場合の右回りの回転が、ηが正の回転方向である。
式１： ｑ＝ｃｏｓ（η／２）＋ｎＸｓｉｎ（η／２）ｉ＋ｎＹｓｉｎ（η／２）ｊ＋ｎＺｓｉｎ（η／２）ｋ
【0111】
四元数ｑの実数部分をＳｃ（ｑ）で表す。四元数ｑの共役四元数をｑ*とする。四元数ｑのノルムを１に正規化する演算子を［・］で定義する。四元数ｑを任意の四元数とすると、式２が［・］の定義である。式２の右辺の分母が四元数ｑのノルムである。
式２： ［ｑ］＝ｑ／（ｑｑ*）１／２
式２： ［ｑ］＝ｑ／（ｑｑ*）１／２
【0112】
次に、座標点あるいはベクトル（ｐＸ，ｐＹ，ｐＺ）を表現する四元数ｐを、式３で定義する。
式３： ｐ＝ｐＸｉ＋ｐＹｊ＋ｐＺｋ
式３： ｐ＝ｐＸｉ＋ｐＹｊ＋ｐＺｋ
【0113】
本明細書においては、特に断りが無い限り、成分表示でない座標点やベクトルを表す記号は四元数表示であるとする。また、回転を表す記号は正規化四元数であるとする。
【0114】
単位ベクトルｎの方向と垂直な平面へのベクトルの射影演算子を、ＰＴ（ｎ）とする。ベクトルｐの射影は、式４で表される。
式４： ＰＴ（ｎ）ｐ＝ｐ＋ｎＳｃ（ｎｐ）
式４： ＰＴ（ｎ）ｐ＝ｐ＋ｎＳｃ（ｎｐ）
【0115】
座標点あるいは方向ベクトルｐ１が四元数ｑで表される原点中心の回転操作により座標点あるいは方向ベクトルｐ２に変換されたとすると、方向ベクトルｐ２は式５で計算できる。
式５： ｐ２＝ｑｐ１ｑ*
式５： ｐ２＝ｑｐ１ｑ*
【0116】
単位ベクトルｎ１を単位ベクトルｎ２に重ねるように、単位ベクトルｎ１と単位ベクトルｎ２とを含む平面に垂直な軸回りに回転させる正規化四元数Ｒ（ｎ１，ｎ２）は、下記の式６となる。
式６： Ｒ（ｎ１，ｎ２）＝［１－ｎ２ｎ１］
式６： Ｒ（ｎ１，ｎ２）＝［１－ｎ２ｎ１］
【0117】
図１２は、座標系変換についての説明図を示す。図１２の（Ａ）は、図８と同様に、第１端末座標系ＷＡと第２端末座標系ＷＢとの間で、実空間内の同じ位置２１に関する表現と、座標原点（ＯＡ，ＯＢ）の差の表現とを示す。位置２１の表現として、位置ベクトルＧＡ、位置座標値ｒＡ、位置ベクトルＧＢおよび位置座標値ｒＢを有する。座標原点の差の表現として、原点間ベクトルｏＢＡ，ｏＡＢを有する。原点間ベクトルｏＢＡは、第１端末座標系ＷＡでの第２端末座標系ＷＢの原点ＯＢの表現である。原点間ベクトルｏＡＢは、第２端末座標系ＷＢでの第１端末座標系ＷＡの原点ＯＡの表現である。
【0118】
前述の諸量（図８）に基づいて、実空間内での異なる２つの特定方向（対応する特定方向ベクトルと端末間ベクトル）についての各端末座標系（ＷＡ，ＷＢ）での表現（ＮＡ，ＮＢ，ＰＢＡ，ＰＡＢ）が得られる。そうすれば、それらの表現を一致させるような座標系間の回転操作を、前述の正規化四元数を用いた演算によって求めることができる。よって、それらの情報と、各座標原点の情報とを合わせることで、端末座標系間での位置座標の変換が可能となる。
【0119】
端末座標系（ＷＡ，ＷＢ）の関係は、以下のように計算できる。以下では、第２端末座標系ＷＢでの座標値およびベクトル値の表現を、第１端末座標系ＷＡでの表現に変換する場合における、回転と座標原点差を求める計算について説明する。
【0120】
図１２の（Ｂ）は、第１端末座標系ＷＡと第２端末座標系ＷＢとの間で方向を合わせる回転の操作について示し、例えば第２端末座標系ＷＢの各軸（ＸＢ，ＹＢ，ＺＢ）の方向を第１端末座標系ＷＡの各軸（ＸＡ，ＹＡ，ＺＡ）の方向に合わせる回転ｑＡＢのイメージを簡易的に示す。
【0121】
まず、第１端末座標系ＷＡの方向と第２端末座標系ＷＢの方向とを合わせるための回転を求める。前述（図８）の端末間ベクトルＰＢＡ，ＰＡＢに基づいて、端末１間の単位方向ベクトルｍＡ，ｍＢを、下記のように定義する。単位方向ベクトルｍＡ，ｍＢは、第２の特定方向である、実空間で第１端末１Ａから第２端末１Ｂに向かう方向の単位ベクトルについての、第１端末座標系ＷＡでの表現および第２端末座標系ＷＢでの表現である。
ｍＡ＝［ＰＢＡ］
ｍＢ＝［-ＰＡＢ］
ｍＡ＝［ＰＢＡ］
ｍＢ＝［-ＰＡＢ］
【0122】
最初に、第１端末座標系ＷＡの表現における回転において、第１の特定方向の単位ベクトルｎＡを単位ベクトルｎＢに重ねる回転ｑＴ１を考える。回転ｑＴ１は、具体的には下記となる。
ｑＴ１＝Ｒ（ｎＡ，ｎＢ）
ｑＴ１＝Ｒ（ｎＡ，ｎＢ）
【0123】
次に、この回転ｑＴ１によって特定方向の単位ベクトルｎＡ，ｍＡが回転された方向を、ｎＡ１，ｍＡ１とする。
ｎＡ１＝ｑＴ１ｎＡｑＴ１*＝ｎＢ
ｍＡ１＝ｑＴ１ｍＡｑＴ１*
ｎＡ１＝ｑＴ１ｎＡｑＴ１*＝ｎＢ
ｍＡ１＝ｑＴ１ｍＡｑＴ１*
【0124】
実空間において同じ方向間の角度であるから、方向ｎＡ１と方向ｍＡ１との成す角度は、単位ベクトルｎＢと単位方向ベクトルｍＢとの成す角度に等しい。また、前提として２つの特定方向は異なる方向としているので、単位ベクトルｎＢと単位方向ベクトルｍＢとの成す角度は０ではない。従って、方向ｎＡ１すなわち単位ベクトルｎＢを軸とし、方向ｍＡ１を単位方向ベクトルｍＢに重ねる回転ｑＴ２を構成できる。具体的に、回転ｑＴ２は下記で与えられる。
ｑＴ２＝Ｒ（［ＰＴ（ｎＢ）ｍＡ１］，［ＰＴ（ｎＢ）ｍＢ］）
ｑＴ２＝Ｒ（［ＰＴ（ｎＢ）ｍＡ１］，［ＰＴ（ｎＢ）ｍＢ］）
【0125】
方向ｎＡ１は回転ｑＴ２の回転軸方向ｎＢと同一方向であるので、この回転ｑＴ２により不変である。また、方向ｍＡ１は、この回転ｑＴ２により単位方向ベクトルｍＢに回転される。
ｎＢ＝ｑＴ２ｎＡ１ｑＴ２*
ｍＢ＝ｑＴ２ｍＡ１ｑＴ２*
ｎＢ＝ｑＴ２ｎＡ１ｑＴ２*
ｍＢ＝ｑＴ２ｍＡ１ｑＴ２*
【0126】
あらためて、回転ｑＢＡを下記で定義する。
ｑＢＡ＝ｑＴ２ｑＴ１
ｑＢＡ＝ｑＴ２ｑＴ１
【0127】
この回転ｑＢＡにより、単位ベクトルｎＡと単位方向ベクトルｍＡは、単位ベクトルｎＢと単位方向ベクトルｍＢに回転される。
ｎＢ＝ｑＢＡｎＡｑＢＡ*
ｍＢ＝ｑＢＡｍＡｑＢＡ
ｎＢ＝ｑＢＡｎＡｑＢＡ*
ｍＢ＝ｑＢＡｍＡｑＢＡ
【0128】
単位ベクトルｎＡと単位方向ベクトルｍＡは異なる２つの方向として選ばれているので、この回転ｑＢＡが、第１端末座標系ＷＡでの方向表現を第２端末座標系ＷＢでの方向表現に変換する回転である。逆に、第２端末座標系ＷＢでの方向表現を第１端末座標系ＷＡでの方向表現に変換する回転を回転ｑＡＢとすると、回転ｑＡＢは同様に以下となる。
ｑＡＢ=ｑＢＡ*
ｑＡＢ=ｑＢＡ*
【0129】
次に、座標値ｄＡ，ｄＢ（図８）の変換式を求める。ここでの座標値ｄＡ，ｄＢは、式３により定義される座標値の四元数表現である。まず、一方の座標系から見て他方の座標系の原点の座標値を求める。図１２の（Ａ）のように、第１端末座標系ＷＡにおける第２端末座標系ＷＢの原点ＯＢの座標値の表現がｏＢＡ、世界座標系ＷＢにおける世界座標系ＷＡの原点ＯＡの座標値の表現がｏＡＢである。各座標系における端末１の位置の座標値ｄＡ，ｄＢは分かっているので、原点座標値表現（ｏＢＡ，ｏＡＢ）は、下記の式Ａのように求まる。
式Ａ：
ｏＢＡ＝ｄＡ＋ＰＢＡ－ｑＡＢｄＢｑＡＢ*
ｏＡＢ＝ｄＢ＋ＰＡＢ－ｑＢＡｄＡｑＢＡ*
式Ａ：
ｏＢＡ＝ｄＡ＋ＰＢＡ－ｑＡＢｄＢｑＡＢ*
ｏＡＢ＝ｄＢ＋ＰＡＢ－ｑＢＡｄＡｑＢＡ*
【0130】
また、容易に分かるように、下記の関係がある。
ｏＡＢ＝－ｑＢＡｏＢＡｑＢＡ*
ｏＡＢ＝－ｑＢＡｏＢＡｑＢＡ*
【0131】
最後に、実空間内の任意の点（位置２１）についての第１端末座標系ＷＡでの座標値ｒＡと、第２端末座標系ＷＢでの座標値ｒＢとの変換式は、以下のように与えられる。
ｒＢ＝ｑＢＡ（ｒＡ－ｏＢＡ）ｑＢＡ* ＝ｑＢＡｒＡｑＢＡ*＋ｏＡＢ
ｒＡ＝ｑＡＢ（ｒＢ－ｏＡＢ）ｑＡＢ* ＝ｑＡＢｒＢｑＡＢ*＋ｏＢＡ
ｒＢ＝ｑＢＡ（ｒＡ－ｏＢＡ）ｑＢＡ* ＝ｑＢＡｒＡｑＢＡ*＋ｏＡＢ
ｒＡ＝ｑＡＢ（ｒＢ－ｏＡＢ）ｑＡＢ* ＝ｑＡＢｒＢｑＡＢ*＋ｏＢＡ
【0132】
上記のように、例えば第１端末座標系ＷＡで見た特定の位置２１（座標値ｒＡ）を、第２端末座標系ＷＢで見た場合の位置２１（座標値ｒＢ）に変換したい場合、回転ｑＢＡ、座標値ｒＡ、および原点表現ｏＡＢを用いて計算できる。逆の変換も同様に計算できる。前述の図８，図９の変換パラメータ７（７１，７２）は、上記説明で登場したパラメータで構成できる。なお、上記のように容易に相互に変換ができるので、変換パラメータ７の構成および保持においては、回転ｑＡＢの代わりにｑＢＡを保持してもよく、原点表現ｏＢＡの代わりにｏＡＢを保持してもよく、それらの逆でもよい。
【0133】
［効果等（１）］
上記のように、実施の形態１の空間認識システムおよび方法等によれば、端末１が空間２を測定して空間データ６を作成でき、複数のユーザの複数の端末１間で、互いに空間データ６を取得して利用でき、空間２の認識を共有できる。このシステムおよび方法によれば、上記のような機能や動作を効率的に実現でき、ユーザの利便性を高め、作業負荷を低減できる。このシステムおよび方法によれば、空間データ６を利用することで、ユーザに対し、様々なアプリケーションの機能やサービス等が実現できる。
上記のように、実施の形態１の空間認識システムおよび方法等によれば、端末１が空間２を測定して空間データ６を作成でき、複数のユーザの複数の端末１間で、互いに空間データ６を取得して利用でき、空間２の認識を共有できる。このシステムおよび方法によれば、上記のような機能や動作を効率的に実現でき、ユーザの利便性を高め、作業負荷を低減できる。このシステムおよび方法によれば、空間データ６を利用することで、ユーザに対し、様々なアプリケーションの機能やサービス等が実現できる。
【0134】
実施の形態１の変形例として以下も可能である。変形例で、各ユーザの端末１は、自機で作成した、端末座標系で記述された空間データ６を、外部のＰＣやサーバ等の装置に送信して登録してもよい。端末１は、生成した変換パラメータ７を、外部のＰＣやサーバ等の装置に送信して登録してもよい。
【0135】
［変形例１］
実施の形態１の変形例１では、各端末１は、座標系ペアリングを行う前に、空間２を測定し、自機の端末座標系で記述された空間データ６を作成する。その後、端末１は、他の端末１との座標系ペアリングを行う。端末１は、変換パラメータ７を用いて、空間データ６を、共通の端末座標系、すなわち共通座標系で記述された空間データ６に変換する。
実施の形態１の変形例１では、各端末１は、座標系ペアリングを行う前に、空間２を測定し、自機の端末座標系で記述された空間データ６を作成する。その後、端末１は、他の端末１との座標系ペアリングを行う。端末１は、変換パラメータ７を用いて、空間データ６を、共通の端末座標系、すなわち共通座標系で記述された空間データ６に変換する。
【0136】
［変形例２］
図１３は、実施の形態１の変形例２における、３台以上の端末１で空間２の測定を分担し空間認識を共有する場合の座標系ペアリング等についての説明図を示す。本例では、四人のユーザ（ＵＡ，ＵＢ，ＵＣ，ＵＤ）の４台の端末１として端末１Ａ，１Ｂ，１Ｃ，１Ｄを有する。各端末１の端末座標系を、端末座標系ＷＡ，ＷＢ，ＷＣ，ＷＤとし、各原点を原点ＯＡ，ＯＢ，ＯＣ，ＯＤとする。これらの端末１を１つのグループとして、同じ空間２に関する測定および認識共有を行う。実施の形態１で説明した２台の端末１間の座標系ペアリングを基本として、３台以上の端末１によるグループの場合でも、各端末１間で座標系ペアリングを行うことで、空間認識共有を実現できる。
図１３は、実施の形態１の変形例２における、３台以上の端末１で空間２の測定を分担し空間認識を共有する場合の座標系ペアリング等についての説明図を示す。本例では、四人のユーザ（ＵＡ，ＵＢ，ＵＣ，ＵＤ）の４台の端末１として端末１Ａ，１Ｂ，１Ｃ，１Ｄを有する。各端末１の端末座標系を、端末座標系ＷＡ，ＷＢ，ＷＣ，ＷＤとし、各原点を原点ＯＡ，ＯＢ，ＯＣ，ＯＤとする。これらの端末１を１つのグループとして、同じ空間２に関する測定および認識共有を行う。実施の形態１で説明した２台の端末１間の座標系ペアリングを基本として、３台以上の端末１によるグループの場合でも、各端末１間で座標系ペアリングを行うことで、空間認識共有を実現できる。
【0137】
例えばユーザＵＣの端末１Ｃを自機として考える。まず、実施の形態１と同様に、例えば端末１Ａと端末１Ｂとの間で座標系ペアリング１３０１が確立されたとする。この状態から、次に、端末１Ｂと端末１Ｃとの間で座標系ペアリング１３０２が行われるとする。これにより、間接的に、端末１Ｃと端末１Ａとの間での座標系ペアリング１３０３が実現できる。このことを以下に説明する。
【0138】
まず、座標系ペアリング１３０１により、端末１Ｂは、変換パラメータの情報１３２１として、端末座標系ＷＡと端末座標系ＷＢとの間の変換のための回転ｑＢＡと原点表現ｏＡＢとを得る。回転ｑＢＡは、端末座標系ＷＡでの表現を端末座標系ＷＢでの表現にする回転である。原点表現ｏＡＢは、端末座標系ＷＡの原点ＯＡについての端末座標系ＷＢでの座標値である。逆に、端末１Ａは、変換パラメータの情報１３１１として、回転ｑＡＢと原点表現ｏＢＡとを得る。
【0139】
次に、座標系ペアリング１３０２により、端末１Ｃは、変換パラメータの情報１３３１として、回転ｑＣＢと原点表現ｏＢＣとを得る。回転ｑＣＢは、端末座標系ＷＢでの表現を、端末座標系ＷＣでの表現にする回転である。原点表現ｏＢＣは、端末座標系ＷＢの原点ＯＢについての端末座標系ＷＣでの座標値である。逆に、端末１Ｂは、変換パラメータの情報１３２２として、回転ｑＢＣと原点表現ｏＣＢとを得る。
【0140】
ここで、端末１Ｃは、端末１Ｂから、変換パラメータの情報１３２１（回転ｑＢＡと原点表現ｏＡＢ）をもらい、それを情報１３３２として保持する。これにより、端末１Ｃは、変換パラメータの情報１３３１（ｑＣＢ，ｏＢＣ）および情報１３３２（ｑＢＡ，ｏＡＢ）を用いて、端末１Ａとの間接的な座標系ペアリング１３０３に関する回転ｑＣＡと原点表現ｏＡＣを、下記の式のように計算できる。回転ｑＣＡは、端末座標系ＷＡでの表現を、端末座標系ＷＣでの表現にする回転である。原点表現ｏＡＣは、端末座標系ＷＡの原点ＯＡについての端末座標系ＷＣでの座標値である。
ｑＣＡ＝ｑＣＢｑＢＡ
ｏＡＣ＝ｏＢＣ＋ｑＣＢｏＡＢｑＣＢ*
ｑＣＡ＝ｑＣＢｑＢＡ
ｏＡＣ＝ｏＢＣ＋ｑＣＢｏＡＢｑＣＢ*
【0141】
端末１Ｃは、得られた情報１３３３（ｑＣＡ，ｏＡＣ）を保持する。端末１Ｃは、この情報１３３３を用いて、下記の式のように、端末座標系ＷＡでの位置２１の表現（ｒＡ）を、端末座標系ＷＣでの表現（ｒＣ）に変換できる。
ｒＣ＝ｑＣＡ（ｒＡ－ｏＣＡ）ｑＣＡ*＝ｑＣＡｒＡｑＣＡ*＋ｏＡＣ
ｒＣ＝ｑＣＡ（ｒＡ－ｏＣＡ）ｑＣＡ*＝ｑＣＡｒＡｑＣＡ*＋ｏＡＣ
【0142】
また、端末１Ｃは、上記変換パラメータの情報１３３３（ｑＣＡ，ｏＡＣ）を、端末１Ａに送信する。端末１Ａは、それを情報１３１２（ｑＣＡ，ｏＡＣ）として保持する。そうすれば、一般に下記の関係があることから、端末１Ａにおいても、端末座標系ＷＡと端末座標系ＷＣとの変換ができる。すなわち、端末１Ａは、逆の変換に関する変換パラメータの情報１３１３（ｑＡＣ，ｏＣＡ）を保持する。また、下記関係があるので、各端末１においては、ｑＩＪかｑＪＩの一方を保持し、ｏＪＩとｏＩＪの一方を保持してもよい。
ｑＩＪ＝ｑＪＩ*
ｏＪＩ＝－ｑＩＪｏＩＪｑＩＪ*
ｑＩＪ＝ｑＪＩ*
ｏＪＩ＝－ｑＩＪｏＩＪｑＩＪ*
【0143】
図１４は、図１３のグループの座標系ペアリングにおいて、端末１Ａが保持する変換パラメータ７のテーブル１４０１、端末１Ｂが保持する変換パラメータ７のテーブル１４０２、および端末１Ｃが保持する変換パラメータ７のテーブル１４０３を示す。グループ内の各端末１は、グループ内の他の各端末１との変換パラメータ情報をテーブルに保持する。各テーブルは、「相手」項目を有し、座標系ペアリング（ここでは直接的座標系ペアリングと間接的座標系ペアリングを含む）の相手の端末１および端末座標系の識別情報を格納する。例えば、端末１Ｃは、各端末１（１Ａ，１Ｂ）を相手として情報を交換しながら、それぞれのペア間の変換パラメータ情報を保持する。具体的には、例えばテーブル１４０３は、端末１Ａとの変換パラメータの情報１３３３（ｑＣＡ，ｏＡＣ）、端末１Ｂとの変換パラメータの情報１３３１（ｑＣＢ，ｏＢＣ）を有する。
【0144】
上記のように、変形例２では、任意の２台の端末１をペアとして順次に座標系ペアリングを行うことで、グループ内での空間認識共有ができる。ある端末１Ｃは、ある端末１Ａとの間では直接的な座標系ペアリングの処理を行わなくても、その端末１Ａと座標系ペアリング済みである別の端末１Ｂとの座標系ペアリングを行えば、間接的な座標系ペアリング１３０３が可能である。同様に、グループに新たに参加する端末１Ｄがある場合でも、その端末１Ｄは、グループのうちの１つの端末１に対する同様の手続き、例えば端末１Ｃとの座標系ペアリング１３０４を行えばよく、各端末１との座標系ペアリングの処理は不要である。実施の形態１や変形例２では、各端末１に変換パラメータ７を保持するので、共有する位置２１に仮想画像２２を表示する際等に、高速に処理可能である。
【0145】
［変形例３］
図１５は、実施の形態１の変形例３における、座標系ペアリングおよび変換パラメータ７に関する構成例を示す。変形例３では、空間認識を共有するための複数の端末１から成るグループにおいて、１つの代表的な端末１（「代表端末」と記載する）を設ける。代表端末は、グループの各端末１との変換パラメータ７を保持する。代表端末以外の各端末１は、代表端末との間の変換パラメータ７を保持する。例えば、図１３と同様のグループがあるとする。例えば、端末１Ａを代表端末とする。代表端末である端末１Ａは、他の各端末１（１Ｂ，１Ｃ，１Ｄ）との座標系ペアリング（１５０１，１５０２，１５０３）を順次に行う。このグループでは、代表端末の端末座標系ＷＡが基準となる。その端末座標系ＷＡにおいて、共有の位置２１等が指定され、端末１間で伝達される。
図１５は、実施の形態１の変形例３における、座標系ペアリングおよび変換パラメータ７に関する構成例を示す。変形例３では、空間認識を共有するための複数の端末１から成るグループにおいて、１つの代表的な端末１（「代表端末」と記載する）を設ける。代表端末は、グループの各端末１との変換パラメータ７を保持する。代表端末以外の各端末１は、代表端末との間の変換パラメータ７を保持する。例えば、図１３と同様のグループがあるとする。例えば、端末１Ａを代表端末とする。代表端末である端末１Ａは、他の各端末１（１Ｂ，１Ｃ，１Ｄ）との座標系ペアリング（１５０１，１５０２，１５０３）を順次に行う。このグループでは、代表端末の端末座標系ＷＡが基準となる。その端末座標系ＷＡにおいて、共有の位置２１等が指定され、端末１間で伝達される。
【0146】
端末１Ａが保持する変換パラメータ７のテーブル１５１１は、図１４のテーブル１４０１と同様に、各端末１（１Ｂ，１Ｃ，１Ｄ）との変換パラメータ情報を有する。端末１Ｂが保持するテーブル１５１２は、代表端末との変換パラメータ情報（ｑＢＡ，ｏＡＢ）を有する。端末１Ｃが保持するテーブル１５１３は、代表端末との変換パラメータ情報（ｑＣＡ，ｏＡＣ）を有する。端末１Ｄが保持するテーブル１５１４は、代表端末との変換パラメータ情報（ｑＤＡ，ｏＡＤ）を有する。
【0147】
例えば、端末１Ｂが空間２内の位置２１（図１３）を指定する場合、端末１Ｂは、端末座標系ＷＢでのその位置２１の表現（ｒＢ）を、テーブル１５１２を用いて、代表端末での表現（ｒＡ）に変換し、代表端末に伝達する。代表端末は、その表現（ｒＡ）を、テーブル１５１１を用いて、グループの他の各端末１（１Ｃ，１Ｄ）の各端末座標系（ＷＣ，ＷＤ）での表現（ｒＣ，ｒＤ）に変換する。そして、代表端末は、それらの位置情報（ｒＣ，ｒＤ）を、他の各端末１（１Ｃ，１Ｄ）に伝達する。
【0148】
他の変形例としては、代表端末のみが変換パラメータ７を保持して各変換を行う構成も可能である。この変形例は、例えば図１５で、端末１Ｂ，１Ｃ，１Ｄが変換パラメータ７のテーブル１５１２，１５１３，１５１４を保持しない構成に相当する。例えば端末１Ｂは、端末座標系ＷＢでの位置２１の表現（ｒＢ）を、代表端末に伝達する。代表端末は、その表現（ｒＢ）を、テーブル１５１１を用いて、各端末座標系（ＷＡ，ＷＣ，ＷＤ）での表現（ｒＡ，ｒＣ，ｒＤ）に変換し、各端末１に伝達する。
【0149】
他の変形例としては、グループ内で代表端末の端末座標系を共通座標系として固定して用いて、端末１間での位置伝達を行う構成としてもよい。代表端末は、変換パラメータ７を保持しない。代表端末以外の各端末１は、代表端末の端末座標系との変換のための変換パラメータ７を保持する。この変形例は、例えば図１５で、代表端末である端末１Ａがテーブル１５１１を保持しない構成に相当する。例えば端末１Ｂは、端末座標系ＷＢでの位置２１の表現（ｒＢ）を、テーブル１５１２を用いて、代表端末での表現（ｒＡ）に変換し、代表端末に伝達する。代表端末は、その表現（ｒＡ）を、グループの他の各端末１（１Ｃ，１Ｄ）に伝達する。各端末１（１Ｃ，１Ｄ）は、その表現（ｒＡ）を、各自のテーブル１５１３，１５１４を用いて、各自の端末座標系での表現（ｒＣ，ｒＤ）に変換する。
【0150】
また、この変形例では、端末１間での位置伝達を、代表端末を介さずに行ってもよい。例えば端末１Ｂは、端末座標系ＷＢでの位置２１の表現（ｒＢ）を、テーブル１５１２を用いて、代表端末での表現（ｒＡ）に変換し、端末１Ｃに伝達する。端末１Ｃは、その表現（ｒＡ）を、テーブル１５１３を用いて、自機での表現（ｒＣ）に変換する。
【0151】
上記のように、各変形例によれば、システム全体で保持する変換パラメータ７のデータ量を少なくできる。
【0152】
＜実施の形態２＞
図１６～図１７等を用いて、本発明の実施の形態２の空間認識システム等について説明する。以下では、実施の形態２等における実施の形態１とは異なる構成部分について説明する。図１６等に示す実施の形態２では、実施の形態１での複数の端末１の各端末座標系とは別に、空間２を記述する世界座標系である空間座標系を用いる。実施の形態２では、端末座標系と空間座標系との間の座標系ペアリング、言い換えるとそれらの座標系間の関連付け、変換を扱う。この実施の形態では、空間座標系が基本構成（図３１）の共通座標系に相当する。空間２の測定を分担する各端末１の各端末座標系は、共通の空間座標系を介して関連付けられる。また、空間２の空間データ６は、特に、共通の空間座標系を用いて記述することができる。端末１は、空間座標系で記述された空間データ６を作成する。端末１間ではその空間データ６を用いて空間２の認識を共有できる。
図１６～図１７等を用いて、本発明の実施の形態２の空間認識システム等について説明する。以下では、実施の形態２等における実施の形態１とは異なる構成部分について説明する。図１６等に示す実施の形態２では、実施の形態１での複数の端末１の各端末座標系とは別に、空間２を記述する世界座標系である空間座標系を用いる。実施の形態２では、端末座標系と空間座標系との間の座標系ペアリング、言い換えるとそれらの座標系間の関連付け、変換を扱う。この実施の形態では、空間座標系が基本構成（図３１）の共通座標系に相当する。空間２の測定を分担する各端末１の各端末座標系は、共通の空間座標系を介して関連付けられる。また、空間２の空間データ６は、特に、共通の空間座標系を用いて記述することができる。端末１は、空間座標系で記述された空間データ６を作成する。端末１間ではその空間データ６を用いて空間２の認識を共有できる。
【0153】
実施の形態２では、座標系ペアリングの際に、端末１は、空間２内の所定の特徴（特徴点や特徴線）との関係を、諸量として測定する。端末１は、その測定値に基づいて、その特徴に関連付けられた空間座標系と、自機の端末座標系との関係を求め、その関係に基づいて変換パラメータ７を計算する。
【0154】
また、実施の形態２では、端末１は、作成した空間データ６を、外部のサーバ４のＤＢ５に登録してもよい。この場合、サーバ４が基本構成（図３１）の情報処理装置９に相当する。実施の形態２等では、端末１から空間データ６をサーバ４等の外部ソースへ登録する概念を扱う。サーバ４は、端末１に対する外部ソースとして、外部データである空間データ６を保持・管理する。サーバ４のＤＢ５にライブラリーとして登録された空間データ６は、各端末１（空間測定を行わない端末でもよい）から適宜に参照・取得が可能となる。端末１は、サーバ４から利用対象の空間２に関する登録済みの空間データ６を取得し、その空間２の測定を要せずに、その空間データ６を利用して、ＡＲ等の画像を速やかに高精度に表示することができる。例えば、ある端末１は、ある空間２を１回測定して空間データ６を作成してサーバ４に登録する。その後、その端末１は、その空間２を再度利用する場合に、再度その空間２を測定する必要は無く、サーバ４から取得した空間データ６を利用できる。事業者がサーバ４を使用し、空間データ６の管理サービスの提供を行ってもよい。
【0155】
［空間認識システム］
図１６は、実施の形態２の空間認識システムの構成を示し、特に、第１端末１Ａの第１端末座標系ＷＡと空間２の空間座標系Ｗ１との座標系ペアリング等についての説明図を示す。本例では、空間２の測定を分担する端末１として、第１端末１Ａと第２端末１Ｂを有する。第２端末１Ｂの第２端末座標系ＷＢ等については図示を省略する。
図１６は、実施の形態２の空間認識システムの構成を示し、特に、第１端末１Ａの第１端末座標系ＷＡと空間２の空間座標系Ｗ１との座標系ペアリング等についての説明図を示す。本例では、空間２の測定を分担する端末１として、第１端末１Ａと第２端末１Ｂを有する。第２端末１Ｂの第２端末座標系ＷＢ等については図示を省略する。
【0156】
実施の形態２では、予め、空間２に関する空間座標系Ｗ１の情報が規定されている。空間座標系Ｗ１において、空間２の位置や所定の特徴（特徴点や特徴線）等の情報も規定されている。空間座標系Ｗ１は、例えば建物に固有の局所的座標系でもよいし、地球や地域等において共通の座標系でもよい。空間座標系Ｗ１は、実空間内に固定されており、原点Ｏ１と、直交する３軸として軸Ｘ１、軸Ｙ１、および軸Ｚ１とを有する。図１６の例では、空間座標系Ｗ１の原点Ｏ１は部屋等の空間２に対し離れた位置にあるが、これに限らず、原点Ｏ１は空間２内にあってもよい。
【0157】
実施の形態２では、各端末１の端末座標系（ＷＡ，ＷＢ）と、空間２の空間座標系Ｗ１との間での座標系ペアリングを扱う。それらの端末１（１Ａ，１Ｂ）は、分担で作成した空間データ６を用いて、空間２の認識を共有する。各端末１は、自機の端末座標系で空間２の形状等を測定して空間２を記述する空間データ６（特に空間形状データ）を作成する。その際、各端末１は、空間２内の所定の特徴を手掛かりとして、空間座標系Ｗ１との座標系ペアリングを行う。空間２内の所定の特徴である特徴点や特徴線等は、予め規定されている。この特徴は、例えば壁や天井等の境界線としてもよいし、所定の配置物等でもよい。なお、空間２の所定の特徴における特徴点は、前述の測距センサ１３によって得られる点群データの特徴点とは意味が異なる。
【0158】
例えば、第１端末１Ａは、空間２の所定の特徴を認識して諸量を測定し、第１端末座標系ＷＡと空間座標系Ｗ１との関係を把握する。第１端末１Ａは、その関係から、第１端末座標系ＷＡと空間座標系Ｗ１との変換パラメータ７を生成し、自機に設定する。各端末１は、座標系ペアリングの状態で、空間２における分担する領域を測定する。例えば第１端末１Ａは、領域２Ａを測定し、第１端末座標系ＷＡで記述されている測定データ１６０１を得る。第１端末１Ａは、測定データ１６０１から部分空間データ１６０２を構成する。第１端末１Ａは、部分空間データ１６０２を、変換パラメータ７を用いて、空間座標系Ｗ１で記述される部分空間データに変換する。また、例えば第１端末１Ａは、第２端末１Ｂから、第２端末１Ｂが作成した部分空間データを取得する。そして、第１端末１Ａは、自機側で得た部分空間データと、相手から取得した部分空間データとを１つに統合することで、空間座標系Ｗ１で記述された、空間２を単位とした空間データ６を得る。第２端末１Ｂ側も、第１端末１Ａ側と同様に空間データ６を得ることができる。
【0159】
図１６で、実施の形態２の空間認識システムは、通信網に接続されるサーバ４を有する。サーバ４は、事業者等が管理するサーバ装置であり、例えばデータセンタやクラウドコンピューティングシステム上に設けられている。サーバ４は、内部または外部のデータベース（ＤＢ）５に、ライブラリーとして、ＩＤおよび空間データ６を登録し保持している。例えば、図示する空間２にはＩＤ＝101が付与されており、ＤＢ５には、ＩＤ＝101で識別される空間データ６（D101）が登録されている。複数の各々の空間２について、同様に空間データ６が登録されている。サーバ４は、会社等の単位で閉じられた空間データ６を管理するものとしてもよいし、地球や地域等の単位で多数の空間データ６を管理するものとしてもよい。例えば会社の建物を単位として空間データ６を管理する場合、会社のＬＡＮ等のコンピュータシステムのサーバ４に、その建物内の各空間２に関する各空間データ６が登録される。
【0160】
実施の形態２では、特に、外部ソースであるサーバ４のＤＢ５に、ライブラリーとして、実空間内の各空間２に関する空間データ６が登録される。なお、最初、空間２が測定される前の段階では、ＤＢ５の空間データ６のうちの空間形状データ６１は未登録である。ＤＢ５の空間データ６には、空間形状データ６１や特徴データ６２を含む。空間形状データ６１は、空間座標系Ｗ１で記述された、空間２の形状等を表すデータであり、端末１によって作成される部分である。特徴データ６２は、空間２内の所定の特徴（特徴点や特徴線等）の諸量を規定するデータを含む。特徴データ６２は、端末１による座標系ペアリングの際に参照される。
【0161】
ＤＢ５の空間データ６は、空間２に応じた固有の空間座標系で記述されていてもよいし、関連する複数の空間２（例えば建物）で共通の空間座標系で記述されていてもよい。共通の空間座標系は、地球や地域内において共通の座標系としてもよい。例えばＧＰＳ等における緯度・経度・高度を用いた座標系でもよい。
【0162】
なお、この空間データ６の構成は一例であり、詳細を限定しない。空間データ６とは別のデータとして、予め規定される空間座標系Ｗ１や特徴・諸量に関するデータ等が存在してもよい。空間形状データ６１の一部として特徴データ６２が記述されていてもよい。予め端末１に特徴データ６２を保持してもよい。各種のデータが別の場所に保持され、識別情報を通じて関連付けられる構成でもよい。サーバ４は１台に限らず、複数台のサーバ４でもよく、例えば、１つ以上の空間２毎に関連付けられたサーバ４でもよい。
【0163】
特に、実施の形態２では、各端末１は、空間２の測定によって作成した空間データ６を、サーバ４のＤＢ５に登録することができる。その際には、予めＤＢ５に登録されている空間データ６（特に空間形状データ６１）に対し、端末１が作成した空間データ６が登録される。言い換えると、サーバ４の空間データ６は、端末１からの空間データ６の登録に応じて適宜に内容が更新される。そして、各端末１は、サーバ４のＤＢ５から、登録済みの空間データ６を適宜に取得して利用できる。各端末１は、自機内部に空間データ６を保持しなくてもよい。
【0164】
実施の形態２は、各空間２の空間データ６をサーバ４等の外部ソースにライブラリーとして登録する場合であるが、これに限らず、端末１内に空間データ６をライブラリーとして保持してもよい。空間２の認識を共有する各端末１は、それらの端末１間で空間データ６を作成・授受し、共有して保持するのみとしてもよい。
【0165】
［座標変換］
図１７は、実施の形態２での端末座標系ＷＡと空間座標系Ｗ１との座標系ペアリングについての説明図を示す。実施の形態２では、空間２における所定の特徴（言い換えると特徴物）として、例えば壁や天井等の所定の物体１７００における特徴点や特徴線を用いる。端末１は、その所定の特徴点や特徴線を、空間座標系Ｗ１との座標系ペアリングの際に用いる。図１７の例では、壁等の物体１７００における矩形の面の４個の角隅の点を用いる。図１７の例では、特に物体１７００の面における左辺および上辺に対応する３個の特徴点および２つの特徴線を用いる。２つの特徴線は、２つの特定方向に対応している。空間２内の所定の特徴は、特徴データ６２（図１６）で規定されており、端末１がカメラやセンサ等によって認識できるものであれば任意でよい。所定の特徴は、壁等に限らず、例えば部屋内にユーザによって設定された所定の物体としてもよい。
図１７は、実施の形態２での端末座標系ＷＡと空間座標系Ｗ１との座標系ペアリングについての説明図を示す。実施の形態２では、空間２における所定の特徴（言い換えると特徴物）として、例えば壁や天井等の所定の物体１７００における特徴点や特徴線を用いる。端末１は、その所定の特徴点や特徴線を、空間座標系Ｗ１との座標系ペアリングの際に用いる。図１７の例では、壁等の物体１７００における矩形の面の４個の角隅の点を用いる。図１７の例では、特に物体１７００の面における左辺および上辺に対応する３個の特徴点および２つの特徴線を用いる。２つの特徴線は、２つの特定方向に対応している。空間２内の所定の特徴は、特徴データ６２（図１６）で規定されており、端末１がカメラやセンサ等によって認識できるものであれば任意でよい。所定の特徴は、壁等に限らず、例えば部屋内にユーザによって設定された所定の物体としてもよい。
【0166】
なお、本例では、端末座標系ＷＡの原点ＯＡの位置と、第１端末１の位置ＬＡとは異なり、また、空間座標系Ｗ１の原点Ｏ１の位置と空間２内の特徴点の位置Ｌ１とは異なるが、これに限定されない。以下では、このように端末座標系の原点と端末１の位置とが一致しない場合、および、空間座標系の原点の位置と空間２の特徴点の位置とが一致しない場合について説明する。
【0167】
端末１の位置ＬＡについての端末座標系ＷＡでの座標値を、ｄＡ＝（ｘＡ，ｙＡ，ｚＡ）とする。空間２の特徴点の位置Ｌ１についての空間座標系Ｗ１での座標値を、ｄ１＝（ｘ１，ｙ１，ｚ１）とする。これらの座標値は、世界座標系の設定に応じて定まる。端末位置ベクトルＶＡは、原点ＯＡから位置ＬＡまでのベクトルである。特徴点位置ベクトルＶ１は、原点Ｏ１から位置Ｌ１までのベクトルである。
【0168】
座標系ペアリングの際、端末１は、サーバ４（または変形例での基準端末）から、空間座標系Ｗ１に関する情報を取得する。例えば、端末１は、サーバ４から、空間データ６のうちの特徴データ６２を参照する。特徴データ６２には、空間２側の特徴（対応する物体１７００）に関する諸量１７０２のデータが含まれている。端末１は、測距センサ１３等を用いて、自機側の諸量１７０１を測定する。端末１は、空間２側の諸量１７０２と、測定した自機側の諸量１７０１とに基づいて、端末座標系ＷＡと空間座標系Ｗ１との関係を求める。端末１は、その関係に基づいて、それらの座標系間の変換パラメータ７を計算し、自機に設定する。
【0169】
座標系ペアリングの際の諸量としては、以下の３つの要素の情報を有する。諸量は、第１情報として特定方向ベクトルと、第２情報として世界座標値と、第３情報として空間位置ベクトルとを有する。図１７の例では、自機側の諸量１７０１として、第１特定方向ベクトルＮＡ、第２特定方向ベクトルＭＡ、座標値ｄＡ、および空間位置ベクトルＰ１Ａを有する。空間２側の諸量として、第１特定方向ベクトルＮ１、第２特定方向ベクトルＭ１、および座標値ｄ１を有する。
【0170】
（１）特定方向ベクトルについて： 端末１は、端末座標系における空間２内の特定方向に関する情報として、特定方向ベクトルを用いる。この特定方向は、例えば鉛直下方向のように、端末１のセンサで測定するものと、空間２内の特徴線の方向、例えば物体１７００の左辺または上辺に対応する方向とがある。端末１は、複数の候補の中から、異なる２つの特定方向の単位ベクトルを用いればよい。これらの単位ベクトルについての空間座標系Ｗ１での表現をｎ１，ｍ１とし、端末座標系ＷＡでの表現をｎＡ，ｍＡとする。端末座標系ＷＡでの単位ベクトルｎＡ，ｍＡについては、端末１によって測定する。空間座標系Ｗ１での単位ベクトルｎ１，ｍ１については、予め規定され、サーバ４の特徴データ６２から取得できる。
【0171】
１つの特定方向として鉛直下方向を用いる場合、鉛直下方向は、前述と同様に、加速度センサを用いて重力加速度の方向として測定できる。あるいは、各世界座標系（ＷＡ，Ｗ１）の設定において、鉛直下方向を、Ｚ軸（ＺＡ，Ｚ１）の負方向として設定してもよい。いずれにせよ、この鉛直下方向は、世界座標系において変化しないので、座標系ペアリング毎に毎回測定しなくてもよい。
【0172】
１つの特定方向として例えば地磁気の北方向を用いる場合、地磁気の北方向は、端末１に備える地磁気センサ１４３（図７）を用いて測定できる。地磁気は構造物の影響を受ける可能性があるので、座標系ペアリング毎に測定すると好ましい。構造物の影響が十分に小さいことが分かっている場合には、測定を省略して、地磁気の北方向として認識している方向を用いてもよい。
【0173】
特定方向として、空間２内の所定の特徴線の方向を用いる場合、例えば２つの特定方向として、物体１７００の左辺および上辺の２つの特徴線の方向を用いる場合、以下のように測定できる。端末１は、特徴線毎に、特徴線を構成する異なる２つの特徴点について、端末座標系ＷＡでの位置座標値を測定する。端末１は、その測定値から方向ベクトル（例えば左辺に対応する方向ベクトルＮＡ（ｎＡ）、上辺に対応する方向ベクトルＭＡ（ｍＡ））を求める。この座標値は、例えば端末１の測距センサ１３によって測定できる。
【0174】
（２）世界座標値について： 端末１は、端末座標系における位置を表す座標値の情報を用いる。図１７の例では、世界座標値として、第１端末座標系ＷＡでの座標値ｄＡ、および空間座標系Ｗ１での座標値ｄ１を用いる。本例では、物体１７００の特徴として、左上の１つの特徴点を、位置Ｌ１（座標値ｄ１）としている。
【0175】
（３）空間位置ベクトルについて： 空間位置ベクトル（空間位置ベクトルＰ１Ａ）とは、端末１の位置ＬＡから空間２の特徴点の位置Ｌ１へ向かうベクトルである。この空間位置ベクトルにより、２つの座標系（ＷＡ，Ｗ１）間の位置関係に関する情報が得られる。この空間位置ベクトルは、例えば端末１の測距センサ１３によって測定できる。
【0176】
図１７で、位置ベクトルＧＡは、第１端末座標系ＷＡでの位置２１のベクトルであり、位置座標値ｒＡは、その位置２１の座標値である。位置ベクトルＧ１は、空間座標系Ｗ１での位置２１のベクトルであり、位置座標値ｒ１は、その位置２１の座標値である。原点間ベクトルｏ１Ａは、原点ＯＡから原点Ｏ１へのベクトルであり、第１端末座標系ＷＡにおける原点Ｏ１の表現である。原点間ベクトルｏＡ１は、原点Ｏ１から原点ＯＡへのベクトルであり、空間座標系Ｗ１における原点ＯＡの表現である。
【0177】
［変換］
上記諸量データ（１７０１，１７０２）から、第１端末座標系ＷＡと空間座標系Ｗ１との関係が分かるので、それらの世界座標系（ＷＡ，Ｗ１）間の変換が計算できる。すなわち、変換パラメータ７として、空間座標系Ｗ１を第１端末座標系ＷＡに合わせる変換のための変換パラメータ７３と、その逆の変換として、第１端末座標系ＷＡを空間座標系Ｗ１に合わせる変換のための変換パラメータ７４とを構成できる。この変換パラメータ７は、実施の形態１での説明と同様に、回転と座標原点差を用いて規定できる。
上記諸量データ（１７０１，１７０２）から、第１端末座標系ＷＡと空間座標系Ｗ１との関係が分かるので、それらの世界座標系（ＷＡ，Ｗ１）間の変換が計算できる。すなわち、変換パラメータ７として、空間座標系Ｗ１を第１端末座標系ＷＡに合わせる変換のための変換パラメータ７３と、その逆の変換として、第１端末座標系ＷＡを空間座標系Ｗ１に合わせる変換のための変換パラメータ７４とを構成できる。この変換パラメータ７は、実施の形態１での説明と同様に、回転と座標原点差を用いて規定できる。
【0178】
座標系ペアリング後、端末１による空間２内の位置の認識については、いずれの世界座標系を用いてもよい。空間座標系Ｗ１での位置を、変換パラメータ７３によって、第１端末座標系ＷＡでの位置に変換することでもよい。第１端末座標系ＷＡでの位置を、変換パラメータ７４によって、空間座標系Ｗ１での位置に変換することでもよい。
【0179】
図１７の例での変換パラメータ７３のテーブルは、項目として、空間座標系、端末座標系、回転、および原点表現を有する。「空間座標系」項目は、空間座標系の識別情報を格納する。「端末座標系」項目は、端末座標系の識別情報、あるいは対応する端末１やユーザの識別情報を格納する。「回転」項目は、それらの空間座標系と端末座標系との間の回転の表現の情報（例：ｑＡ１）を格納する。「原点表現」項目は、空間座標系の原点と端末座標系の原点との差の表現の情報（例：ｏ１Ａ）を格納する。
【0180】
実施の形態２での変換パラメータ７の計算方法は、実施の形態１の場合と同様であるので、計算結果のみを以下に記す。空間２内の任意の点（位置２１）についての端末座標系ＷＡでの座標値ｒＡと、空間座標系Ｗ１での座標値ｒ１との変換式は、以下のように与えられる。
ｒ１＝ｑ１Ａ（ｒＡ－ｏ１Ａ）ｑ１Ａ* ＝ｑ１ＡｒＡｑ１Ａ*＋ｏＡ１
ｒＡ＝ｑＡ１（ｒ１－ｏＡ１）ｑＡ１* ＝ｑＡ１ｒ１ｑＡ１*＋ｏ１Ａ
ｒ１＝ｑ１Ａ（ｒＡ－ｏ１Ａ）ｑ１Ａ* ＝ｑ１ＡｒＡｑ１Ａ*＋ｏＡ１
ｒＡ＝ｑＡ１（ｒ１－ｏＡ１）ｑＡ１* ＝ｑＡ１ｒ１ｑＡ１*＋ｏ１Ａ
【0181】
ただし、上記式中の諸量は、下記から与えられる。
ｑＴ１＝Ｒ（ｎＡ，ｎ１）
ｍＡ１＝ｑＴ１ｍＡｑＴ１*
ｑＴ２＝Ｒ（［ＰＴ（ｎ１）ｍＡ１］，［ＰＴ（ｎ１）ｍ１］）
ｑ１Ａ＝ｑＴ２ｑＴ１
ｑＡ１=ｑ１Ａ*
ｏ１Ａ＝ｄＡ＋Ｐ１Ａ－ｑＡ１ｄ１ｑＡ１*
ｏＡ１＝ｄ１－ｑ１Ａ（ｄＡ＋Ｐ１Ａ）ｑ１Ａ*
ｑＴ１＝Ｒ（ｎＡ，ｎ１）
ｍＡ１＝ｑＴ１ｍＡｑＴ１*
ｑＴ２＝Ｒ（［ＰＴ（ｎ１）ｍＡ１］，［ＰＴ（ｎ１）ｍ１］）
ｑ１Ａ＝ｑＴ２ｑＴ１
ｑＡ１=ｑ１Ａ*
ｏ１Ａ＝ｄＡ＋Ｐ１Ａ－ｑＡ１ｄ１ｑＡ１*
ｏＡ１＝ｄ１－ｑ１Ａ（ｄＡ＋Ｐ１Ａ）ｑ１Ａ*
【0182】
上記のように、例えば第１端末座標系ＷＡで見た位置２１（座標値ｒＡ）を、空間座標系Ｗ１で見た位置２１（座標値ｒ１）に変換したい場合、回転ｑ１Ａ、座標値ｒＡ、および原点表現（ｏＡ１）を用いて計算できる。逆の変換も同様に計算できる。実施の形態２での変換パラメータ７は、上記説明で登場したパラメータで構成できる。変換パラメータ７の構成および保持においては、実施の形態１と同様に、容易に相互に変換できるので、例えば回転ｑＡ１の代わりにｑ１Ａとしてもよい。
【0183】
［効果等（２）］
上記のように、実施の形態２によれば、各端末１によって、共通座標系とする空間２の空間座標系Ｗ１に合わせた空間データ６を作成し、サーバ４に登録でき、複数のユーザの複数の端末１間で空間２の認識を共有できる。
上記のように、実施の形態２によれば、各端末１によって、共通座標系とする空間２の空間座標系Ｗ１に合わせた空間データ６を作成し、サーバ４に登録でき、複数のユーザの複数の端末１間で空間２の認識を共有できる。
【0184】
実施の形態２の変形例として以下も可能である。変形例では、端末１は、座標系ペアリングを行う前に、空間２を測定し、自機の端末座標系で記述された空間データ６を作成する。その後、端末１は、空間座標系Ｗ１との座標系ペアリングを行い、変換パラメータ７を用いて、端末座標系で記述された空間データ６を、空間座標系Ｗ１で記述された空間データ６に変換する。
【0185】
実施の形態１や２の変形例として、以下も可能である。端末１間で、あるいは端末１とサーバ４との間で、提供される情報は、ＡＲ等の機能に係わる仮想画像（ＡＲオブジェクト）やその仮想画像の配置位置情報等のデータを含んでもよい。例えば図１６で、サーバ４と各端末１との間では、空間データ６を通じて、そのようなデータをやり取りしてもよい。端末１からサーバ４にＡＲオブジェクト等のデータを提供して空間データ６と関連付けて登録してもよい。サーバ４から端末１に空間データ６とともにＡＲオブジェクト等のデータを提供してもよい。ＤＢ５のライブラリーでは、空間データ６において、空間形状データ６１等と関連付けて、空間２内に配置して表示するＡＲオブジェクトのデータおよび配置位置情報等が登録される。これにより、ユーザに対し、端末１を通じて各種のサービスを提供できる。例えば、商品を販売する店舗（対応する空間２）は、端末１に対し、空間データ６とともに商品広告等のＡＲオブジェクトを提供できる。
【0186】
［変形例４］
図１８は、実施の形態２の変形例（変形例４とする）の構成を示す。分担および共有を行う複数の端末１のうち、特定の端末１を基準（「基準端末」と記載する）とし、その基準端末の端末座標系を、基準（「基準座標系」とする）として用いてもよい。その場合、基準端末が、その基準座標系で、空間２の特徴（特徴点、特徴線の方向）を諸量データ１８００として測定し、保持しておく。基準端末は、空間２の空間座標系Ｗ１との間で座標系ペアリング１８０１を行う。基準端末以外の各端末１、例えば第２端末１Ｂは、その基準端末から諸量データ１８００を受け取り、その基準端末との間で座標系ペアリング１８０２を行う。この座標系ペアリング１８０２は、実施の形態１で説明した座標系ペアリングと同様である。これにより、基準座標系との座標系ペアリングを行った各端末１は、基準座標系を介して空間座標系Ｗ１との間接的な座標系ペアリングが実現される。
図１８は、実施の形態２の変形例（変形例４とする）の構成を示す。分担および共有を行う複数の端末１のうち、特定の端末１を基準（「基準端末」と記載する）とし、その基準端末の端末座標系を、基準（「基準座標系」とする）として用いてもよい。その場合、基準端末が、その基準座標系で、空間２の特徴（特徴点、特徴線の方向）を諸量データ１８００として測定し、保持しておく。基準端末は、空間２の空間座標系Ｗ１との間で座標系ペアリング１８０１を行う。基準端末以外の各端末１、例えば第２端末１Ｂは、その基準端末から諸量データ１８００を受け取り、その基準端末との間で座標系ペアリング１８０２を行う。この座標系ペアリング１８０２は、実施の形態１で説明した座標系ペアリングと同様である。これにより、基準座標系との座標系ペアリングを行った各端末１は、基準座標系を介して空間座標系Ｗ１との間接的な座標系ペアリングが実現される。
【0187】
＜実施の形態３＞
図１９～図２４等を用いて、本発明の実施の形態３の空間認識システム等について説明する。図１９等に示す実施の形態３は、実施の形態２の発展形であり、端末座標系と空間座標系との座標系ペアリングを扱う点は同様であり、異なる構成点として、空間２の測定等のために、特有の標識３の特徴を用いる。実施の形態３では、端末１は、標識３に係わる空間座標系Ｗ１を利用し、空間２を測定して、空間データ６を作成する。また、端末１は、作成した空間データ６を、サーバ４のＤＢ５に登録・蓄積してもよい。
図１９～図２４等を用いて、本発明の実施の形態３の空間認識システム等について説明する。図１９等に示す実施の形態３は、実施の形態２の発展形であり、端末座標系と空間座標系との座標系ペアリングを扱う点は同様であり、異なる構成点として、空間２の測定等のために、特有の標識３の特徴を用いる。実施の形態３では、端末１は、標識３に係わる空間座標系Ｗ１を利用し、空間２を測定して、空間データ６を作成する。また、端末１は、作成した空間データ６を、サーバ４のＤＢ５に登録・蓄積してもよい。
【0188】
［空間認識システムおよび方法］
図１９は、実施の形態３の空間認識システムおよび方法の構成を示す。実施の形態３の空間認識システムは、標識３を有する。空間２には、その空間２に対応付けられる標識３が設置されている。図１９の例では、部屋である空間２には、例えば入口の壁１９０１の外側面に、標識３が設置されている。
図１９は、実施の形態３の空間認識システムおよび方法の構成を示す。実施の形態３の空間認識システムは、標識３を有する。空間２には、その空間２に対応付けられる標識３が設置されている。図１９の例では、部屋である空間２には、例えば入口の壁１９０１の外側面に、標識３が設置されている。
【0189】
標識３（言い換えるとマーカ、サイン等）は、ユーザが空間２を識別できるようにする一般的な標識としての機能に加え、端末１のための特別の機能を有する。この標識３は、空間２に関する基準となる世界座標系を、空間座標系Ｗ１（標識座標系と呼んでもよい）として与えるものである。標識３は、所定の特徴が規定されており、端末１による座標系ペアリングの際の諸量の測定等に使用できる特有の物体である。また、標識３は、端末１が空間２（対応するＩＤ）を識別して空間データ６を取得できるようにするための機能を有する。標識３は、空間２と同じ空間座標系Ｗ１において位置や形状等が記述されている。実施の形態２での空間２内の特徴は、実施の形態３では標識３の特徴として特徴点や特徴線である。この標識３の特徴は、予め諸量として規定されている。例えばサーバ４のＤＢ５の空間データ６において、標識データ６２が登録されている。この標識データ６２は、標識３の諸量データを含み、実施の形態２での特徴データ６２に相当する。
【0190】
端末１、例えば第１端末１Ａは、標識３の特徴を対象として自機側の諸量データとして測定し、第１端末座標系ＷＡと空間座標系Ｗ１との関係を把握し、その関係に基づいて、第１端末座標系ＷＡと空間座標系Ｗ１との変換パラメータ７を生成し、自機に設定する。
【0191】
［標識］
図２０は、標識３の構成例を示す。（Ａ）は第１例、（Ｂ）は第２例、（Ｃ）は第３例、（Ｄ）は第４例である。（Ａ）で、標識３は、横長の矩形の板等で構成されており、その板等の面（標識面と記載する場合がある）には、空間２である部屋の名称を示す「第７会議室」文字列が記載されている。本例では、標識面は、空間座標系Ｗ１のＹ１－Ｚ１面に配置されている。また、本例では、標識面の一箇所に、空間２および標識３のＩＤ２００１が直接的に文字列として記載されている。端末１は、カメラ１２によってそのＩＤ２００１を認識できる。
図２０は、標識３の構成例を示す。（Ａ）は第１例、（Ｂ）は第２例、（Ｃ）は第３例、（Ｄ）は第４例である。（Ａ）で、標識３は、横長の矩形の板等で構成されており、その板等の面（標識面と記載する場合がある）には、空間２である部屋の名称を示す「第７会議室」文字列が記載されている。本例では、標識面は、空間座標系Ｗ１のＹ１－Ｚ１面に配置されている。また、本例では、標識面の一箇所に、空間２および標識３のＩＤ２００１が直接的に文字列として記載されている。端末１は、カメラ１２によってそのＩＤ２００１を認識できる。
【0192】
本例では、標識３は、標識面において、予め空間座標系Ｗ１での特徴点や特徴線が規定されている。標識面において、標識３の代表的な位置Ｌ１を表す１つの特徴点（点ｐ１）が規定されている。また、標識面において、他の２つの特徴点（点ｐ２，ｐ３）が規定されている。３つの特徴点（点ｐ１～ｐ３）によって、２つの特徴線（ベクトルに対応する線ｖ１，ｖ２）が規定されている。点ｐ１は、標識面の左上の角点であり、点ｐ２は、左下の角点であり、点ｐ３は、右上の角点である。線ｖ１は、標識面の左辺であり、線ｖ２は、上辺である。これらの特徴点や特徴線は、前述の２つの特定方向を構成する。標識３の空間座標系Ｗ１に関する諸量データは、例えば上記１つの特徴点（点ｐ１）および２つの特定方向（線ｖ１，ｖ２）の情報を含む。なお、説明のために点ｐ１等の特徴点や線ｖ１等の特徴線を図示しているが、実際には記載されない。もしくは、あえて標識面に特徴点や特徴点が特定の画像として記載されて、ユーザおよび端末１から認識できるようにしてもよい。
【0193】
端末１は、座標系ペアリングの際に、標識３との関係を諸量として測定する。その際、端末１は、標識データ６２に基づいて、測距センサ１３やカメラ１２を用いて、これらの３つの特徴点（点ｐ１～ｐ３）を測定する。言い換えると、端末１は、２つの特徴線（線ｖ１，ｖ２）を測定する。端末座標系ＷＡでの３つの特徴点の位置が把握できた場合、２つの特定方向に対応する２つの特徴線が把握できたことと同じである。
【0194】
なお、空間座標系Ｗ１の原点Ｏ１は、空間２外にあってもよいし、空間２内にあってもよいし、特に標識３の標識面に設定されていてもよい。例えば、標識３の特徴点（点ｐ１）に合わせて原点Ｏ１が設定されていてもよい。
【0195】
（Ｂ）では、標識３は、（Ａ）と同様の標識面のうちの一箇所、例えば左上の点ｐ１付近に、所定のコード（コード画像）２００２が記載されている。このコード２００２は、所定の情報を記述したコードである。このコード２００２は、例えばＱＲコード（ＱＲ：Quick Response、登録商標）等の２次元コードを用いてもよい。端末１は、カメラ１２の画像からコード２００２を抽出し、デコードによって所定の情報を得る。
【0196】
（Ｃ）では、標識３は、コード２００３の画像や媒体として構成されている。例えば、標識３は、ＱＲコードを記載した貼り付け媒体でもよい。本例では、コード２００３面に部屋の名称の文字列が記載されている。端末１は、例えばコード２００３の３つの角点を特徴点として同様に測定すればよい。あるいは、端末１は、ＱＲコードの認識用の３つの切り出しシンボルを特徴点として測定してもよい。
【0197】
（Ｄ）では、標識３は、表示装置２００４（例えば壁掛けディスプレイ）の表示画像によって構成されている。表示装置２００４の画面にコード２００５が表示され、標識３として機能する。この場合、標識３の変更が容易に可能である。
【0198】
標識３に記述される所定の情報は、空間２および標識３を識別するＩＤ２００１を含む情報としてもよいし、外部ソースであるサーバ４の空間データ６にアクセスするためのアドレスやＵＲＬを含む情報としてもよいし、以下のような構成としてもよい。
【0199】
所定の情報は、標識３の空間座標系Ｗ１に関する諸量データ（図１９の標識データ６２）と、空間データ送信先情報とを含む情報としてもよい。空間データ送信先情報は、外部ソース情報であり、端末１によって測定され作成される空間データ６（特に空間形状データ）についての送信先の識別情報であり、例えばサーバ４のアドレスやＵＲＬである。
【0200】
所定の情報は、所定のＩＤと空間データ送信先情報とを含む情報としてもよい。端末１は、この情報を用いて、サーバ４にアクセスし、その標識３に関連付けられた空間データ６（特に標識データ６２）を取得できる。そして、端末１は、その標識データ６２から諸量データを取得できる。
【0201】
［空間データ登録］
図１９で、実施の形態３の空間認識方法として、複数の端末１が分担によって空間２を測定して空間２の単位での空間データ６を作成し、サーバ６に登録する場合の処理フロー例は以下の通りである。まず、ステップＳ３１で、端末１（例えば第１端末１Ａ）は、カメラ１２等によって、実空間内にある標識３を認識し、標識３の特徴を対象に諸量を測定する。端末１は、測定値である諸量データを用いて、自機の端末座標系ＷＡとその標識３の空間座標系Ｗ１との座標系ペアリングを行う。これにより、端末１は、端末座標系ＷＡと、共通座標系とする空間座標系Ｗ１との変換パラメータ７を設定する。
図１９で、実施の形態３の空間認識方法として、複数の端末１が分担によって空間２を測定して空間２の単位での空間データ６を作成し、サーバ６に登録する場合の処理フロー例は以下の通りである。まず、ステップＳ３１で、端末１（例えば第１端末１Ａ）は、カメラ１２等によって、実空間内にある標識３を認識し、標識３の特徴を対象に諸量を測定する。端末１は、測定値である諸量データを用いて、自機の端末座標系ＷＡとその標識３の空間座標系Ｗ１との座標系ペアリングを行う。これにより、端末１は、端末座標系ＷＡと、共通座標系とする空間座標系Ｗ１との変換パラメータ７を設定する。
【0202】
次に、ステップＳ３２で、端末１は、端末座標系ＷＡで空間２（前述の分担の領域）を測定し、変換パラメータ７を用いて、空間座標系Ｗ１で記述された空間データ６を作成する。端末１は、適宜に、測定データまたは部分空間データにおける端末座標系ＷＡでの位置等を、空間座標系Ｗ１における位置等に変換する。ステップＳ３２の処理の詳細は前述と同様である。
【0203】
ステップＳ３３で、端末１は、作成した空間座標系Ｗ１で記述された空間データ６を、標識３の所定の情報に基づいて、サーバ４に送信する。端末１は、送信する空間データ６には、自機やユーザの識別情報、位置情報（測定起点）、測定日時情報（タイムスタンプ）、その他の関連する情報を付属させてもよい。測定日時情報がある場合、サーバ４側において、データ管理として、時間軸上の空間データ６（空間２の形状等の状態）の変化を把握することができる。
【0204】
サーバ４は、端末１から受信した空間データ６（特に空間形状データ）を、ＤＢ５のライブラリーに登録・蓄積する。サーバ４は、空間２のＩＤ等の情報と対応付けて、空間データ６（特に空間形状データ６１）を登録する。サーバ４は、ＤＢ５において既に対応する空間データ６（特に空間形状データ６１）が登録済みであった場合、その空間データ６の内容を更新する。サーバ４は、空間データ６の測定日時、登録日時、更新日時等を管理する。
【0205】
別の方法として以下としてもよい。ステップＳ３２～Ｓ３３で、端末１は、測定データに基づいて、自機の端末座標系ＷＡで記述された空間データ６を作成する。そして、端末１は、その端末座標系ＷＡで記述された空間データ６と、変換パラメータ７（端末座標系ＷＡから空間座標系Ｗ１への変換が可能な変換パラメータ）とを、セットとして、サーバ４に送信する。サーバ４は、それらのデータをＤＢ５に登録する。
【0206】
［制御フロー］
図２１は、実施の形態３での端末１とサーバ４との間での空間データ６の登録に関するやりとりの処理フロー例を示す。本例では、標識３に基づいて、端末１とサーバ４との間で通信接続を確立し、座標系ペアリングを確立する。その状態で、端末１は空間を測定して空間データ６を作成し、サーバ４に送信して登録する。なお、空間２の測定を分担する複数のユーザの複数の端末１に関して同様のフローとなる。
図２１は、実施の形態３での端末１とサーバ４との間での空間データ６の登録に関するやりとりの処理フロー例を示す。本例では、標識３に基づいて、端末１とサーバ４との間で通信接続を確立し、座標系ペアリングを確立する。その状態で、端末１は空間を測定して空間データ６を作成し、サーバ４に送信して登録する。なお、空間２の測定を分担する複数のユーザの複数の端末１に関して同様のフローとなる。
【0207】
ステップＳ３０１で、端末１は、標識３を認識して所定の情報（例えば、ＩＤ、空間データ送信先情報）を読み取り、その所定の情報に基づいて、サーバ４との通信接続を確立する。ステップＳ３０１ｂで、サーバ４は、端末１との通信接続を確立する。この際、サーバ４は、ユーザや端末１に関する認証を行って、空間２に関する権限を確認し、権限が確認された端末１を許可してもよい。権限としては、例えば、測定の権限、空間データ６の登録・更新の権限、空間データ６の取得・利用の権限、等を設けてもよい。
【0208】
ステップＳ３０２で、端末１は、座標系ペアリング要求をサーバ４に送信し、ステップＳ３０２ｂで、サーバ４は、座標系ペアリング応答を端末１に送信する。
【0209】
ステップＳ３０３で、端末１は、標識３に関する諸量データの要求をサーバ４に送信する。ステップＳ３０３ｂで、サーバ４は、標識３に関する諸量データの応答として、対応する標識データ６２を、端末１に送信する。端末１は、その標識３に関する諸量データを取得する。
【0210】
ステップＳ３０４で、端末１は、上記取得した諸量データに基づいて、標識３の所定の特徴（図２０の点ｐ１および線ｖ１，ｖ２）を端末座標系ＷＡで測定し、自機側の諸量データとして得る。この際の測定は測距センサ１３によって可能である。
【0211】
ステップＳ３０５で、端末１は、ステップＳ３０３で得た標識側の空間座標系Ｗ１で記述されている諸量データと、ステップＳ３０４で得た自機側の端末座標系ＷＡで記述されている諸量データとを用いて、端末座標系ＷＡと空間座標系Ｗ１との変換パラメータ７を計算し、自機に設定する。
【0212】
ステップＳ３０６で、端末１は、空間２を測定し、測定データを得て、自機の端末座標系ＷＡで記述された空間データ６（特に空間形状データ）を作成する。なお、詳細には、この空間データ６は、分担による部分空間データである。
【0213】
ステップＳ３０７で、端末１は、ステップＳ３０６で作成した空間データ６を、変換パラメータ７を用いて、空間座標系Ｗ１で記述された空間データ６に変換する。
【0214】
ステップＳ３０８で、端末１は、ステップＳ３０７で得た空間データ６を、サーバ４に送信する。ステップＳ３０８ｂで、サーバ４は、端末１から受信した空間データ６を、ＤＢ５内の対応する空間データ６（特に空間形状データ６１）に登録または更新する。
【0215】
なお、他の方法では、ステップＳ３０７，Ｓ３０８の代わりに、端末１は、自機の端末座標系ＷＡで記述された空間データ６と変換パラメータ７とをセットとしてサーバ４に送信する。サーバ４はＤＢ５に空間データ６と変換パラメータ７を対応付けて登録する。この形態の場合、サーバ４はＤＢ５の変換パラメータ７を用いて座標変換処理を行ってもよい。
【0216】
ステップＳ３０９，Ｓ３０９ｂで、端末１およびサーバ４は、空間測定に係わる座標系ペアリングを終了するかどうかを確認し、終了する場合（Yes）にはＳ３１０へ進み、継続する場合（No）にはステップＳ３０６へ戻って同様に繰り返す。
【0217】
ステップＳ３１０，Ｓ３１０ｂで、端末１とサーバ４は、空間２の測定に係わる通信接続を解除する。端末１とサーバ４は、座標系ペアリングの状態を明示的に解除（例えば変換パラメータ７の削除）してもよいし、その後も継続させてもよい。なお、端末１は、通信を介して常時にサーバ４と通信接続されてもよいし、必要な時のみサーバ４と通信接続されてもよい。端末１内には基本的には空間データ６等のデータを保持しない方式（クライアント・サーバ方式）を用いてもよい。
【0218】
上記制御フロー例では、端末１は、作成した空間データ６を自動的にサーバ４に送信して登録する。これに限らず、ユーザが端末１に空間データ登録のための操作を行い、その操作に従って空間データ６をサーバ４に登録するようにしてもよい。端末１は、空間データ登録に係わるガイド画像を表示面１１に表示する。ユーザは、それに従って空間データ登録の操作を行う。
【0219】
［空間データ利用］
上記のようにしてサーバ４に空間２の空間データ６（特に空間形状データ６１）が登録済みである場合、各端末１は、特に標識３を通じて、その空間データ６を通信で取得して利用することができる。この際の手続きは例えば以下の通りである。
上記のようにしてサーバ４に空間２の空間データ６（特に空間形状データ６１）が登録済みである場合、各端末１は、特に標識３を通じて、その空間データ６を通信で取得して利用することができる。この際の手続きは例えば以下の通りである。
【0220】
端末１は、対象の空間２について、対応する標識３を認識して所定の情報（ＩＤ等）を取得し、座標系ペアリング済みであるかや、空間データ６が登録済みであるか等の状態を確認する。例えば、端末１は、空間データ６が登録済みである場合、所定の情報を用いて、サーバ４から対象の空間２に関する空間データ６（特に空間形状データ６１）を取得する。端末１は、座標系ペアリング済みでない場合には、空間２との座標系ペアリングを行う。端末１内に既に変換パラメータ７を保持している場合、その座標系ペアリングを省略できる。
【0221】
なお、端末１は、標識３を認識した際等に、ユーザに対し、空間２の測定（対応する空間データ６の作成）を行うか、登録済みの空間データ６を取得し利用するか、等の選択肢やガイドのための画像を表示面１１に表示し、ユーザの操作に応じてその後の処理を決めてもよい。例えば、端末１は、ユーザの操作に基づいて、空間データ６を利用する場合には、サーバ４に空間データ要求を送信する。サーバ４は、要求に対し、ＤＢ５を検索し、対象の空間データ６（特に空間形状データ６１）がある場合には、応答としてその空間データ６を端末１に送信する。
【0222】
端末１は、取得した空間データ６を利用して、空間２内で、例えばＡＲ機能によって、空間２の物体の形状に合わせた位置２１に仮想画像２２を好適に表示できる。空間データ６（特に空間形状データ６１）は、ＡＲ機能による仮想画像２２の表示の用途の他にも、各種の用途に利用できる。例えば、ユーザおよび自機の位置の把握の用途や、目的地への経路の探索や案内の用途にも利用できる。例えば、端末１であるＨＭＤは、取得した空間データ６を用いて、表示面１１に、空間２の形状を表示する。この際、ＨＭＤは、空間２の形状を、実物サイズで、例えば線画の仮想画像によって実物に重畳表示してもよい。他には、ＨＭＤは、空間２の形状を、実物よりも小さいサイズで、３次元的な地図あるいは２次元的な地図のような仮想画像で表示してもよい。また、ＨＭＤは、その地図において、ユーザおよび自機の現在位置を表す仮想画像を表示してもよい。また、ＨＭＤは、その地図において、ユーザの目的地の位置や、現在位置から目的地の位置までの経路を、仮想画像として表示してもよい。あるいは、ＨＭＤは、実物に合わせて、経路案内のための矢印等の仮想画像を表示してもよい。
【0223】
［効果等（３）］
上記のように、実施の形態３では、特に標識３を用いて効率的な座標系ペアリングや空間データの取得が可能である。また、実施の形態２や３では、端末１の端末座標系ＷＡと空間２および標識３側の空間座標系Ｗ１との座標系ペアリングの際に、空間２の物体または標識３が固定されている。よって、この座標系ペアリングの際には、端末１側の静止を考慮すればよく、高精度の測定が可能であり、実用上の自由度が増す。
上記のように、実施の形態３では、特に標識３を用いて効率的な座標系ペアリングや空間データの取得が可能である。また、実施の形態２や３では、端末１の端末座標系ＷＡと空間２および標識３側の空間座標系Ｗ１との座標系ペアリングの際に、空間２の物体または標識３が固定されている。よって、この座標系ペアリングの際には、端末１側の静止を考慮すればよく、高精度の測定が可能であり、実用上の自由度が増す。
【0224】
実施の形態３の変形例として、端末１の端末座標系と標識３の空間座標系との座標系ペアリングに関しては、実施の形態２の変形例４（図１８）と同様に、間接的な座標系ペアリングの方法も適用できる。例えば第２端末１Ｂは、標識３の空間座標系Ｗ１（図１９）との座標系ペアリングを行う際に、既にその座標系ペアリングが済んでいる第１端末１Ａとの座標系ペアリングを代わりに行ってもよい。これにより、第２端末１Ｂの第２端末座標系ＷＢは、第１端末座標系ＷＡを介して、標識３の空間座標系Ｗ１との間接的な座標系ペアリングが実現できる。
【0225】
実施の形態３で、端末１は、標識３との座標系ペアリング後、空間２内で測定して得られる所定の特徴点や特徴線を、座標系ペアリング（対応する変換パラメータ７）に関するキャリブレーション（調整）に使用してもよい。また、１つの空間２に複数の標識３または特徴が設けられてもよい。端末１は、それぞれの標識３または特徴を、座標系ペアリングまたは調整に用いることができる。
【0226】
［変形例５］
実施の形態１～３の変形例（変形例５とする）として、以下も可能である。変形例５では、ある空間２を測定して空間データ６を作成する場合における時間軸上での分担を扱う。この場合のユーザは一人でも複数人でもよい。同時に１台の端末１しか無い場合でも、時間軸上での分担が可能である。この場合、時間的な分割によって構成された複数の時間における各時間を、各端末１が担当する。
実施の形態１～３の変形例（変形例５とする）として、以下も可能である。変形例５では、ある空間２を測定して空間データ６を作成する場合における時間軸上での分担を扱う。この場合のユーザは一人でも複数人でもよい。同時に１台の端末１しか無い場合でも、時間軸上での分担が可能である。この場合、時間的な分割によって構成された複数の時間における各時間を、各端末１が担当する。
【0227】
図２２は、変形例５における時間軸上での分担の例を示す。空間２は、例えば広い建物であり、ＩＤ＝100を有する。空間２は、図示しないが複数の部屋やエリア等を有してもよい。分担するユーザとして例えば二人のユーザ（Ｕ１，Ｕ２）がいて、対応する２台の端末１（１Ａ，１Ｂ）がある。ここでの作業の目的は、空間座標系Ｗ１で記述された、空間２の単位での空間データ６（D100とする）を作成することである。
【0228】
（Ａ）は第１日時での状態を示す。第１日時で、ユーザＵ１は、第１端末１Ａによって、空間２内の領域２２０１を測定し、その領域２２０１の形状等を表す部分空間データD101を作成し、サーバ４のＤＢ５のライブラリーに登録する。領域２２０１は、予め分担で決めた領域でもよいし、ユーザＵ１がその時に任意に測定した領域でもよい。
【0229】
（Ｂ）は第２日時での状態を示す。第２日時で、ユーザＵ２は、第２端末１Ｂによって、空間２内の領域２２０２を測定し、部分空間データD102を作成し、サーバ４のＤＢ５のライブラリーに登録する。領域２２０２は、領域２２０１とは別の領域であり、重複領域（例えば重複領域２２１２）を含んでもよい。部分空間データD102は、少なくとも部分空間データD101とは重複していない領域のデータを含む。
【0230】
（Ｃ）は第３日時での状態を示す。第３日時で、ユーザＵ１は、第１端末１Ａによって、空間２内の領域２２０３を測定し、部分空間データD103を作成し、サーバ４のＤＢ５のライブラリーに登録する。領域２２０３は、領域２２０１，２２０２とは別の領域であり、重複領域を含んでもよい。
【0231】
上記のように、サーバ４のＤＢ５には、空間２（ＩＤ＝100）についての空間データ６（特に空間形状データ６１）が蓄積される。時間軸上でその空間データ６の内容は随時に更新される。例えば第３日時では、空間データD100は、部分空間データD101，D102，D103から構成されている。なお、各部分空間データには、測定日時情報や、測定ユーザ・端末情報、「測定済み」等のステータス情報、等を持たせてもよい。その後も同様に、時間軸上で、一人以上の任意のユーザ、任意の端末１によって、適宜に空間２内の任意の領域を測定することで、空間２内の十分な領域が測定済みとなれば、空間２を単位とした空間データ６が作成できる。
【0232】
また、各端末１は、各回の測定の開始前には、サーバ４から空間データ６を参照することで、空間２内の測定済み領域について把握できる。よって、端末１は、測定済み領域についての測定を省略し、未測定領域を対象に測定を開始することもできる。また、端末１は、測定済み領域についても再度測定する場合、その領域の形状等の更新または補正が可能である。
【0233】
測定の重複領域（例えば重複領域２２１２）の扱いについては、以下の方法が可能である。第１方法としては、各部分空間データに、重複領域のデータを持たせる。例えば、部分空間データD101およびD102において、重複領域２２１２のデータを持つ。
【0234】
第２方法としては、各部分空間データに、重複領域のデータを持たせない。例えば、部分空間データD101またはD102において、重複領域２２１２のデータを持たない。端末１またはサーバ４は、空間２内のある領域が測定済みか否かを判断する。例えば、登録済みの空間データ６の内容の状態からその判断が可能である。例えば、第２端末１Ｂおよびサーバ４は、部分空間データD101に既に重複領域２２１２のデータがあるので、部分空間データD102には重複領域２２１２のデータを持たせないようにする。あるいは、他の方法として、第２端末１Ｂおよびサーバ４は、部分空間データD101における重複領域２２１２のデータを、部分空間データD102の重複領域２２１２のデータによって上書き更新する。
【0235】
空間２内の領域については、時間軸上でその領域での形状等の状態が変化している場合もある。例えば、机等の配置物が動かされている場合がある。この場合、端末１およびサーバ４は、時間軸上で領域毎の測定データまたは部分空間データの差をみることで、その変化を判断可能である。この判断に基づいて、例えば空間２の最新の状態を反映したい場合には、端末１およびサーバ４は、新しい方の測定日時での部分空間データを用いて上書き更新を行えばよい。また、端末１およびサーバ４は、そのような判断に基づいて、空間２を構成している固定の配置物（例えば壁、床、天井）と位置可変の配置物（例えば机）との区別を判断することもできる。これに基づいて、端末１およびサーバ４は、空間データ６において、部分毎に、固定と位置可変とを区別して属性情報を登録してもよい。また、そもそも位置可変の配置物については構成要素としないように空間データ６を構成することもできる。
【0236】
サーバ４のＤＢ５において、同じ空間２の空間データ６として、最新の測定日時の空間データのみ保持してもよいが、測定日時毎の空間データを履歴として保持してもよい。この場合、時間軸上の空間２の変化が履歴として把握できる。各測定日時の空間データの差からは、上記固定の配置物と位置可変の配置物との弁別も可能である。
【0237】
［変形例６］
実施の形態１～３の変形例（変形例６とする）として、以下も可能である。変形例６では、ある空間２を測定して空間データ６を作成する場合において、各端末１は、測定の事前の分担を行わない。この場合のユーザは一人でも複数人でもよい。各端末１は、測定した空間データを、要求があれば他の端末１に提供するか、サーバ４に登録する。各端末１は、自機が保有しない空間データ６を他の端末１およびサーバ４から検索して取得し、利用する。
実施の形態１～３の変形例（変形例６とする）として、以下も可能である。変形例６では、ある空間２を測定して空間データ６を作成する場合において、各端末１は、測定の事前の分担を行わない。この場合のユーザは一人でも複数人でもよい。各端末１は、測定した空間データを、要求があれば他の端末１に提供するか、サーバ４に登録する。各端末１は、自機が保有しない空間データ６を他の端末１およびサーバ４から検索して取得し、利用する。
【0238】
変形例６のフローを図２３に示す。情報処理装置９は、端末１（例えば第２端末１Ｂ）またはサーバ４である。図２３のフロー以前に、端末１は空間データ６を測定して保有し、サーバ４は例えば図２１のフローのように、測定された空間データ６の登録をしている。さらに、サーバ４は、建物の壁等の設計データとしての空間データ６を保持していてもよい。
【0239】
ステップＳ３３１，Ｓ３３１ｂで、第１端末１Ａと情報処理装置９は通信を確立する。情報処理装置９がサーバ４である場合は、通信の確立に際し、第1端末１Ａは、取得したい空間データ６を管理するサーバ４を選択する。選択は、例えば、空間データ６の位置情報から行うことができる。あるいは、標識３を認識して所定の情報（例えば、ＩＤ、空間データ取得先情報）を読み取り、その所定の情報に基づいてサーバ４との通信接続を確立することでもよい。情報処理装置９が第２端末１Ｂである場合、具体的に装置が特定できるので、予め保持していた通信用データを用いて通信確立を行うことができる。
【0240】
ステップＳ３３２で、第１端末１Ａは、座標系ペアリング要求を情報処理装置９に送信し、ステップＳ３３２ｂで、情報処理装置９は、座標系ペアリング応答を第１端末１Ａに送信する。
【0241】
ステップＳ３３３で、端末１は、諸量データの要求を情報処理装置９に送信する。この諸量データは、情報処理装置９が第２端末１Ｂである場合、第２端末１Ｂに関する諸量データである。情報処理装置９がサーバ４である場合、諸量データは標識３に関する諸量データである。ステップＳ３３３ｂで、情報処理装置９は、要求された諸量データを第１端末１Ａに送信する。第１端末１Ａは、その諸量データを取得する。なお、第２端末１Ｂから空間データ６を取得する際の共通座標系が空間座標系である場合、第１端末１Ａは、空間座標系との座標系ペアリングに必要な標識３等の諸量データを、第２端末１Ｂ他から取得する。
【0242】
ステップＳ３３４で、第１端末１Ａは、上記取得した諸量データに基づいて、座標系ペアリングに必要な、第２端末１Ｂまたは標識３の所定の特徴（例えば図２０の点ｐ１および線ｖ１，ｖ２）を端末座標系ＷＡで測定し、自機側の諸量データとして得る。この際の測定は測距センサ１３によって可能である。
【0243】
ステップＳ３３５で、第１端末１Ａは、ステップＳ３３３で得た第２端末１Ｂまたは標識３側の共通座標系ＷＳで記述されている諸量データと、ステップＳ３３４で得た自機側の端末座標系ＷＡで記述されている諸量データとを用いて、端末座標系ＷＡと共通座標系ＷＳとの変換パラメータ７を計算し、自機に設定する。これにより、第１端末１Ａと情報処理装置９との空間認識の共有ができる。
【0244】
ステップＳ３３６，Ｓ３３６ｂで、第１端末１Ａによる空間データ６保有の問合せと、情報処理装置９による問合せ応答および空間データ６の送信とを行う。まず、第１端末１Ａは、空間データ６を取得したい領域の共通座標系を基準として記述された位置情報を、情報処理装置９に送信する。情報処理装置９は、問合せを受けた領域に関する空間データ６のリストを回答する。ここでいう領域とは、例えば図２４の（Ａ）に示すような、座標値で規定される直方体で囲まれる３次元的領域であり、空間２の部分領域を細かく指定するものである。これは、予め空間メッシュを定義して、空間メッシュのＩＤで指定することでもよい。領域に関する空間データ６とは、領域内に少なくとも一部が存在する物体や、実空間の境界等の特徴点、特徴線、ポリゴンデータ等の３次元的位置情報である。空間データ６のリストとは、例えば図２４の（Ｂ）のようなものである。リスト上の領域の位置は物体等の位置情報が存在する範囲であり、問合せの領域とは必ずしも一致しない。領域の指定は、領域が、その各辺が座標軸に平行である直方体である場合は、直方体の一つの対角線の両端の座標値でよい。領域が任意の多面体である場合は、全ての頂点座標値で指定する。情報処理装置９による回答は、問合せを受けた領域の近傍の空間データ６を含めてもよい。回答を受けた第1端末１Ａは、リスト中から取得する空間データ６を選択し、情報処理装置９よりその空間データ９の送信を受ける。
【0245】
ステップＳ３３７で、第１端末１Ａは、ステップＳ３３６で取得した空間データ６を、変換パラメータ７を用いて、自機の端末座標系ＷＡで記述された空間データ６に変換し、利用する。
【0246】
なお、他の方法では、変換パラメータ７を情報端末装置９に送信し、位置情報に関しては、端末座標系ＷＡを基準とした情報交換を行ってもよい。
【0247】
ステップＳ３３８，Ｓ３３８ｂで、第１端末１Ａおよび情報処理装置９は、空間データ提供に係わる座標系ペアリングを終了するかどうかを確認し、終了する場合（Yes）にはステップＳ３３９，Ｓ３３９ｂへ進み、継続する場合（No）にはステップＳ３３６，Ｓ３３６ｂへ戻って同様に繰り返す。
【0248】
ステップＳ３０９，Ｓ３０９ｂで、第１端末１Ａと情報処理装置９は、空間データの提供に係わる通信接続を解除する。第１端末１Ａと情報処理装置９は、座標系ペアリングの状態を明示的に解除（例えば変換パラメータ７の削除）してもよいし、その後も継続させてもよい。なお、第１端末１Ａは、通信を介して常時に情報処理装置９と通信接続されてもよいし、必要な時のみ情報処理装置９と通信接続されてもよい。端末１内には基本的には空間データ６等のデータを保持しない方式（クライアント・サーバ方式）を用いてもよい。この場合のサーバは情報処理装置９としてのサーバ４ではない。
【0249】
端末１は、取得した空間データ６を統合して新たな空間データ６を作成する他、情報処理装置から取得した空間データ６を、ＡＲオブジェクトの表示等に利用するだけでもよい。
【0250】
変形例６により、事前の測定分担設定の手間なく、自機による空間データ６の測定を省略でき、作業の効率化を図ることができる。
【0251】
＜実施の形態４＞
図２５等を用いて、実施の形態４の空間認識システム等について説明する。実施の形態４は、実施の形態１～３に関する変形例であり、機能が追加される。端末１は、端末１の位置や向きに応じて、ユーザに対し、分担に係わる測定範囲等のガイドや支援のための画像を表示面１１に表示する。端末１の位置については、座標系ペアリング時の水平面上での位置を用いる。
図２５等を用いて、実施の形態４の空間認識システム等について説明する。実施の形態４は、実施の形態１～３に関する変形例であり、機能が追加される。端末１は、端末１の位置や向きに応じて、ユーザに対し、分担に係わる測定範囲等のガイドや支援のための画像を表示面１１に表示する。端末１の位置については、座標系ペアリング時の水平面上での位置を用いる。
【0252】
［表示例１］
図２５は、実施の形態４での端末１の表示面１１の表示例を示す。本例では、図３のような空間２内に、第１端末１ＡであるＨＭＤを装着したユーザＵ１がいる。ユーザＵ１は、ＨＭＤの表示面１１を通じて、ホワイトボード２ｂがある壁２３０１の方を見ている。第１端末１Ａには、予め例えば前述の図１０のステップＳ２Ａで、分担に係わる領域の設定が行われているとする。この設定は、サーバ４のＤＢ５の空間データ６に対する設定としてもよい。例えば、ユーザＵ１の第１端末１Ａは、図３や図４のように領域２Ａを担当する。
図２５は、実施の形態４での端末１の表示面１１の表示例を示す。本例では、図３のような空間２内に、第１端末１ＡであるＨＭＤを装着したユーザＵ１がいる。ユーザＵ１は、ＨＭＤの表示面１１を通じて、ホワイトボード２ｂがある壁２３０１の方を見ている。第１端末１Ａには、予め例えば前述の図１０のステップＳ２Ａで、分担に係わる領域の設定が行われているとする。この設定は、サーバ４のＤＢ５の空間データ６に対する設定としてもよい。例えば、ユーザＵ１の第１端末１Ａは、図３や図４のように領域２Ａを担当する。
【0253】
第１端末１Ａは、自機が分担する領域２Ａ（すなわち測定すべき領域）や測定範囲等を表す画像２３００を、表示面１１に重畳表示する。この画像２３００は、その画像２３００が見える方向にある領域が分担の領域であることを表している。本例では、画像２３００は、空間２内の領域２Ａ，２Ｂの境界面を表す画像（奥が透過して見える画像）であるが、これに限らず、３次元的な領域２Ａ等を表す画像としてもよい。本例では、空間座標系Ｗ１内での第１端末１Ａ（対応するユーザＵ１）の位置が領域２Ａの外側にあり、領域２Ａを向いている。そのため、領域２Ａ，２Ｂの境界面が画像２３００として表示されている。また、例えば、第１端末１Ａの位置が領域２Ａの内側にあり、領域２Ａの配置物の方を向いている状態の場合、画像２３００の代わりに、その状態を表す画像が表示される。
【0254】
ユーザＵ１は、この画像２３００を見ることで、領域２Ａを把握しやすく、測定がしやすい。ユーザＵ１は、この画像２３００が見える方向を測定すればよい。端末１に備える測定のためのセンサ（例えば測距センサ１３）の感度領域がユーザＵ１の顔の前方向にある場合において、ユーザＵ１は、この画像２３００を、測定のために顔を向ける方向の目安とすることができる。言い換えると、ユーザＵ１は、測定の際に、視線がこの画像２３００の面領域内を指すように顔を向ければよい。
【0255】
他の例としては、第１端末１Ａは、位置や向きの状態に応じて、画像２３００とは別に、他の端末１（例えば第２端末１Ｂ）の分担する領域（領域２Ｂ）を表す別の画像を表示してもよい。
【0256】
図２６は、分担方法の一例として、空間２を俯瞰した水平面（Ｘ１－Ｙ１面）での概要を示す。この分担は、対象の空間２を同時に複数台の端末１によって測定する場合に、測定の方位を設定する例を示す。この場合、水平面において、複数台の端末１によって対象の空間２の全方位（対応する領域）をカバーするように、各端末１の測定の方位が決定される。分担する複数の端末１は、互いに座標系ペアリングを行う。その後、端末１間では、適宜に通信しながら、分担のための処理を行う。
【0257】
本例では、三人のユーザ（Ｕ１，Ｕ２，Ｕ３）の端末１（１Ａ，１Ｂ，１Ｃ）で同時に測定する場合の各位置と方位（２４０１，２４０２，２４０３）を示す。端末１間では、まずこの状態で分担範囲を計算する。隣り合う端末１を結ぶ線分の垂直２等分線と空間２の境界線（本例では四方の壁）との交点（２４１１，２４１２，２４１３）をとる。この交点を、空間２の分担範囲の境界（対応する鉛直方向の線）とする。また、端末１間では、この分担範囲を初期値として、さらに、分担が公平（例えば同程度の大きさ）になるように調整（例えば交点を水平方向にずらす等）をしてもよい。また本例では交点を境界として分担範囲に重なりが無いようにしているが、これに限らず、交点を含む境界部分に分担範囲の重なりを設けてもよい。図２６のような分担での測定によって、部屋の壁等の形状を測定できる。
【0258】
［表示例２］
図２７は、図２６の分担に対応した第１端末１Ａでの表示例を示す。表示面１１には、交点２４１１，２４１３に対応する測定範囲境界線を表す画像２５０１，２５０２が表示される。また、本例では、その測定範囲境界線の画像２５０１，２５０２で表される測定範囲内に、複数の横線矢印の画像２５０３が表示される。この横線矢印は、測定の際に端末１のセンサ（例えば測距センサ１３）を走査するように動かす場合に、その走査の目安となる。
図２７は、図２６の分担に対応した第１端末１Ａでの表示例を示す。表示面１１には、交点２４１１，２４１３に対応する測定範囲境界線を表す画像２５０１，２５０２が表示される。また、本例では、その測定範囲境界線の画像２５０１，２５０２で表される測定範囲内に、複数の横線矢印の画像２５０３が表示される。この横線矢印は、測定の際に端末１のセンサ（例えば測距センサ１３）を走査するように動かす場合に、その走査の目安となる。
【0259】
ユーザＵ１は、その横線矢印の画像２５０３に沿って、顔の向き（対応する画像２５０４）を変えるように動かすことで、効率的および高精度の測定が実現できる。画像２５０４は、ＨＭＤおよびセンサ等の向きを表すカーソルのような画像の表示例である。画像２５０３における横線矢印の方向や間隔は、効率的な測定ができるように設計されている。例えば隣り合う２本の横線矢印の間隔は、測定漏れが生じずに測定重複が最低限となるような間隔として選択されている。
【0260】
［表示例３］
図２８は、さらに、他の表示例を示す。端末１は、空間２内または分担領域内の各領域について、測定（言い換えると測定データの取得）が済んだか否かを把握し、測定済みの領域と未測定の領域とがユーザに分かりやすいように、それらの領域を区別して表す画像を表示面１１に表示する。また、端末１は、サーバ４のＤＢ５のライブラリーに既に空間データ６（特に空間形状データ６１）として登録済みの領域かどうかを把握し、それらの領域を区別して表す画像を表示してもよい。本例では、画像２６０１は、測定済み範囲を表す、縦線ハッチングのような画像である。画像２６０２は、未測定範囲を表す、斜線ハッチングのような画像である。これらの画像の表示状態はリアルタイムで更新される。画像には、「測定済み」、「未測定」、「登録済み」、「分担範囲」とった種類を表す文字列やアイコン等を付けて表示してもよい。画像表示のみならず、音声出力によるガイドを用いてもよい。
図２８は、さらに、他の表示例を示す。端末１は、空間２内または分担領域内の各領域について、測定（言い換えると測定データの取得）が済んだか否かを把握し、測定済みの領域と未測定の領域とがユーザに分かりやすいように、それらの領域を区別して表す画像を表示面１１に表示する。また、端末１は、サーバ４のＤＢ５のライブラリーに既に空間データ６（特に空間形状データ６１）として登録済みの領域かどうかを把握し、それらの領域を区別して表す画像を表示してもよい。本例では、画像２６０１は、測定済み範囲を表す、縦線ハッチングのような画像である。画像２６０２は、未測定範囲を表す、斜線ハッチングのような画像である。これらの画像の表示状態はリアルタイムで更新される。画像には、「測定済み」、「未測定」、「登録済み」、「分担範囲」とった種類を表す文字列やアイコン等を付けて表示してもよい。画像表示のみならず、音声出力によるガイドを用いてもよい。
【0261】
［表示例４］
図２９は、他の表示例を示す。この変形例では、複数の端末１間では、分担の領域を決めない。各ユーザは適宜に端末１によって任意の範囲を測定し、自発的に未測定範囲を測定する。空間２の測定の際、各端末１は、ユーザの位置や向きに応じた範囲を測定する。各端末１は、図２８と同様に、自機による測定済み範囲と未測定範囲とがユーザに分かるように画像を表示する。例えば第１端末１Ａは画像２６０１，２６０２を表示する。分担する端末１間では、測定の都度、測定データ、または自機の測定済み領域等を表す情報を、他の端末１に送信する。各端末１は、その測定データまたは情報に基づいて、空間２内の各端末１による測定済み領域や未測定領域を把握する。そして、各端末１は、表示面１１の範囲内に、他の端末１による測定済みの領域がある場合には、その測定済みを表す画像を表示する。例えば第１端末１Ａは、第２端末１Ｂによる測定済みを表す横線ハッチングのような画像２７０１を表示する。ユーザＵ１は、ガイド画像を見ることで、次の測定範囲を決めやすい。上記例に限らず、分担する全端末１でまとめて、測定済みと未測定との２種類の画像としてもよい。
図２９は、他の表示例を示す。この変形例では、複数の端末１間では、分担の領域を決めない。各ユーザは適宜に端末１によって任意の範囲を測定し、自発的に未測定範囲を測定する。空間２の測定の際、各端末１は、ユーザの位置や向きに応じた範囲を測定する。各端末１は、図２８と同様に、自機による測定済み範囲と未測定範囲とがユーザに分かるように画像を表示する。例えば第１端末１Ａは画像２６０１，２６０２を表示する。分担する端末１間では、測定の都度、測定データ、または自機の測定済み領域等を表す情報を、他の端末１に送信する。各端末１は、その測定データまたは情報に基づいて、空間２内の各端末１による測定済み領域や未測定領域を把握する。そして、各端末１は、表示面１１の範囲内に、他の端末１による測定済みの領域がある場合には、その測定済みを表す画像を表示する。例えば第１端末１Ａは、第２端末１Ｂによる測定済みを表す横線ハッチングのような画像２７０１を表示する。ユーザＵ１は、ガイド画像を見ることで、次の測定範囲を決めやすい。上記例に限らず、分担する全端末１でまとめて、測定済みと未測定との２種類の画像としてもよい。
【0262】
［表示例５］
図３０は、他の画像の表示例を示す。図２５等の例では、実空間中に面等を表すガイド画像が表示されているが、これに限らず、空間２の壁や机等の物体の面に合わせるように、ガイド画像を表示してもよい。本例では、部屋等の空間２内の壁２７０２，２７０３に近い角隅において、床２７０１上に物体２７００が配置されている。端末１は、この物体２７００を含む範囲を測定した際、測定済みを表す破線のような画像２７１０を表示する。例えば、端末１は、測距センサ１３によって取得した点群データに基づいて、その点群で表される物体の面に合わせて、測定済み範囲の物体の形状を表す画像２７１０を表示できる。画像２７１０は、線画像でもよいし、面画像でもよい。
図３０は、他の画像の表示例を示す。図２５等の例では、実空間中に面等を表すガイド画像が表示されているが、これに限らず、空間２の壁や机等の物体の面に合わせるように、ガイド画像を表示してもよい。本例では、部屋等の空間２内の壁２７０２，２７０３に近い角隅において、床２７０１上に物体２７００が配置されている。端末１は、この物体２７００を含む範囲を測定した際、測定済みを表す破線のような画像２７１０を表示する。例えば、端末１は、測距センサ１３によって取得した点群データに基づいて、その点群で表される物体の面に合わせて、測定済み範囲の物体の形状を表す画像２７１０を表示できる。画像２７１０は、線画像でもよいし、面画像でもよい。
【0263】
以上、本発明を実施の形態に基づいて具体的に説明したが、本発明は前述の実施の形態に限定されず、要旨を逸脱しない範囲で種々変更可能である。実施の形態の構成要素の追加や削除や置換、各種の組合せによる構成が可能である。前述した機能等は、一部または全部をハードウェアで実装してもよいし、ソフトウェアプログラム処理で実装してもよい。機能等を構成するプログラムやデータは、コンピュータ読取可能な記憶媒体に格納されてもよいし、通信網上の装置に格納されてもよい。
【符号の説明】
【0264】
１…端末（ＨＭＤ）、１Ａ…第１端末、１Ｂ…第２端末、１ａ，１ｂ…スマートフォン、２…空間、４…サーバ、６…空間データ、７…変換パラメータ、９…情報処理装置、１１…表示面、１２…カメラ、１３…測距センサ、Ｕ１…第１ユーザ、Ｕ２…第２ユーザ、Ｗ１…空間座標系、ＷＡ…第１端末座標系、ＷＢ…第２端末座標系、ＷＳ…共通座標系、ＷＴ…端末座標系、２１…位置、２２…画像。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】