特許第6722786号(P6722786)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 凸版印刷株式会社の特許一覧 ▶ TIS株式会社の特許一覧

<>
  • 特許6722786-空間情報管理装置 図000002
  • 特許6722786-空間情報管理装置 図000003
  • 特許6722786-空間情報管理装置 図000004
  • 特許6722786-空間情報管理装置 図000005
  • 特許6722786-空間情報管理装置 図000006
  • 特許6722786-空間情報管理装置 図000007
  • 特許6722786-空間情報管理装置 図000008
  • 特許6722786-空間情報管理装置 図000009
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】6722786
(24)【登録日】2020年6月24日
(45)【発行日】2020年7月15日
(54)【発明の名称】空間情報管理装置
(51)【国際特許分類】
   G06T 19/00 20110101AFI20200706BHJP
   H04N 21/238 20110101ALI20200706BHJP
   G06F 3/01 20060101ALI20200706BHJP
   G06F 3/0481 20130101ALI20200706BHJP
   G09G 5/00 20060101ALI20200706BHJP
   G09G 5/38 20060101ALI20200706BHJP
【FI】
   G06T19/00 300B
   H04N21/238
   G06F3/01 570
   G06F3/0481 150
   G09G5/00 510H
   G09G5/38 A
   G09G5/00 550C
   G06T19/00 600
【請求項の数】6
【全頁数】23
(21)【出願番号】特願2019-18651(P2019-18651)
(22)【出願日】2019年2月5日
【審査請求日】2019年2月5日
(73)【特許権者】
【識別番号】000003193
【氏名又は名称】凸版印刷株式会社
(73)【特許権者】
【識別番号】514020389
【氏名又は名称】TIS株式会社
(74)【代理人】
【識別番号】100105957
【弁理士】
【氏名又は名称】恩田 誠
(74)【代理人】
【識別番号】100068755
【弁理士】
【氏名又は名称】恩田 博宣
(72)【発明者】
【氏名】中里 正行
(72)【発明者】
【氏名】▲高▼木 祐耶
(72)【発明者】
【氏名】谷山 友規
(72)【発明者】
【氏名】森本 晃弘
(72)【発明者】
【氏名】森 真吾
(72)【発明者】
【氏名】杉本 宗一郎
【審査官】 千葉 久博
(56)【参考文献】
【文献】 特開2018−84878(JP,A)
【文献】 特開2016−48534(JP,A)
【文献】 国際公開第2018/194137(WO,A1)
【文献】 村田直樹, 外4名,“VR/MR技術を用いた同室感を有する遠隔コミュニケーションシステムの提案”,第23回日本バーチャルリアリティ学会大会,2018年 9月18日
【文献】 松田晃一,“非共有型共有仮想世界”,日本バーチャルリアリティ学会論文誌,日本,特定非営利活動法人日本バーチャルリアリティ学会,2009年 6月30日,第14巻, 第2号,p.171-176
(58)【調査した分野】(Int.Cl.,DB名)
G06T 19/00
G06F 3/01
G06F 3/0481
G09G 5/00
G09G 5/38
H04N 21/238
(57)【特許請求の範囲】
【請求項1】
第1空間に位置する第1ユーザの指示を示す第1動作情報と、第2空間に位置する第2ユーザの動きを示す第2動作情報とを取得する取得部と、
前記第1動作情報に基づき前記指示に従って動かされる第1オブジェクトと、前記第2動作情報に基づき前記第2ユーザの動きに対応して動かされる第2オブジェクトとを、前記第2空間の現実環境を反映した1つの仮想空間に、前記第2オブジェクトから前記第1オブジェクトを視認可能に配置した統合空間を構築する統合空間生成部と、
前記第1空間に位置する第1表示装置に、前記第1オブジェクトからの視点で前記統合空間の構成要素を表示させるための第1表示データと、前記第2空間に位置する第2表示装置に、前記第2オブジェクトからの視点で前記第1オブジェクトを前記第2空間の現実環境に重ねて表示させるための第2表示データとを生成する出力データ生成部と、
前記第1表示データを前記第1表示装置に出力し、前記第2表示データを前記第2表示装置に出力する出力部と、
を備え、前記第1ユーザによる前記第2ユーザに対しての前記第2空間の案内に用いられる空間情報管理装置であって、
前記仮想空間は、前記第2空間を模した構造物の配置を有する仮想空間であって、前記構造物には前記第2空間の展示物を模したオブジェクトが含まれ、
前記第1表示データは、VRコンテンツとして、前記第2オブジェクトと前記展示物を模したオブジェクトとを含む前記統合空間の構成要素を、前記第1表示装置に表示させるためのデータであり、
前記第2表示データは、ARコンテンツとして、前記第1オブジェクトを前記第2空間の前記展示物を含む現実環境に重ねて表示させるためのデータであり、
前記第1動作情報には、位置、向き、および、身振りの指示が含まれ、
前記第2動作情報には、前記第2ユーザの位置および向きが含まれ、かつ、身振りは除かれ、
前記統合空間生成部は、前記第2オブジェクトを、前記第2空間での前記第2ユーザの位置および向きに対応する前記仮想空間での位置および向きに配置する
空間情報管理装置。
【請求項2】
前記第1動作情報は、前記第1ユーザ自身の動きによる指示、および、操作機に対する前記第1ユーザの操作による指示の少なくとも一方を示す
請求項に記載の空間情報管理装置。
【請求項3】
前記第1オブジェクトは、位置および向きの変化と身振りとを表現可能な外観を有し、
前記第2オブジェクトは、位置および向きの変化のみを表現可能な外観を有する
請求項1または2に記載の空間情報管理装置。
【請求項4】
前記出力データ生成部は、前記第1ユーザに対する案内を前記第1表示装置に表示させるためのデータを生成して前記出力部から前記第1表示装置に出力されるデータに含めること、および、前記第2ユーザに対する案内を前記第2表示装置に表示させるためのデータを生成して前記出力部から前記第2表示装置に出力されるデータに含めることの少なくとも一方を行う
請求項1〜のいずれか一項に記載の空間情報管理装置。
【請求項5】
前記第2空間の基準位置に設けられたマーカーが、前記第2ユーザが携帯する情報取得装置を通じて認識されたとき、前記統合空間生成部は、前記第2空間の前記基準位置に対応する前記仮想空間の位置を基準として、前記第2空間での前記基準位置に対する前記情報取得装置の位置に対応する前記仮想空間の位置に、前記第2オブジェクトを配置する
請求項1〜4のいずれか一項に記載の空間情報管理装置。
【請求項6】
前記第1空間を包含する包含空間の位置と、前記仮想空間の位置とが対応付けられており、前記第1ユーザの指示は、前記包含空間に対して前記第1空間を相対的に移動させることにより、前記第1空間での前記第1ユーザの位置に対応する前記仮想空間の位置である仮想位置を前記包含空間内で変化させることを通じて前記第1オブジェクトを移動させる指示として機能し、
前記統合空間生成部は、前記第1オブジェクトを前記仮想位置に配置し、前記仮想位置の変化に伴って前記第1オブジェクトを移動させる
請求項1〜5のいずれか一項に記載の空間情報管理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、遠隔でのコミュニケーションに用いられる空間情報管理装置に関する。
【背景技術】
【0002】
従来から、例えば遠隔会議に用いるシステムとして、第1空間内の人物と、第1空間から離れた第2空間内の人物とがコミュニケーションを取るためのシステムが提案されている。具体的には、第1空間の映像を、第2空間に位置する表示装置に表示させるとともに、第2空間の映像を、第1空間に位置する表示装置に表示させることで、各空間内の人物に他方の空間の状況が伝えられる(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2018−11273号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、表示装置に他方の空間の映像を表示することでは、空間的な情報の伝達には限界がある。例えば、第1空間内の人物が、第2空間内の人物に対し、第2空間内の物品を指し示しながら説明を行いたい場合や、身振り等の動作を通じて情報を伝えたい場合には、コミュニケーションが円滑に進むとは言い難い。
【0005】
本発明は、空間的な情報を容易に伝達することのできる空間情報管理装置を提供することを目的とする。
【課題を解決するための手段】
【0006】
上記課題を解決する空間情報管理装置は、第1空間に位置する第1ユーザの指示を示す第1動作情報と、第2空間に位置する第2ユーザの動きを示す第2動作情報とを取得する取得部と、前記第1動作情報に基づき前記指示に従って動かされる第1オブジェクトと、前記第2動作情報に基づき前記第2ユーザの動きに対応して動かされる第2オブジェクトとを、前記第2空間の現実環境を反映した1つの仮想空間に、前記第2オブジェクトから前記第1オブジェクトを視認可能に配置した統合空間を構築する統合空間生成部と、前記第1空間に位置する第1表示装置に、前記第1オブジェクトからの視点で前記統合空間の構成要素を表示させるための第1表示データと、前記第2空間に位置する第2表示装置に、前記第2オブジェクトからの視点で前記第1オブジェクトを前記第2空間の現実環境に重ねて表示させるための第2表示データとを生成する出力データ生成部と、前記第1表示データを前記第1表示装置に出力し、前記第2表示データを前記第2表示装置に出力する出力部と、を備える。
【0007】
上記構成によれば、第1ユーザを代替する第1オブジェクトと、第2ユーザを代替する第2オブジェクトとが統合空間にて1つの仮想空間を共有し、この統合空間における各々の視点からの画像が、表示装置を通じて各ユーザに提供される。それゆえ、統合空間にて現実の空間を反映した構成要素の位置関係や動き等が共有されるため、空間的な情報の容易な伝達が可能である。
【0008】
上記構成において、前記第1オブジェクトと前記第2オブジェクトとが配置される仮想空間は、前記第2空間を模した構造物の配置を有する仮想空間であり、前記統合空間生成部は、前記第2オブジェクトを、前記第2空間での前記第2ユーザの位置および向きに対応する前記仮想空間での位置および向きに配置してもよい。
上記構成によれば、統合空間での現実の空間を反映した構成要素の位置関係の共有を、的確に行うことができる。
【0009】
上記構成において、前記第1表示データは、VRコンテンツとして、前記統合空間の構成要素を前記第1表示装置に表示させるためのデータであり、前記第2表示データは、ARコンテンツとして、前記第1オブジェクトを前記第2空間の現実環境に重ねて表示させるためのデータであってもよい。
【0010】
上記構成によれば、第1ユーザは、第2空間とは構造物の配置が異なる第1空間にいる場合であっても、第1表示装置によって提供されるVRコンテンツを通じて、第2空間の状況の把握が可能である。一方、第2ユーザは、第2表示装置によって提供されるARコンテンツを通じて、第2空間の実際の像を見つつ、第1オブジェクトを通じて第1ユーザの意図の把握が可能である。こうした構成によって、第1ユーザと第2ユーザとのコミュニケーションに際しての各ユーザの臨場感が高められる。
【0011】
上記構成において、前記第1動作情報は、前記第1ユーザ自身の動きによる指示、および、操作機に対する前記第1ユーザの操作による指示の少なくとも一方を示してもよい。
上記構成によれば、第1動作情報が、第1ユーザ自身の動きによる指示を示す場合、第1ユーザ自身の動きが第1オブジェクトの動きに反映される。したがって、第1ユーザは、自身が実際に統合空間で動作しているかのように感じられ、臨場感が高められる。一方、第1動作情報が、操作機に対する第1ユーザの操作による指示を示す場合、第1オブジェクトを動かすための第1ユーザの動きに要するスペースの削減が可能である。したがって、第1空間が第2空間よりも小さい場合であっても、統合空間内の全域に第1オブジェクトを移動させることが可能である。
【0012】
上記構成において、前記第1動作情報には、位置、向き、および、身振りの指示が含まれ、前記第2動作情報には、前記第2ユーザの位置および向きが含まれ、かつ、身振りは除かれてもよい。
【0013】
上記構成によれば、第1オブジェクトの動きを通じて、第2ユーザに、空間的な情報として詳細な動作の伝達が可能である。一方、第2オブジェクトには、第2ユーザの位置および向きのみが反映されるため、第1ユーザに対し、第1オブジェクトや構造物と第2オブジェクトとの位置関係といった、有用性の高い空間的な情報の伝達を可能としつつ、第2動作情報の取得や送信に要する負荷、および、第2オブジェクトの配置に要する演算の負荷を軽減することができる。
【0014】
上記構成において、前記第1オブジェクトは、位置および向きの変化と身振りとを表現可能な外観を有し、前記第2オブジェクトは、位置および向きの変化のみを表現可能な外観を有してもよい。
上記構成によれば、第1オブジェクトおよび第2オブジェクトが反映される情報に適した外観を有するため、オブジェクトの描画に関する処理の効率化が可能である。
【0015】
上記構成において、前記出力データ生成部は、前記第1ユーザに対する案内を前記第1表示装置に表示させるためのデータを生成して前記出力部から前記第1表示装置に出力されるデータに含めること、および、前記第2ユーザに対する案内を前記第2表示装置に表示させるためのデータを生成して前記出力部から前記第2表示装置に出力されるデータに含めることの少なくとも一方を行ってもよい。
【0016】
上記構成によれば、空間情報管理装置の利用による第1ユーザと第2ユーザとのより円滑なコミュニケーションが可能である。
上記構成において、前記空間情報管理装置は、前記第1ユーザによる前記第2ユーザに対しての前記第2空間の案内に用いられてもよい。
【0017】
第2空間の案内には、第2空間における構造物や第2ユーザの位置関係、第2空間のどの部分の案内なのかといった構造物と案内内容との関係等、空間的な情報の伝達の重要性が高い。したがって、第2空間の案内に空間情報管理装置を用いることによって、高い有益性が得られる。
【発明の効果】
【0018】
本発明によれば、空間的な情報を容易に伝達することができる。
【図面の簡単な説明】
【0019】
図1】空間情報管理装置の一実施形態について、当該装置を含む空間共有システムの構成を示す図。
図2】一実施形態の空間共有システムの処理概念を示す図。
図3】一実施形態の空間共有システムにおける第1オブジェクトの移動に関する処理概念を示す図。
図4】一実施形態の空間共有システムにおける処理手順を示すシーケンス図。
図5】一実施形態の空間共有システムにおける第1表示装置に表示される画像の一例を示す図。
図6】一実施形態の空間共有システムにおける第2表示装置に表示される画像の一例を示す図。
図7】変形例の第1表示装置に表示される画像の一例を示す図。
図8】変形例の第2表示装置に表示される画像の一例を示す図。
【発明を実施するための形態】
【0020】
図1図6を参照して、空間情報管理装置の一実施形態を説明する。
[空間共有システムの全体構成]
図1を参照して、空間情報管理装置を用いた空間共有システムの全体構成を説明する。本実施形態の空間共有システムは、第1空間RS1に位置する人物である第1ユーザP1と、第2空間RS2に位置する人物である第2ユーザP2とが、遠隔でコミュニケーションを取るためのシステムである。本実施形態では、第1ユーザP1が、第2ユーザP2に対して第2空間RS2の案内を行う場合を例として、空間共有システムを説明する。
【0021】
第1空間RS1と第2空間RS2とは、互いに離れた空間である。第2空間RS2は、例えば、美術館、博物館、展示会場等であり、第2ユーザP2は、こうした第2空間RS2で行われている催事への来訪者である。第1空間RS1は、特に限定されないが、例えば、上記催事の運営団体が管理する会議室、オペレーションルーム、コールセンター等であり、第1ユーザP1は、上記催事のスタッフである。
【0022】
図1が示すように、空間共有システムは、第1空間RS1に配置される第1情報取得装置100および第1表示装置110と、第2空間RS2に配置される第2情報取得装置200および第2表示装置210と、空間情報管理装置の一例である情報管理サーバ10とを含む。
【0023】
空間共有システムにおいては、第1ユーザP1の位置等の情報である第1情報Ir1が、第1情報取得装置100によって取得されるとともに、第2ユーザP2の位置等の情報である第2情報Ir2が、第2情報取得装置200によって取得される。情報管理サーバ10は、第1情報Ir1と第2情報Ir2とに基づき、第1ユーザP1と第2ユーザP2とが同一の空間に位置するかのようにオブジェクトが配置された仮想空間である統合空間VSを構築する。そして、第1表示装置110には、統合空間VSから抽出された情報に基づく画像が表示されて、第1ユーザP1に視認され、第2表示装置210にもまた、統合空間VSから抽出された情報に基づく画像が表示されて、第2ユーザP2に視認される。
【0024】
以下、各装置の構成について、詳細に説明する。
第1情報取得装置100および第1表示装置110と情報管理サーバ10とは、ネットワークを通じて、相互にデータの送信および受信を行う。同様に、第2情報取得装置200および第2表示装置210と情報管理サーバ10とは、ネットワークを通じて、相互にデータの送信および受信を行う。第1情報取得装置100、第1表示装置110、第2情報取得装置200、および、第2表示装置210の各装置と情報管理サーバ10との通信に利用されるネットワークは、インターネット等の汎用通信回線であってもよいし、各装置の通信のための専用通信回線であってもよい。また、各装置と情報管理サーバ10との通信に利用されるネットワークは、独立した複数のネットワークを含んでいてもよいし、共通した1つのネットワークであってもよい。
【0025】
第1情報取得装置100は、第1情報Ir1を取得する。第1情報Ir1は、第1空間RS1における第1ユーザP1の位置、向き、および、身振りを示す第1動作情報Im1と、音声を示す第1音声情報Iv1とを含む。
【0026】
第1動作情報Im1が示す第1ユーザP1の位置は、緯度および経度を利用した絶対的な位置であってもよいし、第1空間RS1内における基準位置もしくは第1ユーザP1の初期位置に対する相対的な位置であってもよい。こうした位置の検出のための機器としては、例えば、GPS受信機や、ジャイロセンサ、加速度センサ、地磁気センサ等を含むモーションセンサが挙げられ、第1情報取得装置100は、第1ユーザP1の位置を所望の方式にて検出可能な機器を含む。
【0027】
第1動作情報Im1が示す第1ユーザP1の向きは、第1ユーザP1の例えば頭部の向きであり、言い換えれば、第1ユーザP1の視線の方向を規定する向きである。第1ユーザP1の向きは、例えば、三次元直交座標系における各軸を基準として算出される。こうした向きの検出のための機器としては、例えば、上記モーションセンサや、光学装置や各種のセンサを利用したヘッドトラッキングやフェイストラッキングのシステムを構成する機器等が挙げられ、第1情報取得装置100は、第1ユーザP1の向きを所望の方式にて検出可能な機器を含む。
【0028】
第1動作情報Im1が示す第1ユーザP1の身振りは、第1ユーザP1の身体の全体、もしくは、頭部、手、足といった身体の一部の動きである。こうした身振りの検出のための機器としては、例えば、光学式、慣性センサ式、磁気式等の各種のモーションキャプチャ、上記ヘッドトラッキングやフェイストラッキングのシステムを構成する機器等が挙げられ、第1情報取得装置100は、第1ユーザP1の身振りを所望の方式にて検出可能な機器を含む。
【0029】
第1音声情報Iv1は、第1ユーザP1が発した声等の音声を示す。こうした音声の検出のための機器として、第1情報取得装置100は、マイクを含む。
さらに、第1情報取得装置100は、ネットワークへの接続処理等、情報管理サーバ10との通信処理を行う通信部、および、上述の各機器による第1情報Ir1の取得と、通信部による第1情報Ir1の情報管理サーバ10への送信とを制御する制御部を備える。
【0030】
第1情報取得装置100を構成する各機器、すなわち、第1情報Ir1の取得のための機器と上記通信部および制御部を構成する機器は、各機器の機能に応じて、第1ユーザP1に装着もしくは携帯されるか、第1空間RS1内に設置されている。互いに情報の授受を要する機器は、無線もしくは有線によって接続されている。
【0031】
なお、第1動作情報Im1は、第1ユーザP1による動きについての指示を示す情報であればよい。具体的には、上述のように第1動作情報Im1が第1ユーザP1の位置、向き、および、身振りを示す情報であるとき、第1動作情報Im1は、第1ユーザP1自身の動きによる位置、向き、および、身振りの指示を示す情報である。この場合、第1ユーザP1の位置、向き、および、身振りの実際の変化量が検出されて、統合空間VSにおけるオブジェクトの動きに反映される。
【0032】
これに代えて、第1動作情報Im1は、操作機に対する第1ユーザP1の操作による指示を示す情報であってもよい。この場合、第1情報取得装置100は、操作機として機能するコントローラー型の機器を含み、第1ユーザP1が例えばスティック状やボタン状の操作部を操作することにより、当該操作が位置、向き、および、身振りの指示として機能して、統合空間VSにおけるオブジェクトの動きに反映される。
【0033】
また、第1動作情報Im1は、第1ユーザP1自身の動きによる指示と、操作機に対する操作による指示との双方を含んでいてもよい。例えば、位置および向きの変更が操作によって指示され、身振りが第1ユーザP1自身の動きによって指示されてもよい。
【0034】
第1表示装置110は、VR(Virtual Reality)コンテンツを第1ユーザP1に提供する装置であり、例えば、ヘッドマウントディスプレイや、液晶パネル等の表示部を備えるタブレット端末等に具体化される。
【0035】
第1表示装置110は、ネットワークへの接続処理等、情報管理サーバ10との通信処理を行う通信部と、画像を表示する表示部と、音声を出力する音声出力部と、これらの各部の処理を制御する制御部とを備える。第1表示装置110は、情報管理サーバ10から、統合空間VSから抽出された情報に基づいて生成された第1出力データDt1を受信する。第1表示装置110は、第1出力データDt1を用いて、表示部に画像を表示するとともに、音声出力部から音声を出力する。
なお、第1表示装置110が第1情報取得装置100の一部の機能を兼ねていてもよい。
【0036】
第2情報取得装置200は、第2情報Ir2を取得する。第2情報Ir2は、第2空間RS2における第2ユーザP2の位置および向きを示す第2動作情報Im2と、音声を示す第2音声情報Iv2とを含む。第2動作情報Im2は、第2ユーザP2の身振りを示す情報を含まない。第2動作情報Im2は、第2ユーザP2の動きを示す情報であり、第2ユーザP2自身の動きによる位置および向きの指示を示す情報として機能する。
【0037】
第2動作情報Im2が示す第2ユーザP2の位置は、緯度および経度を利用した絶対的な位置であってもよいし、第2空間RS2内における基準位置もしくは第2ユーザP2の初期位置に対する相対的な位置であってもよい。こうした位置の検出のための機器としては、例えば、GPS受信機や、ジャイロセンサ、加速度センサ、地磁気センサ等を含むモーションセンサが挙げられ、第2情報取得装置200は、第2ユーザP2の位置を所望の方式にて検出可能な機器を含む。
【0038】
第2動作情報Im2が示す第2ユーザP2の向きは、第2ユーザP2の例えば頭部の向きであり、言い換えれば、第2ユーザP2の視線の方向を規定する向きである。第2ユーザP2の向きは、例えば、三次元直交座標系における各軸を基準として算出される。こうした向きの検出のための機器としては、例えば、上記モーションセンサや、光学装置や各種のセンサを利用したヘッドトラッキングやフェイストラッキングのシステムを構成する機器等が挙げられ、第2情報取得装置200は、第2ユーザP2の向きを所望の方式にて検出可能な機器を含む。
【0039】
第2音声情報Iv2は、第2ユーザP2が発した声等の音声を示す。こうした音声の検出のための機器として、第2情報取得装置200は、マイクを含む。
さらに、第2情報取得装置200は、ネットワークへの接続処理等、情報管理サーバ10との通信処理を行う通信部、および、上述の各機器による第2情報Ir2の取得と、通信部による第2情報Ir2の情報管理サーバ10への送信とを制御する制御部を備える。
【0040】
第2情報取得装置200を構成する各機器、すなわち、第2情報Ir2の取得のための機器と上記通信部および制御部を構成する機器は、各機器の機能に応じて、第2ユーザP2に装着もしくは携帯されるか、第2空間RS2内に設置されている。互いに情報の授受を要する機器は、無線もしくは有線によって接続されている。
【0041】
第2表示装置210は、AR(Augmented Reality)コンテンツを第2ユーザP2に提供する装置であり、例えば、透過型のヘッドマウントディスプレイや、液晶パネル等の表示部を備えるタブレット端末等に具体化される。
【0042】
第2表示装置210は、ネットワークへの接続処理等、情報管理サーバ10との通信処理を行う通信部と、画像を表示する表示部と、音声を出力する音声出力部と、これらの各部の処理を制御する制御部とを備える。第2表示装置210は、情報管理サーバ10から、統合空間VSから抽出された情報に基づいて生成された第2出力データDt2を受信する。第2表示装置210は、第2出力データDt2に基づく画像を第2空間RS2の現実環境に重ねて表示部に表示するとともに、音声出力部から音声を出力する。
なお、第2表示装置210が第2情報取得装置200の一部の機能を兼ねていてもよい。
【0043】
情報管理サーバ10は、通信部20と、制御部30と、記憶部40とを備えている。
通信部20は、ネットワークを通じて、情報管理サーバ10と上述の各装置との接続処理を実行し、これらの装置間でデータの送信および受信を行う。通信部20は、第1情報取得装置100から第1情報Ir1を取得し、第2情報取得装置200から第2情報Ir2を取得する取得部として機能するとともに、第1表示装置110へ第1出力データDt1を出力し、第2表示装置へ第2出力データDt2を出力する出力部として機能する。
【0044】
制御部30は、CPU、および、RAM等の揮発性メモリを含む構成を有する。制御部30は、記憶部40に記憶されたプログラムやデータに基づいて、通信部20による処理の制御、記憶部40における情報の読み出しや書き込み、各種の演算処理等、情報管理サーバ10が備える各部の制御を行う。制御部30は、空間共有システムを構成する機能部として、第1情報処理部31、第2情報処理部32、統合空間生成部33、および、出力データ生成部34を備えている。
【0045】
第1情報処理部31は、第1情報Ir1を用いて、統合空間VSの生成のためのデータを生成する。具体的には、第1情報処理部31は、第1動作情報Im1に基づいて、統合空間VSの構成要素に含められるアバターである第1オブジェクトOb1の位置、向き、および、身体の動きを設定する。
【0046】
第2情報処理部32は、第2情報Ir2を用いて、統合空間VSの生成のためのデータを生成する。具体的には、第2情報処理部32は、第2動作情報Im2に基づいて、統合空間VSの構成要素に含められる第2オブジェクトOb2の位置および向きを設定する。
【0047】
統合空間生成部33は、統合空間VSを生成する。具体的には、統合空間生成部33は、記憶部40が記憶しているデータと、第1情報処理部31および第2情報処理部32が生成したデータとを用いて、1つの仮想空間に第1オブジェクトOb1および第2オブジェクトOb2を配置して統合空間VSを構築する。
【0048】
出力データ生成部34は、統合空間生成部33が生成した統合空間VSから情報を抽出して、第1出力データDt1および第2出力データDt2を生成する。第1出力データDt1は、第1オブジェクトOb1の視点から見た統合空間VSを第1表示装置110に表示させるための表示データ、および、第2音声情報Iv2に基づく音声データを含む。第2出力データDt2は、第2オブジェクトOb2の視点から見た第1オブジェクトOb1を第2表示装置210に表示させるための表示データ、および、第1音声情報Iv1に基づく音声データを含む。
【0049】
記憶部40は、不揮発性メモリを含む構成を有し、制御部30が実行する処理に必要なプログラムやデータを記憶している。具体的には、記憶部40は、実空間データ41と、仮想空間データ42と、オブジェクトデータ43とを記憶している。
【0050】
実空間データ41は、第1情報処理部31が第1動作情報Im1に基づき第1オブジェクトOb1についての設定を行う際に用いるデータを含む。当該データは、第1空間RS1での位置および向きと統合空間VSでの位置および向きとを対応させるためのデータである。同様に、実空間データ41は、第2情報処理部32が第2動作情報Im2に基づき第2オブジェクトOb2についての設定を行う際に用いるデータを含む。当該データは、第2空間RS2での位置および向きと統合空間VSでの位置および向きとを対応させるためのデータである。
【0051】
仮想空間データ42は、統合空間VSの構成要素に含まれる構造物、言い換えれば、第1オブジェクトOb1および第2オブジェクトOb2を含まない部分を構成する仮想空間である基礎空間VBのデータである。基礎空間VBは、第2ユーザP2が存在しない状態での第2空間RS2を模した空間であり、展示物、通路、壁等の固定されたオブジェクトを含む。仮想空間データ42は、例えば、第2空間RS2の3Dスキャン等を利用して予め生成される。仮想空間データ42は、基礎空間VBに対して設定される三次元直交座標系の情報、上述の固定されたオブジェクトの位置情報、基礎空間VBの描画のためのデータを含む。
【0052】
オブジェクトデータ43は、統合空間VSにて移動するオブジェクトを生成するためのデータである。オブジェクトデータ43は、第1オブジェクトOb1および第2オブジェクトOb2の描画のためのデータを含む。
【0053】
なお、制御部30における第1情報処理部31、第2情報処理部32、統合空間生成部33、および、出力データ生成部34の機能は、複数のCPUや、RAM等からなるメモリ等の各種のハードウェアと、これらを機能させるソフトウェアとによって各別に具体化されてもよく、あるいは、共通する1つのハードウェアに複数の機能を与えるソフトウェアによって具体化されてもよい。こうしたソフトウェアは、空間情報管理プログラムとして、記憶部40に記憶されている。
【0054】
[空間共有システムの処理概念]
図2を参照して、情報管理サーバ10の処理を中心に、空間共有システムの処理を概念的に説明する。
【0055】
図2にて矢印A1が示すように、現実の空間である第1空間RS1から、第1情報Ir1が取得され、第1動作情報Im1に基づき、第1オブジェクトOb1の位置、向き、および、身体の動きが設定される。第1オブジェクトOb1は、位置および向きの変化と身振りとを表現可能な外観を有する。例えば、第1オブジェクトOb1は、任意のキャラクター等、頭部と胴体と手足とを有する人型の像として表現される。
【0056】
第1動作情報Im1が、第1ユーザP1自身の動きによる指示を示す場合には、第1ユーザP1の位置、向き、および、身振りに対応して、第1オブジェクトOb1の位置、向き、および、身体の動きが設定される。なお、第1ユーザP1の位置、向き、および、身振りの演算は、第1情報取得装置100で行われてもよいし、情報管理サーバ10で行われてもよい。すなわち、第1動作情報Im1は、第1ユーザP1の位置、向き、および、身振りの演算結果を示す情報であってもよいし、第1ユーザP1の位置、向き、および、身振りを情報管理サーバ10にて演算可能に示す情報であってもよい。
【0057】
第1動作情報Im1が、操作機に対する第1ユーザP1の操作による指示を示す場合には、操作内容に応じて、第1オブジェクトOb1の位置、向き、および、身体の動きが設定される。
【0058】
なお、第1空間RS1には、複数の第1ユーザP1が位置してもよい。この場合、各第1ユーザP1について第1情報Ir1が取得される。そして、第1ユーザP1ごとの第1オブジェクトOb1が設定されて、各第1オブジェクトOb1について、対応する第1ユーザP1の第1動作情報Im1に基づき、位置、向き、および、身体の動きが設定される。すなわち、1人の第1ユーザP1につき1つの第1オブジェクトOb1が設定されて、統合空間VSに、複数の第1オブジェクトOb1が配置される。
【0059】
矢印A2が示すように、現実の空間である第2空間RS2から、第2情報Ir2が取得され、第2動作情報Im2に基づき、第2オブジェクトOb2の位置および向きが設定される。すなわち、第2ユーザP2の位置および向きに対応して、第2オブジェクトOb2の位置および向きが設定される。なお、第2ユーザP2の位置および向きの演算は、第2情報取得装置200で行われてもよいし、情報管理サーバ10で行われてもよい。すなわち、第2動作情報Im2は、第2ユーザP2の位置および向きの演算結果を示す情報であってもよいし、第2ユーザP2の位置および向きを情報管理サーバ10にて演算可能に示す情報であってもよい。
【0060】
第1オブジェクトOb1とは異なり、第2オブジェクトOb2には、第2ユーザP2の位置および向きが反映される一方で、身振りは反映されない。したがって、第1オブジェクトOb1が、位置および向きに加えて身振りが表現可能に構成されていることに対し、第2オブジェクトOb2は、位置および向きの変化が表現可能に構成されていればよい。第2オブジェクトOb2が、位置および向きの変化のみが表現可能な外観を有する例としては、図2に示すように、第2オブジェクトOb2が頭部および胸部のみからなる像として表現される場合が挙げられる。ただし、第2オブジェクトOb2は、少なくとも位置および向きの変化が表現可能な外観を有していればよく、手足も含めた人型の像として表現されてもよい。
【0061】
なお、第2空間RS2には、複数の第2ユーザP2が位置してもよい。この場合、各第2ユーザP2について第2情報Ir2が取得される。そして、第2ユーザP2ごとの第2オブジェクトOb2が設定されて、各第2オブジェクトOb2について、対応する第2ユーザP2の第2動作情報Im2に基づき、位置および向きが設定される。すなわち、1人の第2ユーザP2につき1つの第2オブジェクトOb2が設定されて、統合空間VSに、複数の第2オブジェクトOb2が配置される。
【0062】
矢印A3が示すように、第2空間RS2を模した構造物の配置を有する基礎空間VBのデータと、設定した位置、向き、および、身体の動きを含む第1オブジェクトOb1のデータと、設定した位置および向きを含む第2オブジェクトOb2のデータとを用いて、これらの合成により、統合空間VSが生成される。すなわち、第2空間RS2の現実環境が反映された1つの仮想空間に、第1ユーザP1に対応する第1オブジェクトOb1と、第2ユーザP2に対応する第2オブジェクトOb2とが配置されることにより、統合空間VSが構築される。統合空間VSにおいて、第1オブジェクトOb1と第2オブジェクトOb2とは、互いの視野に入り得る。
【0063】
矢印A4が示すように、第1表示装置110に送信される第1出力データDt1は、VRコンテンツとして、第1オブジェクトOb1からの視点で統合空間VSを第1表示装置110に表示させるための表示データを含む。すなわち、第1出力データDt1は、第1オブジェクトOb1の位置および向きに応じて生成されるデータであって、統合空間VSのなかで第1オブジェクトOb1の正面を中心とする所定の範囲の画像を表示するためのデータを含む。当該画像には、上記範囲内に位置する統合空間VSの構成要素のすべて、すなわち、基礎空間VBを構成する構造物および第2オブジェクトOb2が含まれる。
【0064】
矢印A5が示すように、第2表示装置210に送信される第2出力データDt2は、ARコンテンツとして、第2オブジェクトOb2からの視点で第1オブジェクトOb1を第2表示装置210に表示させるための表示データを含む。すなわち、第2出力データDt2は、第2オブジェクトOb2の位置および向きに応じて生成されるデータであって、統合空間VSのなかで第2オブジェクトOb2の正面を中心とする所定の範囲に第1オブジェクトOb1が含まれるときに、統合空間VSの構成要素のうち第1オブジェクトOb1のみを含む画像を表示するためのデータを含む。
【0065】
第2表示装置210には、第2出力データDt2に基づく第1オブジェクトOb1の画像が、第2ユーザP2の視点から見た第2空間RS2の現実環境と重ねて表示される。当該現実環境は、例えば、第2表示装置210が透過型のヘッドマウントディスプレイである場合には、表示部越しに視認される第2空間RS2の像であり、第2表示装置210がタブレット端末である場合には、タブレット端末の正面領域がカメラで撮影されることにより表示部に表示される第2空間RS2の画像である。
【0066】
[オブジェクトの位置および向きの設定]
第1オブジェクトOb1の位置および向きの設定、および、第2オブジェクトOb2の位置および向きの設定の各々の態様について説明する。
【0067】
まず、第2オブジェクトOb2の位置および向きの設定について、第2空間RS2における基準位置に対する位置として第2ユーザP2の位置が検出される場合を説明する。この場合、先の図2に示すように、予め第2空間RS2内に基準位置XRが設定される。さらに、基礎空間VBおよび統合空間VSにおいて、第2空間RS2の基準位置XRに対応する位置に基準位置XVが設定される。基準位置XVの位置情報は、仮想空間データ42に含まれる。
【0068】
第2空間RS2の基準位置XRには、マーカーが設けられる。マーカーは、第2情報取得装置200が取得する情報に基づき認識することが可能に構成されている。例えば、第2情報取得装置200が画像の撮影機能を有する場合、マーカーは画像解析によって認識可能に構成される。具体的には、マーカーは、二次元コード等の専用に作成されたマーカーであってもよいし、基準位置XRに位置する構造物の形状等がマーカーとして用いられてもよい。また、第2情報取得装置200が近距離での無線通信機能を有する場合、基準位置XRに設置されたICタグがマーカーとして機能し、ICタグから情報を読み取ることがマーカーの認識と見做されてもよい。
【0069】
第2情報取得装置200を携帯した第2ユーザP2がマーカーの近傍に位置し、第2情報取得装置200がマーカーの撮影等によって情報を取得することに基づき、マーカーが認識される。マーカーの認識処理は、第2情報取得装置200にて行われて認識結果が情報管理サーバ10に送信されてもよいし、第2情報取得装置200が取得した画像等の情報が情報管理サーバ10に送信されて、情報管理サーバ10にてマーカーの認識処理が行われてもよい。
【0070】
マーカーが認識されると、情報管理サーバ10の第2情報処理部32は、仮想空間の基準位置XVに対する所定の位置に、第2オブジェクトOb2の位置を設定するとともに、第2オブジェクトOb2の向きを所定の向きに設定する。
【0071】
例えば、マーカーが、マーカーから所定の方向に所定の距離だけ離れた位置に第2情報取得装置200が位置することで認識可能に構成されている場合、基準位置XVに対して上記所定の方向および所定の距離に対応する位置に第2オブジェクトOb2の位置が設定される。そして、設定された位置から基準位置XVに向かう向きに第2オブジェクトOb2の向きが設定される。あるいは、第2情報取得装置200が撮影したマーカーの向きや大きさから、基準位置XRに対する第2情報取得装置200の位置および向きが算出され、算出された位置および向きに対応するように、基準位置XVに対する第2オブジェクトOb2の位置および向きが設定されてもよい。
【0072】
このように、第2オブジェクトOb2の初期の位置および向きは、マーカーの認識に基づいて設定される。そして、第2空間RS2における第2ユーザP2の位置および向きの変化が第2動作情報Im2に基づき検出されたとき、第2情報処理部32は、検出された変化量に対応して、第2オブジェクトOb2の位置および向きを初期状態から変更する。これにより、第2ユーザP2の位置および向きの変化に対応して、第2オブジェクトOb2の位置および向きが変化する。その結果、一致した構造物の配置を有する第2空間RS2と統合空間VSとにおいて、第2空間RS2での第2ユーザP2の位置および向きに対応する統合空間VSでの位置および向きに、第2オブジェクトOb2が配置される。
【0073】
なお、マーカーの認識に基づいて設定される第2オブジェクトOb2の位置および向きは、初期の位置および向きに限られない。例えば、第2空間RS2に、複数のマーカーが設けられ、各マーカーの位置に対応する位置が、予め基礎空間VBおよび統合空間VSに定められる。そして、第2ユーザP2とともに移動する第2情報取得装置200が、各マーカーの付近に位置するときに各マーカーの認識が行われることにより、その都度、第2オブジェクトOb2の位置および向きが、各マーカーの位置に対応する仮想空間の位置を基準に設定されてもよい。
【0074】
また、第2オブジェクトOb2の位置および向きの設定の態様は、上記に限られない。基準位置を用いて第2オブジェクトOb2の位置および向きが設定されることに代えて、GPS受信機の利用によって検出された絶対的な位置情報を利用して第2オブジェクトOb2の位置および向きが設定されてもよい。すなわち、基礎空間VBおよび統合空間VSに、緯度および経度によって規定される第2空間RS2の座標系に対応する座標系が設定される。そして、検出された第2ユーザP2の第2空間RS2での位置に対応する位置に、第2オブジェクトOb2の位置が設定される。また、上記座標系には方位も併せて設定され、検出された第2ユーザP2の第2空間RS2での向きに対応する向きに、第2オブジェクトOb2の向きが設定される。
【0075】
次に、第1オブジェクトOb1の位置および向きの設定について説明する。統合空間VSにおける第1オブジェクトOb1の初期の位置および向きは、予め定められた位置および向き、もしくは、第1ユーザP1によって指定される任意の位置および向きに設定される。第1ユーザP1によって位置および向きが指定される場合、こうした位置および向きの指示は、第1情報取得装置100に対する第1ユーザP1の操作を通じて、すなわち、第1情報取得装置100から情報管理サーバ10に上記操作に応じた情報が送信されることに基づき行われる。設定された第1オブジェクトOb1の初期の位置および向きが、第1空間RS1における第1ユーザP1の初期の位置および向きに対応する仮想空間での位置および向きとなる。
【0076】
そして、第1動作情報Im1が示す動きの指示に基づいて、第1情報処理部31は、第1オブジェクトOb1の位置および向きを初期状態から変更する。
ここで、第1動作情報Im1が、第1ユーザP1自身の動きによる指示を示し、第1ユーザP1の実際の位置および向きの変化が検出される場合には、当該変化に対応して、第1オブジェクトOb1の位置および向きが変更される。
【0077】
一方、第1動作情報Im1が、操作機に対する第1ユーザP1の操作による動きの指示を示す場合、その操作に応じて、第1オブジェクトOb1の位置および向きが初期状態から変更される。こうした処理は、概念的には、第1空間RS1を包含する空間内での第1空間RS1の移動に応じて第1オブジェクトOb1が移動すると捉えられる。その詳細を、図3を参照して説明する。
【0078】
図3が示すように、第1ユーザP1が第1情報取得装置100を操作したとき、第1空間RS1内での第1ユーザP1自身の位置は変わらない。一方で、操作に応じて、第1空間RS1の各位置と対応する統合空間VSの位置が変化し、第1ユーザP1の位置に対応する統合空間VSの位置は変わる。すなわち、第1空間RS1を包含する包含空間CSの各位置と、統合空間VSの各位置とが対応付けられており、包含空間CSに対して、第1ユーザP1を含めて第1空間RS1が相対的に移動することにより、その移動量に応じて第1オブジェクトOb1の位置が移動する。向きについても同様である。
【0079】
したがって、第1ユーザP1の操作による指示は、包含空間CSに対して第1空間RS1を相対的に移動させることにより、第1空間RS1での第1ユーザP1の位置に対応する統合空間VSの位置を変化させることを通じて第1オブジェクトOb1を動かす指示であるとも捉えられる。すなわち、第1空間RS1での第1ユーザP1の位置に対応する統合空間VSの位置に第1オブジェクトOb1が配置され、上記統合空間VSの位置の変化に伴って第1オブジェクトOb1が動かされる。
【0080】
このように、第1情報取得装置100の操作に応じて、第1オブジェクトOb1の位置および向きが変更される形態であれば、第1オブジェクトOb1を動かすための第1ユーザP1の動きに要するスペースの削減が可能である。したがって、例えば、第1空間RS1が第2空間RS2よりも小さい場合であっても、統合空間VS内の全域に第1オブジェクトOb1を移動させることが可能である。すなわち、第2ユーザP2は、第2空間RS2内の全域において第2表示装置210を通じて第1オブジェクトOb1から展示物の案内を受けることができる。
【0081】
なお、第1オブジェクトOb1の位置および向きの設定の態様は、上記に限られない。第2オブジェクトOb2の場合と同様に、第1空間RS1と仮想空間とにそれぞれ設定された基準位置を用いて第1オブジェクトOb1の位置および向きが設定されてもよい。また、GPS受信機の利用によって検出された絶対的な位置情報を利用して、第1空間RS1の座標系に対応して仮想空間に設定された座標系に基づき、第1オブジェクトOb1の位置および向きが設定されてもよい。
【0082】
第1オブジェクトOb1および第2オブジェクトOb2の位置および向きの設定に関して、現実の空間である第1空間RS1および第2空間RS2の各々と、仮想空間である基礎空間VBおよび統合空間VSとの座標系や位置の対応付けの管理のためのデータは、実空間データ41に含まれる。
【0083】
[空間共有システムの動作]
図4を参照して、空間共有システムの動作について説明する。図4が示すように、第1情報取得装置100が、第1空間RS1にて第1情報Ir1を取得し(ステップS10)、第1情報Ir1を情報管理サーバ10に送信する(ステップS11)。また、第2情報取得装置200が、第2空間RS2にて第2情報Ir2を取得し(ステップS12)、第2情報Ir2を情報管理サーバ10に送信する(ステップS13)。
【0084】
第1情報Ir1を受信すると、情報管理サーバ10の第1情報処理部31は、第1動作情報Im1に基づき、第1オブジェクトOb1の位置、向き、および、身体の動きを設定する(ステップS14)。第2情報Ir2を受信すると、第2情報処理部32は、第2動作情報Im2に基づき、第2オブジェクトOb2の位置および向きを設定する(ステップS15)。そして、統合空間生成部33は、基礎空間VB、第1オブジェクトOb1、第2オブジェクトOb2の各々のデータを用いて、統合空間VSを生成する(ステップS16)。
【0085】
出力データ生成部34は、統合空間VSのデータを用いて、第1出力データDt1と第2出力データDt2とを生成する(ステップS17)。第1出力データDt1には、第2音声情報Iv2に基づく音声データも含められ、第2出力データDt2には、第1音声情報Iv1に基づく音声データも含められる。
【0086】
第1出力データDt1は、情報管理サーバ10から第1表示装置110に送信され(ステップS18)、第1表示装置110では、第1出力データDt1に基づく画像である第1出力画像Mg1が表示されるとともに、第1出力データDt1に基づく音声が出力される(ステップS19)。
【0087】
第2出力データDt2は、情報管理サーバ10から第2表示装置210に送信され(ステップS20)、第2表示装置210では、第2出力データDt2に基づく画像である第2出力画像Mg2が表示されるとともに、第2出力データDt2に基づく音声が出力される(ステップS21)。
【0088】
ステップS10〜ステップS21の処理が逐次繰り返されることによって、第1オブジェクトOb1および第2オブジェクトOb2の動きを伴う映像が、第1表示装置110および第2表示装置210に表示される。
【0089】
図5および図6を参照して、第1表示装置110に表示される第1出力画像Mg1と、第2表示装置210に表示される第2出力画像Mg2との各々について説明する。なお、図5および図6では、統合空間VSの構成要素にドットを付して示している。
【0090】
図5が示すように、第1表示装置110に表示される第1出力画像Mg1は、第1オブジェクトOb1の視点で見た統合空間VSの画像である。第1ユーザP1が、第1表示装置110を通じて見る像は、統合空間VSの構成要素のみから構成される。第1出力画像Mg1には、統合空間VSに位置する展示物等の構造物Tvと、第2オブジェクトOb2とが含まれる。第1ユーザP1は、第1出力画像Mg1を見ることで、統合空間VSにおける構造物Tvおよび第2オブジェクトOb2の位置および向きを把握できる。
【0091】
統合空間VSの構造物Tvは、第2空間RS2での構造物と同様の配置を有しており、第2オブジェクトOb2の位置および向きには、第2空間RS2での第2ユーザP2の位置および向きが反映されている。したがって、第1ユーザP1は、第1出力画像Mg1を見ることで、第2空間RS2における構造物と第2ユーザP2との位置関係を含めて、第2空間RS2の状況を把握できる。
【0092】
第1ユーザP1は、第1出力画像Mg1を見ながら、第1情報取得装置100を通じて第1オブジェクトOb1を動かし、展示物等についての案内を行う。第1出力画像Mg1は、第1オブジェクトOb1の視点での画像であるため、第1ユーザP1は、統合空間VSに第1オブジェクトOb1として位置しているかのように感じながら案内を行うことができる。そして、上述のように、統合空間VSは第2空間RS2の代替となる仮想空間であるから、第1ユーザP1は、統合空間VSでの案内を通じて、第2空間RS2の案内を行うことができる。
【0093】
図6が示すように、第2表示装置210に表示される第2出力画像Mg2は、第2オブジェクトOb2の視点で見た第1オブジェクトOb1の画像であって、第2ユーザP2の視点で見た第2空間RS2の現実環境と重ねて表示される。
【0094】
上述のように、統合空間VSの構造物Tvは、第2空間RS2での構造物Tsと同様の配置を有しており、第2オブジェクトOb2の位置および向きには、第2空間RS2での第2ユーザP2の位置および向きが反映されている。したがって、第2オブジェクトOb2の視点での統合空間VSの構造物Tvの配置は、第2ユーザP2の視点での第2空間RS2の構造物Tsの配置と一致する。すなわち、第2ユーザP2が第2表示装置210を通じて見る像は、第2オブジェクトOb2の視点での統合空間VSの像のうち、第1オブジェクトOb1以外の構造物Tvが第2空間RS2の実際の構造物Tsに代わった像である。
【0095】
第1オブジェクトOb1の動きには、第1ユーザP1の指示が反映されており、第1ユーザP1は、上述のように、統合空間VSの画像を通じて第2空間RS2の状況を把握して、案内を行っている。したがって、第2ユーザP2は、第2表示装置210を用いて、第2空間RS2の実際の構造物Tsを見ながら第1オブジェクトOb1の案内を受けることで、第1ユーザP1による案内を受けることができる。
【0096】
以上のように、本実施形態の空間共有システムでは、互いに離れた空間に位置する第1ユーザP1と第2ユーザP2とのコミュニケーションが可能となる。そして、第1ユーザP1を代替する第1オブジェクトOb1と、第2ユーザP2を代替する第2オブジェクトOb2とが統合空間VSにて1つの仮想空間を共有し、統合空間VSでの各々の視点からの画像が、第1ユーザP1と第2ユーザP2とに提供される。それゆえ、統合空間VSにて現実の空間を反映した構成要素の位置関係や動き等が共有されるため、第1ユーザP1が意図する身振りや、第2ユーザP2と構造物Tsとの位置関係等の空間的な情報が容易に伝達できる。
【0097】
また、第1オブジェクトOb1には、第1ユーザP1が意図する位置および向きに加え身振りが反映されることに対し、第2オブジェクトOb2には、第2ユーザP2の位置および向きのみが反映される。第1オブジェクトOb1は第1ユーザP1の代替として第2空間RS2の案内を行うため、展示物を指す等のように身振りが表現されることで、より分かりやすい案内が可能である。
【0098】
一方、第2オブジェクトOb2においては、第2ユーザP2の代替として、統合空間VSで構造物および第1オブジェクトOb1との位置関係を示すことの重要性が高く、第1オブジェクトOb1と比較すると、第2ユーザP2の身振りまでを再現することの優先度は低い。したがって、第2オブジェクトOb2には、第2ユーザP2の位置および向きのみを反映させることで、有用性の高い空間的な情報の伝達を可能としつつ、第2情報Ir2の取得や送信に要する負荷、および、第2オブジェクトOb2の設定に要する演算の負荷を軽減することができる。
【0099】
さらに、従来のように、第1空間RS1を撮影して撮影データを第2空間RS2の表示装置に送信し、第2空間RS2を撮影して撮影データを第1空間RS1の表示装置に送信する形態と比較して、伝送される映像データが少ないため、通信量の削減も可能である。また、第1空間RS1の映像が第2ユーザP2に視認される形態と比較して、第1オブジェクトOb1による一連の案内の間に、第1オブジェクトOb1の動きの指示を行う第1ユーザP1が替わったり、第1空間RS1での動きの指示と音声の入力とを異なる人物が行ったりといった、円滑な案内を行うための柔軟な対応が可能である。
【0100】
以上説明したように、本実施形態によれば、以下の効果が得られる。
(1)第1ユーザP1を代替する第1オブジェクトOb1と、第2ユーザP2を代替する第2オブジェクトOb2とが統合空間VSにて1つの仮想空間を共有し、統合空間VSにおける各々の視点からの画像が、表示装置110,210を通じて各ユーザP1,P2に提供される。それゆえ、統合空間VSにて現実の空間を反映した構成要素の位置関係や動き等が共有されるため、空間的な情報の容易な伝達が可能である。
【0101】
(2)統合空間VSは、第2空間RS2を模した構造物の配置を有する仮想空間であり、第2オブジェクトOb2は、第2空間RS2での第2ユーザP2の位置および向きに対応する仮想空間での位置および向きに配置される。これにより、統合空間VSでの現実の空間を反映した構成要素の位置関係の共有が的確に行われる。
【0102】
(3)第1表示装置110には、VRコンテンツとして、第1オブジェクトOb1の視点からの画像が出力され、第2表示装置210には、ARコンテンツとして、第2オブジェクトOb2の視点からの画像が出力される。したがって、第1ユーザP1は、第2空間RS2とは構造物の配置が異なる第1空間RS1にいながら、第1表示装置110によって提供されるVRコンテンツを通じて、第2空間RS2の状況の把握が可能であるため、的確な案内ができる。一方、第2ユーザP2は、第2表示装置210によって提供されるARコンテンツを通じて、第2空間RS2の実際の像を見つつ、第1ユーザP1を代替する第1オブジェクトOb1からの案内を受けることができる。こうした構成によって、第1ユーザP1および第2ユーザP2の各々の臨場感が高められる。
【0103】
(4)第1動作情報Im1が、第1ユーザP1自身の動きによる指示を示す形態では、第1ユーザP1自身の位置、向き、および、身振りが第1オブジェクトOb1に反映される。したがって、第1ユーザP1は、自身が実際に統合空間VSに位置しているかのように感じられ、臨場感が高められる。一方、第1動作情報Im1が、操作機に対する第1ユーザP1の操作による指示を示す場合、第1オブジェクトOb1を動かすための第1ユーザP1の動きに要するスペースの削減が可能である。したがって、第1空間RS1が第2空間RS2よりも小さい場合であっても、統合空間VS内の全域に第1オブジェクトOb1を移動させること、すなわち、第2空間RS2内の全域において案内を行うことができる。
【0104】
(5)第1オブジェクトOb1は、位置および向きの変化と身振りとを表現可能な外観を有し、第1ユーザP1が意図する位置、向き、および、身振りが反映される。したがって、第1オブジェクトOb1の動きによって、より分かりやすい案内が可能である。一方、第2オブジェクトOb2には、第2ユーザP2の位置および向きのみが反映される。これにより、構造物および第1オブジェクトOb1と第2オブジェクトOb2との位置関係といった、有用性の高い空間的な情報の伝達を可能としつつ、第2情報Ir2の取得や送信に要する負荷、および、第2オブジェクトOb2の設定に要する演算の負荷を軽減することができる。そして、第2オブジェクトOb2が、位置および向きの変化のみを表現可能な外観を有する構成であれば、第2オブジェクトOb2が反映される情報に適した外観を有するため、第2オブジェクトOb2の描画に関する処理の効率化が可能である。
【0105】
(6)空間共有システムが、第1ユーザP1による第2ユーザP2に対しての第2空間RS2の案内に用いられる。第2空間RS2の案内には、第2空間RS2における構造物や第2ユーザP2の位置関係、第2空間RS2のどの部分の案内なのかといった構造物と案内内容との関係等、空間的な情報の伝達の重要性が高い。したがって、第2空間RS2の案内に空間共有システムを用いることによって、高い有益性が得られる。
【0106】
[変形例]
上記実施形態は、以下のように変更して実施することが可能である。
図7が示すように、第1出力画像Mg1には、第1ユーザP1に対する案内である第1案内表示Ge1が含まれてもよい。第1案内表示Ge1には、例えば、展示物の説明文等のように第2空間RS2の案内を補助する表示が含まれる。こうした構成によれば、第1ユーザP1による案内がより円滑に進められる。第1案内表示Ge1は、例えば、統合空間VSの構成要素であって、統合空間VSの所定の位置にオブジェクトとして配置される。これにより、第1出力データDt1には、統合空間VSの画像として第1案内表示Ge1を表示させるためのデータが含められ、第1出力画像Mg1に第1案内表示Ge1が含められる。あるいは、第1案内表示Ge1は、統合空間VSの構成要素でなくてもよく、第1案内表示Ge1が統合空間VSの画像と重ねて第1表示装置110における表示部の特定の箇所に表示されるように、第1出力データDt1が構成されていてもよい。第1案内表示Ge1の描画に要するデータは、予め記憶部40に記憶されている。
【0107】
図8が示すように、第2出力画像Mg2には、第2ユーザP2に対する案内である第2案内表示Ge2が含まれてもよい。第2案内表示Ge2には、例えば、第1ユーザP1からの案内を受ける際の注意事項や、案内を受けているときに第2空間RS2にて移動すべき順路等を示す表示が含まれる。こうした構成によれば、第2ユーザP2に対する案内がより円滑に進められる。第2案内表示Ge2は、例えば、統合空間VSの構成要素であって、統合空間VSの所定の位置にオブジェクトとして配置される。そして、第2出力データDt2は、第2オブジェクトOb2の視点から見た第1オブジェクトOb1と第2案内表示Ge2とを第2空間RS2の現実環境に重ねて表示させるためのデータとして構成される。あるいは、第2案内表示Ge2は、統合空間VSの構成要素でなくてもよく、第2案内表示Ge2が第2空間RS2の現実環境に重ねて第2表示装置210における表示部の特定の箇所に表示されるように、第2出力データDt2が構成されていてもよい。第2案内表示Ge2の描画に要するデータは、予め記憶部40に記憶されている。
【0108】
・上記第1案内表示Ge1は、第1表示装置110に常に表示されていてもよいし、所定の条件が満たされたタイミングで表示されてもよい。同様に、上記第2案内表示Ge2は、第2表示装置210に常に表示されていてもよいし、所定の条件が満たされたタイミングで表示されてもよい。所定の条件が満たされたタイミングとは、例えば、第1ユーザP1が操作機に対する操作等を通じて指示したときや、第1オブジェクトOb1あるいは第2オブジェクトOb2が統合空間VSの特定の位置に移動したときや、第1オブジェクトOb1が特定の身振りを行ったときや、所定の範囲に所定の人数以上の第2オブジェクトOb2が集まったとき等が挙げられる。第1案内表示Ge1および第2案内表示Ge2の表示のタイミングは、これらが統合空間VSの構成要素である場合には統合空間生成部33によって制御され、統合空間VSの構成要素でない場合には出力データ生成部34によって制御される。
【0109】
・上記実施形態では、第1オブジェクトOb1に、第1ユーザP1が指示する位置、向き、および、身振りが反映されたが、第1オブジェクトOb1に位置および向きのみが反映されてもよく、この場合、第1オブジェクトOb1は、位置および向きの変化のみを表現可能な外観を有していてもよい。また、上記実施形態では、第2オブジェクトOb2に、第2ユーザP2の位置および向きが反映されたが、身振りも反映されてもよい。この場合、第2オブジェクトOb2は、位置および向きの変化に加えて身振りも表現可能な外観を有していればよい。さらに、第1動作情報Im1には、第1ユーザP1の表情や目線を示す情報が含まれ、こうした表情や目線が第1オブジェクトOb1に反映されてもよい。同様に、第2動作情報Im2には、第2ユーザP2の表情や目線を示す情報が含まれ、こうした表情や目線が第2オブジェクトOb2に反映されてもよい。
【0110】
・第1音声情報Iv1が、第1オブジェクトOb1の設定に用いられてもよい。具体的には、第1ユーザP1が発した音声が第1情報取得装置100に入力されると、この音声を示す第1音声情報Iv1が、第1情報Ir1に含められて、第1情報取得装置100から情報管理サーバ10に送信される。情報管理サーバ10の第1情報処理部31は、第1音声情報Iv1を取得したとき、第1オブジェクトOb1が発声していることを示唆可能に、第1オブジェクトOb1を変化させる。こうした変化には、例えば、第1オブジェクトOb1の表情の変化や口の動きといった身体の動き、顔色等の色の変化が含まれる。第1音声情報Iv1の取得に応じて変化する第1オブジェクトOb1を含む統合空間VSが生成され、第2出力データDt2が第2表示装置210に出力されることに基づき、第2表示装置210では、上記第1オブジェクトOb1が表示されるとともに、第1音声情報Iv1に基づく音声が出力される。これにより、第2ユーザP2には、視覚および聴覚の双方から、第1オブジェクトOb1が話しているように感じられるため、コミュニケーションが円滑に進みやすい。
【0111】
同様に、第2音声情報Iv2が、第2オブジェクトOb2の設定に用いられてもよい。具体的には、第2ユーザP2が発した音声が第2情報取得装置200に入力されると、この音声を示す第2音声情報Iv2が、第2情報Ir2に含められて、第2情報取得装置200から情報管理サーバ10に送信される。情報管理サーバ10の第2情報処理部32は、第2音声情報Iv2を取得したとき、第2オブジェクトOb2が発声していることを示唆可能に、第2オブジェクトOb2を変化させる。第2音声情報Iv2の取得に応じて変化する第2オブジェクトOb2を含む統合空間VSが生成され、第1出力データDt1が第1表示装置110に出力されることに基づき、第1表示装置110では、上記第2オブジェクトOb2が表示されるとともに、第2音声情報Iv2に基づく音声が出力される。これにより、第1ユーザP1には、視覚および聴覚の双方から、第2オブジェクトOb2が話しているように感じられるため、コミュニケーションが円滑に進みやすい。
【0112】
・第1出力データDt1は、統合空間VSの構成要素の少なくとも一部を第1表示装置110に表示させるためのデータであればよく、統合空間VSの全体を表示させるためのデータでなくてもよい。例えば、統合空間VSに、上述の第1案内表示Ge1および第2案内表示Ge2が含まれる場合には、第2案内表示Ge2は、第1出力データDt1に基づく第1出力画像Mg1に含まれなくてよい。
【0113】
・第1表示装置110にてVRコンテンツとして出力される第1出力画像Mg1は、第1空間RS1の現実環境とともに視認可能とされてもよい。特に第1ユーザP1が自身の動きによって指示を行う場合には、第1ユーザP1が第1空間RS1の現実環境を把握できることで、第1ユーザP1が動く際の安全の確保が容易に可能である。例えば、第1表示装置110に小窓状の領域が設けられ、この領域に、第1表示装置110が撮影した第1ユーザP1の周囲の画像である撮影画像が表示されてもよい。あるいは、第1出力画像Mg1が、上記撮影画像を視認可能な透過状態とされて上記撮影画像に重ねて表示されてもよいし、反対に、上記撮影画像が、第1出力画像Mg1を視認可能な透過状態とされて第1出力画像Mg1に重ねて表示されてもよい。
【0114】
・第1出力データDt1は、ARコンテンツとして、第1オブジェクトOb1からの視点で第2オブジェクトOb2を第1空間RS1の現実環境に重ねて表示させるためのデータであってもよい。例えば、第1空間RS1と第2空間RS2とが同一の構造物の配置を有する空間である場合、第1表示装置110に第1オブジェクトOb1からの視点で第2オブジェクトOb2が表示されれば、第1ユーザP1は、第2空間RS2の状況を把握可能である。この場合、統合空間VSは第2空間RS2と一致した構造物の配置を有していなくてもよく、例えば、第1オブジェクトOb1と第2オブジェクトOb2のみが配置されて、実際の空間と対応付けられた所定の位置を基準として、これらのオブジェクト間の位置関係が共有されてもよい。すなわち、統合空間VSには、第2空間RS2の現実環境として、少なくとも、第2空間RS2での第2ユーザP2の位置と統合空間VSでの第2オブジェクトOb2の位置とを対応させることが可能なように、座標系等の位置に関する情報が反映されていればよい。
【0115】
・第1表示装置110には、第1出力データDt1に基づく画像とともに、第2表示装置210に表示される画像と同一の画像が表示されてもよい。例えば、第1表示装置110に小窓状の領域が設けられ、この領域に、第2表示装置210に表示される画像と同一の画像が表示される。この場合、第1出力データDt1とともに、第2表示装置210に表示される画像と同一の画像を第1表示装置110に表示させるためのデータ、すなわち、第2出力データDt2に準じたデータが情報管理サーバ10から第1表示装置110に送信される。
【0116】
同様に、第2表示装置210には、第2出力データDt2に基づく画像とともに、第1表示装置110に表示される画像と同一の画像が表示されてもよい。
・空間共有システムにおいて、複数の第1空間RS1の各々に位置する第1ユーザP1について、各第1ユーザP1に対応する第1オブジェクトOb1が統合空間VSに配置されてもよい。また、複数の第2空間RS2の各々に位置する第2ユーザP2について、各第2ユーザP2に対応する第2オブジェクトOb2が統合空間VSに配置されてもよい。複数の第2空間RS2は、互いに同一の構造物の配置を有しており、すなわち、統合空間VSは、複数の第2空間RS2において共通する現実環境が反映された仮想空間となる。こうした構成によれば、3以上の空間の各々に位置するユーザ間でのコミュニケーションが可能となる。
【0117】
・上記実施形態では、空間情報管理装置がサーバである例を説明したが、空間情報管理装置は、第1情報取得装置100、第2情報取得装置200、第1表示装置110、および、第2表示装置210と有線または無線にて接続されて情報を授受するコンピュータ装置であればよい。
【0118】
・空間共有システムの用途は、第1ユーザP1による第2ユーザP2に対しての第2空間RS2の案内に限られない。第1空間RS1に位置する第1ユーザP1が、第2空間RS2の状況を把握しつつ、第2空間RS2に位置する第2ユーザP2とコミュニケーションを取ることを要する用途であれば、空間共有システムの適用が可能である。
【0119】
例えば、第1ユーザP1による第2ユーザP2に対しての第2空間RS2での作業の指示に、空間共有システムが用いられてもよい。作業としては、例えば、工事や製品の組み立て等が挙げられる。この場合、第1ユーザP1に対する案内である第1案内表示Ge1、および、第2ユーザP2に対する案内である第2案内表示Ge2は、作業の手順や目的とする作業の完了状態を示す表示であってもよい。具体的には、複数の部材を組み立てて製品を完成させる作業の指示に空間共有システムが用いられる場合、第2空間RS2で完成させる製品の完成イメージが、第1案内表示Ge1や第2案内表示Ge2として表示されてもよい。
【0120】
[付記]
上記課題を解決するための手段には、上記実施形態から導き出される技術的思想として以下の付記が含まれる。
【0121】
(付記1)
前記第2空間の基準位置に設けられたマーカーが、前記第2ユーザが携帯する情報取得装置を通じて認識されたとき、前記統合空間生成部は、前記第2空間の前記基準位置に対応する前記仮想空間の位置を基準として、前記第2空間の前記基準位置に対する前記情報取得装置の位置に対応する位置に、前記第2オブジェクトを配置する
空間情報管理装置。
【0122】
上記構成によれば、第2空間の基準位置に設けられたマーカーの認識に基づいて、第2オブジェクトの位置が設定されるため、第2オブジェクトを、第2空間での第2ユーザの位置に対応する仮想空間での位置に配置することが容易かつ的確に可能である。
【0123】
(付記2)
前記第1空間を包含する包含空間の位置と、前記仮想空間の位置とが対応付けられており、前記第1ユーザの指示は、前記包含空間に対して前記第1空間を相対的に移動させることにより、前記第1空間での前記第1ユーザの位置に対応する前記仮想空間の位置である仮想位置を変化させることを通じて前記第1オブジェクトを移動させる指示として機能し、
前記統合空間生成部は、前記第1オブジェクトを前記仮想位置に配置し、前記仮想位置の変化に伴って前記第1オブジェクトを移動させる
空間情報管理装置。
【0124】
上記構成によれば、第1空間RS1が第2空間RS2よりも小さい場合であっても、第2空間RS2を模した統合空間VS内の全域に第1オブジェクトOb1を移動させることができる。
【0125】
(付記3)
第1空間に配置される第1情報取得装置および第1表示装置と、
第2空間に配置される第2情報取得装置および第2表示装置と、
前記第1情報取得装置、前記第2情報取得装置、前記第1表示装置、および、前記第2表示装置と接続された空間情報管理装置と、を含む空間共有システムであって、
前記空間情報管理装置は、
前記第1空間に位置する第1ユーザの指示を示す第1動作情報を前記第1情報取得装置から取得し、前記第2空間に位置する第2ユーザの動きを示す第2動作情報を前記第2情報取得装置から取得する取得部と、
前記第1動作情報に基づき前記指示に従って動かされる第1オブジェクトと、前記第2動作情報に基づき前記第2ユーザの動きに対応して動かされる第2オブジェクトとを、前記第2空間の現実環境を反映した1つの仮想空間に、前記第2オブジェクトから前記第1オブジェクトを視認可能に配置した統合空間を構築する統合空間生成部と、
前記第1表示装置に、前記第1オブジェクトからの視点で前記統合空間の構成要素を表示させるための第1表示データと、前記第2表示装置に、前記第2オブジェクトからの視点で前記第1オブジェクトを前記第2空間の現実環境に重ねて表示させるための第2表示データとを生成する出力データ生成部と、
前記第1表示データを前記第1表示装置に出力し、前記第2表示データを前記第2表示装置に出力する出力部と、を備える
空間共有システム。
【0126】
上記構成によれば、第1ユーザを代替する第1オブジェクトと、第2ユーザを代替する第2オブジェクトとが統合空間にて1つの仮想空間を共有し、この統合空間における各々の視点からの画像が、表示装置を通じて各ユーザに提供される。それゆえ、統合空間にて現実の空間を反映した構成要素の位置関係や動き等が共有されるため、空間的な情報の容易な伝達が可能である。
【符号の説明】
【0127】
Dt1…第1出力データ、Dt2…第2出力データ、Ob1…第1オブジェクト、Ob2…第2オブジェクト、Im1…第1動作情報、Im2…第2動作情報、Ir1…第1情報、Ir2…第2情報、Mg1…第1出力画像、Mg2…第2出力画像、P1…第1ユーザ、P2…第2ユーザ、RS1…第1空間、RS2…第2空間、VB…基礎空間、VS…統合空間、10…情報管理サーバ、20…通信部、30…制御部、31…第1情報処理部、32…第2情報処理部、33…統合空間生成部、34…出力データ生成部、40…記憶部、41…実空間データ、42…仮想空間データ、43…オブジェクトデータ、100…第1情報取得装置、110…第1表示装置、200…第2情報取得装置、210…第2表示装置。
【要約】
【課題】空間的な情報を容易に伝達することのできる空間情報管理装置を提供する。
【解決手段】空間情報管理装置は、第1空間RS1に位置する第1ユーザP1の指示を示す第1動作情報と、第2空間RS2に位置する第2ユーザP2の動きを示す第2動作情報とを取得する。さらに、空間情報管理装置は、上記指示に従って動かされる第1オブジェクトOb1と、第2ユーザP2の動きに対応して動かされる第2オブジェクトOb2とを、1つの仮想空間に配置した統合空間VSを構築する。そして、空間情報管理装置は、第1空間RS1に位置する第1表示装置に、第1オブジェクトOb1からの視点で統合空間VSの構成要素を表示させるためのデータを生成して出力し、第2空間RS2に位置する第2表示装置に、第2オブジェクトOb2からの視点で第1オブジェクトOb1を第2空間RS2の現実環境に重ねて表示させるためのデータを生成して出力する。
【選択図】図1
図1
図2
図3
図4
図5
図6
図7
図8