知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6814878
(24)【登録日】2020年12月23日
(45)【発行日】2021年1月20日
(54)【発明の名称】情報処理装置、情報処理方法、及びプログラム
(51)【国際特許分類】
G06T 19/00 20110101AFI20210107BHJP
【ＦＩ】
G06T19/00 A
【請求項の数】8
【全頁数】39
(21)【出願番号】特願2019-513688(P2019-513688)
(86)(22)【出願日】2018年4月19日
(86)【国際出願番号】JP2018016196
(87)【国際公開番号】WO2018194137
(87)【国際公開日】20181025
【審査請求日】2019年7月3日
【審判番号】不服2020-5502(P2020-5502/J1)
【審判請求日】2020年4月23日
(31)【優先権主張番号】特願2017-83028(P2017-83028)
(32)【優先日】2017年4月19日
(33)【優先権主張国】JP
(31)【優先権主張番号】特願2017-214245(P2017-214245)
(32)【優先日】2017年11月6日
(33)【優先権主張国】JP
【早期審査対象出願】
(73)【特許権者】
【識別番号】502362460
【氏名又は名称】小柳建設株式会社
(74)【代理人】
【識別番号】100126000
【弁理士】
【氏名又は名称】岩池 満
(74)【代理人】
【識別番号】100154748
【弁理士】
【氏名又は名称】菅沼 和弘
(72)【発明者】
【氏名】小柳 卓蔵
(72)【発明者】
【氏名】小柳 直太郎
【合議体】
【審判長】
五十嵐 努
【審判官】
小池 正彦
【審判官】
渡辺 努
(56)【参考文献】
【文献】
特開２０１１−８３５１（ＪＰ，Ａ）
【文献】
国際公開第２０１１／０８１１９３（ＷＯ，Ａ１）
【文献】
特開２００１−２４９９８５（ＪＰ，Ａ）
【文献】
特開平１０−９１０５７（ＪＰ，Ａ）
【文献】
特開２０１７−６２７２０（ＪＰ，Ａ）
(58)【調査した分野】（Int.Cl.，ＤＢ名）
G06T19/00-19/20
G06Q50/08
G06F17/50
(57)【特許請求の範囲】
【請求項1】
建設現場において施工工程の順に施工が進められるものであり、ｎ次元（ｎは２以上の整数値）のうち少なくとも１以上の次元の方向に状態が変化する建造物に対応し、３次元の仮想空間に配置される期間が時間属性として与えられるオブジェクトの画像のデータが記憶された記憶手段と、
前記仮想空間内での所定のユーザの視点を取得する視点取得手段と、
前記ｎ次元のうち、状態が変化する次元の座標を取得する座標取得手段と、
取得された前記次元の前記座標における状態で、前記所定のユーザの視点から視認し得る前記オブジェクトの画像を生成する画像生成手段と、
前記建造物を施工する過程の時間軸のうち所望の時点を指示可能な操作子を前記仮想空間に配置し、前記操作子により前記時間軸上で指示された時点の建設途中の状態の前記建造物の前記オブジェクトの画像を前記仮想空間に配置する配置手段と、
を備え、
前記配置手段、前記視点取得手段、前記座標取得手段、及び前記画像生成手段は、
複数のユーザの夫々に対して独立して処理を実行し、
その結果、前記所定のユーザの視点として、前記複数のユーザ毎に相互に独立した別々の視点から視認し得る複数の前記画像のデータが、前記複数のユーザ毎に相互に独立して生成される、
情報処理装置。
前記仮想空間内での所定のユーザの視点を取得する視点取得手段と、
前記ｎ次元のうち、状態が変化する次元の座標を取得する座標取得手段と、
取得された前記次元の前記座標における状態で、前記所定のユーザの視点から視認し得る前記オブジェクトの画像を生成する画像生成手段と、
前記建造物を施工する過程の時間軸のうち所望の時点を指示可能な操作子を前記仮想空間に配置し、前記操作子により前記時間軸上で指示された時点の建設途中の状態の前記建造物の前記オブジェクトの画像を前記仮想空間に配置する配置手段と、
を備え、
前記配置手段、前記視点取得手段、前記座標取得手段、及び前記画像生成手段は、
複数のユーザの夫々に対して独立して処理を実行し、
その結果、前記所定のユーザの視点として、前記複数のユーザ毎に相互に独立した別々の視点から視認し得る複数の前記画像のデータが、前記複数のユーザ毎に相互に独立して生成される、
情報処理装置。
【請求項2】
前記ｎ次元のうち前記状態が変化する次元は、時間方向の次元であり、
前記座標取得手段は、前記所定時間内の所定時刻を、前記時間方向の次元の座標として取得し、
前記画像生成手段は、取得された前記所定時刻における建設途中の前記建造物に対応するオブジェクトが、前記配置手段により配置された前記仮想空間において、所定の視点からみえる画像のデータを生成する、
請求項１に記載の情報処理装置。
前記座標取得手段は、前記所定時間内の所定時刻を、前記時間方向の次元の座標として取得し、
前記画像生成手段は、取得された前記所定時刻における建設途中の前記建造物に対応するオブジェクトが、前記配置手段により配置された前記仮想空間において、所定の視点からみえる画像のデータを生成する、
請求項１に記載の情報処理装置。
【請求項3】
前記建造物の一部又は関連するものの夫々について、レイヤーが定義され、
各レイヤー毎に、前記時間方向について、仮想空間に存在し得る期間が対応付けられており、
前記画像生成手段は、前記各レイヤーのうち、取得された前記所定時刻を含む期間が対応付けられたレイヤーが前記配置手段により配置された前記仮想空間において、前記所定の視点からみえる前記画像のデータを生成する、
請求項２に記載の情報処理装置。
各レイヤー毎に、前記時間方向について、仮想空間に存在し得る期間が対応付けられており、
前記画像生成手段は、前記各レイヤーのうち、取得された前記所定時刻を含む期間が対応付けられたレイヤーが前記配置手段により配置された前記仮想空間において、前記所定の視点からみえる前記画像のデータを生成する、
請求項２に記載の情報処理装置。
【請求項4】
前記所定時間内の前記所定時刻を指定する操作を含む前記仮想空間内の操作を、前記ユーザのジェスチャー操作により受け付ける操作受付手段、
をさらに備える、
請求項２又は３に記載の情報処理装置。
をさらに備える、
請求項２又は３に記載の情報処理装置。
【請求項5】
前記配置手段は、さらに、前記ユーザに対応するオブジェクトを、前記仮想空間に配置させ、
前記仮想空間において、前記建造物に対応するオブジェクトの一部と、前記ユーザに対応するオブジェクトの一部とが重複する場合、その旨を報知する報知手段、
をさらに備える請求項１乃至４のうち何れか１項に記載の情報処理装置。
前記仮想空間において、前記建造物に対応するオブジェクトの一部と、前記ユーザに対応するオブジェクトの一部とが重複する場合、その旨を報知する報知手段、
をさらに備える請求項１乃至４のうち何れか１項に記載の情報処理装置。
【請求項6】
前記配置手段は、さらに、前記複数のユーザのうち、自身以外の１人以上の他のユーザの夫々に対応するオブジェクトを、前記仮想空間内に配置させ、
前記画像生成手段は、前記建造物に対応する前記オブジェクトと共に、前記１人以上の他のユーザの夫々に対応する前記オブジェクトが前記配置手段により配置された前記仮想空間において、前記所定の視点から視認し得る画像のデータを生成する、
請求項１乃至５のうち何れか１項に記載の情報処理装置。
前記画像生成手段は、前記建造物に対応する前記オブジェクトと共に、前記１人以上の他のユーザの夫々に対応する前記オブジェクトが前記配置手段により配置された前記仮想空間において、前記所定の視点から視認し得る画像のデータを生成する、
請求項１乃至５のうち何れか１項に記載の情報処理装置。
【請求項7】
情報処理装置が実行する情報処理方法において、
建設現場において施工工程の順に施工が進められるものであり、ｎ次元（ｎは２以上の整数値）のうち少なくとも１以上の次元の方向に状態が変化する建造物に対応し、３次元の仮想空間に配置される期間が時間属性として与えられたオブジェクトの画像のデータを記憶するステップと、
前記仮想空間内での所定のユーザの視点を取得する視点取得ステップと、
前記ｎ次元のうち、状態が変化する次元の座標を取得する座標取得ステップと、
取得された前記次元の前記座標における状態で、前記所定のユーザの視点から視認し得る前記オブジェクトの画像を生成する画像生成ステップと、
前記建造物を施工する過程の時間軸のうち所望の時点を指示可能な操作子を前記仮想空間に配置し、前記操作子により前記時間軸上で指示された時点の建設途中の状態の前記建造物の前記オブジェクトの画像を前記仮想空間に配置する配置ステップと、
を含み、
前記情報処理装置は、前記配置ステップ、前記視点取得ステップ、前記座標取得ステップ、及び前記画像生成ステップの各処理を、複数のユーザの夫々に対して独立して実行し、
その結果、前記所定のユーザの視点として、前記複数のユーザ毎に相互に独立した別々の視点から視認し得る複数の前記画像のデータが、前記複数のユーザ毎に相互に独立して生成される、
情報処理方法。
建設現場において施工工程の順に施工が進められるものであり、ｎ次元（ｎは２以上の整数値）のうち少なくとも１以上の次元の方向に状態が変化する建造物に対応し、３次元の仮想空間に配置される期間が時間属性として与えられたオブジェクトの画像のデータを記憶するステップと、
前記仮想空間内での所定のユーザの視点を取得する視点取得ステップと、
前記ｎ次元のうち、状態が変化する次元の座標を取得する座標取得ステップと、
取得された前記次元の前記座標における状態で、前記所定のユーザの視点から視認し得る前記オブジェクトの画像を生成する画像生成ステップと、
前記建造物を施工する過程の時間軸のうち所望の時点を指示可能な操作子を前記仮想空間に配置し、前記操作子により前記時間軸上で指示された時点の建設途中の状態の前記建造物の前記オブジェクトの画像を前記仮想空間に配置する配置ステップと、
を含み、
前記情報処理装置は、前記配置ステップ、前記視点取得ステップ、前記座標取得ステップ、及び前記画像生成ステップの各処理を、複数のユーザの夫々に対して独立して実行し、
その結果、前記所定のユーザの視点として、前記複数のユーザ毎に相互に独立した別々の視点から視認し得る複数の前記画像のデータが、前記複数のユーザ毎に相互に独立して生成される、
情報処理方法。
【請求項8】
コンピュータに、
建設現場において施工工程の順に施工が進められるものであり、ｎ次元（ｎは２以上の整数値）のうち少なくとも１以上の次元の方向に状態が変化する建造物に対応し、３次元の仮想空間に配置される期間が時間属性として与えられたオブジェクトの画像のデータを記憶するステップと、
前記仮想空間内での所定のユーザの視点を取得する視点取得ステップと、
前記ｎ次元のうち、状態が変化する次元の座標を取得する座標取得ステップと、
取得された前記次元の前記座標における状態で、前記所定のユーザの視点から視認し得る前記オブジェクトの画像を生成する画像生成ステップと、
前記建造物を施工する過程の時間軸のうち所望の時点を指示可能な操作子を前記仮想空間に配置し、前記操作子により前記時間軸上で指示された時点の建設途中の状態の前記建造物の前記オブジェクトの画像を前記仮想空間に配置する配置ステップと、
を含む制御処理を、複数のユーザの夫々に対して独立して実行させ、
その結果、前記所定のユーザの視点として、前記複数のユーザ毎に相互に独立した別々の視点から視認し得る複数の前記画像のデータが、前記複数のユーザ毎に相互に独立して生成される、
プログラム。
建設現場において施工工程の順に施工が進められるものであり、ｎ次元（ｎは２以上の整数値）のうち少なくとも１以上の次元の方向に状態が変化する建造物に対応し、３次元の仮想空間に配置される期間が時間属性として与えられたオブジェクトの画像のデータを記憶するステップと、
前記仮想空間内での所定のユーザの視点を取得する視点取得ステップと、
前記ｎ次元のうち、状態が変化する次元の座標を取得する座標取得ステップと、
取得された前記次元の前記座標における状態で、前記所定のユーザの視点から視認し得る前記オブジェクトの画像を生成する画像生成ステップと、
前記建造物を施工する過程の時間軸のうち所望の時点を指示可能な操作子を前記仮想空間に配置し、前記操作子により前記時間軸上で指示された時点の建設途中の状態の前記建造物の前記オブジェクトの画像を前記仮想空間に配置する配置ステップと、
を含む制御処理を、複数のユーザの夫々に対して独立して実行させ、
その結果、前記所定のユーザの視点として、前記複数のユーザ毎に相互に独立した別々の視点から視認し得る複数の前記画像のデータが、前記複数のユーザ毎に相互に独立して生成される、
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、情報処理方法、及びプログラムに関する。【背景技術】
【0002】
従来より、建設現場において、作業計画の立案や遂行は、非常に重要な要素であり、建設対象の出来や作業員の安全に大きく寄与するものである。それにもかかわらず、従来の建設現場において、作業計画は、設計図をもとに計画されるのが通常であった。そのため、実際に施工を始めてみないと気が付かない問題も多かった。
また、近年では、建設事業の効率化のため、発注者、各種コンサルタント、受注者等の建設事業関係者間で円滑なコミュニケーションを図ることが必要になっている。
この点、建設計画の立案をサポートする建設シミュレーション装置が提案されている（例えば特許文献１参照）。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開平１０−２８０６８５号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献１に記載の技術を含め従来の技術では、単に建設現場の様子を３次元化して、例えば、建設機材の搬入、据え付ける各建設機材の制約条件をシミュレーションできるに過ぎず、作業計画の立案、遂行に関して関係者のニーズを十分に満足させるものではないのが実情であった。【0005】
本発明は、このような状況に鑑みてなされたものであり、より効率的な作業計画の立案、遂行をサポートするための技術の提供を目的とする。【課題を解決するための手段】
【0006】
上記目的を達成するため、ｎ次元（ｎは２以上の整数値）のうち少なくとも１以上の次元の方向（例えば時間軸の方向や会社軸の方向）に状態が変化する実物体（例えば橋等）に対応するオブジェクトを、３次元の仮想空間に配置させる配置手段（例えば図７のオブジェクト配置部１０１）と、前記ｎ次元のうち、状態が変化する次元の座標（例えば時間軸の座標は、指定時刻）を取得する座標取得手段（例えば時間軸の場合には図７の時間情報取得部１００）と、
取得された前記次元の前記座標における状態の前記実物体に対応するオブジェクトが、前記配置手段により配置された前記仮想空間において、所定の視点から視認し得る画像のデータを生成する画像生成手段（例えば図７の表示画像生成部１０５）と、
を備える。
【0007】
本発明の一態様の情報処理方法及びプログラムは、本発明の一態様の情報処理装置に対応する方法及びプログラムである。【発明の効果】
【0008】
本発明によれば、建設現場において、より効率的な作業計画の立案、遂行をサポートするための技術を提供することができる。【図面の簡単な説明】
【0009】
【図1】本発明の一実施形態に係る情報処理システムの構成を示す図である。
【図10】各期間において表示されるレイヤーとの関係を説明するための図である。
【図20】既存の技術による同一空間における３Ｄオブジェクトの配置を示す図である。
【図21】既存の技術による同一空間における関係者の移動に関する図である。
【図22】リモートコミュニケーションを用いた別空間における関係者の移動に関する図である。
【図25】本発明の一実施形態に係る情報システムが実現可能な機能のうち、コミュニケーション時の音声発信者の認識時の一例を示す図である。
【図26】異なる２以上の空間に関係者が存在する場合の図である。
【図27】実空間の関係者から見た場合の表示オブジェクトに関する図である。
【図28】実空間の関係者から見た場合の表示オブジェクトに関する図である。
【発明を実施するための形態】
【0011】
まず、本発明の実施形態を説明するに先立ち、本発明の一実施形態に係る情報処理システムの適用対象となるサービス（以下、「本サービス」と呼ぶ）について簡単に説明する。本サービスとは、次のようなサービスである。即ち、所定の建設事業についての関係者が、当該建設事業で対象となる建造物について施工状態や完成時の状況等を疑似体験しながら、各種施工工程の確認をすることができるサービスが、本サービスである。
【0012】
本サービスは、１人以上の任意の人数の関係者に提供され得るが、以下、説明の便宜上、図１に示す２人の関係者Ｕａ，Ｕｂに提供される例で説明する。図１の例では、関係者Ｕａ，Ｕｂの夫々は、本サービスの提供を受けるにあたり、ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）２ａ，２ｂの夫々を頭部に装着し、必要に応じてコントローラ３ａ，３ｂの夫々を手に持つ。
なお、以下、関係者Ｕａ，Ｕｂの夫々を特に区別する必要がない場合、これらをまとめて「関係者Ｕ」と呼ぶ。また、関係者Ｕとまとめて呼んでいる場合、ＨＭＤ２ａ，２ｂをまとめて「ＨＭＤ２」と呼び、かつ、コントローラ３ａ，３ｂをまとめて「コントローラ３」と呼ぶ。
【0013】
ＨＭＤ２を装着した関係者Ｕは、建設事業で対象となる建造物（以下では「橋」を例とする）及びその周辺物等について、実際の所定場所に位置して所定方向を向いた時に見える景色の視認を擬似体験することができる。つまり、関係者ＵがＨＭＤ２を通して視認する画像は、実空間に対応する仮想空間上に、実際の橋に対応する３Ｄオブジェクトが配置された状態で、当該仮想空間内における当該所定場所の位置における当該所定方向への視点から撮像したものと等価な画像である。なお、単に「画像」と呼ぶ場合には、「動画像」と「静止画像」の両方を含むものとする。また、当該画像はＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）画像（コンピュータグラフィックス画像）やＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）画像（拡張現実画像）に限られず、実際に実空間が撮像された画像も含まれてよい。
【0014】
ここで、関係者Ｕは、コントローラ３を操作することで、仮想空間内の時刻を変更する指示を出すことができる。つまり、橋は、所定期間に渡って施工されるものである。この所定期間内の所定時刻における橋は、建設中の未完成の状態である。従って、関係者Ｕにより当該所定時刻が指定されると、建設中の未完成の状態である橋に対応する３Ｄオブジェクトが配置された仮想空間内において、当該所定場所の位置における当該所定方向への視点から撮像したものと等価な画像が、ＨＭＤ２を装着した関係者Ｕに視認されることになる。【0015】
つまり、本サービスにおける仮想空間内の橋の３Ｄオブジェクトは、各種施工工程における建設状態に応じて、時間的に変化していく。そのため、関係者Ｕは、任意の時刻（当該時刻に予定又は実施された施工工程）における橋の施工状況を視認することができるのである。つまり、関係者Ｕは、建設が予定された橋を含む建設現場の施工状況の画像を時間的に順行又は遡行し、視認することができるのである。【0016】
ここで、関係者Ｕは、実空間内において、存在位置（実際の所定場所）を移動して、自身の頭を動かして視線の方向（所定方向）を変化させることで、橋及びその周辺の景色の画像（関係者Ｕが自身の裸眼を通じて視認する画像）を変化させることができる。それと同様に、ＨＭＤ２を装着した関係者Ｕは、仮想空間内において、存在位置（実空間の所定場所に対応する仮想空間内の位置）を移動して、自身の頭を動かして視線の方向（所定方向）を変化させることで、橋及びその周辺の景色の画像（関係者ＵがＨＭＤ２を通じて視認する画像）を変化させることができる。
【0017】
即ち、関係者Ｕａ及びＵｂは、ともに所望する施工工程における建設現場の景色について、夫々が所望の立ち位置で所望の方向を向いた時に見える橋を含む建設現場の状況（夫々の状況に対応する画像の夫々）を視認することができる。これにより、関係者Ｕａ及びＵｂは、任意の施工工程における建設現場のイメージを共有することができ、コミュニケーションを円滑に図ることができる。
【0018】
このような本サービスが適用される図１の情報処理システムは、本サービスの提供者により利用されるサーバ１と、関係者Ｕａにより使用されるＨＭＤ２ａ及びコントローラ３ａと、関係者Ｕｂにより使用されるＨＭＤ２ｂ及びコントローラ３ｂと、を有している。サーバ１、ＨＭＤ２ａ、及びＨＭＤ２ｂは、インターネット等の所定のネットワークＮを介して相互に接続されている。ＨＭＤ２ａ及びコントローラ３ａ、ＨＭＤ２ｂ及びコントローラ３ｂの夫々は、Ｂｌｕｅｔｏｏｔｈ（登録商標）等により接続される。
【0021】
ＨＭＤ２を装着した関係者Ｕが操作又は閲覧可能な各機能は、各メニューにより提供される。図２の例では、各メニューに遷移するための「ＴＯＰメニュー」の一例が示されている。この「ＴＯＰメニュー」から遷移可能なメニューとしては、次の５つのメニューが用意されている。即ち、計画メニュー、設計変更メニュー、検査メニュー、メンテナンスメニュー、及びコミュニケーションメニューが用意されている。
【0023】
ＨＭＤ２を装着した関係者Ｕは、コントローラ３を用いて、図３及び図４に示す検査メニューを選択して、各種操作や閲覧をすることで、施工検査を行う際における各施工工程の各種状況を容易かつ確実に確認することができる。具体的には例えば、検査メニューにおいては、本サービスの一部として、タイムスライダー（Ｔｉｍｅ Ｓｌｉｄｅｒ）機能が提供される。
タイムスライダー機能とは、次のような機能をいう。即ち、建造物（本例では橋）の３Ｄオブジェクト等の３Ｄデータの夫々に対して、当該仮想空間内に配置される期間が時間属性として与えられている。そこで、ＨＭＤ２を装着した関係者Ｕは、当該建造物の施工工程を示す工程表における時間軸上の時刻（時点）を指定する。すると、指定された時刻（時点）を含む期間の時間属性が与えられた３Ｄデータが仮想空間内に配置される。関係者Ｕは、その仮想空間内に配置された３Ｄデータを、所望の立ち位置で所望の視点から視認することができる。つまり、関係者Ｕにとっては、工程表における所定期間内での過去、現在、未来のうち指定された工程段階時の建造物（橋）に対応する３Ｄオブジェクト等がＨＭＤ２における仮想空間上に出現することになる。
【0024】
具体的には例えば、検査メニューでは、各種機能が発揮される。図３に示すａ機能が発揮されると、仮想空間内に、完成状態の橋（建造物）に対応する３Ｄオブジェクト（設計図３Ｄホログラム）と、竣工検査の各種確認書類の夫々を選択するための各項目が羅列された検査書類メニューとが配置される。項目としては、施工計画書、工程管理、段階確認書、材料確認書、品質管理、出来形管理、写真管理、安全管理等が存在する。
関係者Ｕは、これらの中から所望の項目を選択することで、当該所望の項目に対応する検査書類（データ）を仮想空間内で視認することができる。
【0025】
具体的には例えば、段階確認書の項目が選択されると、図３に示すｂ機能が発揮される。すると、仮想空間内に、完成状態の橋（建造物）に対応する３Ｄオブジェクト（設計図３Ｄホログラム）と、作業土工、躯体工、土留・仮締切等の各種工種の項目が羅列された検査書類メニューとが配置される。関係者Ｕは、これらの中から所望の工種の項目を選択することで、当該所望の工種の検査書類（データ）を仮想空間内で視認することができる。ここで、関係者Ｕは、複数種類の工種の項目を選択することができる。
【0026】
具体的には例えば、躯体工の項目が選択されると、図３に示すｃ機能が発揮される。すると、仮想空間内に、工程表と、タイムスライダーＴと、当該タイムスライダーＴで指定された時刻（時点）における建設中の状態の橋（建造物）に対応する３Ｄオブジェクトとが配置される。ここで、タイムスライダーＴとは、上述したタイムスライダー機能の発揮時に仮想空間内に配置される、工程表の所定期間における任意の時刻（時点）を指定するための操作子（データ）である。図３に示すｃ機能の例では、工程表の所定期間を示す時間軸と、当該時間軸上を自在に移動可能な時計のアイコンとから、タイムスライダーＴは構成されている。この時計のアイコンの位置が、指定された時刻（時点）を示すことになる。
つまり、ＨＭＤ２を装着した関係者Ｕは、コントローラ３を操作して、タイムスライダーＴの時計のアイコンを移動させることで、工程表における時間軸上の時刻（時点）を指定する。すると、指定された時刻（時点）における建設中の状態の橋に対応する３Ｄオブジェクトが、仮想空間内に配置される。関係者Ｕは、その仮想空間内に配置された３Ｄデータを、所望の立ち位置で所望の視点から視認することができる。
つまり、関係者Ｕにとっては、タイムスライダーＴの時計のアイコンを動かすだけで、工程表における所定期間内での過去、現在、未来のうち所望の工程段階時の建造物（橋）に対応する３Ｄオブジェクト等がＨＭＤ２における投影空間上に出現することになる。
【0027】
さらに、図３に示すｄ機能も発揮され、タイムスライダーＴの時計のアイコンで指定された時刻（時点）における、確認書、出来形、写真等で構成された段階確認結果書類（データ）も、仮想空間上に配置された各項目のメニューから選択可能になる。【0028】
あるいはまた、検査メニューでは、図４の機能も発揮可能である。検査メニューでは、図４に示すａ機能が発揮される場合がある。この場合、仮想空間内に、完成状態の橋に対応する３Ｄオブジェクト（設計図３Ｄホログラム）と、工程表と、タイムスライダーＴと、検査書類メニューとが表示される。
この図４に示すａ機能により、ＨＭＤ２を装着した関係者Ｕは、複数の検査書類をマルチウィンドウで視認しながら検査することができる。また、関係者Ｕは、タイムスライダーＴを操作することで、図３に示すｃの機能と同様に、タイムスライダー機能を発揮させることができる。
【0029】
さらに、関係者Ｕは、図４に示すｂ機能を発揮させることで、後で確認すべき検査書類（図４の例では施工計画書）の特定のページに、Ｂｏｏｋｍａｒｋを設定することができる。これにより、そのＢｏｏｋｍａｒｋのページに瞬時に戻ることが可能になる。【0030】
以下、本サービスの提供を伴う各種機能を発揮可能な図１の情報処理システムの構成及び処理について、図５乃至図８を適宜参照しつつ説明する。図５は、図１の情報処理システムのうちサーバのハードウェア構成の一例を示すブロック図である。
【0031】
サーバ１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、バス１４と、入出力インターフェース１５と、入力部１６と、出力部１７と、記憶部１８と、通信部１９と、ドライブ２０と、リムーバブルメディア２１とを備えている。【0032】
ＣＰＵ１１、ＲＯＭ１２及びＲＡＭ１３は、バス１４を介して相互に接続されている。このバス１４には、また、入出力インターフェース１５も接続されている。入出力インターフェース１５には、入力部１６、出力部１７、記憶部１８、通信部１９及びドライブ２０が接続されている。なお、ドライブ２０には、また、リムーバブルメディア２１も接続されている。【0033】
ＣＰＵ１１は、ＲＯＭ１２に記憶されているプログラム、又は記憶部１８からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。
【0034】
入力部１６は、キーボードやマウス等で構成され、各種情報を入力する。出力部１７は、ディスプレイやスピーカ等で構成され、各種情報を画像や音声として出力する。
【0035】
記憶部１８は、ハードディスクやＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、各種データを記憶する。通信部１９は、インターネットを含むネットワークＮを介して他の装置（図１の例では、ＨＭＤ２ａ及びＨＭＤ２ｂ）との間で通信を行う。
【0036】
ドライブ２０には、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリ等よりなる、リムーバブルメディア２１が適宜装着される。ドライブ２０によってリムーバブルメディア２１から読み出されたプログラムは、必要に応じて記憶部１８にインストールされる。また、リムーバブルメディア２１は、記憶部１８に記憶されている各種データも、記憶部１８と同様に記憶することができる。
【0038】
ＨＭＤ２は、ＣＰＵ３１と、ＲＯＭ３２と、ＲＡＭ３３と、バス３４と、入出力インターフェース３５と、表示部３６と、センサ部３７と、記憶部３８と、通信部３９と、ドライブ４０とを備えている。【0039】
なお、図５のサーバ１と同様の構成については、ここではその説明を省略し、以下サーバ１と差異がある点だけを説明する。【0040】
表示部３６は、各種液晶ディスプレイ等で構成され、仮想空間上に建造物（橋等）の３Ｄオブジェクト（３Ｄモノグラム）や、操作メニュー等を投影して表示する。センサ部３７は、傾斜センサ、加速度センサ、角速度センサ等の各種センサ等で構成される。センサ部３７の検出情報は、例えば、仮想空間内での角度（方向）に関する各種検出情報として利用される。
【0041】
通信部３９は、ネットワークＮを介する他の装置（図１の例では、サーバ１若しくは、他のコントローラ３）との間で通信を行う他、所定の無線通信方式によりコントローラ３とも通信を行う。コントローラ３は、ＨＭＤ２のＣＰＵ３１による各種処理の実行に際し、関係者Ｕによる指示操作、例えば、メニュー選択、視点操作、タイムスライダー機能での時刻（時点）の指示操作等を受け付ける入力機器である。
なお、説明の便宜上、本実施形態ではコントローラ３を用いているが、情報処理システムにとって特に必須な構成要素ではない。その他例えば、関係者Ｕの周囲にモーションセンサを設けて、関係者Ｕの各種ジェスチャー動作で各種指示操作をさせるようにしてもよい。
【0042】
このようなサーバ１、ＨＭＤ２及びコントローラ３の各種ハードウェアと各種ソフトウェアとの協働により、タイムスライダー機能の発揮が可能になる。タイムスライダー機能の発揮により、情報処理システムは、施工過程に係る工程表の中に示される時間情報の内の所定時刻を、時間軸の座標として取得し、当該座標における建設現場の実物体（橋等の建造物）に対応する３Ｄオブジェクトを仮想空間内に配置させ、当該仮想空間内の所定位置における所定の視点から視認可能な表示画像のデータを生成することができる。このようなタイムスライダー機能の発揮により、当該表示画像のデータが生成されて、関係者Ｕに提示される（関係者Ｕが視認する）までの一連の処理を、以下、「表示画像生成処理」と呼ぶ。
即ち、サーバ１及びＨＭＤ２やコントローラ３は、表示画像生成処理を実行するにあたり、図７に示すような機能的構成を有する。
図７は、図５のサーバ及び図６のＨＭＤの機能的構成のうち、表示画像生成処理を実現するための機能的構成の一例を示す機能ブロックである。
【0043】
図７に示すように、サーバ１のＣＰＵ１１においては、表示画像生成処理が実行される場合には、時間情報取得部１００と、オブジェクト配置部１０１と、視点情報取得部１０２と、視点管理部１０３と、仮想空間構築部１０４と、表示画像生成部１０５と、表示制御部１０６とが機能する。サーバ１の記憶部１８の一領域には、オブジェクトＤＢ５００が設けられている。さらに、図示しないが、段階確認結果書類や、マルチウィンドウに表示される検査書類、その他各種書類のデータが格納されるＤＢも記憶部１８に設けられている。上述及び後述するように、これらの各種書類のデータも、仮想空間内に配置させて、表示画像に含めて関係者Ｕに提示することは当然に可能である。ただし、図８までの説明においては、説明の便宜上、仮想空間内には、建造物（橋）等の３Ｄオブジェクトのみが配置されるものとする。
ここで、関係者Ｕａが使用するＨＭＤ２ａとコントローラ３ａを併せてＵＭａと呼び、関係者Ｕｂが使用するＨＭＤ２ｂとコントローラ３ｂを併せてＵＭｂと呼ぶ。
以下、時間情報取得部１００乃至表示制御部１０６の各機能ブロックの詳細について、順不同に説明する。
【0044】
サーバ１の仮想空間構築部１０４は、建造物（橋）の３Ｄオブジェクト等を配置するための仮想空間を構築する。【0045】
図７での図示は省略するが、仮想空間構築部１０４により構築された仮想空間には、上述したタイムスライダーＴ（図３等）が配置される。そこで、関係者Ｕは、コントローラ３を操作することで、仮想空間におけるタイムスライダー（表示部３６に表示されているタイムスライダー）の時計のアイコンを時間軸上で移動させて、所定時刻を指示する。サーバ１の時間情報取得部１００は、このようにして関係者Ｕにより指示された時刻を示す情報（以下、「時間情報」と呼ぶ）を、通信部１９を介して取得する。
ここで、複数の関係者Ｕが存在する場合、夫々の時間情報は、同一であってもよいし異なっていてもよい。同一の場合には、例えば、マスタユーザ（例えば関係者Ｕａ）と従属ユーザ（例えば関係者Ｕｂ）を予め決めておき、時間情報取得部１００は、マスタユーザのコントローラ３から指定された時刻を示す情報を、時間情報として取得する。
【0046】
サーバ１のオブジェクト配置部１０１は、時間情報取得部１００により取得された時間情報に基づいて、指定された時刻（時点）における建設途中又は建設後の状態の実物体（橋等の建造物）に対応する３Ｄオブジェクトを、オブジェクトＤＢ５００から抽出して、仮想空間に配置させる。なお、図７においては、本発明の理解を容易なものとすべく、建設途中の各状態の橋の３Ｄオブジェクトが、あたかも各時刻ｔ１乃至ｔ３に対応付けられてオブジェクトＤＢ５００に記憶されているように描画されている。しかしながら、実際には、後述する図９及び図１０で説明するように、建造物の各部品等がレイヤーという単位で分割されて、各レイヤー毎に、時刻という時間軸上の１点ではなく、仮想空間内に存在する時間（時間軸上で一定の幅を有する期間）と対応付けられてオブジェクトＤＢ５００に記憶されている。
【0047】
サーバ１の視点情報取得部１０２は、関係者ＵのＨＭＤ２のセンサ部３７の検出情報やコントローラ３からの指示操作の情報を通信部１９に受信させ、これらの情報に基づいて、仮想空間内の視点の配置位置及び当該視点の方向を示す情報（以下、「視点情報」と呼ぶ）を取得する。ここで、複数の関係者Ｕが存在する場合、視点情報は、同一であってもよいし、異なっていてもよい。ただし、疑似体験をさせるという観点では、複数の関係者Ｕ毎に夫々異なると好適である。
そこで、視点管理部１０３は、複数の関係者Ｕ（図７の例では関係者Ｕａ，Ｕｂ）毎の視点情報の夫々を管理する。
なお、橋等の３Ｄオブジェクトに対し、視点の方向は、必ずしも３Ｄオブジェクトの外側（外観）から３Ｄオブジェクトへ向かう必要はなく、例えばオブジェクトの内側（建造物の内部）からであってもよい。これにより、例えば、施工が進むにつれ、人間が現実の視認ができなくなる実物体（建造物）の内部の状態を確認することができる。即ち、視点情報は、全方位性を有することができる。
さらに、例えば、大きな実物体を仮想空間内で縮小した３Ｄオブジェクト、実物体（建造物）の実物大の３Ｄオブジェクト、さらに拡大した大きさの３Ｄオブジェクトの何れに対しても、任意の位置から任意の方向を向いた視線を示す視点情報を生成可能である。これにより、建設作業従事者等の関係者Ｕは、仮想空間内で作業シミュレーションを事前に行うことが可能となる。つまり、視点情報は、視認対象物（３Ｄオブジェクト）に対して拡大性若しくは縮小性を有することができる。
【0048】
表示画像生成部１０５は、時間情報で示される時刻（関係者Ｕにより指定された時刻）における建設途中又は建設後の状態の実物体（橋等の建造物）に対応する３Ｄオブジェクトが配置された仮想空間において、視点情報で示される視点からみえる画像のデータを、表示画像のデータとして生成する。【0049】
表示制御部１０６は、表示画像生成部１０５により生成された表示画像のデータを、通信部１９を介して送信することで、関係者ＵのＨＭＤ２の表示部３６に当該表示画像を表示させる制御を実行する。【0051】
ステップＳ１において、仮想空間構築部１０４は、仮想空間を構築する。ステップＳ２において、時間情報取得部１００は、関係者Ｕにより指示された時刻を示す時間情報を取得する。
ステップＳ３において、視点情報取得部１０２は、仮想空間内の視点の配置位置及び当該視点の方向を示す視点情報を取得する。
ステップＳ４において、オブジェクト配置部１０１は、ステップＳ２の処理で取得された時間情報に基づいて、指定された時刻（時点）における建設途中又は建設後の状態の実物体（橋等の建造物）に対応する３Ｄオブジェクトを、仮想空間に配置させる。
ステップＳ５において、表示画像生成部１０５は、ステップＳ４の処理で３Ｄオブジェクトが配置された仮想空間において、ステップＳ３の処理で取得された視点情報で示される視点からみえる画像のデータを、表示画像のデータとして生成する。
ステップＳ６において、表示制御部１０６は、ステップＳ５の処理で生成された表示画像のデータを、通信部１９を介して送信することで、関係者Ｕに当該表示画像を提示する。
【0052】
ステップＳ７において、サーバ１は、処理の終了の指示があったか否かを判定する。処理の終了の指示は特に限定されないが、例えばＨＭＤ２から終了指示が送信されてきたことを採用することができる。
このような終了指示がＨＭＤ２から送信されてこない場合、ステップＳ７においてＮＯであると判定されて、処理はステップＳ２に戻され、それ以降の処理が繰り返される。
これに対して、終了指示がＨＭＤ２から送信されてきた場合、ステップＳ７においてＹＥＳであると判定されて、表示画像生成処理は終了となる。
【0053】
以上、本発明の一実施形態について説明したが、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。【0054】
ここで、上述の第１実施形態では、時間情報（例えば所定の時刻）と建設現場の所定の３Ｄオブジェクト（例えば、所定の時刻に関係者Ｕが、所定の立ち位置及び角度から視認し得る景色）を紐付けることで、関係者Ｕが視認し得る仮想空間上の３Ｄオブジェクト等を決定している例を採用して説明を行った。しかしながら、上述の３Ｄオブジェクト等を構成する各種レイヤーを時間情報（例えば所定の期間）と紐付けることで、関係者Ｕが視認し得る仮想空間上の３Ｄオブジェクト及び、文書データ、画像及びその他のデータを決定してもよい。
以下、タイムスライダー機能を構成するデータの処理方法について、上述の第１実施形態とは異なる処理方法を採用した第２実施形態について説明する。なお、レイヤーとは、「３Ｄオブジェクト（３Ｄホログラムを含む）」、「文書データ」等、仮想空間上に配置し得る各種情報を構成する最小単位であり、例えば、橋の鉄橋部分等である。
【0055】
図９は、図７のサーバ／ＨＭＤのオブジェクトＤＢ５００に格納されている各種情報を示している図であり、図７とは異なる一例を示す図である。図９の例では、レイヤーｂ１乃至レイヤーｂ５は、時間情報（所定の期間）と紐付けられて、その情報がオブジェクトＤＢ５００に格納されている。ここで、所定の期間とは、例えば、時刻ｔ１から時刻ｔ５までの一定の期間を示しており、例えば、時刻ｔ１の１時点を示すものではない。
【0056】
図９の表の１段目を見ると、レイヤーｂ１についての情報が表示されている。レイヤーｂ１は、例えば、建設が予定されている橋の脚の１つである。このレイヤーｂ１は、時刻ｔ１乃至時刻ｔ５の期間が指定されている。つまりレイヤーｂ１は、時刻ｔ１の時点では、建設予定の橋の一部として仮想空間上に表示され、さらに時刻ｔ５の時点においても依然として仮想空間上に表示されていることを示している。他方、表の５段目を見ると、レイヤーｂ５についての情報が表示されている。レイヤーｂ５は、例えば、建設現場で作業員に利用される「足場」である。このレイヤーｂ５は、時刻ｔ２乃至時刻ｔ４の期間が指定されている。つまりレイヤーｂ５は、ｔ２の時点で建設のための足場として仮想空間上に表示され、時刻ｔ４、即ち橋の完成時点においては表示されないことを示している。実際の建設現場において、橋の完成段階においては、足場は完全に撤去されることになるためである。
【0057】
次に、図１０を参照して、上述のオブジェクトＤＢ５００に格納された各種情報とタイムスライダー機能との関係について簡単に説明する。図１０は、各期間において表示されるレイヤーとの関係を説明するための図である。
【0058】
図１０を見ると、時刻ｔ１から時刻ｔ２、時刻ｔ２から時刻ｔ３、時刻ｔ３から時刻ｔ４、時刻ｔ４から時刻ｔ５までの夫々の期間において、関係者Ｕに表示される画像が表示されている。例えば、時刻ｔ１から時刻ｔ２までの期間においては、レイヤーｂ１及びレイヤーｂ２が夫々単独で表示されている。つまり、時刻ｔ１から時刻ｔ２の期間の建設工程では、橋の脚部分のみが建設されている予定であることを示している。関係者Ｕは、時刻ｔ１から時刻ｔ２の期間の建設状況を確認したい場合には、当該期間の建設現場の画像を選択して表示させることができる。
この点、図９を参照して上述したように、例えば、レイヤーｂ５（建造用の足場）については、建設途中でのみ利用され、完成時には撤去されるのが通常である。図１０を見ると、レイヤーｂ５は、時刻ｔ２から時刻ｔ３及び時刻ｔ３から時刻ｔ４の期間においてのみ表示されている。
つまり、レイヤーｂ５は、時刻ｔ２の時点で設置され、時刻ｔ４の時点で撤去されるということを意味している。
【0059】
このように上述の第１実施形態、図９及び図１０で示した第２実施形態をまとめると、関係者Ｕは、例えば、上述のタイムスライダー機能を利用して、以下のようなことが可能となる。即ち、関係者Ｕは、「指定された任意の時間軸」における建設予定の３Ｄオブジェクトの視認が可能となるため、いわば過去、未来を自由に行き来する（タイムスライドする）ことができる。
さらに例えば、関係者Ｕは、横方向の時間軸（タイムライン）上において、縦方向の時間軸（タイムスライダー）をスライドさせることができ、任意の時間軸（例えば期間）における建設予定の３Ｄオブジェクトの画像（又は建設現場の画像）を視認することができる。
【0060】
ここで、従来技術と上述の第１実施形態及び第２実施形態に係るタイムスライダー機能との差異は以下の通りである。即ち、建設予定の３Ｄオブジェクト等の画像を表示させるような場合、従来では、通常、所定の１時刻（時点）のデータを処理、表示していた。これに対して、タイムスライダー機能では、各レイヤーの時間軸をライン（期間）となるように処理、表示することも出来るため、時間属性として、結合、連続性を有している。
【0061】
また、上述の第１実施形態及び第２実施形態に係るタイムスライダー機能をまとめると、以下のようにまとめることもできる。即ち、
（１）従来技術においては、各レイヤーを時間属性として１時点（例えば最新の時点）しか定義できなかったのに対して、各レイヤーに時間属性として時間軸（例えば期間）を定義することができる。
（２）各レイヤーについて時間軸（期間）を定義することができるため、指定された任意の時点毎に３Ｄデータを作成することなく、指定された任意の時間軸における３次元データを構築することができる。
（３）（２）のように構築した各レイヤーを表示媒体（例えば図６の表示部３６）で表示させることができる。
（４）（２）において指定された任意の時間軸によって、自由にタイムスライドできる４次元データ（空間情報＋時間情報）を処理することができる。
（５）（４）で処理された４次元（空間情報＋時間情報）を表示媒体（例えば図６の表示部３６）で表示させることができる。
（６）さらに２次元データ（例えば文書データ）等をさらに紐付けて、表示させることもできる。
【0062】
また、上述の第１実施形態及び第２実施形態では、情報処理システムが実現可能な基本的な機能の一例として、検査機能を採用して説明を行った。しかしながら、図２で上述の通り、各メニューに遷移するための「ＴＯＰメニュー」が存在する。この「ＴＯＰメニュー」から遷移可能なメニューとしては、次の５つのメニューが用意されている。即ち、計画メニュー、設計変更メニュー、検査メニュー、メンテナンスメニュー、及びコミュニケーションメニューが用意されている。
【0063】
上述の実施形態では、タイムスライダー機能を発揮可能な情報処理システムについて説明したが、本発明が適用される情報処理システムが発揮可能な機能は、これに限定されない。即ち、上述の実施形態では、仮想空間の変化の方向は、時間軸の方向であったが、特にこれに限定されず、任意の軸の方向を採用することができる。
例えば、各会社を示す軸（以下、「会社軸」と呼ぶ）を定義し、この会社軸の各座標に各会社を対応させることができる。関係者Ｕは、この会社軸の各座標の指定を任意にできるならば、指定された座標が示す会社が建設する橋等の建造物の３Ｄオブジェクトを視認することができる。つまり、例えば、複数の会社のコンペで、橋等の建造物の建設担当会社が決められるならば、そのコンペに参加する複数の会社の夫々が設計した橋等の建造物を見比べることが可能になる。
さらに、関係者Ｕが指定可能な軸は、１つに限定されず、複数の軸を指定することもできる。例えば、会社軸と時間軸の２つの指定が可能ならば、関係者Ｕは、施工工程毎に、複数の会社の建設途中の夫々の状態を見比べることもできるようになる。
【0064】
つまり、本発明が適用される情報処理装置は、次のような構成を取れば足り、各種各様な実施の形態をとることができる。即ち、本発明が適用される情報処理装置は、
ｎ次元（ｎは２以上の整数値）のうち少なくとも１以上の次元の方向（例えば時間軸の方向や会社軸の方向）に状態が変化する実物体（例えば橋等）に対応する３Ｄオブジェクトを、３次元の仮想空間に配置させる配置手段（例えば図７のオブジェクト配置部１０１）と、
前記ｎ次元のうち、状態が変化する次元の座標（例えば時間軸の座標は、指定時刻）を取得する座標取得手段（例えば時間軸の場合には図７の時間情報取得部１００）と、
取得された前記次元の前記座標における状態の前記実物体に対応する３Ｄオブジェクトが、前記配置手段により配置された前記仮想空間において、所定の視点から視認し得る画像のデータを生成する画像生成手段（例えば図７の表示画像生成部１０５）と、
を備える情報処理装置。
これにより、関係者Ｕは、建設事業に詳しくなくても施工工程が直感的に理解することが期待できる。
【0065】
ここで、上述の第１実施形態及び第２実施形態では、本発明の一実施形態に係る情報処理システムが実現可能な基本的な機能の一例として、検査機能を採用して説明を行った。しかしながら、図２で上述の通り、本発明の一実施形態に係る情報処理システムが実現可能な基本的な機能としては、例えば、「ＴＯＰメニュー」、「計画メニュー」、「設計変更メニュー」、「コミュニケーションメニュー」、「メンテナンスメニュー」等も採用可能である。以降、図１１乃至図２５を参照しつつ、本サービスの提供者が採用可能な各機能の夫々について、説明していく。
【0066】
図１１は、図１の情報処理システムが実現可能な基本的な機能の一例を示す図であり、具体的には、本発明の一実施形態に係る情報処理システムが実現可能な基本的な機能のうち図２に表す「ＴＯＰメニュー」が採用された場合の一例を示す図である。なお、「ＴＯＰメニュー」とは、例えば、仮想空間上で表示されるオブジェクト（３Ｄモデルとも呼ぶ）の初期画面をいう。
【0067】
図１１に示すａ状況では、本サービスの受益者である関係者Ｕと、建設予定の建造物（例えば、橋）と、で構成されている。つまり、関係者Ｕｂは、建設予定の建造物を仮想空間上で３Ｄオブジェクトとして視認し得る。なお、関係者Ｕｂは、建設予定の建造物の３Ｄオブジェクトの他に、検査対象物でないものを支援オブジェクトとして、例えば、建設に利用されるフォークリフト等を投影し得るものとしてもよい。
図１１に示すｂ状況では、関係者Ｕｂが橋の左右に移動したような場合の例が示されている。
つまり、関係者Ｕｂは、自らが移動して視認する立ち位置を変更することで、建設予定の建造物を様々な距離や角度から視認することができる。即ち、関係者Ｕｂは、建設現場を移動したいとき、より正確には建設現場に対応する仮想空間内を移動したいときに、自身が実際に移動することで、図６に表すＨＭＤ２ｂのセンサ部３７が、その情報を検知して、仮想空間内での立ち位置を変更することができる。
他方、図１１に示すｃ状況では、関係者Ｕｂは自らが移動することなく、建設予定の建造物を見やすい位置に移動して表示させてもよい。
即ち、関係者Ｕｂは、図１１に示すｂ状況の場合と異なり、自ら移動して、立ち位置を変更する場合の他に、自らが移動することなく当該建造物自体を任意の場所に移動して表示させることで、様々な作業段階における建造物を様々な距離や角度から視認して、確認することができる。
本実施形態では、関係者Ｕｂが、コントローラ３ｂを操作して施工工程を指定しつつ、所望の立ち位置で、所望の方向を向いた時に見える建設予定の建造物を含む建設現場の景色（その景色を写した写真）を視認することができる。
ただし、関係者Ｕｂは、必ずしもコントローラ３ｂを使用して、「立ち位置」や「視線の方向（所定方向）」を決定する必要はない。例えば、ＨＭＤ２ｂのセンサ部３７が、関係者Ｕｂの動きを検知して、関係者Ｕｂの「立ち位置」や「視線の方向（所定方向）」を決定しても良い。
さらに、図１１に示すｄ状況では、複数人の関係者が建設予定の建造物を視認する場合の例が示されている。つまり、図１１に示すｄ状況で示されるように、関係者Ｕａ及び関係者Ｕｂは、同一の建設予定の建造物を視認することができる。ただし、関係者Ｕａ及び関係者Ｕｂは、同一の時間軸の建設予定の建造物を選択しなくてもよい。即ち、関係者Ｕａ及び関係者Ｕｂの夫々は、異なる作業段階の建設予定の建造物を選択して、視認することができてもよい。
さらに言えば、関係者Ｕａ及び関係者Ｕｂは、同一の建設予定の建造物を選択しなくてもよい。即ち、例えば、関係者Ｕａは、他の建設予定の建造物（他の橋等）を視認してもよい。
【0068】
図１２及び図１３は、図１の情報処理システムが実現可能な基本的な機能の一例を示す図であり、具体的には、本発明の一実施形態に係る情報処理システムが実現可能な基本的な機能のうち「計画メニュー」が採用された場合の一例を示す図である。【0069】
図１２に示すａ機能は、図示せぬ関係者（例えば関係者Ｕ）に対して、タイムスライダーＴ機能に関する画像が表示される場合の表示画像の一例を示している。即ち、図示せぬ関係者（例えば関係者Ｕ）は、このタイムスライダー機能から施工の状況を確認、選択することができる。具体的に例えば、図１２に示すａ機能の例では、図示せぬ関係者Ｕにより「１１月１日」の施工日Ｔが選択されている。そして、図示せぬ関係者Ｕは、タイムスライダーＴで選択された施工段階に対応する建設予定の建造物、工程表及び施工計画等やそれに関する施工計画書等を確認することができる。
そして、図１２に示すａ機能の例では、「１１月１日」のタイムスライダーＴでの建設予定の建造物の状況が、図１２に示すａ機能の上部に表示されている。
また、図１２に示すｂ機能の例では、この「１１月１日」のタイムスライダーＴにおける建設予定の建造物の施工状況を、図示せぬ関係者Ｕが任意の場所から視認する場合の例が示されている。
即ち、図示せぬ関係者Ｕは、例えば、画像に表示された人型のアイコンＰを操作することで、仮想空間上での自身の立ち位置を決定することができる。
これにより、建設予定の建造物が大きく、自身が確認したい場所に移動して、実際に確認するのが難しいような場合であっても、容易に建設予定の建造物を確認することができる。
具体的には、例えば、図１２に示すｃ機能に示すように、鉄筋周りの作業体験やシートパイル内での作業の確認が挙げられる。
【0070】
また、図１３に示すｄ機能乃至ｆ機能では、関係者Ｕｂが利用可能な各種カスタマイズ機能が示されている。即ち、図１３に示すｄ機能を見ると、関係者Ｕｂは、実物大の３Ｄオブジェクトを表示しつつ、３Ｄオブジェクト上の表示位置を微調整できる。図１３に示すｅ機能に示すように、実物大の３Ｄオブジェクトと現実の人との接触をハイライトや音で分かるようにすることができる。図１３に示すｆ機能に示すように、実物大の建機等を配置し工事作業をシミュレーションすることができる。
【0071】
以上をまとめると、関係者Ｕは、上述の各種機能を利用して、例えば、実際に施工を始めてみないと気が付かないような問題を予め発見することができる。具体的には、例えば、関係者Ｕは、建設作業の開始前等に実物大の橋を視認して事前に検討を行うことで、鉄筋の網目に腕が通らずに作業ができないというような実際の建設作業時に生じ得る問題を、予め顕在化することができる。
つまり、関係者Ｕは、上述の各種機能を利用することで、より施工工程を直感的に理解しやすくなるため、仮に、関係者Ｕが建設作業に詳しくないような場合であっても、施工前に必要な建設工程の修正を依頼しやすくなる。
そのため、建設作業における、コストの削減、工期の短縮、安全性の向上等が期待でき、結果として、顧客満足度の向上が期待される。
【0073】
図１４及び図１５は、本発明の一実施形態に係る情報処理システムが実現可能な基本的な機能の一例を示す図であり、具体的には、本発明の一実施形態に係る情報処理システムが実現可能な基本的な機能のうち「設計変更メニュー」が採用された場合の一例を示す図である。図１４に示すａ状況では、関係者Ｕａと関係者Ｕｂが、仮想空間上で建設予定の３Ｄオブジェクトを視認しながら議論している状況が示されている。
具体的には、図１４に示すａ状況では、関係者Ｕａと関係者Ｕｂは、同一の３Ｄオブジェクトについて、夫々の希望する「立ち位置」及び「角度」から視認することができる。
つまり、当該建設事業の関係者Ｕ（発注者、コンサルタント、受注者等）は、同一の３Ｄオブジェクト（及び関連するデータ）を参照しながら、建設作業の各工程で生じ得る問題を予想して、「設計変更の必要があるか」、ある場合には「どのように変更するか」を議論しながら、当該３Ｄオブジェクトの建設作業の各工程の適否について検討することができる。
また例えば、予め複数の建設作業の工程のパターンが想定されるような場合等には、各建設作業の工程について、コスト、スケジュール、安全性等をシミュレーションした結果を確認することもできる。
次に、図１４に示すｂ状況は、仮想空間上において、３Ｄオブジェクトを拡大又は縮小する場合の例を示している。
即ち、図示せぬ関係者Ｕは、仮想空間上で建設予定の３Ｄオブジェクトを、例えば、１／４００倍、１／２００倍、１／１００倍、１／５０倍、１／２５倍、２倍等の倍率で拡大若しくは縮小した３Ｄオブジェクトを視認することもできる。
具体的に例えば、大型の建造物の場合、設計時に地質調査等を行うが、施工を始めてから設計時の想定とは異なることが判明することがある。また、これらの機能は、例えば、円滑なコミュニケーションのため、当該建設事業の関係者（発注者、コンサルタント、受注者等）が一堂に会し、意見交換を行う工事円滑化推進会議等においても十分に貢献できる。
【0074】
図１５に示すａ機能及び図１５に示すｂ機能は、設計変更を行う場合の一例を示している。図１５に示すａ機能を見ると、新しい図面データをもとに３Ｄオブジェクトを更新できる。変更箇所の設計図がハイライト等で判別できる。なお、図面上の変更箇所は原寸大で確認できるとよい。
つまり、例えば、上述の図１４の場合のように、当該建設事業の関係者Ｕ（発注者、コンサルタント、受注者等）が意見交換を行った結果として、設計変更が必要だと判断した場合、設計変更に対応した新たな３Ｄオブジェクトを視認して、確認することができる。
さらに、図１５に示すｂ機能を見ると、上述の設計変更を行った場合に、設計変更前のコスト及び設計変更後のコスト、設計変更前の工期及び設計変更後の工期が表示されている。
つまり、例えば、図示せぬ関係者Ｕは、上述の設計変更前後のコストや工期等を確認することができる。また、図示せぬ関係者Ｕは、コストや工期の他にも、例えば、スケジュールや安全性等についても確認できるものとしてもよい。
換言すれば、当該建設事業の関係者Ｕ（発注者、コンサルタント、受注者等）は、同じデータを共有し、かつ３Ｄオブジェクト（３Ｄモデル）で直感的な表現を行うことで、コミュニケーションの円滑化や、生産性の向上が期待できる。
【0075】
図１６は、図１の情報処理システムが実現可能な基本的な機能の一例を示す図であり、具体的には、本発明の一実施形態に係る情報処理システムが実現可能な基本的な機能のうち「メンテナンスメニュー」が採用された場合の一例を示す図である。【0076】
ここで、従来の建設事業におけるメンテナンスにおける問題点について簡単に説明する。従来のメンテナンスでは、メンテナンス担当者が取得できる施工時の実績データが少なく、点検時の限られたデータをもとにメンテナンスの内容等を判断する必要があった。さらに言えば、現場に行かなければメンテナンスの内容等を判断できないため、１人の専門家が担当できる現場数が限られてしまうという課題があった。この点、メンテナンスの担当者が、上述の情報処理システムを利用すれば、メンテナンス時の点検データだけでなく、施工時の実績データを含んで取得することができるため、より多くの情報をもとに正確な判断を下すことができるようになる。
具体的には、メンテナンス担当者は、図１６に示すａ状況で示すように、自身の点検したい日付をタイムスライダーＴとして選択し、選択した点検データを参照することができる。図１６に示すａ状況の例では、点検したい日付として２０１６年６月頃が選択されている。
ここで、メンテナンス担当者が参照できる点検データとは、例えば、チェックリスト、写真、ドローン映像、３Ｄスキャンデータ等である。
つまり、図１６に示すａ状況の例では、メンテナンス担当者は、２０１６年７月頃に行われたメンテナンスで使用されたチェックリスト等を参照して、当該メンテナンスでどのようなメンテナンスが行われていたかを把握して、自身のメンテナンスについての判断を下すことができる。
また、図１６に示すｂ状況を見ると、点検したい日付として２０１５年９月頃が選択されている。なお、この時メンテナンス担当者が参照できるデータは、例えば、確認書、出来形、写真等で構成された段階確認結果書類（データ）がある。
つまり、図１６に示すｂ状況の例では、メンテナンス担当者は、２０１５年９月頃の時点における施工時の各種データ（確認書、出来形、写真等）を参照して、自身のメンテナンスについての判断を下すことができるのである。
【0077】
このような「メンテナンスメニュー」の採用により、例えば、メンテナンスの担当者は、正確なメンテナンス（維持管理、診断管理）を実現することができるため、全体として品質向上がつながることが期待できる。また、メンテナンス担当者が、建築される実物体に足場等を設けることなく、現地に赴くことなく遠隔地からメンテナンス（維持管理、診断管理）を行うことができるので、１人の担当者でより多くの現場を担当することができるため、生産性の向上が期待できる。
【0078】
図１７は、図１の情報処理システムが実現可能な基本的な機能の一例を示す図であり、具体的には、本発明の一実施形態に係る情報処理システムが実現可能な基本的な機能のうち「コミュニケーションメニュー」が採用された場合の一例を示す図である。【0079】
図１７の例では、関係者Ｕａと関係者Ｕｂが、距離的に離れた場所に存在する場合の例を示している。即ち、本発明の一実施形態に係る情報処理システムを利用することで、関係者Ｕａと関係者Ｕｂは、離れた場所にいる場合であっても、夫々の場所で同一の３Ｄオブジェクトを視認して、互いに建設現場のイメージを共有することができる。
具体的には、関係者Ｕａ（例えば、外出先にいる営業担当者）と関係者Ｕｂ（例えば、現場にいる現場監督）は、夫々の場所で建設予定の３Ｄオブジェクトを視認しながら、互いにコミュニケーションを図ることで、実際の建設現場での作業やその工程について具体的にイメージの共有を図ることができる。
さらに言えば、このような複数の関係者が遠隔地で設計図等を見ながら、視認している３Ｄオブジェクトの特定箇所をマーキング等で指示しながら会話を行うというようなことも可能となる。
【0081】
まず、「コミュニケーションメニュー」の内容について簡単に説明する。コミュニケーションメニューは、例えば、ＨＭＤ２を利用している関係者Ｕａや関係者Ｕｂが、仮想空間内に配置されている３Ｄオブジェクト等を、共通して視認しつつ、工事の施工状況や施工方針について検討するような場合に利用される。
具体的に説明すると、例えば、関係者Ｕａと関係者Ｕｂは、互いに直接的コミュニケーションをとることができない範囲に存在するとする。
このような場合、例えば、互いに夫々のＨＭＤ２を利用して、３Ｄオブジェクトを視認することは可能である。しかしながら、例えば、関係者Ｕａと関係者Ｕｂが、対象物の中の一領域の状況について議論をしようとする場合、相手が３Ｄオブジェクトのどの部分について議論をしようとしているのかを正確に把握しなければ、議論を行うことは難しい。
そこで、本実施形態におけるコミュニケーションメニューは、各関係者が円滑にコミュニケーションを図るための機能として、アバター配置機能を採用する。
このアバター配置機能は、コミュニケーションメニューに関連する機能のうち最も重要な機能のうちの１つである。アバター配置機能では、例えば、関係者Ｕａが装着するＨＭＤ２において、他の関係者（例えば関係者Ｕｂ）の仮想空間内における位置や角度に対応する人型のオブジェクト（以下、「アバター」と呼ぶ）を仮想空間内に配置する。
つまり、関係者Ｕａは、このアバタ―機能により、関係者Ｕｂの仮想空間内における位置や角度を視覚的に把握することができるので、よりスムーズに関係者Ｕｂとコミュニケーションをとることができるのである。
なお、ＨＭＤ２が仮想空間内にアバターを配置するための具体的な方法や処理については、図１８等を参照しつつ後述する。また、このＨＭＤ２が、仮想空間内に配置し、それを表示部３６に表示される一連の処理を合わせてアバタ―配置処理と呼ぶ、このアバタ―配置処理についても、図１８等を参照しつつ後述する。
【0083】
ここで、図１８のＨＭＤのハードウェア構成は、上述の図６のハードウェア構成に対して、音声入出力部４２を付加したものである。図示はしないが、音声入出力部４２は、図６の入出力インターフェース３５に接続されている。【0084】
具体的に例えば、音声入出力部４２は、マイクロフォンとヘッドフォン（ヘッドセット）により構成される。マイクロフォンは、外部の音声を入力し、電気的な信号（このような信号を以下、「音声情報」と呼ぶ）に変換してＣＰＵ３１の処理部３０３に供給する。
ヘッドフォンは、ＣＰＵ３１の処理部３０３から供給された音声情報を、関係者Ｕａや関係者Ｕｂ等の耳（鼓膜）に近接した発音体（スピーカ等）を用いて音声に変換する。
【0085】
また、図１８に示すように、ＨＭＤ２のＣＰＵ３１においては、表示制御部３０１と、時間情報取得部３０２と、処理部３０３とが機能する。記憶部３８においては、３次元データＤＢ４０１と、文書データＤＢ４０２と、時間属性定義ＤＢ４０３とが設けられている。
【0086】
処理部３０３は、表示制御部３０１を介して、表示部３６に表示させる画像に関する各種処理と、音声入出力部４２に入出力させる音声に関する各種処理を実行する。【0087】
まず、音声に関する各種処理について、上述の図１７で説明した「会話」を例として説明する。離れた場所に夫々存在する関係者Ｕａと関係者Ｕｂとの間で会話を成立させるためには、関係者Ｕａと関係者Ｕｂとは、図１８に示す機能的構成を有するＨＭＤ２を夫々装着している必要がある。
ここでは、説明の便宜上、関係者Ｕａに装着されたＨＭＤ２側の構成及び処理について説明する。当然ながら関係者Ｕｂに装着されたＨＭＤ２についても、以下の説明と同様の構成及び処理が実現される。
【0088】
関係者Ｕａが発した音声は、音声入出力部４２において入力されて音声情報に変換されて、処理部３０３に供給される。処理部３０３は、当該音声情報を、通信部３９からネットワークＮを介してサーバ１に送信させる制御処理を実行する。当該音声情報は、サーバ１からネットワークＮを介して関係者Ｕｂに装着されたＨＭＤ２に送信される。これにより、関係者Ｕｂは、当該ＨＭＤ２から出力される、当該音声情報に対応する音声、即ち、関係者Ｕａが発した音声を聴くことができる。
【0089】
一方、関係者Ｕｂが発した音声は、当該関係者Ｕｂに装着されるＨＭＤ２において入力され、音声情報に変換されて出力され、ネットワークＮを介してサーバ１に送信される。当該音声情報は、さらに、サーバ１からネットワークＮを介して、関係者Ｕａに装着されたＨＭＤ２に送信される。処理部３０３は、当該音声情報を通信部３９において受信させ、各種処理を施したうえ、音声入出力部４２に供給する。これにより、関係者Ｕａは、音声入出力部４２から出力される、当該音声情報に対応する音声、即ち、関係者Ｕｂが発した音声を聴くことができる。
【0090】
ここで、処理部３０３により音声情報に施される処理は、特に限定されず、各種各様な処理を採用することができる。例えば、次のような処理が処理部３０３により実行される。即ち、処理部３０３による画像に関する処理（詳細については、後述する）が実行されると、会話の相手（例えば関係者Ｕａの立場では関係者Ｕｂ）のアバターが、仮想空間内の存在位置（実空間の所定場所に対応する位置）に配置されているように、ＨＭＤ２を装着した人（例えば関係者Ｕａ）に視認される。即ち、そのように視認されるような画像が、表示部３６に表示される。
この場合、処理部３０３は、仮想空間内において、音声の発生元が当該アバターの存在位置であるとして、当該音声の発生元と、音声の送信先（ＨＭＤ２を装着した人、例えば関係者Ｕａ）との位置関係を元に音声出力のバランスを調整する処理を、音声情報に対して施す。これにより、例えば仮想空間内において、音声の送信先（ＨＭＤ２を装着した人、例えば関係者Ｕａ）の右側にアバターが存在する場合、当該アバターが発話した音声（実際には、例えば関係者Ｕｂ等の会話の相手が離れた場所で発話した音声）が、音声入出力部４２の右側のスピーカから出力されて、音声の送信先の右の耳から聴聞できるようになる。
【0091】
以上、処理部３０３による処理のうち、音声に関する処理の一例について説明した。次に、処理部３０３による処理のうち、画像に関する処理の一例について説明する。画像に関する処理とは、上述の図７を用いて説明した表示画像生成処理に対応する処理である。表示画像生成処理は、サーバ１側で実行されるものとして説明したが、必ずしもサーバ１側で全て実行される必要はない。そこで、ここでは、表示画像生成処理は、ＨＭＤ２側で実行されると仮定して、以下の説明を行う。
即ち、表示画像に関する処理として、例えば、上述の表示画像生成処理を基盤とする次のような処理が処理部３０３により実行される。
【0092】
このため、ここでは、図７の例ではサーバ１の記憶部１８に設けられていた各種ＤＢに対応するものが、ＨＭＤ２の記憶部３８に設けられているものとする。即ち、３次元データＤＢ４０１は、図７のオブジェクトＤＢ５００に対応するものである。ここでは、図９や図１０で説明したように、３Ｄオブジェクトは、各レイヤーに区分されて、時間情報（所定の期間）と紐付けられている。
文書データＤＢ４０２は、段階確認結果書類や、マルチウィンドウに表示される検査書類、その他各種書類のデータ（以下、これらをまとめて「文書データ」と呼ぶ）を格納している。
時間属性定義ＤＢ４０３は、３Ｄオブジェクトの各レイヤーと、時間情報との対応付け等を含む時間属性定義の情報を格納している。
換言すると、記憶部３８は、３Ｄオブジェクト（３Ｄモデル）を３次元データＤＢ４０１に、文書データ（２次元）を文書データＤＢ４０２に、時間属性定義（４次元）の情報を時間属性定義ＤＢ４０３に、夫々格納している。
ここで、３Ｄオブジェクト（３Ｄモデル）については、最小モデル単位がレイヤーとされている。文書データについては、ファイル単位がレイヤーとされている。
そして、各レイヤーに対して、開始時刻と終了時刻により表される時間軸（期間）が、時間属性として定義される。これらの各レイヤー毎の定義の内容が、時間属性定義の情報とされている。
【0093】
処理部３０３は、後述の時間情報取得部３０２より指示された任意の時間軸（期間）又は時刻（例えば、２０１５年６月１５日 午前１０時１０分時点）に紐付けられた各レイヤーの情報を、３次元データＤＢ４０１及び時間属性定義ＤＢ４０３を検索して取得する。処理部３０３は、これらの各レイヤーを積層することで、３Ｄオブジェクトを生成する。処理部３０３は、仮想空間を構築し、上述の３Ｄオブジェクトを配置させる。
処理部３０３は、この仮想空間内に、３Ｄオブジェクトの他、上述のタイムスライダーＴ等各種各様な情報を配置させる。
【0094】
ここではさらに、処理部３０３は、会話の相手（例えば関係者Ｕａの立場では関係者Ｕｂ）のアバターを、仮想空間内の存在位置（実空間の所定場所に対応する位置）に配置させる。具体的には例えば、処理部３０３は、リモート環境下における仮想空間上にアバターを配置するため、次のような処理を実行する。
即ち、関係者Ｕｂ等の会話の相手のＨＭＤ２においては、存在位置を示す情報や当該存在位置における視点を特定するための情報、即ち、基準点からの位置、基準点からの高さ、首の傾き、視線等の情報が、アバター情報として取得されて、サーバ１に送信される。
ここで、基準点とは、関係者Ｕが装着するＨＭＤ２の仮想空間におけるアバターや３Ｄオブジェクトの配置の位置や情報を把握するための基準となる仮想空間上の基準の点である。
処理部３０３は、このアバター情報がサーバ１から送信されてくるので、通信部３９を介して取得する。処理部３０３は、このアバター情報に基づいて、関係者Ｕｂ等の会話の相手のアバターを仮想空間内に配置させる。
ここで、関係者Ｕｂ等の会話の相手のＨＭＤ２においても、仮想空間が構築されているので、当該仮想空間内に、ＨＭＤ２が装着された者（関係者Ｕａ等）のアバターを配置させる必要がある。そこで、処理部３０３は、センサ部３７からの情報等に基づいて、ＨＭＤ２が装着された者（関係者Ｕａ等）のアバター情報を生成し、通信部３９を介してサーバ１に送信させる。
【0095】
以上のように、処理部３０３では、コミュニケーションメニューに関する仮想空間上にアバタ―を配置するアバタ―配置処理を含む、各種処理を実行可能であり、これにより、ＨＭＤ２を利用する各関係者（例えば、ＵａとＵｂ）は、より円滑にコミュニケーションをとることができる。【0096】
時間情報取得部３０２は、任意の時間軸（時間）又は時刻に関する情報（以下、「指定時間情報」と呼ぶ）を、通信部３９を介して取得する。ここで、指定時間情報は、例えば、図示しないコントローラ３による操作のほか、サーバ１や、他のＨＭＤ２から、取得されてもよい。
さらに言えば、例えば、関係者Ｕａと関係者Ｕｂが取得される指定時間情報は、同一であってもよいし、必ずしも同一でなくともよい。関係者Ｕａと関係者Ｕｂに同一の指定時間情報を取得させる場合、例えば、マスタユーザ（例えば関係者Ｕａ）と従属ユーザ（例えば関係者Ｕｂ）を予め決めておき、マスタユーザのＨＭＤ２で取得された指定時間情報を、従属ユーザのＨＭＤ２でも取得されるものとしてもよい。
【0097】
表示制御部３０１は、３次元データ（例えば、オブジェクト）、２次元データ（例えば、文書データ）、アバター等を表示部３６に表示する制御を実行する。なお、表示制御部３０１は、表示部３６に表示するアバタ―について、単に表示する制御を実行するだけでなく、以下のように表示する制御を実行してもよい。
具体的に例えば、表示制御部３０１は、音声を発している関係者に対応するアバタ―を点滅して表示する制御を実行してもよい。
また、表示制御部３０１は、各関係者の氏名を、夫々の関係者に対応するアバタ―の頭上に表示する制御を実行してもよい。
また、例えば、表示制御部３０１は、各関係者の首の動きに連動してアバタ―の首を動かす制御を実行してもよい。
【0098】
図１９は、図１８の「コミュニケーションメニュー」を実現するための各種情報の送受信及びアバターの配置の条件を示す図である。ここで、「ローカル」とは、受信者及び送信者が直接コミュニケーションできる範囲に存在する場合をいう。具体的に例えば、受信者及び送信者が同じ会議室でＨＭＤ２を利用して会議を行っているような場合である。
「リモート」とは、受信者及び送信者が直接コミュニケーションできる範囲に存在しない場合をいう。具体的に例えば、遠隔地（東京と大阪等）で互いにＨＭＤ２を利用して会議を行っている場合である。
また、送信者とは、センサ部３７等で取得されたアバター情報等を送信する者をいい、受信者とは、送信者により受信されたアバター情報等を取得する者をいう。
【0099】
具体的には、以下の通りである。図１９に示すように、例えば、最上段の欄には、左から「ユーザの関係 送信者―受信者」、「位置」、「高さ」、「音声」、「操作」、「アバター表示」が表示されている。
最上段の「ユーザの関係 送信者―受信者」は、送信者と受信者の関係を示している。
具体的に例えば、左側が送信者を示し、右側が受信者を示しており、「ローカル―ローカル」は、送信者、受信者の両者がローカル環境にいる場合である。
また、最上段の「位置」は、送信者側が装着するＨＭＤ２のセンサ部３７で取得された基準点からの位置に関する情報である。
また、最上段の「高さ」は、送信者側が装着するＨＭＤ２のセンサ部３７で取得された基準点からの高さに関する情報である。
また、最上段の「音声」は、送信者側が装着するＨＭＤ２の音声入出力部４２で取得された音声情報である。
また、最上段の「操作」とは、例えば、送信者側のコントローラ３等によるタイムスライダー機能を用いた３Ｄオブジェクトを配置させるための時間情報の操作に関する情報（以下、「操作情報」という）である。
また、最上段の「アバター表示」は、送信者側のアバターを受信者に対して表示、即ち、アバターの配置をすることである。
ここで、「○」は、「位置」、「高さ」、「操作」の場合、送信者が上述の情報を送信すること、「音声」、「アバター表示」の場合、音声の出力、アバターの配置をすることを意味する。「×」は、「位置」、「高さ」、「操作」の場合、送信者が上述の情報を送信しないこと、「音声」、「アバター表示」の場合、音声の出力、アバターの配置をしないことを意味する。
（１）「ローカル―ローカル」の場合について。
送信者１名と１名以上の受信者の両者が共にローカル環境に存在する場合は、「位置」、「高さ」、「操作」の欄が「○」となっており、送信者は、基準点からの位置、高さに関する情報、操作情報を送信する。一方、「音声」、及び「アバター表示」の欄は、「×」となっており、音声情報の出力、アバターの配置を受信者に対して行わない。
これは、発信者と受信者が共にローカル環境に存在するため、発信者は、基準点からの位置、高さに関する情報を送信するものの、アバターを配置する必要がないからである。また、音声情報についても、発信者と受信者が共にローカル環境に存在するため、音声情報を受信者へ送信するものの、出力する必要はないためである。
これにより、（１）の場合、受信者が装着するＨＭＤ２には、３Ｄオブジェクトが配置され、送信者のアバターは配置されない。
（２）「リモート―ローカル」の場合について。
送信者１名がリモート環境に存在して、他方、１名以上の受信者がローカル環境に存在する場合は、「位置」、「高さ」、「音声」、「操作」及び「アバター表示」が「○」となっている。即ち、送信者が、基準点からの位置、高さに関する情報、音声情報、操作情報の送信、アバターの配置を受信者に対して行う。これにより、（２）の場合、受信者が装着するＨＭＤ２には、３Ｄオブジェクト及び送信者の音声の出力やアバターが配置される。
（３）「ローカル―リモート」の場合について。
送信者１名がローカル環境に存在して、他方、１名以上の受信者がリモート環境に存在する場合も、「位置」、「高さ」、「音声」、「操作」及び「アバター表示」が「○」となっている。即ち、上記（２）と同様に、送信者が上述の各種情報を受信者に対して送信、アバターの配置を行う。これにより、（３）の場合、（２）と同様、受信者が装着するＨＭＤ２には、３Ｄオブジェクト及び送信者の音声の出力やアバターが配置される。
【0100】
図２０は、既存の技術による同一空間における３Ｄオブジェクトの配置を示す図である。ここで、説明の便宜上、関係者Ｕａが装着するＨＭＤ２をＨＭＤ２−ａ、関係者Ｕｂが装着するＨＭＤ２をＨＭＤ２−ｂとして説明する。
【0101】
図２０に示すａ状況において、ここでは、例えば、関係者Ｕａは、東京本社のオフィス等の所定の空間（ローカル環境又はリモート環境）に存在する。図２０に示すａ状況では、関係者Ｕａは、上述の所定の空間で、関係者Ｕａが装着するＨＭＤ２−ａの表示部３６で表示される仮想空間上で３Ｄオブジェクトを視認できる。
ここで、図２０に示すａ状況における基準点Ａは、関係者Ｕａが装着するＨＭＤ２−ａの仮想空間におけるアバターや３Ｄオブジェクトの配置の位置や情報を把握するための基準となる仮想空間上の基準の点である。そして、関係者Ｕａが基準点Ａを設定することで、仮想空間上で基準点Ａは固定されるので、図２０に示すａ状況において、既存の技術では、基準点Ａを中心に、３Ｄオブジェクトを配置することができる。
ここで、基準点Ａの設定方法については、特に限定されず、具体的に例えば、関係者Ｕａは、ここでは図示しないコントローラ３等を用いて、仮想空間上で３Ｄオブジェクトを配置したい任意の位置を基準点として設定してもよい。
これにより、関係者Ｕａは、３Ｄオブジェクトを視認する際に、部屋の狭さ、広さに関係なく任意の位置を基準点として設定できるので、自分の見やすい位置に３Ｄオブジェクト等の配置が可能となる。
また、同様に、図２０に示すｂ状況において、ここでは、例えば、関係者Ｕｂは、大阪支社のオフィス等の、関係者Ｕａとは異なる所定の空間（以下、「遠隔地」と呼ぶ）に存在する。
図２０に示すｂ状況では、関係者Ｕｂは、例えば、上述の遠隔地で、関係者Ｕｂが装着するＨＭＤ２−ｂの表示部３６で表示される仮想空間上で３Ｄオブジェクトを視認できる。
ここで、図２０に示すｂ状況では、基準点Ａ´は、基準点Ａと同様に、関係者Ｕｂが装着するＨＭＤ２−ｂの仮想空間におけるアバターや３Ｄオブジェクトの配置の位置や情報を把握するための基準となる仮想空間上の基準の点である。そして、関係者Ｕｂが基準点Ａ´を設定することで、仮想空間上で基準点Ａ´は固定されるので、図２０に示すｂ状況において、既存の技術では、基準点Ａ´を中心に、３Ｄオブジェクトを配置することができる。基準点Ａ´の設定方法については、基準点Ａの設定方法と同様の方法で、関係者Ｕｂが設定を行うことができる。
これにより、関係者Ｕｂは、３Ｄオブジェクトを視認する際に、部屋の狭さ、広さに関係なく任意の位置を基準点として設定できるので、自分の見やすい位置に３Ｄオブジェクト等の配置が可能となる。
また、図２０に示すｃ状況において、ここでは、例えば、関係者Ｕａ及び関係者Ｕｂが同一の所定の空間に存在する。
そして、図２０に示すｃ状況において、関係者Ｕａ及び関係者Ｕｂが夫々装着するＨＭＤ２−ａ及び２−ｂの表示部３６で表示される仮想空間上で３Ｄオブジェクトを視認できる。
ここで、例えば、関係者Ｕａが装着するＨＭＤ２−ａ又は関係者Ｕｂが装着するＨＭＤ２−ｂは、関係者Ｕａが設定した基準点Ａと、関係者Ｕｂが設定した基準点Ａ´を同じ位置にすることができる。
これにより、既存の技術において、関係者Ｕａが設定した基準点Ａと、関係者Ｕｂが設定した基準点Ａ´を同じ位置にすることで、当該基準点Ａからの方向、距離を既存の技術のデバイスが認識し、同一の仮想空間上に３Ｄオブジェクト等の配置が可能となる。
これにより、図２０に示すｃ状況において、関係者Ｕａ及び関係者Ｕｂが夫々装着するＨＭＤ２−ａ及び２−ｂの仮想空間上に同一の３Ｄオブジェクトを配置して、関係者Ｕａは、当該３Ｄオブジェクトを、正面から視認することができ、関係者Ｕｂは、当該３Ｄオブジェクトを、裏面から視認することができる。
また、関係者Ｕａ及び関係者Ｕｂは、同一の仮想空間を共有することで同一の３Ｄオブジェクトを配置して、コミュニケーションを図ることができる。
【0103】
図２１に示すように、既存の技術では、同一の空間に、複数の関係者Ｕ（例えば、関係者Ｕａ及び関係者Ｕｂ）が存在する場合、関係者Ｕａ及び関係者Ｕｂは、自らが移動しながら上述の同一の仮想空間上で、同一の３Ｄオブジェクトを視認することができる。また、関係者Ｕａ及び関係者Ｕｂが夫々移動した場合でも上述の設定された基準点Ａは固定されているため、固定された基準点Ａに基づいて３Ｄオブジェクトが配置される。よって、関係者Ｕａ及び関係者Ｕｂは、自らが移動することで、同一の仮想空間上で同一の３Ｄオブジェクト等を様々な位置、角度で視認することができる。
【0104】
図２２は、リモートコミュニケーションを用いた別空間における関係者の移動に関する図である。リモートコミュニケーションとは、複数の関係者Ｕが夫々離れた距離にいる場合に、ＨＭＤ２を用いてサーバ１を介して複数人夫々で同一仮想空間内にて３Ｄオブジェクト、アバター等を配置させて会話、会議等を行うことである。
例えば、建設業務には、多数の関係者Ｕが関わっている。そのため、多数の関係者Ｕが作業工程等の認識の共有化を行うことは非常に重要である。そこで、上述のリモートコミュニケーションを用いて複数の関係者Ｕが同一の３Ｄオブジェクト等を仮想空間上で同時に参照、操作等を行いながら、工程毎の詳細な打ち合わせの他、現場の安全性の確認等が行える。
また、例えば関係者Ｕａは、遠隔地に存在する関係者ＵｂともネットワークＮを介し、同一の３Ｄオブジェクト等を配置しながら、お互いの位置や目線などを認識しながら会話、会議等を行うことができる。
なお、関係者Ｕａは、遠隔地に存在する関係者Ｕｂを仮想空間上にアバターＵｂ´として配置させることで、より現実に近いコミュニケーションが可能となる。
【0105】
図２２に示すように、ここでは、例えば、関係者Ｕａが東京本社のオフィス等に、関係者Ｕｂが、大阪支社のオフィス等の遠隔地に存在する場合である。そのため、関係者Ｕａは、関係者Ｕａが装着するＨＭＤ２−ａの仮想空間上で、３Ｄオブジェクト、遠隔地に存在する関係者ＵｂをアバターＵｂ´として視認する。
図２２の例では、関係者Ｕａが視認する３Ｄオブジェクト及び関係者ＵｂのアバターＵｂ´について説明する。
具体的に例えば、関係者Ｕａは、自らが移動しながら仮想空間上に表示された３Ｄオブジェクト、関係者ＵｂのアバターＵｂ´を視認することができる。また、関係者Ｕｂが装着するＨＭＤ２−ｂは、この関係者Ｕｂの動きに対応した関係者Ｕｂのアバター情報（基準点Ａからの位置や角度等）をセンサ部３７を介して取得する。そして取得された関係者Ｕｂのアバター情報を関係者Ｕａが装着するＨＭＤ２−ａに送信する。
関係者Ｕａが装着するＨＭＤ２−ａは、この関係者Ｕｂのアバター情報を取得して、その情報に基づいて、関係者Ｕｂに対応するアバターＵｂ´を配置（又は再配置）して、表示部３６に表示する。
つまり、このようなやりとりを行うことで、関係者Ｕａ及び関係者Ｕｂは、自身が装着する夫々のＨＭＤ２−ａ及び２−ｂにおいて、３Ｄオブジェクトからの位置関係等を反映したアバターＵａ´及びＵｂ´を視認することができるので、関係者Ｕａと関係者Ｕｂとが直接コミュニケーションをとることができないような離れた空間に夫々存在した場合であっても、ネットワークＮを通じて、同一の仮想空間内おいて、互いに連動した表現が可能となる。なお、図２３のについても同様である。
【0107】
図２３に示すように、図２２の例と同様に、関係者Ｕａが東京本社のオフィス等に、関係者Ｕｂが、大阪支社のオフィス等の遠隔地に存在する場合である。そのため、関係者Ｕｂは、関係者Ｕｂが装着するＨＭＤ２−ｂの仮想空間上で、３Ｄオブジェクト、東京本社のオフィス等に存在する関係者ＵａをアバターＵａ´として視認する。
図２３の例では、図２２の例とは異なり、関係者Ｕｂが視認する３Ｄオブジェクト及び関係者ＵａのアバターＵａ´について説明する。
具体的に例えば、図２２と同様に、関係者Ｕｂは、自らが移動しながら仮想空間上に表示された３Ｄオブジェクト、関係者ＵａのアバターＵａ´を視認することができる。また、関係者Ｕａが装着するＨＭＤ２−ａは、この関係者Ｕａの動きに対応した関係者Ｕａのアバター情報をセンサ部３７を介して取得する。そして取得されたアバター情報を関係者Ｕｂが装着するＨＭＤ２−ｂに送信する。
関係者Ｕｂが装着するＨＭＤ２−ｂは、この関係者Ｕａのアバター情報を取得して、その情報に基づいて、関係者Ｕａに対応するアバターＵａ´を配置（又は再配置）して、表示部３６に表示することができる。
【0108】
図２４は、図２２及び図２３のリモートコミュニケーションによるアバターの配置に関する図である。ここでは、アバターの音声発信者認識について、説明の便宜上、関係者Ｕを関係者Ｕａ、関係者Ｕｂ及び関係者Ｕｃの３名で説明を行う。
また、関係者Ｕａが装着するＨＭＤ２をＨＭＤ２−ａ、関係者Ｕｂが装着するＨＭＤ２をＨＭＤ２−ｂ、関係者Ｕｃが装着するＨＭＤ２をＨＭＤ２−ｃとして説明する。
【0109】
なお、前提として、図２４には図示せぬサーバ１は、ＨＭＤ２−ａ、ＨＭＤ２−ｂ、及びＨＭＤ２−ｃの夫々と通信をしており、各種情報を受持している。換言すると、ＨＭＤ２−ａ、ＨＭＤ２−ｂ、及びＨＭＤ２−ｃの夫々は、自身の位置を示す情報、アバター情報、音声情報等の相互に交換すべき情報（以下、「交換情報」と呼ぶ）を常にサーバ１を介して送受信している。そこで、ＨＭＤ２−ａ、ＨＭＤ２−ｂ、及びＨＭＤ２−ｃの夫々は、これらの交換情報に基づいて、次のような処理を行っている。
【0110】
図２４に示すａ状況においては、例えば関係者Ｕａ、関係者Ｕｂ及び関係者Ｕｃが、東京本社のオフィス等の同一の空間に存在するものとする。この場合、関係者Ｕａ、関係者Ｕｂ及び関係者Ｕｃの夫々は、実際の人物の存在を認識することができる。そこで、関係者Ｕａ乃至Ｕｃの夫々に装着される各ＨＭＤ２−ａ乃至２−ｃは、音声を出力せず、また、仮想空間上にアバターを配置させないようにすることができる。
仮想空間上のアバターの配置、音声の出力の有無について説明する。
【0111】
図１８では説明を省略したが、例えば、関係者Ｕａ乃至Ｕｃの夫々に装着される各ＨＭＤ２−ａ乃至２−ｃは、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）等を利用した自身の現在位置（例えば、上述の東京本社のオフィス）の情報を通知する機能を備えることができる。そこで、例えば関係者Ｕａが装着するＨＭＤ２−ａは、上述の現在位置の情報に加えて、アバター情報や音声情報等を交換情報として、サーバ１を介して、ＨＭＤ２−ｂ、２−ｃの夫々に送信する。
同様に、ＨＭＤ２−ｂは、交換情報を、サーバ１を介してＨＭＤ２−ａ、２−ｃの夫々に送信する。ＨＭＤ２−ｃは、交換情報を、サーバ１を介してＨＭＤ２−ａ、２−ｂの夫々に送信する。
このようにして、サーバ１は、各ＨＭＤ２−ａ乃至２−ｃの夫々の交換情報を取得することができるので、例えば各ＨＭＤ２−ａ乃至２−ｃの夫々の存在位置の情報に基づいて、関係者Ｕａ、関係者Ｕｂ及び関係者Ｕｃが一定の範囲内に存在すると判断する。即ち、サーバ１は、例えば、図１９に示す（１）「ローカル―ローカル」の場合と判断する。
そのため、関係者Ｕａが装着するＨＭＤ２−ａは、ＨＭＤ２−ｂ及び２−ｃからの交換情報（音声情報やアバター情報等）を受信しているものの、関係者Ｕｂ及び関係者Ｕｃの夫々の音声出力をせず、また、関係者ＵｂのアバターＵｂ´及び関係者ＵｃのアバターＵｃ´の配置をしない。
これにより、関係者Ｕａが装着するＨＭＤ２−ａの表示部３６に表示される仮想空間には、３Ｄオブジェクト等は配置されるが、関係者ＵｂのアバターＵｂ´及び関係者ＵｃのアバターＵｃ´は配置されず、音声入出力部４２から関係者Ｕｂ及び関係者Ｕｃの音声の出力もされない。
同様に、関係者Ｕｂが装着するＨＭＤ２−ｂは、ＨＭＤ２−ａ及び２−ｃからの交換情報（音声情報やアバター情報等）を受信しているものの、関係者Ｕａ及び関係者Ｕｃの夫々の音声出力をせず、また、関係者ＵａのアバターＵａ´及び関係者ＵｃのアバターＵｃ´の配置をしない。
これにより、関係者Ｕｂが装着するＨＭＤ２−ｂの表示部３６に表示される仮想空間には、３Ｄオブジェクト等は配置されるが、関係者ＵａのアバターＵａ´及び関係者ＵｃのアバターＵｃ´は配置されず、音声入出力部４２から関係者Ｕａ及び関係者Ｕｃの音声の出力もされない。
同様に、関係者Ｕｃが装着するＨＭＤ２−ｃは、ＨＭＤ２−ａ及び２−ｂからの交換情報（音声情報やアバター情報等）を受信しているものの、関係者Ｕａ及び関係者Ｕｂの夫々の音声出力をせず、また、関係者ＵａのアバターＵａ´及び関係者ＵｂのアバターＵｂ´の配置をしない。
これにより、関係者Ｕｃが装着するＨＭＤ２−ｃの表示部３６に表示される仮想空間には、３Ｄオブジェクト等は配置されるが、関係者ＵａのアバターＵａ´及び関係者ＵｂのアバターＵｂ´は配置されず、音声入出力部４２から関係者Ｕａ及び関係者Ｕｂの音声の出力もされない。
なお、上述の存在位置の情報は、ＧＰＳ機能に限られず、例えば、ビーコン等の機能による存在位置の取得、送信であってもよい。
【0112】
また、図２４に示すｂ状況の上側図においては、例えば、関係者Ｕａ及び関係者Ｕｃが東京本社のオフィス等の同一の空間に存在し、関係者Ｕｂが大阪支社のオフィス等の別の空間に存在するものとする。この場合、関係者Ｕａ及び関係者Ｕｃは、実際の関係者Ｕａ及び関係者Ｕｃの存在を認識することができる。しかし、関係者Ｕａ及び関係者Ｕｃは、実際の関係者Ｕｂの存在を認識することができない。そこで、関係者Ｕａ及び関係者Ｕｃの夫々が装着するＨＭＤ２−ａ及びＨＭＤ２−ｃは、関係者Ｕｂの音声を出力し、また、仮想空間上に関係者ＵｂのアバターＵｂ´を配置することができる。また、関係者Ｕａ及び関係者Ｕｃの夫々が装着する各ＨＭＤ２−ａ及びＨＭＤ２−ｃは、関係者Ｕａ及び関係者Ｕｃの音声を出力せず、また、仮想空間上に関係者ＵａのアバターＵａ´及び関係者ＵｃのアバターＵｃ´を配置させないようにすることができる。
ここで、仮想空間上のアバターの配置、音声の出力の有無について説明する。
例えば関係者Ｕａ及び関係者Ｕｃが装着するＨＭＤ２−ａ及びＨＭＤ２−ｃは、現在位置の情報に加えて、アバター情報や音声情報等を交換情報として、サーバ１を介して、ＨＭＤ２−ｂに送信する。
同様に、ＨＭＤ２−ｂは、交換情報を、サーバ１を介してＨＭＤ２−ａ、２−ｃの夫々に送信する。なお、ＨＭＤ２−ａとＨＭＤ２−ｃとの間においても、交換情報を、サーバ１を介して、相互に送信する。
このようにして、サーバ１は、各ＨＭＤ２−ａ乃至２−ｃの夫々の交換情報を取得することができるので、例えば各ＨＭＤ２−ａ乃至２−ｃの夫々の存在位置の情報に基づいて、関係者Ｕａ及び関係者Ｕｃが一定の範囲内に存在し、関係者Ｕｂが関係者Ｕａ及び関係者Ｕｃと一定の範囲外に存在すると判断する。即ち、サーバ１は、関係者Ｕａ及び関係者Ｕｃと、関係者Ｕｂの存在位置について、例えば、図１９に示す（２）「リモート―ローカル」、又は（３）「ローカル―リモート」の場合と判断する。
そのため、図２４に示すｂ状況の下側図のように、関係者Ｕａ及び関係者Ｕｃが装着するＨＭＤ２−ａ及びＨＭＤ２−ｃは、ＨＭＤ２−ｂからの交換情報（音声情報やアバター情報等）を受信して、関係者Ｕｂの音声を出力し、また、関係者ＵｂのアバターＵｂ´の配置をする。
これにより、関係者Ｕａ及び関係者Ｕｃが装着するＨＭＤ２−ａ及びＨＭＤ２−ｃの表示部３６に表示される仮想空間には、３Ｄオブジェクト等が配置される他、関係者ＵｂのアバターＵｂ´が配置され、音声入出力部４２から関係者Ｕｂの音声が出力される。
また、同様に、関係者Ｕｂが装着するＨＭＤ２−ｂは、ＨＭＤ２−ａ及びＨＭＤ２−ｃからの交換情報（音声情報やアバター情報等）を受信して、関係者Ｕａ及び関係者Ｕｃの音声を出力し、また、関係者Ｕａ及び関係者ＵｃのアバターＵａ´及びアバターＵｃ´の配置をする。
これにより、関係者Ｕｂが装着するＨＭＤ２−ｂの表示部３６に表示される仮想空間には、３Ｄオブジェクト等が配置される他、関係者Ｕａ及び関係者ＵｃのアバターＵａ´及びアバターＵｃ´が配置され、音声入出力部４２から関係者Ｕａ及び関係者Ｕｃの音声が出力される。
なお、同一の空間に存在する関係者Ｕａ及び関係者Ｕｃが装着するＨＭＤ２−ａ及びＨＭＤ２−ｃでは、表示部３６に表示される仮想空間には、関係者ＵａのアバターＵａ´及び関係者ＵｃのアバターＵｃ´は配置されず、音声入出力部４２から関係者Ｕａ及び関係者Ｕｃの音声の出力もされない。
【0113】
図２４に示すｃ状況では、関係者Ｕａ、関係者Ｕｂ及び関係者Ｕｃと、夫々のアバターとの関係が示されている。ここで、図２４に示すｃ状況の上側図では、リモートコミュニケーションを行う複数の関係者Ｕの数と、複数の関係者のアバターＵ´の数は同一である。
例えば関係者Ｕａ乃至Ｕｃの夫々が装着する各ＨＭＤ２−ａ乃至２−ｃは、受信したアバター情報を基に、同一の空間にいない関係者Ｕａ乃至ＵｃのアバターＵａ´乃至Ｕｃ´を仮想空間上に配置する。
即ち、関係者Ｕａ乃至Ｕｃの夫々が装着する各ＨＭＤ２−ａ乃至２−ｃの表示部３６で表示される仮想空間上でアバターとして配置され、音声入出力部４２から音声が出力されるため、関係者Ｕａ、関係者Ｕｂ及び関係者Ｕｃは、同一の空間に存在するかのようにお互いを認識することができる。
また、図２４に示すｃ状況の下側図では、例えば、関係者Ｕｂ及び関係者Ｕｃが移動することにより位置が入れ替わった場合、関係者Ｕａが視認できる仮想空間上の関係者ＵｂのアバターＵｂ´の配置も入れ替わるものである。
つまり、関係者ＵａのＨＭＤ２−ａの処理部３０３は、通信部３９を介して移動後の関係者Ｕｂに対応する関係者Ｕｂのアバター情報を取得、当該アバター情報から表示部３６で表示される仮想空間上でアバターの配置の位置を変化させることができる。したがって、関係者Ｕｂの移動により関係者ＵｂのアバターＵｂ´の配置の位置が変化する。
これにより、関係者Ｕｂ及び関係者Ｕｃが移動し、夫々の位置が変わったとしても、関係者Ｕａは、夫々の位置が変わったことを認識することができる。
【0114】
図２５は、本発明の一実施形態に係る情報システムが実現可能な機能のうち、コミュニケーション時の音声発信者の認識時の一例を示す図である。【0115】
図２５では、関係者Ｕａが装着するＨＭＤ２−ａの表示部３６で表示される仮想空間上に、関係者Ｕｂ及び関係者ＵｃのアバターＵｂ´及びＵｃ´が、配置されている。図２５に示すように、関係者Ｕａが装着するＨＭＤ２−ａの表示部３６で表示される仮想空間で配置されるアバターが複数である場合、当該アバターの視認だけでは、関係者Ｕａは、どの関係者Ｕが発言したのか特定することは困難である。
そこで、関係者Ｕｂが音声を発する者（以下、「音声発信者」と呼ぶ。）である場合は、例えば、関係者ＵｂのアバターＵｂ´と仮想空間上との境目（際、淵を含む。）をアバターの点滅や色彩等を変化させる。
アバターの点滅や色彩等を変化させる方法として、具体的に例えば、関係者Ｕａが装着するＨＭＤ２−ａは、関係者Ｕｂの音声情報を、サーバ１を介して取得し、当該音声情報を取得している間は、関係者ＵｂのアバターＵｂ´を点滅や色彩等を変化させることができる。
即ち、関係者Ｕｂから音声が発せられると、当該音声は、関係者Ｕｂが装着するＨＭＤ２−ｂの音声入出力部４２において入力、音声情報に変換されて、関係者Ｕｂの音声を音声情報として取得される。上述の音声情報は、ネットワークＮ、サーバ１を介して、関係者Ｕａの装着するＨＭＤ２−ａの処理部３０３に送信される。そして、例えば、関係者Ｕａの装着するＨＭＤ２−ａの表示制御部３０１は、音声情報を取得したことを条件として、関係者Ｕｂのアバターを点滅等させるための制御をする。そして、上述の関係者Ｕｂのアバターを関係者ＵａのＨＭＤ２−ａの表示部３６に表示させることができる。
これにより、関係者Ｕａは、関係者ＵｂのアバターＵｂ´を点滅や色彩が変化していることを視認できるので、関係者Ｕｂが音声発信者であることを特定することができる。
これにより、関係者Ｕａは、どの関係者Ｕが発言をしているのか仮想空間のアバターで認識することができ、円滑にコミュニケーションをとることができる。また、アバターにおいて、関係者の氏名、名称等が表示することも可能であり、誰が発言しているのか認識することができ、より円滑にコミュニケーションをとることができる。
【0117】
図２６は、異なる２以上の実空間に関係者が存在する場合の図である。図２６の例では、東京本社のオフィス等の実空間ＲＡ１には、関係者Ｕａが存在しており、大阪支社のオフィス等の実空間ＲＡ２には、関係者Ｕｂと関係者Ｕｃとが存在している。
図２６に図示はしないが、関係者Ｕａ乃至Ｕｃの夫々は、ＨＭＤ２を夫々装着している。サーバ１は、関係者Ｕａ乃至Ｕｃの夫々に装着される各ＨＭＤ２−ａ乃至２−ｃをネットワークＮを介して制御する。例えば関係者Ｕａに装着されるＨＭＤ２−ａからは、関係者Ｕａの音声情報とアバター情報が送信されてくるので、サーバ１は、関係者Ｕａの音声情報とアバター情報を、他の関係者Ｕ（図２６の例では関係者Ｕｂと関係者Ｕｃ）の各ＨＭＤ２−ｂ及び２−ｃの夫々に送信する。その他の関係者Ｕｂと関係者Ｕｃの各アバター情報と音声情報も同様に、他の関係者Ｕの各ＨＭＤ２に送信される。このようにして、関係者Ｕａ乃至Ｕｃの各アバター情報と各音声情報は、関係者Ｕａ乃至Ｕｃの夫々に装着された各ＨＭＤ２−ａ乃至２−ｃにおいて共有される。
ここで、図２６に示すように、共有されるアバター情報は、仮想空間内におけるアバターについての、基準点からの位置（Ｘ，Ｙ座標）と、基準点からの高さ（Ｚ座標）と、首の向き（上下左右方向）と、視線（ポインター）とを含む。音声情報は、音声（マイク入力）のデータを含む。
なお、上述の基準点からの位置に関する情報は、例えば、実空間上において予め定められた位置からＨＭＤ２までの相対的な距離を座標（Ｘ、Ｙ、Ｚ）として表した情報である。具体的には、上述の位置情報は、実空間上の基準点からＨＭＤ２までの位置を座標（Ｘ、Ｙ）、実空間上の基準点からＨＭＤ２までの高さを座標（Ｚ）とする情報である。
即ち、ＨＭＤ２のセンサ部３７部は、実空間上の基準点からＨＭＤまでの相対的な距離（実空間上で取得された座標位置）に基づいて、仮想空間内の上述の座標に対応する位置にアバターを配置する。
また、首の向きは、ＨＭＤ２のセンサ部３７（例えば加速度センサ）によるＨＭＤ２の傾きに関する情報である。即ち、センサ部３７は、ＨＭＤ２の夫々を使用する関係者の首が上下左右に傾いた場合、その動きに対応した傾きに関する値を取得する。
図２６の例では、実空間ＲＡ１に存在する関係者Ｕａが装着するＨＭＤ２−ａと、実空間ＲＡ２に存在する関係者Ｕｂと関係者Ｕｃが装着するＨＭＤ２−ｂ及び２−ｃの夫々において、上述の各種情報をネットワークＮを介して共有することができる。これによりＨＭＤ２−ａ乃至２−ｃの夫々は、仮想空間内に夫々の関係者の位置等に対応したアバタ―を配置することができる。
【0118】
次に、基準点と取得する各種情報との関係について、図２７を参照しつつ、より詳細に説明する。図２７は、実空間ＲＡ１の関係者Ｕａから見た場合の表示オブジェクトに関する図である。図２７の例では、図２６の例と同様に、実空間ＲＡ１に関係者Ｕａのみが存在し、実空間ＲＡ２には関係者Ｕｂ及びＵｃが存在するものとする。
図２７を見ると、３Ｄオブジェクトの相対位置が（ｘ：−１,ｙ：１）、アバターＵｂ´の相対位置が（ｘ：０,ｙ：−３）、アバターＵｃ´の相対位置が（ｘ：３,ｙ：−３）である旨が示されている。
即ち、３Ｄオブジェクト、アバターＵｂ´、アバターＵｃ´を配置すべき仮想空間内の（設定された基準点からの）位置が、夫々の相対位置であることを示している。ここで、上述の通り、アバターＵｂ´及びアバターＵｃ´を配置すべき仮想空間内の位置は、実空間ＲＡ２に存在する関係者Ｕｂ及び関係者Ｕｃの（設定された基準点からの）位置に基づいて定められる。
ここで、前提として、関係者Ｕａ乃至Ｕｃが装着するＨＭＤ２−ａ乃至２−ｃには、基準点からの相対位置が（ｘ：−１,ｙ：１）の位置に３Ｄオブジェクトが共通して表示される。そして、例えば、関係者Ｕｂは、このようにして表示された３Ｄオブジェクトを任意の位置及び角度から視認する。関係者Ｕｂが装着するＨＭＤ２−ｂは、上述の通り、このような関係者Ｕｂの動きに対応する位置情報等をネットワークを介して、関係者Ｕａの装着するＨＭＤ２−ａ等に送信することで、関係者Ｕｂの相対位置等アバター情報等を共有することができる。
そして、関係者Ｕａの装着するＨＭＤ２−ａでは、共有された関係者Ｕｂの相対位置に基づいて、仮想空間内の所定の位置にアバターＵｂ´を配置する。
【0119】
また、図２７と同様に、基準点と取得する各種情報との関係について、図２８を参照しつつ、詳細に説明する。図２８は、実空間ＲＡ２の関係者Ｕｂ及び関係者Ｕｃから見た場合の表示オブジェクトに関する図である。図２８の例では、図２６の例と同様に、実空間ＲＡ１に関係者Ｕａのみが存在し、実空間ＲＡ２には関係者Ｕｂ及びＵｃが存在するものとする。
図２８を見ると、３Ｄオブジェクトの相対位置が（ｘ：−１,ｙ：１）、アバターＵａ´の相対位置が（ｘ：−３,ｙ：−３）である旨が示されている。
即ち、３Ｄオブジェクト、アバターＵａ´を配置すべき仮想空間内の（設定された基準点からの）位置が、夫々の相対位置であることを示している。ここで、上述の通り、アバターＵａ´を配置すべき仮想空間内の位置は、実空間ＲＡ１に存在する関係者Ｕａの（設定された基準点からの）位置に基づいて定められる。
ここで、前提として、関係者Ｕａ乃至Ｕｃが装着するＨＭＤ２−ａ乃至２−ｃには、基準点からの相対位置が（ｘ：−１,ｙ：１）の位置に３Ｄオブジェクトが共通して表示される。そして、例えば、関係者Ｕｂは、このようにして表示された３Ｄオブジェクトを任意の位置及び角度から視認する。関係者Ｕｂが装着するＨＭＤ２−ｂは、上述の通り、このような関係者Ｕｂの動きに対応する位置情報等をネットワークを介して、関係者Ｕａの装着するＨＭＤ２−ａ等に送信することで、関係者Ｕｂの相対位置等アバター情報等を共有することができる。
そして、関係者Ｕｂ及び関係者Ｕｃの装着するＨＭＤ２−ｂ及び２−ｃの夫々では、共有された関係者Ｕａの相対位置に基づいて、仮想空間内の所定の位置にアバターＵａ´を配置する。
【0120】
また例えば、上述の実施形態（特に図１乃至図８で示した実施形態）では、仮想空間内に配置されるオブジェクトとして３Ｄオブジェクト若しくは３Ｄモデルを採用して説明を行ったが、特にこれに限定されない。即ち、オブジェクトとは、３Ｄで構成されたオブジェクトに限られず、例えば、２Ｄ（平面上）で構成されたオブジェクトを採用してもよい。
【0121】
また例えば、上述の実施形態（特に図１７、図２２乃至図２８で示した実施形態）では、仮想空間内にアバターや３Ｄオブジェクトを配置して、コミュニケーションを行っているが、特にこれに限定されない。即ち、アバターや３Ｄオブジェクトに限らず、例えば、必要な資料データや文書データ等を仮想空間上に配置してもよい。
ここで、関係者Ｕが装着するＨＭＤ２は、上述のリモートコミュニケーションに必要な資料データや文書データを、電子データとして文書データＤＢ４０２に格納することができる。そして、関係者Ｕが装着するＨＭＤ２は、文書データＤＢ４０２から仮想空間上に配置したい文書データを抽出する。関係者Ｕが装着するＨＭＤ２は、仮想空間上に、上述の文書データを、他の関係者ＵのアバターＵ´や３Ｄオブジェクトと共に表示できる。これにより、関係者Ｕは、３Ｄオブジェクトや必要なデータ等を同一の仮想空間上で可視化することで、広いスペ−スを使用した確認や協議を行うことができる。
【0122】
また例えば、上述の実施形態において、本サービスとして、所定の建設事業についての関係者が、当該建設事業で対象となる建造物について施工状態や完成時の状況等を疑似体験しながら、各種施工工程の確認をすることができるサービスを一例としてあげて説明しているが、特にこれに限定されない。即ち、本発明の一実施形態に係る情報処理システムは、例えば、建設事業だけでなく、製造業、サービス業等、金融業等を含む産業等、適用可能なあらゆる場面で適用することが可能である。【0123】
また例えば、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。換言すると、図７及び図１８の機能的構成は例示に過ぎず、特に限定されない。
即ち、上述した一連の処理を全体として実行できる機能が情報処理システムに備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図２の例に限定されない。また、機能ブロックの存在場所も、図７及び図１８に特に限定されず、任意でよい。
具体的に例えば、図１８の記憶部３８に格納された３次元データＤＢ４０１、文書データＤＢ４０２、時間属性定義ＤＢ４０３をサーバ１の記憶部１８に格納してもよい。また、処理部３０３をサーバ１に存在させてもよい。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
【0124】
また例えば、一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。コンピュータは、専用のハードウェアに組み込まれているコンピュータであっても良い。
また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えばサーバの他汎用のスマートフォンやパーソナルコンピュータであってもよい。
【0125】
また例えば、このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図示せぬリムーバブルメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。【0126】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。また、本明細書において、システムの用語は、複数の装置や複数の手段等より構成される全体的な装置を意味するものとする。
【符号の説明】
【0127】
１・・・サーバ、２・・・ＨＭＤ、３・・・コントローラ、１１・・・ＣＰＵ、１８・・・記憶部、３６・・・表示部、３７・・・センサ部、４２・・・音声入出力部、１００・・・時間情報取得部、１０１・・・オブジェクト配置部、１０２・・・視点情報取得部、１０３・・・視点管理部、１０４・・・仮想空間構築部、１０５・・・表示画像生成部、１０６・・・表示制御部、３０３・・・処理部、４０１・・・３次元データＤＢ、４０２・・・文書データＤＢ、４０３・・・時間属性定義ＤＢ、５００・・・オブジェクトＤＢ