知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2025-03-07
(45)【発行日】2025-03-17
(54)【発明の名称】仮想空間の更新方法及びサーバ装置
(51)【国際特許分類】
G06T 19/00 20110101AFI20250310BHJP
H04L 67/131 20220101ALI20250310BHJP
【ＦＩ】
G06T19/00 A
G06T19/00 600
H04L67/131
【請求項の数】
13
(21)【出願番号】P 2024130245
(22)【出願日】2024-08-06
(62)【分割の表示】P 2023207268の分割
【原出願日】2023-12-07
【審査請求日】2024-08-19
【早期審査対象出願】
(73)【特許権者】
【識別番号】523463373
【氏名又は名称】アセンブラ合同会社
(74)【代理人】
【識別番号】100183564
【弁理士】
【氏名又は名称】西村 伸也
(72)【発明者】
【氏名】太田 裕之
【審査官】鈴木 明
(56)【参考文献】
【文献】特許第７３００２２０（ＪＰ，Ｂ１）
【文献】国際公開第２０２３／１５２９７６（ＷＯ，Ａ１）
【文献】特開２０１６－１２２２７７（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ １９／００
Ｈ０４Ｌ ６７／１３１
(57)【特許請求の範囲】
【請求項1】
更新部を備えるサーバ装置と、位置情報取得部、画像情報取得部及び距離情報取得部を備えると共に現実空間のイベントエリアを訪問する訪問者の保持する訪問者端末とにより実行され、前記現実空間の位置に対応する座標を有する仮想空間の空間データを更新する方法であって、前記訪問者端末と通信可能に接続され、前記仮想空間を訪問する仮想訪問者の保持する仮想訪問者端末の表示部に更新された前記仮想空間の前記イベントエリアが表示されるものであり、
前記訪問者端末が、前記位置情報取得部が取得する時刻情報と位置情報とからなる時空間情報、前記画像情報取得部が取得する前記時空間情報に対応する画像情報及び前記距離情報取得部が取得する前記訪問者端末から前記画像情報に対応する対象物までの距離情報からなる現地情報を取得するステップと、
前記更新部が、前記空間データのうち前記現地情報に対応する前記空間データを、前記現地情報に基づいて更新するステップとからなる、仮想空間の更新方法。
【請求項2】
前記距離情報取得部は、Ｌｉｄａｒセンサを用いて前記距離情報を取得する、請求項１記載の仮想空間の更新方法。
【請求項3】
前記サーバ装置が判定部を備えており、前記判定部が、前記現地情報に対応する前記空間データと既存の空間データとに差異があるかないかを判定するステップを備えており、前記差異がある場合に、前記既存の空間データの前記差異のある部分を更新する、請求項１又は２記載の仮想空間の更新方法。
【請求項4】
更新部及び調整部を備えるサーバ装置と、位置情報取得部、画像情報取得部及び距離情報取得部を備えると共に現実空間の訪問者の保持する訪問者端末とにより実行され、前記現実空間の位置に対応する座標を有する仮想空間の空間データを更新する方法であって、
前記訪問者端末が、前記位置情報取得部が取得する時刻情報と位置情報とからなる時空間情報、前記画像情報取得部が取得する前記時空間情報に対応する画像情報及び前記距離情報取得部が取得する前記訪問者端末から前記画像情報に対応する対象物までの距離情報からなる現地情報を取得するステップと、
前記更新部が、前記現地情報に基づいて、前記空間データを更新するステップと、
前記調整部が、前記現地情報を取得するステップの前に、前記サーバ装置の処理速度に関する処理情報および／または前記サーバ装置と前記訪問者端末の間の通信速度に関する通信情報が低下すると、前記距離情報取得部で取得すべき距離および／または前記距離情報を取得する範囲を減じる調整をする調整ステップとを備えている、仮想空間の更新方法。
【請求項5】
前記空間データが、前記現実空間に設置されている周辺カメラにより、所定時刻毎に更新される、請求項１又は２記載の仮想空間の更新方法。
【請求項6】
前記周辺カメラは、Ｌｉｄａｒセンサを用いて、前記空間データを更新する、請求項５記載の仮想空間の更新方法。
【請求項7】
現実空間の位置に対応する座標を有する仮想空間の空間データを更新するサーバ装置であって、前記現実空間のイベントエリアの訪問者の保持する訪問者端末から得られる、時刻情報と位置情報とからなる時空間情報、前記時空間情報に対応する画像情報及び前記訪問者端末から前記画像情報に対応する対象物までの距離情報からなる現地情報を取得する現地情報取得部と、
前記空間データのうち前記現地情報に対応する空間データを、前記現地情報に基づいて更新する更新部とからなり、
前記訪問者端末と通信可能に接続され、前記仮想空間を訪問する仮想訪問者の保持する仮想訪問者端末の表示部に更新された前記仮想空間の前記イベントエリアが表示されるものである、サーバ装置。
【請求項8】
前記距離情報は、Ｌｉｄａｒセンサを用いて取得される、請求項７記載のサーバ装置。
【請求項9】
前記現地情報に対応する前記空間データと既存の空間データとに差異があるかないかを判定する判定部を備えており、前記差異がある場合に、前記既存の空間データの前記差異のある部分を更新する、請求項７又は８記載のサーバ装置。
【請求項10】
現実空間の位置に対応する座標を有する仮想空間の空間データを更新するサーバ装置であって、前記現実空間の訪問者の保持する訪問者端末から得られる、時刻情報と位置情報とからなる時空間情報、前記時空間情報に対応する画像情報及び前記訪問者端末から前記画像情報に対応する対象物までの距離情報からなる現地情報を取得する現地情報取得部と、
前記現地情報に基づいて、前記空間データを更新する更新部と、
自身の処理速度に関する処理情報および／または訪問者端末との間の通信速度に関する通信情報が低下すると、前記訪問者端末の距離情報取得部で取得すべき距離および／または前記距離情報を取得する範囲を減じる調整をする調整部とを備えている、サーバ装置。
【請求項11】
前記空間データは、前記現実空間に設置されている周辺カメラにより、所定時刻毎に更新される、請求項７又は８記載のサーバ装置。
【請求項12】
前記周辺カメラは、Ｌｉｄａｒセンサを用いて、前記空間データを更新する、請求項１１記載のサーバ装置。
【請求項13】
サーバ装置と、現実空間のイベントエリアを訪問する訪問者の保持する訪問者端末と、仮想空間を訪問する仮想訪問者の保持する仮想訪問者端末とを備えており、前記現実空間の位置に対応する座標を有する前記仮想空間の空間データを更新するシステムであって、前記訪問者端末が、時刻情報と位置情報とからなる時空間情報を取得する位置情報取得部、前記時空間情報に対応する画像情報を取得する画像情報取得部及び前記訪問者の訪問者端末から前記画像情報に対応する対象物までの距離情報を取得する距離情報取得部を備えており、
前記サーバ装置が、前記空間データのうち、前記時空間情報、画像情報及び距離情報からなる現地情報に対応する空間データを、前記現地情報に基づいて更新する更新部を備えており、
前記仮想訪問者端末が、前記訪問者端末と通信可能に接続され、更新された前記仮想空間の前記イベントエリアを表示する表示部を備えている、システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、現実空間を訪問する訪問者と仮想空間を訪問する仮想訪問者とが、仮想空間を介して交流するための仮想空間の空間データに関するものである。
【背景技術】
【0002】
近年、仮想空間を用いた多くの技術が開発されている。それらの技術は、仮想空間を介してユーザに新たな体験を提供している。また、例えば、デジタルツインと呼ばれる技術では、現実空間の情報を取得し、現実空間の環境を再現し、現実世界と対になる仮想空間を構築している。
【0003】
特許文献１には、仮想空間の農園及び現実の農園を介するコミュニケーション方法に用いるサーバ装置が開示されている。
そのサーバ装置は、前記仮想空間の農園を訪問している仮想訪問者のユーザ端末に送信すべく、前記農園の訪問者又は前記仮想空間の農園の仮想訪問者を特定するための特定情報に基づいて、予め登録された人物情報を取得する人物情報取得手段と、前記仮想訪問者の操作に基づく前記仮想空間の農園を移動する視点画像を前記仮想訪問者のユーザ端末に送信する仮想空間処理手段と、前記訪問者の位置情報を取得する座標取得手段とを備えている。前記仮想空間処理手段は、前記位置情報に対応する前記仮想空間の農園における座標位置に、予め設定された前記訪問者のアバタ表示要素を表示する。
そのサーバ装置は、前記仮想空間の農園を訪問している仮想訪問者のユーザ端末に送信すべく、前記農園の訪問者又は前記仮想空間の農園の仮想訪問者を特定するための特定情報に基づいて、予め登録された人物情報を取得する人物情報取得手段と、前記仮想訪問者の操作に基づく前記仮想空間の農園を移動する視点画像を前記仮想訪問者のユーザ端末に送信する仮想空間処理手段と、前記訪問者の位置情報を取得する座標取得手段とを備えている。前記仮想空間処理手段は、前記位置情報に対応する前記仮想空間の農園における座標位置に、予め設定された前記訪問者のアバタ表示要素を表示する。
【先行技術文献】
【特許文献】
【0004】
【文献】特許第７３００２２０号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
デジタルツインでは、現実空間と対となる仮想空間が存在しているから、仮想空間において、現実空間の経時変化を取り込むのがよい。例えば、仮想農園／仮想イベント空間において、現実空間の訪問者と仮想空間の仮想訪問者とが同時に、同じ／類似する風景の中で、両者が同じ／または類似する体験を共有できると、両者の共感を促すことができる。しかし現実空間の全ての変化を仮想空間に取り込むのは煩雑であり、演算のためのサーバ装置の処理速度に限界があり、またそのデータを時間当たりに通信する量には限度がある。
【0006】
そこで本発明は、現実空間の訪問者と仮想空間の仮想訪問者とが前記仮想空間を介して交流する仮想空間の空間データを更新する方法及び仮想空間の空間データを更新するサーバ装置を提供することを課題とする。
【課題を解決するための手段】
【0007】
（１）本発明の仮想空間の更新方法は、サーバ装置及びユーザ端末で実行され、時刻情報および位置情報を取得する現実空間の訪問者のユーザ端末から得られる画像情報に基づいて、前記現実空間の位置に対応する座標を有する仮想空間の空間データを更新する方法であって、前記時空間情報、前記時空間情報に対応する前記画像情報及び前記画像情報に対応する対象物までの距離情報からなる現場情報を取得するステップと、前記時現場情報に基づいて、前記空間データを生成／更新するステップとからなることを特徴としている。
【0008】
（２）このような仮想空間の更新方法は、前記現場情報に対応する前記空間データとの間に所定の差異の有無を判定するステップを備えており、前記差異が有る場合に、前記空間データの前記差異のある部分を更新するのが好ましい。
【0009】
（３）また前記差異がない場合には更新しないのが好ましい。
【0010】
（４）また前記取得ステップの前に、前記サーバ装置の処理速度に関する処理情報および／または前記サーバ装置とユーザ端末の間の通信速度に関する通信情報に応じて、取得すべき前記距離情報の情報量を調整する調整ステップを備えているのが好ましい。
【0011】
（５）本発明の他の態様のサーバ装置は、時刻情報および位置情報を取得する現実空間の訪問者のユーザ端末から得られる画像情報に基づいて、前記現実空間の位置に対応する座標を有する仮想空間の空間データを更新するサーバ装置であって、前記時空間情報、前記時空間情報に対応する前記画像情報及び前記画像情報に対応する対象物までの距離情報からなる現地情報を取得する取得部と、前記時現地情報に基づいて、前記空間データを生成／更新する更新部とからなることを特徴としている。
【0012】
（６）このようなサーバ装置は、前記現場情報に対応する前記空間データとの間に所定の差異の有無を判定する判定部を備えており、前記差異が有る場合に、前記空間データの前記差異のある部分を更新するのが好ましい。
【0013】
（７）また前記差異がない場合には更新しないのが好ましい。
【0014】
（８）また前記サーバ装置の処理速度に関する処理情報および／または前記サーバ装置とユーザ端末の間の通信速度に関する通信情報に応じて、取得すべき前記距離情報の情報量を調整する調整部を備えているのが好ましい。
【0015】
・「位置情報」とは、実際のイベントエリアに訪問している訪問者のイベントエリア内における位置に関する情報であり、例えば、二次元又は三次元の点を示す座標や、平面又は空間などの所定の範囲を示す座標や、それらに換算できる量を含む概念である。例えば、緯度、経度で表される情報、またさらには高度を加えて表される情報であってもよい。さらに「位置情報」は、例えば、緯度、経度、高度に換算できる別の指標値で表される情報であってもよい。
また訪問する場所が農園の場合は、実際の農園に訪問している訪問者の農場内における位置に関する情報であり、例えば、二次元又は三次元の点を示す座標や、平面又は空間などの所定の範囲を示す座標や、それらに換算できる量を含む概念である。
・「時刻情報」とは、位置情報が特定された時刻を示す情報である。また「時刻情報」は、日本の時刻でも、海外の時刻でも、基準となる時刻に対する時刻経過でもよい。さらに「時刻情報」は、例えば、時刻や、基準となる時刻に対する時刻経過に換算できる別の指標値で表される情報であってもよい。
・「画像情報」とは、ユーザ端末で撮影された画像や動画のデータであり、それらに換算できるデータを含む概念である。
・「距離情報」とは、ユーザ端末から画像情報で撮影された箇所までの距離に関する情報であり、それらに換算できる量を含む概念である。
・「座標位置情報」とは、仮想空間における二次元又は三次元の点を示す座標や、平面又は空間などの所定の範囲を示す座標であり、それらに換算できる量を含む概念である。
・「処理情報」とは、サーバ装置の処理速度に関する処理情報である。処理情報は、サーバ装置のＣＰＵの性能、メモリの空き容量、ハードディスクの読み書きの速度、サーバ装置の混雑度合い（収容人数・負荷）、ＰＨＰ（Ｈｙｐｅｒｔｅｘｔ Ｐｒｅｐｒｏｃｅｓｓｏｒ）の処理方法などにより影響を受ける。
・「通信情報」とは、サーバ装置とユーザ端末の間の通信速度に関する通信情報である。
また訪問する場所が農園の場合は、実際の農園に訪問している訪問者の農場内における位置に関する情報であり、例えば、二次元又は三次元の点を示す座標や、平面又は空間などの所定の範囲を示す座標や、それらに換算できる量を含む概念である。
・「時刻情報」とは、位置情報が特定された時刻を示す情報である。また「時刻情報」は、日本の時刻でも、海外の時刻でも、基準となる時刻に対する時刻経過でもよい。さらに「時刻情報」は、例えば、時刻や、基準となる時刻に対する時刻経過に換算できる別の指標値で表される情報であってもよい。
・「画像情報」とは、ユーザ端末で撮影された画像や動画のデータであり、それらに換算できるデータを含む概念である。
・「距離情報」とは、ユーザ端末から画像情報で撮影された箇所までの距離に関する情報であり、それらに換算できる量を含む概念である。
・「座標位置情報」とは、仮想空間における二次元又は三次元の点を示す座標や、平面又は空間などの所定の範囲を示す座標であり、それらに換算できる量を含む概念である。
・「処理情報」とは、サーバ装置の処理速度に関する処理情報である。処理情報は、サーバ装置のＣＰＵの性能、メモリの空き容量、ハードディスクの読み書きの速度、サーバ装置の混雑度合い（収容人数・負荷）、ＰＨＰ（Ｈｙｐｅｒｔｅｘｔ Ｐｒｅｐｒｏｃｅｓｓｏｒ）の処理方法などにより影響を受ける。
・「通信情報」とは、サーバ装置とユーザ端末の間の通信速度に関する通信情報である。
【発明の効果】
【0016】
容易に仮想空間の空間データを更新することができる。
【図面の簡単な説明】
【0017】
【図1】仮想空間の更新システムの概略を示す模式図である。
【図2】仮想空間の更新システムを示す機能ブロック図である。
【図3】訪問者及び仮想訪問者のユーザ端末の画面表示の様子を示す概略図である。
【図4】サーバ装置のハードウェア構成の一例を示す概略図である。
【図5】ユーザ端末のハードウェア構成の一例を示す概略図である。
【図6】ヘッドマウントディスプレイユニットのハードウェア構成の一例を示す概略図である。
【図7】更新処理の流れを示す一実施形態を示すフローチャートである。
【図8】調整量データベースのデータ構造を示す
【図9】空間データの差異を示す概略図である。
【発明を実施するための形態】
【0018】
［１．概要］
本実施形態に係る仮想空間の更新システムは、デジタルツインの環境において、現実空間の変化を仮想空間の空間データに反映（更新）させるものである。予め記録された空間データではなく、いまその場で起こっている現象を現実の訪問者の力を借りて、仮想訪問者に体験させる。
具体的には、現実空間の訪問者のユーザ端末から得られる現地情報、すなわち時空間情報（時刻情報及び位置情報）、画像情報及びユーザ端末から画像情報の対象物までの距離情報に基づき、空間データを更新する。
その際に、訪問者の現地情報で全てを更新すると、データ量および演算量が増大する。このため更新すべき情報量としての深度や範囲を絞る。その絞る程度は、サーバ装置・システムの演算能力・通信速度のそれぞれ応じて調整する。
仮に情報量を絞ったとしても、現実空間の複数の訪問者による、更新すべき範囲の部分的、且つ、連続的な更新により、仮想訪問者の手元の必要な部分のリアルタイム性と空間全体の概ねのイメージの合成により、デジタルツインにおける実用的な仮想空間を構成できる。
本実施形態に係る仮想空間の更新システムは、デジタルツインの環境において、現実空間の変化を仮想空間の空間データに反映（更新）させるものである。予め記録された空間データではなく、いまその場で起こっている現象を現実の訪問者の力を借りて、仮想訪問者に体験させる。
具体的には、現実空間の訪問者のユーザ端末から得られる現地情報、すなわち時空間情報（時刻情報及び位置情報）、画像情報及びユーザ端末から画像情報の対象物までの距離情報に基づき、空間データを更新する。
その際に、訪問者の現地情報で全てを更新すると、データ量および演算量が増大する。このため更新すべき情報量としての深度や範囲を絞る。その絞る程度は、サーバ装置・システムの演算能力・通信速度のそれぞれ応じて調整する。
仮に情報量を絞ったとしても、現実空間の複数の訪問者による、更新すべき範囲の部分的、且つ、連続的な更新により、仮想訪問者の手元の必要な部分のリアルタイム性と空間全体の概ねのイメージの合成により、デジタルツインにおける実用的な仮想空間を構成できる。
【0019】
また、現実空間の訪問者が注目すべき現地情報は、特定の場所・時刻に集中する傾向にある。このため、空間データの全部を更新しなくても、効率的に空間データを更新できる。
【0020】
仮想空間の更新システムは、例えば、観光地の朝市、漁港に帰ってきた船から水揚げされた魚、青空市場、骨とう品や中古の衣料、雑貨販売店など、その場限りで現品のみのもの、あるいは、バナナのたたき売りのような、売り手と買い手の交渉がひとつの体験として価値があるものを対象にするのがよい。その他、オーロラやブリザードなど、仮想訪問者が観光として体験することができる。
【0021】
［２．概要説明］
（仮想空間の更新システム１０の概要）
まず、図１を用いて仮想空間の更新システムの概略を説明する。図１に示す仮想空間の更新システム（以下システムという。）１０は、マーケット／朝市など（イベントエリア）１１を訪れる訪問者１２と、イベントエリア１１に訪れていない、例えば自宅にいる遠隔者１３との間で主に利用される。遠隔者１３としては、イベントエリア１１の撮像から形成した撮像空間又は前記撮像を模して形成した疑似空間の３次元空間データからなる仮想空間のイベントエリア１４（図３参照）に訪れる仮想訪問者１３を含んでいる。
（仮想空間の更新システム１０の概要）
まず、図１を用いて仮想空間の更新システムの概略を説明する。図１に示す仮想空間の更新システム（以下システムという。）１０は、マーケット／朝市など（イベントエリア）１１を訪れる訪問者１２と、イベントエリア１１に訪れていない、例えば自宅にいる遠隔者１３との間で主に利用される。遠隔者１３としては、イベントエリア１１の撮像から形成した撮像空間又は前記撮像を模して形成した疑似空間の３次元空間データからなる仮想空間のイベントエリア１４（図３参照）に訪れる仮想訪問者１３を含んでいる。
【0022】
仮想訪問者１３は、例えば、イベントに参加のため、イベントに出展するため、イベント関連商品１８を確認／購入するため、若しくは、他の参加者／出展者と交流するために、仮想空間のイベントエリア１４を訪問する。また仮想訪問者１３は、仮想空間のイベントエリア１４を訪問している他の仮想訪問者１３と交流することができる。
【0023】
イベント関連商品１８を販売する販売店は、例えば、イベントエリア１１や仮想空間のイベントエリア１４内の販売店を含み、道の駅、地域の商店、デパート、スーパーマーケット、コンビニエンスストアを含み、それらに換算できる概念である。
【0024】
（イベントエリア１１）
イベントエリア１１とは、特に限定されないが、一例を挙げると、特定のイベントが開催されるようなイベント会場を含み、屋外及び／又は屋内で催されるイベントのためのエリアである。イベント会場としては、例えば、街角、武道館、展示場、美術館、寺院、教会、遊園地、コンサートホール、体育館、学校、講堂、野球場、陸上競技場、公園、農園、農場、牧場、介護施設、ケア施設、病院などである。
イベントとしては、一例を挙げると、万博博覧会などの博覧会、展示会、販売会、物産展、会議、コンサート、演劇、音楽会、運動会、競技会、お祭り、花火大会、観光イベントなどである。イベントには観光も含まれる。
なお他の仮想空間のイベントエリアと連携することにより、他の仮想空間同士を行き来できる。
イベントエリア１１とは、特に限定されないが、一例を挙げると、特定のイベントが開催されるようなイベント会場を含み、屋外及び／又は屋内で催されるイベントのためのエリアである。イベント会場としては、例えば、街角、武道館、展示場、美術館、寺院、教会、遊園地、コンサートホール、体育館、学校、講堂、野球場、陸上競技場、公園、農園、農場、牧場、介護施設、ケア施設、病院などである。
イベントとしては、一例を挙げると、万博博覧会などの博覧会、展示会、販売会、物産展、会議、コンサート、演劇、音楽会、運動会、競技会、お祭り、花火大会、観光イベントなどである。イベントには観光も含まれる。
なお他の仮想空間のイベントエリアと連携することにより、他の仮想空間同士を行き来できる。
【0025】
（仮想空間のイベントエリア１４）
仮想空間のイベントエリア１４（図３参照）は、イベントエリア１１の撮像から形成した撮像空間又は前記撮像及び深度（距離情報９ａ）により演算して形成した疑似空間の３次元空間データからなる空間データである。
仮想空間のイベントエリア１４（図３参照）は、イベントエリア１１の撮像から形成した撮像空間又は前記撮像及び深度（距離情報９ａ）により演算して形成した疑似空間の３次元空間データからなる空間データである。
【0026】
【0027】
システム１０は、サーバ装置１と、仮想訪問者１３の保持するユーザ端末２６（以下、遠隔者端末／仮想訪問者端末という。）と、訪問者１２の保持するユーザ端末２７（以下、訪問者端末という。）とからなる。サーバ装置１、仮想訪問者端末２６及び訪問者端末２７は、インターネット（イントラネット）等の通信網１７（図１参照）を介して、それぞれ通信可能に接続されている。なお後述するが、符号２０はヘッドマウントディスプレイシステムである（図６参照）。
なお遠隔者１３は仮想空間のイベントエリア１４を訪問しないで、訪問者１２とテキスト情報で交流することもできる。
なお遠隔者１３は仮想空間のイベントエリア１４を訪問しないで、訪問者１２とテキスト情報で交流することもできる。
【0028】
（サーバ装置１）
サーバ装置１は、本実施形態においては、例えばパソコン（パーソナルコンピュータ）を用いている。サーバ装置１は、主として、調整部２、現地情報取得部３、判定部４、更新部５とを備えている。またサーバ装置１は、さらに仮想空間処理部６を備えている。
サーバ装置１は、本実施形態においては、例えばパソコン（パーソナルコンピュータ）を用いている。サーバ装置１は、主として、調整部２、現地情報取得部３、判定部４、更新部５とを備えている。またサーバ装置１は、さらに仮想空間処理部６を備えている。
【0029】
（仮想訪問者端末２６）
仮想訪問者端末２６は、本実施形態においては、例えば、スマートフォンである。なお、装着もしくは着用出来るコンピュータとしてのウェアラブルコンピュータ、ヘッドマウントディスプレイシステム、携帯電話、タブレット型端末、パソコン（パーソナルコンピュータ）などでもよい。
仮想訪問者端末２６（２０）は、主として、位置情報取得部７、画像情報取得部８とを備えている。また仮想訪問者端末２６（２０）は、さらに距離情報取得部９を備えていてもよい。
仮想訪問者端末２６（２０）は、表示部２６ａ（２０ａ）を備えている。符号２０ａは、ヘッドマウントディスプレイシステムの表示部である（図６参照）。仮想訪問者端末２６（２０）は、仮想現実（ＶＲ）として、仮想空間の視点画像に訪問者１２のアバタ表示要素を表示する。また仮想訪問者端末２６は、例えば、ジャイロセンサなどを使用して、現在位置や向きを識別する。
仮想訪問者端末２６は、本実施形態においては、例えば、スマートフォンである。なお、装着もしくは着用出来るコンピュータとしてのウェアラブルコンピュータ、ヘッドマウントディスプレイシステム、携帯電話、タブレット型端末、パソコン（パーソナルコンピュータ）などでもよい。
仮想訪問者端末２６（２０）は、主として、位置情報取得部７、画像情報取得部８とを備えている。また仮想訪問者端末２６（２０）は、さらに距離情報取得部９を備えていてもよい。
仮想訪問者端末２６（２０）は、表示部２６ａ（２０ａ）を備えている。符号２０ａは、ヘッドマウントディスプレイシステムの表示部である（図６参照）。仮想訪問者端末２６（２０）は、仮想現実（ＶＲ）として、仮想空間の視点画像に訪問者１２のアバタ表示要素を表示する。また仮想訪問者端末２６は、例えば、ジャイロセンサなどを使用して、現在位置や向きを識別する。
【0030】
（訪問者端末２７）
訪問者端末２７は、本実施形態では、仮想訪問者端末２６（２０）とほぼ同じであるので、同じ部分には同じ符号を付して、その説明を省略する。本実施形態では、訪問者１２は、スマートグラス、ＡＲグラスといった訪問者端末２７を装着している。訪問者端末２７は、拡張現実（ＡＲ）として、現実のイベントエリア１１の風景の視界にデジタル画像としての予め登録されたアバタ表示要素を投影する。スマートグラス、ＡＲグラスの表示部２７ａは、透過して風景を視覚でき、且つ、デジタル画像を重ねて表示する部分である。
訪問者端末２７は、本実施形態では、仮想訪問者端末２６（２０）とほぼ同じであるので、同じ部分には同じ符号を付して、その説明を省略する。本実施形態では、訪問者１２は、スマートグラス、ＡＲグラスといった訪問者端末２７を装着している。訪問者端末２７は、拡張現実（ＡＲ）として、現実のイベントエリア１１の風景の視界にデジタル画像としての予め登録されたアバタ表示要素を投影する。スマートグラス、ＡＲグラスの表示部２７ａは、透過して風景を視覚でき、且つ、デジタル画像を重ねて表示する部分である。
【0031】
（位置情報取得部７）
位置情報取得部７は、訪問者端末２７の位置情報７ａ及び時刻情報７ｂを取得する機能を有する。例えば、位置情報取得部７は、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）センサを用いて、位置情報を取得する。また、ＧＰＳセンサ以外の測位方法、例えば、ＷｉＦｉ測位、ビーコン測位を用いてもよい。ＷｉＦｉ測位、ビーコン測位を用いて室内での位置を識別できる。なお位置情報７ａ及び時刻情報７ａは時空間情報７ｃを構成する。
位置情報取得部７は、訪問者端末２７の位置情報７ａ及び時刻情報７ｂを取得する機能を有する。例えば、位置情報取得部７は、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）センサを用いて、位置情報を取得する。また、ＧＰＳセンサ以外の測位方法、例えば、ＷｉＦｉ測位、ビーコン測位を用いてもよい。ＷｉＦｉ測位、ビーコン測位を用いて室内での位置を識別できる。なお位置情報７ａ及び時刻情報７ａは時空間情報７ｃを構成する。
【0032】
（画像情報取得部８）
画像情報取得部５は、イメージセンサやＲＧＢセンサなどの撮像センサである。例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサ、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサなどを備えた従来公知の装置である。撮像センサは、例えば、周囲光をフォトダイオードで受光してＲＧＢ値を検出し、カラー画像を得る。
画像情報取得部８は画像情報８ａを生成する。画像情報取得部８は、訪問者端末２７に組み込まれて、一体にされていてもよいし、訪問者端末２７とは別体であってもよい。なお画像情報取得部８にマイクなどの収音装置（図示せず）を備えていてもよい。
画像情報取得部５は、イメージセンサやＲＧＢセンサなどの撮像センサである。例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサ、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサなどを備えた従来公知の装置である。撮像センサは、例えば、周囲光をフォトダイオードで受光してＲＧＢ値を検出し、カラー画像を得る。
画像情報取得部８は画像情報８ａを生成する。画像情報取得部８は、訪問者端末２７に組み込まれて、一体にされていてもよいし、訪問者端末２７とは別体であってもよい。なお画像情報取得部８にマイクなどの収音装置（図示せず）を備えていてもよい。
【0033】
（距離情報取得部９）
距離情報取得部９は、生成された画像情報８ａにおける対象物までの距離（深度）に関する距離情報９ａを取得する。また調整部２から情報量（調整量）２ａを受けとると、探索深度を短くして、距離情報９ａの情報量２ａを絞る（減じる）。なお絞った情報量２ａを元に戻すこともある。
次いで減じた距離情報９ａをサーバ装置１に送信する。その際に減じられた距離情報９ａに対応する画像情報８ａも減じられる。結果として、探索深度の短い、例えば、手元側の画像情報８ａ及び距離情報９ａがサーバ装置１に送信される。
なお、距離情報９ａに紐付けられていない部分の画像情報８ａをサーバ装置１に送信してもよい。
距離の取得は公知の技術を用いることができ、例えば、Ｌｉｄａｒ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）センサや、ｉＴｏＦ（Ｉｎｄｉｒｅｃｔ Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）センサや、赤外光を用いる三角測量の方式等を用いることができる。その他、ステレオカメラを用いてもよい。
また、後述する空間データ２５の取得にＶｉｓｕａｌ ＳＬＡＭを用いる場合は、２つ以上の画像情報８ａから距離情報取得部９により距離情報９ａを取得する。複数の画像情報８ａは複数の訪問者端末２７から取得してもよいし、１つの訪問者端末２７が異なる位置で取得した画像情報８ａとして取得してもよい。選択される複数の画像情報８ａは予め定められた時刻情報７ｂの範囲内に取得されたものを用いるのがよい。
距離情報取得部９は、生成された画像情報８ａにおける対象物までの距離（深度）に関する距離情報９ａを取得する。また調整部２から情報量（調整量）２ａを受けとると、探索深度を短くして、距離情報９ａの情報量２ａを絞る（減じる）。なお絞った情報量２ａを元に戻すこともある。
次いで減じた距離情報９ａをサーバ装置１に送信する。その際に減じられた距離情報９ａに対応する画像情報８ａも減じられる。結果として、探索深度の短い、例えば、手元側の画像情報８ａ及び距離情報９ａがサーバ装置１に送信される。
なお、距離情報９ａに紐付けられていない部分の画像情報８ａをサーバ装置１に送信してもよい。
距離の取得は公知の技術を用いることができ、例えば、Ｌｉｄａｒ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）センサや、ｉＴｏＦ（Ｉｎｄｉｒｅｃｔ Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）センサや、赤外光を用いる三角測量の方式等を用いることができる。その他、ステレオカメラを用いてもよい。
また、後述する空間データ２５の取得にＶｉｓｕａｌ ＳＬＡＭを用いる場合は、２つ以上の画像情報８ａから距離情報取得部９により距離情報９ａを取得する。複数の画像情報８ａは複数の訪問者端末２７から取得してもよいし、１つの訪問者端末２７が異なる位置で取得した画像情報８ａとして取得してもよい。選択される複数の画像情報８ａは予め定められた時刻情報７ｂの範囲内に取得されたものを用いるのがよい。
【0034】
（空間データ２５）
更新のための空間データ２５（図９参照）の取得は、公知の技術を採用することができ、一例として、ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）と呼ばれる技術を用いることができる。ＳＬＡＭは、自身が今どこにいるのかを推測する「自己位置推定」と、その周辺がどういう状況にあるのかを把握する「環境地図作成」を同時に行う技術の総称である。ＳＬＡＭは搭載するセンサによって、Ｄｅｐｔｈ ＳＬＡＭ、Ｖｉｓｕａｌ ＳＬＡＭ、ＬｉＤＡＲ ＳＬＡＭなどがある。
更新される前の既存の空間データは、２次元／３次元データを収集する周辺カメラ２４（図１参照）により生成される。
更新のための空間データ２５（図９参照）の取得は、公知の技術を採用することができ、一例として、ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）と呼ばれる技術を用いることができる。ＳＬＡＭは、自身が今どこにいるのかを推測する「自己位置推定」と、その周辺がどういう状況にあるのかを把握する「環境地図作成」を同時に行う技術の総称である。ＳＬＡＭは搭載するセンサによって、Ｄｅｐｔｈ ＳＬＡＭ、Ｖｉｓｕａｌ ＳＬＡＭ、ＬｉＤＡＲ ＳＬＡＭなどがある。
更新される前の既存の空間データは、２次元／３次元データを収集する周辺カメラ２４（図１参照）により生成される。
【0035】
（周辺カメラ２４）
周辺カメラ２４は、３次元データの画像を生成し、表示すべき仮想空間を作成し、空間データとして記憶部３１に記憶する。本実施形態では、周辺カメラ２４は、イベントエリア１１に固定して設置されている。設置される周辺カメラ２４は複数個でもよい。本実施形態では、周辺カメラ２４は、所定時刻毎、例えば１月毎にイベントエリア１１を撮影し、空間データ２５を更新している。
周辺カメラ２４は、３次元データの画像を生成し、表示すべき仮想空間を作成し、空間データとして記憶部３１に記憶する。本実施形態では、周辺カメラ２４は、イベントエリア１１に固定して設置されている。設置される周辺カメラ２４は複数個でもよい。本実施形態では、周辺カメラ２４は、所定時刻毎、例えば１月毎にイベントエリア１１を撮影し、空間データ２５を更新している。
【0036】
（調整部２）
調整部２は、サーバ装置１の処理速度に関する処理情報および／またはサーバ装置１と訪問者端末２７の間の通信速度に関する通信情報に応じて、取得すべき距離情報９ａの情報量２ａ（図２参照）を調整する。情報量２ａに換算できる量として距離情報取得部９の調整量としてもよい。調整量としては、例えば、距離情報取得部９で取得すべき距離（深度）及び／又は距離情報を取得する範囲である。調整部２は訪問者端末２７に情報量２ａを伝達する。
なお現地情報取得部３で、調整された情報量２ａとなるように、余分な情報を削除して、サーバ装置１の演算量を減じるようにしてもよい。
調整部２は、サーバ装置１の処理速度に関する処理情報および／またはサーバ装置１と訪問者端末２７の間の通信速度に関する通信情報に応じて、取得すべき距離情報９ａの情報量２ａ（図２参照）を調整する。情報量２ａに換算できる量として距離情報取得部９の調整量としてもよい。調整量としては、例えば、距離情報取得部９で取得すべき距離（深度）及び／又は距離情報を取得する範囲である。調整部２は訪問者端末２７に情報量２ａを伝達する。
なお現地情報取得部３で、調整された情報量２ａとなるように、余分な情報を削除して、サーバ装置１の演算量を減じるようにしてもよい。
【0037】
（現地情報取得部３）
現地情報取得部３は、時空間情報７ｃ、時空間情報７ｃに対応する画像情報８ａ及び画像情報８ａに対応する対象物までの距離情報９ａからなる現地情報３ａを取得する。次いで、現地情報３ａに基づく空間データと既存の空間データ２５との位置合わせをする。位置合わせは、公知の技術を用いることができる。例えば、現地情報３ａに基づく空間データと既存の空間データ２５とから特徴点を抽出し、特徴点に基づいて、互いの空間データの座標を合わせてもよい。一例として、特徴点の抽出は、例えば、画像情報８ａを使用して、矩形の頂点を抽出して行われる。
現地情報取得部３は、時空間情報７ｃ、時空間情報７ｃに対応する画像情報８ａ及び画像情報８ａに対応する対象物までの距離情報９ａからなる現地情報３ａを取得する。次いで、現地情報３ａに基づく空間データと既存の空間データ２５との位置合わせをする。位置合わせは、公知の技術を用いることができる。例えば、現地情報３ａに基づく空間データと既存の空間データ２５とから特徴点を抽出し、特徴点に基づいて、互いの空間データの座標を合わせてもよい。一例として、特徴点の抽出は、例えば、画像情報８ａを使用して、矩形の頂点を抽出して行われる。
【0038】
また現地情報取得部３は、仮想訪問者端末２６（２０）で表示している視点画像に対応する３次元空間における座標位置（視点座標）を取得している。例えば、本実施形態では、視点座標に基づいて、自分以外の仮想訪問者１３を表すアバタ表示要素を表示部２６ａ（２０ａ）に表示している。なお自分を示すアバタ表示要素を自分の端末２６（２０）の表示部２６ａ（２０ａ）に表示するようにしてもよい。
【0039】
（判定部４）
判定部４は、現地情報３ａに対応する座標の空間データ２５との間の所定の差異の有無を判定する。差異が有る場合に、空間データ２５の差異のある部分２５ａ（図９参照）を更新する。一方で、差異がない場合には更新しない。
判定は、公知の技術を用いて行われる。一例として、得られた現地情報３ａと既存の空間データ２５の点群データとしての３次元座標値（Ｘ、Ｙ、Ｚ）及び／又は色の情報（Ｒ、Ｇ、Ｂ）に基づいて、３次元座標及び／又は色の情報に予め定めた以上の相違があるかどうかを判定する。例えば、複数の値に所定以上の相違がある場合に差異があることを判定する。相違する座標を含む所定の範囲を差異のある部分２５ａとする。
その他、現地情報３ａから生成される空間データと既存の空間データ２５とから機械学習の学習モデルを用いて、所定の差異のある部分２５ａを抽出してもよい。
判定部４は、現地情報３ａに対応する座標の空間データ２５との間の所定の差異の有無を判定する。差異が有る場合に、空間データ２５の差異のある部分２５ａ（図９参照）を更新する。一方で、差異がない場合には更新しない。
判定は、公知の技術を用いて行われる。一例として、得られた現地情報３ａと既存の空間データ２５の点群データとしての３次元座標値（Ｘ、Ｙ、Ｚ）及び／又は色の情報（Ｒ、Ｇ、Ｂ）に基づいて、３次元座標及び／又は色の情報に予め定めた以上の相違があるかどうかを判定する。例えば、複数の値に所定以上の相違がある場合に差異があることを判定する。相違する座標を含む所定の範囲を差異のある部分２５ａとする。
その他、現地情報３ａから生成される空間データと既存の空間データ２５とから機械学習の学習モデルを用いて、所定の差異のある部分２５ａを抽出してもよい。
【0040】
（更新部５）
更新部７は、差異のある部分２５ａを対応する既存の空間データ２５に置き換える／上書きして更新する。
更新部７は、差異のある部分２５ａを対応する既存の空間データ２５に置き換える／上書きして更新する。
【0041】
（仮想空間処理部６）
仮想空間処理部６は、仮想訪問者端末２６（２０）の入出力装置３２（操作部３２ａ）から出力される操作量に関する操作情報６ａに基づいて、仮想訪問者端末２６（２０）の表示部２７ａ（２０ａ）に表示すべき仮想画像を生成する（図３参照）。例えば、ヘッドマウントシステム２０の制御装置２１と協働して、表示部２０ａに表示するための画像等の生成や各種の演算処理等を行う。
仮想空間処理部６は、仮想訪問者端末２６（２０）の入出力装置３２（操作部３２ａ）から出力される操作量に関する操作情報６ａに基づいて、仮想訪問者端末２６（２０）の表示部２７ａ（２０ａ）に表示すべき仮想画像を生成する（図３参照）。例えば、ヘッドマウントシステム２０の制御装置２１と協働して、表示部２０ａに表示するための画像等の生成や各種の演算処理等を行う。
【0042】
（表示部２６ａ、２７ａ、２０ａ）
表示部２６ａ、２７ａ、２０ａとしては、例えば、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、プラズマディスプレイ（ＰＤＰ：Ｐｌａｓｍａ Ｄｉｓｐｌａｙ Ｐａｎｅｌ）、有機ＥＬ（ＥＬ：Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）などの画像を表示する装置が用いられる。また表示部にタッチパネルを設けてもよい。タッチパネルは、ユーザからの操作によりそれに応じた出力信号を出力する。ユーザは、タッチパネルを操作することによって、表示部２６ａ、２７ａ、２０ａに表示された情報の選択等の操作を行うことができる。
表示部２６ａ、２７ａ、２０ａとしては、例えば、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、プラズマディスプレイ（ＰＤＰ：Ｐｌａｓｍａ Ｄｉｓｐｌａｙ Ｐａｎｅｌ）、有機ＥＬ（ＥＬ：Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）などの画像を表示する装置が用いられる。また表示部にタッチパネルを設けてもよい。タッチパネルは、ユーザからの操作によりそれに応じた出力信号を出力する。ユーザは、タッチパネルを操作することによって、表示部２６ａ、２７ａ、２０ａに表示された情報の選択等の操作を行うことができる。
【0043】
図３は、訪問者１２及び仮想訪問者１３のユーザ端末２７、２６の画面表示の様子を示す概略図である。アバタ表示要素１２ａ、１３ａは、例えば、訪問者１２、仮想訪問者１３の撮像から形成した撮像画像又は前記撮像を模して形成した疑似画像の２次元又は３次元空間データからなる。なお撮像と関係なく、好みの画像をアバタ表示要素としてもよい。
【0044】
（訪問者１２のアバタ表示要素１２ａ）
具体的には、訪問者端末２７は、ＧＰＳまたは屋内測位の技術に基づいて、イベントエリア１１内における位置情報７ａを取得し、その位置情報７ａをサーバ装置１の現地情報取得部３に送信する。サーバ装置２の仮想空間処理部６は、位置情報４ａに対応する仮想空間の座標位置に換算し、その座標位置に表示すべき訪問者１２のアバタ表示要素１２ａを仮想訪問者端末２６（２０）に送信する。
具体的には、訪問者端末２７は、ＧＰＳまたは屋内測位の技術に基づいて、イベントエリア１１内における位置情報７ａを取得し、その位置情報７ａをサーバ装置１の現地情報取得部３に送信する。サーバ装置２の仮想空間処理部６は、位置情報４ａに対応する仮想空間の座標位置に換算し、その座標位置に表示すべき訪問者１２のアバタ表示要素１２ａを仮想訪問者端末２６（２０）に送信する。
【0045】
（仮想訪問者（遠隔者）１３のアバタ表示要素１３ａ）
一方、サーバ装置１は、仮想訪問者１３の仮想空間の座標位置に関する座標位置情報を取得する。仮想空間処理部６は、取得した座標位置情報に対応するイベントエリア１１の位置で、且つ、訪問者１２の訪問者端末２７を通した視界に重ねて表示すべき、予め設定された仮想訪問者のアバタ表示要素１３ａを訪問者端末２７に送信する。
一方、サーバ装置１は、仮想訪問者１３の仮想空間の座標位置に関する座標位置情報を取得する。仮想空間処理部６は、取得した座標位置情報に対応するイベントエリア１１の位置で、且つ、訪問者１２の訪問者端末２７を通した視界に重ねて表示すべき、予め設定された仮想訪問者のアバタ表示要素１３ａを訪問者端末２７に送信する。
【0046】
（表示画面）
次に図３を用いて、仮想訪問者端末２６（２０）、訪問者端末２７の画面表示の様子を説明する。図に示している画面表示は、上段が仮想訪問者端末２６（２０）の表示部の表示画面２６ａであり、下段が訪問者端末２７の表示部の表示画面２７ａである。
次に図３を用いて、仮想訪問者端末２６（２０）、訪問者端末２７の画面表示の様子を説明する。図に示している画面表示は、上段が仮想訪問者端末２６（２０）の表示部の表示画面２６ａであり、下段が訪問者端末２７の表示部の表示画面２７ａである。
【0047】
（仮想訪問者端末の表示画面２６ａ）
仮想訪問者端末２６（２０）の表示画面２６ａには、イベントエリア１１の撮像から形成した撮像空間又は前記撮像を模した形成した疑似空間の２次元又は３次元空間データからなる仮想空間のイベントエリア１４が表示されている。本実施形態では、撮像で形成された３次元空間データからなる仮想空間が表示されている。
仮想訪問者端末２６（２０）の表示画面２６ａには、イベントエリア１１の撮像から形成した撮像空間又は前記撮像を模した形成した疑似空間の２次元又は３次元空間データからなる仮想空間のイベントエリア１４が表示されている。本実施形態では、撮像で形成された３次元空間データからなる仮想空間が表示されている。
【0048】
（訪問者端末の表示画面２７ａ）
訪問者端末２７の表示画面２７ａは、イベントエリア１１の撮像又はスマートグラスなどを介して透過した訪問者１２の視界に相当する。表示画面２７ａには仮想訪問者１３のアバタ表示要素１３ａが表示されている。符号１８は農作物（イベント関連商品）である。
訪問者端末２７の表示画面２７ａは、イベントエリア１１の撮像又はスマートグラスなどを介して透過した訪問者１２の視界に相当する。表示画面２７ａには仮想訪問者１３のアバタ表示要素１３ａが表示されている。符号１８は農作物（イベント関連商品）である。
【0049】
アバタ表示要素１２ａ、１３ａをユーザ操作により入出力装置３２で選択したり、又は、表示部の対応する部位を指でタッチしたりすることにより、対応する人物又は商品をそれぞれ選択することができる。
【0050】
【0051】
（サーバ装置１のハードウェア構成）
図４に示すように、本実施形態のサーバ装置２では、例えばコンピュータを用いている。
そのコンピュータはＣＰＵ３０を備えたものである。そのＣＰＵ３０には、メモリ（以下、記憶部という。）３１と、キーボード、マウス等を含む入出力装置３２と、記憶デバイス３３ａなどを接続／読み込むための接続ポート３３と、ネットワークを介して外部と通信するための通信回路３４とがバスライン３５を介して接続されている。記憶部３１には、調整量データベース（調整量ＤＢ）２８、現地情報２３、さらにはシステム１０を処理するためのサーバプログラム３６、ブラウザプログラム３７、さらにはＯＳ３８（オペレーティングシステム）が記憶されている。
図４に示すように、本実施形態のサーバ装置２では、例えばコンピュータを用いている。
そのコンピュータはＣＰＵ３０を備えたものである。そのＣＰＵ３０には、メモリ（以下、記憶部という。）３１と、キーボード、マウス等を含む入出力装置３２と、記憶デバイス３３ａなどを接続／読み込むための接続ポート３３と、ネットワークを介して外部と通信するための通信回路３４とがバスライン３５を介して接続されている。記憶部３１には、調整量データベース（調整量ＤＢ）２８、現地情報２３、さらにはシステム１０を処理するためのサーバプログラム３６、ブラウザプログラム３７、さらにはＯＳ３８（オペレーティングシステム）が記憶されている。
【0052】
本実施形態では、サーバプログラム３６は、ＯＳ３８およびブラウザプログラム３７の機能を利用して協働して動作する。なおサーバプログラム３６として、ブラウザプログラム３７、ＯＳ３８を利用せず、単独で動作するようにしてもよい。サーバプログラム３６は、例えば、記憶デバイス３３ａに保存されている。接続ポート３３から記憶デバイス３３ａを読み込むことにより、サーバプログラム３６がサーバ装置１にインストールされる。
【0053】
（ユーザ端末２６、２７のハードウェア構成）
次いで、ユーザ端末のハードウェア構成を説明する。ユーザ端末は、仮想訪問者端末２６及び訪問者端末２７として用いられる。ここでは、仮想訪問者端末２６のハードウェア構成を説明し、訪問者端末２７の説明を省略する。
仮想訪問者端末２６のハードウェア構成は、前述のサーバ装置１のハードウェア構成とほぼ同じであるので、同じ部分には同じ符号を付して、その説明を省略する。
図５に示すように、本実施形態の仮想訪問者端末２６では、例えば、例えば、スマートフォン、ノートパソコン、ヘッドマウントディスプレイなどを用いてもよい。
仮想訪問者端末２６はＣＰＵ３０を備えたものである。そのＣＰＵ３０には、記憶部３１と、記憶デバイス３３ａなどを接続／読み込むための接続ポート３３と、ネットワークを介して外部と通信するための通信回路３４とがバスライン３５を介して接続されている。入出力装置３２としては、例えば、マイク、スピーカ、操作部３２ａを備えている。なおマイク、スピーカ、操作部３２ａについては、後述するヘッドマウントディスプレイ２０の対応する部位と同じである。記憶部３１には、システム１０を処理するためのユーザ端末プログラム３９、ブラウザプログラム３７、さらにはＯＳ３８（オペレーティングシステム）が記憶されている。ユーザ端末プログラム３９は、例えば、記憶デバイス３３ａに保存されている。接続ポート３３から記憶デバイス３３ａを読み込むことにより、ユーザ端末プログラム３９がユーザ端末２６、２７にインストールされる。
次いで、ユーザ端末のハードウェア構成を説明する。ユーザ端末は、仮想訪問者端末２６及び訪問者端末２７として用いられる。ここでは、仮想訪問者端末２６のハードウェア構成を説明し、訪問者端末２７の説明を省略する。
仮想訪問者端末２６のハードウェア構成は、前述のサーバ装置１のハードウェア構成とほぼ同じであるので、同じ部分には同じ符号を付して、その説明を省略する。
図５に示すように、本実施形態の仮想訪問者端末２６では、例えば、例えば、スマートフォン、ノートパソコン、ヘッドマウントディスプレイなどを用いてもよい。
仮想訪問者端末２６はＣＰＵ３０を備えたものである。そのＣＰＵ３０には、記憶部３１と、記憶デバイス３３ａなどを接続／読み込むための接続ポート３３と、ネットワークを介して外部と通信するための通信回路３４とがバスライン３５を介して接続されている。入出力装置３２としては、例えば、マイク、スピーカ、操作部３２ａを備えている。なおマイク、スピーカ、操作部３２ａについては、後述するヘッドマウントディスプレイ２０の対応する部位と同じである。記憶部３１には、システム１０を処理するためのユーザ端末プログラム３９、ブラウザプログラム３７、さらにはＯＳ３８（オペレーティングシステム）が記憶されている。ユーザ端末プログラム３９は、例えば、記憶デバイス３３ａに保存されている。接続ポート３３から記憶デバイス３３ａを読み込むことにより、ユーザ端末プログラム３９がユーザ端末２６、２７にインストールされる。
【0054】
上述したサーバ装置１、仮想訪問者端末２６及び訪問者端末２７のハードウェア構成では、図２に示すシステムの機能を、例えば、ＣＰＵ３０とサーバプログラム３６と、仮想訪問者端末（訪問者端末）プログラム３９を用いて実現するようにしているが、その一部または全部をマイコンなどの論理回路、あるいは、ＰＬＣ（プログラマブルロジックコントローラ）を用いてシーケンス制御してもよい。
【0055】
（ヘッドマウントディスプレイシステム２０のハードウェア構成）
次いで、ヘッドマウントディスプレイシステム２０のハードウェア構成を説明する。ヘッドマウントディスプレイシステム２０のハードウェア構成は、前述の仮想訪問者端末２６のハードウェア構成とほぼ同じ部分には同じ符号を付して、その説明を省略する。
次いで、ヘッドマウントディスプレイシステム２０のハードウェア構成を説明する。ヘッドマウントディスプレイシステム２０のハードウェア構成は、前述の仮想訪問者端末２６のハードウェア構成とほぼ同じ部分には同じ符号を付して、その説明を省略する。
【0056】
（ヘッドマウントディスプレイシステム２０）
次に図６を用いて、仮想訪問者端末２６としてのヘッドマウントディスプレイシステムを説明する。
図に示しているヘッドマウントディスプレイシステム２０は、ユーザの頭部に装着するヘッドマウントディスプレイ２１と、制御装置２２とを備えている。なお以下に述べるヘッドマウントディスプレイシステム２０は、一例であり、これに限られない。
次に図６を用いて、仮想訪問者端末２６としてのヘッドマウントディスプレイシステムを説明する。
図に示しているヘッドマウントディスプレイシステム２０は、ユーザの頭部に装着するヘッドマウントディスプレイ２１と、制御装置２２とを備えている。なお以下に述べるヘッドマウントディスプレイシステム２０は、一例であり、これに限られない。
【0057】
（ヘッドマウントディスプレイ２１）
ヘッドマウントディスプレイ２１は、主に仮想空間の画像が表示される表示部２１ａと、頭部位置検出センサ２１ｂとからなる。本実施形態では、さらにスピーカ２１ｃ、マイク２１ｄ及び操作部２１ｅを備えている。なおスピーカ２１ｃ、マイク２１ｄ及び操作部２１ｅは、ヘッドマウントディスプレイ２１と一体でなくてもよく、いずれか１つがヘッドマウントディスプレイ２１と一体であってもよい。
ヘッドマウントディスプレイ２１は、主に仮想空間の画像が表示される表示部２１ａと、頭部位置検出センサ２１ｂとからなる。本実施形態では、さらにスピーカ２１ｃ、マイク２１ｄ及び操作部２１ｅを備えている。なおスピーカ２１ｃ、マイク２１ｄ及び操作部２１ｅは、ヘッドマウントディスプレイ２１と一体でなくてもよく、いずれか１つがヘッドマウントディスプレイ２１と一体であってもよい。
【0058】
（表示部２１ａ）
表示部２１ａは、ユーザの左右の目を覆うように、左右の目に対応する位置に左右の画像表示面をそれぞれ配置している。視差のある画像を左右の画像表示面にそれぞれ表示することによって３次元画像をユーザに表示してもよい。
表示部２１ａは、ユーザの左右の目を覆うように、左右の目に対応する位置に左右の画像表示面をそれぞれ配置している。視差のある画像を左右の画像表示面にそれぞれ表示することによって３次元画像をユーザに表示してもよい。
【0059】
（頭部位置検出センサ２１ｂ）
頭部位置検出センサ２１ｂは、ヘッドマウントディスプレイ２１の向きや傾きなどの姿勢情報を検出する。姿勢情報を検出するセンサは、ジャイロセンサ、加速度センサ、角加速度センサなどを適宜組み合わせて実現される。ユーザの頭部の位置及び姿勢を検出し、その検出結果を、表示部２１ａが表示する仮想空間の３次元画像に反映させて、ユーザの頭部の動きに応じた視点位置から見た３次元画像（視点画像）を提示する。
頭部位置検出センサ２１ｂは、ヘッドマウントディスプレイ２１の向きや傾きなどの姿勢情報を検出する。姿勢情報を検出するセンサは、ジャイロセンサ、加速度センサ、角加速度センサなどを適宜組み合わせて実現される。ユーザの頭部の位置及び姿勢を検出し、その検出結果を、表示部２１ａが表示する仮想空間の３次元画像に反映させて、ユーザの頭部の動きに応じた視点位置から見た３次元画像（視点画像）を提示する。
【0060】
（スピーカ２１ｃ、マイク２１ｄ）
スピーカ２１ｃは、音声を出力するものである。仮想空間内の現実の音声、仮想空間の状況を加味した音声・音楽、訪問者１２、仮想訪問者１３との対話による音声を出力する。
マイク２１ｄには、訪問者１２、仮想訪問者１３と対話する際にユーザの音声が入力される。
スピーカ２１ｃは、音声を出力するものである。仮想空間内の現実の音声、仮想空間の状況を加味した音声・音楽、訪問者１２、仮想訪問者１３との対話による音声を出力する。
マイク２１ｄには、訪問者１２、仮想訪問者１３と対話する際にユーザの音声が入力される。
【0061】
（操作部２１ｅ）
操作部２１ｅ（３２ａ）は、例えば、操作レバー、操作ボタンを備えている。それらを操作することにより、表示部２１ａに表示された選択肢を選択し、選択した選択肢を決定する操作をすることができる。例えば、本実施形態では、仮想空間で購入可能な農産物が複数表示され、それらから購入する農産物を選択し、購入を決定するのに用いる。また操作部２１ｅを操作することにより、視点位置から見た３次元画像を動かして、あたかもユーザ自身が仮想空間内で移動しているように体感させることができる。操作部２１ｅは制御装置２２と通信回路を通じて通信可能に接続されている。
操作部２１ｅ（３２ａ）は、例えば、操作レバー、操作ボタンを備えている。それらを操作することにより、表示部２１ａに表示された選択肢を選択し、選択した選択肢を決定する操作をすることができる。例えば、本実施形態では、仮想空間で購入可能な農産物が複数表示され、それらから購入する農産物を選択し、購入を決定するのに用いる。また操作部２１ｅを操作することにより、視点位置から見た３次元画像を動かして、あたかもユーザ自身が仮想空間内で移動しているように体感させることができる。操作部２１ｅは制御装置２２と通信回路を通じて通信可能に接続されている。
【0062】
（制御装置２２）
制御装置２２のハードウェア構成は、前述のサーバ装置１又は仮想訪問者端末２６のハードウェア構成とほぼ同じであるので、同じ部分には同じ符号を付して、その説明を省略する。制御装置２２は、ヘッドマウントディスプレイ２０の表示部２１ａに表示するための画像等の生成や各種の演算処理等を行う。
記憶部３１には、表示部２１ａに表示する画像等の生成や各種の演算処理等を行うための処理プログラム等が格納されている。
制御装置２２のハードウェア構成は、前述のサーバ装置１又は仮想訪問者端末２６のハードウェア構成とほぼ同じであるので、同じ部分には同じ符号を付して、その説明を省略する。制御装置２２は、ヘッドマウントディスプレイ２０の表示部２１ａに表示するための画像等の生成や各種の演算処理等を行う。
記憶部３１には、表示部２１ａに表示する画像等の生成や各種の演算処理等を行うための処理プログラム等が格納されている。
【0063】
［４．プログラム］
（更新処理を示すフローチャート）
図７は、システム１０の訪問者端末２７で用いられるユーザ端末プログラム３９およびサーバ装置１で用いられるサーバプログラム３６の処理の一実施形態を示すフローチャートである。
（更新処理を示すフローチャート）
図７は、システム１０の訪問者端末２７で用いられるユーザ端末プログラム３９およびサーバ装置１で用いられるサーバプログラム３６の処理の一実施形態を示すフローチャートである。
【0064】
（Ｓ１：調整量を取得・送信する）
サーバ装置１は予め定められた演算式に基づいて、調整量２ａを取得する。得られた調整量２ａを訪問者端末２７に送信する。
画像情報８aと距離情報９ａは一体となった３Ｄデータ（現地情報３ａ）である。距離情報９ａが深いところまであると、３Ｄデータの量が極めて大きくなる。このため訪問者端末２７とサーバ装置１の間の可能な通信量を超えてしまう。また送られた現地情報３ａが大きいと、サーバ装置１内での演算量がオーバーフローする。従って、サーバ装置１は、通信量のキャパシティとサーバ装置の演算能力を自身で判断し、訪問者端末２７に対して３Ｄデータ（画像情報・距離情報からなる）の送信量（の抑制）をリクエストする。
また処理情報２８ａ及び通信情報２８ｂは、サーバ装置１にインストールした計測用のソフトウェアを実行することに取得してもよい。前記実行は、所定時刻毎に行ってもよい。
なお処理速度２８ａ及び通信速度２８ｂに基づいて調整量２ａを取得するその他の手法を用いてもよい。
サーバ装置１は予め定められた演算式に基づいて、調整量２ａを取得する。得られた調整量２ａを訪問者端末２７に送信する。
画像情報８aと距離情報９ａは一体となった３Ｄデータ（現地情報３ａ）である。距離情報９ａが深いところまであると、３Ｄデータの量が極めて大きくなる。このため訪問者端末２７とサーバ装置１の間の可能な通信量を超えてしまう。また送られた現地情報３ａが大きいと、サーバ装置１内での演算量がオーバーフローする。従って、サーバ装置１は、通信量のキャパシティとサーバ装置の演算能力を自身で判断し、訪問者端末２７に対して３Ｄデータ（画像情報・距離情報からなる）の送信量（の抑制）をリクエストする。
また処理情報２８ａ及び通信情報２８ｂは、サーバ装置１にインストールした計測用のソフトウェアを実行することに取得してもよい。前記実行は、所定時刻毎に行ってもよい。
なお処理速度２８ａ及び通信速度２８ｂに基づいて調整量２ａを取得するその他の手法を用いてもよい。
【0065】
（調整量ＤＢ２８のデータ構造）
調整量２ａの演算式による取得の他に、予め定めたテーブルにより調整量２ａを取得してもよい。図８に調整量ＤＢのデータ構造を示す。図に示している調整量ＤＢ２８は、例えば、上段のテーブルは処理情報２８ａと調整量２ａとの関係を示し、下段のテーブルは通信情報２８ｂと調整量２ａとの関係を示している。上下段のどちらのテーブルにおいても処理情報２８ａ及び通信情報２８ｂが低下すると、調整量２ａ（探索深度）は短くなる。処理情報２８ａ及び通信情報２８ｂからそれぞれの調整量２ａを取得し、小さい方の値を採用すべき調整量２ａとする。なお調整量ＤＢ２８の調整量２ａは情報量であってもよい。
調整量２ａの演算式による取得の他に、予め定めたテーブルにより調整量２ａを取得してもよい。図８に調整量ＤＢのデータ構造を示す。図に示している調整量ＤＢ２８は、例えば、上段のテーブルは処理情報２８ａと調整量２ａとの関係を示し、下段のテーブルは通信情報２８ｂと調整量２ａとの関係を示している。上下段のどちらのテーブルにおいても処理情報２８ａ及び通信情報２８ｂが低下すると、調整量２ａ（探索深度）は短くなる。処理情報２８ａ及び通信情報２８ｂからそれぞれの調整量２ａを取得し、小さい方の値を採用すべき調整量２ａとする。なお調整量ＤＢ２８の調整量２ａは情報量であってもよい。
【0066】
（Ｓ２：訪問者端末が距離情報を取得する）
訪問者端末２７が調整量２ａを取得すると、例えば、距離情報取得部９は調整量２ａと同じか小さな距離情報９ａを残し、大きな距離情報９ａを削除する。このとき残すべき距離情報９ａに対応する位置情報４ａ又は画像情報８ａを残し、他を削除してもよい。訪問者端末２７は、情報量が絞られた現地情報３ａをサーバ装置１に送信する。
訪問者端末２７が調整量２ａを取得すると、例えば、距離情報取得部９は調整量２ａと同じか小さな距離情報９ａを残し、大きな距離情報９ａを削除する。このとき残すべき距離情報９ａに対応する位置情報４ａ又は画像情報８ａを残し、他を削除してもよい。訪問者端末２７は、情報量が絞られた現地情報３ａをサーバ装置１に送信する。
【0067】
（Ｓ３：サーバ装置が現地情報を取得する）
図７に戻って、サーバ装置１は現地情報３ａを取得する。位置情報４ａを座標位置情報に変換する。現地情報３ａに基づく空間データと既存の空間データ２５とから特徴点を抽出する。特徴点に基づいて、互いの空間データの座標を合わせる。
図７に戻って、サーバ装置１は現地情報３ａを取得する。位置情報４ａを座標位置情報に変換する。現地情報３ａに基づく空間データと既存の空間データ２５とから特徴点を抽出する。特徴点に基づいて、互いの空間データの座標を合わせる。
【0068】
（Ｓ４：差異を判定する）
現地情報３ａに基づく空間データと既存の空間データ２５とに差異があるか判定する。差異がある場合は、差異のある部分２５ａを抽出する。一方で、差異がない場合は終了する。
現地情報３ａに基づく空間データと既存の空間データ２５とに差異があるか判定する。差異がある場合は、差異のある部分２５ａを抽出する。一方で、差異がない場合は終了する。
【0069】
図９は空間データの差異を示す概略図である。図にはイベントエリア１１としてブドウ農園を示している。上段の図は既存の空間データ２５である。下段の図は現地情報３ａに基づく空間データである。下段の図に差異のある部分２５ａ（二点鎖線参照）が記載されている。下段の図では、ブドウの実が成長している。
【0070】
（Ｓ５：更新する）
図７に戻って、差異のある部分２５ａを既存の空間データ２５の対応する座標位置に置き換える／上書きする。
図７に戻って、差異のある部分２５ａを既存の空間データ２５の対応する座標位置に置き換える／上書きする。
【0071】
［５．他の実施形態］
（変形例４０）
次に、システム１０の変形例または他の実施形態を説明する。システム４０は、前述したシステム１０とほぼ同様であるので、同じ部分には同じ符号を付して、その説明を省略する。
（変形例４０）
次に、システム１０の変形例または他の実施形態を説明する。システム４０は、前述したシステム１０とほぼ同様であるので、同じ部分には同じ符号を付して、その説明を省略する。
【0072】
システム４０は、システム１０に対し調整部２及び判定部３を備えていない。システム４０は、例えば、複数の訪問者端末２７から現地情報３ａを取得することで、訪問者１２の力を借りて、空間データ２５を新たに生成することができる。
【0073】
システム４１は、システム１０に対し調整部２を備えていない。判定部２を備えているので、必要な部分だけ更新することができ、効率的である。
【0074】
［６．その他］
上述したヘッドマウントディスプレイシステム２０では、ヘッドマウントディスプレイ２１と制御装置２２とを別体としても、一体としてもよい。
ヘッドマウントディスプレイシステム２０は専用システムでなくてもよく、例えば、ゴーグル型のヘッドセットにスマートフォンを装着して使用するものでもよい。
ヘッドマウントディスプレイには、例えば、コンピュータグラフィックス等で作り出される仮想空間のみが表示されるＶｉｒｔｕａｌ Ｒｅａｌｉｔｙ（ＶＲ）型のヘッドマウントディスプレイと、現実空間（例えば、光学的に透過されて表示される現実空間）と仮想空間とがリアルタイムで表示されるＭｉｘｅｄ Ｒｅａｌｉｔｙ（ＭＲ）型のヘッドマウントディスプレイがある。本発明は、いずれのヘッドマウントディスプレイにも適用することができる。
距離情報取得部９について、レーザ光や電波の出力、受信部の感度を調節し、探索すべき距離（深度）を調整するようにしてもよい。
前述の実施形態に、変形例、他の実施形態、その他として記載した事項を、それぞれを適宜に組み合わせて用いることができる。
上述したヘッドマウントディスプレイシステム２０では、ヘッドマウントディスプレイ２１と制御装置２２とを別体としても、一体としてもよい。
ヘッドマウントディスプレイシステム２０は専用システムでなくてもよく、例えば、ゴーグル型のヘッドセットにスマートフォンを装着して使用するものでもよい。
ヘッドマウントディスプレイには、例えば、コンピュータグラフィックス等で作り出される仮想空間のみが表示されるＶｉｒｔｕａｌ Ｒｅａｌｉｔｙ（ＶＲ）型のヘッドマウントディスプレイと、現実空間（例えば、光学的に透過されて表示される現実空間）と仮想空間とがリアルタイムで表示されるＭｉｘｅｄ Ｒｅａｌｉｔｙ（ＭＲ）型のヘッドマウントディスプレイがある。本発明は、いずれのヘッドマウントディスプレイにも適用することができる。
距離情報取得部９について、レーザ光や電波の出力、受信部の感度を調節し、探索すべき距離（深度）を調整するようにしてもよい。
前述の実施形態に、変形例、他の実施形態、その他として記載した事項を、それぞれを適宜に組み合わせて用いることができる。
【0075】
［７．まとめ］
サーバ装置１は、時刻情報７ｂおよび位置情報７ａを取得する現実空間の訪問者のユーザ端末２７から得られる画像情報８ａに基づいて、前記現実空間の位置に対応する座標を有する仮想空間の空間データ２５を更新するサーバ装置であって、時空間情報７ｃ、時空間情報に対応する画像情報８ａ及び画像情報に対応する対象物までの距離情報９ａからなる現地情報３ａを取得する現地情報取得部３と、現地情報に基づいて、空間データ２５を生成／更新する更新部５とからなることを特徴としている。
このため、複数の訪問者端末２７から現地情報３ａを取得することで、訪問者１２の力を借りて、空間データ２５を新たに生成したり、更新したりすることができる。
サーバ装置１は、時刻情報７ｂおよび位置情報７ａを取得する現実空間の訪問者のユーザ端末２７から得られる画像情報８ａに基づいて、前記現実空間の位置に対応する座標を有する仮想空間の空間データ２５を更新するサーバ装置であって、時空間情報７ｃ、時空間情報に対応する画像情報８ａ及び画像情報に対応する対象物までの距離情報９ａからなる現地情報３ａを取得する現地情報取得部３と、現地情報に基づいて、空間データ２５を生成／更新する更新部５とからなることを特徴としている。
このため、複数の訪問者端末２７から現地情報３ａを取得することで、訪問者１２の力を借りて、空間データ２５を新たに生成したり、更新したりすることができる。
【0076】
このようなサーバ装置１は、現地情報３ａに対応する空間データ２５との間に所定の差異の有無を判定する判定部３を備えており、前記差異が有る場合に、空間データ２５の差異のある部分２５ａを更新するので、必要な部分だけ更新することができ、効率的である。
【0077】
また差異がない場合には更新しないので、一層、効率的である。
【0078】
またサーバ装置１の処理速度に関する処理情報２８ａおよび／またはサーバ装置１とユーザ端末２６、２７の間の通信速度に関する通信情報２８ｂに応じて、取得すべき距離情報９ａの情報量２ａを調整する調整部２を備えているので、現実空間の複数の訪問者１２による、更新すべき範囲の部分的、且つ、連続的な更新により、仮想訪問者１３の手元の必要な部分をリアルタイム／ほぼリアルタイムで、空間全体として概ねのイメージとして合成するので、デジタルツインにおける実用的な仮想空間を構成できる。
【符号の説明】
【0079】
１ サーバ装置
２ 調整部
２ａ 情報量（調整量）
３ 現地情報取得部
３ａ 現地情報
４ 判定部
５ 更新部
６ 仮想空間処理部
６ａ 操作情報
７ 位置情報取得部
７ａ 位置情報
７ｂ 時刻情報
７ｃ 時空間情報
８ 画像情報取得部
８ａ 画像情報
９ 距離情報取得部
９ａ 距離情報
１０ 仮想空間の更新システム
１１ イベントエリア
１２ 訪問者
１２ａ アバタ表示要素
１３ 遠隔者（仮想訪問者）
１３ａ アバタ表示要素
１４ 仮想空間のイベントエリア
１５ 仮想訪問者端末の表示画面
１６ 訪問者端末の表示画面
１７ 通信網
１８ イベント関連商品
２０ ヘッドマウントディスプレイシステム
２１ ヘッドマウントディスプレイ
２２ 制御装置
２４ 周辺カメラ
２５ 空間データ
２６ ユーザ端末（遠隔者/仮想訪問者端末）
２６ａ 仮想訪問者の表示画面
２７ ユーザ端末（訪問者端末）
２７ａ 訪問者端末の表示画面
２８ 調整量データベース（調整量ＤＢ）
２８ａ 処理情報
２８ｂ 通信情報
３０ ＣＰＵ
３１ メモリ
３２ 入出力装置
３２ａ 操作部
３３ 接続ポート
３３ａ 記憶デバイス
３４ 通信回路
３５ バスライン
３６ サーバプログラム
３７ ブラウザプログラム
３８ ＯＳ
３９ 端末プログラム
４０ 変形例
４１ 変形例
２ 調整部
２ａ 情報量（調整量）
３ 現地情報取得部
３ａ 現地情報
４ 判定部
５ 更新部
６ 仮想空間処理部
６ａ 操作情報
７ 位置情報取得部
７ａ 位置情報
７ｂ 時刻情報
７ｃ 時空間情報
８ 画像情報取得部
８ａ 画像情報
９ 距離情報取得部
９ａ 距離情報
１０ 仮想空間の更新システム
１１ イベントエリア
１２ 訪問者
１２ａ アバタ表示要素
１３ 遠隔者（仮想訪問者）
１３ａ アバタ表示要素
１４ 仮想空間のイベントエリア
１５ 仮想訪問者端末の表示画面
１６ 訪問者端末の表示画面
１７ 通信網
１８ イベント関連商品
２０ ヘッドマウントディスプレイシステム
２１ ヘッドマウントディスプレイ
２２ 制御装置
２４ 周辺カメラ
２５ 空間データ
２６ ユーザ端末（遠隔者/仮想訪問者端末）
２６ａ 仮想訪問者の表示画面
２７ ユーザ端末（訪問者端末）
２７ａ 訪問者端末の表示画面
２８ 調整量データベース（調整量ＤＢ）
２８ａ 処理情報
２８ｂ 通信情報
３０ ＣＰＵ
３１ メモリ
３２ 入出力装置
３２ａ 操作部
３３ 接続ポート
３３ａ 記憶デバイス
３４ 通信回路
３５ バスライン
３６ サーバプログラム
３７ ブラウザプログラム
３８ ＯＳ
３９ 端末プログラム
４０ 変形例
４１ 変形例
【要約】 （修正有）
【課題】現実空間の訪問者とそれを模した仮想空間を訪れる仮想訪問者とが交流する仮想空間の空間データを更新する方法及びサーバ装置を提供する。
【解決手段】仮想空間の更新システムにおいて、位置情報７ａ及び時刻情報７ｂを取得する現実空間の訪問者の訪問者端末２７から得られる画像情報８ａに基づいて、現実空間の位置に対応する座標を有する仮想空間の空間データを更新するサーバ装置であって、時空間情報７ｃ、時空間情報に対応する画像情報８ａ及び画像情報に対応する対象物までの距離情報からなる現地情報３ａを取得する現地情報取得部３と、現地情報に基づいて、空間データを更新する更新部５と、を含む。現地情報は、きわめて大量になり得るため、サーバ装置の演算能力と現地からサーバ装置までの通信量による制限を、撮像データの深度を制御することによって仮想空間の生成／更新の即時性を確保する。
【選択図】図２
【解決手段】仮想空間の更新システムにおいて、位置情報７ａ及び時刻情報７ｂを取得する現実空間の訪問者の訪問者端末２７から得られる画像情報８ａに基づいて、現実空間の位置に対応する座標を有する仮想空間の空間データを更新するサーバ装置であって、時空間情報７ｃ、時空間情報に対応する画像情報８ａ及び画像情報に対応する対象物までの距離情報からなる現地情報３ａを取得する現地情報取得部３と、現地情報に基づいて、空間データを更新する更新部５と、を含む。現地情報は、きわめて大量になり得るため、サーバ装置の演算能力と現地からサーバ装置までの通信量による制限を、撮像データの深度を制御することによって仮想空間の生成／更新の即時性を確保する。
【選択図】図２
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】