IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

<>
  • -仮想空間の更新方法及びサーバ装置 図1
  • -仮想空間の更新方法及びサーバ装置 図2
  • -仮想空間の更新方法及びサーバ装置 図3
  • -仮想空間の更新方法及びサーバ装置 図4
  • -仮想空間の更新方法及びサーバ装置 図5
  • -仮想空間の更新方法及びサーバ装置 図6
  • -仮想空間の更新方法及びサーバ装置 図7
  • -仮想空間の更新方法及びサーバ装置 図8
  • -仮想空間の更新方法及びサーバ装置 図9
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2025-03-07
(45)【発行日】2025-03-17
(54)【発明の名称】仮想空間の更新方法及びサーバ装置
(51)【国際特許分類】
   G06T 19/00 20110101AFI20250310BHJP
   H04L 67/131 20220101ALI20250310BHJP
【FI】
G06T19/00 A
G06T19/00 600
H04L67/131
【請求項の数】 13
(21)【出願番号】P 2024130245
(22)【出願日】2024-08-06
(62)【分割の表示】P 2023207268の分割
【原出願日】2023-12-07
【審査請求日】2024-08-19
【早期審査対象出願】
(73)【特許権者】
【識別番号】523463373
【氏名又は名称】アセンブラ合同会社
(74)【代理人】
【識別番号】100183564
【弁理士】
【氏名又は名称】西村 伸也
(72)【発明者】
【氏名】太田 裕之
【審査官】鈴木 明
(56)【参考文献】
【文献】特許第7300220(JP,B1)
【文献】国際公開第2023/152976(WO,A1)
【文献】特開2016-122277(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 19/00
H04L 67/131
(57)【特許請求の範囲】
【請求項1】
更新部を備えるサーバ装置と、位置情報取得部、画像情報取得部及び距離情報取得部を備えると共に現実空間のイベントエリアを訪問する訪問者の保持する訪問者端末とにより実行され、前記現実空間の位置に対応する座標を有する仮想空間の空間データを更新する方法であって、
前記訪問者端末と通信可能に接続され、前記仮想空間を訪問する仮想訪問者の保持する仮想訪問者端末の表示部に更新された前記仮想空間の前記イベントエリアが表示されるものであり、
前記訪問者端末が、前記位置情報取得部が取得する時刻情報と位置情報とからなる時空間情報、前記画像情報取得部が取得する前記時空間情報に対応する画像情報及び前記距離情報取得部が取得する前記訪問者端末から前記画像情報に対応する対象物までの距離情報からなる現地情報を取得するステップと、
前記更新部が、前記空間データのうち前記現地情報に対応する前記空間データを、記現地情報に基づいて更新するステップとからなる、仮想空間の更新方法。
【請求項2】
前記距離情報取得部は、Lidarセンサを用いて前記距離情報を取得する、請求項1記載の仮想空間の更新方法。
【請求項3】
前記サーバ装置が判定部を備えており、前記判定部が、前記現情報に対応する前記空間データと既存の空間データとに差異があるかないかを判定するステップを備えており、
前記差異がある場合に、前記既存の空間データの前記差異のある部分を更新する、請求項1又は2記載の仮想空間の更新方法。
【請求項4】
更新部及び調整部を備えるサーバ装置と、位置情報取得部、画像情報取得部及び距離情報取得部を備えると共に現実空間の訪問者の保持する訪問者端末とにより実行され、前記現実空間の位置に対応する座標を有する仮想空間の空間データを更新する方法であって、
前記訪問者端末が、前記位置情報取得部が取得する時刻情報と位置情報とからなる時空間情報、前記画像情報取得部が取得する前記時空間情報に対応する画像情報及び前記距離情報取得部が取得する前記訪問者端末から前記画像情報に対応する対象物までの距離情報からなる現地情報を取得するステップと、
前記更新部が、前記現地情報に基づいて、前記空間データを更新するステップと、
記調整部が、前記現地情報を取得するステップの前に、前記サーバ装置の処理速度に関する処理情報および/または前記サーバ装置と前記訪問者端末の間の通信速度に関する通信情報が低下すると、前記距離情報取得部で取得すべき距離および/または前記距離情報を取得する範囲を減じる調整する調整ステップを備えている、仮想空間の更新方法。
【請求項5】
前記空間データが、前記現実空間に設置されている周辺カメラにより、所定時刻毎に更新される、請求項1又は2記載の仮想空間の更新方法。
【請求項6】
前記周辺カメラは、Lidarセンサを用いて、前記空間データを更新する、請求項5記載の仮想空間の更新方法。
【請求項7】
現実空間の位置に対応する座標を有する仮想空間の空間データを更新するサーバ装置であって、
前記現実空間のイベントエリアの訪問者の保持する訪問者端末から得られる、時刻情報と位置情報とからなる時空間情報、前記時空間情報に対応する画像情報及び前記訪問者端末から前記画像情報に対応する対象物までの距離情報からなる現地情報を取得する現地情報取得部と、
前記空間データのうち前記現地情報に対応する空間データを、記現地情報に基づいて更新する更新部とからな
前記訪問者端末と通信可能に接続され、前記仮想空間を訪問する仮想訪問者の保持する仮想訪問者端末の表示部に更新された前記仮想空間の前記イベントエリアが表示されるものである、サーバ装置。
【請求項8】
前記距離情報は、Lidarセンサを用いて取得される、請求項7記載のサーバ装置
【請求項9】
前記現情報に対応する前記空間データと既存の空間データとに差異があるかないかを判定する判定部を備えており、
前記差異がある場合に、前記既存の空間データの前記差異のある部分を更新する、請求項7又は8記載のサーバ装置。
【請求項10】
現実空間の位置に対応する座標を有する仮想空間の空間データを更新するサーバ装置であって、
前記現実空間の訪問者の保持する訪問者端末から得られる、時刻情報と位置情報とからなる時空間情報、前記時空間情報に対応する画像情報及び前記訪問者端末から前記画像情報に対応する対象物までの距離情報からなる現地情報を取得する現地情報取得部と、
前記現地情報に基づいて、前記空間データを更新する更新部と、
自身の処理速度に関する処理情報および/または訪問者端末との間の通信速度に関する通信情報が低下すると、前記訪問者端末の距離情報取得部で取得すべき距離および/または前記距離情報を取得する範囲を減じる調整をする調整部とを備えている、サーバ装置。
【請求項11】
前記空間データは、前記現実空間に設置されている周辺カメラにより、所定時刻毎に更新される、請求項7又は8記載のサーバ装置。
【請求項12】
前記周辺カメラは、Lidarセンサを用いて、前記空間データを更新する、請求項11記載のサーバ装置。
【請求項13】
サーバ装置と、現実空間のイベントエリアを訪問する訪問者の保持する訪問者端末と、仮想空間を訪問する仮想訪問者の保持する仮想訪問者端末とを備えており、前記現実空間の位置に対応する座標を有する前記仮想空間の空間データを更新するシステムであって、
前記訪問者端末が、時刻情報と位置情報とからなる時空間情報を取得する位置情報取得部、前記時空間情報に対応する画像情報を取得する画像情報取得部及び前記訪問者の訪問者端末から前記画像情報に対応する対象物までの距離情報を取得する距離情報取得部を備えており、
前記サーバ装置が、前記空間データのうち、前記時空間情報、画像情報及び距離情報からなる現地情報に対応する空間データを、前記現地情報に基づいて更新する更新部を備えており、
前記仮想訪問者端末が、前記訪問者端末と通信可能に接続され、更新された前記仮想空間の前記イベントエリアを表示する表示部を備えている、システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、現実空間を訪問する訪問者と仮想空間を訪問する仮想訪問者とが、仮想空間を介して交流するための仮想空間の空間データに関するものである。
【背景技術】
【0002】
近年、仮想空間を用いた多くの技術が開発されている。それらの技術は、仮想空間を介してユーザに新たな体験を提供している。また、例えば、デジタルツインと呼ばれる技術では、現実空間の情報を取得し、現実空間の環境を再現し、現実世界と対になる仮想空間を構築している。
【0003】
特許文献1には、仮想空間の農園及び現実の農園を介するコミュニケーション方法に用いるサーバ装置が開示されている。
そのサーバ装置は、前記仮想空間の農園を訪問している仮想訪問者のユーザ端末に送信すべく、前記農園の訪問者又は前記仮想空間の農園の仮想訪問者を特定するための特定情報に基づいて、予め登録された人物情報を取得する人物情報取得手段と、前記仮想訪問者の操作に基づく前記仮想空間の農園を移動する視点画像を前記仮想訪問者のユーザ端末に送信する仮想空間処理手段と、前記訪問者の位置情報を取得する座標取得手段とを備えている。前記仮想空間処理手段は、前記位置情報に対応する前記仮想空間の農園における座標位置に、予め設定された前記訪問者のアバタ表示要素を表示する。
【先行技術文献】
【特許文献】
【0004】
【文献】特許第7300220号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
デジタルツインでは、現実空間と対となる仮想空間が存在しているから、仮想空間において、現実空間の経時変化を取り込むのがよい。例えば、仮想農園/仮想イベント空間において、現実空間の訪問者と仮想空間の仮想訪問者とが同時に、同じ/類似する風景の中で、両者が同じ/または類似する体験を共有できると、両者の共感を促すことができる。しかし現実空間の全ての変化を仮想空間に取り込むのは煩雑であり、演算のためのサーバ装置の処理速度に限界があり、またそのデータを時間当たりに通信する量には限度がある。
【0006】
そこで本発明は、現実空間の訪問者と仮想空間の仮想訪問者とが前記仮想空間を介して交流する仮想空間の空間データを更新する方法及び仮想空間の空間データを更新するサーバ装置を提供することを課題とする。
【課題を解決するための手段】
【0007】
(1)本発明の仮想空間の更新方法は、サーバ装置及びユーザ端末で実行され、時刻情報および位置情報を取得する現実空間の訪問者のユーザ端末から得られる画像情報に基づいて、前記現実空間の位置に対応する座標を有する仮想空間の空間データを更新する方法であって、前記時空間情報、前記時空間情報に対応する前記画像情報及び前記画像情報に対応する対象物までの距離情報からなる現場情報を取得するステップと、前記時現場情報に基づいて、前記空間データを生成/更新するステップとからなることを特徴としている。
【0008】
(2)このような仮想空間の更新方法は、前記現場情報に対応する前記空間データとの間に所定の差異の有無を判定するステップを備えており、前記差異が有る場合に、前記空間データの前記差異のある部分を更新するのが好ましい。
【0009】
(3)また前記差異がない場合には更新しないのが好ましい。
【0010】
(4)また前記取得ステップの前に、前記サーバ装置の処理速度に関する処理情報および/または前記サーバ装置とユーザ端末の間の通信速度に関する通信情報に応じて、取得すべき前記距離情報の情報量を調整する調整ステップを備えているのが好ましい。
【0011】
(5)本発明の他の態様のサーバ装置は、時刻情報および位置情報を取得する現実空間の訪問者のユーザ端末から得られる画像情報に基づいて、前記現実空間の位置に対応する座標を有する仮想空間の空間データを更新するサーバ装置であって、前記時空間情報、前記時空間情報に対応する前記画像情報及び前記画像情報に対応する対象物までの距離情報からなる現地情報を取得する取得部と、前記時現地情報に基づいて、前記空間データを生成/更新する更新部とからなることを特徴としている。
【0012】
(6)このようなサーバ装置は、前記現場情報に対応する前記空間データとの間に所定の差異の有無を判定する判定部を備えており、前記差異が有る場合に、前記空間データの前記差異のある部分を更新するのが好ましい。
【0013】
(7)また前記差異がない場合には更新しないのが好ましい。
【0014】
(8)また前記サーバ装置の処理速度に関する処理情報および/または前記サーバ装置とユーザ端末の間の通信速度に関する通信情報に応じて、取得すべき前記距離情報の情報量を調整する調整部を備えているのが好ましい。
【0015】
・「位置情報」とは、実際のイベントエリアに訪問している訪問者のイベントエリア内における位置に関する情報であり、例えば、二次元又は三次元の点を示す座標や、平面又は空間などの所定の範囲を示す座標や、それらに換算できる量を含む概念である。例えば、緯度、経度で表される情報、またさらには高度を加えて表される情報であってもよい。さらに「位置情報」は、例えば、緯度、経度、高度に換算できる別の指標値で表される情報であってもよい。
また訪問する場所が農園の場合は、実際の農園に訪問している訪問者の農場内における位置に関する情報であり、例えば、二次元又は三次元の点を示す座標や、平面又は空間などの所定の範囲を示す座標や、それらに換算できる量を含む概念である。
・「時刻情報」とは、位置情報が特定された時刻を示す情報である。また「時刻情報」は、日本の時刻でも、海外の時刻でも、基準となる時刻に対する時刻経過でもよい。さらに「時刻情報」は、例えば、時刻や、基準となる時刻に対する時刻経過に換算できる別の指標値で表される情報であってもよい。
・「画像情報」とは、ユーザ端末で撮影された画像や動画のデータであり、それらに換算できるデータを含む概念である。
・「距離情報」とは、ユーザ端末から画像情報で撮影された箇所までの距離に関する情報であり、それらに換算できる量を含む概念である。
・「座標位置情報」とは、仮想空間における二次元又は三次元の点を示す座標や、平面又は空間などの所定の範囲を示す座標であり、それらに換算できる量を含む概念である。
・「処理情報」とは、サーバ装置の処理速度に関する処理情報である。処理情報は、サーバ装置のCPUの性能、メモリの空き容量、ハードディスクの読み書きの速度、サーバ装置の混雑度合い(収容人数・負荷)、PHP(Hypertext Preprocessor)の処理方法などにより影響を受ける。
・「通信情報」とは、サーバ装置とユーザ端末の間の通信速度に関する通信情報である。
【発明の効果】
【0016】
容易に仮想空間の空間データを更新することができる。
【図面の簡単な説明】
【0017】
図1】仮想空間の更新システムの概略を示す模式図である。
図2】仮想空間の更新システムを示す機能ブロック図である。
図3】訪問者及び仮想訪問者のユーザ端末の画面表示の様子を示す概略図である。
図4】サーバ装置のハードウェア構成の一例を示す概略図である。
図5】ユーザ端末のハードウェア構成の一例を示す概略図である。
図6】ヘッドマウントディスプレイユニットのハードウェア構成の一例を示す概略図である。
図7】更新処理の流れを示す一実施形態を示すフローチャートである。
図8】調整量データベースのデータ構造を示す
図9】空間データの差異を示す概略図である。
【発明を実施するための形態】
【0018】
[1.概要]
本実施形態に係る仮想空間の更新システムは、デジタルツインの環境において、現実空間の変化を仮想空間の空間データに反映(更新)させるものである。予め記録された空間データではなく、いまその場で起こっている現象を現実の訪問者の力を借りて、仮想訪問者に体験させる。
具体的には、現実空間の訪問者のユーザ端末から得られる現地情報、すなわち時空間情報(時刻情報及び位置情報)、画像情報及びユーザ端末から画像情報の対象物までの距離情報に基づき、空間データを更新する。
その際に、訪問者の現地情報で全てを更新すると、データ量および演算量が増大する。このため更新すべき情報量としての深度や範囲を絞る。その絞る程度は、サーバ装置・システムの演算能力・通信速度のそれぞれ応じて調整する。
仮に情報量を絞ったとしても、現実空間の複数の訪問者による、更新すべき範囲の部分的、且つ、連続的な更新により、仮想訪問者の手元の必要な部分のリアルタイム性と空間全体の概ねのイメージの合成により、デジタルツインにおける実用的な仮想空間を構成できる。
【0019】
また、現実空間の訪問者が注目すべき現地情報は、特定の場所・時刻に集中する傾向にある。このため、空間データの全部を更新しなくても、効率的に空間データを更新できる。
【0020】
仮想空間の更新システムは、例えば、観光地の朝市、漁港に帰ってきた船から水揚げされた魚、青空市場、骨とう品や中古の衣料、雑貨販売店など、その場限りで現品のみのもの、あるいは、バナナのたたき売りのような、売り手と買い手の交渉がひとつの体験として価値があるものを対象にするのがよい。その他、オーロラやブリザードなど、仮想訪問者が観光として体験することができる。
【0021】
[2.概要説明]
(仮想空間の更新システム10の概要)
まず、図1を用いて仮想空間の更新システムの概略を説明する。図1に示す仮想空間の更新システム(以下システムという。)10は、マーケット/朝市など(イベントエリア)11を訪れる訪問者12と、イベントエリア11に訪れていない、例えば自宅にいる遠隔者13との間で主に利用される。遠隔者13としては、イベントエリア11の撮像から形成した撮像空間又は前記撮像を模して形成した疑似空間の3次元空間データからなる仮想空間のイベントエリア14(図3参照)に訪れる仮想訪問者13を含んでいる。
【0022】
仮想訪問者13は、例えば、イベントに参加のため、イベントに出展するため、イベント関連商品18を確認/購入するため、若しくは、他の参加者/出展者と交流するために、仮想空間のイベントエリア14を訪問する。また仮想訪問者13は、仮想空間のイベントエリア14を訪問している他の仮想訪問者13と交流することができる。
【0023】
イベント関連商品18を販売する販売店は、例えば、イベントエリア11や仮想空間のイベントエリア14内の販売店を含み、道の駅、地域の商店、デパート、スーパーマーケット、コンビニエンスストアを含み、それらに換算できる概念である。
【0024】
(イベントエリア11)
イベントエリア11とは、特に限定されないが、一例を挙げると、特定のイベントが開催されるようなイベント会場を含み、屋外及び/又は屋内で催されるイベントのためのエリアである。イベント会場としては、例えば、街角、武道館、展示場、美術館、寺院、教会、遊園地、コンサートホール、体育館、学校、講堂、野球場、陸上競技場、公園、農園、農場、牧場、介護施設、ケア施設、病院などである。
イベントとしては、一例を挙げると、万博博覧会などの博覧会、展示会、販売会、物産展、会議、コンサート、演劇、音楽会、運動会、競技会、お祭り、花火大会、観光イベントなどである。イベントには観光も含まれる。
なお他の仮想空間のイベントエリアと連携することにより、他の仮想空間同士を行き来できる。
【0025】
(仮想空間のイベントエリア14)
仮想空間のイベントエリア14(図3参照)は、イベントエリア11の撮像から形成した撮像空間又は前記撮像及び深度(距離情報9a)により演算して形成した疑似空間の3次元空間データからなる空間データである。
【0026】
[3.各構成]
(システム10)
次に図2の機能ブロック図を用いて
本発明の一実施形態に係るシステム10を説明する。
【0027】
システム10は、サーバ装置1と、仮想訪問者13の保持するユーザ端末26(以下、遠隔者端末/仮想訪問者端末という。)と、訪問者12の保持するユーザ端末27(以下、訪問者端末という。)とからなる。サーバ装置1、仮想訪問者端末26及び訪問者端末27は、インターネット(イントラネット)等の通信網17(図1参照)を介して、それぞれ通信可能に接続されている。なお後述するが、符号20はヘッドマウントディスプレイシステムである(図6参照)。
なお遠隔者13は仮想空間のイベントエリア14を訪問しないで、訪問者12とテキスト情報で交流することもできる。
【0028】
(サーバ装置1)
サーバ装置1は、本実施形態においては、例えばパソコン(パーソナルコンピュータ)を用いている。サーバ装置1は、主として、調整部2、現地情報取得部3、判定部4、更新部5とを備えている。またサーバ装置1は、さらに仮想空間処理部6を備えている。
【0029】
(仮想訪問者端末26)
仮想訪問者端末26は、本実施形態においては、例えば、スマートフォンである。なお、装着もしくは着用出来るコンピュータとしてのウェアラブルコンピュータ、ヘッドマウントディスプレイシステム、携帯電話、タブレット型端末、パソコン(パーソナルコンピュータ)などでもよい。
仮想訪問者端末26(20)は、主として、位置情報取得部7、画像情報取得部8とを備えている。また仮想訪問者端末26(20)は、さらに距離情報取得部9を備えていてもよい。
仮想訪問者端末26(20)は、表示部26a(20a)を備えている。符号20aは、ヘッドマウントディスプレイシステムの表示部である(図6参照)。仮想訪問者端末26(20)は、仮想現実(VR)として、仮想空間の視点画像に訪問者12のアバタ表示要素を表示する。また仮想訪問者端末26は、例えば、ジャイロセンサなどを使用して、現在位置や向きを識別する。
【0030】
(訪問者端末27)
訪問者端末27は、本実施形態では、仮想訪問者端末26(20)とほぼ同じであるので、同じ部分には同じ符号を付して、その説明を省略する。本実施形態では、訪問者12は、スマートグラス、ARグラスといった訪問者端末27を装着している。訪問者端末27は、拡張現実(AR)として、現実のイベントエリア11の風景の視界にデジタル画像としての予め登録されたアバタ表示要素を投影する。スマートグラス、ARグラスの表示部27aは、透過して風景を視覚でき、且つ、デジタル画像を重ねて表示する部分である。
【0031】
(位置情報取得部7)
位置情報取得部7は、訪問者端末27の位置情報7a及び時刻情報7bを取得する機能を有する。例えば、位置情報取得部7は、GPS(Global Positioning System)センサを用いて、位置情報を取得する。また、GPSセンサ以外の測位方法、例えば、WiFi測位、ビーコン測位を用いてもよい。WiFi測位、ビーコン測位を用いて室内での位置を識別できる。なお位置情報7a及び時刻情報7aは時空間情報7cを構成する。
【0032】
(画像情報取得部8)
画像情報取得部5は、イメージセンサやRGBセンサなどの撮像センサである。例えば、CCD(Charge Coupled Device)イメージセンサ、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどを備えた従来公知の装置である。撮像センサは、例えば、周囲光をフォトダイオードで受光してRGB値を検出し、カラー画像を得る。
画像情報取得部8は画像情報8aを生成する。画像情報取得部8は、訪問者端末27に組み込まれて、一体にされていてもよいし、訪問者端末27とは別体であってもよい。なお画像情報取得部8にマイクなどの収音装置(図示せず)を備えていてもよい。
【0033】
(距離情報取得部9)
距離情報取得部9は、生成された画像情報8aにおける対象物までの距離(深度)に関する距離情報9aを取得する。また調整部2から情報量(調整量)2aを受けとると、探索深度を短くして、距離情報9aの情報量2aを絞る(減じる)。なお絞った情報量2aを元に戻すこともある。
次いで減じた距離情報9aをサーバ装置1に送信する。その際に減じられた距離情報9aに対応する画像情報8aも減じられる。結果として、探索深度の短い、例えば、手元側の画像情報8a及び距離情報9aがサーバ装置1に送信される。
なお、距離情報9aに紐付けられていない部分の画像情報8aをサーバ装置1に送信してもよい。
距離の取得は公知の技術を用いることができ、例えば、Lidar(Light Detection and Ranging)センサや、iToF(Indirect Time of Flight)センサや、赤外光を用いる三角測量の方式等を用いることができる。その他、ステレオカメラを用いてもよい。
また、後述する空間データ25の取得にVisual SLAMを用いる場合は、2つ以上の画像情報8aから距離情報取得部9により距離情報9aを取得する。複数の画像情報8aは複数の訪問者端末27から取得してもよいし、1つの訪問者端末27が異なる位置で取得した画像情報8aとして取得してもよい。選択される複数の画像情報8aは予め定められた時刻情報7bの範囲内に取得されたものを用いるのがよい。
【0034】
(空間データ25)
更新のための空間データ25(図9参照)の取得は、公知の技術を採用することができ、一例として、SLAM(Simultaneous Localization and Mapping)と呼ばれる技術を用いることができる。SLAMは、自身が今どこにいるのかを推測する「自己位置推定」と、その周辺がどういう状況にあるのかを把握する「環境地図作成」を同時に行う技術の総称である。SLAMは搭載するセンサによって、Depth SLAM、Visual SLAM、LiDAR SLAMなどがある。
更新される前の既存の空間データは、2次元/3次元データを収集する周辺カメラ24(図1参照)により生成される。
【0035】
(周辺カメラ24)
周辺カメラ24は、3次元データの画像を生成し、表示すべき仮想空間を作成し、空間データとして記憶部31に記憶する。本実施形態では、周辺カメラ24は、イベントエリア11に固定して設置されている。設置される周辺カメラ24は複数個でもよい。本実施形態では、周辺カメラ24は、所定時刻毎、例えば1月毎にイベントエリア11を撮影し、空間データ25を更新している。
【0036】
(調整部2)
調整部2は、サーバ装置1の処理速度に関する処理情報および/またはサーバ装置1と訪問者端末27の間の通信速度に関する通信情報に応じて、取得すべき距離情報9aの情報量2a(図2参照)を調整する。情報量2aに換算できる量として距離情報取得部9の調整量としてもよい。調整量としては、例えば、距離情報取得部9で取得すべき距離(深度)及び/又は距離情報を取得する範囲である。調整部2は訪問者端末27に情報量2aを伝達する。
なお現地情報取得部3で、調整された情報量2aとなるように、余分な情報を削除して、サーバ装置1の演算量を減じるようにしてもよい。
【0037】
(現地情報取得部3)
現地情報取得部3は、時空間情報7c、時空間情報7cに対応する画像情報8a及び画像情報8aに対応する対象物までの距離情報9aからなる現地情報3aを取得する。次いで、現地情報3aに基づく空間データと既存の空間データ25との位置合わせをする。位置合わせは、公知の技術を用いることができる。例えば、現地情報3aに基づく空間データと既存の空間データ25とから特徴点を抽出し、特徴点に基づいて、互いの空間データの座標を合わせてもよい。一例として、特徴点の抽出は、例えば、画像情報8aを使用して、矩形の頂点を抽出して行われる。
【0038】
また現地情報取得部3は、仮想訪問者端末26(20)で表示している視点画像に対応する3次元空間における座標位置(視点座標)を取得している。例えば、本実施形態では、視点座標に基づいて、自分以外の仮想訪問者13を表すアバタ表示要素を表示部26a(20a)に表示している。なお自分を示すアバタ表示要素を自分の端末26(20)の表示部26a(20a)に表示するようにしてもよい。
【0039】
(判定部4)
判定部4は、現地情報3aに対応する座標の空間データ25との間の所定の差異の有無を判定する。差異が有る場合に、空間データ25の差異のある部分25a(図9参照)を更新する。一方で、差異がない場合には更新しない。
判定は、公知の技術を用いて行われる。一例として、得られた現地情報3aと既存の空間データ25の点群データとしての3次元座標値(X、Y、Z)及び/又は色の情報(R、G、B)に基づいて、3次元座標及び/又は色の情報に予め定めた以上の相違があるかどうかを判定する。例えば、複数の値に所定以上の相違がある場合に差異があることを判定する。相違する座標を含む所定の範囲を差異のある部分25aとする。
その他、現地情報3aから生成される空間データと既存の空間データ25とから機械学習の学習モデルを用いて、所定の差異のある部分25aを抽出してもよい。
【0040】
(更新部5)
更新部7は、差異のある部分25aを対応する既存の空間データ25に置き換える/上書きして更新する。
【0041】
(仮想空間処理部6)
仮想空間処理部6は、仮想訪問者端末26(20)の入出力装置32(操作部32a)から出力される操作量に関する操作情報6aに基づいて、仮想訪問者端末26(20)の表示部27a(20a)に表示すべき仮想画像を生成する(図3参照)。例えば、ヘッドマウントシステム20の制御装置21と協働して、表示部20aに表示するための画像等の生成や各種の演算処理等を行う。
【0042】
(表示部26a、27a、20a)
表示部26a、27a、20aとしては、例えば、液晶ディスプレイ(LCD:Liquid Crystal Display)、プラズマディスプレイ(PDP:Plasma Display Panel)、有機EL(EL:Electroluminescence)などの画像を表示する装置が用いられる。また表示部にタッチパネルを設けてもよい。タッチパネルは、ユーザからの操作によりそれに応じた出力信号を出力する。ユーザは、タッチパネルを操作することによって、表示部26a、27a、20aに表示された情報の選択等の操作を行うことができる。
【0043】
図3は、訪問者12及び仮想訪問者13のユーザ端末27、26の画面表示の様子を示す概略図である。アバタ表示要素12a、13aは、例えば、訪問者12、仮想訪問者13の撮像から形成した撮像画像又は前記撮像を模して形成した疑似画像の2次元又は3次元空間データからなる。なお撮像と関係なく、好みの画像をアバタ表示要素としてもよい。
【0044】
(訪問者12のアバタ表示要素12a)
具体的には、訪問者端末27は、GPSまたは屋内測位の技術に基づいて、イベントエリア11内における位置情報7aを取得し、その位置情報7aをサーバ装置1の現地情報取得部3に送信する。サーバ装置2の仮想空間処理部6は、位置情報4aに対応する仮想空間の座標位置に換算し、その座標位置に表示すべき訪問者12のアバタ表示要素12aを仮想訪問者端末26(20)に送信する。
【0045】
(仮想訪問者(遠隔者)13のアバタ表示要素13a)
一方、サーバ装置1は、仮想訪問者13の仮想空間の座標位置に関する座標位置情報を取得する。仮想空間処理部6は、取得した座標位置情報に対応するイベントエリア11の位置で、且つ、訪問者12の訪問者端末27を通した視界に重ねて表示すべき、予め設定された仮想訪問者のアバタ表示要素13aを訪問者端末27に送信する。
【0046】
(表示画面)
次に図3を用いて、仮想訪問者端末26(20)、訪問者端末27の画面表示の様子を説明する。図に示している画面表示は、上段が仮想訪問者端末26(20)の表示部の表示画面26aであり、下段が訪問者端末27の表示部の表示画面27aである。
【0047】
(仮想訪問者端末の表示画面26a)
仮想訪問者端末26(20)の表示画面26aには、イベントエリア11の撮像から形成した撮像空間又は前記撮像を模した形成した疑似空間の2次元又は3次元空間データからなる仮想空間のイベントエリア14が表示されている。本実施形態では、撮像で形成された3次元空間データからなる仮想空間が表示されている。
【0048】
(訪問者端末の表示画面27a)
訪問者端末27の表示画面27aは、イベントエリア11の撮像又はスマートグラスなどを介して透過した訪問者12の視界に相当する。表示画面27aには仮想訪問者13のアバタ表示要素13aが表示されている。符号18は農作物(イベント関連商品)である。
【0049】
アバタ表示要素12a、13aをユーザ操作により入出力装置32で選択したり、又は、表示部の対応する部位を指でタッチしたりすることにより、対応する人物又は商品をそれぞれ選択することができる。
【0050】
[3.ハードウェア構成]
次に図4図5及び図6用いて、それぞれサーバ装置1、ユーザ端末26、27及びヘッドマウントディスプレイシステム20のハードウェア構成を説明する。
【0051】
(サーバ装置1のハードウェア構成)
図4に示すように、本実施形態のサーバ装置2では、例えばコンピュータを用いている。
そのコンピュータはCPU30を備えたものである。そのCPU30には、メモリ(以下、記憶部という。)31と、キーボード、マウス等を含む入出力装置32と、記憶デバイス33aなどを接続/読み込むための接続ポート33と、ネットワークを介して外部と通信するための通信回路34とがバスライン35を介して接続されている。記憶部31には、調整量データベース(調整量DB)28、現地情報23、さらにはシステム10を処理するためのサーバプログラム36、ブラウザプログラム37、さらにはOS38(オペレーティングシステム)が記憶されている。
【0052】
本実施形態では、サーバプログラム36は、OS38およびブラウザプログラム37の機能を利用して協働して動作する。なおサーバプログラム36として、ブラウザプログラム37、OS38を利用せず、単独で動作するようにしてもよい。サーバプログラム36は、例えば、記憶デバイス33aに保存されている。接続ポート33から記憶デバイス33aを読み込むことにより、サーバプログラム36がサーバ装置1にインストールされる。
【0053】
(ユーザ端末26、27のハードウェア構成)
次いで、ユーザ端末のハードウェア構成を説明する。ユーザ端末は、仮想訪問者端末26及び訪問者端末27として用いられる。ここでは、仮想訪問者端末26のハードウェア構成を説明し、訪問者端末27の説明を省略する。
仮想訪問者端末26のハードウェア構成は、前述のサーバ装置1のハードウェア構成とほぼ同じであるので、同じ部分には同じ符号を付して、その説明を省略する。
図5に示すように、本実施形態の仮想訪問者端末26では、例えば、例えば、スマートフォン、ノートパソコン、ヘッドマウントディスプレイなどを用いてもよい。
仮想訪問者端末26はCPU30を備えたものである。そのCPU30には、記憶部31と、記憶デバイス33aなどを接続/読み込むための接続ポート33と、ネットワークを介して外部と通信するための通信回路34とがバスライン35を介して接続されている。入出力装置32としては、例えば、マイク、スピーカ、操作部32aを備えている。なおマイク、スピーカ、操作部32aについては、後述するヘッドマウントディスプレイ20の対応する部位と同じである。記憶部31には、システム10を処理するためのユーザ端末プログラム39、ブラウザプログラム37、さらにはOS38(オペレーティングシステム)が記憶されている。ユーザ端末プログラム39は、例えば、記憶デバイス33aに保存されている。接続ポート33から記憶デバイス33aを読み込むことにより、ユーザ端末プログラム39がユーザ端末26、27にインストールされる。
【0054】
上述したサーバ装置1、仮想訪問者端末26及び訪問者端末27のハードウェア構成では、図2に示すシステムの機能を、例えば、CPU30とサーバプログラム36と、仮想訪問者端末(訪問者端末)プログラム39を用いて実現するようにしているが、その一部または全部をマイコンなどの論理回路、あるいは、PLC(プログラマブルロジックコントローラ)を用いてシーケンス制御してもよい。
【0055】
(ヘッドマウントディスプレイシステム20のハードウェア構成)
次いで、ヘッドマウントディスプレイシステム20のハードウェア構成を説明する。ヘッドマウントディスプレイシステム20のハードウェア構成は、前述の仮想訪問者端末26のハードウェア構成とほぼ同じ部分には同じ符号を付して、その説明を省略する。
【0056】
(ヘッドマウントディスプレイシステム20)
次に図6を用いて、仮想訪問者端末26としてのヘッドマウントディスプレイシステムを説明する。
図に示しているヘッドマウントディスプレイシステム20は、ユーザの頭部に装着するヘッドマウントディスプレイ21と、制御装置22とを備えている。なお以下に述べるヘッドマウントディスプレイシステム20は、一例であり、これに限られない。
【0057】
(ヘッドマウントディスプレイ21)
ヘッドマウントディスプレイ21は、主に仮想空間の画像が表示される表示部21aと、頭部位置検出センサ21bとからなる。本実施形態では、さらにスピーカ21c、マイク21d及び操作部21eを備えている。なおスピーカ21c、マイク21d及び操作部21eは、ヘッドマウントディスプレイ21と一体でなくてもよく、いずれか1つがヘッドマウントディスプレイ21と一体であってもよい。
【0058】
(表示部21a)
表示部21aは、ユーザの左右の目を覆うように、左右の目に対応する位置に左右の画像表示面をそれぞれ配置している。視差のある画像を左右の画像表示面にそれぞれ表示することによって3次元画像をユーザに表示してもよい。
【0059】
(頭部位置検出センサ21b)
頭部位置検出センサ21bは、ヘッドマウントディスプレイ21の向きや傾きなどの姿勢情報を検出する。姿勢情報を検出するセンサは、ジャイロセンサ、加速度センサ、角加速度センサなどを適宜組み合わせて実現される。ユーザの頭部の位置及び姿勢を検出し、その検出結果を、表示部21aが表示する仮想空間の3次元画像に反映させて、ユーザの頭部の動きに応じた視点位置から見た3次元画像(視点画像)を提示する。
【0060】
(スピーカ21c、マイク21d)
スピーカ21cは、音声を出力するものである。仮想空間内の現実の音声、仮想空間の状況を加味した音声・音楽、訪問者12、仮想訪問者13との対話による音声を出力する。
マイク21dには、訪問者12、仮想訪問者13と対話する際にユーザの音声が入力される。
【0061】
(操作部21e)
操作部21e(32a)は、例えば、操作レバー、操作ボタンを備えている。それらを操作することにより、表示部21aに表示された選択肢を選択し、選択した選択肢を決定する操作をすることができる。例えば、本実施形態では、仮想空間で購入可能な農産物が複数表示され、それらから購入する農産物を選択し、購入を決定するのに用いる。また操作部21eを操作することにより、視点位置から見た3次元画像を動かして、あたかもユーザ自身が仮想空間内で移動しているように体感させることができる。操作部21eは制御装置22と通信回路を通じて通信可能に接続されている。
【0062】
(制御装置22)
制御装置22のハードウェア構成は、前述のサーバ装置1又は仮想訪問者端末26のハードウェア構成とほぼ同じであるので、同じ部分には同じ符号を付して、その説明を省略する。制御装置22は、ヘッドマウントディスプレイ20の表示部21aに表示するための画像等の生成や各種の演算処理等を行う。
記憶部31には、表示部21aに表示する画像等の生成や各種の演算処理等を行うための処理プログラム等が格納されている。
【0063】
[4.プログラム]
(更新処理を示すフローチャート)
図7は、システム10の訪問者端末27で用いられるユーザ端末プログラム39およびサーバ装置1で用いられるサーバプログラム36の処理の一実施形態を示すフローチャートである。
【0064】
(S1:調整量を取得・送信する)
サーバ装置1は予め定められた演算式に基づいて、調整量2aを取得する。得られた調整量2aを訪問者端末27に送信する。
画像情報8aと距離情報9aは一体となった3Dデータ(現地情報3a)である。距離情報9aが深いところまであると、3Dデータの量が極めて大きくなる。このため訪問者端末27とサーバ装置1の間の可能な通信量を超えてしまう。また送られた現地情報3aが大きいと、サーバ装置1内での演算量がオーバーフローする。従って、サーバ装置1は、通信量のキャパシティとサーバ装置の演算能力を自身で判断し、訪問者端末27に対して3Dデータ(画像情報・距離情報からなる)の送信量(の抑制)をリクエストする。
また処理情報28a及び通信情報28bは、サーバ装置1にインストールした計測用のソフトウェアを実行することに取得してもよい。前記実行は、所定時刻毎に行ってもよい。
なお処理速度28a及び通信速度28bに基づいて調整量2aを取得するその他の手法を用いてもよい。
【0065】
(調整量DB28のデータ構造)
調整量2aの演算式による取得の他に、予め定めたテーブルにより調整量2aを取得してもよい。図8に調整量DBのデータ構造を示す。図に示している調整量DB28は、例えば、上段のテーブルは処理情報28aと調整量2aとの関係を示し、下段のテーブルは通信情報28bと調整量2aとの関係を示している。上下段のどちらのテーブルにおいても処理情報28a及び通信情報28bが低下すると、調整量2a(探索深度)は短くなる。処理情報28a及び通信情報28bからそれぞれの調整量2aを取得し、小さい方の値を採用すべき調整量2aとする。なお調整量DB28の調整量2aは情報量であってもよい。
【0066】
(S2:訪問者端末が距離情報を取得する)
訪問者端末27が調整量2aを取得すると、例えば、距離情報取得部9は調整量2aと同じか小さな距離情報9aを残し、大きな距離情報9aを削除する。このとき残すべき距離情報9aに対応する位置情報4a又は画像情報8aを残し、他を削除してもよい。訪問者端末27は、情報量が絞られた現地情報3aをサーバ装置1に送信する。
【0067】
(S3:サーバ装置が現地情報を取得する)
図7に戻って、サーバ装置1は現地情報3aを取得する。位置情報4aを座標位置情報に変換する。現地情報3aに基づく空間データと既存の空間データ25とから特徴点を抽出する。特徴点に基づいて、互いの空間データの座標を合わせる。
【0068】
(S4:差異を判定する)
現地情報3aに基づく空間データと既存の空間データ25とに差異があるか判定する。差異がある場合は、差異のある部分25aを抽出する。一方で、差異がない場合は終了する。
【0069】
図9は空間データの差異を示す概略図である。図にはイベントエリア11としてブドウ農園を示している。上段の図は既存の空間データ25である。下段の図は現地情報3aに基づく空間データである。下段の図に差異のある部分25a(二点鎖線参照)が記載されている。下段の図では、ブドウの実が成長している。
【0070】
(S5:更新する)
図7に戻って、差異のある部分25aを既存の空間データ25の対応する座標位置に置き換える/上書きする。
【0071】
[5.他の実施形態]
(変形例40)
次に、システム10の変形例または他の実施形態を説明する。システム40は、前述したシステム10とほぼ同様であるので、同じ部分には同じ符号を付して、その説明を省略する。
【0072】
システム40は、システム10に対し調整部2及び判定部3を備えていない。システム40は、例えば、複数の訪問者端末27から現地情報3aを取得することで、訪問者12の力を借りて、空間データ25を新たに生成することができる。
【0073】
システム41は、システム10に対し調整部2を備えていない。判定部2を備えているので、必要な部分だけ更新することができ、効率的である。
【0074】
[6.その他]
上述したヘッドマウントディスプレイシステム20では、ヘッドマウントディスプレイ21と制御装置22とを別体としても、一体としてもよい。
ヘッドマウントディスプレイシステム20は専用システムでなくてもよく、例えば、ゴーグル型のヘッドセットにスマートフォンを装着して使用するものでもよい。
ヘッドマウントディスプレイには、例えば、コンピュータグラフィックス等で作り出される仮想空間のみが表示されるVirtual Reality(VR)型のヘッドマウントディスプレイと、現実空間(例えば、光学的に透過されて表示される現実空間)と仮想空間とがリアルタイムで表示されるMixed Reality(MR)型のヘッドマウントディスプレイがある。本発明は、いずれのヘッドマウントディスプレイにも適用することができる。
距離情報取得部9について、レーザ光や電波の出力、受信部の感度を調節し、探索すべき距離(深度)を調整するようにしてもよい。
前述の実施形態に、変形例、他の実施形態、その他として記載した事項を、それぞれを適宜に組み合わせて用いることができる。
【0075】
[7.まとめ]
サーバ装置1は、時刻情報7bおよび位置情報7aを取得する現実空間の訪問者のユーザ端末27から得られる画像情報8aに基づいて、前記現実空間の位置に対応する座標を有する仮想空間の空間データ25を更新するサーバ装置であって、時空間情報7c、時空間情報に対応する画像情報8a及び画像情報に対応する対象物までの距離情報9aからなる現地情報3aを取得する現地情報取得部3と、現地情報に基づいて、空間データ25を生成/更新する更新部5とからなることを特徴としている。
このため、複数の訪問者端末27から現地情報3aを取得することで、訪問者12の力を借りて、空間データ25を新たに生成したり、更新したりすることができる。
【0076】
このようなサーバ装置1は、現地情報3aに対応する空間データ25との間に所定の差異の有無を判定する判定部3を備えており、前記差異が有る場合に、空間データ25の差異のある部分25aを更新するので、必要な部分だけ更新することができ、効率的である。
【0077】
また差異がない場合には更新しないので、一層、効率的である。
【0078】
またサーバ装置1の処理速度に関する処理情報28aおよび/またはサーバ装置1とユーザ端末26、27の間の通信速度に関する通信情報28bに応じて、取得すべき距離情報9aの情報量2aを調整する調整部2を備えているので、現実空間の複数の訪問者12による、更新すべき範囲の部分的、且つ、連続的な更新により、仮想訪問者13の手元の必要な部分をリアルタイム/ほぼリアルタイムで、空間全体として概ねのイメージとして合成するので、デジタルツインにおける実用的な仮想空間を構成できる。
【符号の説明】
【0079】
1 サーバ装置
2 調整部
2a 情報量(調整量)
3 現地情報取得部
3a 現地情報
4 判定部
5 更新部
6 仮想空間処理部
6a 操作情報
7 位置情報取得部
7a 位置情報
7b 時刻情報
7c 時空間情報
8 画像情報取得部
8a 画像情報
9 距離情報取得部
9a 距離情報
10 仮想空間の更新システム
11 イベントエリア
12 訪問者
12a アバタ表示要素
13 遠隔者(仮想訪問者)
13a アバタ表示要素
14 仮想空間のイベントエリア
15 仮想訪問者端末の表示画面
16 訪問者端末の表示画面
17 通信網
18 イベント関連商品
20 ヘッドマウントディスプレイシステム
21 ヘッドマウントディスプレイ
22 制御装置
24 周辺カメラ
25 空間データ
26 ユーザ端末(遠隔者/仮想訪問者端末)
26a 仮想訪問者の表示画面
27 ユーザ端末(訪問者端末)
27a 訪問者端末の表示画面
28 調整量データベース(調整量DB)
28a 処理情報
28b 通信情報
30 CPU
31 メモリ
32 入出力装置
32a 操作部
33 接続ポート
33a 記憶デバイス
34 通信回路
35 バスライン
36 サーバプログラム
37 ブラウザプログラム
38 OS
39 端末プログラム
40 変形例
41 変形例
【要約】      (修正有)
【課題】現実空間の訪問者とそれを模した仮想空間を訪れる仮想訪問者とが交流する仮想空間の空間データを更新する方法及びサーバ装置を提供する。
【解決手段】仮想空間の更新システムにおいて、位置情報7a及び時刻情報7bを取得する現実空間の訪問者の訪問者端末27から得られる画像情報8aに基づいて、現実空間の位置に対応する座標を有する仮想空間の空間データを更新するサーバ装置であって、時空間情報7c、時空間情報に対応する画像情報8a及び画像情報に対応する対象物までの距離情報からなる現地情報3aを取得する現地情報取得部3と、現地情報に基づいて、空間データを更新する更新部5と、を含む。現地情報は、きわめて大量になり得るため、サーバ装置の演算能力と現地からサーバ装置までの通信量による制限を、撮像データの深度を制御することによって仮想空間の生成/更新の即時性を確保する。
【選択図】図2
図1
図2
図3
図4
図5
図6
図7
図8
図9