特開 2023-59553 体験装置、体験システム、及び、表示方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023059553

(43)【公開日】2023-04-27

(54)【発明の名称】体験装置、体験システム、及び、表示方法

(51)【国際特許分類】

   G06T 19/00 20110101AFI20230420BHJP

   H04N 7/18 20060101ALI20230420BHJP

   G06F 3/01 20060101ALI20230420BHJP

【ＦＩ】

G06T19/00 300B

H04N7/18 U

G06F3/01 510

【審査請求】有

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2021169632

(22)【出願日】2021-10-15

(11)【特許番号】

(45)【特許公報発行日】2022-01-26

(71)【出願人】

【識別番号】518144986

【氏名又は名称】シンメトリー・ディメンションズ・インク

【日本における営業所】東京都渋谷区代々木３－４５－２西参道Ｋハウス４Ｆ

(74)【代理人】

【識別番号】110002000

【氏名又は名称】弁理士法人栄光事務所

(72)【発明者】

【氏名】瀬古 保次

(72)【発明者】

【氏名】沼倉 正吾

【テーマコード（参考）】

5B050

5C054

5E555

【Ｆターム（参考）】

5B050AA03

5B050BA06

5B050BA09

5B050BA11

5B050BA20

5B050CA07

5B050CA08

5B050DA01

5B050EA19

5B050EA26

5B050FA02

5B050FA10

5B050FA14

5C054CC05

5C054DA09

5C054FA00

5C054FD00

5C054FE09

5C054FE12

5C054GB04

5C054GD09

5C054HA00

5E555AA28

5E555AA64

5E555BA02

5E555BA38

5E555BA87

5E555BB04

5E555BB38

5E555BC08

5E555BC17

5E555BE17

5E555CA42

5E555CA44

5E555CA45

5E555CB53

5E555CB81

5E555CB82

5E555CC22

5E555DA08

5E555DC13

5E555DC19

5E555DC75

5E555DC84

5E555DC85

5E555DD05

5E555EA11

5E555EA14

5E555FA00

(57)【要約】

【課題】現実空間における事象をユーザがより簡単に把握又は体験できる。
【解決手段】体験装置は、プロセッサ及びメモリを備え、プロセッサは、メモリと協働して、現実空間の物体の時間経過に伴う変化を３次元モデル化したデータである時空間モデルのうち、第１の時刻の前記時空間モデルを取得し、第１の時刻の時空間モデルに基づいて、現実空間の所定の第１の地点の第１の時刻における視覚的な状況を再現した画像である再現画像を出力する。
【選択図】図１

【特許請求の範囲】

【請求項1】

体験装置であって、プロセッサ及びメモリを備え、
前記プロセッサは、前記メモリと協働して、
現実空間の物体の時間経過に伴う変化を３次元モデル化したデータである時空間モデルのうち、第１の時刻の前記時空間モデルを取得し、
前記第１の時刻の前記時空間モデルに基づいて、前記現実空間の所定の第１の地点の前記第１の時刻における視覚的な状況を再現した画像である再現画像を出力する、
体験装置。

【請求項2】

前記第１の地点は、所定の対象人物が前記第１の時刻のときにいた地点である、
請求項１に記載の体験装置。

【請求項3】

前記プロセッサは、
前記現実空間において前記対象人物が前記第１の時刻を含む所定の対象期間に移動したと推測される経路を示す移動経路情報を取得し、
前記対象期間における前記時空間モデルに基づいて、前記移動経路情報が示す経路を前記対象人物が移動した際の前記対象期間における前記再現画像を出力する、
請求項２に記載の体験装置。

【請求項4】

前記プロセッサは、ユーザが前記第１の時刻を選択した場合、
前記移動経路情報に基づいて、前記対象人物が前記第１の時刻のときにいた地点を前記第１の地点として特定し、
前記第１の地点の前記第１の地点における前記再現画像を出力する、
請求項３に記載の体験装置。

【請求項5】

前記プロセッサは、前記対象人物の目線の高さから見た前記再現画像を出力する、
請求項２から４のいずれか１項に記載の体験装置。

【請求項6】

前記プロセッサは、ユーザが前記現実空間の前記第１の地点にいる場合、
前記移動経路情報に基づいて、前記対象人物が前記第１の地点にいた時刻を前記第１の時刻として特定し、
前記第１の地点の前記第１の時刻における前記再現画像を出力する、
請求項３に記載の体験装置。

【請求項7】

前記プロセッサは、前記ユーザの目線の高さから見た前記再現画像を出力する、
請求項６に記載の体験装置。

【請求項8】

前記プロセッサは、
前記現実空間の前記第１の地点の前記第１の時刻における環境を再現する情報である環境再現情報を取得し、
前記環境再現情報に基づいて、前記第１の地点の前記第１の時刻における環境に関する情報を出力する、
請求項１から６のいずれか１項に記載の体験装置。

【請求項9】

前記環境再現情報は、音、天気、気温、湿度、風速、風向、明るさ、並びに、太陽又は月の位置のうち少なくとも１つの情報を含む、
請求項８に記載の体験装置。

【請求項10】

前記時空間モデルは、災害時における前記現実空間の時間経過に伴う変化を３次元モデル化した災害の時空間モデルであり、
前記再現画像は、前記第１の時刻の第１の地点における災害時の視覚的な状況を再現した災害の再現画像である、
請求項１に記載の体験装置。

【請求項11】

前記プロセッサは、
ユーザが前記現実空間の前記第１の地点にいる場合、前記第１の地点からの避難方向を示す情報を出力する、
請求項１０に記載の体験装置。

【請求項12】

体験システムであって、サーバ及び体験装置を備え、
前記サーバは、
前記体験装置から第１の時刻を示す情報を受信し、
現実空間の物体の時間経過に伴う変化を３次元モデル化したデータである時空間モデルのうち、前記第１の時刻の前記時空間モデルに基づいて、前記現実空間の所定の第１の地点の前記第１の時刻における視覚的な状況を再現した画像である再現画像を生成し、
前記再現画像を前記体験装置へ送信し、
前記体験装置は、
前記サーバから受信した前記再現画像を表示する、
体験システム。

【請求項13】

体験装置による表示方法であって、
第１の時刻を示す情報をサーバへ送信し、
前記サーバから、現実空間の物体の時間経過に伴う変化を３次元モデル化したデータである時空間モデルのうち、前記第１の時刻の前記時空間モデルに基づいて生成された、前記現実空間の所定の第１の地点の前記第１の時刻における視覚的な状況を再現した画像である再現画像を受信し、
前記サーバから受信した前記再現画像を表示する、
表示方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、体験装置、体験システム、及び、表示方法に関する。

【背景技術】

【0002】

現実空間にて発生する事象をユーザが把握又は体験するための技術が検討されている。特許文献１には、バス及びタクシーといった移動体とセンターとによって構成されるフレキシブルネットワークシステムが開示されている。各移動体は、ＧＰＳ等の位置情報収集機能を有する通信機器と共にＩＣタグの検出器を搭載する。センターは、各移動体の通信機器と無線通信する通信機と、各移動体から受信した情報（検出信号及び位置情報等）を記録する記憶手段とを有する。各移動体の検出器は、それを包囲する一定エリア内のＩＣタグと通信して検出する機能を有する。これらの複数の移動体のエリアを併せることにより、エリア内のＩＣタグを捜査又は探索して検出することができる。例えば、学童にＩＣタグを持たせることにより、このエリア内にいる学童を、フレキシブルネットワークを利用して監視可能にする。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００８－２１７３００号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、現実空間における事象をユーザがより簡単に把握又は体験するためには、従来の技術では不十分である。

【0005】

本開示の目的は、現実空間における事象をユーザがより簡単に把握又は体験できる技術を提供することである。

【課題を解決するための手段】

【0006】

本開示に係る体験装置は、プロセッサ及びメモリを備え、前記プロセッサは、前記メモリと協働して、現実空間の物体の時間経過に伴う変化を３次元モデル化したデータである時空間モデルのうち、第１の時刻の前記時空間モデルを取得し、前記第１の時刻の前記時空間モデルに基づいて、前記現実空間の所定の第１の地点の前記第１の時刻における視覚的な状況を再現した画像である再現画像を出力する。

【0007】

本開示に係る体験システムは、サーバ及び体験装置を備え、前記サーバは、前記体験装置から第１の時刻を示す情報を受信し、現実空間の物体の時間経過に伴う変化を３次元モデル化したデータである時空間モデルのうち、前記第１の時刻の前記時空間モデルに基づいて、前記現実空間の所定の第１の地点の前記第１の時刻における視覚的な状況を再現した画像である再現画像を生成し、前記再現画像を前記体験装置へ送信し、前記体験装置は、前記サーバから受信した前記再現画像を表示する。

【0008】

本開示に係る体験装置による表示方法は、第１の時刻を示す情報をサーバへ送信し、前記サーバから、現実空間の物体の時間経過に伴う変化を３次元モデル化したデータである時空間モデルのうち、前記第１の時刻の前記時空間モデルに基づいて生成された、前記現実空間の所定の第１の地点の前記第１の時刻における視覚的な状況を再現した画像である再現画像を受信し、前記サーバから受信した前記再現画像を表示する。

【0009】

なお、これらの包括的又は具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム又は記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。

【発明の効果】

【0010】

本開示によれば、現実空間における事象をユーザがより簡単に把握又は体験することができる。

【図面の簡単な説明】

【0011】

【図1】実施の形態１に係る体験システムの構成例を示す模式図である。

【図2】実施の形態１に係る時空間モデルの一例を示す模式図である。

【図3】実施の形態１に係る体験装置に表示される画像の一例を示す模式図である。

【図4】実施の形態１に係るサーバのハードウェア構成例を示すブロック図である。

【図5】実施の形態１に係る体験装置のハードウェア構成例を示すブロック図である。

【図6】実施の形態１に係る時空間モデル及び環境情報の生成方法の一例を示すフローチャートである。

【図7】実施の形態１に係る移動経路情報の生成方法の一例を示すフローチャートである。

【図8】実施の形態１に係るＶＲ装置を用いて対象人物の過去の状況を追体験する方法の第１例を示すフローチャートである。

【図9】実施の形態１に係るＶＲ装置を用いて対象人物の過去の状況を追体験する方法の第２例を示すフローチャートである。

【図10】実施の形態１に係るＡＲ眼鏡を用いて現在位置の過去の状況を把握する方法を示すフローチャートである。

【図11】実施の形態１に係るＡＲ眼鏡を用いて対象人物の過去の状況を追体験する方法の例を示すフローチャートである。

【図12】実施の形態２に係る体験システムの構成例を示す模式図である。

【図13】実施の形態２に係るＡＲ眼鏡に表示される画像の一例を示す模式図である。

【図14】実施の形態２に係るＡＲ眼鏡を用いて災害が発生したときの避難誘導を体験する方法の一例を示すフローチャートである。

【発明を実施するための形態】

【0012】

以下、図面を参照して、本開示の実施の形態について詳細に説明する。ただし、公知の事項又は重複する事項については説明を省略する場合がある。また、図面及び以下の記載は一例に過ぎず、特許請求の範囲の記載の主題を限定することは意図されていない。

【0013】

（実施の形態１）
＜システムの概要＞
図１は、実施の形態１に係る体験システム１の構成例を示す模式図である。図２は、実施の形態１に係る時空間モデル３１０の一例を示す模式図である。図３は、実施の形態１に係る体験装置２００に表示される画像の一例を示す模式図である。

【0014】

体験システム１は、現実空間にて発生した事象をユーザ２に把握又は体験させるためのシステムである。体験システム１は、複数のセンサ１０、サーバ１００、及び、体験装置２００を含んで構成される。また、複数のセンサ１０、サーバ１００、及び、体験装置２００は、所定の通信ネットワーク４を通じて、データ又は情報を互いに送受信できてよい。

【0015】

複数のセンサ１０は、現実空間に配置され、現実空間に関する様々な情報を計測する。センサ１０は、歩行者が持つスマートフォン、及び、道路を走行する車両など、様々な移動体に搭載されてよい。車両は、自家用車又は商用車のいずれであってもよい。商用車の例として、バス、トラック、タクシー等が挙げられる。加えて、センサ１０は、建物、電柱、及び、信号機など、様々な静止体に設置されてよい。

【0016】

移動体に搭載されるセンサ１０の例として、測位センサ、姿勢センサ、カメラ、マイク、ＬｉＤＡＲ（Light Detection And Ranging）が挙げられる。

【0017】

測位センサは、ＧＮＳＳ（Global Navigation Satellite System）信号等を受信して、移動体の現在位置を測定する。測位センサが測定した時刻及び現在位置を含む情報をセンサ位置情報と称する。なお、本開示における「時刻」は、年月日の情報も含んでよい。

【0018】

姿勢センサは、方位センサ及びジャイロセンサなどを含み、移動体の方位角及び仰俯角を測定する。姿勢センサが測定した時刻と方位角及び仰俯角とを含む情報をセンサ姿勢情報と称する。

【0019】

カメラは、例えばレンズ及び撮像素子などを含み、現実空間を撮像する。カメラが撮像した時刻及び画像を含む情報をセンサ撮像情報と称する。センサ撮像情報は静止画及び動画の何れであってもよい。

【0020】

マイクは、現実空間の音を集音する。マイクが集音した時刻及び音を含む情報をセンサ集音情報と称する。

【0021】

ＬｉＤＡＲは、移動体の周囲の物体の位置及び形状を３Ｄ（dimensions）点群として測定する。ＬｉＤＡＲが測定した時刻及び３Ｄ点群を含む情報をセンサ点群情報と称する。

【0022】

移動体は、様々な地点にて、カメラが撮像したセンサ撮像情報、マイクが集音したセンサ集音情報、及び、ＬｉＤＡＲが測定したセンサ点群情報を、測位センサが測定したセンサ位置情報及び姿勢センサが測定したセンサ姿勢情報と共に、サーバ１００へ送信する。移動体は、これらの情報を、セルラ網（例えばＬＴＥ（Long Term Evolution），４Ｇ，５Ｇ）又はインターネットなどによって構成される通信ネットワーク４を通じてサーバ１００へ送信してよい。

【0023】

なお、移動体が車両である場合、ドライブレコーダのカメラ及びマイクがセンサ１０として利用されてよい。

【0024】

静止体に設置されるセンサ１０の例として、監視カメラ、温度及び湿度センサ、風速及び風向センサが挙げられる。

【0025】

監視カメラは、設置された地点から現実空間を撮像する。監視カメラは、撮像した時刻及び画像を含む情報をサーバ１００へ送信する。

【0026】

温度及び湿度センサは、設置された地点の温度（気温）及び湿度を測定する。温度及び湿度センサは、測定した時刻、温度及び湿度を示す情報をサーバ１００へ送信する。

【0027】

風速及び風向センサは、設置された地点の風速及び風向を測定する。風速及び風向センサは、測定した時刻、風速及び風向を示す情報をサーバ１００へ送信する。

【0028】

例えば、静止体に設置されたセンサ１０は、これらの情報を、セルラ網（例えばＬＴＥ，４Ｇ，５Ｇ）、無線ＬＡＮ（例えばＷｉ－Ｆｉ（登録商標））、又は、有線ＬＡＮ（例えばＥｔｈｅｒｎｅｔ（登録商標））、並びに、インターネットなどによって構成される通信ネットワーク４を通じてサーバ１００へ送信してよい。

【0029】

このように、サーバ１００は、現実空間に配置された各センサ１０から情報を収集する。以下、サーバ１００が各センサ１０から収集した情報を、センサ情報と称する。サーバ１００は、各センサ１０から収集したセンサ情報を用いて、現実空間の物体の時間経過に伴う変化を３Ｄモデル化したデータである時空間モデル３１０を生成する。なお、時空間モデル３１０は、現実空間を模したデジタルツインデータと読み替えられてもよい。

【0030】

図２は、ある時刻の現実空間を３Ｄモデル化した時空間モデル３１０の一例を示す。時空間モデル３１０には、現実空間における静止体及び移動体が含まれてよい。本実施の形態では、建物、道路、電柱、信号機、塀、溝など、比較的短時間ではあまり変化しない物体を静止体と称する。ただし、建設中又は解体中の建物、あるいは、工事中の道路など、静止体であっても時間経過に伴い変化する場合もある。また、本実施の形態では、車両、歩行者、自転車など、比較的短時間で位置を移動する物体を移動体と称する。ただし、駐車中の車両など、移動体であっても長時間同じ位置に静止している場合もある。

【0031】

さらに、サーバ１００は、インターネット空間にて公開されている様々な情報を収集する。以下、サーバ１００がインターネット空間から収集した情報を、公開情報３０３と称する。公開情報３０３の例として、天気に関する情報、太陽、月、星に関する情報、公共交通機関の運行情報、ＳＮＳ（Social Networking Service）の情報などが挙げられる。

【0032】

サーバ１００は、センサ情報及び公開情報３０３の少なくとも１つを用いて、現実空間における環境の時間経過に伴う変化を示す環境情報３１１を生成する。環境情報３１１には、例えば、音、天気、気温、湿度、風速、風向、明るさ、太陽又は月の位置など、時間経過に伴う環境の変化を示す情報が含まれる。

【0033】

サーバ１００は、時空間モデル３１０及び環境情報３１１を用いて、対象エリアにおいて対象人物３が過去にいた地点及び移動した経路を推測する。対象人物３は、例えば警察が捜索中の人物である。捜索中の人物の例として、ある事件（例えば誘拐事件又は傷害事件）の容疑者、又は、捜索願が出された行方不明者などが挙げられる。サーバ１００は、その推測した対象人物３の移動経路を示す移動経路情報３１２を生成する。移動経路情報３１２は、対象人物３がどの時刻にどの地点にいたかを示す情報であってよい。

【0034】

ユーザ２は、体験装置２００を装着し、対象エリアの任意の地点の任意の過去の時刻における状況を体験することができる。体験装置２００の例として、ＶＲ（Virtual Reality）装置２００Ａ及びＡＲ（Augmented Reality）眼鏡２００Ｂが挙げられる。なお、ＡＲ眼鏡２００Ｂは、ＭＲ（Mixed Reality）眼鏡と読み替えられてもよい。

【0035】

例えば、ユーザ２が体験装置２００を装着し、任意の地点及び任意の時刻を入力すると、体験装置２００は、その入力された地点及び時刻における視覚的な状況を再現した情報（以下、視覚再現情報３１３と称する）をサーバ１００から受信して表示する。これにより、ユーザ２は、体験装置２００を通じて、その入力した地点及び時刻における状況を視覚的に体験することができる。

【0036】

また、体験装置２００は、その入力された地点及び時刻における環境を再現した情報（以下、環境再現情報３１４）をサーバ１００から受信し、その環境再現情報３１４に基づく出力を行ってもよい。例えば、体験装置２００は、環境再現情報３１４として、音、天気、気温、湿度、風速、風向、明るさ、太陽又は月の位置などの情報を出力する。これにより、ユーザ２は、体験装置２００を通じて、その入力した地点及び時刻における環境を把握することができる。

【0037】

また、ユーザ２は、体験装置２００を装着し、対象人物３の過去の行動を追体験することができる。

【0038】

例えば、ユーザ２がＶＲ装置２００Ａを装着すると、ＶＲ装置２００Ａは、その対象人物３がいた地点及び時刻における視覚的な状況を再現した再現画像３２０を含む視覚再現情報３１３をサーバ１００から受信して表示する。また、ＶＲ装置２００Ａは、対象人物３の移動経路情報３１２をサーバ１００から受信し、その移動経路情報３１２に基づいて、対象人物３が過去に移動した経路に係る視覚再現情報３１３を動画として表示してもよい。これにより、ユーザ２は、ＶＲ装置２００Ａを通じて、対象人物３がいた地点及び時刻における状況を追体験することができる。

【0039】

例えば、ユーザ２が現実空間にてＡＲ眼鏡２００Ｂを装着すると、ＡＲ眼鏡２００Ｂは、当該ユーザ２の現在位置に対象人物３がいた時刻における視覚的な状況を再現した再現画像３２０を含む視覚再現情報３１３をサーバ１００から受信して表示する。このとき、ＡＲ眼鏡２００Ｂは、ユーザ２がＡＲ眼鏡２００Ｂ越しに見ている現実空間の景色に、その対象人物３がいた時刻の状況を再現するための再現画像３２０を重畳して表示する。例えば、ＡＲ眼鏡２００Ｂは、その対象人物３がいた時刻に存在していた車両３２３及び歩行者３２４などの画像を重畳して表示する。また、ＡＲ眼鏡２００Ｂは、対象人物３の移動経路情報３１２をサーバ１００から受信し、その移動経路情報３１２に基づいて、ユーザ２が現実空間を移動するのに合わせて、対象人物３が過去に移動した経路に係る視覚再現情報３１３を連続的に表示してもよい。これにより、ユーザ２は、ＡＲ眼鏡２００Ｂを通じて、対象人物３が移動した経路を辿りながら、対象人物３が過去の移動したときの状況を追体験することができる。

【0040】

また、体験装置２００（ＶＲ装置２００Ａ又はＡＲ眼鏡２００Ｂ）は、対象人物３がいた地点及び時刻における環境再現情報３１４をサーバ１００から受信し、その環境再現情報３１４に基づく出力を行ってもよい。例えば、体験装置２００は、環境再現情報３１４から、対象人物３がいた地点及び時刻における、音、天気、気温、湿度、風速、風向、明るさ、太陽又は月の位置などの情報（例えば環境画像３２１）を生成して出力する。これにより、ユーザ２は、体験装置２００を通じて、対象人物３がいた地点及び時刻における環境を把握することができる。

【0041】

例えば、対象人物３が容疑者である場合、警察官（ユーザ２）は、装着した体験装置２００に表示される視覚再現情報３１３及び環境再現情報３１４によって、その容疑者が過去にいた地点及び移動した経路にて体験した状況（例えば容疑者から見えていた景色及び聞こえていた音）を追体験することができる。これにより、警察官は、例えば、容疑者の心理を推測して、容疑者の行先を推測又は犯行の動機を推測するなど、様々な調査を行うことができる。

【0042】

例えば、対象人物３が行方不明者である場合、警察官（ユーザ２）は、装着した体験装置２００に表示される視覚再現情報３１３及び環境再現情報３１４によって、その行方不明者が過去にいた地点及び移動した経路にて体験した状況（例えば行方不明者から見えていた景色及び聞こえていた音）を追体験することができる。これにより、警察官は、例えば、行方不明者の心理を推測して、行方不明者の行先を推測又は目撃者を探すなど、様々な調査を行うことができる。

【0043】

また、体験装置２００は、視覚再現情報３１３又は環境再現情報３１４として出力する時刻を巻き戻し又は早送りするための機能を有してよい。ユーザ２は、体験装置２００を操作して、視覚再現情報３１３又は環境再現情報３１４の時刻を巻き戻し又は早送りし、対象人物３がいた地点における状況の時間経過に伴う変化（例えば歩行者又は車両の流れなど）を把握することができる。

【0044】

このように、本実施の形態に係る体験システム１によれば、ユーザ２は、体験装置２００を通じて、任意の地点の過去の任意の時刻における状況を容易に把握又は体験することができる。例えば、ユーザ２は、上述したように、体験装置２００を通じて、対象人物３の捜査などを行うことができる。以下、本実施の形態に係る体験システム１について詳細に説明する。

【0045】

＜サーバの構成＞
図４は、実施の形態１に係るサーバ１００のハードウェア構成例を示すブロック図である。次に、図４を参照して、サーバ１００のハードウェアの構成の一例を説明する。

【0046】

サーバ１００は、入力部１０１、表示部１０２、メモリ１０３、ストレージ１０４、通信部１０５、及び、プロセッサ１０６を備える。

【0047】

入力部１０１は、例えば、キーボード、マウス、及び、マイク等によって構成される。入力部１０１は、例えばサーバ１００の管理者からの入力操作を受け付ける。

【0048】

表示部１０２は、例えば、ディスプレイ装置によって構成される。表示部１０２は、例えば管理者向けに各種情報を表示する。

【0049】

メモリ１０３は、揮発性記憶媒体及び／又は不揮発性記憶媒体を含んで構成される。メモリ１０３は、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）を含んで構成されてよい。メモリ１０３は、サーバ１００が有する機能を実現するコンピュータプログラム及びデータが格納されてよい。

【0050】

ストレージ１０４は、不揮発性記憶媒体を含んで構成される。ストレージ１０４は、例えば、フラッシュメモリ、ＳＳＤ（Solid State Drive）及びＨＤＤ（Hard Disk Drive）の少なくとも１つによって構成されてよい。ストレージ１０４は、サーバ１００が有する機能を実現するコンピュータプログラム及びデータが格納されてよい。

【0051】

通信部１０５は、通信ネットワーク４を介するデータの送受信を制御する。通信部１０５は、通信インタフェース、通信回路、又は、通信モジュールといった他の用語に読み替えられてもよい。

【0052】

プロセッサ１０６は、各構成要素１０１～１０５と協働して、サーバ１００が有する機能を実現する。例えば、プロセッサ１０６は、メモリ１０３又はストレージ１０４からコンピュータプログラムを読み出して実行することにより、サーバ１００が有する機能を実現する。本実施の形態において、サーバ１００を主体として説明される処理は、サーバ１００のプロセッサ１０６を主体とする処理に読み替えられてよい。なお、プロセッサ１０６は、ＣＰＵ（Central Processing Unit）、ＬＳＩ（Large Scale Integrated Circuit）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）、コントローラ、制御回路とった他の用語に読み替えられてもよい。

【0053】

＜体験装置の構成＞
図５は、実施の形態１に係る体験装置２００のハードウェア構成例を示すブロック図である。次に、図５を参照して、体験装置２００のハードウェアの構成の一例を説明する。

【0054】

体験装置２００は、位置計測部２０１、姿勢計測部２０２、撮像部２０３、入力部２０４、表示部２０５、スピーカ２０６、メモリ２０７、ストレージ２０８、通信部２０９、及び、プロセッサ２１０を備える。

【0055】

位置計測部２０１は、ＧＮＳＳ信号などを受信し、現実空間における体験装置２００の現在位置を計測し、現在位置情報３０１を生成する。現在位置情報３０１は、計測された時刻と、計測された現在位置を示す経度及び緯度とが含まれてよい。なお、体験装置２００がＶＲ装置２００Ａである場合、位置計測部２０１は備えられてなくてもよい。

【0056】

姿勢計測部２０２は、電子コンパス、ジャイロセンサ、及び、加速センサなどの少なくとも１つによって、現実空間における体験装置２００の姿勢を計測し、姿勢情報３０２を生成する。姿勢情報３０２は、計測された時刻と、計測された姿勢を示す方位角及び仰俯角とが含まれてよい。さらに、姿勢情報３０２は、体験装置２００を装着したユーザ２の目線の高さを示す目線情報が含まれてもよい。これにより、体験装置２００は、ユーザ２の目線に合った視覚再現情報３１３を表示することができる。

【0057】

撮像部２０３は、レンズ及び撮像素子を含んで構成される。撮像部２０３は、カメラと読み替えられてもよい。撮像部２０３は、現実空間における体験装置２００の姿勢の方向を撮像する。なお、体験装置２００がＶＲ装置２００Ａである場合、撮像部２０３は備えられなくてもよい。

【0058】

入力部２０４は、例えば、ジェスチャセンサ、タッチパネル、ボタン、及び／又は、マイク等によって構成される。入力部２０４は、ユーザ２からの入力操作を受け付ける。

【0059】

表示部２０５は、例えば、ディスプレイ装置によって構成される。体験装置２００がＡＲ眼鏡２００Ｂの場合、表示部２０５は、ＡＲ眼鏡２００Ｂを装着したユーザ２が現実空間を視認できる透明ディスプレイであってよい、表示部２０５は、例えば、再現画像３２０及び環境画像３２１などを表示する。

【0060】

スピーカ２０６は、音を出力する。スピーカ２０６は、例えば、体験装置２００を装着したユーザ２に、環境再現情報３１４に基づく音を聞かせる。スピーカ２０６は、ヘッドフォンであってもよい。

【0061】

メモリ２０７は、揮発性記憶媒体及び／又は不揮発性記憶媒体を含んで構成される。メモリ２０７は、ＲＯＭ及びＲＡＭを含んで構成されてよい。メモリ２０７は、体験装置２００が有する機能を実現するコンピュータプログラム及びデータが格納されてよい。

【0062】

ストレージ２０８は、不揮発性記憶媒体を含んで構成される。ストレージ２０８は、例えば、フラッシュメモリ、ＳＳＤ及びＨＤＤの少なくとも１つによって構成されてよい。ストレージ２０８は、体験装置２００が有する機能を実現するコンピュータプログラム及びデータが格納されてよい。

【0063】

通信部２０９は、通信ネットワーク４を介するデータの送受信を制御する。

【0064】

プロセッサ２１０は、各構成要素２０１～２０９と協働して、体験装置２００が有する機能を実現する。例えば、プロセッサ２１０は、メモリ２０７又はストレージ２０８からコンピュータプログラムを読み出して実行することにより、体験装置２００が有する機能を実現する。本実施の形態において、体験装置２００を主体として説明される処理は、体験装置２００のプロセッサ２１０を主体とする処理に読み替えられてよい。

【0065】

＜時空間モデル及び環境情報の生成方法＞
図６は、実施の形態１に係る時空間モデル３１０及び環境情報３１１の生成方法の一例を示すフローチャートである。次に、図６を参照して、サーバ１００が時空間モデル３１０及び環境情報３１１を生成する方法及び処理について説明する。

【0066】

サーバ１００は、対象エリア及び対象期間を設定する（Ｓ１０１）。当該設定は、ユーザ２によって手動で行われてもよいし、所定の条件に基づいて自動的に行われてもよい。例えば、サーバ１００は、対象人物３の捜索範囲に基づいて対象エリアを設定し、対象人物３が最後に目撃された時刻に基づいて対象期間を設定してもよい。

【0067】

サーバ１００は、対象エリアに存在する各センサ１０から、当該センサ１０が対象期間に計測したセンサ情報を収集する（Ｓ１０２）。

【0068】

サーバ１００は、インターネット空間から、対象エリア及び対象期間に関する公開情報３０３を収集する（Ｓ１０３）。

【0069】

サーバ１００は、収集したセンサ情報及び／又は公開情報３０３に基づいて、対象エリアにおける対象期間の時空間モデル３１０及び環境情報３１１を生成する（Ｓ１０３）。例えば、サーバ１００は、センサ情報に含まれるセンサ位置情報、センサ姿勢情報、センサ撮像情報、及び、センサ点群情報に基づいて、対象エリアにおける対象期間の道路、建物、車両、歩行者などを３Ｄモデル化し、時空間モデル３１０を生成する。例えば、サーバ１００は、センサ情報に含まれるセンサ集音情報に基づいて、対象エリアにおいて対象期間中に聞こえていた音を含む環境情報３１１を生成する。例えば、サーバ１００は、公開情報３０３に含まれる天気などの情報に基づいて、対象エリアの対象期間における天気などの情報を含む環境情報３１１を生成する。

【0070】

図６に示す処理により、サーバ１００には、対象エリアにおける対象期間の時空間モデル３１０及び環境情報３１１が格納される。

【0071】

＜移動経路情報の生成方法＞
図７は、実施の形態１に係る移動経路情報３１２の生成方法の一例を示すフローチャートである。次に、図７を参照して、サーバ１００が移動経路情報３１２を生成する方法及び処理について説明する。

【0072】

サーバ１００は、時空間モデル３１０及び環境情報３１１に基づいて、対象エリア及び対象期間において、対象人物３が移動した経路を推測する（Ｓ２０１）。例えば、サーバ１００は、第１の時刻の時空間モデル３１０において第１の地点にいた対象人物３が、第１の時刻よりも後である第２の時刻の時空間モデル３１０において第２の地点にいたことを検出した場合、時空間モデル３１０における道路の繋がり及び建物の位置関係、第１の時刻から第２の時刻までの期間、その期間における環境情報３１１、並びに、対象人物３の特徴（例えば推定される年齢、性別、身長、体重、職業）などに基づいて、対象人物３が第１の地点から第２の地点にどのように移動した可能性が高いかをシミュレーションする。そして、サーバ１００は、そのシミュレーション結果に基づいて、対象人物３の第１の地点から第２の地点までの移動経路を推測する。サーバ１００は、これを繰り返すことにより、対象期間における対象人物３の移動経路を推測する。なお、サーバ１００は、ＡＩ（Artificial Intelligence）を用いてこのシミュレーションを行ってもよい。例えば、サーバ１００は、様々な人物が過去に対象エリアにおいてどのように移動したかを示す情報を教師データとして学習させた学習済みモデルを生成しておき、その学習済みモデルを用いて、対象人物３の第１の地点から第２の地点までの移動経路を推測してもよい。なお、学習済みモデルは、機械学習、又は、ディープラーニングなど、公知の技術によって生成されてよい。

【0073】

サーバ１００は、ステップＳ２０１の推測結果に基づいて、対象人物３の移動経路を示す移動経路情報３１２を生成する（Ｓ２０２）。

【0074】

図７に示す処理により、サーバ１００には、対象エリアにおける対象期間において対象人物３がどのように移動したかを推測した情報である移動経路情報３１２が格納される。

【0075】

＜ＶＲ装置を用いて対象人物の過去の状況を追体験する方法の第１例＞
図８は、実施の形態１に係るＶＲ装置２００Ａを用いて対象人物３の過去の状況を追体験する方法の第１例を示すフローチャートである。次に、図８を参照して、体験装置２００の一例であるＶＲ装置２００Ａを装着したユーザ２が対象人物３の過去の状況を追体験する方法の第１例について説明する。

【0076】

ユーザ２は、ＶＲ装置２００Ａを装着する（Ｓ３０１）。

【0077】

ユーザ２は、ＶＲ装置２００Ａの入力部２０４を通じて、対象人物３の対象期間のうち、所望の時刻を選択（又は入力）する（Ｓ３０２）。例えば、ユーザ２は、図３に示すＶＲ装置２００Ａに表示されたシークバー３２２（図３参照）を操作して、所望の時刻を選択する。図８の説明において、この選択された時刻を第１の時刻と称する。

【0078】

ＶＲ装置２００Ａは、姿勢計測部２０２の計測結果に基づいて、ＶＲ装置２００Ａの姿勢（つまりＶＲ装置２００Ａを装着しているユーザ２の頭の姿勢）を示す姿勢情報３０２を生成する（Ｓ３０３）。姿勢情報３０２には、ユーザ２の視線の方向を示す方位角及び仰俯角が含まれる。

【0079】

ＶＲ装置２００Ａは、第１の時刻及び姿勢情報３０２をサーバ１００へ送信する（Ｓ３０４）。

【0080】

サーバ１００は、第１の時刻及び姿勢情報３０２をＶＲ装置２００Ａから受信する（Ｓ３０５）。

【0081】

サーバ１００は、移動経路情報３１２に基づき、対象人物３が第１の時刻のときにいた地点を特定する（Ｓ３０６）。図８の説明において、この特定された地点を第１の地点と称する。

【0082】

サーバ１００は、第１の時刻の時空間モデル３１０に基づいて、第１の時刻において第１の地点から見えていた景色の再現画像３２０を含む視覚再現情報３１３を生成する（Ｓ３０７）。このとき、サーバ１００は、姿勢情報３０２に応じた再現画像３２０を生成する。例えば、第１の地点が図２に示す地点Ｐを示し、姿勢情報３０２が図２に示す方向Ｆを示す場合、サーバ１００は、図２に示す時空間モデル３１０を用いて地点Ｐから方向Ｆを見た場合の再現画像３２０（図３参照）を生成する。

【0083】

サーバ１００は、第１の時刻の環境情報３１１に基づいて、第１の地点の第１の時刻における環境再現情報３１４を生成する（Ｓ３０８）。

【0084】

サーバ１００は、視覚再現情報３１３及び環境再現情報３１４をＶＲ装置２００Ａに送信する（Ｓ３０９）。

【0085】

ＶＲ装置２００Ａは、視覚再現情報３１３及び環境再現情報３１４をサーバ１００から受信する（Ｓ３１０）。

【0086】

ＶＲ装置２００Ａは、視覚再現情報３１３に含まれる再現画像３２０を表示すると共に、環境再現情報３１４に含まれる内容（例えば環境画像３２１）を出力する（Ｓ３１１）。そして、ＶＲ装置２００Ａは、処理をステップＳ３０２に戻す。ユーザ２は、戻されたステップＳ３０２にて、別の第１の時刻を選択してよい。

【0087】

次に、ＶＲ装置２００ＡがステップＳ３１１にて環境再現情報３１４に含まれる内容を出力する例について説明する。

【0088】

例えば、ＶＲ装置２００Ａは、環境再現情報３１４に基づいて、音声情報を出力する。例えば、ＶＲ装置２００Ａは、環境再現情報３１４の内容に基づいて、音、天気、気温、湿度、風速、風向、明るさ、太陽又は月の位置などを示す情報を出力してもよい。この際、ＶＲ装置２００Ａは、環境再現情報３１４の内容を、図３の環境画像３２１に示すように、アイコン、文字又は数値で表現してもよい。あるいは、ＶＲ装置２００Ａは、環境再現情報３１４の内容を、環境画像３２１として表現してもよい。例えば、ＶＲ装置２００Ａは、環境再現情報３１４の内容が晴れで気温が高いことを示す場合、陽炎が生じているように見える環境画像３２１を再現画像３２０に重畳して表示する。また、例えば、ＶＲ装置２００Ａは、環境再現情報３１４の内容が雨であること示す場合、雨が降っているように見える環境画像３２１を再現画像３２０に重畳して表示する。このとき、ＶＲ装置２００Ａは、雨音をスピーカ２０６から出力してもよい。また、例えば、ＶＲ装置２００Ａは、環境再現情報３１４の内容がある方向に強い風が吹いていることを示す場合、その方向に木の葉が飛んでいるように見える環境画像３２１を再現画像３２０に重畳して表示する。また、例えば、ＶＲ装置２００Ａは、環境再現情報３１４の内容がある方角に太陽（又は月）が位置していることを示す場合、その位置に太陽（又は月）が位置しているように見える環境画像３２１を再現画像３２０に重畳して表示する。

【0089】

図８に示す方法によれば、ユーザ２は、ステップＳ３０２にて任意の第１の時刻を入力することで、第１の時刻のときに対象人物３がいたと推測される第１の地点の状況を簡単に把握することができる。加えて、ユーザ２は、ＶＲ装置２００Ａが出力する視覚再現情報３１３及び環境再現情報３１４の内容から、対象人物３が第１の地点にいたときの第１の時刻における状況を簡単に追体験することができる。

【0090】

＜ＶＲ装置を用いて対象人物の過去の状況を追体験する方法の第２例＞
図９は、実施の形態１に係るＶＲ装置２００Ａを用いて対象人物３の過去の状況を追体験する方法の第２例を示すフローチャートである。次に、図９を参照して、体験装置２００の一例であるＶＲ装置２００Ａを装着したユーザ２が、対象人物３の過去の状況を追体験する方法の第２例について説明する。

【0091】

ユーザ２は、ＶＲ装置２００Ａを装着する（Ｓ４０１）。

【0092】

ＶＲ装置２００Ａは、対象人物３の移動経路情報３１２に基づき、対象人物３の移動経路を表示する（Ｓ４０２）。なお、ＶＲ装置２００Ａは、移動経路情報３１２を、適宜サーバ１００から取得してもよいし、予めストレージ２０８に格納してもよい。

【0093】

ユーザ２は、ＶＲ装置２００Ａの入力部２０４を通じて、表示された移動経路上の所望の地点を選択する（Ｓ４０３）。図９の説明において、この選択された地点を第１の地点と称する。

【0094】

ＶＲ装置２００Ａは、姿勢計測部２０２の計測結果に基づいて、ＶＲ装置２００Ａの姿勢（つまりＶＲ装置２００Ａを装着しているユーザ２の頭の姿勢）を示す姿勢情報３０２を生成する（Ｓ４０４）。

【0095】

ＶＲ装置２００Ａは、第１の地点及び姿勢情報３０２をサーバ１００へ送信する（Ｓ４０５）。

【0096】

サーバ１００は、第１の地点及び姿勢情報３０２をＶＲ装置２００Ａから受信する（Ｓ４０６）。

【0097】

サーバ１００は、移動経路情報３１２に基づき、対象人物３が第１の地点にいたときの時刻を特定する（Ｓ４０７）。図９の説明において、この特定された時刻を第１の時刻と称する。

【0098】

サーバ１００は、第１の時刻の時空間モデル３１０に基づき、第１の地点から第１の時刻のときに見えていた景色の再現画像３２０を含む視覚再現情報３１３を生成する（Ｓ４０８）。このとき、サーバ１００は、姿勢情報３０２に応じた再現画像３２０を生成する。

【0099】

サーバ１００は、第１の時刻の環境情報３１１に基づいて、第１の地点の第１の時刻における環境再現情報３１４を生成する（Ｓ４０９）。

【0100】

サーバ１００は、視覚再現情報３１３及び環境再現情報３１４をＶＲ装置２００Ａに送信する（Ｓ４１０）。

【0101】

ＶＲ装置２００Ａは、視覚再現情報３１３及び環境再現情報３１４をサーバ１００から受信する（Ｓ４１１）。

【0102】

ＶＲ装置２００Ａは、視覚再現情報３１３に含まれる再現画像３２０を表示すると共に、環境再現情報３１４に含まれる内容（例えば環境画像３２１）を出力する（Ｓ４１２）。そして、ＶＲ装置２００Ａは、処理をステップＳ４０３に戻す。ユーザ２は、戻されたステップＳ４０３にて、別の第１の地点を選択してよい。

【0103】

図９に示す方法によれば、ユーザ２は、ステップＳ４０３にて対象人物３の移動経路上の第１の地点を選択することで、対象人物３が第１の地点にいたときの時刻（つまり第１の時刻）を直ちに確認できる。加えて、ユーザ２は、ＶＲ装置２００Ａが出力する視覚再現情報３１３及び環境再現情報３１４の内容から、対象人物３が第１の地点にいたときの第１の時刻における状況を簡単に追体験できる。

【0104】

なお、ＶＲ装置２００Ａは、ステップＳ４０３にて第１の地点が選択された後、対象人物３がその第１の地点から移動した経路上で見えていた景色を、動画の視覚再現情報３１３としてステップＳ４１２にて自動的に再生してもよい。このとき、ＶＲ装置２００Ａは、対象人物３がその第１の地点から移動した経路上で聞こえていた音声を、音声ストリームの環境再現情報３１４としてステップＳ４１２にて自動的に再生してもよい。これにより、ユーザ２は、ＶＲ装置２００Ａが出力する視覚再現情報３１３及び環境再現情報３１４の内容から、対象人物３が第１の地点から移動した経路上における状況を自動的に追体験できる。

【0105】

また、ＶＲ装置２００Ａは、対象人物３の目線の高さが設定されている場合、その目線の高さから見える視覚再現情報３１３の再現画像３２０を表示してよい。これにより、ユーザ２は、対象人物３が経路を移動中に見ていた景色を、対象人物３の目線で追体験できる。

【0106】

＜ＡＲ眼鏡を用いて現在位置の過去の状況を把握する方法の例＞
図１０は、実施の形態１に係るＡＲ眼鏡２００Ｂを用いて現在位置の過去の状況を把握する方法を示すフローチャートである。次に、図１０を参照して、体験装置２００の一例であるＡＲ眼鏡２００Ｂを装着したユーザ２が現在位置の過去の状況を把握する方法の例について説明する。

【0107】

ユーザ２は、現実空間の対象エリアにてＡＲ眼鏡２００Ｂを装着する（Ｓ５０１）。

【0108】

ユーザ２は、ＡＲ眼鏡２００Ｂの入力部２０４を通じて、対象人物３の対象期間のうち、所望の時刻を選択（又は入力）する（Ｓ５０２）。例えば、ユーザ２は、図３に示すＡＲ眼鏡２００Ｂに表示されたシークバー３２２（図３参照）を操作して、所望の時刻を選択する。図１０の説明において、この選択された時刻を、第１の時刻と称する。

【0109】

ＡＲ眼鏡２００Ｂは、位置計測部２０１の計測結果に基づいてユーザ２の現在位置を示す現在位置情報３０１を生成し、姿勢計測部２０２の計測結果に基づいてＡＲ眼鏡２００Ｂの姿勢（つまりユーザ２の頭の姿勢）を示す姿勢情報３０２を生成する（Ｓ５０３）。現在位置情報３０１は、ユーザ２の現在位置を示す緯度及び経度が含まれる。

【0110】

ＡＲ眼鏡２００Ｂは、第１の時刻、現在位置情報３０１及び姿勢情報３０２をサーバ１００へ送信する（Ｓ５０４）。

【0111】

サーバ１００は、第１の時刻、現在位置情報３０１及び姿勢情報３０２をＡＲ眼鏡２００Ｂから受信する（Ｓ５０５）。なお、図１０の説明において、この現在位置情報３０１が示す地点を、第１の地点と称する。

【0112】

サーバ１００は、第１の時刻の時空間モデル３１０に基づいて、第１の地点から第１の時刻のときに見えていた景色の再現画像３２０を含む視覚再現情報３１３を生成する（Ｓ５０６）。このとき、サーバ１００は、姿勢情報３０２に応じた視覚再現情報３１３を生成する。

【0113】

サーバ１００は、第１の時刻の環境情報３１１に基づいて、第１の地点の第１の時刻における環境再現情報３１４を生成する（Ｓ５０７）。

【0114】

サーバ１００は、視覚再現情報３１３及び環境再現情報３１４をＡＲ眼鏡２００Ｂに送信する（Ｓ５０８）。

【0115】

ＡＲ眼鏡２００Ｂは、視覚再現情報３１３及び環境再現情報３１４をサーバ１００から受信する（Ｓ５０９）。

【0116】

ＡＲ眼鏡２００Ｂは、視覚再現情報３１３に含まれる再現画像３２０を表示すると共に、環境再現情報３１４に含まれる内容（例えば環境画像３２１）を出力する（Ｓ５１０）。そして、ＡＲ眼鏡２００Ｂは、処理をステップＳ５０２に戻す。ユーザ２は、戻されたステップＳ５０２にて、別の第１の時刻を選択してよい。

【0117】

ＡＲ眼鏡２００Ｂは、ステップＳ５１０において、透明ディスプレイ越しに見えている現実空間の景色が第１の時刻のときの状況に見えるように、視覚再現情報３１３に含まれる再現画像３２０の少なくとも一部を現実空間の景色に重畳させて表示する。例えば、ＡＲ眼鏡２００Ｂは、視覚再現情報３１３に含まれる車両３２３又は歩行者３２４（図３参照）などが現実空間の景色に存在しない場合、その視覚再現情報３１３に含まれる車両３２３又は歩行者３２４があたかも現実空間の景色に存在するように、その車両３２３又は歩行者３２４の画像を現実空間の景色に重畳させて表示する。例えば、ＡＲ眼鏡２００Ｂは、現実空間の景色に存在する車両３２３又は歩行者３２４などが視覚再現情報３１３に含まれない場合、ユーザ２から見て、その現実空間の景色に存在する車両３２３又は歩行者３２４などがあたかも現実空間に存在しないように、透明ディスプレイの表示を制御する。なお、ＡＲ眼鏡２００Ｂは、ＶＲ装置２００Ａの場合と同様に、環境再現情報３１４に含まれる内容（例えば環境画像３２１）も出力してよい。

【0118】

図１０に示す方法によれば、ユーザ２は、現実空間の対象エリアにおいて任意の第１の時刻を入力することで、ＡＲ眼鏡２００Ｂが出力する視覚再現情報３１３及び環境再現情報３１４の内容から、現在位置（第１の地点）における第１の時刻のときの状況を簡単に把握することができる。

【0119】

＜ＡＲ眼鏡を用いて対象人物の過去の状況を追体験する方法の例＞
図１１は、ＡＲ眼鏡２００Ｂを用いて対象人物３の過去の状況を追体験する方法の例を示すフローチャートである。次に、図１１を参照して、体験装置２００の一例であるＡＲ眼鏡２００Ｂを装着したユーザ２が対象人物３の過去の状況を追体験する方法の例について説明する。

【0120】

ユーザ２は、現実空間の対象エリアにて、ＡＲ眼鏡２００Ｂを装着する（Ｓ６０１）。

【0121】

ＡＲ眼鏡２００Ｂは、位置計測部２０１の計測結果に基づいてユーザ２の現在位置を示す現在位置情報３０１を生成し、姿勢計測部２０２の計測結果に基づいてＡＲ眼鏡２００Ｂの姿勢（つまりユーザ２の頭の姿勢）を示す姿勢情報３０２を生成する（Ｓ６０２）。

【0122】

ＡＲ眼鏡２００Ｂは、対象人物３の移動経路情報３１２に基づき、現在位置が対象人物３の移動経路上であるか否かを判定する（Ｓ６０３）。なお、ＡＲ眼鏡２００Ｂは、移動経路情報３１２を、適宜サーバ１００から取得してもよいし、予めストレージ２０８に格納してもよい。

【0123】

ＡＲ眼鏡２００Ｂは、現在位置が対象人物３の移動経路上でないと判定した場合（Ｓ６０３：ＮＯ）、現在位置が対象人物３の移動経路から外れてることを示す情報を出力する（Ｓ６０４）。例えば、ＡＲ眼鏡２００Ｂは、現在位置が対象人物３の移動経路から外れていることを示す画像及び／又は音声を出力する。加えて、ＡＲ眼鏡２００Ｂは、現在位置から見て対象人物３の移動経路が存在する方向を示す画像（例えば矢印画像）を表示してもよい。そして、ＡＲ眼鏡２００Ｂは、処理をＳ６０２に戻す。

【0124】

ＡＲ眼鏡２００Ｂは、現在位置が対象人物３の移動経路上であると判定した場合（Ｓ６０３：ＹＥＳ）、現在位置情報３０１及び姿勢情報３０２をサーバ１００へ送信する（Ｓ６０５）。

【0125】

サーバ１００は、現在位置情報３０１及び姿勢情報３０２をＡＲ眼鏡２００Ｂから受信する（Ｓ６０６）。なお、図１１の説明において、この現在位置情報３０１が示す地点を第１の地点と称する。

【0126】

サーバ１００は、移動経路情報３１２に基づき、対象人物３が、第１の地点にいたときの時刻を特定する（Ｓ６０７）。なお、図１１の説明において、この特定された時刻を第１の時刻と称する。

【0127】

サーバ１００は、第１の時刻の時空間モデル３１０に基づいて、第１の地点から第１の時刻のときに見えていた景色の再現画像３２０を含む視覚再現情報３１３を生成する（Ｓ６０８）。このとき、サーバ１００は、姿勢情報３０２に応じた視覚再現情報３１３を生成する。

【0128】

サーバ１００は、第１の時刻の環境情報３１１に基づいて、第１の地点の第１の時刻における環境再現情報３１４を生成する（Ｓ６０９）。

【0129】

サーバ１００は、視覚再現情報３１３及び環境再現情報３１４をＡＲ眼鏡２００Ｂに送信する（Ｓ６１０）。

【0130】

ＡＲ眼鏡２００Ｂは、視覚再現情報３１３及び環境再現情報３１４をサーバ１００から受信する（Ｓ６１１）。

【0131】

ＡＲ眼鏡２００Ｂは、視覚再現情報３１３に含まれる再現画像３２０を表示すると共に、環境再現情報３１４に含まれる内容（例えば環境画像３２１）を出力する（Ｓ６１２）。そして、ＡＲ眼鏡２００Ｂは、処理をステップＳ６０２に戻す。ユーザ２は、戻されたステップＳ６０２にて、対象人物３の移動経路に沿って現在位置を移動してよい。

【0132】

図１１に示す方法によれば、ユーザ２は、ＡＲ眼鏡２００Ｂが出力する視覚再現情報３１３及び環境再現情報３１４の内容から、対象人物３が現在位置にいた第１の時刻のときの状況を簡単に把握することができる。また、ユーザ２は、対象人物３の移動経路に沿って現実空間を移動することで、ＡＲ眼鏡２００Ｂが出力する視覚再現情報３１３及び環境再現情報３１４の内容から、対象人物３が過去にその移動経路に沿って移動したときの状況を簡単に追体験することができる。

【0133】

＜変形例＞
サーバ１００は、各センサ１０から収集したセンサ撮像情報及び／又はセンサ点群情報を解析して、通常と異なる状況（つまり要注意な状況）が発生した時刻及び地点を検出する処理を行ってもよい。サーバ１００は、その検出した時刻及び地点を示す情報を時空間モデル３１０に含めてもよい。また、サーバ１００は、各センサ１０から収集したセンサ集音情報を解析して、通常と異なる音（つまり要注意な音）が発生した時刻及び地点を検出する処理を行ってもよい。サーバ１００は、その検出した時刻及び地点を示す情報を環境情報３１１に含めてもよい。また、体験装置２００は、このような要注意な状況及び音が発生した時刻及び地点の視覚再現情報３１３及び環境再現情報３１４を出力する際、例えば、要注意な状況を示す部分の画像を強調表示したり、要注意な音をより大きく出力したりしてよい。

【0134】

上述では、サーバ１００が視覚再現情報３１３及び環境再現情報３１４を生成し、体験装置２００が通信ネットワーク４を通じてサーバ１００から視覚再現情報３１３及び環境再現情報３１４を受信する例を説明した。しかし、体験装置２００が視覚再現情報３１３及び環境再現情報３１４の少なくとも１つを生成してもよい。例えば、体験装置２００は、サーバ１００から時空間モデル３１０の少なくとも一部を受信し、その時空間モデル３１０に基づいて視覚再現情報３１３を生成してもよい。例えば、体験装置２００は、サーバ１００から環境情報３１１の少なくとも一部を受信し、その環境情報３１１に基づいて環境再現情報３１４を生成してよい。これにより、ユーザ２の位置又は姿勢の変化に対する再現画像３２０及び環境画像３２１の表示の追従性（つまり応答速度）が向上する。

【0135】

（実施の形態２）
＜システムの概要＞
図１２は、実施の形態２に係る体験システム１の構成例を示す模式図である。図１３は、実施の形態２に係るＡＲ眼鏡２００Ｂに表示される災害（津波）の再現画像の一例を示す模式図である。なお、実施の形態２では、実施の形態１にて説明済みの構成要素については同一の参照符号を付し、説明を省略する場合がある。

【0136】

体験システム１は、災害の状況をユーザ２に仮想的に体験させるためのシステムである。体験システム１は、図１と同様、複数のセンサ１０、サーバ１００、及び、体験装置２００を含んで構成される。複数のセンサ１０については、図１と同様のため、説明を省略する。

【0137】

サーバ１００は、実施の形態１と同様に、時空間モデル３１０を生成する。サーバ１００は、時空間モデル３１０を用いて、災害時のシミュレーションを行い、災害の時空間モデル４００を生成する。例えば、災害として津波が設定された場合、サーバ１００は、津波が発生してから所定期間における時空間モデル３１０の時間経過に伴う変化をシミュレーションし、津波の時空間モデル３１０を生成する。例えば、災害として洪水が設定された場合、サーバ１００は、洪水が発生してから所定期間における時空間モデル３１０の時間経過に伴う変化をシミュレーションし、洪水の時空間モデル３１０を生成する。これにより、サーバ１００は、災害が発生してから所定期間の間に時々刻々と災害の状況が変化する様を表現した時空間モデル３１０を生成できる。災害が発生してからの所定期間は、対象期間と読み替えられてもよい。

【0138】

サーバ１００は、災害の時空間モデル４００に基づいて、より安全に避難できる経路をシミュレーションし、避難経路情報４０１を生成する。例えば、サーバ１００は、災害の時空間モデル４００のある地点に所定の速度で移動する対象人物３を配置し、災害の時空間モデル４００の時間を進めながら、対象人物３が避難地点まで移動できるかどうかを様々なルートにてシミュレーションを行う。これにより、サーバ１００は、より安全な避難経路情報４０１を生成することができる。

【0139】

＜ＡＲ眼鏡を用いて避難誘導を体験する方法の例＞
図１４は、実施の形態２に係るＡＲ眼鏡２００Ｂを用いて災害が発生したときの避難誘導を体験する方法の一例を示すフローチャートである。次に、図１４を参照して、体験装置２００の一例であるＡＲ眼鏡２００Ｂを装着したユーザ２が、災害が発生したときの避難誘導を体験する方法について説明する。

【0140】

ユーザ２は、現実空間の対象エリアにて、ＡＲ眼鏡２００Ｂを装着する（Ｓ９０１）。

【0141】

ユーザ２は、ＡＲ眼鏡２００Ｂの入力部２０４を通じて、災害の対象期間のうち、所望の時刻を選択（又は入力）する（Ｓ９０２）。例えば、ユーザ２は、図１３に示すＡＲ眼鏡２００Ｂに表示された災害（津波）の再現画像４１０内のシークバー３２２を操作して、所望の時刻を選択する。図１３の説明において、この選択された時刻を、第１の時刻と称する。

【0142】

ＡＲ眼鏡２００Ｂは、位置計測部２０１の計測結果に基づいてユーザ２の現在位置を示す現在位置情報３０１を生成し、ＡＲ眼鏡２００Ｂは、姿勢計測部２０２の計測結果に基づいてＡＲ眼鏡２００Ｂの姿勢（つまりユーザ２の頭の姿勢）を示す姿勢情報３０２を生成する（Ｓ９０３）。現在位置情報３０１は、ユーザ２の現在位置を示す緯度及び経度が含まれる。姿勢情報３０２は、ユーザ２の目線の方向を示す方位角及び仰俯角と、ユーザ２の目線の高さを示す目線情報が含まれる。

【0143】

ＡＲ眼鏡２００Ｂは、第１の時刻、現在位置情報３０１及び姿勢情報３０２をサーバ１００へ送信する（Ｓ９０４）。

【0144】

サーバ１００は、第１の時刻、現在位置情報３０１及び姿勢情報３０２をＡＲ眼鏡２００Ｂから受信する（Ｓ９０５）。なお、図１４の説明において、この現在位置情報３０１が示す地点を第１の地点と称する。

【0145】

サーバ１００は、第１の時刻の災害の時空間モデル４００に基づき、第１の地点から第１の時刻のときに見えると想定される災害の再現画像４１０を含む視覚再現情報３１３を生成する（Ｓ９０６）。このとき、サーバ１００は、姿勢情報３０２に応じた視覚再現情報３１３を生成する。

【0146】

サーバ１００は、視覚再現情報３１３をＡＲ眼鏡２００Ｂに送信する（Ｓ９０７）。

【0147】

ＡＲ眼鏡２００Ｂは、視覚再現情報３１３をサーバ１００から受信する（Ｓ９０８）。

【0148】

ＡＲ眼鏡２００Ｂは、避難経路情報４０１に基づいて、現在位置から避難すべき方向を特定し、その方向を示す画像（以下、避難誘導画像４１２と称する）を生成する（Ｓ９０９）。

【0149】

ＡＲ眼鏡２００Ｂは、視覚再現情報３１３に含まれる災害の再現画像４１０を表示すると共に、避難誘導画像４１２を表示する（Ｓ９１０）。

【0150】

ＡＲ眼鏡２００Ｂは、第１の時刻を進めて（Ｓ９１１）、処理をＳ９０３に戻す。これを繰り返すことにより、ＡＲ眼鏡２００Ｂは、時間的に変化する災害の状況を再現した災害の再現画像４１０をユーザ２に見せることができる。

【0151】

図１４に示す方法によれば、ユーザ２は、ＡＲ眼鏡２００Ｂの透明ディスプレイ越しに、対象エリアにおいて災害が発生した場合の状況を体験できる。加えて、ユーザ２は、ＡＲ眼鏡２００Ｂに表示された避難誘導画像４１２に基づいて、災害が発生した際に現在位置からどのように避難すればよいかを体験又は訓練することができる。

【0152】

（本開示のまとめ）
本開示は以下のように表現できる。

【0153】

＜表現１＞
体験装置２００は、プロセッサ２１０及びメモリ２０７を備え、プロセッサ２１０は、メモリ２０７と協働して、現実空間の物体の時間経過に伴う変化を３Ｄモデル化したデータである時空間モデル３１０のうち、第１の時刻の時空間モデル３１０を取得し、第１の時刻の時空間モデル３１０に基づいて、現実空間の所定の第１の地点の第１の時刻における視覚的な状況を再現した画像である再現画像３２０を出力する。
これにより、体験装置２００は、再現画像３２０を表示して、現実空間の第１の地点の第１の時刻における状況をユーザ２に体験させることができる。

【0154】

＜表現２＞
表現１において、第１の地点は、所定の対象人物３が第１の時刻のときにいた地点であってよい。
これにより、体験装置２００は、再現画像３２０を表示して、対象人物３が第１の地点にいたとき（つまり第１の時刻のとき）の状況をユーザ２に体験させることができる。

【0155】

＜表現３＞
表現２において、プロセッサ２１０は、現実空間において対象人物３が第１の時刻を含む所定の対象期間に移動したと推測される経路を示す移動経路情報３１２を取得し、対象期間における時空間モデル３１０に基づいて、移動経路情報３１２が示す経路を対象人物が移動した際の対象期間における再現画像３２０を出力してよい。
これにより、体験装置２００は、再現画像３２０を表示して、対象人物３が過去に移動した経路上の状況をユーザ２に体験させることができる。

【0156】

＜表現４＞
表現３において、プロセッサ２１０は、ユーザ２が第１の時刻を選択した場合、移動経路情報３１２に基づいて、対象人物３が第１の時刻のときにいた地点を第１の地点として特定し、第１の地点の第１の地点における再現画像３２０を出力してよい。
これにより、体験装置２００は、ユーザ２が第１の時刻を選択した場合、対象人物３が第１の時刻のときにいた地点（第１の地点）をユーザ２に提示できると共に、再現画像３２０を表示して、対象人物３が第１の地点にいたとき（つまり第１の時刻のとき）の状況をユーザ２に体験させることができる。

【0157】

＜表現５＞
表現２から４のいずれか１つにおいて、プロセッサ２１０は、対象人物３の目線の高さから見た再現画像３２０を出力してよい。
これにより、体験装置２００は、対象人物３の目線の高さから見た再現画像３２０を表示して、対象人物３が体験した状況をよりリアルにユーザ２に体験させることができる。

【0158】

＜表現６＞
表現３において、プロセッサ２１０は、ユーザ２が現実空間の第１の地点にいる場合、移動経路情報３１２に基づいて、対象人物３が第１の地点にいた時刻を第１の時刻として特定し、第１の地点の第１の時刻における再現画像３２０を出力してよい。
これにより、体験装置２００は、ユーザ２がいる現在位置（第１の地点）に対象人物３がいたときの時刻（第１の時刻）をユーザ２に提示できると共に、再現画像３２０を表示して、ユーザ２がいる現在地点(第１の地点)に対象人物３がいたとき（つまり第１の時刻のとき）の状況をユーザ２に体験させることができる。

【0159】

＜表現７＞
表現６において、プロセッサ２１０は、ユーザ２の目線の高さから見た再現画像３２０を出力してよい。
これにより、体験装置２００は、ユーザ２の目線の高さに合ったより精度の高い再現画像３２０を表示することができる。

【0160】

＜表現８＞
表現１から６のいずれか１つにおいて、プロセッサ２１０は、現実空間の第１の地点の第１の時刻における環境を再現する情報である環境再現情報３１４を取得し、環境再現情報３１４に基づいて、第１の地点の第１の時刻における環境に関する情報を出力してよい。
これにより、体験装置２００は、環境に関する情報（例えば環境画像３２１）を出力して、現実空間の第１の地点の第１の時刻における環境に関する情報をユーザ２に認識させることができる。

【0161】

＜表現９＞
表現８において、環境再現情報は、音、天気、気温、湿度、風速、風向、明るさ、並びに、太陽又は月の位置のうち少なくとも１つの情報を含んでよい。
これにより、体験装置２００は、現実空間の第１の地点の第１の時刻における、音、天気、気温、湿度、風速、風向、明るさ、並びに、太陽又は月の位置のうち少なくとも１つの情報をユーザ２に認識させることができる。

【0162】

＜表現１０＞
表現１において、時空間モデル３１０は、災害時における現実空間の時間経過に伴う変化を３次元モデル化した災害の時空間モデル４００であり、再現画像３２０は、第１の時刻の第１の地点における災害時の視覚的な状況を再現した災害の再現画像４１０であってよい。
これにより、体験装置２００は、災害の再現画像４１０を表示して、現実空間の第１の地点の第１の時刻における災害の状況をユーザ２に体験させることができる。

【0163】

＜表現１１＞
表現１０において、プロセッサ２１０は、ユーザ２が現実空間の第１の地点にいる場合、第１の地点からの避難方向を示す情報を出力してよい。
これにより、体験装置２００は、ユーザ２がいる現在位置（第１の地点）から避難すべき方向を、ユーザ２に認識させることができる。

【0164】

＜表現１２＞
体験システム１は、サーバ１００及び体験装置２００を備え、サーバ１００は、体験装置２００から第１の時刻を示す情報を受信し、現実空間の物体の時間経過に伴う変化を３次元モデル化したデータである時空間モデル３１０のうち、第１の時刻の時空間モデル３１０に基づいて、現実空間の所定の第１の地点の第１の時刻における視覚的な状況を再現した画像である再現画像３２０を生成し、再現画像３２０を体験装置２００へ送信し、体験装置２００は、サーバ１００から受信した再現画像３２０を出力する。
これにより、体験装置２００は、再現画像３２０を表示して、現実空間の第１の地点の第１の時刻における状況をユーザ２に体験させることができる。

【0165】

＜表現１３＞
体験装置２００は表示方法として、第１の時刻を示す情報をサーバ１００へ送信し、サーバ１００から、現実空間の物体の時間経過に伴う変化を３次元モデル化したデータである時空間モデル３１０のうち、第１の時刻の時空間モデル３１０に基づいて生成された、現実空間の所定の第１の地点の第１の時刻における視覚的な状況を再現した画像である再現画像３２０を受信し、サーバ１００から受信した再現画像３２０を表示する。
これにより、体験装置２００は、再現画像３２０を表示して、現実空間の第１の地点の第１の時刻における状況をユーザ２に体験させることができる。

【0166】

上述した実施の形態の各構成要素は、発明の趣旨を逸脱しない範囲において、変更、修正、置換、付加、削除、均等等が可能である。加えて、上述した実施の形態の各構成要素は、発明の趣旨を逸脱しない範囲において、任意に組み合わせが可能である。

【産業上の利用可能性】

【0167】

本開示の技術は、現実空間における過去の事象又は災害に関する事象などをユーザに体験させる装置又はシステムに有用である。

【符号の説明】

【0168】

１ 体験システム
２ ユーザ
３ 対象人物
４ 通信ネットワーク
１０ センサ
１００ サーバ
１０１ 入力部
１０２ 表示部
１０３ メモリ
１０４ ストレージ
１０５ 通信部
１０６ プロセッサ
２００ 体験装置
２００Ａ ＶＲ装置
２００Ｂ ＡＲ眼鏡
２０１ 位置計測部
２０２ 姿勢計測部
２０３ 撮像部
２０４ 入力部
２０５ 表示部
２０６ スピーカ
２０７ メモリ
２０８ ストレージ
２０９ 通信部
２１０ プロセッサ
３０１ 現在位置情報
３０２ 姿勢情報
３０３ 公開情報
３１０ 時空間モデル
３１１ 環境情報
３１２ 移動経路情報
３１３ 視覚再現情報
３１４ 環境再現情報
３２０ 再現画像
３２１ 環境画像
３２２ シークバー
３２３ 車両
３２４ 歩行者
４００ 災害の時空間モデル
４０１ 避難経路情報
４１０ 災害の再現画像
４１２ 避難誘導画像

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【手続補正書】

【提出日】2021-12-10

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

体験装置であって、プロセッサ及びメモリを備え、
前記プロセッサは、前記メモリと協働して、
ユーザが現在いる現実空間の地点である第１の地点を特定し、
前記現実空間において所定の対象人物が過去に移動したと推測される経路を示す移動経路情報を取得し、
前記第１の地点が前記移動経路情報が示す経路上である場合、前記対象人物が前記第１の地点にいたときの時刻である第１の時刻を特定し、
前記現実空間の物体の時間経過に伴う変化を３次元モデル化したデータである時空間モデルのうち、前記第１の時刻の前記時空間モデルを取得し、
前記第１の時刻の前記時空間モデルに基づいて、前記第１の地点における前記第１の時刻のときの視覚的な状況を再現した画像である再現画像を出力する、
体験装置。

【請求項2】

前記プロセッサは、
前記第１の地点が前記移動経路情報が示す経路から外れている場合、その旨を前記ユーザに通知する、
請求項１に記載の体験装置。

【請求項3】

前記プロセッサは、前記ユーザの目線の高さから見た前記再現画像を出力する、
請求項１に記載の体験装置。

【請求項4】

前記プロセッサは、
前記現実空間の前記第１の地点の前記第１の時刻における環境を再現する情報である環境再現情報を取得し、
前記環境再現情報に基づいて、前記第１の地点の前記第１の時刻における環境に関する情報を出力する、
請求項１から３のいずれか１項に記載の体験装置。

【請求項5】

前記環境再現情報は、音、天気、気温、湿度、風速、風向、明るさ、並びに、太陽又は月の位置のうち少なくとも１つの情報を含む、
請求項４に記載の体験装置。

【請求項6】

体験システムであって、サーバ及び体験装置を備え、
前記体験装置は、
ユーザが現在いる現実空間の地点である第１の地点を特定し、
前記現実空間において所定の対象人物が過去に移動したと推測される経路を示す移動経路情報を前記サーバから取得し、
前記第１の地点が前記移動経路情報が示す経路上である場合、前記第１の地点を示す情報を前記サーバへ送信し、
前記サーバは、
前記体験装置から前記第１の地点を示す情報を受信し、
前記対象人物が前記第１の地点にいたときの時刻である第１の時刻を特定し、
前記現実空間の物体の時間経過に伴う変化を３次元モデル化したデータである時空間モデルのうち、前記第１の時刻の前記時空間モデルに基づいて、前記第１の地点における前記第１の時刻のときの視覚的な状況を再現した画像である再現画像を生成し、
前記再現画像を前記体験装置へ送信し、
前記体験装置は、
前記サーバから受信した前記再現画像を表示する、
体験システム。

【請求項7】

前記体験装置は、
前記第１の地点が前記移動経路情報が示す経路から外れている場合、その旨を前記ユーザに通知する、
請求項６に記載の体験システム。

【請求項8】

体験装置による表示方法であって、
ユーザが現在いる現実空間の地点である第１の地点を特定し、
前記現実空間において所定の対象人物が過去に移動したと推測される経路を示す移動経路情報を所定のサーバから取得し、
前記第１の地点が前記移動経路情報が示す経路上である場合、前記第１の地点を示す情報を前記サーバへ送信し、
前記サーバから、前記現実空間の物体の時間経過に伴う変化を３次元モデル化したデータである時空間モデルのうち、前記対象人物が前記第１の地点にいたときの時刻である第１の時刻の前記時空間モデルに基づいて生成された、前記第１の地点における前記第１の時刻のときの視覚的な状況を再現した画像である再現画像を受信し、
前記サーバから受信した前記再現画像を表示する、
表示方法。

【請求項9】

前記第１の地点が前記移動経路情報が示す経路から外れている場合、その旨を前記ユーザに通知する、
請求項８に記載の表示方法。