特開 2024-160864 複数種の仮想環境の使い分けを行うナビゲーションプログラム、装置、およびシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024160864

(43)【公開日】2024-11-15

(54)【発明の名称】複数種の仮想環境の使い分けを行うナビゲーションプログラム、装置、およびシステム

(51)【国際特許分類】

   G06T 19/00 20110101AFI20241108BHJP

   G06F 3/01 20060101ALI20241108BHJP

【ＦＩ】

G06T19/00 600

G06F3/01 510

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2023076335

(22)【出願日】2023-05-02

(71)【出願人】

【識別番号】597106600

【氏名又は名称】有限会社ヴェルク・ジャパン

(74)【代理人】

【識別番号】110000523

【氏名又は名称】アクシス国際弁理士法人

(72)【発明者】

【氏名】山崎 敏夫

【テーマコード（参考）】

5B050

5E555

【Ｆターム（参考）】

5B050AA03

5B050BA09

5B050BA11

5B050BA17

5B050CA08

5B050DA01

5B050EA04

5B050EA26

5B050FA02

5E555AA25

5E555BA04

5E555BA83

5E555BA87

5E555BA88

5E555BB04

5E555BC17

5E555BE17

5E555CA45

5E555CB82

5E555CC22

5E555DB37

5E555DB54

5E555DB55

5E555DC09

5E555DD07

5E555FA00

(57)【要約】      （修正有）

【課題】現実世界と仮想世界の夫々でのユーザーの活動を統括する。
【解決手段】プログラムは、モバイルクライアント端末から、ユーザーの位置情報を受信するモジュール１１０と、史跡に関係する過去地図情報における座標を、現行地図情報における座標に対応させるモジュール１２０と、受信したユーザーの位置情報と、現行地図情報もしくは過去地図情報とに基づいて、現実世界における前記ユーザーを案内するための案内情報を、現実世界を見るユーザーの視野に重畳させるように提供するモジュール１３０と、案内情報を承けたユーザーの現実世界における移動経路により、過去世界におけるユーザーの移動経路を仮想的に決定し、当該過去世界におけるユーザーの、史跡に関係する複数の座標のうちの少なくともいずれかに関係する視野を仮想的に再現する仮想環境映像を作成し、ウェアラブル端末が有する表示手段に送信するモジュール１４０、１５０と、を含む。
【選択図】図１

【特許請求の範囲】

【請求項1】

ユーザーの位置情報を取得する機能を有するモバイルクライアント端末から、前記ユーザーの位置情報を受信するモジュールと、
史跡に関係する複数の座標を特定する現行地図情報と、前記現行地図情報とは異なりかつ史跡に関係する複数の座標を特定する過去地図情報とを格納し、前記過去地図情報における一つ以上の座標を、前記現行地図情報における一つ以上の座標にそれぞれ対応させるモジュールと、
受信した前記ユーザーの位置情報と、前記現行地図情報もしくは前記過去地図情報またはその両方とに基づいて、前記ユーザーが史跡に関係する座標のいずれかの近傍に在るかどうかを判断するモジュールと、
前記ユーザーが史跡に関係する座標のいずれかの近傍に在ると判断された場合において、受信した前記ユーザーの位置情報および前記現行地図情報に基づいて、現実世界における前記ユーザーを案内するための案内情報を、前記モバイルクライアント端末の表示手段を介して、現実世界を見る前記ユーザーの視野に重畳させるようにして提供するモジュールと、
前記案内情報を承けた前記ユーザーの現実世界における移動経路を、前記現行地図情報に基づいて、前記モバイルクライアント端末の表示手段を介して提示するモジュールと、
提示された前記ユーザーの移動経路および／もしくは提示された前記ユーザーの移動経路に対応した前記ユーザーの位置情報を追跡することにより得られる移動経路と、前記過去地図情報とに基づいて、過去世界における前記ユーザーの移動経路を仮想的に決定し、当該過去世界における前記ユーザーの、前記史跡に関する前記複数の座標のうちの少なくともいずれかに関係する視野を仮想的に再現する仮想環境映像を作成し、ウェアラブル端末が有する表示手段に送信するモジュールと
を含む、コンピュータにより実行可能なプログラム。

【請求項2】

前記現行地図情報が、ユーザーが立ち入ることが可能な座標と不可能な座標とを識別する情報をさらに有し、
前記プログラムがさらに、
前記一つ以上の史跡に関係する座標もしくはその近傍の座標が、前記現行地図情報により特定されるユーザーが立ち入ることが不可能な座標に対応するか否かを判別し、対応する場合には、前記過去世界における前記ユーザーの移動経路を編集して、史跡に関係する一つ以上の座標もしくはその近傍の座標を少なくとも含むようにし、前記仮想環境映像に反映させるモジュール
を含む、請求項1に記載のプログラム。

【請求項3】

前記過去地図情報が、過去の世界の建造物に関する情報に対応する座標を含み、
前記現行地図情報中の当該座標に対応する座標の近傍において、当該建造物に関する風景に関する視覚情報および／もしくは音声情報を、前記ウェアラブル端末が表示する前記仮想環境映像または前記モバイルクライアント端末が表示する情報に含めるモジュール
をさらに含む、請求項1または2に記載のプログラム。

【請求項4】

前記音声情報が、当該建造物の一部もしくは全体によって遮蔽され減衰するように想定されて計算され、ユーザーの聴覚に届くことを特徴とする、請求項3に記載のプログラム。

【請求項5】

前記案内情報が、前記仮想環境映像に対するユーザーのフィードバックを反映して編集されるものである、請求項1に記載のプログラム。

【請求項6】

前記モバイルクライアント端末が、前記ウェアラブル端末と物理的に同一の端末である、請求項1に記載のプログラム。

【請求項7】

前記モバイルクライアント端末が、前記ウェアラブル端末と物理的に別の端末であり、
前記ウェアラブル端末は、前記現実世界における前記ユーザーの移動経路とは物理的に離隔した別の場所に配置される、請求項1に記載のプログラム。

【請求項8】

前記仮想環境映像が、現存しない建造物、自然物、事象、若しくは人物を含む、請求項1に記載のプログラム。

【請求項9】

仮想環境映像生成装置であって、
ユーザーの位置情報を取得する機能を有するモバイルクライアント端末から、前記ユーザーの位置情報を受信するための受信手段と、
史跡に関係する複数の座標を特定できる現行地図情報と、前記現行地図情報とは異なりかつ史跡に関係する複数の座標を特定できる過去地図情報とを格納し、ここで前記過去地図情報における一つ以上の座標が、前記現行地図情報における一つ以上の座標にそれぞれ対応させるように保存される、記憶手段と、
受信した前記ユーザーの位置情報と、前記現行地図情報もしくは前記過去地図情報またはその両方とに基づいて、前記ユーザーが史跡に関係する座標のいずれかの近傍に在るかどうかを判断する判断手段と、
前記ユーザーが史跡に関係する座標のいずれかの近傍に在ると判断された場合において、受信した前記ユーザーの位置情報および前記現行地図情報に基づいて、前記モバイルクライアント端末の表示手段を介して、現実世界における前記ユーザーを案内するための案内情報を現実世界を見る前記ユーザーの視野に重畳させるようにして提供する、案内手段と、
受信した前記ユーザーの位置情報と前記現行地図情報とに基づいて、前記案内情報を承けた前記ユーザーの移動経路を提示する、現実世界移動経路提示手段と、
提示された前記ユーザーの移動経路および／もしくは提示された前記ユーザーの移動経路に対応した前記ユーザーの位置情報を追跡することにより得られる移動経路と、前記過去地図情報とに基づいて、過去世界における前記ユーザーの移動を仮想的に決定し、前記過去世界における前記ユーザーの、前記史跡に関する前記複数の座標のうちの少なくともいずれかに関係する視野を仮想的に再現する仮想環境映像を作成する映像作成手段と、
前記映像作成手段により作成された前記仮想環境映像を、ウェアラブル端末が有する表示手段に送信する送信手段と
を含む、装置。

【請求項10】

請求項9に記載の装置と、
前記装置とネットワークを介して動作可能に結合するモバイルクライアント端末と、
前記装置とネットワークを介して動作可能に結合するウェアラブル端末と
を含むシステムであって、
前記ウェアラブル端末は、前記仮想環境映像を前記ユーザーに提供するにあたり、前記ユーザーの視野を封鎖するように構成される
ことを特徴とする、システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、複数種の仮想環境の使い分けを行うナビゲーションプログラム、装置、およびシステムに関する。

【背景技術】

【0002】

従来よりナビゲーション装置において環境音を特定の方法により再生する技術については、本出願人により公開されている（特許文献1）。またカーナビ装置、歩行ナビ装置において、画像及びそれに関連する音声情報データベースを、３次元の空間と１次元の時代よりなる４次元のレイヤー構造に分類して構成して用いる技術も、本出願人により公開されている（特許文献2）。

【0003】

一方、仮想空間内に博物館・歴史資料館のような展示を再現し、観覧に供する試みも以前よりなされている。例えば特許文献3には、仮想空間内における案内に先行して行なわれる実空間における見学時に、各展示に対する見学者のインタラクションに関する情報を検出する手段と、前記検出された情報に基づいて、見学者が各展示に対して有する関心の程度を表わすアクティブレベルを決定する手段と、前記決定されたアクティブレベルに基づいて、前記仮想空間内における案内のモードを決定する手段と、前記決定された案内のモードに応じて、前記仮想空間内において見学者を案内する手段とを備えた、見学者案内支援装置が開示されている。

【0004】

また特許文献4は、建造物等が現存しておらず往時の姿をとどめていない古跡・史跡を訪れる者に対して、バーチャル博物館を展開するためのシステムを開示している。当該システムは、少なくともオブジェクト位置と出力情報を含む情報により示されるオブジェクトを該出力情報に基づいて出力するオブジェクト出力端末を有し、前記オブジェクト出力端末の端末位置を取得する測位手段と、前記端末位置と前記オブジェクト位置との関係が所定の関係である場合に、前記オブジェクト出力端末から前記オブジェクトを出力する出力手段とを備えるオブジェクト出力システムを制御する博物館プログラムで生成される仮想世界を展示するバーチャル博物館システムにおいて、前記オブジェクトを配置する仮想空間と前記バーチャル博物館が実際に展開される現実空間との対応を定義する仮想空間管理手段を備えていることを特徴としている。

【0005】

また非特許文献1は、実世界に仮想世界を重畳的に展開するためのSpaceTagシステムを開示しており、位置情報のみを手掛かりとして仮想情報を実世界に重ね合わせることを特徴としている。

【0006】

また特許文献5は、仮想空間内のユーザーの視野において、観光モードや史跡探索モード等のシナリオモードに沿ったフィルタリングを行い、位置情報に基づいてオブジェクトを小型かつシースルー型のヘッドマウントディスプレイを介して描画する、表示制御方法を開示している。

【0007】

また特許文献6は、撮像装置を所持する現地の同行者と一緒に旅行する仮想体験を提供するためのシステムを開示しており、現地映像に基づいて動く移動体に搭乗して、ユーザーが仮想旅行体験をできると謳われている。

【先行技術文献】

【特許文献】

【0008】

【特許文献1】特許第4791064号公報

【特許文献2】特許第5865708号公報

【特許文献3】特開平10-050351号公報

【特許文献4】特開2004-145657号公報

【特許文献5】国際公開第2016/031358号

【特許文献6】特開2022-142296号公報

【非特許文献】

【0009】

【非特許文献1】垂水浩幸. "SpaceTag～ いますぐ事業化できる現実と仮想の融合." 情報処理学会研究報告ヒューマンコンピュータインタラクション (HCI) 2002.76 (2002-HI-099) (2002): 23-30.

【発明の概要】

【発明が解決しようとする課題】

【0010】

しかし従来技術では、史跡が現実世界においてどのような状況にあるかまでを考慮しているとは言えない。特許文献3のシステムは、あくまで仮想世界に展示を行うためのものに過ぎず、観覧者は現実世界における史跡との相互作用を持てるわけではない。

【0011】

また特許文献4のシステムは、現実世界上に現存しない遺物をバーチャルに再現することを指向しているが、そのバーチャルな遺物に対する観覧者からのフィードバックについては特に考慮されていない。また特許文献4では現実世界では立入禁止になっている領域の存在を設定して警告することは記載されているものの、その警告によって観覧者の興が削がれてしまうことへの手当ては考慮されていない。また、仮想映像をユーザーに見せるにあたって、そのユーザーが現実世界でどういう状態にあるかどうかも特に考慮されていない。

【0012】

非特許文献1のSpaceTagシステムは、位置情報に基づいて現実世界へのタグ付けを行うという特徴があるが、ユーザーはあくまで実世界と同一の地理的構造内での行動をせざるをえず、例えば建造物の亡失や地形変動などによって、現代においてはユーザーがもはや容易には到達できなくなった位置について、どのように扱うかの示唆がなされていない。また非特許文献1では、コンテンツプロバイダと個人ユーザーの双方がSpaceTagを置けることによる双方向性があるとされているが、そこに流れる情報の整理は「チャンネルのチューニング」で行うとしか示唆されておらず、より有用な情報への効率的なアクセスは示唆されていない。

【0013】

特許文献5の手法は、地図データ等を表示する複数の表示モードにそれぞれ含まれるオブジェクトへの遷移をシームレスに行うことを特徴としているが、ユーザーがどのような関心を持って史跡にいるかどうかは考慮されていない。また、仮想環境映像への没入についても考慮されていない。

【0014】

また特許文献6の技術は、あくまで現地に居る他人を同行者とした仮想体験をユーザーに移動体を使って提供するものであって、ユーザー自身が現地から実際の体験を得ることについては考慮していない。

【0015】

したがって以上のような従来技術では、現実世界と仮想世界のそれぞれでのユーザーの活動を統括できておらず、ユーザーの知的生産活動への貢献に限界があるという課題があった。したがってこうした課題を解決するべく、特許文献1、2の技術をさらに発展させた新たな技術が待望されている。

【課題を解決するための手段】

【0016】

本発明では上述した課題に鑑み、以下の態様を提供できる。

【0017】

態様1.
ユーザーの位置情報を取得する機能を有するモバイルクライアント端末から、前記ユーザーの位置情報を受信するモジュールと、
史跡に関係する複数の座標を特定する現行地図情報と、前記現行地図情報とは異なりかつ前記史跡に関係する複数の座標を特定する過去地図情報とを格納し、前記過去地図情報における一つ以上の座標を、前記現行地図情報における一つ以上の座標にそれぞれ対応させるモジュールと、
受信した前記ユーザーの位置情報と、前記現行地図情報もしくは前記過去地図情報またはその両方とに基づいて、前記ユーザーが史跡に関係する座標のいずれかの近傍に在るかどうかを判断するモジュールと、
前記ユーザーが史跡に関係する座標のいずれかの近傍に在ると判断された場合において、受信した前記ユーザーの位置情報および前記現行地図情報に基づいて、現実世界における前記ユーザーを案内するための案内情報を前記モバイルクライアント端末に提供し、前記モバイルクライアント端末が有する表示手段を介して、前記案内情報を現実世界を見る前記ユーザーの視野に重畳させるようにして表示するモジュールと、
前記ユーザーの現実世界における移動経路を、前記現行地図情報に基づいて、前記モバイルクライアント端末の表示手段を介して提示するモジュールと、
提示された前記ユーザーの移動経路および／もしくは提示された前記ユーザーの移動経路に対応した前記ユーザーの位置情報を追跡することにより得られる移動経路と、前記過去地図情報とに基づいて、過去世界における前記ユーザーの移動経路を仮想的に決定し、当該過去世界における前記ユーザーの、前記史跡に関係する前記複数の座標のうちの少なくともいずれかに関係する視野を仮想的に再現する仮想環境映像を作成し、ウェアラブル端末が有する表示手段に送信するモジュールと
を含む、コンピュータにより実行可能なプログラム。

【0018】

態様2.
前記現行地図情報が、ユーザーが立ち入ることが可能な座標と不可能な座標とを識別する情報をさらに有し、
前記プログラムがさらに、
前記一つ以上の史跡に関係する座標もしくはその近傍の座標が、前記現行地図情報により特定されるユーザーが立ち入ることが不可能な座標に対応するか否かを判別し、対応する場合には、前記過去世界における前記ユーザーの移動経路を編集して、史跡に関係する一つ以上の座標もしくはその近傍の座標を少なくとも含むようにし、前記仮想環境映像に反映させるモジュール
を含む、態様1に記載のプログラム。

【0019】

態様3.
前記過去地図情報が、過去の世界の建造物に関する情報に対応する座標を含み、
前記現行地図情報中の当該座標に対応する座標の近傍において、当該建造物に関する風景に関する視覚情報および／もしくは音情報を、前記ウェアラブル端末が表示する前記仮想環境映像または前記モバイルクライアント端末が表示する情報に含めるモジュール
をさらに含む、態様1または2に記載のプログラム。

【0020】

態様4.
前記音情報が、当該建造物の一部もしくは全体によって遮蔽され減衰するように想定されて計算され、ユーザーの聴覚に届くことを特徴とする、態様3に記載のプログラム。

【0021】

態様5.
前記案内情報が、前記仮想環境映像に対するユーザーのフィードバックを反映して編集されるものである、態様1～4のいずれかに記載のプログラム。

【0022】

態様6.
前記モバイルクライアント端末が、前記ウェアラブル端末と物理的に同一の端末である、態様1～5のいずれかに記載のプログラム。

【0023】

態様7.
前記モバイルクライアント端末が、前記ウェアラブル端末と物理的に別の端末であり、
前記ウェアラブル端末は、前記現実世界における前記ユーザーの移動経路とは物理的に離隔した別の場所に配置される、態様1～5のいずれかに記載のプログラム。

【0024】

態様8.
前記仮想環境映像が、現存しない建造物、自然物、事象、若しくは人物を含む、態様1～7のいずれかに記載のプログラム。

【0025】

態様9.
仮想環境映像生成装置であって、
ユーザーの位置情報を取得する機能を有するモバイルクライアント端末から、前記ユーザーの位置情報を受信するための受信手段と、
史跡に関係する複数の座標を特定できる現行地図情報と、前記現行地図情報とは異なりかつ史跡に関係する複数の座標を特定できる過去地図情報とを格納し、ここで前記過去地図情報における一つ以上の座標が、前記現行地図情報における一つ以上の座標にそれぞれ対応させるように保存される、記憶手段と、
受信した前記ユーザーの位置情報と、前記現行地図情報もしくは前記過去地図情報またはその両方とに基づいて、前記ユーザーが史跡に関係する座標のいずれかの近傍に在るかどうかを判断する判断手段と、
前記ユーザーが史跡に関係する座標のいずれかの近傍に在ると判断された場合において、受信した前記ユーザーの位置情報および前記現行地図情報に基づいて、前記モバイルクライアント端末の表示手段を介して、現実世界における前記ユーザーを案内するための案内情報を現実世界を見る前記ユーザーの視野に重畳させるようにして提供する、案内手段と、
受信した前記ユーザーの位置情報と前記現行地図情報とに基づいて、前記案内情報を承けた前記ユーザーの移動経路を提示する、現実世界移動経路提示手段と、
提示された前記ユーザーの移動経路および／もしくは提示された前記ユーザーの移動経路に対応した前記ユーザーの位置情報を追跡することにより得られる移動経路と、前記過去地図情報とに基づいて、過去世界における前記ユーザーの移動を仮想的に決定し、前記過去世界における前記ユーザーの、前記史跡に関係する前記複数の座標のうちの少なくともいずれかに関係する視野を仮想的を再現する仮想環境映像を作成する映像作成手段と、
前記映像作成手段により作成された前記仮想環境映像を、ウェアラブル端末が有する表示手段に送信する送信手段と
を含む、装置。

【0026】

態様10.
態様9に記載の装置と、
前記装置とネットワークを介して動作可能に結合するモバイルクライアント端末と、
前記装置とネットワークを介して動作可能に結合するウェアラブル端末と
を含むシステムであって、
前記ウェアラブル端末は、前記仮想環境映像を前記ユーザーに提供するにあたり、前記ユーザーの視野を封鎖するように構成される
ことを特徴とする、システム。

【発明の効果】

【0027】

本発明によれば、現実世界において史跡がどのような状況にあるかを考慮しつつ、現実世界においてユーザーの視野に重畳させた案内情報を介してユーザーを案内でき、かつ別途に、その現実世界でのユーザーの移動に応じた仮想環境映像をユーザーに提供可能である。これにより、ユーザーを現実世界と仮想世界の両方で適切に移動でき、しかも史跡に関する見聞を深められ、その知識を体系的に蓄積可能になるという効果が得られる。

【図面の簡単な説明】

【0028】

【図1】本発明の基本構成を説明するブロック図である。

【図2】本発明の一実施例としての4Dハイブリッド・メタバース系の情報フローの説明図である。

【図3】現代におけるフォロ・ロマーノのセウェルス帝の凱旋門からの風景と観光客の例を示す。

【図4】本発明の実施例が提供できる、フォロ・ロマーノの全体を表示するメタバース映像の例を示す。

【図5】本発明の実施例が提供できる、古代ローマに実存した建造物群のメタバース映像の例を示す。

【図6】本発明の実施例が提供できる、江戸城における情報レイヤー構成の例を示す概念図である。

【図7】本発明の実施例が提供できる、4DハイブリッドAIエンジンの関係する情報系の総合説明図である。

【図8】本発明の実施例が提供できる、江戸城におけるARとVRの配置例を含んだ案内情報の例を示す。

【図9】本発明の実施例が提供できる、晴天時の仮想環境映像の例を示す。

【図10】本発明の実施例が提供できる、雨天時の仮想環境映像の例を示す。

【図11】史跡の例としての現代の江戸城跡を示す。

【図12】現代の江戸城跡に隣接する高層ビルを示す。

【図13】図12の高層ビルからの景観を示す。

【図14】現代における江戸城の風景と観光客の例を示す。

【図15】現代における江戸城の風景と観光客の例を示す。

【発明を実施するための形態】

【0029】

本発明では、地球上の各地に共通に設定された座標系グリッドを活用し、現実世界（史跡を含む）と仮想世界（過去世界）の両方に共通する座標系を利用しつつ、その双方でユーザーの誘導を行い、ユーザーの知的生産性に資することを特徴とする。或る実施形態では、プロセッサを有するコンピュータにより実行可能な命令を含んだプログラムを提供できる。当該プログラムは少なくとも、
ユーザーの位置情報を取得する機能を有するモバイルクライアント端末からユーザーの位置情報を受信する第一のモジュールと、
史跡に関係する複数の座標を特定する現行地図情報と、前記現行地図情報とは異なりかつ史跡に関係する複数の座標を特定する過去地図情報とを格納し、前記過去地図情報における一つ以上の座標を、前記現行地図情報における一つ以上の座標にそれぞれ対応させる第二のモジュールと、
受信した前記ユーザーの位置情報と、前記現行地図情報もしくは前記過去地図情報またはその両方とに基づいて、前記ユーザーが史跡に関係する座標のいずれかの近傍に在るかどうかを判断する第三のモジュールと、
前記ユーザーが史跡に関係する座標のいずれかの近傍に在ると判断された場合において、受信した前記ユーザーの位置情報および前記現行地図情報に基づいて、現実世界における前記ユーザーを案内するための案内情報を、前記モバイルクライアント端末の表示手段を介して現実世界を見るユーザーの視野に重畳させるようにして提供する第四のモジュールと、
前記案内情報を承けた前記ユーザーの現実世界における移動経路を、前記モバイルクライアント端末の表示手段を介して提示する第五のモジュールと、
提示された前記ユーザーの移動経路および／もしくは提示された前記ユーザーの移動経路に対応した前記ユーザーの位置情報を追跡することにより得られる移動経路と前記過去地図情報とに基づいて、過去世界における前記ユーザーの移動経路を仮想的に決定し、当該過去世界における前記ユーザーの、前記史跡に関係する前記複数の座標のうちの少なくともいずれかに関係する視野を仮想的を再現する仮想環境映像を作成し、ウェアラブル端末が有する表示手段に送信する第六のモジュールとを含んでよい。

【0030】

以下上記プログラムに基づいて説明を行うが、後述するシステムについても同様に機能させることができることに留意されたい。本プログラムは任意のコンピュータで実行可能であり、例えばネットワーク上のサーバにて実行可能である。

【0031】

図1は、上記プログラムの基本構成を説明するためのブロック図である。当該プログラムは、上述した第一のモジュール 110 、第二のモジュール 120 、第三のモジュール 130 、第四のモジュール 140 、第五のモジュール 150 、第六のモジュール 160 を含み、モバイルクライアント端末 80 、ウェアラブル端末 90 と通信可能に結合できる。本発明に係る装置の構成も、同様に図1から想到できることに留意されたい。

【0032】

［ユーザー位置情報の取得と地図情報］
第一のモジュール 110 は、ユーザーの位置情報（例えばGPSやVPS（Visual Positioning System）により取得できる位置情報など）を受信するためのものである。位置情報は、ユーザーが現実世界で持つ、ユーザーの位置情報を取得する機能を有するモバイルクライアント端末 80 （例えばスマートフォン、タブレット、ラップトップPC、スマートウォッチなど）から取得可能である。言い換えると、本モジュール 110 は何らかのネットワーク（携帯電話回線網、WAN、無線LAN、または有線LANなど）を介してモバイルクライアント端末 80 と通信可能に結合できる。

【0033】

或る実施形態では、位置情報は立体的（高度を含んだ座標系）なものであってもよいし、平面的（高度を考慮しない座標系）であってもよい。この座標系は、第二のモジュール 120 に格納される現行地図情報 122 （現在の現実世界を示す地図の情報）と、それとは異なる過去地図情報 124 （過去の現実世界すなわち過去世界を示す地図の情報）とで共通するものとできる。すなわちこれらの地図情報は、或る時間を経た現実世界の変化（建築物の施工、改築、もしくは取り壊し、地形変動、または水位変動などによる変化）を追随できるものであると考えてよい。なお過去地図情報 124 は、必ずしも完全に正確である必要はなく、特に古代や近世などの十分な情報をもはや得ることのできない時代のものについては、部分的に現行地図情報 122 に対応するものでもよい。言い換えると、過去地図情報 124 における一つ以上の座標が、現行地図情報 122 における一つ以上の座標にそれぞれ対応していれば足りるということである。

【0034】

またこれらの地図情報には、史跡に関係する複数の「みどころ」の座標（本明細書においては座標と対応するコンテンツを含む）、が含まれるものとする。これは、史跡に関係のない地域については、本発明の効果を発揮する対象ではないからである。なお本明細書において史跡とは、過去において存在した何らかの都市、城址、もしくは遺構であって、学術的に複数の「みどころ」が含まれているものであるとする。そうした史跡としては例えば、江戸城、フォロ・ロマーノ、ポンペイ、チチェン・イッツァ、殷墟といったものが挙げられる。本明細書ではこうした史跡を他の天然物遺産等と区別するため、「都市史跡」とも称することがある。また「みどころ」とは、学術的に意義がある地点を指し、例えば江戸城であれば大広間、松の廊下、中奥庭園と建造物群、大奥の複雑な機能、政庁空間、天守閣およびそれらの結合機能のことを指す。現行地図情報 122 における史跡は、それらの物体が残っている状態であってもよいし、部分的に残存している状態であってもよいし、碑や標識が残っているのみの状態であってもよいし、あるいはそこにかつて何らかの事物があったことが知られている情報があるのみの状態であってもよい。

【0035】

史跡に関係する複数の「みどころ」は、第二のモジュール 120 において地図情報と紐づけて予めプリセットされているものであってもよい。またはユーザーが観覧を希望する「みどころ」を入力し、その入力に基づいて第二のモジュール 120 が地図情報と関連づけて「みどころ」の座標を特定するようにしてもよい。

【0036】

或る実施形態では、現行地図情報 122 が、ユーザーが立ち入ることが可能な座標と不可能な座標とを識別する情報をさらに有していてもよい。ここで言う可能／不可能とは、絶対的なものには限らず、観光客が通常は立ち入る／立ち入らないの意味であってもよい。例えば江戸城では、かつては建造物があったが、現在は失われて美しい植物を見る園路になっている地点がある。このような地点はユーザーが立ち入ることが不可能な座標に分類することができる。また別の地点では、水位の上昇によりそこには容易には立ち入れなくなったような場合が考えられる。この場合でも潜水装備をするなどして立ち入りをすることは絶対的に不可能ではないのだが、通常の観光客はそこまですることはない、というときに、これは「ユーザーが立ち入ることが不可能」とデータ上でそのように分類してよい。

【0037】

或る実施形態では、史跡に関係する座標もしくはその近傍の座標が、現行地図情報 122 により特定される、ユーザーが立ち入ることが不可能な座標に対応するか否かを判別するモジュールがさらに含まれていてもよい。立ち入り不可能に対応する場合には、後述する過去世界におけるユーザーの移動経路を編集して、史跡に関係する一つ以上の座標もしくはその近傍の座標を少なくとも含むようにし、仮想環境映像に反映させるようにしてよい。

【0038】

［ユーザーが史跡の近傍にいることの判断］
第三のモジュール 130 では、上述した地図情報のいずれかもしくは両方に基づいて、そうした史跡の近傍にユーザーが居るかどうかを判断できる。ここで言う近傍とは、一般に観光・学習用途において近くであると考えられる程度の距離であって、一般には10m以内の距離である。しかし、都市全体を敢えて把握する場合には例えば地図情報において或る史跡に含まれる座標のいずれかから半径5kmの領域内、半径3kmの領域内、半径1kmの領域内などと考えてよい。これら以外の距離も、技術常識に鑑みて適切であれば任意に「近傍」として設定できる。いずれにしてもソフトウェアの構成として近傍の閾値を設定可能である。

【0039】

［現実世界におけるユーザーへの案内と、ユーザーの移動経路の提示または決定］
第四のモジュール 140 は、ユーザーへの案内情報の提供を行うためのものである。また第五のモジュール 150 は、現行地図情報 122 に基づいて現実世界におけるユーザーの移動経路を提示するためのものである。或る実施形態では、ユーザーが有するモバイルクライアント端末 80 により取得できる位置情報（例えばGPSにより取得できる位置情報）に基づき、ユーザーは現実世界の史跡の近傍において、案内情報（ユーザーのために現地をガイドする情報）を受信でき、その案内情報を承けて現実世界でのユーザーの移動経路を示唆（提案）できる。

【0040】

案内情報は、モバイルクライアント端末の表示手段を介して、現実世界を見るユーザーの視野に重畳させるようにして提供（投影等）される。この提供は、AR（Augmented Reality）的な手法であると考えてもよい。これにより、ユーザーは現実世界を見ながら、そこに重ね合わせられた案内情報を知覚できる。この提供は例えば、眼鏡型のデバイスのスクリーンを介して、現実世界を見るユーザーの視野に重畳するようにしたり、あるいは投影手段を介してユーザーの網膜に投影したり、あるいはホログラム画像として大気中に投影したり、あるいは現実世界の壁等に画像として投影したりするものであってもよい。

【0041】

そうした案内情報の例としては、ガイド経路（史跡中の各みどころを巡る順路の提示など）、ガイドポイント（史跡中の特定のみどころの提示など）、ガイド画像（史跡の全部もしくは一部の画像やそれを模した絵画の画像など）といった視覚情報が含まれる。また案内情報には、上記視覚情報に付随した他の情報、例えばナレーション（史跡に関する音声解説など）のような音声情報が含まれていてもよい。案内情報はモバイルクライアント端末を介してユーザーへ提供される。その提供方法は一方向的であってもよいし、双方向的であってもよい。例えば案内情報がモバイルクライアント端末の表示手段（ディスプレイや音声出力など）を介して複数種提示され、そのうちのいずれかをユーザーが選択できるようになっていてもよい。或る実施形態においては、国土交通省が主導して作成するPLATEAUデータベースを活用し、三次元座標データからガイドデータを作成してもよい。あるいはユーザーの位置情報に基づくクエリ（例えば緯度経度、高度、またはそのいずれかに関連する地名、国名、旧国名、道路名などを含むキーワードなどであってよい）を用いて、既定のデータベースから検索した情報を、案内情報が含んでいてもよい。例えば地図情報に基づいて、各座標にキーワードを関連付けておき、ユーザーが或る史跡（の見どころ）の近くに居るという位置情報をモバイルクライアント端末から受信したときに、その座標に関連付けられたキーワードを使って既定のデータベースを検索可能である。

【0042】

現実世界でのユーザーの移動経路は、案内情報によって確定するものであってもよく、例えばユーザーに移動経路を強制させるものであってもよい。別の実施形態では、ユーザーは案内情報に消極的に促され（ナッジされ）つつ、自主的に移動経路を決定してもよい。いずれの場合であっても、ユーザーの持つモバイルクライアント装置からの位置情報を追跡し、実際のユーザーの移動経路を取得（決定）できる。つまり案内情報によってユーザーの移動経路を強制させていた場合であっても、実際には人間であるユーザーはそこからずれて動くこともありうるため、このような構成を採ることが可能である。

【0043】

このように案内情報を承けることで、ユーザーは史跡のみどころを認知しやすくなり、その見学・鑑賞にともなう体感を得ることが可能となる。このユーザーの経験を何らかの手段によりフィードバック（例えば文字入力や音声入力、または録画などによってユーザーの経験をデータとしてサーバに保存するなど）することで、案内情報をアップデートしてもよい。例えば或る史跡が何らかの理由で破損しており立ち入りが困難になってしまったような場合に、ユーザーがそのことをフィードバックし、今後はユーザーがその史跡には近づかないように案内情報をアップデートすることが可能である。また例えば、ユーザーが利用した複数種の案内情報の統計を取り、利用率の高かった案内情報を、さらに優先的に提供するようにアップデートをしてもよい。そのフィードバックから史跡に関するキーワードや、ユーザーが移動した距離、速度などを特徴量として抽出し、それを入力値として機械学習させ、案内情報のアップデートに供してもよい。

【0044】

また案内情報は、史跡に関連する著作物のデータを入力することで作成してもよい。例えば図書データベースまたは歴史データベースを或る史跡に関する語句で検索し、取得された情報を入力値として機械学習させ、案内情報を自動生成するようにしてもよい。

【0045】

或る実施形態では、史跡中のガイド経路（例えば特定の複数のみどころをまわる順路）についてのプリセット設定が、予めデフォルトとして定められていてもよい。また或る実施形態では、ユーザーが同じ史跡を再度訪れた場合に、以前にその史跡を体験したときのフィードバックを活用するようにしてもよい。例えば、そのユーザーが以前に辿った実際の移動経路や、ユーザーが入力したフィードバックデータに基づいて、デフォルトのものまたは以前のものとは異なる移動経路を提示するようにしてもよい。別の実施形態では、他のユーザーに関するフィードバックを、別のユーザーに対して使用して、移動経路を提示するようにしてもよい。いずれにしても本発明は、個々の知識や体験を超えて、歴史の実態、活躍した人々の労苦、成し遂げた成果を心にとどめることを全体的な目標としている。

【0046】

［仮想環境映像の作成］
第六のモジュール 160 は、上記のように提示された現実世界におけるユーザーの移動経路と過去地図情報 124 とに基づいて、過去世界におけるユーザーの移動経路を仮想的に決定し、当該過去世界におけるユーザーの視野を仮想的を再現する仮想環境映像（VR）を作成して送信する役割を担う。上述したように過去地図情報 124 の少なくとも一部の座標は現行地図情報 122 の座標に対応するようになっている（共通座標系を使用している）ため、このような動作が可能となる。また上述した案内情報を、仮想環境映像の作成に適用してもよい。別の実施形態では第六のモジュール 160 は、提示されたユーザーの移動経路に対応したユーザーの位置情報を（例えばモバイルクライアント端末が有するGPSなどにより）追跡することにより得られる移動経路（実際の移動経路）に基づいて仮想環境映像を作成してもよい。これはすなわちユーザーが必ずしも提示された移動経路に正確に追随することはなくても、仮想環境映像を作成できるということである。さらに別の実施形態では、提示されたユーザーの移動経路と、実際の移動経路の両方に基づいて、第六のモジュール 160 が仮想環境映像を作成してもよい。この仮想環境映像には例えば、古代ローマの優れた建造物の設計思想、神殿のデザイン、勝利記念柱に彫られたローマ人の物語などを含めてよい。

【0047】

仮想環境映像は、過去世界における当該ユーザーの、史跡に関する複数のみどころ（座標）のうちの少なくともいずれかに関係する視野を仮想的に再現するものとなる。なおここで「視野」とは、仮想的に決定された過去世界におけるユーザーの移動経路において、ユーザーが体験（視聴）することになる世界の描写のことを指す。なお、後述のように仮想環境映像が敢えて視覚的な情報を含まない場合であっても、当該「視野」はそのユーザーの体験する情報をも包摂する概念であると理解されたい。言い換えれば、その「視野」は、仮想的に再現される過去世界においてユーザーが知覚する情報の再現であると言い換えてもよい。

【0048】

仮想環境映像は、いわゆるメタバース内のものであってもよく、過去世界の事物を再現可能である。或る実施形態では仮想環境映像が、現存しない建造物、自然物、事象、若しくは人物を含むものであってもよい。仮想環境映像は例えば、現在は亡失している構造物（江戸城など）の外観もしくは内部またはその両方を再現するものであってもよい。また仮想環境映像は防御を重視した城の特徴に加え、政治の中核としての興味深い機能群と、拝殿としての華やかさが巧妙に集積されたものとしてもよい。現地を実際に歩きつつ、脳内に意識を形成した後に、ウェアラブル端末 90 を介して仮想環境映像を視聴することで、過去世界に関するさらに深い知識を習得できる。これを以下に具体的に説明する。なお本明細書における「仮想環境映像」という術語は、わかりやすさのために用いた表現であって、実際には視覚的なものだけには限られず、音声情報、文字情報、触覚情報、嗅覚情報、温感、冷感、送風その他の何らかの刺戟をユーザーに与える信号に基づくものが含まれていてもよい。或る実施形態では、仮想環境映像が視覚的な情報を敢えて含まないものであってもよい（例えば、視力に障害のあるユーザーを対象とする場合など）。本明細書における「仮想環境映像」は、「ユーザーに対して仮想体験を提供するための信号に基づく（何らかの）表現」と言い換えてもよい。

【0049】

作成された仮想環境映像は、ユーザーが使用可能なウェアラブル端末（例えばヘッドマウントディスプレイ、スマートグラス等）へと送信され、そこで表示手段を介してユーザーへ提供できる。或る実施形態では、当該ウェアラブル端末が、上述した現実世界におけるユーザーの移動経路とは物理的に離隔した箇所に存在して機能してもよい。すなわちユーザーは、史跡からは離れた安全な地点（好ましくは個室内、車輌内、建物内など）において仮想環境映像を受信し、再現された過去世界において移動を楽しむことができる。好ましい実施形態では、ウェアラブル端末が、ユーザーの視野を封鎖する機能（仮想環境映像にユーザーがVRとして没入できる機能）を有していてもよい。

【0050】

或る実施形態では、図1の下部に示すように、別のモバイルクライアント端末 85 に簡易VRを表示させるようにしてもよい。モバイルクライアント端末 85 とモバイルクライアント端末 80 との切り替えは例えば、AR/VR共用機のスイッチ切り替えによる機能選択で実現してもよい。モバイルクライアント端末 85 とモバイルクライアント端末 80 は物理的に同一のハードウェアであってもよいし、あるいは別のハードウェアであってもよい。

【0051】

或る実施形態では、ユーザーが史跡の近傍に居る（例えばその史跡の傍を通過する）ことが（モバイルクライアント端末からの位置情報などに基づいて）検知された場合に、第六のモジュール 160 がその史跡に関係する仮想環境映像を作成して、ウェアラブル端末へと提供してもよい。

【0052】

或る実施形態では、ユーザーが仮想環境映像内での（経路に沿った）移動をする際またはその事後に、その体験をフィードバックする手段があってもよい。そのようなフィードバックを上述したように案内情報のアップデートに供することも可能である。

【0053】

別の実施形態では、第四のモジュール 140 が生成した案内情報を、第六のモジュール 160 が利用することで、仮想環境映像内に案内情報を反映させるようにしてもよい。この場合、モバイルクライアント端末 80 へとARの形式で提供される案内情報は軽め（例えばテキストデータのみ）しつつ、ウェアラブル端末 90 へとVRの形式で提供される案内情報は重め（例えば動画を含むデータ）とするようにしてもよい。例えば、モバイルクライアント端末 80 が受信する案内情報が動画、静止画、またはその両方を含まないものとしてよい。また例えば、ウェアラブル端末 90 が受信する案内情報が動画、静止画、またはその両方を含むものとしてよい。このようにすることで、モバイルクライアント端末 80 では史跡を散策しながらさくさくと体験を楽しむことができ、その一方でウェアラブル端末 90 では没入観ある体験を楽しむことが可能となる。

【0054】

或る実施形態では、ユーザーが史跡中の特定のみどころ（座標）の近傍に居ることが（モバイルクライアント端末からの位置情報によって）判断できた場合において、そのみどころに関連する案内情報を選別して第四のモジュール 140 が生成し提供するようにしてもよい。また別の実施形態では、ユーザーが史跡の近傍に居ないことが検出された場合であっても、敢えて第四のモジュール 140 が案内情報（例えば、特定の史跡の全体地図に関する情報）を生成し提供するようにしてもよく、こうすることでユーザーを特定の史跡へと誘引することも可能である。

【0055】

好ましい実施形態では、上述したモバイルクライアント端末と、仮想環境映像を提供可能なウェアラブル端末とは物理的に別の機器であってもよい。別の実施形態では、同一機器にモバイルクライアント端末とウェアラブル端末の両方の役割を持たせてもよい。

【0056】

モバイルクライアント端末とウェアラブル端末が物理的に同一の機器である場合においては、その機器はARとVRを切り替えて表示可能なものであってよく、例えば、携帯電話通信網を介して通信可能なウェアラブルグラス端末や、何らかの映像投影機能を搭載したスマートウォッチ端末などが挙げられる。

【0057】

モバイルクライアント端末とウェアラブル端末が物理的に別の機器である場合においては、ユーザーは例えば、史跡から離れた場所においてウェアラブル端末を使用して仮想環境映像の提供を受けるようにしてもよいし、または史跡の近傍の場所で使用してもよい。

【0058】

或る実施形態では任意付加機能として、ユーザーの或る座標から座標への移動距離、もしくは或る座標の近傍での滞在時間の長さ、またはそれらの組み合わせに基づいて、その座標の近傍に或る史跡に関するユーザーの興味関心レベルを、何らかの閾値に則って定量的に評価するようにしてもよい。そして定量したユーザーの興味関心レベルに基づいて、仮想環境映像において提供するその史跡に関連するコンテンツの種類を選択してもよい。例えば或るユーザーが皇居の近傍の座標に居ると判断された場合に、そのユーザーの皇居に対する関心が高いと判断された場合には、仮想環境映像において皇居にまつわる史実に関する情報を提供するようにしてもよい。またユーザーの皇居に対する関心が低いと判断された場合には、地名の表示だけを提供するようにしてもよい。

【0059】

或る実施形態では、ユーザーが仮想環境映像を体験している最中に、ユーザーが一定程度の移動を行うかどうかを検知するようにしてもよい（例えばモバイルクライアント端末からの位置情報に基づいて行ってよい）。そのような移動を検知した場合には例えば、ユーザーの安全のために何らかの通知（例えば仮想環境映像の停止、警告音の出力、警告画面の出力など）を行うようにできる。

【0060】

或る実施形態では、本プログラムがさらに、現行地図情報中の、過去地図情報における過去の世界の建造物に関する情報に対応する座標の近傍において、当該建造物に関する風景に関する視覚情報および／もしくは環境音情報を生成するモジュールを含んでいてもよい。この視覚情報および／もしくは環境音情報は、上記のウェアラブル端末が表示する仮想環境映像もしくはモバイルクライアント端末が表示する情報、またはその両方に含めることができる。こうした構成であると例えば、現存しない過去の建造物の内部に相当する座標において、その仮想的な建造物の内部から外部を眺めた風景をユーザーが体験可能となる。また例えば、そうした仮想的な建造物の壁面をユーザーが仮想的に通過するときに音が鳴るようにして、景観の交代（すなわち、映像と音声の切り替え）を魅力的に演出することも可能である。或る例では、仮想的な建造物の壁面が、仮想的な音源からの音（環境音など）を部分的にまたは全面的に遮蔽するようにすることで、仮想的な建造物の現実感を増すようにしてもよい。例えばユーザーが仮想的な壁面を隔てて仮想的な部屋の近傍に（仮想的に）居る場合において、その部屋の中を音源とする音情報（例えば自然音、楽器（琴、太鼓など）の音、人の会話や歌など）について、予め設定されたその壁の素材、厚み、気温・湿度条件、天候条件などのデータに応じて、ユーザーと音源との距離もしくは位置関係と遮蔽条件に関する音信号の減衰曲線を計算し、ユーザーの聴覚に実際に届く音量を調整できるようにしてもよい。或る実施形態では、音情報（環境音情報など）が、当該建造物の一部もしくは全体によって遮蔽され減衰するように想定されて計算され、ユーザーの聴覚に届くようにできる。

【0061】

或る実施形態では、仮想環境映像におけるユーザーの視点の高さを、何らかの条件に応じて変更してもよい。例えば子供のアバターであれば低い視点から、長身のアバターであれば高い視点から、それぞれ風景を眺められるように調整可能である。或る実施形態では、ユーザーが高さ情報も含む位置情報に基づいてARによる映像を視聴しているときに、史跡の本来の高さ情報に基づいて移動すると目線が床下近くになったりして違和感を生じることがある。現在は地面の上を歩いているが、昔は基礎や土台の上の床の上を歩いていたためである。このような場合には、ユーザーの目線を史跡の内部を当時の人の目線に補正することで、当時の人の目線から見た景色をAR及び／又はVRで表示することも可能である。

【0062】

［装置およびシステム］
或る実施形態では、ハードウェアとソフトウェアを含んだ装置も提供可能である。プログラム、装置いずれの形態であっても、ユーザーが（現実世界において）有するモバイルクライアント端末と、ユーザーに対し仮想環境映像を提供可能なウェアラブル端末（例えばヘッドマウントディスプレイ、スマートグラス等）との通信を動作可能に行うことができる。

【0063】

当該装置は少なくとも、
ユーザーの位置情報を取得する機能を有するモバイルクライアント端末から、前記ユーザーの位置情報を受信するための受信手段（通信デバイス、I/Oデバイスなど）と、
史跡に関係する複数の座標を特定できる現行地図情報と、前記現行地図情報とは異なりかつ史跡に関係する複数の座標を特定できる過去地図情報とを格納し、ここで前記過去地図情報における一つ以上の座標は、前記現行地図情報における一つ以上の座標にそれぞれ対応させるように保存される、記憶手段（ローカルまたはネットワーク上のストレージ、メモリなど）と、
受信した前記ユーザーの位置情報と、前記現行地図情報もしくは前記過去地図情報またはその両方とに基づいて、前記ユーザーが史跡に関係する座標のいずれかの近傍に在るかどうかを判断する判断手段（ソフトウェア、回路など）と、
前記ユーザーが史跡に関係する座標のいずれかの近傍に在ると判断された場合において、受信した前記ユーザーの位置情報および前記現行地図情報に基づいて、前記モバイルクライアント端末の表示手段を介して、現実世界における前記ユーザーの視野に重畳させるようにして、前記ユーザーを案内するための案内情報を提供する、案内手段（ソフトウェア、回路など）と、
受信した前記ユーザーの位置情報と前記現行地図情報とに基づいて、前記案内情報を承けた前記ユーザーの移動経路を提示する、現実世界移動経路決定手段（ソフトウェア、回路など）と、
提示された前記ユーザーの移動経路および／もしくは提示された前記ユーザーの移動経路に対応した前記ユーザーの位置情報を追跡することにより得られる移動経路と、前記過去地図情報とに基づいて、過去世界における前記ユーザーの移動を仮想的に決定し、前記過去世界における前記ユーザーの、前記史跡に関する前記複数の座標のうちの少なくともいずれかに関係する視野を仮想的を再現する仮想環境映像を作成する映像作成手段（ソフトウェア、回路など）と、
前記映像作成手段により作成された前記仮想環境映像を、ウェアラブル端末が有する表示手段に送信する送信手段（通信デバイス、I/Oデバイスなど）と
を含むようにできる。

【0064】

或る実施形態では、上述の装置と、モバイルクライアント端末および／もしくはウェアラブル端末を含んだシステムも提供可能である。

【実施例0065】

以下、本発明の実施例をさらに説明していく。図2には、本発明の一実施例としての4Dハイブリッド・メタバース系の情報フローの説明図を示す。ここでは、フォロ・ロマーノを対象史跡として想定した例を示している。

【0066】

本発明の実施形態に係るプログラムの主体は、図2右中段の4DハイブリッドAIエンジンとして示している。また現実世界におけるユーザーの史跡近傍での行動を図2左下段に、仮想環境映像を図2左上段に、それぞれ示してある。おおまかには、史跡にまつわる空間という３次元に、過去世界を再現した仮想環境映像と、現実世界とをつなぐ時間の１次元（時代目盛）を加えた概念を4Dハイブリッドと称している。言い換えると、現実世界における実空間の考古学を踏まえたユーザー（人間系）の体験と、過去世界におけるユーザーの体験とを組み合わせるところに主要な特徴がある。

【0067】

4DハイブリッドAIエンジン（以下、「主エンジン」とも略記する）はまず、ユーザー（人間系）が所持するモバイルクライアント端末を介して、その位置情報を取得する。その位置情報に応じて、ユーザーが史跡（の見どころ）の近傍に居るかどうかの判断を行う。この例の場合では、フォロ・ロマーノ（の見どころ）近傍にユーザーが居るかどうかを、受信したその位置情報から、主エンジンは現行地図情報（例えば不図示の地図データベースにアクセスして取得できる）を踏まえての判断が可能である。

【0068】

ユーザーが史跡（この例ではフォロ・ロマーノを構成する特定の場所）の近傍に居ると判断できた場合には、主エンジンは出力系（映像信号出力、音声信号出力等を含みうる）を介して、現地ガイドシステム作成エンジンを経て、現地のユーザーへの案内情報を提供できる。こうした案内情報に含まれるうる情報としては、ガイド経路、ガイドポイント、ガイド画像、ナレーション、その史跡に関する過去の映像（建築物の映像など）といったものが挙げられる。そうした情報の提供は、映像、音声、文字などの任意の適切な表現方法に依ってよく、好ましくは例えば映像とダイナミックヘッドトラッキング音声の組み合わせとして提供されるものであってよい。このような構成であると、ユーザーに対してより現実的な音（音がする方角、残響など）を再現して提供可能である。

【0069】

案内情報をモバイルクライアント端末（一台であってもよいし複数台の組み合わせであってもよい、以下同様）を介して受信した現地のユーザーは、その案内情報を活用しつつ現実世界の史跡周辺を移動して見聞を深めることができる。これは言わば実空間の考古学活動と捉えることもでき、ユーザーは史跡にまつわる歴史景観の認知ができ、史跡周辺を含む実景観を意識し、その全身による体感を脳に記憶することが可能となる。また、モバイルクライアント端末上からガイドシステムへの操作を行うことで、ユーザーが興味ある案内情報をさらに引き出せるような双方向性のインターフェイスを採用することも可能である。このような仮想環境映像内（例えばモバイルクライアント端末に提供できるARに係る情報、もしくはウェアラブル端末に提供できるVRに係る情報、またはその両方）でのユーザーへの（案内情報）提供にあたっては、本発明者による特許第5865708号に記載の技術を採用してもよい。

【0070】

ユーザーの現実世界における移動経路は、上述したようにユーザーが案内情報を参考にして自身で決定するようにしてもよいし、あるいは現地ガイドシステム作成エンジンを介して（例えばモバイルクライアント端末の表示手段を介して提供される映像やダイナミックトラッキング音声による誘導を介して）主エンジンがユーザーに移動経路を強制するようにしてもかまわない。いずれにしても、現実世界の史跡近傍のユーザーの移動経路は、ユーザー自身も記憶することにはなるが、さらにモバイルクライアント端末を介して主エンジンが取得するようにもできる。また併せて、現地においてユーザーがどの地点（座標）でガイドシステムをどのように活用したかの記録も、モバイルクライアント端末を介して主エンジンがフィードバックとして取得するようにしてもよい。

【0071】

また、ユーザーが現実世界での移動中もしくは移動後に、モバイルクライアント端末またはその他の端末を使用して、何らかの入力手段（文字入力、音声入力等）を介してフィードバックを主エンジンへ送信できるようにしてもよい。例えば現実世界の史跡を鑑賞したユーザーが、現地で発見した新たな課題（例えば考古学的な発見など）について入力を行い、それを主エンジンが受信するようにできる。

【0072】

このようにして得られたフィードバックのデータを利用して、主エンジンがさらに案内情報（4Dガイドデータ）を編集して、各ユーザーに対してよりパーソナライズされた内容とし、より高度な案内ができるようにしてもよい。ここで言う4Dガイドデータとは、上述した特許文献2にて定義される「３次元の空間と１次元の時代よりなる４次元のレイヤー構造に分類して構成されたデータベースに基づくデータ」のことであると理解されたい。このような仮想環境映像内（例えばモバイルクライアント端末に提供できるARに係る情報、もしくはウェアラブル端末に提供できるVRに係る情報、またはその両方）のユーザーのナビゲーションについては、本発明者による特許第4050983号に記載の技術を採用してもよい。

【0073】

また案内情報に、史跡に関連する著作物から抽出したデジタルデータを含めてもよい。このようにすることで、過去の膨大な著作物の中からよりすぐった知識体系を案内情報に活用しやすくなり、ユーザーの知的生産活動の質を向上できるという効果が得られる。また或る実施形態では、上述したようなユーザーからのフィードバックのデータに基づいて、主エンジンがユーザーの関心事象・関心分野を統計的に分析することで、そのユーザーへレコメンドする情報を（例えば上記のデジタルデータからの抽出または編集に基づいて）生成してもよい。そうしたユーザーへのレコメンド情報を、案内情報に含めることも可能である。

【0074】

こうしてユーザーが現実世界での史跡観覧を済ませると、それを踏まえて主エンジンは仮想空間系の調整を行うことができる。すなわち、主エンジンは出力系を介してメタバース入出力エンジンを経てユーザーに対し、上述した現実世界での移動経路と共通する座標系を用いた仮想環境映像を提供できる。この仮想環境映像は、フォロ・ロマーノなどの史跡の過去の姿として、過去地図情報（および必要であれば案内情報）に基づいて作成され、しかもユーザーが史跡中の「みどころ」を体験したことに基づくフィードバックを反映可能なものとなる。ユーザーはその仮想的に再現された往時の姿の史跡の中を仮想的に移動でき、特に往時の「みどころ」に関して前頭連合野を活かした知的な探求を楽しむことができる。この仮想環境映像は、精密な3Dグラフィックス、3Dヘッドトラッキング音声を活用してリアリティを向上させたものであってもよい。

【0075】

この例ではユーザーは、現実世界におけるユーザーの移動経路、すなわち現実のフォロ・ロマーノとは物理的に離隔した地点（例えば日本の自宅）において、ウェアラブル端末を装着して仮想的に過去のフォロ・ロマーノを体験することが可能である。別の例では、例えば現実のフォロ・ロマーノの中や近傍の休憩可能箇所（例えば静謐な丘の上など）において、全景を鳥瞰しつつウェアラブル端末を装着して仮想環境映像を体験するようにしてもよい。これにより、ユーザーは安全に仮想環境映像を楽しむことができつつ、しかもその仮想環境映像はユーザーが実際に体験した現在のフォロ・ロマーノでの移動経路を反映したものとなる。この機能によりユーザーの脳裏には、全体と個の有機的な関係が構築されて、理解が構成化される。

【0076】

図3は、現代のフォロ・ロマーノのセウェルス帝の凱旋門からの眺めを示したものである。そして図4は、図3に相当するみどころを含んだ史跡であるフォロ・ロマーノの全体的な仮想環境映像（メタバースでの表現）の例を示す。ユーザーは、図4の全体像を遠方から視認することも可能であることは上述したとおりである。またユーザーは、図5のように過去の都市の中を当時の住民の視点から体験することも可能である。このように視点を切り替えてのVR（メタバース）の体験が可能であるのもまた本発明の特徴のひとつである。具体的にはこの場所は、ローマ共和国の英雄カエサルが熱弁をふるい、人々を導いた場所である。そして彼の死後に、神となったカエサルのための神殿が建てられた場所でもある。

【0077】

また主エンジンは、仮想環境映像においても、案内情報（歴史的背景に関する情報など）を併せてユーザーへ提供することもできる。これにより、ユーザーは過去世界を再現した体験の中においても知的学習を継続できるという効果が得られる。

【0078】

またユーザーは、仮想環境映像の体験中においても、上述したところと同様に主エンジンへのフィードバックを送信でき、主エンジンはそのフィードバックをさらに仮想環境映像や案内情報の編集に活用できる。

【0079】

図6は、対象史跡を江戸城とした場合の、情報レイヤー構成の例を示す概念図である。この例では主エンジンは仮想環境映像（音声を含んでよい）を作成するために、共通座標系上に複数の仮想情報レイヤーを形成し、それらのレイヤーを一体的に活用してドラマチックなVR情報を出力できる。

【0080】

図6中のD-1レベルは、過去地図情報に基づいて再現された往時の江戸城の建造物を含んだ風景を再現する情報レイヤーである。この仮想的に再現された江戸城は、現行地図情報と共通する座標系に構築される。仮想環境映像内でのユーザーの仮想的な移動を提供するにあたっては、江戸城が実在した空間に対応する歴史上の実体空間を再現することで行うことができる。

【0081】

Eレベルは、建築要素に関する情報を集約したレイヤーであり、当時の建築様式であった書院造りの具体例が示される。

【0082】

D-2レベルは、過去世界における人物の動きに関する情報を集約したレイヤーである。これにより、仮想的に再現された人物の行動も時間に応じて変化させることができるので、例えば仮想環境映像を受信するユーザーの居る現実の時間帯に合わせて、仮想環境映像を構成することが可能となる。例えばユーザーの居る現実の時間が午前10時であったとすると、仮想環境映像内の人物としての老中が、登城太鼓とともに御殿に入り、将軍と打ち合わせを行い、その後に政庁空間に帰って政治を進めるという風景を再現可能である。別の実施形態では、ユーザーの居る現実の時間帯からずれた時間を仮想環境映像内で再現してもよい。

【0083】

或る実施形態では、ユーザーが仮想環境映像内の人物と双方向的に対話できるようにしてもよい。このような仮想的な歴史上の人物との対話には、本発明者による特許第6910629号に記載の技術を採用してもよい。

【0084】

D-3レベルは、音のポテンシャルに関する情報を集約したレイヤーである。登城太鼓などの音源の位置座標を指定し、音源から伝播する音声の方向をユーザーの聴覚に対して再現（例えばダイナミックヘッドトラッキング的に、またはサラウンド的に）できる。またこのような音響信号の生成方法については、本発明者による特許第4791064号に記載の技術を採用してもよい。

【0085】

図7は、4DハイブリッドAIエンジンの関係する情報系の総合説明図であって、図2に記載した主エンジンの詳細を説明したものである。中核系は、設定された史跡の種類に応じて、案内情報（ガイドデータ）の生成・編集を行うことができる。例えばLLM（Large Language Model）型のAIエンジンに、史跡に関連するデータを入力することで、案内情報を出力するようにできる。そうした入力データとしては、当該史跡に関する既存の著作物をデジタル変換してデータ化したものや、既存の中央時空間データベースから取得したデータなどを用いてよい。

【0086】

例えば図7中で説明したように、仮想環境映像内でのユーザーの移動経路に応じたシナリオを作成するようにしてもよい。例えば江戸城に関連するキーワードを中央時空間データベースから抽出し、過去世界に対応する江戸城に関係するシナリオの作成を行ってもよい。一例として、中核系は江戸城の松の廊下に関係する人物、光、気象を仮想環境映像中に再現することで、元禄14年（1701年）3月14日朝の刃傷事件の身体的、心理的背景までも再現しつつ、当時の江戸社会の実態を推察できる。そしてそれをユーザーに体験させ、さらにユーザーからのフィードバックを取得し、シナリオをアップデートしていくことが可能である。

【0087】

図8は、江戸城における案内情報（現地ガイドルート）の提供例を示す。江戸城にはみどころとして、城門、大広間、松の廊下、中奥と政庁、大奥大奥長局、天守閣、見晴台などが設定されている。ユーザーは例えばスマートフォンなどのモバイルクライアント端末の表示手段を介し、ARとして案内情報を受信でき、図中に例示されるようなルートでの経路を案内される。またユーザーは、史跡内に設置された椅子や芝生などの安全な空間において、スマートグラスなどのウェアラブル端末を介してVRで過去の江戸城を体験できる。または、江戸城を見下ろせる位置にある高層ビルの展望台から、VRを以って過去の江戸城の全体像を鳥瞰しつつ多くの情報を得ることも可能である。或る実施形態では、高度計（モバイルクライアント端末に内蔵されるものであってもよく、別のハードウェアであってもよい）を使用することで、ユーザーの位置情報に高さを含めるようにしてもよい。前者のVRは、例えば簡易的に、軽量な機器を介して見るようにしてもよい。また後者のVRを、本格的なヘッドマウントディスプレイのような機器を用いて体験するようにしてもよい。

【0088】

図9、10は、図7中の松の廊下において使用可能なVRの例を示す。このように障子をVR中に多層構造を以って再現することで、VR中の気象変化に応じて表示をリアリスティックに変更可能である。この気象変化はVR独自に定めてもよいし、あるいは現実世界の気象、日付、季節、時刻などに応じて変化させてもかまわない。こうした構成により、例えば当時の（仮想的な）城の役人が「外気を入れる」「光を入れる」「風雨を防ぐ」のいずれかの状態を採るようにして、ユーザーがそれをリアリスティックに体験できるという効果が得られる。図9は晴天時、図10は雨天時に対応した描画である。これは上述の図7の記載に対応する。

【0089】

図11は、史跡の例としての現代の江戸城跡を示す。ここではその史跡のレイアウトには関係なく多くの美しい花壇、園路や芝生がある。本システムはこれらへの実際の立ち入りは防ぎつつ、貴重な過去世界をより深く理解することを志向するものである。図12、13は図11の周辺の高層ビルとそこからの景観の例である。

【0090】

図14、15は、現代の江戸城跡（史跡）を散策する人間の写真を示す。これらの人々は、従来技術では実際に江戸城がどのようなものであったかを十分に知る術を持たなかったところ、本発明によって優れた知的学習体験を得られることになる。例えば城門が残っている地点において城の雰囲気を多少は認識できたとしても、図14のように開けた場所に来てしまうともはや往時の雰囲気を認識することは難しかった。本発明ではその現実世界とかつての江戸城との失われた連環を再現し、ARとVRを切り替えることでユーザーに提供できる。また図12、15に示されるような現代の東京の高層ビルから、江戸城を図13のように俯瞰しつつ、本発明によって全体の極めて複雑な空間と機能を視認体験理解することも可能となる。また本発明は、学術利用にも適すると考えられ、その貢献は大きいと想定できる。

【符号の説明】

【0091】

80 モバイルクライアント端末
85 （別の）モバイルクライアント端末
90 ウェアラブル端末
110 第一のモジュール
120 第二のモジュール
122 現行地図情報
124 過去地図情報
130 第三のモジュール
140 第四のモジュール
150 第五のモジュール
160 第六のモジュール

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】