(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023033844
(43)【公開日】2023-03-13
(54)【発明の名称】体験共有システム、及び体験共有方法
(51)【国際特許分類】
G06F 13/00 20060101AFI20230306BHJP
G06F 3/01 20060101ALI20230306BHJP
【ＦＩ】
G06F13/00 650R
G06F3/01 510
【審査請求】未請求
【請求項の数】6
【出願形態】ＯＬ
(21)【出願番号】P 2021139761
(22)【出願日】2021-08-30
(71)【出願人】
【識別番号】301022471
【氏名又は名称】国立研究開発法人情報通信研究機構
(74)【代理人】
【識別番号】100120868
【弁理士】
【氏名又は名称】安彦 元
(72)【発明者】
【氏名】今井 弘二
【テーマコード（参考）】
5B084
5E555
【Ｆターム（参考）】
5B084AA02
5B084AA18
5B084AB07
5B084AB13
5B084BB01
5B084DC02
5B084DC03
5B084DC06
5B084EA02
5B084EA03
5B084EA47
5E555AA04
5E555AA63
5E555AA64
5E555AA76
5E555BA04
5E555BA38
5E555BA87
5E555BA88
5E555BC13
5E555BD09
5E555BE17
5E555CA42
5E555CA44
5E555CB21
5E555CB23
5E555CC01
5E555DA08
5E555DB32
5E555DB57
5E555EA22
(57)【要約】 （修正有）
【課題】ユーザの様々な都合に合わせてより柔軟に利用することができる体験共有システム及び体験共有方法を提供する。
【解決手段】体験共有アプリＰＮがインストールされた１つ以上のユーザ端末と、ユーザ端末と通信網としてのネットワークを介して接続された体験共有サーバ１とを備える体験共有システムであって、パーティを構成する１以上のユーザＵＮが含まれるセッション内で、体験は、各ユーザ端末における体験共有アプリＰＮを介してサイト上で共有できる。体験共有サーバ１と、各ユーザ端末における体験共有アプリＰＮには、セッションを管理するためのセッション情報がそれぞれ格納され、体験供給する上でセッション内における体験共有状態に生じた変化は、各セッション情報に反映される。
【選択図】図１５
【解決手段】体験共有アプリＰＮがインストールされた１つ以上のユーザ端末と、ユーザ端末と通信網としてのネットワークを介して接続された体験共有サーバ１とを備える体験共有システムであって、パーティを構成する１以上のユーザＵＮが含まれるセッション内で、体験は、各ユーザ端末における体験共有アプリＰＮを介してサイト上で共有できる。体験共有サーバ１と、各ユーザ端末における体験共有アプリＰＮには、セッションを管理するためのセッション情報がそれぞれ格納され、体験供給する上でセッション内における体験共有状態に生じた変化は、各セッション情報に反映される。
【選択図】図１５
【特許請求の範囲】
【請求項1】
体験共有アプリがインストールされた１つ以上のユーザ端末と、前記ユーザ端末と通信網を介して接続されたサーバとを備える体験共有システムにおいて、
パーティを構成する１以上のユーザが含まれるセッション内で前記ユーザ端末における体験共有アプリを介してサイト上で体験共有可能とされ、
前記サーバと、前記ユーザ端末における体験共有アプリには、前記セッションを通じた体験共有を管理するためのセッション情報がそれぞれ格納され、
前記体験共有する上で前記サーバ又は何れか一の前記体験共有アプリに格納される前記セッション情報が変更された場合に、他の前記サーバ及び前記体験共有アプリに格納されるセッション情報に当該変更分が反映されること
を特徴とする体験共有システム。
パーティを構成する１以上のユーザが含まれるセッション内で前記ユーザ端末における体験共有アプリを介してサイト上で体験共有可能とされ、
前記サーバと、前記ユーザ端末における体験共有アプリには、前記セッションを通じた体験共有を管理するためのセッション情報がそれぞれ格納され、
前記体験共有する上で前記サーバ又は何れか一の前記体験共有アプリに格納される前記セッション情報が変更された場合に、他の前記サーバ及び前記体験共有アプリに格納されるセッション情報に当該変更分が反映されること
を特徴とする体験共有システム。
【請求項2】
前記サーバは、少なくとも前記パーティへユーザの参加認証を行うためのパーティ情報が格納されていること
を特徴とする請求項１記載の体験共有システム。
を特徴とする請求項１記載の体験共有システム。
【請求項3】
前記サーバは、前記セッション内で体験共有する前記サイトをＵＲＩを介して管理すること
を特徴とする請求項１又は２記載の体験共有システム。
を特徴とする請求項１又は２記載の体験共有システム。
【請求項4】
前記一の体験共有アプリは、前記体験共有状態に変化に応じた前記セッション情報の差分データを前記サーバに送信し、
前記サーバは、受信した前記差分データを自ら格納しているセッション情報に反映させるとともに、前記差分データを他の体験共有アプリに伝送すること
を特徴とする請求項１～３のうち何れか１項記載の体験共有システム。
前記サーバは、受信した前記差分データを自ら格納しているセッション情報に反映させるとともに、前記差分データを他の体験共有アプリに伝送すること
を特徴とする請求項１～３のうち何れか１項記載の体験共有システム。
【請求項5】
前記サーバは、前記差分データを所定時間に亘り蓄積した上で他の体験共有アプリに伝送する上で、既に蓄積した前記差分データに新たに受信した差分データと同一のデータが存在する場合には、当該蓄積した前記差分データから当該同一のデータを削除すること
を特徴とする請求項４記載の体験共有システム。
を特徴とする請求項４記載の体験共有システム。
【請求項6】
体験共有アプリがインストールされた１つ以上のユーザ端末と、前記ユーザ端末と通信網を介して接続されたサーバとで行われる体験共有方法において、
パーティを構成する１以上のユーザが含まれるセッション内で前記ユーザ端末における体験共有アプリを介してサイト上で体験共有可能とされ、
前記サーバと、前記ユーザ端末における体験共有アプリには、前記セッションを管理するためのセッション情報がそれぞれ格納され、前記体験供給する上で前記セッション内における体験共有状態に変化が生じた場合に前記各セッション情報に反映すること
を特徴とする体験共有方法。
パーティを構成する１以上のユーザが含まれるセッション内で前記ユーザ端末における体験共有アプリを介してサイト上で体験共有可能とされ、
前記サーバと、前記ユーザ端末における体験共有アプリには、前記セッションを管理するためのセッション情報がそれぞれ格納され、前記体験供給する上で前記セッション内における体験共有状態に変化が生じた場合に前記各セッション情報に反映すること
を特徴とする体験共有方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、体験共有システム、及び体験共有方法に関する。
【背景技術】
【0002】
従来から、遠隔にいるユーザが、ユーザ端末を用い、インターネット等の通信網を介して、様々な体験共有を行うことを可能とする体験共有システムが提案され、実施に供されている。
【0003】
例えば、特許文献１には、遠隔地から墓参りを行うに際し、ユーザは実際に墓まで行く必要が全くなく、ネットワークを介して実際の墓参りの代行を依頼することができるとともに、その墓参り代行が完了したことを確認可能とする遠隔墓参りシステムが開示されている。
【0004】
さらに、現在における世界規模のコロナ禍の影響等もあって、所謂ソーシャルディスタンスを保ちながら、教育や観光、医療、スポーツ等の生活のあらゆるシーンにおいて、離れている人でもつながり、誰一人取り残さずに、安心、安全に、共同体験等が行える新たな生活様式が求められている。
【0005】
そのため、コンピュータによる仮想空間（Cyber；サイバー）に現実（Physical；フィジカル）の情報を取り込む等して高度に融合させた空間（以下、ＣＰ(Cyber Physical)空間と略す）を活用したさらに新しい様々な体験共有システムも数多く提案されてきている。
【0006】
このように様々な体験共有システムが数多く提案されてきているものの、上記したような状況下であることから、今後、このような体験共有システムは、ユーザの様々な都合に合わせてより柔軟に利用することができるようにする必要性がある。しかしながら、そのような体験共有システムは、今のところ見聞されない。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】特開２００５－２８４６７６号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
そこで本発明は、上述した問題点を鑑みて案出されたものであり、その目的とするところは、ユーザの様々な都合に合わせてより柔軟に利用することができる体験共有システム、及び体験共有方法を提供することにある。
【課題を解決するための手段】
【0009】
本発明者は、上述した課題を解決するために、体験共有アプリがインストールされた１つ以上のユーザ端末と、前記ユーザ端末と通信網を介して接続されたサーバとを備える体験共有システムにおいて、パーティを構成する１以上のユーザが含まれるセッション内で前記ユーザ端末における体験共有アプリを介してサイト上で体験共有可能とされ、前記サーバと、前記ユーザ端末における体験共有アプリには、前記セッションを通じた体験共有を管理するためのセッション情報がそれぞれ格納され、前記体験共有する上で前記サーバ又は何れか一の前記体験共有アプリに格納される前記セッション情報が変更された場合に、他の前記サーバ及び前記体験共有アプリに格納されるセッション情報に当該変更分が反映されることを特徴とする。
【0010】
請求項１に記載の体験共有システムは、体験共有アプリがインストールされた１つ以上のユーザ端末と、前記ユーザ端末と通信網を介して接続されたサーバとを備える体験共有システムにおいて、パーティを構成する１以上のユーザが含まれるセッション内で前記ユーザ端末における体験共有アプリを介してサイト上で体験共有可能とされ、前記サーバと、前記ユーザ端末における体験共有アプリには、前記セッションを通じた体験共有を管理するためのセッション情報がそれぞれ格納され、前記体験共有する上で前記サーバ又は何れか一の前記体験共有アプリに格納される前記セッション情報が変更された場合に、他の前記サーバ及び前記体験共有アプリに格納されるセッション情報に当該変更分が反映されることを特徴とする。
【0011】
請求項２に記載の体験共有システムは、請求項１記載の発明において、前記サーバは、少なくとも前記パーティへユーザの参加認証を行うためのパーティ情報が格納されていることを特徴とする。
【0012】
請求項３に記載の体験共有システムは、請求項１又は２記載の発明において、前記サーバは、前記セッション内で体験共有する前記サイトをＵＲＩを介して管理することを特徴とする。
【0013】
請求項４に記載の体験共有システムは、請求項１～３のうち何れか１項記載の発明において、前記一の体験共有アプリは、前記体験共有状態に変化に応じた前記セッション情報の差分データを前記サーバに送信し、前記サーバは、受信した前記差分データを自ら格納しているセッション情報に反映させるとともに、前記差分データを他の体験共有アプリに伝送することを特徴とする。
【0014】
請求項５に記載の体験共有システムは、請求項４記載の発明において、前記サーバは、前記差分データを所定時間に亘り蓄積した上で他の体験共有アプリに伝送する上で、既に蓄積した前記差分データに新たに受信した差分データと同一のデータが存在する場合には、当該蓄積した前記差分データから当該同一のデータを削除することを特徴とする。
【0015】
請求項６に記載の体験共有方法は、体験共有アプリがインストールされた１つ以上のユーザ端末と、前記ユーザ端末と通信網を介して接続されたサーバとで行われる体験共有方法において、パーティを構成する１以上のユーザが含まれるセッション内で前記ユーザ端末における体験共有アプリを介してサイト上で体験共有可能とされ、前記サーバと、前記ユーザ端末における体験共有アプリには、前記セッションを管理するためのセッション情報がそれぞれ格納され、前記体験供給する上で前記セッション内における体験共有状態に変化が生じた場合に前記各セッション情報に反映することを特徴とする。
【発明の効果】
【0016】
上述した構成からなる本発明によれば、体験共有サーバ又は何れか一の体験共有アプリに格納されるセッション情報が変更された場合に、他の体験共有サーバ及び体験共有アプリに格納されるセッション情報に当該変更分が反映される。これにより、一の体験共有アプリにおいて体験共有する上で生じる様様な変化を、他の体験共有アプリに反映することができ、ユーザ間の体験共有を円滑に進めることができる。
【図面の簡単な説明】
【0017】
【発明を実施するための形態】
【0018】
以下、本発明を適用して例示した実施形態について、図面を参照しながら説明する。
【0019】
［実施形態］
先ず、図１及び図２を用いて、本発明の実施形態に係る体験共有システム１００について説明する。図１は、本発明の実施形態に係る体験共有システム１００全体の概略構成を示す模式図であり、図２は、本発明の実施形態に係る体験共有システム１００の概略構成を示すブロック図である。
先ず、図１及び図２を用いて、本発明の実施形態に係る体験共有システム１００について説明する。図１は、本発明の実施形態に係る体験共有システム１００全体の概略構成を示す模式図であり、図２は、本発明の実施形態に係る体験共有システム１００の概略構成を示すブロック図である。
【0020】
本発明の実施形態に係る体験共有システム１００は、図１に示すように、サーバとしての体験共有サーバ１を備える。体験共有サーバ１は、通信網としてのネットワークＮを介して、体験共有アプリがインストールされた複数のユーザ端末３１～３Ｎ及び管理用端末５と接続されている。
【0021】
体験共有サーバ１は、詳細については後述するが、パーティを構成する１以上のユーザが含まれるセッション内でユーザ端末３１～３Ｎにおける体験共有アプリを介してサイト４１～４Ｎ上で体験共有を可能とするプラットホームとなるホストコンピュータである。体験共有サーバ１は、体験共有システム１００全体を制御する中央制御部としての役割も担う。
【0022】
ユーザ端末３１～３Ｎは、ユーザ自身が体験共有アプリを通じて体験共有するための端末装置であり、例えばパーソナルコンピュータ（ＰＣ）、スマートフォン、タブレット型端末、ウェアラブル端末等で構成される。更にこのユーザ端末３１～３Ｎは、ユーザの頭部に装着するヘッドマウントディスプレイ（ＨＭＤ）や眼鏡型端末で構成されるものであってもよい。このユーザ端末３１～３Ｎは、様々なコンテンツやカメラにより撮影した映像等を表示するための表示用ディスプレイを少なくとも備える。ユーザは、このユーザ端末３１～３Ｎに表示されるコンテンツや映像を視認することであたかも自分自身が実際にその空間において実体験をしているような感覚を味わうことが可能となる。このユーザ端末３１～３Ｎは、ネットワークＮに対して有線接続又は無線接続可能とされている。
【0023】
管理用端末５は、実際に本発明を適用した体験共有システム１００を管理者が操作してユーザが体験共有アプリを通じて体験共有等をするための端末装置であり、同じくＰＣ、スマートフォン、タブレット型端末、ウェアラブル端末等で構成される。管理用端末５は、ネットワークＮに対して有線接続又は無線接続可能とされている。なお、管理用端末５は、他のユーザ端末３１～３Ｎのうち、1つ以上について管理用途である旨の設定がなされることにより、管理用端末５になることが可能となる。
【0024】
そして、体験共有サーバ１は、図２に示すように、その内部に、ＣＰＵ(Central Processing Unit)等からなる統括管理部１０を備えている。
【0025】
この統括管理部１０は、複数のユーザ端末３１～３ＮとネットワークＮを介して情報の送受信を行うためのインターフェース１１と、メモリやデータベース等の記憶部２に接続されている。統括管理部１０は、記憶部２に記憶される各種データを管理する。また統括管理部１０は、記憶部２に対して各種データを記録するとともに、体験共有システム１００を動作させる上で必要とされる場合には、この記憶部２に記憶されている各種データを読み出し、外部へと配信する制御も行う。
【0026】
次に、上述した構成からなる本発明を適用した体験共有システム１００の動作について説明をする。
【0027】
本発明を適用した体験共有システム１００では、生活や仕事、娯楽等の様々なシーンにおいて共同体験をしたいユーザ、或いは共同体験させたいユーザとＣＰ空間上で情報を共有する。ここでいうＣＰ空間とは、フィジカル（現実世界）とサイバー（仮想世界）を融合させた、より現実に近いサイバー空間を示す。またＣＰ空間は、直方体で構成される場合のみならず、実際には３６０°映像の場合は球体で構成されるものであってもよいし、他のいかなる形状で構成されるものであってもよい。また、ここでいう共同体験とは、各ユーザがそれぞれ保有するユーザ端末３１～３Ｎ上に互いの同一の文字や音声を共有したり、同一の映像空間中でアバターとしてインタラクション等をとったりすることで、あたかも各ユーザが同じ臨場感で同じ体験を味わうことをいう。つまり、一のユーザ端末３１に表示されているコンテンツやカメラにより撮影した映像等を、他のユーザ端末３２～３Ｎと共有することで、互いにユーザ間でその表示されているコンテンツやカメラにより撮影した映像等が映し出された空間で体験している内容を共有することができる。そして、一のユーザ端末３１に表示されているコンテンツが変化した場合、他のユーザ端末３２～３Ｎにおいても同様にコンテンツを変化させることで、ユーザ間において常に体験を共有している感覚を味わうことができる。
【0028】
本発明では、このようなユーザ間での体験共有を実現する上で下記の属性を定義する。
【0029】
先ずサイトは、図３（ａ）に示すように、「共有するもの・場所」を意味し、文字や音声、実映像、３Ｄデータ等や、それらを組み合わせた空間で構成される。このサイトは例えば教室や会議室、モデルルームや観光地、工事現場等、ユーザが体験する空間のことである。
【0030】
またパーティとは、図３（ｂ）に示すように、１以上のユーザＵ１～ＵＮから構成される集まりである。サイトを通じて体験共有を希望するユーザＵ１～ＵＮは少なくとのこのパーティに属する必要があり、パーティに属さないユーザは、サイトを通じた体験共有ができない。このパーティとは、例えば学校のクラス、コンテストの参加者、団体旅行のグループ等の１以上から形成される集団であり、特定の権限が付与されたものだけが参加できる集団と何ら権限のないものが自由に出入りすることができる集団を形成することができる。
【0031】
またセッションとは、図３（ｃ）に示すように、あるサイトにおいて１以上のユーザＵ１～ＵＮが情報を共有している状態である。つまり体験共有を目的としてユーザがサイトに入り、コンテンツを体験している状態をいう。ここでいうセッションは、１人のユーザがサイトに参加している状態も含まれる。複数のユーザＵ１～ＵＮがサイトに参加してセッションを形成している場合、そのサイトに参加している各ユーザＵ１～ＵＮ間で同一のコンテンツを体験することができ、いわゆる体験共有が実現されることとなる。
【0032】
ここでいうセッションは、上述したパーティが学校のクラスであると仮定した場合に、そのクラスの一部の班において体験共有することを意味する。但し、セッションは、これに限定されるものではなく、パーティを構成するユーザ全員が参加することも可能であることから、上述したパーティが学校のクラスであると仮定した場合に、そのクラス全員でサイトを通じて体験共有するものであってもよい。
【0033】
次に、図４～図８を用いて、本発明の実施形態に係る体験共有システム１００においてユーザ間でセッションを通じて体験共有する具体例１～５について説明する。図４は、本発明の実施形態に係る体験共有システム１００における体験共有の具体例１を示す説明図であり、図５は、本発明の実施形態に係る体験共有システム１００における体験共有の具体例２を示す説明図であり、図６は、本発明の実施形態に係る体験共有システム１００における体験共有の具体例３を示す説明図であり、図７は、本発明の実施形態に係る体験共有システム１００における体験共有の具体例４を示す説明図であり、図８は、本発明の実施形態に係る体験共有システム１００における体験共有の具体例５を示す説明図である。
【0034】
先ず、図４に示す体験共有システム１００の具体例１は、ＣＰ空間である表示映像Ｃ１が、各種の静止画又は動画の実映像であり、互いにセッションを形成する各ユーザＵ１～ＵＮにそれぞれ割り当てられたアバターＡ１～ＡＮが、ＣＰ空間である表示映像Ｃ１内を散策し、３６０°からなるＣＰ空間内の任意の方向の画角の映像を各ユーザ端末３１～３Ｎに表示させて視認したり、他のアバターと文字や音声等によるやりとりをしたりすることで、共同体験させることが可能となる。
【0035】
各ユーザが独立にＣＰ空間内を散策したり、各ユーザ間でコミュニケーションをとったりすることに加え、ユーザＵ１～ＵＮのうち、権限を有するユーザＵ１が自らのユーザ端末３１を操作し、３６０°からなるＣＰ空間内の任意の方向の画角の映像を視認し、或いはズームアップやズームバックする操作を行った場合、これに連動して他のユーザ端末３２～３Ｎにも同様の映像を表示させたり、映像内のある点を他のユーザ端末３２～３Ｎに指し示したりすることができる。このため、各ユーザＵ１～ＵＮは、ユーザ端末３１～３Ｎに映し出される共通の映像を視認し、共通の音声を聴くことにより、体験を共有することができる。このような体験共有方法は、例えば、社会見学や野外学習等の共同体験活動の補填や、遠隔からの現場視察や部屋の内覧等の利用等に応用することができる。
【0036】
図５に示す体験共有システム１００の具体例２は、遠隔診療の例である。ＣＰ空間でユーザＵ２～ＵＮとしての患者にＨＭＤからなるユーザ端末３２～３Ｎを装着させ、ユーザＵ２～ＵＮがユーザ端末を介して視認している映像を、同じセッションを形成するユーザＵ１としての医師のユーザ端末３１に表示させる。これにより、ユーザＵ２～ＵＮが患者として視認している状況をユーザＵ１としての医師が共有することができ、診断の効率化を図ることができる。このようなＨＭＤからなるユーザ端末３２～３Ｎを介した体験共有は、遠隔による複数人の被検者の医療計測を介した遠隔診療等への応用に加え、リラクゼーション業におけるマインドフルネス、婚活等のマッチングにおける相性診断、更には老人ホームや介護施設における被介護者との体験の共感やコミュニケーションツール等に応用することができる。
【0037】
次に、図６に示す体験共有システム１００の具体例３は、静止画又は動画の映像で再現されたＣＰ空間をあるプラネタリウムのドーム内に投影した例である。互いにセッションを形成する各ユーザＵ１～ＵＮにそれぞれ割り当てられた宇宙服を着た複数のアバターＡ１～ＡＮが、このプラネタリウムのドームからなるＣＰ空間中の表示映像Ｃ１内をユーザ端末３１～３Ｎを介して自由に飛び回り、また３６０°からなるＣＰ空間内の任意の方向を視認することで、その視認方向の映像の画角をユーザ端末３１～３Ｎに表示させることが可能となる。かかる場合も同様に、ユーザＵ１～ＵＮのうち、権限を有するユーザＵ１が自らのユーザ端末３１を介してアバターＡ１を操作し、また３６０°からなるＣＰ空間内の任意の方向を視認し、或いはズームアップやズームバックする操作を行った場合、これに連動して他のユーザ端末３２～３Ｎにも同様の画像を表示させることができる。このため、各ユーザＵ１～ＵＮは、遠隔においてプラネタリウムの体験を互いに共有することが可能となる。なお、プラネタリウムのドーム内では、ユーザ端末３１～３ＮでＣＰ空間内の任意の方向を視認できることに加え、ドーム内に投影された映像とアバターＡ１～ＡＮの動きを俯瞰して視認することができる。
【0038】
次に、図７に示す体験共有システム１００の具体例４は、ＣＰ空間である表示映像Ｃ１がロボットＲに搭載されたカメラの実映像で構成されている。ＨＭＤからなるユーザ端末３１を装着したユーザＵ１の頭部の動きがロボットＲの移動等に対応しており、両手に持つ操縦装置７がロボットＲの両手等の動きの操作等に対応しており、表示映像Ｃ１を見ながらロボットＲを遠隔操作できるようになっている。かかる場合においてユーザＵ１が同じセッションを構成する他のユーザＵ２と操作権を交代することもでき、かかる場合には他のユーザＵ２に装着させたユーザ端末３２に対してユーザ端末３１と同様の映像Ｃ１やロボットＲの操作を共有して、ユーザＵ１と同様にユーザＵ２もロボットＲを遠隔操作できるように構成する。これにより、ＨＭＤからなるユーザ端末を装着したユーザの頭部の動きによってロボットＲを移動させることができるため、ハンズフリーの操作性と、操作権を共有できる利点を活かし、従来よりも利便性の高い遠隔ロボットの共同作業等を行うことができる。
【0039】
次に、図８に示す体験共有システム１００の具体例５は、ＣＰ空間内において外部から３Ｄデータを取り入れるモジュールを実装するものである。外部からの３Ｄデータとしては、例えば美術作品や展示用の商品等、静的な対象物であってもよいし、演じる役者を３Ｄデータとして取り込むことで演劇等を動的に見せるものであってもよい。また、図８に示す例では、ヘアカットの実技講習をオンライン上で行う例であり、ＣＰ空間内に表示したマネキンの頭部の３Ｄデータに対してユーザがＨＭＤやタブレット型端末等のユーザ端末３２を操作して実技を見学可能とされている。
【0040】
このような体験共有を実現するためには、リアルタイムに撮像した映像や過去に撮像した過去映像を適用するようにしてもよい。これらの映像の撮影は、撮影モジュールを用いて行う。具体的には、この撮影モジュールにおけるビデオカメラやデジタルカメラ、３Ｄスキャナ等により撮像を行う。図９の平面図は、フィジカル空間の位置Ｐに配置されたパノラマビデオカメラ３７により、全方位に向けて映像を撮影している状態を示している。パノラマビデオカメラ３７における撮像装置３２１により、水平方向に向けて３６０°に亘り洩れなく撮像を行う。この撮像は、垂直方向に向けても同時に撮像されるが、以下の例では、この水平方向への撮像を記録し、その映像を用いて再現したＣＰ空間を例にとり説明をする。
【0041】
このようにして、映像の撮像が行われると、複数の撮像装置３２１により各方向に対して時系列的に順次映像が撮像される。そして撮像された画像は、順次蓄積する。過去映像の撮像が終了した段階で、位置Ｐを中心にして水平方向全方位に亘って撮像された静止画像又は動画像が蓄積されている状態となる。このとき、図示しないマイクにより音声を同時に収録しておいてもよい。このような全方位に向けた画像の撮像を、フィジカル空間の他の各位置Ｑ～Ｔについても同様に行う。その結果、フィジカル空間の一部、又は全部の各位置において３６０°に亘る全方位の画像が蓄積されている状態となる。
【0042】
このような過去映像を利用して上述した体験共有を行う場合には、図１０に示すように過去映像をもとに再現したＣＰ空間内の各位置Ｐ～Ｔの何れかの位置に１以上のアバターが存在するものとする。例えば、位置ＰにおいてアバターＡＮが位置する場合、過去映像をユーザ端末３１～３Ｎに表示させる際には、ユーザ端末３１～３Ｎは、位置Ｐについて予め蓄積している過去映像を読み出して表示用ディスプレイ上に表示させることができる。
【0043】
このとき、ユーザ端末３１～３Ｎを介してＣＰ空間内のアバターＡＮの視線方向や位置、状態等が変更された場合、これに応じて表示用ディスプレイ上の表示に反映させるようにしてもよい。かかる場合には、以前に蓄積された映像から、アバターの視線方向に応じた映像を切り出してユーザ端末３１～３Ｎの表示用ディスプレイ上に表示させ、或いはアバターの位置に応じて映像を拡大又は縮小させる。このアバターＡＮが位置Ｐから他の位置Ｑ～Ｔに移動した場合、その移動した位置Ｑ～Ｔについて予め蓄積した映像をアバターＡＮの操作に応じて映像を切り出し、或いは拡大、又は縮小した映像を表示する。このようにして、アバターＡＮの操作に応じて映像を切り出し、或いは拡大、又は縮小した映像を表示することで、ユーザに対して、あたかもアバターＡＮの視線の向き等に応じた視覚で映像を視認している現実感覚を持たせることが可能となる。しかもアバターＡＮを移動させる位置Ｐ～Ｔ毎に同様に予め蓄積した映像を表示させることができることから、各ユーザＵ１～ＵＮは、ＣＰ空間内を自由に散策するアバターＡＮと同じ臨場感を味わうことが可能となる。
【0044】
ちなみに、アバターＡＮではなく、ＨＭＤ等からなるユーザ端末３１～３Ｎを装着するユーザＵ１～ＵＮがこのＣＰ空間内を自由に動き回ることが可能なアプリケーションの場合、過去映像を撮像したＣＰ空間内の各位置Ｐ～Ｔの何れかの位置にユーザＵ１～ＵＮが存在するものとする。例えば、位置Ｐにおいてユーザが位置する場合、過去映像をユーザ端末３１～３Ｎに表示させる際には、ユーザ端末３１～３Ｎは、位置Ｐについて予め蓄積している過去映像を読み出して表示用ディスプレイ上に表示させる。このユーザＵ１～ＵＮが位置Ｐから他の位置Ｑ～Ｔに移動した場合、その移動した位置Ｑ～Ｔについて予め蓄積した映像をユーザＵ１～ＵＮの操作に応じて映像を切り出し、或いは拡大、又は縮小した映像を表示する。かかる場合も同様にＨＭＤからなるユーザ端末３１～３Ｎの操作や、或いはユーザ端末３１～３Ｎを装着したユーザの視線方向やユーザの位置の変更に応じて表示用ディスプレイ上の表示に反映させることで、同様に視線の向き等に応じた視覚で映像を視認している現実感覚を持たせることが可能となる。なおＨＭＤからなるユーザ端末３１～３Ｎを利用する場合には、ＨＭＤに設けられる操作用のコントローラやハンドトラッキング機能、ＨＭＤ自体の位置情報等に基づいて表示ディスプレイ上の表示に反映させるようにしてもよい。
【0045】
このようなＣＰ空間内において体験共有する場合には、例えば、ユーザＵ１自身又はそのアバターＡ１が位置Ｐに位置し、ユーザＵ２自身又はそのアバターＡ２が位置Ｑに位置するものとする。このとき権限を有する者がユーザＵ１である場合、このユーザＵ１がユーザ端末３１の表示用ディスプレイに表示されている映像を、ユーザＵ２が操作するユーザ端末３２の表示用ディスプレイ上に表示させることができる。ユーザ端末３１の表示用ディスプレイに表示されている映像は、位置Ｐにおいて視認している映像であるが、これをユーザＵ１のみならず、別の位置ＱにいるユーザＵ２も視認することができる。このため、ユーザＵ１とユーザＵ２は、位置ＰにおいてユーザＵ１自身又はそのアバターが視認している画像を同時に視認することができ、互いに体験共有することが可能となる。このとき、各位置Ｐ～Ｔにおいて過去において録音した音声を流すことにより、音声も含めた体験共有を実現することも可能となる。
【0046】
次に、図１１～図２８を用いて、本実施形態に係る体験共有システム１００の制御管理等の詳細について説明する。図１１～図２８は、本実施形態に係る体験共有システム１００の制御管理等の詳細を説明するための説明図である。
【0047】
先ず、本実施形態に係る体験共有システム１００の概要構成について説明する。
【0048】
体験共有システム１００は、図１１に示すように、ユーザＵ１～ＵＮが用いるユーザ端末３１～３Ｎにインストールされた体験共有アプリＰ１～ＰＮと、ネットワークＮに接続された体験共有サーバ１とで構成される。この体験共有アプリＰ１～ＰＮは、ユーザＵ１～ＵＮに対して同一のセッションを提供するものである。体験共有アプリＰ１～ＰＮには、体験共有サーバ１を経て、上述した各位置Ｐ～Ｔ毎に撮像した映像や音声が転送されており、ユーザＵ１～ＵＮによる体験共有アプリの操作に応じてこれらの映像や音声が読み出されてユーザ端末３１～３Ｎ上に表示される。
【0049】
なお、この体験共有システム１００においては、一のユーザＵ１による体験共有アプリＰ１の操作によって撮像された映像を体験共有サーバ１に蓄積することなくそのまた他の体験供給アプリＰ２～ＰＮへ同じ映像を配信するようにしてもよい。或いは、一の視聴する一のユーザＵ１による体験共有アプリＰ１の操作によって体験共有サーバ１に一旦蓄積した映像を他の体験供給アプリＰ２～ＰＮへストリーミングするようにしてもよい。或いは、一の視聴する一のユーザＵ１による体験共有アプリＰ１の操作によって体験共有サーバ１に一旦蓄積した映像を他の体験供給アプリＰ２～ＰＮにダウンロードさせるようにしてもよい。
【0050】
これにより、多数の体験共有アプリＰ１～ＰＮが、体験共有プロトコルを介して、体験共有サーバ１と通信することで、上述した視聴覚体験やインタラクションをするための情報を共有することができる。
【0051】
なお、体験共有プロトコルを使うセマンティックス（体験共有プロトコルを通じて受け渡しをするデータの中身や扱い方）が同一であれば、異なる体験共有アプリＰ１～ＰＮを混在させて実施することもできる。
【0052】
上述したパーティは、図１２に示すように、体験共有システム１００によって情報を共有できるユーザＵ１～ＵＮ，Ｕ１´～ＵＮ´で構成される。このパーティの中から互いにあるサイトにおいて１以上のユーザＵ１～ＵＮに対して情報を共有するセッションが体験共有アプリＰ１～ＰＮを介して形成される。同様に他のサイトにおいて１以上のユーザＵ１´～ＵＮ´に対して情報を共有する他のセッションが体験共有アプリＰ１´～ＰＮ´を介して形成される。この体験共有アプリＰ１～ＰＮと、体験共有アプリＰ１´～ＰＮ´は互いに異なるセッションを形成する。
【0053】
この体験共有システム１００において、体験共有アプリのユーザＵ１～ＵＮ，Ｕ１´～ＵＮ´は、パーティを指定して、体験共有サーバ１に接続し、オプションとして、サイトを指定してパーティ内のセッションに参加することができる。また、この体験共有システム１００では、パーティ内に新たなセッションを作成したり、途中で異なるセッションに移動したりすることもできる。
【0054】
また、図１３に示すように、この体験共有システム１００では、同じセッションに参加しているユーザＵ１～ＵＮ，或いはユーザＵ１´～ＵＮ´が共有するコンテンツやＣＰ空間等の各サイトはセッションと一意に紐づいている。このため、サイトを変更することで、セッションが切り替わる。サイトは、ＵＲＩ(Uniform Resource Identifier)によって指定することのできるあらゆる種類のリソースで構成される。このため、例えばＵＲＬにより指定可能なオンライン上の静止画や動画、ライブストリーミングの映像、ＰＤＦデータ、３Ｄデータ、独自形式のＣＰ空間データ等のコンテンツもこのサイトに包含される。
【0055】
体験共有システム１００の主要な構成要素は、図１４に示すように、体験共有アプリＰＮに提供される開発者の独自プログラム５１とするクライアント・ライブラリ５２、また体験共有サーバ１側のプログラム群としてのサーバ・プログラム５３、記憶部２、クライアント・ライブラリ５２とサーバ・プログラム５３の通信を規定する体験共有プロトコル５５を備える。体験共有システム１００では、体験共有アプリＰＮの開発者は、クライアント・ライブラリ５２を利用して、独自プログラム５１を組むことにより、上述したアプリケーションの例に挙げられるような体験共有アプリＰＮを開発することができる。この体験共有アプリＰＮによってユーザＵＮに様々な共同体験を提供することができる。なお、この体験共有システム１００では、体験共有サーバ１に、外部のサーバ等と連携するための拡張機能の窓口となる拡張機能５４を設けてもよい。
【0056】
続いて、本実施形態に係る体験共有システム１００の状態の同期手法について説明する。
【0057】
体験共有システム１００では、図１５に示すように、体験共有アプリＰ１～ＰＮが、ユーザＵ１～ＵＮ側に提供するセッションの視聴覚情報等の状態に関する情報は、セッション情報として記述され、格納される。また体験共有サーバ１側には、マスターとなるセッション情報を記憶する。体験共有サーバ１は、新たにセッションに加わった、同じセマンティックスを扱う体験共有アプリＰ１～ＰＮに最新のセッション情報を提供する。さらに、体験共有システム１００では、体験共有アプリＰ１～ＰＮがセッション情報に加えた変更は、体験共有プロトコル５５を介して、同じセマンティックスを扱う他の体験共有アプリＰ１～ＰＮや体験共有サーバ１に伝播し、それぞれのセッション情報の同期が保たれる。
【0058】
より具体的には、体験共有システム１００では、同じセマンティックスを各体験共有アプリＰ１～ＰＮに対して、セッション参加時に最新のセッション情報の全体が送られる（ステップＳ１１）。体験共有アプリＰ１～ＰＮのうち、例えば一の体験共有アプリＰ１において何らかの変更が加えられる場合（ステップＳ１２）、その加えられた変更に基づいて体験共有サーバ１内のマスターとなるセッション情報が更新される（ステップＳ１３）。その結果、体験共有サーバ１側において、更新前のセッション情報と更新後のセッション情報の差分がストリームデータとして他の体験共有アプリＰ２～ＰＮにも配信される（ステップＳ１４）。これにより、一の体験共有アプリＰ１において加えられた変更が、他の体験共有アプリＰ２～Ｐ２Ｎ側にも反映させることが可能となる。
【0059】
また、体験共有システム１００では、図１６に示すように、体験共有アプリＰ１～ＰＮは、体験共有アプリＰ１～ＰＮ側に加えられたセッション情報への変更点に基づく差分データを、一定間隔で体験共有サーバ１に送信するようにしてもよい（ステップＳ１５）。各体験共有アプリＰ１～ＰＮにおいて加えられたセッション情報の変更点に基づく差分データが体験共有サーバ１に送られた場合、体験共有サーバ１は、送られる変更点を集約して、体験共有サーバ１内のマスターとなるセッション情報に一定間隔（例えば０．２ｓｅｃ等）で反映させる（ステップＳ１６）。これと同時に、集約された変更点、即ち差分データを各体験共有アプリＰ１～ＰＮに送信する（ステップＳ１７）。これにより、各体験共有アプリＰ１～ＰＮにおいて加えられた変更点に基づく差分データを体験共有サーバ１側において一括してまとめて蓄積しておき、その蓄積した差分データは、全ての体験共有アプリＰ１～ＰＮ側にも反映させることが可能となる。なお、一定間隔で送り合うセッション情報のデータを、セッション・ストリームと呼ぶ。そして、セッション・ストリームには、差分データのみ送信する差分ストリームと、全データを一括して送るフル・ストリームとがある。
【0060】
図１７は、各セッションを管理するためのセッション情報の構成を示している。セッション情報は、セッション管理部６１、パーティ共通部６２、ユーザリスト部６３、セッション固有部６４、及びサイト固有部６５等からなる。なお、セッションに参加している体験共有アプリＰ１～ＰＮは、セッション情報におけるセッション管理部６１、パーティ共通部６２、ユーザリスト部６３、セッション固有部６４、及びサイト固有部６５の何れか、或いは全てを共有してもよい。また、パーティ共通部６２は、パーティ内の全てのセッションで共有（同期）される。
【0061】
ここで、セッション管理部６１は、セッションの識別子、セッションに対応したサイト（ＵＲＩ）、セッション内時刻等の情報が含まれる。
【0062】
パーティ共通部６２は、パーティ内の全てのセッションで共有される情報が含まれ、セッションが終了した後も、その一部は体験共有サーバ１内に永続的に記録されてもよい。即ち、このパーティ共通部６２は、セッションの開始から終了までの過程で都度更新され、セッション終了時には削除される情報に加え、セッションの終了後であっても永続的にする残存する永続情報が記録されてもよい。
【0063】
ユーザリスト部６３は、セッションに参加しているユーザＵ１～ＵＮの情報が含まれる。このユーザリスト部６３に記録される各ユーザＵ１～ＵＮの情報は、そのユーザＵ１～ＵＮがセッションに参加したときに体験共有アプリＰ１～ＰＮに追加され、セッションを離脱したときに削除されるものである。
【0064】
セッション固有部６４は、セッション内で共有される体験共有アプリＰ１～ＰＮの一時的な状態を記録するものである。このセッション固有部６４に記録されている体験共有アプリＰ１～ＰＮの情報は、セッションが終了すると破棄される。
【0065】
サイト固有部６５は、サイト毎の設定情報や、体験共有アプリＰ１～ＰＮによって生成されるサイト固有の情報が記録される。サイト固有部６５に記録されるサイト固有の情報は、セッションが終了した後も体験共有サーバ１内に永続的に記録されてもよい。サイト固有部６５は、サイトの情報として、セッションによってはＵＲＩのみでは記述しきれない情報を記録するようにしてもよい。またサイト固有部６５は、その空間で新たに生まれた情報や知見等をメモとして記録するようにしてもよく、セッション終了後も必要な知見を残しておく場合に活用される。
【0066】
なお、セッション情報のうち、セッション管理部６１以外の４つの部（パーティ共通部６２、ユーザリスト部６３、セッション固有部６４、及びサイト固有部６５）等に含まれる情報の意味（セマンティクス）は、体験共有アプリＰ１～ＰＮの開発者が任意に定めることもできる。
【0067】
以下、あるセマンティクスにおいて実際にセッション情報として記述される情報の例について説明する。ここで例示するセマンティクスは、３６０°映像によるＣＰ空間内に、ユーザＵ１～ＵＮがアバターとして現れ、空間内を自由に移動し、視点を自由に変えたり、映像内の場所を指し示すことで拡大表示又は縮小表示することができる体験共有アプリＰＮとする。
【0068】
セッション管理部６１では、サイトのＵＲＬとして、オンライン上の３６０°映像ファイルのＵＲＬが設定されている。
【0069】
パーティ共通部６２では、永続情報として、体験共有アプリＰＮで表示できるコンテンツのリストと、パーティに参加している、或いは過去に参加したユーザＵ１～ＵＮ毎の操作権限等の情報が記述されている。ここでいう操作権限は、３６０°映像の再生状態や、３６０°映像の視点を操作する、３６０°映像のある部分を指し示す、３６０°映像内のアバターを表示する等の情報で構成される。
【0070】
ユーザリスト部６３では、各ユーザ情報には、各ユーザＵ１～ＵＮの表示名やアバターの位置や向き、ユーザＵ１～ＵＮが指し示している映像の位置等の情報が記述されている。このユーザリスト部６３に記録される各ユーザＵ１～ＵＮの情報は、例えばユーザが操作するアバターの位置や向きが時々刻々と変化した場合にその情報が都度更新されるものであってもよい。
【0071】
セッション固有部６４では、３６０°映像の再生状態や、３６０°映像の視点を操作する、３６０°映像のある部分を指し示す、３６０°映像内のアバターを表示する等の操作権限を持っているか、等が記述されている。
【0072】
サイト固有部６５では、３６０°映像内に配置されたテキストや参考写真等の付加的なコンテンツの情報が記述されている。
【0073】
即ち、本発明を適用した体験共有システム１００によれば、体験共有サーバ１と、体験共有アプリＰ１～ＰＮには、セッションを管理するためのセッション情報がそれぞれ格納されている。かかる前提の下で、例えば体験共有アプリＰ１を操作することでアバターの位置や向き等、体験共有する上で何らかの変化が生じた場合には、体験共有アプリＰ１に格納されるセッション情報が変更される。またこのセッション情報の変更は体験共有サーバ１側においても生じる場合がある。このような体験共有サーバ１又は何れか一の体験共有アプリＰ１～ＰＮに格納される前記セッション情報が変更された場合に、体験共有サーバ１又は他の体験共有アプリＰ１～ＰＮに格納されるセッション情報に当該変更分が反映される。これにより、一の体験共有アプリＰ１～ＰＮにおいて体験共有する上で生じる様様な変化を、他の体験共有アプリＰ１～ＰＮに反映することができ、ユーザＵ１～ＵＮ間の体験共有を円滑に進めることができる。
【0074】
また、体験共有システム１００では、図１８に示すように、即時メッセージのやり取りができる。
【0075】
具体的には、体験共有アプリＰ１～ＰＮは、体験共有サーバ１に対して、即時メッセージを送信することができる（ステップＳ１８）。この即時メッセージは、体験共有サーバ１からの一定間隔の配信を待たずセッション情報の同期を即座に行うために、同期したい差分データをパラメータとしたものである。体験共有サーバ１は、一の体験共有アプリＰ１から即時メッセージを受け取ると、即座に他の体験共有アプリＰ２～ＰＮにも、同じ即時メッセージを配信する（ステップＳ１９）。これとともに、体験共有サーバ１内のマスターとするセッション情報にもこの即時メッセージの内容が上書きで反映させる（ステップＳ２０）。このとき体験共有サーバ１は、差分データを所定時間に亘り蓄積した上で他の体験共有アプリに伝送する際には、既に蓄積した差分データに新たに受信した差分データと同一のデータが存在する場合には、当該蓄積した差分データから当該同一のデータを削除するようにしてもよい（ステップＳ２１）。これにより重複した差分データの蓄積を回避することができる。
【0076】
また体験共有システム１００では、図１９に示すように、各ユーザＵ１～ＵＮは、受信対象を指定し、その指定したものとの間で即時メッセージを送受信するようにしてもよい。
【0077】
受信対象として他のユーザを指定する場合、具体的には、一のユーザＵ１は、受信者となる他のユーザＵ２～ＵＮを指定して即時メッセージを送信する（ステップＳ２２）。次に、指定された受信者（他のユーザＵ２～ＵＮ）の体験共有アプリＰ２～ＰＮに即時メッセージを配信する（ステップＳ２３）。なお、即時メッセージは、受信者そのものをパラメータしてもよいし、任意のデータをパラメータとすることもできる。また、受信者としてのユーザは、パーティ全員、セッション全員、特定のユーザＵＮ、又は特定のデータオブジェクトの何れかを指定することができる。さらに、受信したパラメータ（データ）の取り扱い方法（セマンティックス）は、セッション情報とは独立して、体験共有アプリＰ１～ＰＮの開発者が任意に決めることができる。
【0078】
また、体験共有システム１００では、図２０に示すように、体験共有サーバ１と、体験共有アプリＰＮとは、セッション内で共通に用いられるセッション時刻を刻むセッション時計を持つようにしてもよい。
【0079】
具体的には、体験共有アプリＰＮがセッションに参加したとき（ステップＳ２４）に、体験共有サーバ１から現在のセッション時刻が通知され（ステップＳ２５）、通知された時刻で体験共有アプリＰＮ側のセッション時計が開始する（ステップＳ２６）。
【0080】
また、体験共有システム１００では、体験共有アプリＰＮは、体験共有サーバ１のセッション時刻を継続的に観測して、体験共有アプリＰＮ内のセッション時刻を体験共有サーバ１のセッション時刻に合わせることで同期させる。
【0081】
具体的には、体験共有アプリＰＮ側のセッション時刻ｔ０を体験共有サーバ１に送信する（ステップＳ２７）。体験共有サーバ１は、体験共有アプリＰＮに対して、受信したセッション時刻ｔ０と、体験共有サーバ１側のセッション時刻ｔ１を返信する（ステップＳ２８）。受信した体験共有アプリＰＮ側のセッション時刻ｔ２と、受信したｔ０，ｔ１をもとに、通信遅延ｔＬと時刻のズレｔＤを式（ｔＬ＝（ｔ２－ｔ０）／２、及びｔＤ＝（ｔ０＋ｔ２）／２－ｔ１）で推定し、セッション時計のズレを調整する（ステップＳ２９）。なお、上述したセッション時計のズレの調整方法は一例であり、他のいかなる方法に基づいて調整を行うようにしてもよいことは勿論である。
【0082】
また、体験共有システム１００では、図２１に示すように、事象発生時刻を同期させることができる。
【0083】
具体的には、体験共有サーバ１から各セッションの状態を同期するメッセージにセッション時刻を付与する。このセッションの状態を同期するメッセージは、セッション・ストリーム、又は即時メッセージ等である。体験共有アプリＰ１～ＰＮは、メッセージに付与されたセッション時刻と、現在のセッション時刻との差異を考慮して状態や事象の表現を更新する。
【0084】
また、状態の同期手法として、例えば動画再生を同期させる場合は、予め上述したセッション固有部６４において、動画操作を完了したセッション時刻、新たな再生状態（play/pause/reverse）、その時の動画再生位置（フレーム番号やタイムコード）等を記述しておく。そして、体験共有アプリＰ１～ＰＮが再生停止やシーク等、動画の各種制御操作を行った場合に、これらの情報をパラメータとして即時メッセージとして体験共有サーバ１に送信する。体験共有サーバ１は、各体験共有アプリＰ１～ＰＮに向けて同期させるべき動画の再生状態をセッション・ストリーム、又は即時メッセージ等を介して配信する。これにより、各体験共有アプリＰ１～ＰＮにおける動画の再生状態が同期される。新たにセッションに参加した体験供給アプリＰＮは、セッション・ストリームに含まれるこれらの情報を用いて、動画の再生状態を再現することが可能となる。
【0085】
続いて、本実施形態に係る体験共有システム１００のセッションの管理手法について説明する。
【0086】
体験共有システム１００では、図２２に示すように、体験共有サーバ１の記憶部２には、複数のアカウントに関するアカウント情報と、パーティに関するパーティ情報等が記録されている。
【0087】
アカウント情報は、アカウントの識別子や認証情報、種別や権限等が含まれる。
【0088】
パーティ情報は、パーティ属性情報、パーティ共通部の永続情報、パーティ参加者の情報、サイトごとのサイト固有情報等が含まれる。パーティ属性情報は、パーティの識別子や名称、パーティの作成者や各種権限情報、初期サイト等の情報が記述されている。パーティ共通部の永続情報は、セッション終了後に消去するのではなく永続的に利用する情報や知見等が記述されている。パーティ参加者情報は、パーティに参加できるユーザのアカウント、パーティ内でのみ有効な各参加者の識別子、各参加者の権限等が記述される。サイト固有情報は、サイト毎の詳細な情報が記述される。サイト固有情報は、サイトのＵＲＩを記述するようにしてもよい。
【0089】
体験共有システム１００では、このようなアカウント情報やパーティ情報を利用し、セッションの運営管理を行う。先ずパーティの開始（アクティブ化）時の管理手法について説明をする。図２３に示すように、体験共有アプリＰＮが体験共有サーバ１に接続した際には（ステップＳ３０）、先ず記憶部２内のアカウント情報に基づいて接続を認証する（ステップＳ３１）。このアカウント情報に基づいて接続が認証された場合には、ステップＳ３２に移行し、接続が認証されなかった場合には、そのままアクティブ化の処理は終了となる。
【0090】
ステップＳ３２に移行した場合、アカウント情報と、パーティ情報におけるパーティ参加者情報とを照合して制限することもできる。パーティ参加者情報には、パーティに参加できるユーザＵ１～ＵＮのアカウントが記述されていることから、これと照合することにより、体験共有アプリＰ１～ＰＮを介してアクセスしてきたユーザの参加認証をすることができる。参加認証された場合には、ステップＳ３３に移行してパーティのアクティブ化処理に移行し、参加認証されなかった場合には、そのままアクティブ化の処理は終了となる。
【0091】
ステップＳ３３においてパーティがアクティブ化された場合、パーティ規定のサイトに対応したセッションを設け、セッション情報を作成する。セッション情報の作成時には、先ずパーティ情報中のパーティ属性情報に基づいてパーティ規定のサイトを設ける。またパーティ情報中のパーティ共通部の永続情報があればそれを、セッション情報におけるパーティ共通部６２の永続情報において共有させる。またパーティ情報中のパーティ参加者情報からセッションに参加するユーザをセッション情報中のユーザリスト部６３に登録する。パーティ情報中のサイト毎の固有情報を、セッション情報中のサイト固有部６５に書き込む。このようにしてパーティ規定のサイトに対応したセッション情報を生成することができる。
【0092】
その結果、ユーザＵＮは、接続した体験共有アプリＰＮを介して、このセッション情報に対応するセッションに参加することが可能となる（ステップＳ３４）。
【0093】
次にパーティへの参加と離脱手法について説明をする。図２４に示すように、既にアクティブになっているパーティに新たに体験共有アプリＰＮが接続した場合（ステップＳ３５）、記憶部２中のアカウント情報に基づいて、接続を認証する（ステップＳ３６）。このアカウント情報に基づいて接続が認証された場合には、ステップＳ３７に移行し、接続が認証されなかった場合には、そのまま接続は切断される。
【0094】
ステップＳ３７に移行した場合には、必要に応じてパーティ情報中のパーティ参加者情報を参照し、新たに接続した体験共有アプリＰＮを保有するユーザＵＮの参加権を照合する。その結果、参加権が必要でない場合はパーティ規定のサイトに対応したセッションにそのままユーザＵＮを加える。参加権が必要であり有効であれば、パーティ規定のサイトに対応したセッションにユーザＵＮを加える。具体的には、セッション情報中のユーザリスト部６３に、新たに加えるユーザＵＮを追加する。その結果、ユーザＵＮは、接続した体験共有アプリＰＮを介して、このセッション情報に対応するセッションに参加することが可能となる（ステップＳ３８）。なお、規定のサイトに対応するセッションが無い場合は、規定のサイトに対応する新たなセッションを作成して参加させるようにしてもよい。
【0095】
また今までセッションに参加していたユーザＵＮが体験共有アプリＰＮによる共同体験を終える場合には、体験共有アプリＰＮを体験共有サーバ１に対して切断する（ステップＳ３９）。その結果、体験共有アプリＰＮはセッションから離脱する。その際にユーザＵＮがパーティから離脱するようにしてもよい（ステップＳ４０）。またユーザＵＮがパーティから離脱した場合は、セッション情報におけるユーザリスト部６３からは、離脱したユーザＵＮを削除するようにしてもよい。
【0096】
次にセッションの移動、即ちサイトの変更の方法について説明をする。図２５に示すように、体験共有アプリＰＮが体験共有サーバ１に接続してサイトの変更を要求する（ステップＳ４１）。次に、移動先のサイトに対応するセッションに接続を移動させる（ステップＳ４２）。また移動前のセッション情報のユーザリスト部６３から該当ユーザＵＮを取り除く処理も行う（ステップＳ４３）。またパーティ情報中のパーティ参加者情報を参照し、移動先のセッション情報のユーザリスト部６３に該当ユーザＵＮを追加する（ステップＳ４４）。ここで、移動させる対象ユーザＵＮは、サイト変更のモードによって、要求したユーザＵＮのみ、同じセッションの全員、パーティ参加者全員の３種類がある。なお、移動先のサイトに対応するセッションが無い場合は、パーティ情報をもとに、新たなセッションを作成して参加するようにしてもよい。その結果、ユーザＵＮは、移動前のセッションから移動先のセッションに参加することが可能となる。
【0097】
次にセッションとパーティを終了させる場合について説明をする。体験共有システム１００では、図２６に示すように、体験共有アプリＰＮが体験共有サーバ１に対して接続を切断する（ステップＳ４５）。そして、体験共有アプリＰＮ自身がセッションから離脱する（ステップＳ４６）。セッション情報におけるユーザリスト部６３から、その体験共有アプリＰＮを操作するユーザＵＮを削除する。次にステップＳ４７において、セッション情報中のサイト固有部６５における永続的に管理すべきサイト固有情報があればパーティ情報に反映させる。またセッションを終了し、セッション情報を削除する（ステップＳ４８）。そして、全てのセッションが終了したら、パーティ共通部６２における永続情報があればパーティ情報中のパーティ共通部の永続情報に保存し（ステップＳ４９）、パーティを終了し、非アクティブ化する（ステップＳ５０）。
【0098】
このように、本発明を適用した体験共有システム１００では、ユーザＵＮがパーティを開始し、またセッションに参加し、体験を共有する上で、パーティ情報を介してその参加認証を行うことができる。また、ユーザＵＮが体験共有するサイトを変更する上で、またセッションやパーティを終了する際においても、その状況をパーティ情報に反映させることで、体験共有システム１００全体の参加や離脱、サイト変更等をパーティ情報を介して一括管理することができる。このため、パーティに属さない不審者が勝手にセッションに参加し、セッションを自由に移動することを抑えることが可能となる。
【0099】
図２７に示すように、体験共有システム１００では、外部のサービス（サーバ）等と連携してコンテンツ等のやりとりをするための窓口となる拡張機能５４を設けてもよい。 最後に、この拡張機能５４と他の外部サーバ７０を連動させることにより、体験共有システム１００の機能を拡張する手法について説明する。
【0100】
体験共有システム１００が音声通話サーバと連携する例を図２８に示す。体験共有サーバ１は、セッションに対応する音声チャンネルを音声通話サーバ１´内に作成する（ステップＳ５１）。体験共有アプリＰＮが体験共有サーバ１に接続し、セッションに参加した場合（ステップＳ５２）、音声通話サーバ１´への接続トークンを発行し（ステップＳ５３）、体験共有アプリＰＮに通知する（ステップＳ５４）。体験共有アプリＰＮがトークンで音声通話サーバ１´に接続した場合（ステップＳ５５）、そのセッション用のチャンネルに参加させ（ステップＳ５６）、音声通話が開始される（ステップＳ５７）。なお、体験共有アプリＰＮがセッションを移動した場合には、音声通話サーバ１´の参加チャンネルもこれに応じて変更する。
【0101】
以上、本発明の実施形態を説明したが、この実施形態は例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【0102】
１ 体験共有サーバ
１´ 音声通話サーバ
２ 記憶部
３１～３Ｎ ユーザ端末
４１～４Ｎ サイト
５ 管理用端末
７ 操縦装置
Ｕ１～ＵＮ ユーザ
Ｕ１´～ＵＮ´ ユーザ
Ｕ ユーザ
Ｐ１～ＰＮ 体験共有アプリ
Ｐ１´～ＰＮ´ 体験共有アプリ
Ｒ ロボット
Ａ１～ＡＮ アバター
Ｃ１ 表示画像（ＣＰ空間）
Ｎ ネットワーク（通信網）
１０ 統括管理部
１１ インターフェース
３７ パノラマビデオカメラ
４１ サイト
５１ 独自プログラム
５２ ライブラリ
５３ サーバプログラム
５４ 拡張機能
５５ 体験共有プロトコル
６１ セッション管理部
６２ パーティ共通部
６３ ユーザリスト部
６４ セッション固有部
６５ サイト固有部
１００ 体験共有システム
１´ 音声通話サーバ
２ 記憶部
３１～３Ｎ ユーザ端末
４１～４Ｎ サイト
５ 管理用端末
７ 操縦装置
Ｕ１～ＵＮ ユーザ
Ｕ１´～ＵＮ´ ユーザ
Ｕ ユーザ
Ｐ１～ＰＮ 体験共有アプリ
Ｐ１´～ＰＮ´ 体験共有アプリ
Ｒ ロボット
Ａ１～ＡＮ アバター
Ｃ１ 表示画像（ＣＰ空間）
Ｎ ネットワーク（通信網）
１０ 統括管理部
１１ インターフェース
３７ パノラマビデオカメラ
４１ サイト
５１ 独自プログラム
５２ ライブラリ
５３ サーバプログラム
５４ 拡張機能
５５ 体験共有プロトコル
６１ セッション管理部
６２ パーティ共通部
６３ ユーザリスト部
６４ セッション固有部
６５ サイト固有部
１００ 体験共有システム
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】