IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ソニー株式会社の特許一覧

特開2024-70696情報処理システム、情報処理方法、およびプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024070696
(43)【公開日】2024-05-23
(54)【発明の名称】情報処理システム、情報処理方法、およびプログラム
(51)【国際特許分類】
   H04N 7/15 20060101AFI20240516BHJP
   H04L 67/131 20220101ALI20240516BHJP
【FI】
H04N7/15 170
H04L67/131
【審査請求】未請求
【請求項の数】20
【出願形態】OL
(21)【出願番号】P 2022181346
(22)【出願日】2022-11-11
(71)【出願人】
【識別番号】000002185
【氏名又は名称】ソニーグループ株式会社
(74)【代理人】
【識別番号】100140958
【弁理士】
【氏名又は名称】伊藤 学
(74)【代理人】
【識別番号】100137888
【弁理士】
【氏名又は名称】大山 夏子
(74)【代理人】
【識別番号】100154036
【弁理士】
【氏名又は名称】久保 貴弘
(72)【発明者】
【氏名】深澤 遼
(72)【発明者】
【氏名】小野寺 剛
(72)【発明者】
【氏名】薬師神 行雄
(72)【発明者】
【氏名】井上 正行
(72)【発明者】
【氏名】代田 兼一朗
(72)【発明者】
【氏名】遠藤 元宏
(72)【発明者】
【氏名】吉田 航
(72)【発明者】
【氏名】大城 将生
(72)【発明者】
【氏名】田中 千尋
(72)【発明者】
【氏名】首藤 響
(72)【発明者】
【氏名】中野 幹太
【テーマコード(参考)】
5C164
【Fターム(参考)】
5C164FA10
5C164UB88S
5C164VA06S
5C164VA07P
5C164VA11P
5C164VA13S
5C164VA43P
(57)【要約】      (修正有)
【課題】仮想空間における所定の場所での一部ユーザ同士のコミュニケーションの利便性をさらに高めることが可能なシステム、方法およびプログラムを提供する。
【解決手段】仮想空間システムにおいて、コンテンツ配信サーバは、仮想空間内に、コミュニケーションルーム内の会話対象である実空間または仮想空間で行われるイベントに関連する情報を表示する表示オブジェクトを含む仮想オブジェクトを配置する。仮想空間管理サーバは、ユーザが操作するアバターの仮想空間内における位置が、ユーザ同士のコミュニケーションが行われるコミュニケーションルームが対応付けられるコミュニケーションポイントである第1のエリアに含まれる場合は、コミュニケーションルームへの入室選択に関する情報をユーザが使用する端末に送信し、前記位置が、第1のエリアの外側に位置する第2のエリアに含まれる場合は、コミュニケーションに関する情報を、端末に送信する。
【選択図】図11
【特許請求の範囲】
【請求項1】
仮想空間内に、コミュニケーションルーム内の会話対象である実空間または仮想空間で行われるイベントに関連する情報を表示する表示オブジェクトを含む仮想オブジェクトを配置する制御と、
ユーザが操作するアバターの前記仮想空間内における位置が、ユーザ同士のコミュニケーションが行われる前記コミュニケーションルームが対応付けられるコミュニケーションポイントである第1のエリアに含まれる場合は、前記コミュニケーションルームへの入室選択に関する情報を前記ユーザが使用する端末に送信する制御と、
前記アバターの前記仮想空間内における位置が、前記第1のエリアの外側に位置する第2のエリアに含まれる場合は、前記コミュニケーションに関する情報を、前記端末に送信する制御と、
を行う制御部を備える、情報処理システム。
【請求項2】
前記表示オブジェクトは、実空間で行われるイベントの特定のシーンを表示する表示オブジェクトである、請求項1に記載の情報処理システム。
【請求項3】
前記表示オブジェクトは、実空間で行われる試合のハイライト映像を表示する表示オブジェクトである、請求項2に記載の情報処理システム。
【請求項4】
前記表示オブジェクトは、前記イベントにおける特定のユーザグループが応援するチームに関する情報を表示する表示オブジェクトである、請求項1に記載の情報処理システム。
【請求項5】
前記表示オブジェクトは、前記イベントにおける特定のユーザグループが応援するチームに関する表示オブジェクトであり、
前記特定のユーザグループに所属するユーザが使用する端末に、前記入室選択に関する情報を送信する、請求項4に記載の情報処理システム。
【請求項6】
前記制御部は、前記入室選択に関する情報に対するユーザ入力に基づく、前記コミュニケーションルームへのユーザの入室要求を前記端末から受信した場合、前記コミュニケーションルームで用いられる1以上の異なるコミュニケーション手段による情報を取得するための接続情報を、前記ユーザが使用する端末に送信する、請求項1に記載の情報処理システム。
【請求項7】
前記コミュニケーション手段による情報は、前記コミュニケーションルームに入室している各ユーザの端末から発信される音声、文字、または画像の情報である、請求項6に記載の情報処理システム。
【請求項8】
前記コミュニケーションルームへの入室選択に関する情報は、前記コミュニケーションルームの生成を行うサーバに接続するための情報を含む、請求項1に記載の情報処理システム。
【請求項9】
前記サーバは、前記コミュニケーションルームに入室しているユーザに関する情報を、各ユーザの端末に送信する制御を行う、請求項8に記載の情報処理システム。
【請求項10】
前記制御部は、前記コミュニケーションルームで視聴される配信コンテンツに関する情報を、前記ユーザの端末に送信する制御を行う、請求項1に記載の情報処理システム。
【請求項11】
前記配信コンテンツに関する情報は、前記配信コンテンツを指定する情報、および前記配信コンテンツが配信されているコンテンツ配信サーバに接続するための情報を含む、請求項10に記載の情報処理システム。
【請求項12】
前記制御部は、前記ユーザの端末で表示されるコミュニケーションルーム画面に表示されるユーザアバターの表示に関する情報を、前記ユーザの端末から受信し、前記コミュニケーションルームに入室している他のユーザの端末にリアルタイムで送信する、請求項1に記載の情報処理システム。
【請求項13】
前記ユーザアバターの表示に関する情報は、前記ユーザアバターを動かすエモート情報、または前記ユーザアバターの近くに表示され、感情表現を示す画像であるスタンプ情報を含む、請求項12に記載の情報処理システム。
【請求項14】
前記制御部は、前記コミュニケーションポイントから所定距離内に、前記ユーザに対応するユーザアバターが移動した場合、前記コミュニケーションルームへの入室意思を認識し、前記コミュニケーションルームへ入室するための接続情報を、前記ユーザの端末に送信する制御を行う、請求項1に記載の情報処理システム。
【請求項15】
前記制御部は、前記ユーザが前記コミュニケーションルームに入室した際に、コミュニケーションルーム画面に遷移するよう前記ユーザの端末に指示する制御を行う、請求項1に記載の情報処理システム。
【請求項16】
前記コミュニケーションルーム画面には、前記コミュニケーションルームに入室しているユーザのユーザアバターが表示される、請求項15に記載の情報処理システム。
【請求項17】
前記ユーザアバターの付近に、当該ユーザアバターに対応するユーザが入力した文字またはスタンプ画像が表示される、請求項16に記載の情報処理システム。
【請求項18】
前記コミュニケーションルーム画面には、コンテンツが表示される、請求項15に記載の情報処理システム。
【請求項19】
プロセッサが、
仮想空間内に、コミュニケーションルーム内の会話対象である実空間または仮想空間で行われるイベントに関連する情報を表示する表示オブジェクトを含む仮想オブジェクトを配置することと、
ユーザが操作するアバターの前記仮想空間内における位置が、ユーザ同士のコミュニケーションが行われる前記コミュニケーションルームが対応付けられるコミュニケーションポイントである第1のエリアに含まれる場合は、前記コミュニケーションルームへの入室選択に関する情報を前記ユーザが使用する端末に送信することと、
前記アバターの前記仮想空間内における位置が、前記第1のエリアの外側に位置する第2のエリアに含まれる場合は、前記コミュニケーションに関する情報を、前記端末に送信することと、
を含む、情報処理方法。
【請求項20】
コンピュータを、
仮想空間内に、コミュニケーションルーム内の会話対象である実空間または仮想空間で行われるイベントに関連する情報を表示する表示オブジェクトを含む仮想オブジェクトを配置する制御と、
ユーザが操作するアバターの前記仮想空間内における位置が、ユーザ同士のコミュニケーションが行われる前記コミュニケーションルームが対応付けられるコミュニケーションポイントである第1のエリアに含まれる場合は、前記コミュニケーションルームへの入室選択に関する情報を前記ユーザが使用する端末に送信する制御と、
前記アバターの前記仮想空間内における位置が、前記第1のエリアの外側に位置する第2のエリアに含まれる場合は、前記コミュニケーションに関する情報を、前記端末に送信する制御と、
を行う制御部として機能させる、プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、情報処理システム、情報処理方法、およびプログラムに関する。
【背景技術】
【0002】
近年、画像、音声、または文字を用いたリアルタイムでのコミュニケーションの一つとして、3Dモデルが配置された仮想空間内において、各ユーザが操作するアバターを通してコミュニケーションをとることができるシステムが普及している。かかるシステムでは、仮想空間の映像として、例えばユーザ操作に応じた任意の視点(自由視点)からの映像が生成されてユーザに提供される。仮想空間の映像は、ユーザの視界全体を覆うHMD(Head mounted Display)、スマートフォン、タブレット端末、PC(Personal Computer)等の表示装置を用いて提供される。
【0003】
仮想空間において行われるユーザ同士のコミュニケーションに関し、例えば下記特許文献1では、予定されたユーザが仮想空間上の予め決められた空間かつ決められた時間に集まった場合に各ユーザが使用する通信端末間の通信を確立させる技術が開示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】国際公開第2013/054748号
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、上述した技術では、コミュニケーションの参加者、空間、および時間を予め決める必要があった。仮想空間における一部ユーザ同士によるコミュニケーションのさらなる利便性が求められる。
【0006】
そこで、本開示では、仮想空間における所定の場所での一部ユーザ同士のコミュニケーションの利便性をさらに高めることが可能な情報処理システム、情報処理方法、およびプログラムを提案する。
【課題を解決するための手段】
【0007】
本開示によれば、仮想空間内に、コミュニケーションルーム内の会話対象である実空間または仮想空間で行われるイベントに関連する情報を表示する表示オブジェクトを含む仮想オブジェクトを配置する制御と、ユーザが操作するアバターの前記仮想空間内における位置が、ユーザ同士のコミュニケーションが行われる前記コミュニケーションルームが対応付けられるコミュニケーションポイントである第1のエリアに含まれる場合は、前記コミュニケーションルームへの入室選択に関する情報を前記ユーザが使用する端末に送信する制御と、前記アバターの前記仮想空間内における位置が、前記第1のエリアの外側に位置する第2のエリアに含まれる場合は、前記コミュニケーションに関する情報を、前記端末に送信する制御と、を行う制御部を備える、情報処理システムが提供される。
【0008】
また、本開示によれば、プロセッサが、仮想空間内に、コミュニケーションルーム内の会話対象である実空間または仮想空間で行われるイベントに関連する情報を表示する表示オブジェクトを含む仮想オブジェクトを配置することと、ユーザが操作するアバターの前記仮想空間内における位置が、ユーザ同士のコミュニケーションが行われる前記コミュニケーションルームが対応付けられるコミュニケーションポイントである第1のエリアに含まれる場合は、前記コミュニケーションルームへの入室選択に関する情報を前記ユーザが使用する端末に送信することと、前記アバターの前記仮想空間内における位置が、前記第1のエリアの外側に位置する第2のエリアに含まれる場合は、前記コミュニケーションに関する情報を、前記端末に送信することと、を含む、情報処理方法が提供される。
【0009】
また、本開示によれば、コンピュータを、仮想空間内に、コミュニケーションルーム内の会話対象である実空間または仮想空間で行われるイベントに関連する情報を表示する表示オブジェクトを含む仮想オブジェクトを配置する制御と、ユーザが操作するアバターの前記仮想空間内における位置が、ユーザ同士のコミュニケーションが行われる前記コミュニケーションルームが対応付けられるコミュニケーションポイントである第1のエリアに含まれる場合は、前記コミュニケーションルームへの入室選択に関する情報を前記ユーザが使用する端末に送信する制御と、前記アバターの前記仮想空間内における位置が、前記第1のエリアの外側に位置する第2のエリアに含まれる場合は、前記コミュニケーションに関する情報を、前記端末に送信する制御と、を行う制御部として機能させる、プログラムが提供される。
【図面の簡単な説明】
【0010】
図1】本開示の一実施形態による仮想空間提供システムの全体構成について説明する図である。
図2】仮想空間Sに含まれる各空間について説明する図である。
図3】本実施形態によるスポーツ空間S3に含まれるジャンル別空間について説明する図である。
図4】本実施形態による仮想空間管理サーバ200の構成の一例を示すブロック図である。
図5】本実施形態によるバックエンドシステム30に含まれるサービスサーバの具体例を示す図である。
図6】本実施形態によるクライアント端末10の構成の一例を示すブロック図である。
図7】本実施形態による仮想空間への接続処理の流れの一例を示すシーケンス図である。
図8】本実施形態による表示画面の一例を示す図である。
図9】本実施形態による表示画面の一例を示す図である。
図10】本実施形態によるIPコンテンツ特化エリアの簡易マップの一例を示す図である。
図11】本実施形態による選手のボーンデータを利用した試合再現の仕組みについて説明する図である。
図12】本実施形態によるトーキングテーブル600が配置されるバー内部の表示画面を示す図である。
図13】トーキングテーブル600の形状の一例について説明する図である。
図14】本実施形態によるトーキングテーブル600との距離に応じてトーキングルーム内の様子が開示される場合について説明する図である。
図15】本実施形態によるトーキングルーム内の盛り上がりに応じたトーキングテーブル600のエフェクト表示の一例を示す図である。
図16】本実施形態によるトーキングテーブル600の生成から入室までの動作処理の一例を示すシーケンス図である。
図17】本実施形態によるトーキングルーム入室時におけるクライアント端末10と各サーバとの通信接続の詳細について説明する図である。
図18】本実施形態によるトーキングルーム画面の一例を示す図である。
図19】本実施形態によるトーキングルーム画面の他の例を示す図である。
図20】本実施形態によるイベント連動の仕組みについて説明する図である。
図21】本実施形態によるライブスタジアムにおける表示画面の一例を示す図である。
図22】本実施形態によるライブスタジアムにおける表示画面の一例を示す図である。
図23】本実施形態によるライブスタジアムにおける表示画面の一例を示す図である。
図24】本実施形態によるライブスタジアムにおける表示画面の一例を示す図である。
図25】本実施形態によるライブスタジアムにおける表示画面の一例を示す図である。
図26】本実施形態によるライブスタジアムにおける表示画面の一例を示す図である。
図27】本実施形態によるカメラ位置の一例について説明する図である。
図28図27に示すカメラ位置810:Basicの場合の試合再現UIを示す図である。
図29図27に示すカメラ位置811:Bird’s eyeの場合の試合再現UIを示す図である。
図30】本実施形態による試合再現UIの画面概要について説明する図である。
図31】本実施形態によるチャプターリストの表示例を示す図である。
図32】本実施形態によるアバターモードの場合の試合再現UIの表示例を示す図である。
図33】本実施形態による試合のハイライト再生について説明する図である。
【発明を実施するための形態】
【0011】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【0012】
また、説明は以下の順序で行うものとする。
1.本開示の一実施形態による仮想空間提供システムの全体構成
2.構成例
2-1.仮想空間管理サーバ200の構成例
2-2.バックエンドシステム30の構成例
2-3.クライアント端末10の構成例
3.仮想空間への接続
4.表示画面例
5.仮想空間の具体例
5-1.IPコンテンツエリア
5-2.トーキングテーブル
5-3.イベント連動
5-4.試合再現UI
6.補足
【0013】
<<1.本開示の一実施形態による仮想空間提供システムの全体構成>>
図1は、本開示の一実施形態による仮想空間提供システムの全体構成について説明する図である。本実施形態による仮想空間提供システム(情報処理システムの一例)は、1以上の仮想空間管理サーバ200(情報処理装置の一例)と、各ユーザに使用されるクライアント端末10(端末の一例)と、バックエンドシステム30と、を含む情報処理システムである。
【0014】
仮想空間管理サーバ200は、仮想オブジェクトが配置される仮想空間(VR:Virtual Reality)を構築(生成)および管理し、ネットワーク40を介して通信接続する1以上のクライアント端末10に仮想空間情報を提供する。仮想空間情報とは、例えば、仮想空間に配置される仮想オブジェクトの情報、仮想空間のマップ情報、仮想空間で行われるイベント(以下、仮想イベント、とも称する。)に関する情報、仮想空間における各ユーザの位置情報等である。これらの情報に基づいて、各クライアント端末10側で仮想空間を再現(コピー)し得る。具体的には、各クライアント端末10は、仮想空間のマップ情報に基づいて、仮想オブジェクトを配置し、ユーザ視点(ユーザアバター視点)の仮想空間映像を描画する。なお、仮想空間管理サーバ200は、仮想空間における任意の視点(例えばユーザ視点)の映像を生成し、クライアント端末10に送信してもよい。
【0015】
仮想空間には、例えば3DCGモデルにより形成される仮想オブジェクトが配置される。仮想空間は、ゲームのように、予め用意された行動シナリオにユーザの行動が制限される空間であってもよいし、行動シナリオに制限されずユーザが自由に行動できる空間であってもよい。また、仮想空間は、音声または文字等を双方向に送受信することで他ユーザとの交流を行える空間であってもよい。また、仮想空間は、オリジナルの世界観によりデザインされた空間であってもよいし、実空間に存在する建物、施設、道路、都市、または街並み等を忠実に再現した所謂ミラーワールドと称される空間であってもよい。また、仮想空間では、他ユーザとの交流、教育の授受、または仕事等の社会活動、および、商品の販売または購買等の経済活動も行われ得る。仮想空間は、メタバースと称される空間であってもよい。
【0016】
仮想空間には、ユーザの分身となるユーザアバターが存在していてもよい。ユーザアバターは、例えばキャラクター3Dモデルにより生成される。各ユーザは、自身のキャラクター3Dモデルの外観を任意にカスタマイズすることが可能である。ユーザアバターは、ユーザにより操作され、仮想空間内を移動し得る。また、ユーザアバターのジェスチャーまたは顔の表情も、ユーザにより操作されてもよい。本明細書において、仮想空間におけるユーザの位置情報とは、ユーザアバターの位置を示す情報であってもよい。また、仮想空間におけるユーザ視点とは、ユーザアバターの視点であってもよいし、ユーザアバターを画角内に含む視点であってもよい。ユーザ視点は、ユーザ操作により任意に切り替えられ得る。
【0017】
ユーザアバターは、仮想空間に配置される仮想オブジェクトの1つである。各ユーザのユーザアバターの情報も、仮想空間情報として、仮想空間管理サーバ200に通信接続する多数のクライアント端末10に共有される。また、各ユーザは、仮想空間において、音声、文字、または画像によるコミュニケーションを行い得る。コミュニケーションは、仮想空間管理サーバ200を介して行われてもよいし、バックエンドシステム30を介して行われてもよい。バックエンドシステム30は、仮想空間を利用するユーザに様々なサービスを提供するサーバ(サービスサーバ31、32、33・・・)を含む。一例として、音声によるコミュニケーションを提供するサーバ、文字によるコミュニケーションを提供するサーバ、および画像(動画、静止画)によるコミュニケーションを提供するサーバが挙げられる。クライアント端末10は、仮想空間管理サーバ200からコミュニケーションチャンネル情報(接続情報の一例)を取得して、所定のサービスサーバに通信接続する。そして、クライアント端末10は、当該サービスサーバを介して、同様にコミュニケーションチャンネル情報を取得して所定のサービスサーバに通信接続した他のクライアント端末10とコミュニケーションを行い得る。
【0018】
また、本実施形態による仮想空間提供システムでは、仮想空間管理サーバ200の処理負荷分散のため、仮想空間の利用者、すなわち仮想空間管理サーバ200への接続端末数に応じてサーバを多重化してもよい。図1に示す例では、仮想空間システム20が、複数の仮想空間管理サーバ200(200a、200b、200c・・・)から構成されている。例えば、ある仮想空間を1000人に利用させたい場合、100端末と接続可能な仮想空間管理サーバ200を10用意し、各仮想空間管理サーバ200においてそれぞれ同じ仮想空間(同じマップ情報と同じ仮想オブジェクト)を提供する。各仮想空間管理サーバ200では、通信接続される100端末に対応するユーザの位置情報(100人の位置情報)をそれぞれ管理する。これにより、合計1000人のユーザに、100人毎ではあるが同じ仮想空間を提供することが可能となる。各仮想空間は、時間の流れおよび仮想イベントの実行等、大まかな要素は同期されるが、ユーザ同士の交流は、仮想空間毎に行われ得る。
【0019】
接続端末数に応じたサーバの多重化、すなわちサーバの増減管理は、バックエンドシステム30で提供されるサービスにより行われてもよい。具体的には、一の仮想空間管理サーバ200への接続端末数が所定数(例えば100)を超える場合、バックエンドシステム30により、当該一の仮想空間管理サーバ200と同じ仮想空間(同じマップ情報と同じ仮想オブジェクト)を提供する新たな仮想空間管理サーバ200が構築されてもよい。なお、所定数の仮想空間管理サーバ200を予め構築しておいてもよい。
【0020】
サーバ環境は特に限定されない。例えば、仮想空間管理サーバ200は、物理サーバであってもよいし、物理サーバ上で実行される仮想サーバであってもよい。ここで記載の物理サーバまたは仮想サーバとは、ホスティングサービスにより提供されるサーバであってもよいし、仮想空間を提供するサービスを行う事業者が自ら用意した自社サーバであってもよい。また、一の仮想空間管理サーバ200の機能は、複数の物理サーバまたは複数の仮想サーバにより実現されてもよい。各仮想空間管理サーバ200では、通信接続される複数のクライアント端末10に対応するユーザの位置情報をそれぞれ管理する。
【0021】
クライアント端末10は、ユーザに利用される端末である。例えば、クライアント端末10は、スマートフォン、タブレット端末、PC(パーソナルコンピュータ)、視界全体を覆うHMD(Head mounted Display)、メガネ型デバイス、プロジェクター、またはコンソールゲーム機等により実現される。クライアント端末10は、仮想空間管理サーバ200から受信した仮想空間の情報に基づいて、仮想空間を再現する。また、クライアント端末10は、仮想空間におけるユーザ視点の映像を生成し、表示出力する。また、クライアント端末10は、仮想空間内の音声も適宜音声出力する。なお、クライアント端末10は、仮想空間管理サーバ200で生成されたユーザ視点の映像を仮想空間管理サーバ200から受信して、表示出力してもよい。
【0022】
クライアント端末10は、ユーザ操作に応じて、仮想空間に配置される仮想オブジェクトを制御し得る。例えば、クライアント端末10は、ユーザ操作に応じて、ユーザアバターの位置、ジェスチャー、表情等を制御する。また、クライアント端末10は、ユーザ操作に応じて変化した仮想オブジェクトの情報(例えば、ユーザアバターの位置、ジェスチャー、表情等)を、リアルタイムで仮想空間管理サーバ200に送信する。
【0023】
また、クライアント端末10は、ユーザ操作に応じて、各種情報を仮想空間管理サーバ200、他のクライアント端末10、またはバックエンドシステム30に送信してもよい。例えば、クライアント端末10は、ログイン情報を仮想空間管理サーバ200またはバックエンドシステム30に送信してユーザ認証を依頼してもよい。また、クライアント端末10は、ユーザの音声、入力された文字情報、選択された画像等を、コミュニケーション情報として、仮想空間管理サーバ200、他のクライアント端末10、またはバックエンドシステム30に送信してもよい。
【0024】
(コンテンツ別仮想空間)
仮想空間の一例として、本実施形態では、映画、音楽、スポーツ、またはアニメ等の各種コンテンツ(後述するIPコンテンツを含む)を中心としてユーザ同士が交流するための空間が挙げられる。図2は、仮想空間Sに含まれる各空間について説明する図である。本実施形態による仮想空間システム20で提供される仮想空間Sは、図2に示すように、ユーザ個人用の仮想空間であるユーザ個人空間S1と、コンテンツに関わらずユーザ同士の交流が行われる仮想空間であるパブリック空間S2と、各コンテンツに関するユーザ同士の交流が行われる各仮想空間と、が含まれる。各コンテンツに関するユーザ同士の交流が行われる各仮想空間としては、例えば、スポーツに関するユーザ同士の交流が行われる仮想空間であるスポーツ空間S3、音楽に関するユーザ同士の交流が行われる仮想空間である音楽空間S4、映画に関するユーザ同士の交流が行われる仮想空間である映画空間S5、およびアニメに関するユーザ同士の交流が行われる仮想空間であるアニメ空間S6等が挙げられる。ここで挙げるコンテンツは一例であって、本開示によるコンテンツはこれらに限定されない。
【0025】
また、各コンテンツに関するユーザ同士の交流が行われる各仮想空間は、さらに階層化されたジャンル別の仮想空間であってもよい。図3は、本実施形態によるスポーツ空間S3に含まれるジャンル別空間について説明する図である。図3に示すように、特にサッカーに関するユーザ同士の交流が行われるサッカー空間S3-1、特にバスケットボールに関するユーザ同士の交流が行われるバスケットボール空間S3-2、特にテニスに関するユーザ同士の交流が行われるテニス空間S3-3等が挙げられる。また、図3に示す各スポーツのジャンル別空間の下位階層の仮想空間として、スポーツチーム毎のユーザ(ファン)同士が交流する仮想空間も考え得る。なお、仮想空間は、ジャンルごとに階層化されることに限定されない。仮想空間は、様々なIPコンテンツに対応する各空間が並列に存在する空間であってもよい。例えば、本実施形態による仮想空間は、ある野球チーム、あるサッカーチーム、および、あるアニメに各々対応する空間が並列に存在する仮想空間であってもよい。
【0026】
このように、コンテンツ別仮想空間として、そのコンテンツに興味関心のあるユーザ同士が交流するための仮想空間が考え得る。ユーザは、同じ興味関心を持つ他ユーザとそのコンテンツについて会話し、コンテンツをより楽しむことができる。
【0027】
仮想空間システム20は、図2および図3に示すような各仮想空間を全て提供してもよいし、一部を提供してもよい。例えば、仮想空間システム20は、ユーザ個人空間S1と、パブリック空間S2と、特定のスポーツチームファン同士の交流用仮想空間とを用意してもよい。本実施形態では、一例として、仮想空間システム20により、特定のサッカーチームファン同士の交流用仮想空間を提供する。
【0028】
<<2.構成例>>
<2-1.仮想空間管理サーバ200の構成例>
図4は、本実施形態による仮想空間管理サーバ200の構成の一例を示すブロック図である。図4に示すように、仮想空間管理サーバ200は、通信部210、制御部220、および記憶部230を有する。
【0029】
(通信部210)
通信部210は、有線または無線により外部装置とデータの送受信を行う。通信部210は、例えば有線/無線LAN(Local Area Network)、Wi-Fi(登録商標)、Bluetooth(登録商標)、携帯通信網(LTE(Long Term Evolution)、4G(第4世代の移動体通信方式)、または5G(第5世代の移動体通信方式))等を用いて、クライアント端末10およびバックエンドシステム30とそれぞれ通信接続する。
【0030】
(制御部220)
制御部220は、演算処理装置および制御装置として機能し、各種プログラムに従って仮想空間管理サーバ200内の動作全般を制御する。制御部220は、例えばCPU(Central Processing Unit)、マイクロプロセッサ等の電子回路によって実現される。また、制御部220は、使用するプログラムや演算パラメータ等を記憶するROM(Read Only Memory)、および適宜変化するパラメータ等を一時記憶するRAM(Random Access Memory)を含んでいてもよい。
【0031】
制御部220は、外部装置から受信したデータに基づいて、適宜処理を行い、記憶部230への記憶制御、および外部装置へのデータの送信制御を行う。
【0032】
制御部220は、仮想空間管理部221、コンテンツ管理部222、およびユーザ管理部223としても機能する。
【0033】
仮想空間管理部221は、仮想空間の管理を行う。具体的には、仮想空間管理部221は、仮想空間を構築(生成)するための各種情報の生成、取得、追加、および更新等を行う。各種情報とは、例えば仮想空間に配置される仮想オブジェクトである3DCGモデルの情報、色設定、画像、マップ情報、仮想イベント情報、効果音、およびBGM(Back Ground Music)等の仮想空間情報である。
【0034】
仮想オブジェクトには、ユーザ操作可能なオブジェクト、ユーザ操作不可能なオブジェクト、背景画像、および演出用エフェクト等が含まれる。また、仮想オブジェクトには、仮想空間に配置される各ユーザアバターに関する情報も含まれる。各ユーザアバターに関する情報とは、例えば、ユーザアバターの外観情報、リアルタイムのユーザ位置情報、ユーザアバターのリアルタイムの表情またはジェスチャー情報等、および対応するユーザのプロファイル等である。各ユーザアバターに関する情報は、後述するユーザ管理部223で管理される。
【0035】
仮想イベント情報には、仮想イベントの時間、進行、演出等に関する情報が含まれる。仮想空間管理部221は、予め設定された時間に所定の仮想イベントを行うようクライアント端末10に通知してもよいし、所定のトリガを仮想空間内で検知した場合に対応する仮想イベントを行うようクライアント端末10に通知してもよい。仮想イベント情報には、仮想イベントを実行する際に必要な情報が含まれる。また、仮想イベントはコンテンツであってもよい。クライアント端末10への仮想イベントの通知には、所定のコンテンツをバックエンドシステム30から取得し、仮想空間内の所定の場所で実行するよう指示する情報が含まれていてもよい。
【0036】
仮想空間管理部221は、仮想空間情報を、適宜、クライアント端末10に送信する。また、仮想空間管理部221は、クライアント端末10から受信した文字、音声、または画像等のコミュニケーション情報を、他のクライアント端末10に送信することで、仮想空間を共有するユーザ間のコミュニケーションを実現することも可能である。
【0037】
仮想空間管理部221は、クライアント端末10からユーザ操作の情報を受信し、他のクライアント端末10に仮想空間情報としてリアルタイムで送信する。また、仮想空間管理部221は、クライアント端末10から受信したユーザ操作の情報に応じて、当たり判定の算出処理を行い、算出結果を各クライアント端末10に随時送信する。これにより、各クライアント端末10で再現される仮想空間の状況が同期される。ユーザ操作の情報には、ユーザアバターの移動およびジャンプといったユーザアバターの動きに関する操作と、ユーザアバターにポーズまたはジェスチャー等を行わせるエモート、およびユーザアバターの頭上に表示されるスタンプといった、ユーザアバターの感情表現に関する操作が含まれ得る。
【0038】
コンテンツ管理部222は、仮想空間で共有されるコンテンツに関する情報を管理する。例えば、コンテンツ管理部222は、仮想空間に設けられるコンテンツ共有エリアで現在共有されているコンテンツを示す情報を管理する。コンテンツ共有エリアとは、例えば仮想空間に配置される1以上の大型ディスプレイの仮想オブジェクトであってもよいし、3Dによるコンテンツ等が再現されるステージ、広場、またはフィールド等であってもよい。コンテンツ自体は、バックエンドシステム30からクライアント端末10に送信されてもよい。かかるコンテンツの管理は、上述した仮想イベント情報の一つとして仮想空間管理部221により管理されてもよい。
【0039】
ユーザ管理部223は、仮想空間管理サーバ200により提供する仮想空間を利用しているユーザに関する情報を管理する。より具体的には、ユーザ管理部223は、通信接続するクライアント端末10に対応するユーザに関する情報を管理する。ユーザに関する情報には、例えば、ユーザのプロファイル(ユーザ名、ユーザID、アイコン画像等)、ユーザアバターの外観情報(画像、キャラクター種別、または構成要素等)、ユーザアバターのステータス情報、ユーザが所有する仮想アイテムの情報、ユーザが仮想空間内で利用できる仮想通貨またはポイント等の情報、仮想空間におけるリアルタイムのユーザ位置情報(すなわちユーザアバターの位置情報)、ユーザアバターのリアルタイムのジェスチャー、表情、姿勢、または動作状態等のモーション情報が含まれる。ユーザに関する情報は、クライアント端末10から送信される。また、ユーザに関する情報の一部がバックエンドシステム30から送信されてもよい。
【0040】
(記憶部230)
記憶部230は、制御部220の処理に用いられるプログラムや演算パラメータ等を記憶するROM、および適宜変化するパラメータ等を一時記憶するRAMにより実現される。記憶部230は、仮想空間情報を格納する。
【0041】
<2-2.バックエンドシステム30の構成例>
バックエンドシステム30は、様々なサービスを提供するサーバを含む。各サーバは、それぞれ異なる事業者により提供されてもよい。また、各サーバにより提供されるサービスを、仮想空間を提供する事業者が適宜カスタマイズして利用することも可能である。
【0042】
バックエンドシステム30の各サーバは、仮想空間管理サーバ200と通信接続して情報の送受信を行ってもよいし、クライアント端末10と通信接続して情報の送受信を行ってもよい。仮想空間管理サーバ200は、各サーバと連携することで、仮想空間を利用するユーザに様々なサービスを提供し得る。
【0043】
図5は、本実施形態によるバックエンドシステム30に含まれるサービスサーバの具体例を示す図である。図5に示したサービスサーバは一例であって、本開示はこれに限定されない。以下、各サービスサーバについて説明する。
【0044】
ユーザ情報管理サーバ301は、仮想空間を利用するユーザに関する情報を管理する。例えば、ユーザ情報管理サーバ301は、ユーザのアカウント情報、ユーザのプロファイル、ユーザ特性(年齢、性別、国、使用言語、経歴、趣味嗜好、コンテンツの視聴履歴、仮想イベントへの参加履歴、仮想空間における交流履歴等)、ユーザが所持するアイテム情報、ユーザアバターの外観情報、およびユーザアバターのステータス情報等をデータストア(記憶部)に記憶する。また、ユーザ情報管理サーバ301は、ユーザのアカウント情報を用いて、ユーザの認証も行い得る。詳細については図7を参照して後述するが、ユーザ情報管理サーバ301は、クライアント端末10からの要求に応じてユーザ認証を行い、認証が成功した場合、ユーザのプロファイルおよびユーザアバターの外観情報等、ユーザ情報をデータストアから呼び出してクライアント端末10に送信する。
【0045】
ホスティングサーバ302は、仮想空間システム20における接続端末数に応じたサーバの多重化、すなわちサーバの増減管理を行う。例えば、ホスティングサーバ302は、一の仮想空間管理サーバ200への接続端末数が所定数(例えば100)を超える場合、当該一の仮想空間管理サーバ200と同じ仮想空間(同じマップ情報と同じ仮想オブジェクト)を提供する新たな仮想空間管理サーバ200を構築する。
【0046】
マッチングサーバ303は、同じ仮想空間を提供する仮想空間管理サーバ200が複数ある場合に、ユーザ認証が終わって接続要求してきたクライアント端末10をどの仮想空間管理サーバ200に接続させるかを決定する。上述したように、例えば仮想空間管理サーバ200毎に接続数が限られている場合、マッチングサーバ303は、仮想空間システム20から各仮想空間管理サーバ200の現在の接続数の情報を取得し、空きがある仮想空間管理サーバ200に通信接続するようクライアント端末10に指示する。また、マッチングサーバ303は、接続数の他、ユーザ情報に応じて接続先の仮想空間管理サーバ200を決定してもよい。例えば、マッチングサーバ303は、ユーザ特性が似ているユーザが同じ仮想空間管理サーバ200に通信接続するよう指示してもよい。
【0047】
テキストチャットサーバ304は、仮想空間を利用するユーザ同士がコミュニケーション手段としてテキスト(文字情報)を用いた会話を行う仕組みを提供するサーバである。具体的には、テキストチャットサーバ304は、仮想のチャットルーム(テキストチャンネル)を作成し、当該チャットルームに入室したユーザ間で文字情報のやり取りが行えるよう制御する。チャットルームの生成は、仮想空間管理サーバ200またはクライアント端末10からの依頼に応じて行われる。また、テキストチャットサーバ304は、生成したチャットルームに接続するためのセッション情報(接続情報)を仮想空間管理サーバ200またはクライアント端末10に返答する。クライアント端末10は、セッション情報に基づいてテキストチャットサーバ304に通信接続し、テキストチャットを実行する。
【0048】
ボイスチャットサーバ305は、仮想空間を利用するユーザ同士がコミュニケーション手段としてボイス(音声情報)を用いた会話を行う仕組みを提供するサーバである。具体的には、ボイスチャットサーバ305は、仮想のチャットルーム(ボイスチャンネル)を作成し、当該チャットルームに入室したユーザ間で音声情報のやり取りが行えるよう制御する。チャットルームの生成は、仮想空間管理サーバ200またはクライアント端末10からの依頼に応じて行われる。また、ボイスチャットサーバ305は、生成したチャットルームに接続するためのセッション情報(接続情報)を仮想空間管理サーバ200またはクライアント端末10に返答する。クライアント端末10は、セッション情報に基づいてボイスチャットサーバ305に通信接続し、ボイスチャットを実行する。
【0049】
仮想空間を利用するユーザ同士によるコミュニケーション手段は、上述した文字情報および音声情報に限定されず、例えば動画像(ビデオ)を用いることも想定される。図5には図示していないが、例えば動画像(ビデオ)を用いた会話を行う仕組みを提供するサーバが、バックエンドシステム30に含まれていてもよい。
【0050】
コンテンツ配信サーバ306は、仮想空間で視聴されるコンテンツの配信を制御する。コンテンツ配信サーバ306は、様々なコンテンツサーバ(コンテンツを格納しているサーバ)からコンテンツを取得し、配信し得る。本実施形態では、各クライアント端末10で動作するアプリケーション(クライアントアプリとも称する)により仮想空間が再現(マップ情報に基づいて仮想オブジェクトを配置する)され、ユーザ視点の仮想空間映像が生成される。コンテンツ配信サーバ306は、クライアント端末10と通信接続し、クライアント端末10で再現される仮想空間内に組み込まれるコンテンツをクライアント端末10に送信する。仮想空間内に組み込まれるコンテンツとは、例えば、仮想空間に配置される大型ディスプレイ(仮想オブジェクト)に表示される動画である。また、仮想空間内に組み込まれるコンテンツとは、例えば、仮想空間内の所定のフィールドに表示される3D映像である。
【0051】
トーキングテーブルサーバ307は、仮想空間内の任意の場所に配置されるトーキングテーブル(仮想オブジェクト)に対応付けられるトーキングルーム(コミュニケーションルーム)の管理を行う。トーキングルームでは、各ユーザが、1以上の異なる種別のコミュニケーション手段(例えば、テキストチャットおよびボイスチャット)を用いて会話することが可能である。トーキングルームの生成は、仮想空間管理サーバ200またはクライアント端末10からの依頼に応じて行われる。また、トーキングテーブルサーバ307は、生成したトーキングルームに接続するためのセッション情報(接続情報)を仮想空間管理サーバ200またはクライアント端末10に返答する。トーキングルームの詳細については、図12図19を参照して後述する。なお、トーキングテーブルは、仮想空間内で複数のユーザが交流のために集まる場所の目印として、仮想空間内の任意の場所に設定されるコミュニケーションポイントに配置される仮想オブジェクトの一例である。目印となる何らかの仮想オブジェクトがコミュニケーションポイントに配置されていればよく、テーブルの他、例えば椅子、ポール、パラソル、またはステージ等であってもよい。
【0052】
イベント連動サーバ308は、実空間で行われるイベントの展開に応じた、仮想空間における演出の制御を行う。仮想空間における演出には、仮想イベントが含まれてもよい。例えば、イベント連動サーバ308は、実空間で行われている試合の展開に応じて、対応する演出を仮想空間においてリアルタイムで実行することで、実空間のイベントに、仮想空間内の演出を連動させることができる。より具体的には、イベント連動サーバ308は、演出の実行指示をクライアント端末10に対して行う。
【0053】
これにより、ユーザは、例えば実空間で行われている試合(実空間のイベントの一例)を視聴しながら、同じ試合を視聴している他のユーザと仮想空間で一緒に盛り上がる体験を享受できる。ユーザは、実空間の試合を、例えばテレビ、インターネット、またはラジオ等で視聴してもよいし、仮想空間内で視聴してもよい。イベント連動の詳細については、図20図26を参照して後述する。
【0054】
売買管理サーバ309は、仮想空間におけるアイテム、商品、チケット等の売買を実現し、また、売買に関するデータを格納する。仮想空間内での売買には、例えば仮想通貨が利用され得る。売買管理サーバ309は、課金システムを提供するサーバであってもよい。
【0055】
データ分析サーバ310は、仮想空間における各ユーザアバターの行動、特定の行動を行っているユーザアバターのユーザ特性等、様々なデータを分析する。分析結果は、仮想空間を提供する事業者等に提示されてもよい。
【0056】
<2-3.クライアント端末10の構成例>
図6は、本実施形態によるクライアント端末10の構成の一例を示すブロック図である。図6に示すように、クライアント端末10は、通信部110、制御部120、操作入力部130、センサ140、表示部150、音声出力部160、および記憶部170を有する。
【0057】
(通信部110)
通信部110は、有線または無線により、仮想空間管理サーバ200と通信接続してデータの送受信を行う。通信部110は、例えば有線/無線LAN、Wi-Fi(登録商標)、Bluetooth(登録商標)、赤外線通信、または携帯通信網(4G(第4世代の移動体通信方式)、5G(第5世代の移動体通信方式))等を用いた通信を行い得る。
【0058】
(制御部120)
制御部120は、演算処理装置および制御装置として機能し、各種プログラムに従ってクライアント端末10内の動作全般を制御する。制御部120は、例えばCPU、マイクロプロセッサ等の電子回路によって実現される。また、制御部120は、使用するプログラムや演算パラメータ等を記憶するROM、および適宜変化するパラメータ等を一時記憶するRAMを含んでいてもよい。
【0059】
制御部120は、仮想空間処理部121および表示制御部122としても機能する。
【0060】
仮想空間処理部121は、仮想空間管理サーバ200およびバックエンドシステム30と適宜連携して仮想空間体験をユーザに提供するための各種処理を行う。かかる処理は、クライアント端末10が予めダウンロードしたクライアントアプリにより行われてもよい。仮想空間処理部121は、例えば、仮想空間を利用するためのユーザ登録処理、およびログイン処理を行う。ユーザ登録処理およびログイン処理では、通信部110を介して、例えばユーザ情報管理サーバ301と適宜データの送受信が行われる。仮想空間処理部121は、仮想空間管理サーバ200から受信した仮想空間情報に基づいて、仮想空間を生成する。具体的には、仮想空間処理部121は、仮想空間管理サーバ200から受信したマップ情報に基づいて仮想オブジェクトを配置し、仮想空間を再現する。
【0061】
また、仮想空間処理部121は、バックエンドシステム30から取得した様々な情報を、仮想空間内に組み込んでもよい。例えば、仮想空間処理部121は、仮想空間内に配置される大型ディスプレイに、コンテンツ配信サーバ306から配信される映像を表示してもよい。
【0062】
また、仮想空間処理部121は、ユーザ操作に応じて、仮想空間に配置したユーザアバターの位置、顔の表情、ジェスチャー(手や身体全体での感情表現)、動作状態(座る、立つ、ジャンプ、走る等)を制御する。仮想空間処理部121は、ユーザ操作情報を仮想空間管理サーバ200にリアルタイムで継続的に送信する。仮想空間処理部121は、仮想空間管理サーバ200から継続的に送信される他ユーザアバターの情報を、仮想空間内に配置される他ユーザアバターにリアルタイムで反映させる。仮想空間処理部121は、センサ140で取得したユーザの音声の仮想空間管理サーバ200への送信と、仮想空間管理サーバ200から受信した他ユーザの音声の音声出力部160からの出力とを行うことで、ユーザ間の音声会話を実現してもよい。
【0063】
また、仮想空間処理部121は、仮想空間におけるユーザ視点の映像(表示画面)を生成する。また、仮想空間処理部121は、ユーザ視点の映像に、ユーザアバターの操作ボタン、設定画面、お知らせ画面、メニュー画面等を重畳させた表示画面を生成してもよい。また、仮想空間処理部121は、バックエンドシステム30から取得した様々な情報を、表示画面に表示してもよい。例えば、仮想空間処理部121は、テキストチャットサーバ304から受信した情報に基づいて、テキストチャットサーバ304を介して行われるユーザ同士のテキストチャットの画面を表示してもよい。テキストチャット画面はリアルタイムで更新され得る。
【0064】
また、仮想空間処理部121は、センサ140で取得したユーザの音声をボイスチャットサーバ305に送信し、また、ボイスチャットサーバ305から受信した他ユーザの音声を音声出力部160から出力することで、ボイスチャットサーバ305を介したユーザ間の音声会話を実現してもよい。
【0065】
なお、本実施形態では、仮想空間処理部121において仮想空間を再現する場合について説明するが、本開示はこれに限定されない。例えば、仮想空間におけるユーザ視点の映像が仮想空間管理サーバ200で生成および送信(ストリーミング配信)され、仮想空間処理部121は、仮想空間管理サーバ200から受信した映像を表示部150に表示することで、仮想空間体験をユーザに提供してもよい。
【0066】
表示制御部122は、表示部150に画像を表示する制御を行う。例えば表示制御部122は、仮想空間処理部121により生成された表示画面を表示部150に表示する制御を行う。
【0067】
(操作入力部130)
操作入力部130は、ユーザによる操作指示を受付け、その操作内容を制御部120に出力する。操作入力部130は、例えばタッチセンサ、圧力センサ、または近接センサであってもよい。また、操作入力部130は、ボタン、スイッチ、およびレバーなど、物理的構成であってもよい。ユーザは、操作入力部130を用いて、仮想空間内のユーザアバターを操作し得る。
【0068】
(センサ140)
センサ140は、ユーザまたはユーザ周辺における各種情報を検出(取得)する機能を有する。図6に示すセンサ140には、多数のセンサが含まれ得る。例えば、センサ140は、音声を収音するマイク(マイクロホン)であってもよい。また、センサ140は、ユーザまたはユーザ周辺を撮像するカメラであってもよい。また、センサ140は、ユーザの位置(絶対位置または相対位置)を計測する位置情報計測部であってもよい。また、センサ140は、ユーザの顔の表情、感情、視線方向、姿勢、手足の動き、頭部の向き、生体情報等を検出する各種センサ(カメラ、加速度センサ、角速度センサ、地磁気センサ、赤外線センサ、深度センサ、および生体センサ)であってもよい。また、センサ140は、3軸ジャイロセンサ、3軸加速度センサ、および3軸地磁気センサの合計9軸を検出可能なセンサを有していてもよい。
【0069】
なお、センサ140により検出された情報は、仮想空間処理部121においてユーザ操作の情報として用いられてもよい。例えば仮想空間処理部121は、センサ140により検出された情報に応じて、仮想空間内のユーザアバターを制御してもよい。
【0070】
(表示部150)
表示部150は、表示制御部122の制御により画像を表示する機能を有する。例えば表示部150は、液晶ディスプレイ(LCD:Liquid Crystal Display)、有機EL(Electro Luminescence)ディスプレイなどの表示パネルであってもよい。
【0071】
また、表示部150は、ユーザの視界全体を覆うHMDにより実現されてもよい。この場合、表示部150は、ユーザの左右の眼にそれぞれ固定された左右の画面において、左眼用画像および右眼用画像を表示する。表示部150の画面は、例えば液晶ディスプレイ(LCD)、有機ELディスプレイなどの表示パネル、または、網膜直描ディスプレイなどのレーザー走査方式ディスプレイで構成される。また、表示部150は、表示画面を拡大投影して、ユーザの瞳に所定の画角からなる拡大虚像を結像する結像光学系を備えてもよい。
【0072】
(音声出力部160)
音声出力部160は、制御部120の制御に従って、音声情報を出力する。音声出力部160は、例えばクライアント端末10がHMDの場合、ユーザの頭部に装着されるヘッドフォンとして構成されてもよいし、イヤフォン、または骨伝導スピーカにより実現されてもよい。
【0073】
(記憶部170)
記憶部170は、制御部120の処理に用いられるプログラムや演算パラメータ等を記憶するROM、および適宜変化するパラメータ等を一時記憶するRAMにより実現される。記憶部170には、例えば仮想空間に関する各種処理を実行するクライアントアプリが格納される。また、記憶部170には、ユーザプロファイルとユーザアバターの情報等のユーザ情報、および仮想空間管理サーバ200から受信した仮想空間情報が格納されていてもよい。
【0074】
以上、クライアント端末10の構成について具体的に説明したが、本開示によるクライアント端末10の構成は図6に示す例に限定されない。例えば、クライアント端末10は、複数の装置により実現されてもよい。クライアント端末10に含まれる各構成は、一の筐体に一体に設けられることに限定されず、有線または無線により各構成が通信接続されていてもよい。
【0075】
また、クライアント端末10が、HMD等により実現される出力装置(少なくとも表示部150および音声出力部160に対応)と、スマートフォン、タブレット端末、またはPC等により実現される処理装置(少なくとも制御部120に対応)とを含むシステム構成により実現されてもよい。
【0076】
また、クライアント端末10は、スマートフォン、タブレット端末、またはPC等の非装着型のデバイスであってもよい。
【0077】
また、クライアント端末10は、ユーザが把持するコントローラ、ユーザに装着されるセンサ、またはユーザの周辺(環境側)に配置されるセンサ等の外部装置から受信した情報を、ユーザ操作の情報として用いてもよい。
【0078】
また、クライアント端末10は、プロジェクター、TV装置、ディスプレイ等の外部表示装置と通信接続し、表示制御部122により仮想空間の映像を表示させてもよい。
【0079】
<<3.仮想空間への接続>>
続いて、クライアント端末10による仮想空間への接続について、図7を参照して説明する。ここでは、予めユーザ登録は済んでいる状態を想定する。
【0080】
図7は、本実施形態による仮想空間への接続処理の流れの一例を示すシーケンス図である。図7に示すように、まず、クライアント端末10は、クライアントアプリを起動する(ステップS103)。以下に説明するクライアント端末10の動作処理は、クライアントアプリにより実行される。なお、クライアントアプリの機能は、上述した仮想空間処理部121の機能を包含する。
【0081】
次に、クライアント端末10は、ユーザ情報管理サーバ301に、ユーザ認証を要求する(ステップS106)。具体的には、クライアント端末10は、ユーザIDおよび認証情報等をユーザ情報管理サーバ301に送信する。
【0082】
次いで、ユーザ情報管理サーバ301は、クライアント端末10からの要求に応じて、ユーザ認証を行う(ステップS109)。ユーザ認証が成功した場合、本動作は次の処理に進む。ユーザ認証が失敗した場合、エラー処理が実行される。
【0083】
次に、ユーザ情報管理サーバ301は、データストアに格納していたユーザ情報をクライアント端末10に送信する(ステップS112)。ユーザ情報には、ユーザのプロファイル、ユーザアバターの情報(外観情報、ステータス情報)、ユーザが所有するアイテムの情報等が含まれる。
【0084】
次いで、クライアント端末10は、受信したユーザ情報をクライアントアプリにセットする(ステップS115)。これにより、ユーザがどのクライアント端末10を利用する場合でも、ユーザ環境を得ることができる。例えばユーザがスマートフォンからアクセスしても、自宅PCからアクセスしても、最新のユーザ環境を利用端末に反映させることができる。
【0085】
次に、クライアント端末10は、接続先サーバをマッチングサーバ303に問い合わせる(ステップS118)。
【0086】
次いで、マッチングサーバ303は、クライアント端末10と接続先サーバ(仮想空間管理サーバ200)とのマッチング処理を行う(ステップS121)。具体的には、マッチングサーバ303は、現在の各仮想空間管理サーバ200の接続端末数に応じて、空きがある仮想空間管理サーバ200を接続先サーバに決定する。また、マッチングサーバ303は、ユーザIDに応じて、ユーザIDに対応するクライアント端末10が前回接続した仮想空間管理サーバ200を接続先サーバに決定してもよい。
【0087】
次に、マッチングサーバ303は、接続先サーバを示すデータ(例えばIP(Internet Protocol)アドレス)をクライアント端末10に送信する(ステップS124)。
【0088】
続いて、クライアント端末10は、マッチングされた仮想空間管理サーバ200に接続要求し(ステップS127)、仮想空間管理サーバ200との通信を確立し、双方向通信を開始する(ステップS130)。
【0089】
仮想空間管理サーバ200と通信確立により、クライアント端末10は、仮想空間管理サーバ200から仮想空間情報(マップ情報、仮想オブジェクト、および他ユーザアバターの情報等)を受信し、仮想空間をローカルで再現し得る。仮想空間の再現は、マップ情報に基づいて仮想オブジェクトを配置することにより行われ得る。また、クライアント端末10からは、仮想空間管理サーバ200にユーザ情報、およびユーザ操作の情報等を送信する。仮想空間管理サーバ200との通信確立を、仮想空間へのログインとしてもよい。クライアント端末10は、接続先サーバのデータを記憶し、例えば仮想空間から一時的にログオフした場合でも、再度同じ仮想空間にログインすることが可能である。
【0090】
<<4.表示画面例>>
次に、仮想空間にログインしたクライアント端末10で表示される表示画面について説明する。仮想空間にログインした時点では、ユーザアバターが仮想空間内の所定位置(例えば図10に示すスタートエリア410)に配置される。クライアント端末10の仮想空間処理部121は、ユーザ視点の映像として、ユーザアバターを画角に含む映像を生成し、表示部150に表示する。
【0091】
また、仮想空間処理部121は、ユーザアバターの設定画面、ユーザアバターを操作する各種操作ボタン、周辺で行われているテキストチャットの表示ボタン、フォローおよびフォロワー表示ボタン、ユーザへのお知らせ表示ボタン、マップ表示ボタン、および所有アイテム表示ボタン等を表示画面に含めてもよい。
【0092】
図8は、本実施形態による表示画面の一例を示す図である。図8に示すように、表示画面510には、仮想空間の映像511と、操作画面512が表示されている。操作画面512には、ユーザアバターの画像、ユーザアバターおよびユーザプロファイルの編集ボタン、エリア特有メニュー表示ボタン513、エリア共通メニューボタン514が表示される。
【0093】
エリア特有メニュー表示ボタン513は、現在ユーザアバターが居るエリア(仮想空間)特有のメニューを表示するためのボタンである。本実施形態では、コンテンツに特化したエリアを想定し、エリア特有メニューとは、対応するコンテンツに関わる体験メニューが想定される。なお、ここでのコンテンツは、IP(Interllectual Propery)コンテンツであってもよい。本実施形態では、このようなエリアの一例として、特定のサッカーチームのエリアを想定する。ここでは、特定のサッカーチームのファン同士の交流が行われる。エリアの各所には、当該サッカーチームのロゴ、グッズストア、実空間に存在するスタジアムが再現された仮想スタジアム等が配置される。ユーザは、他のコンテンツに特化したエリアに移動することも可能である。その際、クライアント端末10は、マッチングサーバ303から新たに(他のIPコンテンツに特化したエリア(仮想空間)を提供する)接続先サーバのデータを取得してもよい。また、一の仮想空間管理サーバ200で複数の異なるIPコンテンツのエリアが提供されていてもよい。この場合、クライアント端末10は、接続先サーバを切り替えることなく、エリア移動を行い得る。
【0094】
エリア共通メニューボタン514は、どのIPコンテンツのエリアでも利用可能なメニューボタンである。例えば、アバターマッチングボタンは、エリア内に居る他ユーザアバターとのマッチングである。ユーザ特性が似ている他ユーザアバターが、交流相手のおすすめとして提示され得る。また、アバターの感情表現をより豊かにするためにアバターが行うアクションであるエモート、および、アバターの感情を表現するためにアバターの頭上に一時的に表示される小さい画像であるスタンプの設定ボタンが表示されている。
【0095】
図9は、本実施形態による表示画面の一例を示す図である。図9に示すように、表示画面520には、仮想空間の映像と、各種操作ボタンが表示されている。図9に示す例では、ユーザアバターU1が、大型ディスプレイ529が配置されたステージ前に居る。大型ディスプレイ529には、例えば実空間の中継映像が表示される。かかる中継映像は、コンテンツ配信サーバ306が外部サーバ(中継映像配信サーバ)から取得し、リアルタイムで各クライアント端末10に配信される。
【0096】
操作ボタンの一例として、表示画面520の左端に、仮想空間(エリア)内でのユーザアバターの移動をコントロールするコントローラ521が表示され、表示画面520の右端に、ジャンプアイコン522が表示されている。
【0097】
仮想空間処理部121は、コントローラ521の中心に表示されているカーソルがユーザにより上下左右へスライドされると、スライド方向に応じて、ユーザアバターを前後左右に歩かせるよう制御する。なお、スライド量やスライド速度が設定値以上の場合、仮想空間処理部121は、ユーザアバターを前後左右に走らせるよう制御する。ジャンプアイコン522がタップされると、ユーザアバターがジャンプする。このようなユーザアバターの移動やジャンプ等の動きに関するユーザ操作の情報は、リアルタイムで仮想空間管理サーバ200を介して他ユーザのクライアント端末10に送信され、他ユーザのクライアント端末10で再現されている仮想空間に配置されるユーザアバターに反映される。これにより、ユーザアバターの動きが他ユーザと共有される。
【0098】
また、ユーザは、表示画面520の任意の場所(操作ボタン以外の場所)を1本の指等で上下左右にドラッグ操作することで、仮想空間のユーザ視線の移動を行い得る。また、ユーザは、表示画面520の任意の場所(操作ボタン以外の場所)を2本の指でピンチインまたはピンチアウトすることで、仮想空間の映像を縮小または拡大できる。
【0099】
マイクアイコン523は、ユーザの音声の入力ONおよびOFFをタップ操作に応じて切り替えるボタンである。マイクアイコン523が入力ONの状態の場合、ユーザの音声が仮想空間管理サーバ200またはボイスチャットサーバ305を介して他ユーザに送信される。ボイスチャットは、ユーザアバター周辺に位置する他ユーザアバターとの間で行われるようにしてもよいし、ユーザが許可した特定の他ユーザアバターとの間で行われるようにしてもよいし、ボイスチャットグループの参加ユーザ間で行われるようにしてもよい。
【0100】
テキスト入力アイコン524は、テキストチャットの入力を受け付けるボタンである。テキスト入力アイコン524がタップされると、テキスト入力UI(ユーザインタフェース)が表示され、ユーザはテキスト入力UIにテキストを入力する。入力されたテキストは、例えば図9に示すようにユーザアバターU1の頭上に吹き出し画像T1として表示される。ユーザアバターU1の近くに居る他ユーザアバターU2の頭上にも、吹き出し画像T2が表示される。図9に示すように、ユーザアバターU1の両側に居る各他ユーザアバターU2、U3吹き出し画像の表示には、3D表現が用いられてもよい。また、仮想空間処理部121は、ユーザアバターU1から離れた位置に居る他ユーザアバターU4、U5の吹き出し画像は空白にし、ユーザに視認させないようにしてもよい。なお、テキストチャットは、ユーザアバターの頭上に表示される吹き出し画像を介す方法に限られない。仮想空間処理部121は、周辺チャットウィンドウ表示切替ボタン527のタップ操作に応じて、周辺チャットウィンドウを表示してもよい。周辺チャットウィンドウは、ユーザアバターの周辺(例えばユーザアバターが居る区画)に居るユーザアバター間でのテキストチャットを表示する画面である。これにより、ユーザは周辺に居る他ユーザとテキストチャットを行い得る。なお、テキストチャットは、仮想空間管理サーバ200またはテキストチャットサーバ304を介して行われ得る。
【0101】
スタンプアイコン525は、スタンプメニュー画面を表示させるボタンである。ユーザは、スタンプアイコン525をタップして表示されるスタンプメニュー画面から任意のスタンプを選択し、ユーザアバターU1の頭上に表示させることができる。エモートアイコン526は、エモートメニュー画面を表示させるボタンである。ユーザは、エモートアイコン526をタップして表示されるエモートメニュー画面から任意のエモートを選択し、ユーザアバターU1の表情、ポーズ、ジェスチャー等を操作できる。
【0102】
以上、図9を参照して各種操作ボタンについて説明したが、各種操作ボタンの配置および機能は一例であって、本開示はこれに限定されない。
【0103】
<<5.仮想空間の具体例>>
<5-1.IPコンテンツエリア>
本実施形態による仮想空間は、一例として、IPコンテンツに特化したエリアが挙げられる。例えば、特定のサッカーチームのファン同士の交流をコンセプトとしたエリアであってもよい。この場合、エリアの各所には、例えば当該サッカーチームのロゴ、グッズストア、および実空間に存在するスタジアムを再現した仮想スタジアム等が配置される。図10は、本実施形態によるIPコンテンツ特化エリアの簡易マップの一例を示す図である。図10に示すように、エリア400には、エリアに入った際に最初にユーザアバターが配置されるスタートエリア410と、グッズストア420と、スタジアム430と、バー440が配置される。本実施形態によるエリア400は、配置される各仮想施設(グッズストア420およびスタジアム430等)が実空間と同様のミラーワールドであってもよい。ユーザは、ユーザアバターでエリア400内を移動することで、実際のスタジアム周辺の雰囲気を楽しむことができる。
【0104】
また、スタジアム430内では、仮想空間におけるコンテンツ配信の一例として、サッカーチームの試合が再生される。スタジアム430内に配置された大型ディスプレイに試合映像が表示されてもよいし(2D動画のストリーミング配信)、3DCGでサッカー選手およびボールを再現し、実際の試合でのモーションデータに基づいて各サッカー選手およびボールを動かすことにより試合が再現されてもよい。
【0105】
図11は、本実施形態による選手のボーンデータを利用した試合再現の仕組みについて説明する図である。図11に示すように、まず、仮想空間管理サーバ200aから、配信コンテンツの指定情報が各クライアント端末10に送信される。配信コンテンツの指定情報は、スタジアム430で再現する試合コンテンツを示す情報である。
【0106】
各クライアント端末10は、仮想空間管理サーバ200aから受信した指定情報に基づいて、バックエンドシステム30のコンテンツ配信サーバ306に対して、試合コンテンツの配信を要求する。
【0107】
次いで、コンテンツ配信サーバ306は、外部装置である試合データサーバ50に対して、試合コンテンツの配信を要求する。試合データサーバ50は、実空間で行われた試合において、トラッキングシステム51により収集された各選手およびボールのトラッキングデータを格納する装置である。各選手のトラッキングデータは、例えば、ボーンデータである。試合データサーバ50には、各選手の3DCGが格納されていてもよい。試合データサーバ50は、トラッキングシステム51から取得したトラッキングデータのフォーマットを整えたり、不要なデータを適宜削除したりした上で、試合コンテンツデータを生成する。試合データサーバ50は、コンテンツ配信サーバ306からの要求に応じて、試合コンテンツデータをコンテンツ配信サーバ306に送信する。
【0108】
次に、コンテンツ配信サーバ306は、試合コンテンツデータを各クライアント端末10に送信する。試合コンテンツデータには、各選手の3DCG(選手オブジェクトとも称する)、試合における各選手のボーンデータ、ボールの3DCG、試合におけるボールのトラッキングデータ等が含まれる。クライアント端末10は、試合コンテンツデータに基づいて、スタジアム430内で、選手オブジェクトを、ボーンデータに基づいて動かし、よりリアルに試合を3Dで再現し得る。ユーザは、ユーザアバターを操作してスタジアム430に入り、スタジアム430内で試合を楽しむことができる。また、ユーザは、ユーザアバターをフィールド内(ここでは、サッカーコート内)に移動させ、各選手の動きを近くで様々な角度から観戦することも可能である。コンテンツ配信サーバ306は、各クライアント端末10で再現される当該試合コンテンツデータのタイミング(スタジアム430で再現される試合の再生時間)を同期させることも可能である。実空間で行われた試合のトラッキングデータを用いて仮想空間で試合を再現する際のUIについては、図27図32を参照して後述する。
【0109】
<5-2.トーキングテーブル>
仮想空間内の任意の場所には、ユーザ同士のコミュニケーションが行われるコミュニケーションルームが対応付けられるコミュニケーションポイントが設定されている。コミュニケーションポイントの設定は、仮想空間管理サーバ200により行われてもよいし、ユーザにより行われてもよい。
【0110】
コミュニケーションルームでは、1以上の異なるコミュニケーション手段によるコミュニケーションが行われ得る。1以上の異なるコミュニケーション手段とは、例えば、音声、文字、または画像等の情報を用いたコミュニケーション手段である。コミュニケーションルームは、バックエンドシステム30(例えば、トーキングテーブルサーバ307)により提供されてもよい。ユーザは、ユーザアバターを、仮想オブジェクトであるトーキングテーブルが表示されるコミュニケーションポイントに移動させることでコミュニケーションルームに入室(コミュニケーションに参加)することが可能である。コミュニケーションルームに入室すると、表示画面が、コミュニケーションルームの画面に遷移する。また、コミュニケーションルームにおいて行われるコミュニケーションは、それぞれ対応するコミュニケーション用サーバ(例えばテキストチャットサーバ304、ボイスチャットサーバ305)により行われ得る。
【0111】
コミュニケーションポイントには、目印となる仮想オブジェクトが配置されていてもよい。本実施形態では、目印となる仮想オブジェクトの一例として、テーブルを用いる。かかるテーブルを、本明細書において、トーキングテーブルとも称する。
【0112】
トーキングテーブルは、ユーザが操作するクライアント端末10への入力操作、または仮想空間管理サーバ200により、仮想空間内の任意の場所(コミュニケーションポイントの設定箇所)に配置される。一例として、図10を参照して上述したバー440の中に配置されていてもよい。図12は、本実施形態によるトーキングテーブル600が配置されるバー内部の表示画面を示す図である。図12に示す表示画面530は、バー440の内部にユーザアバターが移動した際のユーザ視線の映像の一例である。バー440は、図10を参照して上述したように、ユーザ同士(ここでは、サッカーチームのファン同士)が交流する場として設けられる。バー440の内部には、図12の表示画面530に示すように、複数のトーキングテーブル600が設けられている。各トーキングテーブル600には、それぞれ、トーキングルームが対応付けられる。トーキングルームは、トーキングテーブルサーバ307により提供される。
【0113】
トーキングテーブル600の形状は一例である。ユーザが、ユーザアバターをトーキングテーブル600に近付けることで、トーキングテーブル600に対応付けられるトーキングルームへの入室選択に関する情報が、仮想空間管理サーバ200からクライアント端末10に送信される。ユーザは、クライアント端末10において入室要求の操作を行うことで、ユーザアバターをトーキングルーム(コミュニケーションルーム)に入室(換言すると、トーキングテーブルに参加)させることができる。
【0114】
トーキングテーブル600は、ユーザ同士のコミュニケーションが行われるコミュニケーションルームが対応付けられるコミュニケーションポイントに表示される。コミュニケーションポイントは、仮想空間上の特定の領域に設定されており、コミュニケーションポイントにアバターが含まれる場合に、入室選択に関する情報が送信される。
【0115】
図13は、トーキングテーブル600の形状の一例について説明する図である。図13に示すように、例えばトーキングテーブル600は、テーブル601およびディスプレイ602を含む。ディスプレイ602は、トーキングテーブル600に対応付けられるトーキングルーム内(コミュニケーションルーム内)の会話対象である「実空間または仮想空間で行われるイベントに関連する情報」を表示する表示オブジェクトの一例である。トーキングルーム内の会話対象は、仮想空間管理サーバ200に予め設定されてもよいし、トーキングルーム内の現在の議題またはトーキングルーム内で現在視聴されている映像(例えば図18に示すトピックウィンドウ542)であってもよい。ディスプレイ602の表示内容は、トーキングルーム内における会話の対象に関連する情報であり、トーキングルーム内における会話の対象の変化に応じて適宜変化してもよい。ディスプレイ602とテーブル601は、仮想オブジェクトとして仮想空間に配置される。
【0116】
例えば、トーキングテーブル600に対応付けられるトーキングルーム内の会話対象として「実空間において直近に開催された試合」が設定された場合、当該試合の映像、当該試合に出場した選手のインタビュー映像、または当該試合の試合結果のような当該試合に関連する情報が、ディスプレイ602に表示される。ディスプレイ602に表示される2D動画は、コンテンツ配信サーバ306からストリーミング配信される動画であってもよい。ディスプレイ602に表示される2D動画の指定は、仮想空間管理サーバ200により行われ得る。仮想空間管理サーバ200は、当該エリアに対応付けられるIPコンテンツに応じて、ディスプレイ602に表示する2D動画を指定してもよい。バー440の内部に配置される複数のトーキングテーブル600には、同じ2D動画が再生されていてもよい。
【0117】
トーキングテーブル600は、さらに、トーキングテーブル600に関する情報を表示する表示603を含んでいてもよい。例えば、表示603には、トーキングテーブル600の識別番号および現在トーキングルームに入室している人数が表示される。ユーザは、表示603を視認することで、トーキングルームに何人入室できるのか、および現在何人入室しているかを確認することができる。
【0118】
(入室方法)
ユーザは、トーキングテーブル600に近付くことで、スピーカとして参加(入室)するか、オーディエンスとして参加(入室)するかを選択できる。「スピーカとして参加」とは、トーキングルーム内での発言(例えばボイスチャット、テキストチャット)が可能な状態での参加である。オーディエンスとして参加とは、トーキングルーム内での発言は不可能であるがトーキングルーム内の視聴は可能な状態での参加である。
【0119】
仮想空間管理サーバ200は、ユーザアバターがトーキングテーブル600に近付くと、トーキングテーブル600に対応付けられるトーキングルームに入室するか否かをユーザが選択するための入室選択に関する情報をクライアント端末10に送信する。入室選択に関する情報は、ユーザがスピーカまたはオーディエンスのいずれかの形態で入室(参加)できることを示す情報である。クライアント端末10においてユーザが入室(参加)要求の操作を行う際に、ユーザは、スピーカまたはオーディエンスのいずれの形態で参加するかを選択できる。
【0120】
仮想空間処理部121は、仮想空間管理サーバ200から受信した入室選択に関する情報に基づいて、例えばトーキングテーブル600の位置から一定の距離の範囲内にユーザアバターが移動した場合に、トーキングルームにスピーカとして入室するか、オーディエンスとして入室するかをユーザに選択させる選択画面を表示する。なお、オーディエンスとしての参加の可否は、トーキングルーム作成時に設定されてもよい。スピーカまたはオーディエンスでの入室が選択されると、入室要求がクライアント端末10から仮想空間管理サーバ200に送信され、仮想空間管理サーバ200から、トーキングテーブル600に対応する各セッション情報(接続情報)が返信される。クライアント端末10は、受信した各セクション情報に基づいて、トーキングテーブルサーバ307、テキストチャットサーバ304、およびボイスチャットサーバ305等と、通信接続し得る。
【0121】
なお、上記入室選択に関する情報に、トーキングテーブル600に対応する各セッション情報(接続情報)が予め含まれていてもよい。これにより、クライアント端末10は、ユーザによる入室選択の操作に応じて、仮想空間管理サーバ200に対して入室要求を出す一方で、各セクション情報に基づいて、トーキングテーブルサーバ307、テキストチャットサーバ304、およびボイスチャットサーバ305等と、通信接続し得る。
【0122】
また、複数のトーキングテーブル600がある場合、ユーザは、どのトーキングテーブル600に参加すると望ましいコミュニケーションができるかわからない場合もある。そこで、例えば下記のような方法が考え得る。
【0123】
一例として、トーキングテーブル600とユーザアバターの距離に応じてトーキングルーム内の様子を開示するレベルを異ならせる方法が挙げられる。図14は、本実施形態によるトーキングテーブル600との距離に応じてトーキングルーム内の様子が開示される場合について説明する図である。
【0124】
図14に示すように、トーキングテーブル600の位置から第1の距離内(コミュニケーションポイントを中心とする第1の距離内)であるエリアE1(第2のエリア)内にユーザアバターが位置すると仮想空間管理サーバ200が判断する場合、仮想空間管理サーバ200は、クライアント端末10に、トーキングテーブル600のコミュニケーションに関する情報を送信する。トーキングテーブル600のコミュニケーションに関する情報の一例として、トーキングテーブル600に対応付けられるコミュニケーションルーム内の音声情報が挙げられる。これにより、ユーザは、トーキングルームへ入室することなく、トーキングルーム内での会話量および雰囲気等を把握することができる。図14に示す例では、ユーザアバターU4、U5のユーザが、トーキングルーム内の会話が聞こえている状態である。また、仮想空間管理サーバ200は、ユーザアバターが中心(トーキングテーブル600)に近付くほど、トーキングルーム内の会話が聞こえるよう音量を上げるよう、クライアント端末10に対して指示してもよい。
【0125】
一方、図14に示すように、トーキングテーブル600の位置から第1の距離より短い第2の距離内であるエリアE2(第1のエリア)にユーザアバターが位置すると仮想空間管理サーバ200が判断する場合、仮想空間管理サーバ200は、トーキングテーブル600に対応付けられるトーキングルームへの入室選択に関する情報を、クライアント端末に送信する。ユーザは、クライアント端末10において、入室要求の操作を行い得る。この際、ユーザは、スピーカまたはオーディエンスのいずれの形態でトーキングルームに参加(入室)するかを選択し得る(入室選択に関する情報に対するユーザ入力、とも言える)。
【0126】
ユーザがトーキングルームに入室した際、仮想空間管理サーバ200は、トーキングルーム内の会話(例えば、ボイスチャットの情報、テキストチャットの情報)、トーキングルーム内の映像(例えば図18に示すユーザアバターの様子)、トーキングルーム内で共有(視聴)されている映像、またはトーキングルーム内の議題を、クライアント端末10に送信してもよい。議題は、トーキングルーム内でのボイスチャットまたはテキストチャットの解析結果から抽出されてもよい。かかる議題の抽出は、バックエンドシステム30により行われてもよい。また、議題として、後述するトーキングルーム内でピックアップされているトピックウィンドウ542(図18参照)のカテゴリが抽出されてもよい。また、トーキングルーム内の会話、トーキングルーム内の映像(例えば図18に示すユーザアバターの様子)、トーキングルーム内で共有(視聴)している映像、またはトーキングルーム内の議題は、エリアE1に位置するユーザアバターに対応するクライアント端末10に送信されてもよい。
【0127】
図14に示す例では、エリアE2に位置するアバターのうち、ユーザアバターU1およびユーザアバターU2がスピーカとしてトーキングルームに入室し、ユーザアバターU3がオーディエンスとしてトーキングルームに入室している状態を想定する。この際、エリアE1に位置するユーザアバターU4およびユーザアバターU5は、ディスプレイ602の表示内容を視認してトーキングルーム内で行われている会話の話題を把握することができる。また、ユーザアバターU4およびユーザアバターU5を操作する各ユーザのクライアント端末10には、トーキングルーム内におけるコミュニケーションに関する情報(例えばトーキングルーム内の音声情報)が仮想空間管理サーバ200から送信されてもよい。そして、エリアE2に新たに入ったユーザアバターまたはさらにトーキングテーブル600に近付いたユーザアバターを操作するユーザのクライアント端末10において、トーキングルームに入室するか否かの選択画面が提示される。
【0128】
以上のように、本システムでは、仮想空間管理サーバ200によって、トーキングルーム内(コミュニケーションルーム内)の会話対象である「実空間または仮想空間で行われるイベントに関連する情報」を表示する表示オブジェクト(ディスプレイ602)を含む仮想オブジェクト(トーキングテーブル600)が、仮想空間内に配置される。これにより、仮想オブジェクトの周辺に存在するユーザアバターを操作するユーザは、表示オブジェクトの表示内容を視認してトーキングルーム内で行われている会話の話題を把握することができる。
【0129】
また、仮想空間管理サーバ200は、ユーザが操作するユーザアバターの仮想空間内における位置が、ユーザ同士のコミュニケーションが行われるコミュニケーションルームが対応付けられるコミュニケーションポイントであるエリアE2(第1のエリア)に含まれる場合、コミュニケーションルームへの入室選択に関する情報を、当該ユーザが使用する端末(クライアント端末10)に送信する。
【0130】
また、仮想空間管理サーバ200は、ユーザアバターの位置が、エリアE2(第1のエリア)の外側に位置するエリアE1(第2のエリア)に含まれる場合、コミュニケーションに関する情報を、当該ユーザアバターを操作するユーザが使用する端末(クライアント端末10)に送信する。
【0131】
これによりユーザは、仮想空間内でアバターを操作しながら、表示オブジェクト(ディスプレイ602)を視認してトーキングルーム内の話題を把握したり、ユーザが操作するユーザアバターと仮想オブジェクト(トーキングテーブル600)との距離に応じてトーキングルーム内の音声を確認したり、ユーザアバターを一定以上仮想オブジェクトに近付けることで、トーキングルームに参加したりと、トーキングルームに対する関係性を、アバター操作により決定することができる。
【0132】
他の例として、仮想空間処理部121は、ユーザアバターがトーキングテーブル600に対して一定距離以内に近付くと、ユーザの趣味嗜好情報に応じて、トーキングルーム内の様子の開示レベルを変更してもよい。例えば、仮想空間処理部121は、トーキングルーム内の会話(議題)がユーザの趣味嗜好に合う場合、トーキングルーム内の会話を大きい音で再生したり、より詳細な議題をタブ表示605に表示したりしてもよい。一方、トーキングルーム内の会話(議題)がユーザの趣味嗜好に合わない場合、仮想空間処理部121は、トーキングルーム内の会話を小さい音で再生または再生しないようにしたり、議題をタブ表示605に表示しないようしてもよい。
【0133】
また、他の例として、仮想空間処理部121は、ユーザの趣味嗜好に合う議題のトーキングテーブル600をハイライト表示してもよい。また、仮想空間処理部121は、ユーザが今まで会話で言及したことがある議題のトーキングテーブル600をハイライト表示してもよい。
【0134】
また、他の例として、仮想空間処理部121は、ユーザと趣味嗜好が合うと推定される他ユーザが参加しているトーキングテーブル600をハイライト表示してもよい。
【0135】
また、他の例として、仮想空間処理部121は、トーキングルーム内の盛り上がりに応じて、テーブルの下にエフェクトを提示してもよい。図15は、本実施形態によるトーキングルーム内の盛り上がりに応じたトーキングテーブル600のエフェクト表示の一例を示す図である。仮想空間処理部121は、図15に示すように、トーキングテーブル600に含まれるテーブル601の下方に、ライトエフェクトを提示してもよい。仮想空間処理部121は、トーキングルーム内の盛り上がりに応じて、エフェクトの色、点滅、濃度等を制御してもよい。これにより、ユーザは、トーキングルーム内の盛り上がりを把握することができる。
【0136】
また、仮想空間処理部121は、トーキングテーブル600への参加人数(トーキングルームへの入室人数)に応じて、トーキングテーブル600の形状を変化させてもよい。例えば、参加人数が増えるほど、より大きなテーブルに変化させてもよい。
【0137】
また、本システムでは、トーキングルームへの入室制限は特になく、誰でも自由に入室できるようにする。ただし、トーキングルームの入室者が任意に他の参加者を退出させることが可能な機能を設けてもよい。
【0138】
また、本システムでは、トーキングルームのホストは特に設定しなくともよいし、最初に入室したユーザをホストとしてもよい。ユーザからの依頼でトーキングルームが作成された場合、作成者をホストとしてもよい。ホストがトーキングルームへの入室制限を設けてもよいし、トーキングルームへの入室をホストによる許可制にしてもよい。ホストの設定は、トーキングルームを管理するトーキングテーブルサーバ307により行われ得る。また、ホストのみに、上記他の参加者を退出させる権限を与えてもよい。また、ホストの権限は任意に他の参加者に譲渡できるようにしてもよい。
【0139】
また、仮想空間管理サーバ200は、実空間または仮想空間のイベントに関連する情報として、実空間または仮想空間で行われる試合の特定のシーンを、ディスプレイ602に表示してもよい。実空間で行われるイベントに関連する情報は、試合の特定のシーンに限らず、例えば、実空間で行われた音楽ライブの特定のシーンのように、何らかのイベントの特定のシーンであればよい。仮想空間で行われるイベントの場合、仮想空間内で行われる音楽ライブやeスポーツ大会などのイベントの特定のシーンであってもよい。
【0140】
イベントの特定のシーンは、例えば、実空間の試合のハイライト映像であってもよい。仮想空間管理サーバ200は、実空間のイベントに関連する情報として、実空間で行われた試合のハイライト映像をディスプレイ602(表示オブジェクト)に表示するよう制御してもよい。試合のハイライト映像として、例えば、ゴールシーンやファウルシーンなどが想定される。また、イベントの特定のシーンは、仮想空間で行われるイベントのハイライト映像であってもよい。
【0141】
また、仮想空間管理サーバ200は、ディスプレイ602(表示オブジェクト)に表示させる「実空間のイベントに関連する情報」を、イベントにおける特定のユーザグループが応援するチームに関する情報のみとしてもよい。例えば、特定チームによる試合のハイライト映像が挙げられる。これにより、ユーザは、当該ディスプレイ602を含むトーキングテーブル600に対応付けられるトーキングルーム内で、どのチームについてのコミュニケーションが行われるかを入室前に把握することができる。本システムでは、例えば特定のチームに関する情報のみディスプレイ602に表示させることで、トーキングルームに特定のチームのファンが集まるようにすることができる。
【0142】
また、仮想空間管理サーバ200は、トーキングテーブル600に近付いたユーザアバターを操作するユーザのうち、イベントにおける特定のユーザグループに所属するユーザのみに、トーキングルームへの入室選択に関する情報を送信するようにしてもよい。これにより、本システムでは、トーキングルームに入室できるユーザグループに制限をかけることができる。
【0143】
(動作処理)
図16は、本実施形態によるトーキングテーブル600の生成から入室までの動作処理の一例を示すシーケンス図である。
【0144】
図16に示すように、まず、トーキングテーブルサーバ307は、仮想空間管理サーバ200からのトーキングルームの生成依頼(ステップS203)に応じて、トーキングルームを生成する(ステップS206)。そして、トーキングテーブルサーバ307は、生成したトーキングルームへのセッション情報を仮想空間管理サーバ200に送信する(ステップS209)。仮想空間管理サーバ200は、仮想空間内に設定したコミュニケーションポイントに、当該セッション情報を対応付ける。なお、ここでは一例として、仮想空間管理サーバ200からの生成依頼について説明するが、本開示はこれに限定されず、クライアント端末10から生成依頼が行われてもよい。この場合、トーキングテーブルサーバ307は、生成したトーキングルームへのセッション情報をクライアント端末10に送信する。クライアント端末10は、仮想空間内に設定したコミュニケーションポイントに、当該セッション情報を対応付ける。また、クライアント端末10は、仮想空間内に設定したコミュニケーションポイントおよび当該セッション情報を、仮想空間管理サーバ200に送信し、他ユーザと共有する。
【0145】
次に、仮想空間管理サーバ200は、テキストチャットルームの生成依頼をテキストチャットサーバ304に送信する(ステップS212)。テキストチャットサーバ304は、テキストチャットルームを生成し(ステップS215)、当該テキストチャットルームへのセッション情報を仮想空間管理サーバ200に送信する(ステップS218)。
【0146】
次いで、仮想空間管理サーバ200は、ボイスチャットルームの生成依頼をボイスチャットサーバ305に送信する(ステップS221)。ボイスチャットサーバ305は、ボイスチャットルームを生成し(ステップS224)、当該ボイスチャットルームへのセッション情報を仮想空間管理サーバ200に送信する(ステップS227)。
【0147】
次に、仮想空間管理サーバ200は、各セッション情報を保存する(ステップS230)。
【0148】
次いで、クライアント端末10は、ユーザアバターがトーキングテーブル600の近く(トーキングテーブル600から一定の距離内)に移動し、ユーザ操作によりトーキングルームへの入室(および入室の形態)が選択されると(入室選択に関する情報に対するユーザ入力が行われると)、入室要求を仮想空間管理サーバ200に送信する(ステップS233)。なお、ユーザアバターがトーキングテーブル600の近くに移動した時点で、仮想空間管理サーバ200から、コミュニケーションルームへの入室選択に関する情報がクライアント端末10に送信されてもよい。クライアント端末10は、当該入室選択に関する情報に基づいて、入室選択画面を表示してもよい。
【0149】
次に、仮想空間管理サーバ200は、クライアント端末10からの入室要求の受信によりユーザの入室意思を認識し(ステップS236)、トーキングテーブル600に対応する各セッション情報(接続情報)をクライアント端末10に送信する(ステップS239)。また、仮想空間管理サーバ200は、ユーザがトーキングルームに入室した際には、トーキングルーム画面(コミュニケーションルーム画面の一例)に遷移するようクライアント端末10を制御してもよい。
【0150】
なお、ここでは一例としてユーザが入室を選択した場合に仮想空間管理サーバ200に対して入室要求を送信する旨を説明するが、本開示はこれに限定されない。上述したように、クライアント端末10は、ユーザアバターのトーキングテーブル600との距離等に応じてトーキングルーム内の様子を開示する制御を行う場合、ユーザの入室の意思を得る前に、仮想空間管理サーバ200に対して各セッション情報の送信を要求してもよい。また、クライアント端末10は、ユーザの位置(ユーザアバターの位置)を継続的に仮想空間管理サーバ200に送信しているため、仮想空間管理サーバ200は、トーキングテーブル600(コミュニケーションポイント)から一定の距離内にユーザアバターが位置した場合に、入室意思有りと認識して、各セッション情報をクライアント端末10に送信してもよい。若しくは、仮想空間管理サーバ200は、クライアント端末10に送信する上記入室選択に関する情報に、トーキングテーブル600に対応する各セッション情報を含めてもよい。クライアント端末10では、仮想空間管理サーバ200から各セッション情報を受信した後に、入室するか否かをユーザに選択させてもよい。これにより、クライアント端末10は、トーキングルームへの入室意思をユーザから得る前にトーキングテーブル600とユーザアバターとの距離等に応じてトーキングルーム内の様子を開示する制御を行い得る。
【0151】
そして、クライアント端末10は、トーキングルーム画面を表示し、また、各セッション情報に基づいて各サーバとの通信接続を開始する(ステップS242)。各サーバとの通信接続の詳細については、図17を参照して次に説明する。
【0152】
図17は、本実施形態によるトーキングルーム入室時におけるクライアント端末10と各サーバとの通信接続の詳細について説明する図である。図17に示すように、トーキングルームに入室した各クライアント端末10は、トーキングテーブルサーバ307と双方向通信を行い、入室ユーザ情報を取得する。入室ユーザ情報には、入室ユーザのユーザID、ユーザ名、およびユーザアバターの情報等が含まれる。
【0153】
各クライアント端末10は、テキストチャットサーバ304と双方向通信を行い、テキストチャットを送受信する。これにより、トーキングルーム内でテキストチャットが行われ得る。
【0154】
各クライアント端末10は、ボイスチャットサーバ305と双方向通信を行い、ボイスチャットを送受信する。これにより、トーキングルーム内でボイスチャットが行われ得る。
【0155】
各クライアント端末10は、仮想空間管理サーバ200aと双方向通信を行い、エモートおよびスタンプ等をリアルタイムで送受信する。これにより、トーキングルーム内に表示される各ユーザアバターのエモートおよびスタンプがリアルタイムで制御される。
【0156】
各クライアント端末10は、コンテンツ配信サーバ306と通信接続し、コンテンツ(動画等)のストリーミング配信を受信する。これにより、トーキングルーム内でコンテンツ(動画等)を視聴できる。なお、コンテンツの指定情報は、トーキングテーブルサーバ307または仮想空間管理サーバ200aから受信され得る。コンテンツは、トーキングテーブルサーバ307または仮想空間管理サーバ200aにより設定されてもよいし、入室ユーザが設定してもよい。
【0157】
(トーキングルーム画面例)
図18は、本実施形態によるトーキングルーム画面の一例を示す図である。クライアント端末10の仮想空間処理部121は、ユーザがトーキングテーブルに参加(すなわち、トーキングルームに入室)すると、図14に示すような表示画面から、図18に示すようなトーキングルーム画面540に画面遷移させる。
【0158】
トーキングルーム画面540では、入室しているユーザアバターが横並びで表示される。また、各種操作ボタン(スタンプアイコン546、エモートアイコン547、定型スタンプアイコン548、テキスト入力ボタン549、マイクONOFFボタン550、メニューボタン541)と、トピックウィンドウ542が表示される。
【0159】
各ユーザアバターの頭上には、入力されたテキストを表示する吹き出し画像544、およびユーザに選択されたスタンプ画像545が表示され得る。仮想空間処理部121は、吹き出し画像544およびスタンプ画像545を数秒だけ表示し、ログは見られないようにしてもよい。また、各ユーザアバターは、ユーザに選択されたエモートに応じて表情、ポーズまたはジェスチャー等(拍手、万歳、挨拶、ガッツポーズ、落胆のジェスチャー等)が制御される。
【0160】
トピックウィンドウ542は、トーキングルーム内で視聴されるコンテンツを表示する仮想オブジェクトである。トピックウィンドウ542は複数あってもよい。各ユーザは、複数のトピックウィンドウ542a~542cをスライドしてピックアップするコンテンツを選択し得る。トーキングルーム内では、ピックアップされたトピックウィンドウ542(例えば真ん中に位置するウィンドウ)の再生が開始される。なお、ピックアップする権利(チャンネル権)は、入室ユーザ全員に与えられ得る。
【0161】
トピックウィンドウ542に表示されるコンテンツのカテゴリは、例えば、IPコンテンツ(ここでは、特定のサッカーチーム)に関連するニュース(直近3日間のPV(ページビュー)トップ5等)、IPコンテンツに関連する動画のうち反響のあった映像(視聴回数が多い動画、ユーザが盛り上がった動画等)、直近の試合のハイライト映像、対戦経歴等が想定される。また、トピックウィンドウ542に、入室ユーザがプライベートの写真およびビデオを表示させたり、ユーザのローカル画面を共有させたりすることも可能である。また、トピックウィンドウ542に表示されるコンテンツのカテゴリは、トーキングテーブル600が設置されている場所や、現在時刻に応じて、仮想空間管理サーバ200またはトーキングテーブルサーバ307により決定されてもよい。
【0162】
図19は、本実施形態によるトーキングルーム画面の他の例を示す図である。図19のトーキングルーム画面560のように、ピックアップしたトピックウィンドウ561のみを大きく表示したり、テキストチャットウィンドウ562を表示してもよい。テキストチャットウィンドウ562の表示ONOFF切替は、表示切替ボタン564へのタップ操作により行われ得る。また、トーキングルーム内でのマイクのONOFF切替は、ボイス切替ボタン565へのタップ操作により行われ得る。
【0163】
以上、トーキングルーム画面例について説明したが、本開示によるトーキングルーム画面は図面に示す例に限定されない。
【0164】
<5-3.イベント連動>
続いて、イベント連動サーバ308と連携して行われる、実空間で行われるイベントの展開に応じた、仮想空間での演出(仮想イベントを含む)の制御について説明する。実空間で行われるイベントの配信映像は、仮想空間に配置されてもよい。また、ユーザは、実空間で行われるイベントの配信映像を、テレビ、または仮想空間が表示されるウィンドウとは別のウィンドウ等、仮想空間外で視聴してもよい。また、仮想空間での演出は、実空間で行われるイベントの展開と、複数ユーザのリアクションとに応じて、決定される。
【0165】
図20は、本実施形態によるイベント連動の仕組みについて説明する図である。図20に示す例では、所定の事象として、実空間においてリアルタイムで行われているサッカーの試合を想定して説明する。
【0166】
まず、バックエンドシステム30のイベント連動サーバ308は、リアルタイムの試合データを随時取得し、試合展開を解析する。また、イベント連動サーバ308は、試合展開として試合前、試合中、および試合後のいずれにおける試合展開であるかを特定する。例えば、イベント連動サーバ308は、試合展開をテキストでライブストリーミングしているサービスから、試合データとして試合展開のテキストを取得し、特定のワードを自動抽出してもよい。試合展開をテキストで生配信しているサービスとしては、例えば、試合中継の解説者のコメント(音声)をテキスト化して配信しているサービスが挙げられる。自動抽出する特定のワードとは、例えば、「フリーキック」、「ファウル」、「シュートが外れた」、「シュートが止められた」、「コーナー」、「敵のフリーキック」、「◇◇(敵チーム)のゴール」、「ハーフタイム開始」、「選手交代」、「後半開始」、「イエローカード」、「オフサイド」、「○○(味方チーム)のゴール」、「試合終了」等が挙げられる。試合展開のテキストは、各チームの公式サイトで独自に配信されている場合もある。
【0167】
試合展開の解析は、上述した例に限定されず、例えばイベント連動サーバ308は、試合の中継映像をリアルタイムで画像認識し、プレイを判別してもよい。
【0168】
次いで、仮想空間管理サーバ200aは、イベント連動サーバ308から随時取得する試合展開の解析結果と、複数ユーザのリアクションとに応じて、対応する所定の演出を指定し、仮想空間内で当該演出を即時行うよう、各クライアント端末10に指示する。本実施形態では、一例として、実空間で行われている試合の展開に応じた演出がスタジアム430においてリアルタイムで行われ得る。これにより、本システムでは、仮想空間内に存在するスタジアム430に集まったユーザは、試合展開と複数ユーザのリアクションとに応じた、スタジアム430内での演出を他ユーザと体験することで、仮想空間内での試合観戦を盛り上がることができる。なお、仮想空間管理サーバ200aは、実空間で行われる試合の配信映像を、バックエンドシステム30(例えばコンテンツ配信サーバ306)から取得して各クライアント端末10に送信し、仮想空間内(具体的には、スタジアム430内)に配置するよう指示してもよい。また、各クライアント端末10が、仮想空間管理サーバ200aに指定された試合の配信映像を、コンテンツ配信サーバ306から取得してもよい。ユーザは、テレビ装置またはPC等の外部装置で試合の生中継を視聴しながら、スマートフォンまたはタブレット端末等のクライアント端末10で起動するクライアントアプリにより、仮想空間におけるユーザ視点でスタジアム430での演出を視聴してもよい。クライアント端末10は、表示部150に表示される一のウィンドウに試合の生中継を表示する一方、表示部150に表示される他のウィンドウに仮想空間の映像(スタジアム430での演出の様子)を表示してもよい。
【0169】
また、仮想空間管理サーバ200aは、各クライアント端末10からユーザのリアクションを取得し、その内容に基づいて試合展開を推定し、対応する演出を決定する。ユーザのリアクションには、ユーザ操作の情報(スタンプ、エモートの実行数、および種類等)が挙げられる。また、ユーザのリアクションは、ボイスチャットの送信数、内容、頻度、および音声ボリュームといった情報であってもよい。また、ユーザのリアクションは、テキストチャットの送信数、内容、および頻度といった情報であってもよい。仮想空間管理サーバ200aは、ボイスチャットまたはテキストチャットの送信数等から試合展開を推定することも可能である。なお、ユーザのリアクションに基づく試合展開の推定は、イベント連動サーバ308で行われてもよい。
【0170】
試合展開に対応する演出としては、例えば、試合前であればフィールドに配置されたステージ上にDJを登場させて音楽で会場を盛り上げる演出、フィールドに配置された大型ディスプレイに試合前のチームの練習または移動中の映像の表示、試合会場に登場するシーンの中継映像の表示が挙げられる。また、フィールドに配置された大型ディスプレイを用いてスターティングメンバー発表演出が行われてもよい。
【0171】
また、試合開始時には、キックオフ演出、試合中には、自チーム選手または相手チーム選手のファウル演出、失点演出(チームキャラクターのアバターを登場させて励ます演出等)、得点演出(音楽を流し、花火打ち上げ、紙吹雪および風船を出現させ、喜ぶチームキャラクターのアバター等による喜びの演出)、ハーフタイムの抽選イベント演出(プレゼントを降らせる)、注目選手のプロフィール表示演出(フィールドに配置された大型ディスプレイに表示)、自チーム選手または相手チーム選手のイエローカード演出、自チーム選手または相手チーム選手のオフサイド演出が挙げられる。また、試合終了時には、試合終了演出、試合後には、勝利演出(DJを登場させて音楽で会場を盛り上げる演出等)、または敗北演出が挙げられる。
【0172】
また、仮想空間管理サーバ200aは、ユーザのリアクションが一定数を超えた時に、試合の展開と、複数ユーザのリアクションとに応じて、対応する演出を実行してもよい。例えば、仮想空間管理サーバ200aは、多くのユーザ(一定数または一定割合を超えるユーザ)が「GO」スタンプを押しているとき、応援演出として、フィールドに配置したNPC(Non Player Character)にも応援エモートを実行させる演出や、応援用の音楽を再生する演出を実行する。また、仮想空間管理サーバ200aは、ユーザのリアクションの多さを盛り上がりとし、盛り上がりの大きさに応じて、フィールドに飛ばす風船の大きさや数を多くしてもよい。また、仮想空間管理サーバ200aは、ユーザの盛り上がりに応じて、フィールドで再生する応援用音楽のボリュームを大きくしてもよい。また、仮想空間管理サーバ200aは、ユーザの盛り上がりが続いている場合、応援演出の長さを既定の時間より延長してもよい。また、仮想空間管理サーバ200aは、ユーザのリアクションの中でも最も量が多いリアクションに基づいて、演出を決定してもよい。
【0173】
仮想空間管理サーバ200aは、ユーザのリアクションとして仮想空間管理サーバ200aが管理している仮想空間に存在するユーザアバターを操作するユーザのリアクションを取得してもよい。かかるユーザのリアクションは、例えば、ユーザ操作の情報(スタンプ、エモートの実行数、および種類等)である。また、ユーザのリアクションは、ボイスチャットの送信数、内容、頻度、および音声ボリュームといった情報であってもよい。また、ユーザのリアクションは、テキストチャットの送信数、内容、および頻度といった情報であってもよい。
【0174】
また、仮想空間管理サーバ200aは、ユーザのリアクションとして、仮想空間管理サーバ200aが対象としている試合と同じ試合を対象として試合展開に応じた演出を行っている他の仮想空間管理サーバが管理する他の仮想空間に存在するユーザアバターを操作するユーザのリアクションをさらに取得してもよい。かかるユーザのリアクションも、ユーザ操作の情報、ボイスチャットの情報、またはテキストチャットの情報であってもよい。なお、仮想空間管理サーバ200aが試合の配信映像をクライアント端末10aに送信している場合、仮想空間管理サーバ200aは、同じ配信映像を送信している他の仮想空間管理サーバが管理する他の仮想空間に存在するユーザアバターを操作するユーザのリアクションをさらに取得してもよい。
【0175】
また、ユーザのリアクションは、ユーザアバターを操作するユーザのリアクションに限られず、実空間において試合を現地で観戦している観客のリアクション、または、テレビ等で試合を視聴している視聴者のリアクションであってもよい。かかるリアクションは、例えば、表情、動き、または歓声等であってもよい。また、かかるリアクションは、カメラ、加速度センサ、またはマイクロホン等の各種センサによりセンシングされる。仮想空間管理サーバ200aは、観客のリアクション、または視聴者のリアクションの情報を、リアルタイムで適宜取得し得る。
【0176】
また、仮想空間管理サーバ200aは、試合の展開と複数ユーザのリアクションとに応じて決定する演出として、仮想空間内に存在するアバターのエモートを決定してもよい。例えば、仮想空間管理サーバ200aは、試合展開として試合中であることを特定し、さらに、「GO」スタンプ選択のような試合を勢い付かせる応援を多くのユーザが行っていることを特定した場合、仮想空間に存在する複数のアバターに、タオルを振り回して応援する等のエモートを反映させる。この際、仮想空間管理サーバ200aは、仮想空間内の無操作状態のアバターに対してエモートを反映させてもよいし、NPCにエモートを反映させてもよいし、アバター全員に反映させてもよい。また、仮想空間管理サーバ200aは、無操作状態の全アバターと全NPCに反映させてもよいし、無操作状態の一部アバターと一部NPCに反映させてもよい。
【0177】
(イベント連動の具体例)
試合展開には、大きく、試合前、試合中(前半)、ハーフタイム、試合中(後半)、および試合後がある。以下、試合展開の大きな流れにおける各演出の具体例について順次説明する。
【0178】
・試合前
試合45分前になると、ライブスタジアム(スタジアム430において、実空間のリアルタイムの試合の展開に応じて行われる演出イベント。本実施形態では「ライブスタジアム」とも称する。)の開始が、各ユーザアバターに通知される。エリアにいるユーザアバターはスタジアム430に移動する。
【0179】
スタジアム430に入り、他のユーザアバター(フレンド登録している他ユーザ)と合流し、ユーザは、例えばグループチャットでフレンドと話しながら試合開始を待つ。
【0180】
スタジアム430のフィールドに配置されたステージにはDJが登場し、音楽で会場を盛り上げる演出が実行される。また、ステージの上方には、大型ディスプレイが配置されていてもよい。大型ディスプレイには、チームの試合前の練習映像、またはチームバス到着の様子の映像が表示される。図21は、本実施形態によるライブスタジアムにおける表示画面の一例を示す図である。図21に示すように、表示画面710には、仮想空間のスタジアム内のフィールド(ピッチ)に配置される大型ディスプレイ711には、スタメン情報および試合前のチームの様子の映像等が表示される。
【0181】
また、フィールドでは、スタメン発表の演出、およびステージ上にスタメン選手のアバターを登場させる演出が行われてもよい。フィールドに集まっているユーザは、さらに盛り上がる。次いで、実空間での試合会場に選手が入場する際、大型ディスプレイ711に、試合会場に入場する選手の中継が表示され、フィールドに集まっているユーザの盛り上がりは最高潮となる。
【0182】
・試合中
試合中は、大型ディスプレイ711には、試合状況、フィールドに集まっているユーザのリアクションに合わせた演出、またはユーザにリアクションを促す演出が表示される。図22は、本実施形態によるライブスタジアムにおける表示画面の一例を示す図である。図22に示す表示画面720では、大型ディスプレイ711の表示ウィンドウ721、722と、テキストチャットウィンドウ723が前面に表示されている。このような表示の切り替えは、ユーザ操作により適宜行われ得る。ユーザは、テキストチャットウィンドウ723を用いて、エリア内にいる他ユーザとテキストチャットできる。また、ユーザは、フレンド登録した他ユーザと生成したグループメンバーでボイスチャットを行うことも可能である。これらのテキストチャット、およびボイスチャットは、バックエンドシステム30を用いて行われ得る。
【0183】
表示ウィンドウ721には、仮想空間のフィールドに配置されたステージ上に登場して会場を盛り上げているチームキャラクターのアバターの映像が表示されている。また、表示ウィンドウ722には、フィールドにいる大多数のユーザが選択した応援スタンプと同じ応援スタンプが表示されたり、ユーザに選択を促す応援スタンプが表示されたりする。かかる演出により、ユーザに一体感を持たせ、会場を盛り上げることができる。仮想空間処理部121は、仮想空間管理サーバ200からの演出指示に応じて、適宜音楽や音声を再生してもよい。応援スタンプには、例えば、NICE、BOO、GOAL等がある。
【0184】
図23は、本実施形態によるライブスタジアムにおける表示画面の一例を示す図である。図23に示す表示画面730では、失点演出の一例が示される。敵チームにゴールされた場合、例えばチームキャラクターが落胆のポーズを取る演出が実施される。また、ユーザが、「OMG」の応援スタンプボタン450をタップすると、ユーザアバターUの頭上に、「OMG」の応援スタンプが表示される。多くのユーザが「OMG」の応援スタンプを選択している場合、大型ディスプレイ731には、OMG!の応援スタンプが表示される演出が実施される。
【0185】
また、ユーザは、チームキャラクターと同じ応援エモートをユーザアバターUに行わせることも可能である。図24は、本実施形態によるライブスタジアムにおける表示画面の一例を示す図である。図24に示すように、表示画面740に示すSNYC(Synchronization)の応援ボタン742が選択されると、仮想空間処理部121は、チームキャラクター741と同じ応援エモートをユーザアバターUに行わせる。これにより、会場にいるユーザがチームキャラクターおよび他ユーザと一体となって応援エモートを行うことができる。
【0186】
ハーフタイムに入ると、例えば抽選イベントの演出が行われる。図25は、本実施形態によるライブスタジアムにおける表示画面の一例を示す図である。図25の表示画面750に示すように、例えば空から多数の箱が降ってきて、ユーザがユーザアバターUを操作して拾うと、抽選でサインボールまたはユニフォーム等のプレゼントが当たる。
【0187】
試合中に、味方チームのゴールが決まると、得点演出が行われる。得点演出では、例えば、音楽が流れたり、花火が打ちあがったり、紙吹雪および風船が降ってきたり、チームキャラクターが踊ったりする。図26は、本実施形態によるライブスタジアムにおける表示画面の一例を示す図である。図26の表示画面760に示すように、フィールド上では、花火が打ちあがったり、紙吹雪が降ったりする演出が行われる。また、大型ディスプレイ761では、得点を決めた選手の情報、相手チームの選手の情報、点数、応援スタンプ、およびチームキャラクターの映像等が表示される。また、ステージ上には、得点を決めた選手の巨大アバター762を登場させる演出も行われ得る。このようにして、チームに点が入った時に会場を盛り上げる演出が行われる。
【0188】
なお、フィールドの周囲の観客席およびフィールド上には、NPCが配置され、適宜、仮想空間処理部121により演出エモートが実行されてもよい。例えば、仮想空間処理部121は、味方選手が攻めている、シュート、フリーキックする際には、NPCに応援エモートを実行する。また、仮想空間処理部121は、味方選手がゴールしたときには、NPCに喜びエモートを実行する。また、仮想空間処理部121は、敵選手がファウルしたときには、NPCにブーイングエモートを実行する。また、仮想空間処理部121は、敵選手がゴールしたときには、NPCに落胆エモートを実行する。
【0189】
また、仮想空間管理サーバ200は、仮想空間の盛り上がりを演出するため、無操作状態のユーザアバターに全体の演出に合わせて自動でエモートまたはスタンプ等の演出を実行させる指示を、各クライアント端末10に対して行ってもよい。
【0190】
・試合後
試合が終わると、終了時演出が実行される。味方チームが試合に勝った場合は、勝利演出(DJの再登場等)により会場をさらに盛り上げてもよいし、負けた場合、選手を称える演出が行われても良い。また、フィールドの大型ディスプレイには、試合後の監督および選手のインタビュー映像が表示されてもよい。また、ステージ上にチームキャラクターを登場させ、勝利のエモートを行わせたり、チームの応援歌を流したりしてもよい。
【0191】
その後、各ユーザは、図10および図12を参照して説明したバー440のようなファン同士が交流できる場所に移動し、トーキングテーブル600を利用して今日の試合について語り合ってもよい。トーキングテーブル600内では、今日の試合映像が共有されてもよい。
【0192】
以上、試合展開に応じた具体的な演出について説明した。なお、本開示による演出は、上述した具体例に限定されず、様々な演出が考え得る。また、ここでは一例として試合展開に応じた演出としたが、これに限られず、例えば、実空間で行われている音楽のライブコンサート、講演会、発表会等の展開に応じた演出であってもよい。
【0193】
<5-4.試合再現UI>
続いて、実空間で行われた試合のトラッキングデータを用いて仮想空間で試合を再現する際のUIについて説明する。図11を参照して上述したように、クライアント端末10は、コンテンツ配信サーバ306から受信した試合コンテンツデータに基づいて、仮想空間のスタジアム430(図10参照)に各選手オブジェクトおよびボールを配置し、試合中にトラッキングされた各選手のボーンデータに従って各選手オブジェクトを動かし、また、ボールのトラッキングデータに基づいて仮想のボールを動かすことで試合を再現する。
【0194】
(カメラ位置について)
クライアント端末10は、再現した試合を表示部150に表示する際、多数のカメラ位置のうち任意のカメラ位置からの映像を表示し得る。任意のカメラ位置はユーザにより選択されてもよいし、クライアント端末10により自動で選択してもよい。
【0195】
図27は、本実施形態によるカメラ位置の一例について説明する図である。図27に示すように、例えば、カメラ位置810、カメラ位置811、カメラ位置812、およびカメラ位置813が挙げられる。
【0196】
カメラ位置810:Basicでは、ゴールとボールを結んだ延長線上に仮想カメラCが配置される。追随する。カメラ位置811:Bird’s eyeでは、ボールの上空後方で広く画角が取れる位置に仮想カメラCが配置される。これらのカメラ位置およびカメラの向きは、ユーザにより操作できるようにしてもよい。
【0197】
上述した各カメラ位置は、選手を俯瞰して見る位置であるが、これに限定されず、クライアント端末10は、特定の選手の位置(視点)をカメラ位置とし、選手の主観映像を提供してもよい。例えば、図27下段に示すようにカメラ位置812:GKでは、ゴールキーパーの視点をカメラ位置とし、ゴールキーパーから見える景色が提供される。また、カメラ位置813:Shooterでは、各シーン(チャプターとも称する)の最後にシュートを打つ選手の視点をカメラ位置とし、当該選手から見える景色が提供される。
【0198】
図28は、図27に示すカメラ位置810:Basicの場合の試合再現UIを示す図である。図28に示すように、試合再現UI820では、ゴールとボールを結んだ延長線上に配置された仮想カメラCにより取得した映像が表示される。なお、図28に示す試合再現UI820の画面概要については後述する。
【0199】
図29は、図27に示すカメラ位置811:Bird’s eyeの場合の試合再現UIを示す図である。図29に示すように、試合再現UI830では、ボールの上空後方で広く画角が取れる位置に配置された仮想カメラCにより取得した映像が表示される。なお、図29に示す試合再現UI830の画面概要は図28に示す試合再現UI820に共通する。
【0200】
(試合再現UIの画面概要について) 図28を参照して、試合再現UI820の画面概要について説明する。図28に示すように、試合再現UI820には、例えば、退出アイコン821、通知アイコン822、アングル変更可能ラベル823、カメラ位置切り替えアイコン824、アバターモード切り替えアイコン825、ハイライトラベル826、試合経過情報表示827、および表示切り替えアイコン828が表示される。なお、各表示の配置および形状は、図28に示す例に限定されない。
【0201】
退出アイコン821は、本実施形態による各選手のトラッキングデータ(具体的にはボーンデータ)等に基づく選手オブジェクトの表示制御による試合再現モードを終了するための操作ボタンである。本実施形態による試合再現モードは、一試合のトラッキングデータのうち1以上の特定のシーンのトラッキングデータを用いて再現を行うハイライト再現であってもよい。仮想空間のスタジアム430で行われる、このようなハイライト再現による試合再現モードを、本明細書では、「ハイライトスタジアム」とも称する。
【0202】
通知アイコン822は、ユーザへの通知の有無を示す。例えば、通知アイコン822に通知数を示す表示が表示され、通知アイコン822がタップされると、通知一覧がポップアップ表示される。
【0203】
アングル変更可能ラベル823は、カメラアングルをユーザが任意に操作可能か否かを示す表示である。例えば、図27に示すカメラ位置810:Basic、およびカメラ位置810:Basicの場合、カメラアングル(すなわち視線方向)はユーザ操作可能に設定される。一方、図27に示すカメラ位置812:GK、およびカメラ位置813:Shooterの場合、カメラアングルはユーザ操作不可能に設定される。ユーザ操作可能な場合、ユーザは、画面の任意の場所を1本の指等で上下左右にドラッグまたはフリックすることで、カメラアングルを上下左右の方向に変更し得る。
【0204】
カメラ位置切り替えアイコン824は、図27を参照して説明した多数のカメラ位置の切り替えを行うための操作ボタンである。例えば、ユーザは、カメラ位置切り替えアイコン824に含まれる、Basic、Bird’s eye、GK、およびShooterのアイコンのうち任意のアイコンをタップすることで、試合再現UI820の映像を、タップしたアイコンに対応するカメラ位置の映像に切り替えることができる。
【0205】
アバターモード切り替えアイコン825は、試合再現の視聴モードをアバターモードに変更するための操作ボタンである。本実施形態による視聴モードには、例えば、Viewモードおよびアバターモードがある。アバターモード切り替えアイコン825が選択されていない場合、デフォルトとしてViewモードで表示される。Viewモードの場合、図28および図29に示すように、ユーザアバターは表示されない。アバターモードの場合、ユーザアバターがフィールド内に表示され、ユーザはユーザアバターを操作して自由視点で試合を視聴できる。アバターモードの表示例については、図32を参照して後述する。
【0206】
ハイライトラベル826は、仮想空間のスタジアム430(図10参照)でユーザが現在利用している機能が、ハイライトスタジアム(ハイライト再現の試合再現モード)であることを示す表示である。なお、本実施形態による仮想空間のスタジアム430では、図20図26を参照して説明した、実空間のリアルタイムの試合の展開に応じて行われる演出イベント「ライブスタジアム」の機能も利用できる。この場合、画面には例えば「LIVE VIEW」と示すラベルが表示される。
【0207】
試合経過情報表示827は、再現している試合の得点、対戦相手、および経過時間等を示す表示である。
【0208】
表示切り替えアイコン828は、再生インジケータ表示の切り替えを行うための操作ボタンである。表示切り替えアイコン828がタップされる度に、再生インジケータの表示ONと表示OFFが切り替えられる。再生インジケータの表示例について、図30を参照して説明する。
【0209】
図30は、本実施形態による再生インジケータの表示例を示す図である。図30に示す試合再現UI830では、表示切り替えアイコン828がタップされたことにより、画面下部に、再生インジケータ840が表示されている。なお、再生インジケータ840の表示位置は特に限定しない。再生インジケータ840は、シークバー841、5秒戻しボタン842、前チャプタージャンプボタン843、再生および停止ボタン844、スロー再生ボタン845、次チャプタージャンプボタン846、5秒送りボタン847、およびチャプターリスト表示ボタン848を含む。
【0210】
シークバー841は、再現試合の再生位置を示す。また、本実施形態で再現される試合は、1以上の特定のシーン(以下、チャプター、とも称する)の集合体から成る。このため、シークバー841は、図30に示すように、チャプター毎に切れ目が示されていてもよい。
【0211】
チャプターリスト表示ボタン848がタップされた際、チャプターリストが表示される。図31は、本実施形態によるチャプターリストの表示例を示す図である。図31に示す試合再現UI850には、チャプターリスト852が表示されている。チャプターリスト852は、本実施形態で再現される試合における、1以上の特定のシーン(チャプター)のリストを含む。ユーザは、いずれかのチャプターを選択することで、試合再現UI850で表示されている試合映像の再生時間を、選択したチャプターの再生開始時間にジャンプさせることができる。
【0212】
(アバターモード)
続いて、アバターモード切り替えアイコン825がタップされた際に実行されるアバターモードについて図32を参照して説明する。図32は、本実施形態によるアバターモードの場合の試合再現UIの表示例を示す図である。
【0213】
図32に示すように、アバターモードの試合再現UI860には、ユーザアバターUが表示される。ユーザは、コントローラ521またはジャンプアイコン522を操作し、ユーザアバターUをフィールド内で動かすことができる。この際、カメラ位置(すなわちユーザ視点)は、ユーザアバターUを画角に含む位置となり、ユーザアバターUの動きに追随する。また、アバターモードの場合、カメラアングルはユーザが任意に操作可能であるため、図32に示すように、アングル変更可能ラベル823の表示態様が変化する。
【0214】
なお、ユーザアバターUと、選手オブジェクトおよびボール等のフィールド内の仮想オブジェクトとの当たり判定は行われない。クライアント端末10は、アバターモードの場合は、一時停止または早送り等のシーンコントロールが行えないようにしてもよい。
【0215】
(ハイライト再生)
続いて、クライアント端末10による試合の1以上の特定シーン(チャプター)を再生するハイライト再生について、図33を参照して説明する。図33は、本実施形態による試合のハイライト再生について説明する図である。
【0216】
クライアント端末10は、まず、一試合における各チャプターのInおよびOut点情報を取得する。InおよびOut点情報は、例えば、コンテンツ配信サーバ306から配信される試合コンテンツデータに含まれる。各シーンのInおよびOut点情報は、予め試合データサーバ50において試合状況から自動的に設定されてもよい。
【0217】
次いで、クライアント端末10は、試合コンテンツデータに含まれる選手およびボールのトラッキングデータのうち、シーン1のIn点を探索して再生(選手オブジェクトを動かすことによる試合再現)を開始し、シーン1のOut点まで再生を行った後に、次のシーン(シーン2)のIn点を探索して次のシーンの再生を開始する。そして、クライアント端末10は、一試合の中で設定された全てのシーン(図33に示す例ではシーン1~シーン4)を再生するまで同上のステップを繰り返す。
【0218】
<<6.補足>>
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【0219】
上述したクライアント端末10または仮想空間管理サーバ200に内蔵されるCPU、ROM、およびRAM等のハードウェアに、クライアント端末10または仮想空間管理サーバ200の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させたコンピュータ読み取り可能な記憶媒体も提供される。
【0220】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【0221】
なお、本技術は以下のような構成も取ることができる。
(1)
仮想空間内に、コミュニケーションルーム内の会話対象である実空間または仮想空間で行われるイベントに関連する情報を表示する表示オブジェクトを含む仮想オブジェクトを配置する制御と、
ユーザが操作するアバターの前記仮想空間内における位置が、ユーザ同士のコミュニケーションが行われる前記コミュニケーションルームが対応付けられるコミュニケーションポイントである第1のエリアに含まれる場合は、前記コミュニケーションルームへの入室選択に関する情報を前記ユーザが使用する端末に送信する制御と、
前記アバターの前記仮想空間内における位置が、前記第1のエリアの外側に位置する第2のエリアに含まれる場合は、前記コミュニケーションに関する情報を、前記端末に送信する制御と、
を行う制御部を備える、情報処理システム。
(2)
前記表示オブジェクトは、実空間で行われるイベントの特定のシーンを表示する表示オブジェクトである、前記(1)に記載の情報処理システム。
(3)
前記表示オブジェクトは、実空間で行われる試合のハイライト映像を表示する表示オブジェクトである、前記(2)に記載の情報処理システム。
(4)
前記表示オブジェクトは、前記イベントにおける特定のユーザグループが応援するチームに関する情報を表示する表示オブジェクトである、前記(1)に記載の情報処理システム。
(5)
前記表示オブジェクトは、前記イベントにおける特定のユーザグループが応援するチームに関する表示オブジェクトであり、
前記特定のユーザグループに所属するユーザが使用する端末に、前記入室選択に関する情報を送信する、前記(4)に記載の情報処理システム。
(6)
前記制御部は、前記入室選択に関する情報に対するユーザ入力に基づく、前記コミュニケーションルームへのユーザの入室要求を前記端末から受信した場合、前記コミュニケーションルームで用いられる1以上の異なるコミュニケーション手段による情報を取得するための接続情報を、前記ユーザが使用する端末に送信する、前記(1)~(5)のいずれか1項に記載の情報処理システム。
(7)
前記コミュニケーション手段による情報は、前記コミュニケーションルームに入室している各ユーザの端末から発信される音声、文字、または画像の情報である、前記(6)に記載の情報処理装置。
(8)
前記コミュニケーションルームへの入室選択に関する情報は、前記コミュニケーションルームの生成を行うサーバに接続するための情報を含む、前記(1)~(7)のいずれか1項に記載の情報処理システム。
(9)
前記サーバは、前記コミュニケーションルームに入室しているユーザに関する情報を、各ユーザの端末に送信する制御を行う、前記(8)に記載の情報処理システム。
(10)
前記制御部は、前記コミュニケーションルームで視聴される配信コンテンツに関する情報を、前記ユーザの端末に送信する制御を行う、前記(1)~(9)のいずれか1項に記載の情報処理システム。
(11)
前記配信コンテンツに関する情報は、前記配信コンテンツを指定する情報、および前記配信コンテンツが配信されているコンテンツ配信サーバに接続するための情報を含む、前記(10)に記載の情報処理システム。
(12)
前記制御部は、前記ユーザの端末で表示されるコミュニケーションルーム画面に表示されるユーザアバターの表示に関する情報を、前記ユーザの端末から受信し、前記コミュニケーションルームに入室している他のユーザの端末にリアルタイムで送信する、前記(1)~(11)のいずれか1項に記載の情報処理システム。
(13)
前記ユーザアバターの表示に関する情報は、前記ユーザアバターを動かすエモート情報、または前記ユーザアバターの近くに表示され、感情表現を示す画像であるスタンプ情報を含む、前記(12)に記載の情報処理システム。
(14)
前記制御部は、前記コミュニケーションポイントから所定距離内に、前記ユーザに対応するユーザアバターが移動した場合、前記コミュニケーションルームへの入室意思を認識し、前記コミュニケーションルームへ入室するための接続情報を、前記ユーザの端末に送信する制御を行う、前記(1)~(13)のいずれか1項に記載の情報処理システム。
(15)
前記制御部は、前記ユーザが前記コミュニケーションルームに入室した際に、コミュニケーションルーム画面に遷移するよう前記ユーザの端末に指示する制御を行う、前記(1)~(14)のいずれか1項に記載の情報処理システム。
(16)
前記コミュニケーションルーム画面には、前記コミュニケーションルームに入室しているユーザのユーザアバターが表示される、前記(15)に記載の情報処理システム。
(17)
前記ユーザアバターの付近に、当該ユーザアバターに対応するユーザが入力した文字またはスタンプ画像が表示される、前記(16)に記載の情報処理システム。
(18)
前記コミュニケーションルーム画面には、コンテンツが表示される、前記(15)~(17)のいずれか1項に記載の情報処理システム。
(19)
プロセッサが、
仮想空間内に、コミュニケーションルーム内の会話対象である実空間または仮想空間で行われるイベントに関連する情報を表示する表示オブジェクトを含む仮想オブジェクトを配置することと、
ユーザが操作するアバターの前記仮想空間内における位置が、ユーザ同士のコミュニケーションが行われる前記コミュニケーションルームが対応付けられるコミュニケーションポイントである第1のエリアに含まれる場合は、前記コミュニケーションルームへの入室選択に関する情報を前記ユーザが使用する端末に送信することと、
前記アバターの前記仮想空間内における位置が、前記第1のエリアの外側に位置する第2のエリアに含まれる場合は、前記コミュニケーションに関する情報を、前記端末に送信することと、
を含む、情報処理方法。
(20)
コンピュータを、
仮想空間内に、コミュニケーションルーム内の会話対象である実空間または仮想空間で行われるイベントに関連する情報を表示する表示オブジェクトを含む仮想オブジェクトを配置する制御と、
ユーザが操作するアバターの前記仮想空間内における位置が、ユーザ同士のコミュニケーションが行われる前記コミュニケーションルームが対応付けられるコミュニケーションポイントである第1のエリアに含まれる場合は、前記コミュニケーションルームへの入室選択に関する情報を前記ユーザが使用する端末に送信する制御と、
前記アバターの前記仮想空間内における位置が、前記第1のエリアの外側に位置する第2のエリアに含まれる場合は、前記コミュニケーションに関する情報を、前記端末に送信する制御と、
を行う制御部として機能させる、プログラム。
(21)
ユーザがイベントの配信映像を視聴可能な仮想空間内に、実空間で行われるイベントの配信映像を配置し、
前記実空間で行われるイベントの展開と、複数ユーザのリアクションとに応じて、前記仮想空間内において、前記複数ユーザが体験するイベント連動した演出を決定する制御部、を備える、情報処理システム。
(22)
前記演出は、前記複数ユーザのリアクションの量に応じて決定される、前記(21)に記載の情報処理システム。
(23)
前記演出は、前記複数ユーザのリアクションの中でも、リアクション量が最も多いリアクションに基づいて決定される、前記(21)~(22)のいずれか1項に記載の情報処理システム。
(24)
前記演出は、アバターのエモートであって、前記仮想空間に存在する1以上のアバターに前記エモートが反映される、前記(21)に記載の情報処理システム。
(25)
前記アバターのエモートは、前記仮想空間に存在する無操作状態のアバターに反映される、前記(24)に記載の情報処理システム。
(26)
前記アバターのエモートは、前記仮想空間に存在するNPCに反映される、前記(24)に記載の情報処理システム。
(27)
前記複数ユーザのリアクションは、一つの仮想空間に存在するアバターを操作するユーザのリアクション情報、複数の仮想空間に各々存在する各アバターを操作するユーザのリアクション情報、イベントを実空間で体験しているユーザのリアクション情報のうち、少なくともいずれかのリアクションを含む、前記(21)~(26)のいずれか1項に記載の情報処理システム。
【符号の説明】
【0222】
20 仮想空間システム
200(200a、200b、200c・・・) 仮想空間管理サーバ
210 通信部
220 制御部
221 仮想空間管理部
222 コンテンツ管理部
223 ユーザ管理部
230 記憶部
10 クライアント端末
110 通信部
120 制御部
121 仮想空間処理部
122 表示制御部
130 操作入力部
140 センサ
150 表示部
160 音声出力部
170 記憶部
30 バックエンドシステム
301 ユーザ情報管理サーバ
302 ホスティングサーバ
303 マッチングサーバ
304 テキストチャットサーバ
305 ボイスチャットサーバ
306 コンテンツ配信サーバ
307 トーキングテーブルサーバ
308 イベント連動サーバ
309 売買管理サーバ
310 データ分析サーバ
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23
図24
図25
図26
図27
図28
図29
図30
図31
図32
図33