ホーム > 特許ランキング > ソニーグループ株式会社
知財求人 - 知財ポータルサイト「IP Force」
▶ ソニー株式会社の特許一覧 ▶ 株式会社ソニー・コンピュータエンタテインメントの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024061694
(43)【公開日】2024-05-08
(54)【発明の名称】情報処理装置、情報処理方法、およびプログラム
(51)【国際特許分類】
G06F 3/0481 20220101AFI20240426BHJP
A63F 13/65 20140101ALI20240426BHJP
A63F 13/428 20140101ALI20240426BHJP
【ＦＩ】
G06F3/0481
A63F13/65
A63F13/428
【審査請求】未請求
【請求項の数】13
【出願形態】ＯＬ
(21)【出願番号】P 2021037071
(22)【出願日】2021-03-09
(71)【出願人】
【識別番号】000002185
【氏名又は名称】ソニーグループ株式会社
(71)【出願人】
【識別番号】310021766
【氏名又は名称】株式会社ソニー・インタラクティブエンタテインメント
(74)【代理人】
【識別番号】100140958
【弁理士】
【氏名又は名称】伊藤 学
(74)【代理人】
【識別番号】100137888
【弁理士】
【氏名又は名称】大山 夏子
(74)【代理人】
【識別番号】100154036
【弁理士】
【氏名又は名称】久保 貴弘
(72)【発明者】
【氏名】堂前 拓馬
(72)【発明者】
【氏名】田中 淳一
(72)【発明者】
【氏名】田中 和治
(72)【発明者】
【氏名】松原 正章
(72)【発明者】
【氏名】松井 康範
【テーマコード（参考）】
5E555
【Ｆターム（参考）】
5E555AA76
5E555BA02
5E555BA04
5E555BB02
5E555BB04
5E555BC01
5E555BE16
5E555BE17
5E555CA41
5E555CA42
5E555CA44
5E555CA45
5E555CA47
5E555DA08
5E555DA09
5E555DA23
5E555DB32
5E555DC09
5E555FA00
(57)【要約】
【課題】仮想空間における演者の姿を切り替えてエンターテインメント性を高めることが可能な情報処理装置、情報処理方法、およびプログラムを提供する。
【解決手段】仮想空間におけるユーザ視点の画像に関する情報を出力する制御を行う制御部を備え、前記制御部は、前記仮想空間内での１以上のユーザの状況、または前記仮想空間の状況の検出結果に応じて、前記画像に含まれる演者に対応する表示を、前記演者の撮像画像に基づいて生成される実写画像と当該演者に対応するキャラクター画像とで切り替える制御を行う、情報処理装置。
【選択図】図１
【解決手段】仮想空間におけるユーザ視点の画像に関する情報を出力する制御を行う制御部を備え、前記制御部は、前記仮想空間内での１以上のユーザの状況、または前記仮想空間の状況の検出結果に応じて、前記画像に含まれる演者に対応する表示を、前記演者の撮像画像に基づいて生成される実写画像と当該演者に対応するキャラクター画像とで切り替える制御を行う、情報処理装置。
【選択図】図１
【特許請求の範囲】
【請求項1】
仮想空間におけるユーザ視点の画像に関する情報を出力する制御を行う制御部を備え、
前記制御部は、
前記仮想空間内での１以上のユーザの状況、または前記仮想空間の状況の検出結果に応じて、前記画像に含まれる演者に対応する表示を、前記演者の撮像画像に基づいて生成される実写画像と当該演者に対応するキャラクター画像とで切り替える制御を行う、情報処理装置。
前記制御部は、
前記仮想空間内での１以上のユーザの状況、または前記仮想空間の状況の検出結果に応じて、前記画像に含まれる演者に対応する表示を、前記演者の撮像画像に基づいて生成される実写画像と当該演者に対応するキャラクター画像とで切り替える制御を行う、情報処理装置。
【請求項2】
前記仮想空間内での１以上のユーザの状況は、前記仮想空間で実施されるイベントに参加している１以上のユーザアバターに関する状況である、請求項１に記載の情報処理装置。
【請求項3】
前記仮想空間の状況は、前記仮想空間で実施されるイベントにおける特定の状況である、請求項１に記載の情報処理装置。
【請求項4】
前記イベントにおける特定の状況は、特定の演出の発生、または、楽曲における特定の時間帯である、請求項３に記載の情報処理装置。
【請求項5】
前記制御部は、前記１以上のユーザの状況、および前記仮想空間の状況の少なくともいずれかが条件を満たした場合、前記演者に対応する表示を、前記実写画像または前記キャラクター画像に切り替える、請求項１に記載の情報処理装置。
【請求項6】
前記実写画像は、前記演者の三次元情報を含む実写画像であって、
前記キャラクター画像は、前記演者の三次元のモーションキャプチャデータに基づいて動く三次元キャラクターモデルの画像である、請求項１に記載の情報処理装置。
前記キャラクター画像は、前記演者の三次元のモーションキャプチャデータに基づいて動く三次元キャラクターモデルの画像である、請求項１に記載の情報処理装置。
【請求項7】
前記制御部は、前記仮想空間においてリアルタイムに実施されるイベント、または、前記仮想空間において事前に収録されたイベントにおいて、前記ユーザ視点の画像に関する情報を出力する制御を行う、請求項１に記載の情報処理装置。
【請求項8】
前記制御部は、前記ユーザ視点の画像に関する情報を、ユーザ端末に出力する制御を行う、請求項１に記載の情報処理装置。
【請求項9】
前記制御部は、前記ユーザ視点の画像に含まれる演者に対応する表示の切り替えを、前記仮想空間で実施されるイベントに参加しているユーザ毎に、または、全てのユーザに対して一律に切り替える、請求項１に記載の情報処理装置。
【請求項10】
前記制御部は、仮想空間の情報を配信するサーバから受信した情報に基づいて、前記仮想空間におけるユーザ視点の画像を表示部に表示出力する制御を行う、請求項１に記載の情報処理装置。
【請求項11】
前記制御部は、前記ユーザ視点の画像に含まれる演者に対応する表示を、ユーザからの操作指示に基づいて前記実写画像と前記キャラクター画像とで切り替える制御を行う、請求項１０に記載の情報処理装置。
【請求項12】
プロセッサが、
仮想空間におけるユーザ視点の画像に関する情報を出力する制御を行うことを含み、
さらに、前記仮想空間内での１以上のユーザの状況、または前記仮想空間の状況の検出結果に応じて、前記画像に含まれる演者に対応する表示を、前記演者の撮像画像に基づいて生成される実写画像と当該演者に対応するキャラクター画像とで切り替える制御を行うことを含む、情報処理方法。
仮想空間におけるユーザ視点の画像に関する情報を出力する制御を行うことを含み、
さらに、前記仮想空間内での１以上のユーザの状況、または前記仮想空間の状況の検出結果に応じて、前記画像に含まれる演者に対応する表示を、前記演者の撮像画像に基づいて生成される実写画像と当該演者に対応するキャラクター画像とで切り替える制御を行うことを含む、情報処理方法。
【請求項13】
コンピュータを、
仮想空間におけるユーザ視点の画像に関する情報を出力する制御を行う制御部として機能させ、
前記制御部は、
前記仮想空間内での１以上のユーザの状況、または前記仮想空間の状況の検出結果に応じて、前記画像に含まれる演者に対応する表示を、前記演者の撮像画像に基づいて生成される実写画像と当該演者に対応するキャラクター画像とで切り替える制御を行う、プログラム。
仮想空間におけるユーザ視点の画像に関する情報を出力する制御を行う制御部として機能させ、
前記制御部は、
前記仮想空間内での１以上のユーザの状況、または前記仮想空間の状況の検出結果に応じて、前記画像に含まれる演者に対応する表示を、前記演者の撮像画像に基づいて生成される実写画像と当該演者に対応するキャラクター画像とで切り替える制御を行う、プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、情報処理装置、情報処理方法、およびプログラムに関する。
【背景技術】
【0002】
近年普及しているＶＲ（Virtual Reality）の技術では、３Ｄモデルが配置された仮想空間内におけるユーザ操作に応じた任意の視点（自由視点）からの映像が生成され、ユーザに提供される。ユーザは、スマートフォンやタブレット端末、テレビ装置、視界全体を覆う非透過型のＨＭＤ（Head Mounted Display）等の表示装置を用いて、仮想空間の映像（画像および音声）を視聴することができる。
【0003】
仮想空間での体験をより楽しむためのことの１つとして、仮想空間で行われるイベントに複数のユーザが同時に参加することが挙げられる。例えば下記特許文献１では、仮想３次元空間内で実施されるイベントの演出制御に関し、イベントに参加する複数の参加者の鑑賞位置（仮想カメラの位置）に対して、特別な演出を制御することが開示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２０１８－９４３２６号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
仮想空間で行われるイベントとしては、例えばアニメやゲーム等のキャラクターによるコンサート等も想定されるが、近年は、キャラクターの人気もさることながら、当該キャラクターを演じている演者（リアルの人間）の人気も高まっている。しかしながら、仮想空間における演者の姿は、演者用のアバター、すなわち所定のキャラクター３Ｄモデル（３次元の立体として生成されたモデルデータ）に固定されている。
【0006】
そこで、本開示では、仮想空間における演者の姿を切り替えてエンターテインメント性を高めることが可能な情報処理装置、情報処理方法、およびプログラムを提案する。
【課題を解決するための手段】
【0007】
本開示によれば、仮想空間におけるユーザ視点の画像に関する情報を出力する制御を行う制御部を備え、前記制御部は、前記仮想空間内での１以上のユーザの状況、または前記仮想空間の状況の検出結果に応じて、前記画像に含まれる演者に対応する表示を、前記演者の撮像画像に基づいて生成される実写画像と当該演者に対応するキャラクター画像とで切り替える制御を行う、情報処理装置を提案する。
【0008】
本開示によれば、プロセッサが、仮想空間におけるユーザ視点の画像に関する情報を出力する制御を行うことを含み、さらに、前記仮想空間内での１以上のユーザの状況、または前記仮想空間の状況の検出結果に応じて、前記画像に含まれる演者に対応する表示を、前記演者の撮像画像に基づいて生成される実写画像と当該演者に対応するキャラクター画像とで切り替える制御を行うことを含む、情報処理方法を提案する。
【0009】
本開示によれば、コンピュータを、仮想空間におけるユーザ視点の画像に関する情報を出力する制御を行う制御部として機能させ、前記制御部は、前記仮想空間内での１以上のユーザの状況、または前記仮想空間の状況の検出結果に応じて、前記画像に含まれる演者に対応する表示を、前記演者の撮像画像に基づいて生成される実写画像と当該演者に対応するキャラクター画像とで切り替える制御を行う、プログラムを提案する。
【図面の簡単な説明】
【0010】
【図1】本開示の一実施形態による情報処理システムの概要について説明する図である。
【図2】本実施形態による仮想空間で行われるイベントにおける演者の姿の切り替えについて説明する図である。
【図3】本実施形態による配信サーバの構成の一例を示すブロック図である。
【図4】本実施形態によるユーザ端末の構成の一例を示すブロック図である。
【図5】本実施形態によるリアルタイムで行っているＶＲイベントを配信する際の動作処理の流れの一例を示すシーケンス図である。
【図6】本実施形態による収録されたＶＲイベントを配信する際の動作処理の流れの一例を示すシーケンス図である。
【図7】本実施形態の変形例によるユーザ端末の構成の一例を示すブロック図である。
【図8】本実施形態の本変形例によるＶＲイベントをライブ配信する際の動作処理の流れの一例を示すシーケンス図である。
【発明を実施するための形態】
【0011】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【0012】
また、説明は以下の順序で行うものとする。
１．本開示の一実施形態による情報処理システムの概要
２．構成例
３．動作処理
３－１．ライブ配信時の動作処理
３－２．収録配信時の動作処理
４．変形例
４－１．切り替え制御をユーザ端末で行う場合
４－２．ＡＲへの適用
５．補足
１．本開示の一実施形態による情報処理システムの概要
２．構成例
３．動作処理
３－１．ライブ配信時の動作処理
３－２．収録配信時の動作処理
４．変形例
４－１．切り替え制御をユーザ端末で行う場合
４－２．ＡＲへの適用
５．補足
【0013】
＜＜１．本開示の一実施形態による情報処理システムの概要＞＞
図１は、本開示の一実施形態による情報処理システムの概要について説明する図である。図１に示すように、本実施形態による情報処理システムは、ユーザ端末１０、配信サーバ２０、演者端末３０、レンダリングサーバ４０、およびイベント管理用端末５０を有する。
図１は、本開示の一実施形態による情報処理システムの概要について説明する図である。図１に示すように、本実施形態による情報処理システムは、ユーザ端末１０、配信サーバ２０、演者端末３０、レンダリングサーバ４０、およびイベント管理用端末５０を有する。
【0014】
配信サーバ２０は、３Ｄモデルが配置される仮想空間（ＶＲ：Virtual Reality）の管理、および、仮想空間における任意の視点（演者視点やユーザ視点）からの映像の配信を行う情報処理装置である。配信サーバ２０は、複数のサーバから成る配信システムであってもよい。
【0015】
ユーザ端末１０は、ユーザに利用される情報処理端末であって、例えばスマートフォン、タブレット端末、ＰＣ（パーソナルコンピュータ）、視界全体を覆う非透過型のＨＭＤ（Head Mounted Display）、透過型のメガネ型デバイス、プロジェクター等により実現される。ユーザ端末１０は、配信サーバ２０から受信した仮想空間におけるユーザ視点の映像データ（画像）および音声を出力（表示出力、音声出力）する。また、ユーザ端末１０は、仮想空間に対するユーザからの入力情報を取得し、配信サーバ２０に送信する。配信サーバ２０は、ユーザからの入力情報に応じて仮想空間におけるユーザ視点（仮想カメラの位置、方向）を変化させたり、仮想空間の３Ｄオブジェクトに反映させたりする。また、仮想空間には、ユーザの分身となるユーザアバターが存在していてもよい。ユーザアバターは、仮想空間に配置される３Ｄオブジェクトに含まれ、例えばキャラクター３Ｄモデルにより生成される。ユーザアバターは、ユーザからの入力情報に従って動いたり、表情を変えたり、移動したりする。仮想空間におけるユーザ視点（仮想カメラの位置、方向）は、ユーザアバターの視点であってもよいし、ユーザアバターを画角内に収める視点であってもよい。
【0016】
演者端末３０は、演者からの入力情報を取得し、配信サーバ２０に送信する。仮想空間には、演者の分身となる演者アバターが存在し、演者からの入力情報に従って演者アバターが動いたり、表情を変えたり、移動したりする。演者アバターは、仮想空間に配置される３Ｄオブジェクトに含まれる。配信サーバ２０に送信される入力情報は、例えば演者の動きを示すモーションデータ（手足の動き、頭部の動き、顔の表情、姿勢の変化等を含む）や、音声データが挙げられる。例えば演者アバターは３Ｄモデルデータにより生成されており、演者のモーションデータを当てはめることで、演者アバターを動かすことができる。
【0017】
モーションデータは、例えば実空間において演者を撮像するモーションキャプチャカメラ３１により取得される。なお、本実施形態では一例としてモーションデータがカメラにより取得される場合について説明するが、これに限定されない。例えば演者のモーションデータは、演者に装着された各種センサ（加速度センサ、ジャイロセンサ等）により取得されてもよい。また、演者のモーションデータは、各種センサとカメラを組み合わせて取得されてもよい。
【0018】
音声データは、実空間において演者自身に装着されたり、演者が把持したり、演者の周囲に配置されたマイク３２により取得される。なお、実空間に配置された複数のマイク３２により収音された音声を合成して配信サーバ２０に送信されてもよい。また、演者が演奏する楽器や、ＣＤプレーヤー、デジタルプレーヤー等から出力される音声データ（音響データ）も、演者側から提供される音声データとして演者端末３０により配信サーバ２０に送信される。また、演者端末３０から配信サーバ２０に送信される音声データは、実空間に配置されたミキサーにより各種音源を個別に調整した上で混合（ミックス）した音声であってもよい。
【0019】
イベント管理用端末５０は、仮想空間内で実施されるイベントの進行や演出を操作する際に用いられる情報処理端末である。イベント管理用端末５０は、例えばイベントの管理者により操作される。イベントの管理者は、演者自身であってもよいし、演者とは別の人物であってもよい。イベントに出演する演者や管理者も含め、イベントの開催に関わる者を広く配信者側とも称する。
【0020】
また、イベント管理用端末５０には、配信サーバ２０から、仮想空間で実施されるイベントの映像および音声が送信され得る。イベント映像は、仮想空間における複数視点からの映像であってもよい。例えば、仮想空間で実施されるイベントの会場において、ステージ上から見える観客席（例えばユーザアバターが配置されているエリア）の映像（演者視点の映像）であってもよい。また、ステージを正面や横、上から見る映像であってもよい。また、ステージと観客席を含むイベント会場全体が見える映像であってもよい。かかるイベント映像は、イベント管理用端末５０の表示部に表示されてもよいし、実空間において演者の見易い位置等に配置された演者側表示装置５１に表示されてもよい。また、演者側表示装置５１が複数用意され、それぞれ異なる視点の仮想空間におけるイベント映像が表示されてもよい。演者は、演者側表示装置５１を見て仮想空間内の観客（ユーザアバター）の様子や、ステージの様子、自身が演じる演者アバターの様子等をリアルタイムで確認することができる。
【0021】
また、本実施形態では、演者を撮像した多数の実写映像（撮像画像）に基づいて被写体である演者を３ＤＣＧ化する技術（例えばVolumetric Capture技術）を用いて、演者の実写３Ｄモデルを演者アバターとして生成し、仮想空間に配置することも可能である。実写３Ｄモデルを生成するためのデータは、実写３Ｄ用カメラ３３により取得され得る。実写３Ｄ用カメラ３３は、実空間において、例えば演者の周囲に数十台設置され、様々な角度から演者を撮影する。撮影されたデータ（撮像データ）は、演者端末３０によりレンダリングサーバ４０に送信され、レンダリングサーバ４０において実写３Ｄモデルが生成される。レンダリングサーバ４０は、複数のサーバから成るクラウドサーバであってもよい。そして、レンダリングサーバ４０により生成された実写３Ｄモデルは、配信サーバ２０に出力される。また、本実施形態による実写３Ｄ用カメラ３３による実写映像の撮影、レンダリングサーバ４０による当該実写映像の撮像データに基づく実写３Ｄモデルの生成、および、配信サーバ２０での実写３Ｄモデルの仮想空間内での配置は、リアルタイムに行われ得る。
【0022】
（課題の整理）
上述したように、近年では、アニメやゲーム等のキャラクターの人気もさることながら、当該キャラクターを演じている演者（リアルの人間）の人気も高まっている。しかしながら、仮想空間における演者の姿は、対応付けられたアバター（キャラクター３Ｄモデル）に固定されている。
上述したように、近年では、アニメやゲーム等のキャラクターの人気もさることながら、当該キャラクターを演じている演者（リアルの人間）の人気も高まっている。しかしながら、仮想空間における演者の姿は、対応付けられたアバター（キャラクター３Ｄモデル）に固定されている。
【0023】
そこで、本開示による情報処理システムでは、仮想空間における演者の姿を切り替えることで、エンターテインメント性を高めることを可能とする。
【0024】
図２は、本実施形態による仮想空間で行われるイベントにおける演者の姿の切り替えについて説明する図である。図２左には、演者アバターがキャラクター３Ｄモデル７ａで表示されている場合の映像７００を示し、図２右には、演者アバターが実写３Ｄモデル７ｂで表示されている場合の映像７１０を示す。演者アバターをキャラクター３Ｄモデル７ａで表示するか実写３Ｄモデル７ｂで表示するかの切り替えは、ユーザ毎に任意に（個別に）行われてもよいし、配信者側で一律に制御されてもよい。また、仮想空間におけるユーザアバターの状況や、仮想空間で行われるイベントの状況に応じて、自動的に切り替えが制御されてもよい。
【0025】
以上、本開示の一実施形態による情報処理システムの概要について説明した。続いて、本実施形態による情報処理システムに含まれる各装置の具体的な構成について図面を参照して説明する。
【0026】
＜＜２．構成例＞＞
＜２－１．配信サーバ２０の構成例＞
図３は、本実施形態による配信サーバ２０の構成の一例を示すブロック図である。配信サーバ２０は、ネットワークを介してユーザ端末１０、レンダリングサーバ４０、およびイベント管理用端末５０と通信接続するサーバである。配信サーバ２０は、複数のサーバから成るクラウドサーバであってもよい。
＜２－１．配信サーバ２０の構成例＞
図３は、本実施形態による配信サーバ２０の構成の一例を示すブロック図である。配信サーバ２０は、ネットワークを介してユーザ端末１０、レンダリングサーバ４０、およびイベント管理用端末５０と通信接続するサーバである。配信サーバ２０は、複数のサーバから成るクラウドサーバであってもよい。
【0027】
図３に示すように、配信サーバ２０は、通信部２１０、制御部２２０、および記憶部２３０を有する。
【0028】
（通信部２１０）
通信部２１０は、有線または無線により外部装置とデータの送受信を行う。通信部２１０は、例えば有線／無線ＬＡＮ（Local Area Network）、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、携帯通信網（ＬＴＥ（Long Term Evolution）、４Ｇ（第４世代の移動体通信方式）、５Ｇ（第５世代の移動体通信方式））等を用いて、ユーザ端末１０や、レンダリングサーバ４０、イベント管理用端末５０と通信接続する。
通信部２１０は、有線または無線により外部装置とデータの送受信を行う。通信部２１０は、例えば有線／無線ＬＡＮ（Local Area Network）、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、携帯通信網（ＬＴＥ（Long Term Evolution）、４Ｇ（第４世代の移動体通信方式）、５Ｇ（第５世代の移動体通信方式））等を用いて、ユーザ端末１０や、レンダリングサーバ４０、イベント管理用端末５０と通信接続する。
【0029】
（制御部２２０）
制御部２２０は、演算処理装置および制御装置として機能し、各種プログラムに従って配信サーバ２０内の動作全般を制御する。制御部２２０は、例えばＣＰＵ（Central Processing Unit）、マイクロプロセッサ等の電子回路によって実現される。また、制御部２２０は、使用するプログラムや演算パラメータ等を記憶するＲＯＭ（Read Only Memory）、及び適宜変化するパラメータ等を一時記憶するＲＡＭ（Random Access Memory）を含んでいてもよい。
制御部２２０は、演算処理装置および制御装置として機能し、各種プログラムに従って配信サーバ２０内の動作全般を制御する。制御部２２０は、例えばＣＰＵ（Central Processing Unit）、マイクロプロセッサ等の電子回路によって実現される。また、制御部２２０は、使用するプログラムや演算パラメータ等を記憶するＲＯＭ（Read Only Memory）、及び適宜変化するパラメータ等を一時記憶するＲＡＭ（Random Access Memory）を含んでいてもよい。
【0030】
また、本実施形態による制御部２２０は、仮想空間管理部２２１、仮想空間情報提供部２２２、および演者表示切り替え制御部２２３としても機能する。
【0031】
仮想空間管理部２２１は、仮想空間の管理を行う。具体的には、仮想空間管理部２２１は、仮想空間を生成（構築）するための各種情報（仮想空間に配置される３Ｄオブジェクトの情報等）の取得、追加、更新等を行う。例えば仮想空間管理部２２１は、ユーザ端末１０や、演者端末３０、レンダリングサーバ４０、およびイベント管理用端末５０から送信される入力情報を、適宜、仮想空間に反映させる。例えば、仮想空間管理部２２１は、ユーザ端末１０からの入力情報に従って、仮想空間に配置される当該ユーザのユーザアバターの手足や姿勢を動かしたり、ユーザアバターの位置を前後左右に移動させる（ユーザ視点に対応する仮想カメラの位置も追随して変化させる）。また、仮想空間管理部２２１は、イベント管理用端末５０から送信される情報に従って、仮想空間におけるイベントの実施を制御する。なお、仮想空間で実施されるイベントとは、例えば、コンサートや、講演会、演劇、祭り、その他各種催し物が想定される。また、仮想空間管理部２２１は、仮想空間における演者や各ユーザアバターのＩＤ、位置等を把握する。
【0032】
仮想空間情報提供部２２２は、仮想空間の情報を、ユーザ端末１０やイベント管理用端末５０に提供する。仮想空間の情報とは、記憶部２３０に格納されている情報であってもよいし、記憶部２３０に格納されている情報に基づいて仮想空間情報提供部２２２が生成した情報であってもよい。より具体的には、仮想空間の情報とは、仮想空間におけるユーザ視点での映像データであってもよい。仮想空間における各ユーザ視点での映像データが継続的にリアルタイムで各ユーザ端末１０に送信され（所謂ＶＲストリーミング配信）、各ユーザ端末１０において表示されることで、複数のユーザが、同一の仮想空間を共有して同時に視聴することができる。
【0033】
また、仮想空間の情報とは、仮想空間におけるユーザ視点での映像を生成するためのデータであってもよい。仮想空間におけるユーザ視点での映像を生成するためのデータとは、例えば、仮想空間に配置される各３Ｄオブジェクト（演者や他ユーザのアバターを含む）の位置・姿勢情報や、仮想空間におけるユーザ視点に対応する仮想カメラの３次元位置座標等が挙げられる。このようなデータが継続的にリアルタイムで各ユーザ端末１０に送信され、各ユーザ端末１０においてユーザ視点の映像をリアルタイムに生成し、表示することで、複数のユーザが、同一の仮想空間を共有して同時に視聴することができる。なお、ユーザ端末１０は、イベントに参加する前に予め配信サーバ２０から仮想空間を構築するための情報を取得し、ローカルで仮想空間を構築することも可能である。この場合、イベント中は、配信サーバ２０から継続的に仮想空間の更新情報（仮想空間の変化の情報等）が送信され、ユーザ端末１０は、更新情報に基づいて、ローカルで構築した仮想空間を更新する。また、ユーザ端末１０は、ユーザからの入力情報に従って、ローカルで構築した仮想空間内における仮想カメラの位置・方向を制御し、ユーザ視点の映像を生成し、表示し得る。
【0034】
演者表示切り替え制御部２２３は、仮想空間における演者アバターを、キャラクター３Ｄモデルで表示するか、実写３Ｄモデルで表示するかの切り替えを制御する。切り替えは、ユーザからの指示に従って行われてもよいし、配信者側からの指示に従って行われてもよい。また、演者表示切り替え制御部２２３は、仮想空間における１以上のユーザアバターの状況および仮想空間で行われるイベントの状況の少なくともいずれかが条件を満たした場合に、自動的に切り替えを制御してもよい。なお、キャラクター３Ｄモデルと実写３Ｄモデルとの切り替わりは、ユーザ毎に制御されてもよい。すなわち、あるユーザの視界（仮想空間におけるユーザ視点の映像）ではキャラクター３Ｄモデルで見えている一方、他のユーザの視界では実写３Ｄモデルで見えているようにしてもよい。これにより、各ユーザの好みにあった演出（表示）を実現することができ、また、一ユーザによる切り替え指示を他ユーザに影響させないようにすることができる。一方、キャラクター３Ｄモデルと実写３Ｄモデルとの切り替えを、全ユーザに対して一律に制御することも可能である。これにより、例えばイベント中における特定のタイミングで、キャラクター３Ｄモデルが見えていた状況から、全ユーザに対して一斉に実写３Ｄモデルで見えるよう切り替えるといった演出を実現することもできる。
【0035】
本実施形態による切り替えのトリガについて詳述する。上述したように、一例として、ユーザからの指示が挙げられる。例えばユーザは、ユーザ端末１０を操作して、画面上に表示される切り替えボタンを選択したり、コントローラを操作したり、所定のジェスチャを行ったり等することで、切り替えを明示的に指示する。また、ユーザは、ユーザ視点に対応する仮想カメラを、実写視聴用として設定された指定カメラ（仮想カメラの一つ）に切り替える指示を行ってもよい。または、ユーザアバターが仮想空間内で何らかのチャレンジを行って成功した場合（当たり判定が出た場合、条件を満たした場合等）に、演者表示切り替え制御部２２３が切り替えを行うようにしてもよい。例えば、ユーザアバターが何らかのアイテムを投げて演者アバターに当たった場合に、一定時間切り替わるようにしてもよい。また、ユーザアバターが仮想空間内で行った課金額に応じて一定時間切り替わるようにしてもよい。また、ユーザがイベント中に演者に対して送った応援メッセージのテキスト量が所定値を超えた場合であってもよい。なお、ユーザによる個別の指示や動き等によって演者アバターの表示を切り替える場合、演者表示切り替え制御部２２３は、ユーザ毎にキャラクター３Ｄモデルと実写３Ｄモデルとの切り替えを行うよう制御してもよい（他ユーザの視界には影響を与えない）。
【0036】
また、他の例として、仮想空間における１以上のユーザアバターの状況が所定の条件を満たした場合に、演者表示切り替え制御部２２３が切り替えを行うようにしてもよい。所定の条件については特に限定しないが、例えば、一定数のユーザアバターが同じ動きを行ったことを検知した場合であってもよい。また、演者が指定した動作を一定数のユーザアバターが同時に行ったことを検知した場合であってもよい。また、仮想空間におけるイベント参加者全体の盛り上がり（ユーザアバターの動きの大きさ、ジャンプ、拍手の多さ等）を所定の条件としてもよい。また、全ユーザからイベント中に演者に送られた応援メッセージのテキスト量が所定値を超えた場合であってもよい。また、イベント参加者（イベントの観客席に居るユーザアバター数）が所定値を超えた場合であってもよい。なお、多数のユーザアバターの状況によって演者アバターの表示を切り替える場合、演者表示切り替え制御部２２３は、全ユーザに対して一律にキャラクター３Ｄモデルと実写３Ｄモデルとの切り替えを行うよう制御してもよい（参加者の一体感が生まれる）。
【0037】
また、他の例として、仮想空間で実施されているイベントの状況に応じて、演者表示切り替え制御部２２３が切り替えを行うようにしてもよい。例えば、イベントにおいて特定の演出が発生した場合や、イベントで演奏（再生）される所定の楽曲における特定の時間帯（サビの間など）に、演者表示切り替え制御部２２３は、キャラクター３Ｄモデルと実写３Ｄモデルとの切り替えを行ってもよい。
【0038】
また、演者表示切り替え制御部２２３は、キャラクター３Ｄモデルと実写３Ｄモデルとの切り替えに併せて、ステージ背景や、イベント会場の背景も、仮想背景（３ＤＣＧにより生成した背景）または実写背景（実写の２Ｄ／３Ｄ映像）に切り替えるようにしてもよい。実写背景は、予め生成され得る。
【0039】
以上説明した演者表示切り替え制御部２２３による切り替え制御に応じて、仮想空間情報提供部２２２は、演者アバターの表示をキャラクター３Ｄモデルまたは実写３Ｄモデルに切り替えた映像を生成し、ユーザ端末１０に送信する。キャラクター３Ｄモデルのデータは、配信サーバ２０の記憶部２３０に格納されており、仮想空間情報提供部２２２は、演者端末３０から送信されるモーションデータに基づいて、仮想空間内に配置されるキャラクター３Ｄモデルをリアルタイムで動かすことができる。また、実写３Ｄモデルは、レンダリングサーバ４０においてリアルタイムに生成され、配信サーバ２０に送信され得る。キャラクター３Ｄモデルおよび実写３Ｄモデルは、対応する演者のＩＤや立ち位置（３Ｄ座標位置）に対応付けられる。
【0040】
または、仮想空間情報提供部２２２は、演者アバターの表示の切り替え指示をユーザ端末１０に送信してもよい。例えば仮想空間情報提供部２２２が、仮想空間におけるユーザ視点の映像を生成するためのデータをユーザ端末１０に送信しており、ユーザ端末１０で映像の生成を行っている場合、ユーザ端末１０に送信するデータに、「演者アバターの表示の切り替え指示」を含めてもよい。この場合、演者のキャラクター３Ｄモデルのデータは予め（イベント開始前等）ユーザ端末１０に送信しておき、リアルタイムの演者のモーションデータをユーザ端末１０に送信することで、ユーザ端末１０において、仮想空間に配置されるキャラクター３Ｄモデルを動かせるようにしてもよい。また、仮想空間情報提供部２２２は、ユーザ端末１０に送信するデータに、実写３Ｄモデルも含めて継続的に送信してもよいし、実写３Ｄモデルへの切り替えが行われている間だけ送信するようにしてもよい。
【0041】
（記憶部２３０）
記憶部２３０は、制御部２２０の処理に用いられるプログラムや演算パラメータ等を記憶するＲＯＭ（Read Only Memory）、および適宜変化するパラメータ等を一時記憶するＲＡＭ（Random Access Memory）により実現される。本実施形態により記憶部２３０は、仮想空間の情報を格納する。
記憶部２３０は、制御部２２０の処理に用いられるプログラムや演算パラメータ等を記憶するＲＯＭ（Read Only Memory）、および適宜変化するパラメータ等を一時記憶するＲＡＭ（Random Access Memory）により実現される。本実施形態により記憶部２３０は、仮想空間の情報を格納する。
【0042】
以上、配信サーバ２０の構成について具体的に説明したが、本開示による配信サーバ２０の構成は図３に示す例に限定されない。例えば、配信サーバ２０は、複数の装置により実現されてもよい。また、レンダリングサーバ４０による実写３Ｄモデルの生成を制御部２２０が行ってもよい。また、制御部２２０による機能の少なくとも一部をユーザ端末１０が行ってもよい。
【0043】
＜２－２．ユーザ端末１０の構成例＞
図４は、本実施形態によるユーザ端末１０の構成の一例を示すブロック図である。図４に示すように、ユーザ端末１０は、通信部１１０、制御部１２０、操作入力部１３０、センサ部１４０、表示部１５０、スピーカ１６０、および記憶部１７０を有する。
図４は、本実施形態によるユーザ端末１０の構成の一例を示すブロック図である。図４に示すように、ユーザ端末１０は、通信部１１０、制御部１２０、操作入力部１３０、センサ部１４０、表示部１５０、スピーカ１６０、および記憶部１７０を有する。
【0044】
（通信部１１０）
通信部１１０は、有線または無線により、配信サーバ２０と通信接続してデータの送受信を行う。通信部１１０は、例えば有線／無線ＬＡＮ（Local Area Network）、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、赤外線通信、または携帯通信網（４Ｇ（第４世代の移動体通信方式）、５Ｇ（第５世代の移動体通信方式））等を用いた通信を行い得る。
通信部１１０は、有線または無線により、配信サーバ２０と通信接続してデータの送受信を行う。通信部１１０は、例えば有線／無線ＬＡＮ（Local Area Network）、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、赤外線通信、または携帯通信網（４Ｇ（第４世代の移動体通信方式）、５Ｇ（第５世代の移動体通信方式））等を用いた通信を行い得る。
【0045】
（制御部１２０）
制御部１２０は、演算処理装置および制御装置として機能し、各種プログラムに従ってユーザ端末１０内の動作全般を制御する。制御部１２０は、例えばＣＰＵ（Central Processing Unit）、マイクロプロセッサ等の電子回路によって実現される。また、制御部１２０は、使用するプログラムや演算パラメータ等を記憶するＲＯＭ（Read Only Memory）、及び適宜変化するパラメータ等を一時記憶するＲＡＭ（Random Access Memory）を含んでいてもよい。
制御部１２０は、演算処理装置および制御装置として機能し、各種プログラムに従ってユーザ端末１０内の動作全般を制御する。制御部１２０は、例えばＣＰＵ（Central Processing Unit）、マイクロプロセッサ等の電子回路によって実現される。また、制御部１２０は、使用するプログラムや演算パラメータ等を記憶するＲＯＭ（Read Only Memory）、及び適宜変化するパラメータ等を一時記憶するＲＡＭ（Random Access Memory）を含んでいてもよい。
【0046】
本実施形態による制御部１２０は、操作入力部１３０やセンサ部１４０から入力された仮想空間に対する入力情報（操作入力情報、モーションデータ等）を、通信部１１０から配信サーバ２０に送信する制御を行う。また、制御部１２０は、ユーザが身につけているセンサ装置や、ユーザの周囲に配置されたカメラ、ユーザが把持するコントローラ等の外部装置から取得した情報に基づいて、仮想空間に対する入力情報（操作入力情報、モーションデータ等）をユーザ端末１０に送信してもよい。配信サーバ２０に送信するユーザの入力情報には、演者アバターの表示の切り替え指示が含まれている場合もある。
【0047】
また、制御部１２０は、仮想空間画像表示制御部１２１としても機能し得る。仮想空間画像表示制御部１２１は、配信サーバ２０から送信された（所謂ＶＲストリーミング配信）、仮想空間におけるユーザ視点の映像データを、表示部１５０に表示する制御を行う。
【0048】
または、仮想空間画像表示制御部１２１は、配信サーバ２０から送信された、仮想空間におけるユーザ視点の映像データを生成するための情報に基づいて、仮想空間におけるユーザ視点の映像データを生成し、表示部１５０に表示する制御を行う。仮想空間画像表示制御部１２１は、配信サーバ２０から受信した情報に基づいて、仮想空間をローカルで構築してもよい（配信サーバ２０から継続的にリアルタイムで送信される更新情報に基づいて更新も行う）。また、仮想空間画像表示制御部１２１は、操作入力部１３０やセンサ部１４０、またはユーザが身に着けているセンサ装置や把持しているコントローラ等から取得される、仮想空間に対する入力情報（操作入力情報、モーションデータ等）を、配信サーバ２０に送信すると共に（同期のため）、ローカルで構築した仮想空間に配置されるユーザアバターの動きや移動を制御してもよい。
【0049】
なお、制御部１２０は、配信サーバ２０から、仮想空間におけるユーザ視点の映像データと共に送信される音声データを、スピーカ１６０から再生する制御も行う。
【0050】
（操作入力部１３０）
操作入力部１３０は、ユーザによる操作指示を受付け、その操作内容を制御部１２０に出力する。操作入力部１３０は、例えばタッチセンサ、圧力センサ、若しくは近接センサであってもよい。あるいは、操作入力部１３０は、ボタン、スイッチ、およびレバーなど、物理的構成であってもよい。
操作入力部１３０は、ユーザによる操作指示を受付け、その操作内容を制御部１２０に出力する。操作入力部１３０は、例えばタッチセンサ、圧力センサ、若しくは近接センサであってもよい。あるいは、操作入力部１３０は、ボタン、スイッチ、およびレバーなど、物理的構成であってもよい。
【0051】
（センサ部１４０）
センサ部１４０は、例えばユーザの位置（３次元位置座標、２次元位置座標、移動情報等）、手足の動き、姿勢、頭部の向き、視線方向、または顔の表情等をセンシングする機能を有する。より具体的には、センサ部１４０は、位置情報取得部、カメラ（内向き／外向きカメラ）、マイク（マイクロホン）、加速度センサ、角速度センサ、地磁気センサ、および生体センサ（脈拍、心拍、発汗、血圧、体温、呼吸、筋電値、脳波等の検知）等であってもよい。また、センサ部１４０は、３軸ジャイロセンサ、３軸加速度センサ、および３軸地磁気センサの合計９軸を検出可能なセンサを有していてもよい。また、センサ部１４０は、ユーザの視線を検出する視線検出センサ（赤外線センサ）であってもよい。
センサ部１４０は、例えばユーザの位置（３次元位置座標、２次元位置座標、移動情報等）、手足の動き、姿勢、頭部の向き、視線方向、または顔の表情等をセンシングする機能を有する。より具体的には、センサ部１４０は、位置情報取得部、カメラ（内向き／外向きカメラ）、マイク（マイクロホン）、加速度センサ、角速度センサ、地磁気センサ、および生体センサ（脈拍、心拍、発汗、血圧、体温、呼吸、筋電値、脳波等の検知）等であってもよい。また、センサ部１４０は、３軸ジャイロセンサ、３軸加速度センサ、および３軸地磁気センサの合計９軸を検出可能なセンサを有していてもよい。また、センサ部１４０は、ユーザの視線を検出する視線検出センサ（赤外線センサ）であってもよい。
【0052】
（表示部１５０）
表示部１５０は、仮想空間におけるユーザ視点の映像データ（画像）を表示する機能を有する。例えば表示部１５０は、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）、有機ＥＬ（Electro Luminescence）ディスプレイなどの表示パネルであってもよい。また、表示部１５０は、視界全体を覆う非透過型のＨＭＤにより実現されてもよい。この場合、表示部１５０は、ユーザの左右の眼にそれぞれ固定された左右の画面において、左眼用画像および右眼用画像を表示する。表示部１５０の画面は、例えば液晶ディスプレイ（ＬＣＤ）、有機ＥＬディスプレイなどの表示パネル、または、網膜直描ディスプレイなどのレーザー走査方式ディスプレイで構成される。また、表示部１５０は、表示画面を拡大投影して、ユーザの瞳に所定の画角からなる拡大虚像を結像する結像光学系を備えてもよい。
表示部１５０は、仮想空間におけるユーザ視点の映像データ（画像）を表示する機能を有する。例えば表示部１５０は、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）、有機ＥＬ（Electro Luminescence）ディスプレイなどの表示パネルであってもよい。また、表示部１５０は、視界全体を覆う非透過型のＨＭＤにより実現されてもよい。この場合、表示部１５０は、ユーザの左右の眼にそれぞれ固定された左右の画面において、左眼用画像および右眼用画像を表示する。表示部１５０の画面は、例えば液晶ディスプレイ（ＬＣＤ）、有機ＥＬディスプレイなどの表示パネル、または、網膜直描ディスプレイなどのレーザー走査方式ディスプレイで構成される。また、表示部１５０は、表示画面を拡大投影して、ユーザの瞳に所定の画角からなる拡大虚像を結像する結像光学系を備えてもよい。
【0053】
（スピーカ１６０）
スピーカ１６０は、制御部１２０の制御に従って、音声データを出力する。スピーカ１６０は、例えばユーザ端末１０がＨＭＤとして構成される場合、ユーザの頭部に装着されるヘッドフォンとして構成されてもよいし、イヤフォン、若しくは骨伝導スピーカとして構成されてもよい。
スピーカ１６０は、制御部１２０の制御に従って、音声データを出力する。スピーカ１６０は、例えばユーザ端末１０がＨＭＤとして構成される場合、ユーザの頭部に装着されるヘッドフォンとして構成されてもよいし、イヤフォン、若しくは骨伝導スピーカとして構成されてもよい。
【0054】
（記憶部１７０）
記憶部１７０は、制御部１２０の処理に用いられるプログラムや演算パラメータ等を記憶するＲＯＭ（Read Only Memory）、および適宜変化するパラメータ等を一時記憶するＲＡＭ（Random Access Memory）により実現される。
記憶部１７０は、制御部１２０の処理に用いられるプログラムや演算パラメータ等を記憶するＲＯＭ（Read Only Memory）、および適宜変化するパラメータ等を一時記憶するＲＡＭ（Random Access Memory）により実現される。
【0055】
本実施形態による記憶部１７０には、例えばユーザアバターの情報（キャラクター３Ｄモデルのデータ）が格納されていてもよいし、配信サーバ２０から受信した仮想空間の情報が格納されていてもよい。
【0056】
以上、ユーザ端末１０の構成について具体的に説明したが、本開示によるユーザ端末１０の構成は図４に示す例に限定されない。例えば、ユーザ端末１０は、複数の装置により実現されてもよい。具体的には、ＨＭＤ等により実現される出力装置（少なくとも表示部１５０およびスピーカ１６０に対応）と、スマートフォンやタブレット端末、ＰＣ等により実現される情報処理端末（少なくとも制御部１２０に対応）とを含むシステム構成により実現されてもよい。
【0057】
また、ユーザ端末１０は、スマートフォンやタブレット端末等の非装着型のデバイスであってもよい。
【0058】
＜＜３．動作処理＞＞
次に、本実施形態による情報処理システムの動作処理について図面を用いて具体的に説明する。
次に、本実施形態による情報処理システムの動作処理について図面を用いて具体的に説明する。
【0059】
＜３－１．ライブ配信時の動作処理＞
まず、演者がリアルタイムで行っているＶＲイベントを配信する際の動作処理について、図５を参照して説明する。図５は、本実施形態によるリアルタイムで行っているＶＲイベントを配信する際の動作処理の流れの一例を示すシーケンス図である。
まず、演者がリアルタイムで行っているＶＲイベントを配信する際の動作処理について、図５を参照して説明する。図５は、本実施形態によるリアルタイムで行っているＶＲイベントを配信する際の動作処理の流れの一例を示すシーケンス図である。
【0060】
図５に示すように、まず、演者端末３０は、実写３D用カメラ３３により撮像した演者の実写３Ｄ用の撮像画像をレンダリングサーバ４０に送信する（ステップＳ１０３）。
【0061】
次に、レンダリングサーバ４０は、受信した撮像画像に基づいて、演者の実写３Ｄモデルを生成し（ステップＳ１０６）、生成した実写３Ｄモデルのデータを配信サーバ２０に送信する（ステップＳ１０９）。
【0062】
また、演者端末３０は、モーションキャプチャカメラ３１により取得した演者のモーションキャプチャデータ（以下、モーションデータとも称する）を、配信サーバ２０に送信する（ステップＳ１１２）。
【0063】
また、演者端末３０は、マイク３２により収音した演者の音声データを、配信サーバ２０に送信する（ステップＳ１１５）。
【0064】
以上説明したステップＳ１０３～Ｓ１０９に示す処理と、Ｓ１１２に示す処理と、Ｓ１１５に示す処理は、全て（イベントを実施している間中）継続的に並行して行われ得る。これにより、演者のリアルタイムに取得される各種情報が、配信サーバ２０に送信される。配信サーバ２０では、仮想空間管理部２２１により、これらの情報に基づいて仮想空間の情報を更新する。なお、図５には図示していないが、イベント管理用端末５０からの入力情報も適宜配信サーバ２０に送信される。イベント管理用端末５０からの入力情報とは、例えばイベントの進行に関する入力情報や、演出に関する入力情報、演者アバターの表示の切り替え指示等である。
【0065】
一方、ユーザ端末１０は、ユーザからの入力情報を、配信サーバ２０に送信する（ステップＳ１１８）。ユーザからの入力情報は、例えば操作入力情報や、ユーザのリアルタイムのモーションデータ等である。かかる入力情報は、例えば仮想空間に配置されるユーザアバターの位置や姿勢等の制御に用いられる。配信サーバ２０には、イベントに参加する全ユーザのユーザ端末１０から、かかる入力情報を受信する。配信サーバ２０では、仮想空間管理部２２１により、これらの情報に基づいて仮想空間の情報を更新する。
【0066】
続いて、配信サーバ２０の仮想空間情報提供部２２２は、仮想空間におけるユーザ視点の画像（映像データ）を生成する（ステップＳ１２１）。ユーザ視点は、仮想空間に配置される仮想カメラの位置および方向から算出され得る。また、仮想空間には多数の仮想カメラが配置され、各ユーザにそれぞれ対応付けられていてもよい。また、多数の仮想カメラは、仮想空間で行われるイベント会場の観客席エリアに配置されていてもよい。仮想カメラは、仮想空間内では描画されない。また、ユーザ視点の画像は、ユーザアバター全体を画角内に含む画像であってもよいし、ユーザアバターの目から見える画像（ユーザアバターの手等は視界に含まれ得る）であってもよい。なお、ユーザアバターを描画するための情報（ユーザアバターのキャラクター３Ｄモデルのデータ）は、予めユーザ端末１０から配信サーバ２０に送信されてもよいし、配信サーバ２０が提供するキャラクター３Ｄモデルが利用されてもよい。
【0067】
次に、配信サーバ２０の演者表示切り替え制御部２２３は、仮想空間におけるユーザアバターやイベントの状況を検出する（ステップＳ１２４）。
【0068】
次いで、演者表示切り替え制御部２２３は、検出結果が条件を満たす場合、演者アバターの表示の切り替え（実写３Ｄモデルとキャラクター３Ｄモデルとの切り替え）を行う（ステップＳ１２７）。演者表示切り替え制御部２２３は、上記ステップＳ１２１において生成されたユーザ視点の画像に含まれる演者アバターの表示を、実写３Ｄモデルからキャラクター３Ｄモデル、または、キャラクター３Ｄモデルから実写３Ｄモデルに切り替える処理を行う。若しくは、演者表示切り替え制御部２２３が、演者アバターの表示の設定を実写３Ｄモデルまたはキャラクター３Ｄモデルに切り替えた上で、仮想空間情報提供部２２２が、上記ステップＳ１２１によるユーザ視点の画像の生成処理を行ってもよい（つまりステップＳ１２１に示す処理を、ステップＳ１２７に示す処理の後に行ってもよい）。
【0069】
なお、ここでは一例として仮想空間におけるユーザアバターやイベントの状況を検出して演者アバターの表示切り替えを行う場合について説明しているが、上述したように、ユーザからの操作指示に従って切り替えてもよい。また、検出結果が条件を満たさない場合は、演者アバターの表示の切り替えは行わない。例えばデフォルトがキャラクター３Ｄモデルの場合は、キャラクター３Ｄモデルでの表示のままとされる。
【0070】
次に、仮想空間情報提供部２２２は、仮想空間におけるユーザ視点の画像（映像データ）および音声データを、ユーザ端末１０に送信する（ステップＳ１３０）。
【0071】
そして、ユーザ端末１０の仮想空間画像表示制御部１２１は、仮想空間におけるユーザ視点の画像の表示と、音声データの出力とを行う（ステップＳ１３３）。
【0072】
以上説明したステップＳ１０３～Ｓ１３３に示す処理は、ＶＲイベントの配信が終了するまで繰り返される。
【0073】
また、図５に示す動作処理は一例であって、本開示は図５に示す例に限定されない。例えば、本開示は、図５に示すステップの順序に限定されない。少なくともいずれかのステップが並列に処理されてもよいし、逆の順番で処理されてもよい。また、図５に示す全ての処理が必ずしも実行されてなくともよい。
【0074】
また、仮想空間におけるユーザ視点の画像の生成は、ユーザ端末１０で行われてもよい。この場合、配信サーバ２０は、上記ステップＳ１３０において、仮想空間におけるユーザ視点の画像を生成するためのデータを、ユーザ端末１０に送信する。かかるデータには、例えば、仮想空間の情報（仮想空間に配置される各３Ｄオブジェクトの情報（他ユーザアバターの情報も含む））、ユーザ視点に対応する仮想カメラの位置、演者アバターの表示の切り替えに関する情報、演者のモーションデータ、演者の実写３Ｄモデル等が含まれていてもよい。また、演者アバターのキャラクター３Ｄモデルのデータは、予めユーザ端末１０にダウンロードされていてもよい。
【0075】
＜３－２．収録配信時の動作処理＞
次に、事前に収録されたＶＲイベントを配信する際の動作処理について説明する。事前に行われるＶＲイベントの収録では、例えば図５を参照して説明した「ライブ配信時の動作処理」におけるステップＳ１０３～Ｓ１１５に示す処理がイベント開始から終了まで一通り行われ、全てのデータが、ＶＲコンテンツデータとして配信サーバ２０に保存される。ＶＲコンテンツデータには、仮想空間で行われるＶＲイベントの全ての情報が含まれる。
次に、事前に収録されたＶＲイベントを配信する際の動作処理について説明する。事前に行われるＶＲイベントの収録では、例えば図５を参照して説明した「ライブ配信時の動作処理」におけるステップＳ１０３～Ｓ１１５に示す処理がイベント開始から終了まで一通り行われ、全てのデータが、ＶＲコンテンツデータとして配信サーバ２０に保存される。ＶＲコンテンツデータには、仮想空間で行われるＶＲイベントの全ての情報が含まれる。
【0076】
例えば、ＶＲコンテンツデータには、ＶＲイベントを構成する各種３Ｄオブジェクトのデータ（演者のキャラクター３Ｄデータ、配信者側で設定するユーザアバター（一般参加者）用のキャラクター３Ｄデータ、各種アイテムのデータ等）、背景データ、その他パラメータデータ等が含まれる。
【0077】
また、ＶＲコンテンツデータには、仮想空間におけるイベント時の映像データ（例えば特定の仮想カメラ視点の視界画像）、音声データ、演者の実写３Ｄモデルのデータ、演者のモーションデータ、イベントの進行や演出に関する入力情報等が含まれる。これらはいずれもイベント開始時から終了時までの経時データである。
【0078】
配信サーバ２０は、予め収録され保存されたＶＲコンテンツデータに基づいて、ＶＲイベントの配信を行い得る。かかる収録のＶＲイベントの配信においても、配信サーバ２０は、仮想空間におけるユーザ視点での映像データをリアルタイムに生成してユーザ端末１０に配信することが可能である。また、ユーザ端末１０からの入力情報（例えば頭部の向きの変化や位置移動、視線方向の移動等の入力情報）に応じて、ユーザアバターが仮想空間内で移動したり、視線方向を変えたりすることも可能である。
【0079】
【0080】
図６に示すように、まず、配信サーバ２０は、仮想空間における収録済みＶＲコンテンツデータ（ＶＲイベントのデータ）を呼び出す（ステップＳ２０３）。
【0081】
次に、配信サーバ２０は、ＶＲイベントにおける実写３Ｄモデルのデータ（経時データ）等をユーザ端末１０に送信し（ステップＳ２０６）、ユーザ端末１０は受信したデータを保存する（ステップＳ２０９）。ＶＲイベントの配信における配信サーバ２０側での処理負荷や配信サーバ２０とユーザ端末１０の間の通信負荷（遅延）等を考慮し、ＶＲイベントのデータのうち一部のデータを予めユーザ端末１０にダウンロードしておいてもよい。
【0082】
次いで、ユーザ端末１０は、ユーザからの入力情報を、配信サーバ２０に送信する（ステップＳ２１２）。ユーザからの入力情報は、例えば操作入力情報や、ユーザのリアルタイムのモーションデータ等である。かかる入力情報は、例えば仮想空間に配置されるユーザアバターの位置や姿勢等の制御に用いられる。配信サーバ２０には、イベントに参加する全ユーザのユーザ端末１０から、かかる入力情報を受信する。配信サーバ２０では、仮想空間管理部２２１により、これらの情報に基づいて仮想空間の情報を更新する。
【0083】
次に、配信サーバ２０の仮想空間情報提供部２２２は、仮想空間におけるユーザ視点の画像（映像データ）を生成する（ステップＳ２１５）。ユーザ視点は、仮想空間に配置される仮想カメラの位置および方向から算出され得る。また、仮想空間には多数の仮想カメラが配置され、各ユーザにそれぞれ対応付けられていてもよい。また、多数の仮想カメラは、仮想空間で行われるイベント会場の観客席エリアに配置されていてもよい。事前に収録されたＶＲイベントは、例えば仮想空間におけるイベント会場のステージ上で動く演者アバターや、演者の音声、会場の音響、演出等であり、仮想空間管理部２２１は、イベント会場の観客席エリアについては、収録したＶＲイベントの配信時における各ユーザ（視聴者）のリアルタイムの動き等を反映したユーザアバターを配置することも可能である。
【0084】
次いで、配信サーバ２０の演者表示切り替え制御部２２３は、仮想空間におけるユーザアバターやイベントの状況を検出する（ステップＳ２１８）。
【0085】
次に、演者表示切り替え制御部２２３は、検出結果が条件を満たす場合、演者アバターの表示の切り替え（実写３Ｄモデルとキャラクター３Ｄモデルとの切り替え）を行う（ステップＳ２２１）。演者表示切り替え制御部２２３は、上記ステップＳ２１５において生成されたユーザ視点の画像に含まれる演者アバターの表示を、実写３Ｄモデルからキャラクター３Ｄモデル、または、キャラクター３Ｄモデルから実写３Ｄモデルに切り替える処理を行う。若しくは、演者表示切り替え制御部２２３が、演者アバターの表示の設定を実写３Ｄモデルまたはキャラクター３Ｄモデルに切り替えた上で、仮想空間情報提供部２２２が、上記ステップＳ２１５によるユーザ視点の画像の生成処理を行ってもよい（つまりステップＳ２１５に示す処理を、ステップＳ２２１に示す処理の後に行ってもよい）。
【0086】
なお、ここでは一例として仮想空間におけるユーザアバターやイベントの状況を検出して演者アバターの表示切り替えを行う場合について説明しているが、上述したように、ユーザからの操作指示に従って切り替えてもよい。また、検出結果が条件を満たさない場合は、演者アバターの表示の切り替えは行わない。例えばデフォルトがキャラクター３Ｄモデルの場合は、キャラクター３Ｄモデルでの表示のままとされる。
【0087】
次に、仮想空間情報提供部２２２は、仮想空間におけるユーザ視点の画像（映像データ）および音声データを、ユーザ端末１０に送信する（ステップＳ２２４）。仮想空間情報提供部２２２によるユーザ視点の画像（映像データ）および音声データの配信は、所謂ストリーミング配信であってもよい。
【0088】
そして、ユーザ端末１０の仮想空間画像表示制御部１２１は、仮想空間におけるユーザ視点の画像の表示と、音声データの出力とを行う（ステップＳ２２７）。
【0089】
なお、上記ステップＳ２０６に示すように、予め演者の実写３Ｄモデルのデータをユーザ端末１０にダウンロードさせている場合、配信サーバ２０の仮想空間情報提供部２２２は、上記ステップＳ２２４において、仮想空間におけるユーザ視点の画像および音声データと共に、実写３Ｄモデルへの切り替え指示を送信するようにしてもよい。この場合、ユーザ端末１０の仮想空間画像表示制御部１２１は、配信サーバ２０から受信した仮想空間におけるユーザ視点の画像に映る演者アバターの表示を、予め取得した実写３Ｄモデルに切り替える（合成する）処理を行って表示する。予め取得した実写３Ｄモデルのデータは経時データであるため、仮想空間画像表示制御部１２１は、例えばイベント開始からの経過時刻の情報に基づいて、時刻が同期された実写３Ｄモデルの画像を合成することが可能である。
【0090】
また、演者のキャラクター３Ｄモデルのデータとモーションデータを予め（イベント開始前に）ユーザ端末１０にダウンロードしてもよい。配信サーバ２０は、仮想空間におけるユーザ視点の画像（演者アバターの表示は含まれない）および音声データと共に、仮想空間における演者の位置（ステージ上の演者アバターの位置）を示す情報（例えば演者ＩＤおよび３次元座標情報）を送信し、ユーザ端末１０において、受信した仮想空間におけるユーザ視点の画像に、演者アバターの表示（キャラクター３Ｄモデルまたは実写３Ｄモデル）を重畳表示するようにしてもよい。
【0091】
以上、本実施形態による収録配信時の動作処理について説明した。なお図６に示す動作処理は一例であって、本開示は図６に示す例に限定されない。例えば、本開示は、図６に示すステップの順序に限定されない。少なくともいずれかのステップが並列に処理されてもよいし、逆の順番で処理されてもよい。また、図６に示す全ての処理が必ずしも実行されてなくともよい。
【0092】
例えば、実写３Ｄモデルのデータを予めユーザ端末１０にダウンロードさせることをせず、実写３Ｄモデルに切り替える制御を行う間だけ、配信サーバ２０が仮想空間におけるユーザ視点の画像および音声データと共にユーザ端末１０に実写３Ｄモデルのデータを送信してもよい。この場合、ユーザ端末１０において、ユーザ視点の画像に映る演者アバターの表示を、受信した実写３Ｄモデルに切り替える（合成する）処理を行い、表示する。
【0093】
また、上述した動作処理では配信サーバ２０において、仮想空間におけるユーザ視点の画像を生成しているが、本開示はこれに限定されない。例えば、仮想空間を構築するための情報（ＶＲイベントのデータを含む）を事前に（イベント開始前に）ユーザ端末１０がダウンロードし、ユーザ端末１０において、仮想空間におけるユーザ視点の画像を生成するようにしてもよい。また、この際、ユーザ端末１０は、ユーザの入力情報（ユーザアバターのモーションデータ等）を継続的に配信サーバ２０に送信し、配信サーバ２０からは他ユーザアバターのモーションデータ等を受信するようにしてもよい。これにより、イベント会場における各ユーザアバターのリアルタイムの動き等が、イベントの全参加者に共有される。
【0094】
＜＜４．変形例＞＞
＜４－１．切り替え制御をユーザ端末で行う場合＞
上述した実施形態では、図３を参照して説明したように、演者アバターの表示の切り替えを配信サーバ２０で制御する旨を述べたが、本開示はこれに限定されない。例えば、演者アバターの表示の切り替えはユーザ端末１０で行ってもよい。以下、本実施形態の変形例によるユーザ端末１０’について説明する。
＜４－１．切り替え制御をユーザ端末で行う場合＞
上述した実施形態では、図３を参照して説明したように、演者アバターの表示の切り替えを配信サーバ２０で制御する旨を述べたが、本開示はこれに限定されない。例えば、演者アバターの表示の切り替えはユーザ端末１０で行ってもよい。以下、本実施形態の変形例によるユーザ端末１０’について説明する。
【0095】
（構成例）
図７は、本実施形態の変形例によるユーザ端末１０’の構成の一例を示すブロック図である。図７に示す構成は、図４を参照して構成に対して、仮想空間画像表示制御部１２１および演者表示切り替え制御部１２２としても機能する制御部１２０’を備える点が異なる。その他の構成は図４と同様であるため、ここでの詳細な説明は省略する。
図７は、本実施形態の変形例によるユーザ端末１０’の構成の一例を示すブロック図である。図７に示す構成は、図４を参照して構成に対して、仮想空間画像表示制御部１２１および演者表示切り替え制御部１２２としても機能する制御部１２０’を備える点が異なる。その他の構成は図４と同様であるため、ここでの詳細な説明は省略する。
【0096】
演者表示切り替え制御部１２２は、図３を参照して説明した演者表示切り替え制御部２２３と同様に、仮想空間における演者アバターを、キャラクター３Ｄモデルで表示するか、実写３Ｄモデルで表示するかの切り替えを制御する。切り替えは、ユーザからの指示に従って行われてもよいし、配信者側からの指示に従って行われてもよい。また、演者表示切り替え制御部１２２は、仮想空間における１以上のユーザアバターの状況や、仮想空間で行われるイベントの状況に応じて、自動的に切り替えを制御してもよい。これらのより詳細な具体例は、上述の通りである。
【0097】
【0098】
【0099】
続いて、配信サーバ２０は、仮想空間のユーザ視点の画像（映像データ）および音声データをユーザ端末１０に送信する（ステップＳ３２４）。この際、配信サーバ２０は、イベント会場にいる全てのユーザアバターの情報や、イベント状況に関する情報など、後述する切り替え制御で用いられる情報も送信してもよい。なお、配信サーバ２０からユーザ端末１０へのユーザ視点の画像の送信は、所謂ライブストリーミング配信であってもよい。このとき、例えば演者アバターの表示のデフォルトがキャラクター３Ｄモデルの場合、ライブストリーミング配信されるユーザ視点の画像は、演者アバターとしてキャラクター３Ｄモデルが表示される。また、配信サーバ２０は、適宜ユーザ端末１０’側で演者アバターの表示の切り替えが行えるよう、実写３Ｄモデルのデータも併せてライブストリーミング配信してもよい。
【0100】
次に、ユーザ端末１０の演者表示切り替え制御部１２２は、仮想空間におけるユーザアバターやイベントの状況を検出する（ステップＳ３２７）。
【0101】
次いで、演者表示切り替え制御部１２２は、検出結果が条件を満たす場合、演者アバターの表示の切り替え（実写３Ｄモデルとキャラクター３Ｄモデルとの切り替え）を行う（ステップＳ３３０）。具体的には、演者表示切り替え制御部１２２は、配信サーバ２０から受信したユーザ視点の画像に含まれる演者アバターの表示を、実写３Ｄモデルからキャラクター３Ｄモデル、または、キャラクター３Ｄモデルから実写３Ｄモデルに切り替える処理を行う。例えば配信サーバ２０からは、演者のモーションデータ（キャラクター３Ｄモデルに適用するデータ）および実写３Ｄモデルのデータがリアルタイムで配信され、ユーザ端末１０は、適宜演者アバターの表示を切り替えることが可能である。演者のキャラクター３Ｄモデルのデータは、ユーザ端末１０に予めダウンロードされる。
【0102】
なお、ここでは一例として仮想空間におけるユーザアバターやイベントの状況を検出して演者アバターの表示切り替えを行う場合について説明しているが、演者表示切り替え制御部１２２は、ユーザからの操作指示に従って切り替えてもよい。また、検出結果が条件を満たさない場合は、演者アバターの表示の切り替えは行わない。例えばデフォルトがキャラクター３Ｄモデルの場合は、キャラクター３Ｄモデルの表示としてもよい。
【0103】
そして、ユーザ端末１０の仮想空間画像表示制御部１２１は、仮想空間におけるユーザ視点の画像の表示と、音声データの出力とを行う（ステップＳ３３３）。
【0104】
【0105】
例えば、ステップＳ３２１に示す処理は、ユーザ端末１０の仮想空間画像表示制御部１２１で行ってもよい。具体的には、ユーザ端末１０は、予め仮想空間を構築するための情報を配信サーバ２０からダウンロードして、ローカルで仮想空間を構築し、ローカルにおいてユーザ視点の画像を生成することも可能である。配信サーバ２０からは、仮想空間で実施されるイベントの情報（演者の３次元位置情報、演者のモーションデータ、演者の実写３Ｄモデル、演出に関する情報、音声データ等）がリアルタイムで継続的に配信され、ユーザ端末１０がローカルで構築した仮想空間と同期する。また、ユーザ端末１０は、ユーザの入力情報（ユーザアバターのモーションデータ等）を継続的に配信サーバ２０に送信し、配信サーバ２０からは他ユーザアバターのモーションデータ等を受信するようにしてもよい。これによりイベント会場における各ユーザアバターのリアルタイムの動き等がイベントの全参加者に共有される。そして、演者表示切り替え制御部１２２は、ユーザの操作指示や、ユーザアバターの状況、イベントの状況等に応じて、演者アバターの表示の切り替えをローカルで判断する。仮想空間画像表示制御部１２１は、演者表示切り替え制御部１２２の判断に従って演者アバターの表示を切り替えた上で、仮想空間におけるユーザ視点の画像の生成処理を行い、表示制御する。
【0106】
＜４－２．ＡＲへの適用＞
上記実施形態は、一例としてＶＲコンテンツにおける演者アバターの表示の切り替えについて説明したが、を想定して述べたが、本開示は、ＡＲ（Augmented Reality）やＭＲ（Mixed Reality）に適用することも可能である。
上記実施形態は、一例としてＶＲコンテンツにおける演者アバターの表示の切り替えについて説明したが、を想定して述べたが、本開示は、ＡＲ（Augmented Reality）やＭＲ（Mixed Reality）に適用することも可能である。
【0107】
例えば演者の実写映像と、当該演者に対応するキャラクター映像がサーバからユーザ端末に配信されるシステムを想定する。かかるシステムにおいて、まず、演者の実写映像またはキャラクター映像のいずれかが第１のユーザ端末（例えばテレビ装置、ＰＣ、スクリーン等）のディスプレイに表示される。次いで、ユーザが、第２のユーザ端末（例えばスマートフォンやタブレット端末、透過型のメガネ型デバイス等）を第１のユーザ端末にかざし、第１のユーザ端末のディスプレイの撮像画像をスルー表示する。そして、第２のユーザ端末のスルー表示において、第１のユーザ端末のディスプレイに映る演者の実写映像に、対応するキャラクター映像を重畳表示する。若しくは、第２のユーザ端末のスルー表示において、第１のユーザ端末のディスプレイに映るキャラクター映像に、対応する演者の実写映像を重畳表示する。このように、ユーザの好みに応じてその場でコンテンツ上のオブジェクト切り替えを行えることが可能となる。なお、演者が複数居る場合、演者の立ち位置等の位置情報に基づいて、演者の実写映像やキャラクター映像を対応付けてもよい。
【0108】
なお、スマートフォン等を対象にかざして演者の実写映像またはキャラクター映像を重畳表示する制御は、仮想空間内においても実現し得る。例えば仮想空間内においてイベントを視聴している際に、ユーザアバターが仮想スマートフォン等（３Ｄオブジェクト）をステージにかざすと、仮想スマートフォンの表示画面に実写映像またはキャラクター映像が表示されるようにしてもよい。
【0109】
＜＜５．補足＞＞
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【0110】
例えば、ＶＲイベントの配信における配信サーバ２０側での処理負荷や配信サーバ２０とユーザ端末１０の間の通信負荷（遅延）等を考慮し、ＶＲイベントのデータのうち一部のデータを予めユーザ端末１０にダウンロードしておいてもよい。また、処理負担等を考慮して、上述した配信サーバ２０で行われる行われる各処理の少なくとも一部をユーザ端末１０で実施するようにしてもよい。本開示によるシステムを実現するために、どの装置がどのようなデータを有し、どの処理をどこで行うかについては様々なバリエーションが想定され、上述した例には限定されない。
【0111】
また、上述したユーザ端末１０、ユーザ端末１０’、または配信サーバ２０に内蔵されるＣＰＵ、ＲＯＭ、およびＲＡＭ等のハードウェアに、ユーザ端末１０、ユーザ端末１０’、または配信サーバ２０の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させたコンピュータ読み取り可能な記憶媒体も提供される。
【0112】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【0113】
なお、本技術は以下のような構成も取ることができる。
（１）
仮想空間におけるユーザ視点の画像に関する情報を出力する制御を行う制御部を備え、
前記制御部は、
前記仮想空間内での１以上のユーザの状況、または前記仮想空間の状況の検出結果に応じて、前記画像に含まれる演者に対応する表示を、前記演者の撮像画像に基づいて生成される実写画像と当該演者に対応するキャラクター画像とで切り替える制御を行う、情報処理装置。
（２）
前記仮想空間内での１以上のユーザの状況は、前記仮想空間で実施されるイベントに参加している１以上のユーザアバターに関する状況である、前記（１）に記載の情報処理装置。
（３）
前記仮想空間の状況は、前記仮想空間で実施されるイベントにおける特定の状況である、前記（１）または（２）に記載の情報処理装置。
（４）
前記イベントにおける特定の状況は、特定の演出の発生、または、楽曲における特定の時間帯である、前記（３）に記載の情報処理装置。
（５）
前記制御部は、前記１以上のユーザの状況、および前記仮想空間の状況の少なくともいずれかが条件を満たした場合、前記演者に対応する表示を、前記実写画像または前記キャラクター画像に切り替える、前記（１）～（４）のいずれか１項に記載の情報処理装置。
（６）
前記実写画像は、前記演者の三次元情報を含む実写画像であって、
前記キャラクター画像は、前記演者の三次元のモーションキャプチャデータに基づいて動くキャラクター画像である、前記（１）～（５）のいずれか１項に記載の情報処理装置。
（７）
前記制御部は、前記仮想空間においてリアルタイムに実施されるイベント、または、前記仮想空間において事前に収録されたイベントにおいて、前記ユーザ視点の画像に関する情報を出力する制御を行う、前記（１）～（６）のいずれか１項に記載の情報処理装置。
（８）
前記制御部は、前記ユーザ視点の画像に関する情報を、ユーザ端末に出力する制御を行う、前記（１）～（７）のいずれか１項に記載の情報処理装置。
（９）
前記制御部は、前記ユーザ視点の画像に含まれる演者に対応する表示の切り替えを、前記仮想空間で実施されるイベントに参加しているユーザ毎に、または、全てのユーザに対して一律に切り替える、前記（１）～（８）のいずれか１項に記載の情報処理装置。
（１０）
前記制御部は、仮想空間の情報を配信するサーバから受信した情報に基づいて、前記仮想空間におけるユーザ視点の画像を表示部に表示出力する制御を行う、前記（１）～（７）のいずれか１項に記載の情報処理装置。
（１１）
前記制御部は、前記ユーザ視点の画像に含まれる演者に対応する表示を、ユーザからの操作指示に基づいて前記実写画像と前記キャラクター画像とで切り替える制御を行う、前記（１０）に記載の情報処理装置。
（１２）
プロセッサが、
仮想空間におけるユーザ視点の画像に関する情報を出力する制御を行うことを含み、
さらに、前記仮想空間内での１以上のユーザの状況、または前記仮想空間の状況の検出結果に応じて、前記画像に含まれる演者に対応する表示を、前記演者の撮像画像に基づいて生成される実写画像と当該演者に対応するキャラクター画像とで切り替える制御を行うことを含む、情報処理方法。
（１３）
コンピュータを、
仮想空間におけるユーザ視点の画像に関する情報を出力する制御を行う制御部として機能させ、
前記制御部は、
前記仮想空間内での１以上のユーザの状況、または前記仮想空間の状況の検出結果に応じて、前記画像に含まれる演者に対応する表示を、前記演者の撮像画像に基づいて生成される実写画像と当該演者に対応するキャラクター画像とで切り替える制御を行う、プログラム。
（１４）
仮想空間の情報を配信するサーバと、前記仮想空間におけるユーザ視点の画像を表示するユーザ端末と、を備え、
前記サーバは、
前記ユーザ視点の画像に関する情報を前記ユーザ端末に送信する制御を行う制御部を有し、
前記制御部は、
前記仮想空間内での１以上のユーザの状況、または前記仮想空間の状況の検出結果に応じて、前記画像に含まれる演者に対応する表示を、前記演者の撮像画像に基づいて生成される実写画像と当該演者に対応するキャラクター画像とで切り替える制御を行う、システム。
（１）
仮想空間におけるユーザ視点の画像に関する情報を出力する制御を行う制御部を備え、
前記制御部は、
前記仮想空間内での１以上のユーザの状況、または前記仮想空間の状況の検出結果に応じて、前記画像に含まれる演者に対応する表示を、前記演者の撮像画像に基づいて生成される実写画像と当該演者に対応するキャラクター画像とで切り替える制御を行う、情報処理装置。
（２）
前記仮想空間内での１以上のユーザの状況は、前記仮想空間で実施されるイベントに参加している１以上のユーザアバターに関する状況である、前記（１）に記載の情報処理装置。
（３）
前記仮想空間の状況は、前記仮想空間で実施されるイベントにおける特定の状況である、前記（１）または（２）に記載の情報処理装置。
（４）
前記イベントにおける特定の状況は、特定の演出の発生、または、楽曲における特定の時間帯である、前記（３）に記載の情報処理装置。
（５）
前記制御部は、前記１以上のユーザの状況、および前記仮想空間の状況の少なくともいずれかが条件を満たした場合、前記演者に対応する表示を、前記実写画像または前記キャラクター画像に切り替える、前記（１）～（４）のいずれか１項に記載の情報処理装置。
（６）
前記実写画像は、前記演者の三次元情報を含む実写画像であって、
前記キャラクター画像は、前記演者の三次元のモーションキャプチャデータに基づいて動くキャラクター画像である、前記（１）～（５）のいずれか１項に記載の情報処理装置。
（７）
前記制御部は、前記仮想空間においてリアルタイムに実施されるイベント、または、前記仮想空間において事前に収録されたイベントにおいて、前記ユーザ視点の画像に関する情報を出力する制御を行う、前記（１）～（６）のいずれか１項に記載の情報処理装置。
（８）
前記制御部は、前記ユーザ視点の画像に関する情報を、ユーザ端末に出力する制御を行う、前記（１）～（７）のいずれか１項に記載の情報処理装置。
（９）
前記制御部は、前記ユーザ視点の画像に含まれる演者に対応する表示の切り替えを、前記仮想空間で実施されるイベントに参加しているユーザ毎に、または、全てのユーザに対して一律に切り替える、前記（１）～（８）のいずれか１項に記載の情報処理装置。
（１０）
前記制御部は、仮想空間の情報を配信するサーバから受信した情報に基づいて、前記仮想空間におけるユーザ視点の画像を表示部に表示出力する制御を行う、前記（１）～（７）のいずれか１項に記載の情報処理装置。
（１１）
前記制御部は、前記ユーザ視点の画像に含まれる演者に対応する表示を、ユーザからの操作指示に基づいて前記実写画像と前記キャラクター画像とで切り替える制御を行う、前記（１０）に記載の情報処理装置。
（１２）
プロセッサが、
仮想空間におけるユーザ視点の画像に関する情報を出力する制御を行うことを含み、
さらに、前記仮想空間内での１以上のユーザの状況、または前記仮想空間の状況の検出結果に応じて、前記画像に含まれる演者に対応する表示を、前記演者の撮像画像に基づいて生成される実写画像と当該演者に対応するキャラクター画像とで切り替える制御を行うことを含む、情報処理方法。
（１３）
コンピュータを、
仮想空間におけるユーザ視点の画像に関する情報を出力する制御を行う制御部として機能させ、
前記制御部は、
前記仮想空間内での１以上のユーザの状況、または前記仮想空間の状況の検出結果に応じて、前記画像に含まれる演者に対応する表示を、前記演者の撮像画像に基づいて生成される実写画像と当該演者に対応するキャラクター画像とで切り替える制御を行う、プログラム。
（１４）
仮想空間の情報を配信するサーバと、前記仮想空間におけるユーザ視点の画像を表示するユーザ端末と、を備え、
前記サーバは、
前記ユーザ視点の画像に関する情報を前記ユーザ端末に送信する制御を行う制御部を有し、
前記制御部は、
前記仮想空間内での１以上のユーザの状況、または前記仮想空間の状況の検出結果に応じて、前記画像に含まれる演者に対応する表示を、前記演者の撮像画像に基づいて生成される実写画像と当該演者に対応するキャラクター画像とで切り替える制御を行う、システム。
【符号の説明】
【0114】
１０ ユーザ端末
１２１ 仮想空間画像表示制御部
１２２ 演者表示切り替え制御部
２０ 配信サーバ
２２１ 仮想空間管理部
２２２ 仮想空間情報提供部
２２３ 演者表示切り替え制御部
１２１ 仮想空間画像表示制御部
１２２ 演者表示切り替え制御部
２０ 配信サーバ
２２１ 仮想空間管理部
２２２ 仮想空間情報提供部
２２３ 演者表示切り替え制御部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】