特許 7591163 情報処理システムおよび情報処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-19

(45)【発行日】2024-11-27

(54)【発明の名称】情報処理システムおよび情報処理方法

(51)【国際特許分類】

   H04N 21/854 20110101AFI20241120BHJP

   H04N 21/431 20110101ALI20241120BHJP

   H04N 21/41 20110101ALI20241120BHJP

   G06T 19/00 20110101ALI20241120BHJP

【ＦＩ】

H04N21/854

H04N21/431

H04N21/41

G06T19/00 300B

【請求項の数】 14

(21)【出願番号】P 2023566025

(86)(22)【出願日】2021-12-10

(86)【国際出願番号】 JP2021045525

(87)【国際公開番号】W WO2023105750

(87)【国際公開日】2023-06-15

【審査請求日】2024-04-30

【新規性喪失の例外の表示】特許法第３０条第２項適用 令和３年５月３１日 インターネット上で公開 ｈｔｔｐｓ：／／ｗｗｗ．ｓｏｎｙ．ｃｏｍ／ｊａ／ＳｏｎｙＩｎｆｏ／ｔｅｃｈｎｏｌｏｇｙ／ｓｔｏｒｉｅｓ／ｅｎｔｒｉｅｓ／ｌｉｖｅ＿ｍｕｓｉｃ＿ｅｘｐｅｒｉｅｎｃｅｓ／

(73)【特許権者】

【識別番号】310021766

【氏名又は名称】株式会社ソニー・インタラクティブエンタテインメント

(74)【代理人】

【識別番号】100105924

【弁理士】

【氏名又は名称】森下 賢樹

(74)【代理人】

【識別番号】100109047

【弁理士】

【氏名又は名称】村田 雄祐

(74)【代理人】

【識別番号】100109081

【弁理士】

【氏名又は名称】三木 友由

(74)【代理人】

【識別番号】100134256

【弁理士】

【氏名又は名称】青木 武司

(72)【発明者】

【氏名】今村 隆

【審査官】大西 宏

(56)【参考文献】

【文献】特開２０１９－１０２０９１（ＪＰ，Ａ）

【文献】特開２０２１－１５３９０１（ＪＰ，Ａ）

【文献】特開２０２１－０４７７２２（ＪＰ，Ａ）

【文献】特開２０１９－１３９６７３（ＪＰ，Ａ）

【文献】米国特許出願公開第２００９／００１３２６３（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２１／００ －２１／８５８

Ｇ０６Ｔ １９／００ －１９／２０

(57)【特許請求の範囲】

【請求項1】

所定のコンテンツの上演前に、前記コンテンツを視聴する複数のユーザが集まる仮想空間である第１ルームの映像を生成する第１生成部と、
前記コンテンツが上演される仮想空間である第２ルームの映像を生成する第２生成部と、
前記コンテンツの上演後に、前記複数のユーザが集まる仮想空間である第３ルームの映像を生成する第３映像生成部と、
前記第１ルームの映像、前記第２ルームの映像および前記第３ルームの映像を順次表示部に表示させる出力部と、
を備える情報処理システム。

【請求項2】

前記第１ルームにおいてユーザのアバターが実行可能な行動と、前記第３ルームにおいてユーザのアバターが実行可能な行動は異なる、
請求項１に記載の情報処理システム。

【請求項3】

前記第１生成部は、ユーザの操作に応じて、前記第１ルームの映像として、ユーザによる物品の購入を示す映像を生成し、
前記第２生成部は、ユーザの操作に応じて、前記第２ルームの映像として、前記第１ルームで購入された物品がユーザのアバターにより使用される映像を生成する、
請求項１または２に記載の情報処理システム。

【請求項4】

前記第１ルームで購入された物品は、前記コンテンツに登場する人物またはキャラクタと対応付けられており、
前記第２生成部は、前記第１ルームで購入された物品がユーザのアバターにより使用された場合、当該物品に対応付けられた人物またはキャラクタから当該ユーザに対するアクションを含む映像を生成する、
請求項３に記載の情報処理システム。

【請求項5】

前記第２ルームにおける或るユーザの行動に基づいて、前記第３ルームにおいて当該ユーザが実行可能な行動が変化する、
請求項１から４のいずれかに記載の情報処理システム。

【請求項6】

前記第３ルームでは、前記第２ルームで撮像されたユーザのアバターが写る画像を購入可能である、
請求項１から５のいずれかに記載の情報処理システム。

【請求項7】

前記第２ルームにおける各ユーザの位置を、ユーザのグループに基づいて決定する配置部をさらに備える、
請求項１から６のいずれかに記載の情報処理システム。

【請求項8】

前記配置部は、前記第２ルーム内の予め定められた固定位置に第１グループを配置し、前記第２ルーム内の他の位置に他のグループを配置した第１配置データを前記第１グループのユーザに割り当て、前記第２ルーム内の前記固定位置に第２グループを配置し、前記第２ルーム内の他の位置に他のグループを配置した第２配置データを前記第２グループのユーザに割り当て、前記第１配置データと前記第２配置データ間で前記第１グループと前記第２グループの位置関係が維持される、
請求項７に記載の情報処理システム。

【請求項9】

前記配置部は、前記第２ルーム内の予め定められた固定位置に第１グループを配置し、前記第２ルーム内の他の位置に他のグループを配置した第１配置データを前記第１グループのユーザに割り当て、前記第２ルーム内の前記固定位置に第２グループを配置し、前記第２ルーム内の他の位置に他のグループを配置した第２配置データを前記第２グループのユーザに割り当て、前記第２ルーム内の前記固定位置と前記コンテンツが上演される位置との間に少なくとも１つの他のグループを配置する、
請求項７に記載の情報処理システム。

【請求項10】

或るグループに属するユーザが発した音声のデータを、同じグループに属する他のユーザの装置に提供する一方、他のグループに属するユーザの装置には提供しない音声提供部をさらに備える、
請求項１から９のいずれかに記載の情報処理システム。

【請求項11】

前記第１ルーム、前記第２ルーム、前記第３ルームのうち少なくとも１つのルームには、前記複数のユーザをガイドするための特殊ユーザが設けられ、
前記音声提供部は、前記特殊ユーザが発した音声のデータを複数のグループのユーザの装置に提供する、
請求項１０に記載の情報処理システム。

【請求項12】

個々のユーザに紐付く仮想空間であって、ユーザのアバターが使用可能な物品が集まる仮想空間である第４ルームの映像を生成する第４生成部をさらに備え、
前記第１生成部は、前記第４ルームにおいて特定のコンテンツの視聴がユーザにより選択された場合、当該コンテンツに対応する前記第１ルームの映像を生成する、
請求項１から１１のいずれかに記載の情報処理システム。

【請求項13】

所定のコンテンツの上演前に、前記コンテンツを視聴する複数のユーザが集まる仮想空間である第１ルームの映像を生成するステップと、
前記コンテンツが上演される仮想空間である第２ルームの映像を生成するステップと、
前記コンテンツの上演後に、前記複数のユーザが集まる仮想空間である第３ルームの映像を生成するステップと、
前記第１ルームの映像、前記第２ルームの映像および前記第３ルームの映像を順次表示部に表示させるステップと、
をコンピュータが実行する情報処理方法。

【請求項14】

所定のコンテンツの上演前に、前記コンテンツを視聴する複数のユーザが集まる仮想空間である第１ルームの映像を生成する機能と、
前記コンテンツが上演される仮想空間である第２ルームの映像を生成する機能と、
前記コンテンツの上演後に、前記複数のユーザが集まる仮想空間である第３ルームの映像を生成する機能と、
前記第１ルームの映像、前記第２ルームの映像および前記第３ルームの映像を順次表示部に表示させる機能と、
をコンピュータに実現させるためのコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、データ処理技術に関し、特に情報処理システムおよび情報処理方法に関する。

【背景技術】

【0002】

ヘッドマウントディスプレイを装着したユーザが対象空間を自由な視点から鑑賞できる画像表示システムが普及している。例えば仮想３次元空間を表示対象とし、ユーザの視線方向に応じた画像がヘッドマウントディスプレイに表示されるようにすることで仮想現実（Virtual Reality：ＶＲ）を実現する電子コンテンツが知られている。ヘッドマウントディスプレイを利用することで、映像への没入感を高めたり、ゲーム等のアプリケーションの操作性を向上させたりすることもできる。

【0003】

現在、コンサート（例えばライブやフィルムコンサート）等の映像コンテンツをユーザの端末に配信し、その映像コンテンツをユーザに視聴させるサービスが提供されることがある。

【発明の概要】

【発明が解決しようとする課題】

【0004】

コンテンツを視聴するユーザの満足度を高めるために、コンテンツの質が重要であることはもちろんだが、コンテンツの上演前から上演後に亘るエンタテインメント性を向上させることも重要であると本発明者は考えた。

【0005】

本発明はこうした課題に鑑みてなされたものであり、１つの目的は、コンテンツの上演前から上演後に亘るエンタテインメント性を向上させる技術を提供することにある。

【課題を解決するための手段】

【0006】

上記課題を解決するために、本発明のある態様の情報処理システムは、所定のコンテンツの上演前に、コンテンツを視聴する複数のユーザが集まる仮想空間である第１ルームの映像を生成する第１生成部と、コンテンツが上演される仮想空間である第２ルームの映像を生成する第２生成部と、コンテンツの上演後に、複数のユーザが集まる仮想空間である第３ルームの映像を生成する第３映像生成部と、第１ルームの映像、第２ルームの映像および第３ルームの映像を順次表示部に表示させる出力部とを備える。

【0007】

本発明の別の態様は、情報処理方法である。この方法は、所定のコンテンツの上演前に、コンテンツを視聴する複数のユーザが集まる仮想空間である第１ルームの映像を生成するステップと、コンテンツが上演される仮想空間である第２ルームの映像を生成するステップと、コンテンツの上演後に、複数のユーザが集まる仮想空間である第３ルームの映像を生成するステップと、第１ルームの映像、第２ルームの映像および第３ルームの映像を順次表示部に表示させるステップとをコンピュータが実行する。

【0008】

なお、以上の構成要素の任意の組合せ、本発明の表現を、装置、コンピュータプログラム、コンピュータプログラムを読み取り可能に記録した記録媒体、データ構造などの間で変換したものもまた、本発明の態様として有効である。

【発明の効果】

【0009】

本発明によれば、コンテンツの上演前から上演後に亘るエンタテインメント性を向上させることができる。

【図面の簡単な説明】

【0010】

【図1】実施例のコンテンツ視聴システムの構成を示す図である。

【図2】図１のＨＭＤの外観例を示す図である。

【図3】図１のＨＭＤの内部回路構成を示す図である。

【図4】図１のＨＭＤの機能ブロックを示すブロック図である。

【図5】図１のサーバの機能ブロックを示すブロック図である。

【図6】コンテンツ視聴システムの動作を示すフローチャートである。

【図7】上演前ロビー映像の例を示す図である。

【図8】ライブ会場におけるグループ配置の例を示す図である。

【図9】ライブ会場におけるグループ配置の例を示す図である。

【図10】ライブ会場映像の例を示す図である。

【図11】ライブ会場映像の例を示す図である。

【図12】ライブ会場映像の例を示す図である。

【図13】上演後ロビー映像の例を示す図である。

【図14】上演後ロビーで提供される写真の例を示す図である。

【発明を実施するための形態】

【0011】

本開示におけるシステム、装置または方法の主体は、コンピュータを備えている。このコンピュータがプログラムを実行することによって、本開示における装置または方法の主体の機能が実現される。コンピュータは、プログラムにしたがって動作するプロセッサを主なハードウェア構成として備える。プロセッサは、プログラムを実行することによって機能を実現することができれば、その種類は問わない。プロセッサは、半導体集積回路（ＩＣ）、またはＬＳＩを含む１つまたは複数の電子回路で構成されてもよい。複数の電子回路は、１つのチップに集積されてもよいし、複数のチップに設けられてもよい。複数のチップは１つの装置に集約されていてもよいし、複数の装置に備えられていてもよい。プログラムは、コンピュータが読み取り可能なＲＯＭ、光ディスク、ハードディスクドライブなどの非一時的記録媒体に記録されてもよい。プログラムは、記録媒体に予め格納されていてもよいし、インターネット等を含む広域通信網を介して記録媒体に供給されてもよい。なお、本明細書または請求項中における「第１」、「第２」等の用語は、特に言及がない限り、いかなる順序や重要度を表すものでもなく、ある構成と他の構成とを区別するためのものである。

【0012】

実施例では、電子コンテンツの上演前、上演中、上演後の期間に亘る導線であり、現実空間でのイベント視聴に近い導線をユーザに提供することにより、斬新なユーザ体験を提供するコンテンツ視聴システムを提案する。実施例のコンテンツ視聴システムでは、複数のユーザの頭部に装着されたヘッドマウントディスプレイ（以下「ＨＭＤ」とも呼ぶ。）に映像コンテンツを配信し、複数のユーザに映像コンテンツを同時に視聴させる。

【0013】

図１は、実施例のコンテンツ視聴システム１０の構成を示す。コンテンツ視聴システム１０は、複数のユーザにより使用される複数のＨＭＤ１００（図１にはＨＭＤ１００ａ～ＨＭＤ１００ｆを示している）と、サーバ１２とを備える。これらの装置は、ＬＡＮ・ＷＡＮ・インターネット等を含み得る通信網１４を介して接続される。

【0014】

サーバ１２は、映像コンテンツをＨＭＤ１００に配信し、また、映像コンテンツの視聴に関する各種演出を制御する情報処理装置である。サーバ１２が配信する映像コンテンツは、様々なカテゴリ・ジャンルの動画を含み得るが、実施例では、サーバ１２は、コンサートの様子を撮影した映像コンテンツ（以下「ライブ映像」と呼ぶ。）を配信することとする。サーバ１２の詳細な説明は後述する。

【0015】

ＨＭＤ１００は、ユーザの頭部に装着され、ＶＲ画像を表示するヘッドマウントディスプレイ装置である。ＨＭＤ１００で表示されるＶＲ空間には、サーバ１２から提供されたライブ映像が表示され、また、ライブ映像の上演前、上演中、上演後の期間に亘って複数のユーザのアバター（キャラクタとも言える）が表示される。

【0016】

図２は、図１のＨＭＤ１００の外観例を示す。ＨＭＤ１００は、出力機構部１０２および装着機構部１０４で構成される。装着機構部１０４は、ユーザが被ることにより頭部を一周し装置の固定を実現する装着バンド１０６を含む。

【0017】

出力機構部１０２は、ＨＭＤ１００をユーザが装着した状態において左右の目を覆うような形状の筐体１０８を含み、内部には装着時に目に正対するように表示パネルを備える。実施例のＨＭＤ１００の表示パネルは、透過性がないものとする。すなわち、実施例のＨＭＤ１００は、光不透過型のヘッドマウントディスプレイである。

【0018】

筐体１０８内部にはさらに、ＨＭＤ１００の装着時に表示パネルとユーザの目との間に位置し、ユーザの視野角を拡大する接眼レンズを備えてよい。ＨＭＤ１００はさらに、装着時にユーザの耳に対応する位置にスピーカーやイヤホンを備えてよい。また、ＨＭＤ１００は、モーションセンサを内蔵し、ＨＭＤ１００を装着したユーザの頭部の並進運動や回転運動、ひいては各時刻の位置や姿勢を検出する。

【0019】

また、ＨＭＤ１００は、筐体１０８の前面にステレオカメラ１１０を備える。ステレオカメラ１１０は、ユーザの視線に対応する視野で周囲の実空間を動画撮影する。撮影した画像を即時に表示させれば、ユーザが向いた方向の実空間の様子がそのまま見える、いわゆるビデオシースルーを実現できる。さらに撮影画像に写っている実物体の像上に仮想オブジェクトを描画すれば拡張現実（Augmented Reality：ＡＲ）を実現できる。

【0020】

図３は、図１のＨＭＤ１００の内部回路構成を示す。ＨＭＤ１００は、ＣＰＵ１２０、ＧＰＵ１２１、メインメモリ１２２、ストレージ１２３、表示部１２４、音声出力部１２６を含む。これらの各部はバス１２８を介して相互に接続されている。バス１２８にはさらに入出力インターフェース１３０が接続されている。入出力インターフェース１３０には、無線通信のインターフェースを含む通信部１３２、モーションセンサ１３４、マイク１３６、およびステレオカメラ１１０が接続される。

【0021】

ＣＰＵ１２０は、バス１２８を介してＨＭＤ１００の各部から取得した情報を処理するとともに、サーバ１２から取得した動画データや音声データを表示部１２４や音声出力部１２６に供給する。ＧＰＵ１２１は、ＣＰＵ１２０の指示に基づいて画像処理を実行する。例えば、ＧＰＵ１２１は、表示部１２４に表示させるＶＲ空間を示すＶＲ画像のデータを生成する。

【0022】

メインメモリ１２２は、ＣＰＵ１２０およびＧＰＵ１２１における処理に必要なプログラムやデータを格納する。ストレージ１２３は、サーバ１２から配信されるライブ映像を視聴するためのアプリケーションプログラム（以下「ライブ視聴Ａｐｐ」）とも呼ぶ。）を記憶する。

【0023】

表示部１２４は、液晶パネルや有機ＥＬパネルなどの表示パネルを含み、ＨＭＤ１００を装着したユーザの眼前に画像を表示する。表示部１２４は、左右の目に対応する領域に一対のステレオ画像を表示することにより立体視を実現してもよい。表示部１２４はさらに、ＨＭＤ１００装着時に表示パネルとユーザの目との間に位置し、ユーザの視野角を拡大する一対のレンズを含んでもよい。

【0024】

音声出力部１２６は、ＨＭＤ１００の装着時にユーザの耳に対応する位置に設けたスピーカーやイヤホンで構成され、ユーザに音声を聞かせる。

【0025】

通信部１３２は、ＵＳＢやＩＥＥＥ１３９４などの周辺機器インターフェースや、有線ＬＡＮまたは無線ＬＡＮ等のネットワークインターフェースを含む。通信部１３２は、アクセスポイント（不図示）を介して、サーバ１２との間でデータを送受信する。例えば、通信部１３２は、Ｗｉ－Ｆｉ（登録商標）などの既知の無線通信技術を用いてアクセスポイントと接続し、アクセスポイントを介してサーバ１２と通信してもよい。また、通信部１３２は、既知の無線通信技術を用いて、ユーザの手に把持されたコントローラ（不図示）と通信する。

【0026】

モーションセンサ１３４は、ジャイロセンサおよび加速度センサを含み、ＨＭＤ１００の角速度や加速度を取得する。マイク１３６は、ユーザの周囲の音声およびユーザが発した音声を受け止め、その音声を電気信号（「音声データ」とも呼ぶ。）に変換する。

【0027】

ステレオカメラ１１０は、図２で示したとおり、ユーザの視点に対応する視野で周囲の実空間を左右の視点から撮影するビデオカメラの対である。ステレオカメラ１１０により撮像された画像であり、ユーザの周囲空間を映した画像を以下「カメラ画像」とも呼ぶ。カメラ画像は、ユーザの視線方向（典型的にはユーザの正面）に存在する物体が映る画像とも言える。モーションセンサ１３４による計測値や、ステレオカメラ１１０による撮影画像（カメラ画像）のデータは、必要に応じて、通信部１３２を介してサーバ１２へ送信される。なお、ＨＭＤ１００に搭載されるカメラ台数に制限はなく、１台のカメラが搭載されてもよく、３台以上のカメラが搭載されてもよい。

【0028】

図４は、図１のＨＭＤ１００の機能ブロックを示すブロック図である。本明細書のブロック図で示す複数の機能ブロックは、ハードウェア的には、コンピュータのプロセッサ（ＣＰＵやＧＰＵ等）、メモリ、ストレージ等の構成で実現でき、ソフトウェア的には、複数の機能ブロックの機能を実装したコンピュータプログラムにより実現できる。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

【0029】

ＨＭＤ１００は、制御部２０、記憶部２２、通信部１３２を備える。制御部２０は、ＣＰＵ１２０およびＧＰＵ１２１により実現されてもよく、各種データ処理を実行する。制御部２０は、通信部１３２を介して、外部装置（例えばコントローラやサーバ１２）とデータを送受信する。記憶部２２は、メインメモリ１２２およびストレージ１２３により実現されてもよく、制御部２０により参照または更新されるデータを記憶する。

【0030】

記憶部２２は、ルームデータ記憶部２４、物品データ記憶部２６、ユーザデータ記憶部２８を含む。ルームデータ記憶部２４は、ライブ映像の上演前から上演後に亘る複数の仮想空間に関するデータ（「ルームデータ」とも呼ぶ。）を記憶する。ルームデータは、例えば、各仮想空間のレイアウトや形状、模様、色彩等を規定したデータを含む。

【0031】

実施例における複数の仮想空間は、第１ルームとしての上演前ロビーと、第２ルームとしてのライブ会場と、第３ルームとしての上演後ロビーを含む。上演前ロビーは、ライブ映像の上演前に、ライブ映像を視聴する複数のユーザが集まる仮想空間である。例えば、ユーザは、上演前ロビーにおいて、同じグループの仲間とボイスチャットを行いつつ、ライブの楽しみ方（振り付けや応援方法等）を予習する。

【0032】

ライブ会場は、ライブ映像が上演され、複数のユーザがライブ映像を視聴する仮想空間である。上演後ロビーは、ライブ映像の上演後に、ライブ映像を視聴した複数のユーザが集まる仮想空間である。例えば、ユーザは、上演後ロビーにおいて、同じグループの仲間とライブの感想等をボイスチャットで語り合い、ライブの余韻を楽しむ。上演前ロビーと上演後ロビーは、同じロビーとしての仮想空間であってもよく、レイアウトや形状、模様、色彩等が同じであってもよい。

【0033】

また、上演前ロビー、ライブ会場、上演後ロビーのそれぞれに、複数のユーザに対応する複数のアバターが登場する。実施例では、上演前ロビーにおいてユーザのアバターが実行可能な行動と、上演後ロビーにおいてユーザのアバターが実行可能な行動は異なる。具体的には、上演前ロビーでは、ユーザの操作に応じて、ユーザのアバターは、ライブ応援用のアイテムを購入でき、また、手拍子やアイテムを用いて、ライブの振り付けや応援の練習を行うことができる。一方、上演後ロビーでは、ユーザの操作に応じて、ユーザのアバターは、ライブの様子を写した写真の閲覧や購入ができる。

【0034】

物品データ記憶部２６は、ユーザが購入可能な仮想の物品であり、ユーザのアバターが使用可能な複数の物品に関するデータ（「物品データ」とも呼ぶ。）を記憶する。物品データは、例えば、物品の価格や演出（エフェクト等）を規定したデータ、物品が応援する演者を規定するデータを含む。

【0035】

ユーザデータ記憶部２８は、ＨＭＤ１００を装着するユーザに関するデータ（「ユーザデータ」とも呼ぶ。）を記憶する。ユーザデータは、例えば、ユーザの識別情報や、ユーザが属するグループの識別情報、ユーザが所有する（購入した）物品のデータを含む。なお、実施例では、１つのグループに最大４人のユーザが所属可能である。

【0036】

制御部２０は、操作受付部３０、位置姿勢検出部３２、ルーム切替部３４、アバター動作決定部３６、購入処理部３８、映像生成部４０、動画取得部４８、映像出力制御部５０、音声受付部５２、サーバ連携部５４、音声出力制御部５６、写真保存部５８を含む。これら複数の機能ブロックの機能が、ライブ視聴Ａｐｐに実装されてもよい。ＨＭＤ１００のプロセッサ（ＣＰＵ１２０およびＧＰＵ１２１）は、ライブ視聴Ａｐｐをメインメモリ１２２に読み出して実行することにより、制御部２０の複数の機能ブロックの機能を発揮してもよい。

【0037】

操作受付部３０は、コントローラから送信された、ユーザがコントローラに入力した操作を示すデータを受け付ける。操作受付部３０は、ユーザの操作を示すデータを制御部２０の各機能ブロックに渡す。

【0038】

位置姿勢検出部３２は、モーションセンサ１３４により検知されたＨＭＤ１００の角速度や加速度、および、ステレオカメラ１１０により撮影されたＨＭＤ１００の周囲の画像に基づいて、ＨＭＤ１００を装着したユーザの頭部の位置や姿勢を検出する。位置姿勢検出部３１はさらに、ユーザの頭部の位置や姿勢に基づいて、ユーザの視点の位置や視線方向を検出する。

【0039】

ルーム切替部３４は、表示対象の仮想空間であり、言い換えれば、映像生成対象の仮想空間を切り替える処理を実行する。例えば、ルーム切替部３４は、ライブ映像の上演タイミングに達する前、上演前ロビー映像を生成するよう映像生成部４０に指示する。また、ルーム切替部３４は、サーバ１２からの指示に応じて、上演前ロビー映像に代えてライブ会場映像を生成するよう映像生成部４０に指示する。また、ルーム切替部３４は、サーバ１２からの指示に応じて、ライブ会場映像に代えて上演後ロビー映像を生成するよう映像生成部４０に指示する。

【0040】

アバター動作決定部３６は、操作受付部３０で受け付けられたユーザの操作、および、位置姿勢検出部３２で検出されたユーザの頭部の位置や姿勢に基づいて、当該ユーザのアバターがとるべき姿勢や動作、行動を決定する。

【0041】

購入処理部３８は、操作受付部３０で受け付けられたユーザの操作に基づいて、物品の購入処理を実行する。例えば、購入処理部３８は、外部の決済システムと連携して、上演前ロビーにてユーザが購入した物品の代金を、ユーザが予め登録した決済手段情報（例えばクレジットカード番号）を用いて決済してもよい。

【0042】

映像生成部４０は、仮想空間の映像データを生成する。映像生成部４０は、第１生成部４２、第２生成部４４、第３生成部４６を含む。第１生成部４２は、ルームデータ記憶部２４に記憶された上演前ロビーに関するデータを用いて、上演前ロビーの映像データを生成する。第２生成部４４は、ルームデータ記憶部２４に記憶されたライブ会場に関するデータを用いて、ライブ会場の映像データを生成する。第３生成部４６は、ルームデータ記憶部２４に記憶された上演後ロビーに関するデータを用いて、上演後ロビーの映像データを生成する。

【0043】

映像出力制御部５０は、第１生成部４２により生成された上演前ロビーの映像データ、第２生成部４４により生成されたライブ会場の映像データ、および第３生成部４６により生成された上演後ロビーの映像データを順次表示部１２４へ出力する。映像出力制御部５０は、上演前ロビー映像、ライブ会場の映像および上演後ロビー映像を順次表示部１２４に表示させる。

【0044】

動画取得部４８は、サーバ１２から送信されたライブ映像の動画データを受け付ける。第２生成部４４は、動画取得部４８が受け付けたライブ映像の動画データをライブ会場に設けられたスクリーン部に設定する。

【0045】

音声受付部５２は、マイク１３６から入力された音声データを受け付ける。サーバ連携部５４は、サーバ１２とデータを送受信する。具体的には、サーバ連携部５４は、マイク１３６から入力されたユーザの音声データをサーバ１２へ送信する。サーバ連携部５４は、アバター動作決定部３６により決定されたユーザのアバターの姿勢、動作、行動を示すデータをサーバ１２へさらに送信する。

【0046】

また、サーバ連携部５４は、サーバ１２から送信された他ユーザ（実施例では同じグループ内の他ユーザ）の音声データを受け付け、音声出力制御部５６に渡す。音声出力制御部５６は、サーバ１２から送信された他ユーザの音声データが示す音声を音声出力部１２６から出力させる。

【0047】

また、サーバ連携部５４は、サーバ１２から送信された他ユーザのアバターの姿勢、動作、行動を示すデータを受け付け、映像生成部４０に渡す。映像生成部４０の第１生成部４２、第２生成部４４、第３生成部４６のそれぞれは、アバター動作決定部３６により決定されたユーザのアバターの姿勢、動作、行動をＶＲ映像に反映させ、また、サーバ１２から送信された他ユーザのアバターの姿勢、動作、行動をＶＲ映像に反映させる。これにより、ユーザ（ローカル環境のユーザ）の姿勢や動作、操作に応じてユーザのアバターを動作させ、他のユーザ（リモート環境のユーザ）の姿勢や動作、操作に応じて他のユーザのアバターを動作させる。

【0048】

写真保存部５８は、ユーザの操作に応じて、ライブまたはライブ会場を写した写真のデータを記憶部２２（例えば写真記憶部）に格納する。

【0049】

図５は、図１のサーバ１２の機能ブロックを示すブロック図である。サーバ１２は、制御部６０、記憶部６２、通信部６４を備える。制御部６０は、各種データ処理を実行する。記憶部６２は、制御部６０により参照または更新されるデータを記憶する。通信部６４は、所定の通信プロトコルにしたがって外部装置と通信する。制御部６０は、通信部６４を介して、ＨＭＤ１００とデータを送受信する。

【0050】

記憶部６２は、動画データ記憶部６６とユーザデータ記憶部６８を含む。動画データ記憶部６６は、サーバ１２がＨＭＤ１００に配信する様々な動画データ（実施例ではライブ映像の動画データを含む）を記憶する。

【0051】

ユーザデータ記憶部６８は、映像コンテンツの配信先である複数のユーザであり、複数のグループに亘る複数のユーザに関するデータを記憶する。各ユーザのデータは、例えば、ユーザの識別情報や、ユーザが属するグループの識別情報、ユーザが視聴する映像コンテンツの識別情報を含む。

【0052】

制御部６０は、演出実行部７０、配置部７２、動画配信部７４、行動データ受付部７６、行動データ提供部７８、音声データ受付部８０、音声データ提供部８２を含む。これら複数の機能ブロックの機能が、コンピュータプログラムに実装され、サーバ１２のストレージにインストールされてもよい。サーバ１２のプロセッサ（ＣＰＵ等）は、上記コンピュータプログラムをメインメモリに読み出して実行することにより、制御部６０の複数の機能ブロックの機能を発揮してもよい。

【0053】

演出実行部７０は、上演前ロビー、ライブ会場および上演後ロビーにおける演出を決定する。演出実行部７０は、ライブ映像を視聴する複数のユーザそれぞれのＨＭＤ１００に対して、決定した演出内容を示すデータを送信する。

【0054】

配置部７２は、ライブ映像を視聴する複数のユーザそれぞれの位置を、ユーザデータ記憶部６８に記憶された各ユーザが属するグループに基づいて決定する。言い換えれば、配置部７２は、ユーザのグループ単位で、仮想空間（実施例ではライブ会場）における各ユーザの位置を決定する。配置部７２は、各ユーザのＨＭＤ１００に対して、各ユーザの位置を示すデータを送信する。

【0055】

動画配信部７４は、ライブ映像を視聴する複数のユーザそれぞれのＨＭＤ１００に対して、動画データ記憶部６６に記憶されたライブ映像の動画データを送信する。ライブ映像の動画データは、ストリーミングにて転送および再生されてもよい。

【0056】

行動データ受付部７６は、ライブ映像を視聴する複数のユーザそれぞれのＨＭＤ１００から送信された、ユーザのアバターの姿勢、動作、行動を示すデータを受け付ける。行動データ提供部７８は、行動データ受付部７６が受け付けた或るユーザのアバターの姿勢、動作、行動を示すデータを、他のユーザのＨＭＤ１００へ送信する。

【0057】

音声データ受付部８０は、ライブ映像を視聴する複数のユーザそれぞれのＨＭＤ１００から送信された音声データを受け付ける。音声データ提供部８２は、ユーザデータ記憶部６８に記憶されたデータを参照して、音声データ受付部８０が受け付けた音声データの送信元ユーザが属するグループを識別する。音声データ提供部８２は、或るグループに属するユーザの音声データを、同じグループに属する他のユーザのＨＭＤ１００に送信する一方、他のグループに属するユーザのＨＭＤ１００には送信しない。

【0058】

以上の構成によるコンテンツ視聴システム１０の動作を説明する。
図６は、コンテンツ視聴システム１０の動作を示すフローチャートである。以下では、ユーザａがライブ映像を視聴する際の、ユーザａにより使用されるＨＭＤ１００ａとサーバ１２の動作を中心に説明するが、他のＨＭＤ１００もＨＭＤ１００ａと同様に動作する。ユーザａはグループＡに属し、グループＡには、ＨＭＤ１００ｂを使用するユーザｂ、ＨＭＤ１００ｃを使用するユーザｃ、ＨＭＤ１００ｄを使用するユーザｄがさらに所属する。また、ＨＭＤ１００ｅを使用するユーザｅと、ＨＭＤ１００ｆを使用するユーザｆは、グループＡと異なるグループＢに所属する。

【0059】

ユーザａは、ライブ視聴Ａｐｐの起動を指示する操作をＨＭＤ１００ａに入力し、ＨＭＤ１００ａの制御部２０は、ライブ視聴Ａｐｐを起動する。ライブ視聴Ａｐｐの起動時（Ｓ１０のＹ）、ユーザａは、視聴可能な複数のライブ（言い換えれば複数のライブ会場）の中から、これから視聴するライブを選択する。また、ユーザａは、自分が参加するグループ（ここではグループＡ）を選択し、名前を入力してログインする。ＨＭＤ１００ａのサーバ連携部５４は、ユーザにより選択されたライブとグループの識別情報をサーバ１２へ送信する。サーバ１２のユーザデータ記憶部６８は、ユーザにより選択されたライブとグループの識別情報をユーザの識別情報と対応付けて記憶する。

【0060】

ＨＭＤ１００ａのルーム切替部３４は、上演前ロビー映像の生成を映像生成部４０に指示する。ＨＭＤ１００ａの映像生成部４０（第１生成部４２）は、上演前ロビー映像のデータを生成し、映像出力制御部５０は、上演前ロビー映像を表示部１２４に表示させる（Ｓ１１）。

【0061】

図７は、上演前ロビー映像の例を示す。上演前ロビー映像２００には、ユーザａのアバター２０２が描画される。また、上演前ロビーには、鏡２０４が配置される。鏡２０４には、上演前ロビーに入場しているユーザａのアバター像２０６と、ユーザｂのアバター像２０８が描画される。ユーザａのアバター２０２とアバター像２０６の姿勢、動作、行動は、現実世界でのユーザａの姿勢、動作、行動に応じて変化する。同様に、ユーザｂのアバター（不図示）とアバター像２０８の姿勢、動作、行動は、現実世界でのユーザｂの姿勢、動作、行動に応じて変化する。

【0062】

なお、ユーザａが入場する上演前ロビーには、ユーザａと同じグループＡに属するユーザｂ、ユーザｃ、ユーザｄのみ入場可能である。一方、ユーザｅとユーザｆは、グループＢ専用の上演前ロビーに入場可能である。

【0063】

上演前ロビーでは、ユーザａは、ライブ映像の上演開始を待ちつつ、応援の振り付け（ここでは手拍子）を予習する。ユーザａが現実世界で手拍子を行うと、ＨＭＤ１００の操作受付部３０は、コントローラの動きまたはステレオカメラ１１０の撮像画像をもとに手拍子を検出する。映像生成部４０の第１生成部４２は、アバター２０２およびアバター像２０６が手拍子する上演前ロビー映像２００を生成し、かつ、手拍子に予め対応付けられたエフェクト２１０を含む上演前ロビー映像２００を生成する。エフェクト２１０は、例えば、光の輪が広がっていく演出や、星形のオブジェクト（パーティクルとも言える）が飛翔していく演出を含む。

【0064】

上演前ロビーでは、ユーザａは、物品データ記憶部２６に記憶された複数の仮想物品の中から、ライブや演者の応援に用いる所望の物品を購入可能である。ＨＭＤ１００ａの第１生成部４２は、ユーザａの操作に応じて、上演前ロビー映像として、ユーザａによる物品の購入を示す映像を生成する。ＨＭＤ１００ａの操作受付部３０は、物品の購入を指示するユーザの操作を受け付ける。ＨＭＤ１００ａの購入処理部３８は、物品の代金を決済し、購入された物品のデータをユーザａの識別情報と対応付けてユーザデータ記憶部２８に格納する。

【0065】

また、上演前ロビーでは、購入された物品を使用して応援や振り付けを練習できる。ＨＭＤ１００ａの第１生成部４２は、ユーザａの操作に応じて、上演前ロビー映像２００として、ユーザａのアバター２０２およびアバター像２０６が購入物品を使用した応援を行う映像を生成する。実施例において購入可能な物品はフライパンを含み、上演前ロビーではフライパンを振る等の練習ができる。ライブ映像の上演時刻（言い換えれば、ライブ会場映像への切替タイミング）に至るまで（Ｓ１２のＮ）、各ユーザのＨＭＤ１００には、上演前ロビー映像２００が継続表示される。

【0066】

ライブ映像の上演時刻に至ると（Ｓ１２のＹ）、サーバ１２の配置部７２は、ライブ映像を視聴する複数のユーザそれぞれのライブ会場における位置を、各ユーザのグループに基づいて決定する（Ｓ１３）。ライブ会場における各ユーザの位置は、ライブ会場において各ユーザのアバターが配置される位置である。

【0067】

図８は、ライブ会場におけるグループ配置の例を示す。同図は、グループＡのユーザ（ユーザａ、ユーザｂ、ユーザｃ、ユーザｄ）に割り当てられるグループ配置を示している。図９も、ライブ会場におけるグループ配置の例を示す。同図は、グループＢのユーザ（ユーザｅ、ユーザｆ）に割り当てられるグループ配置を示している。なお、ライブ映像が映るスクリーンは、最前列のグループの前（図８ではグループＥ、グループＦの前、図９ではグループＦ、グループＧの前）に設置される。

【0068】

図８および図９に示すように、配置部７２は、グループＡのユーザに割り当てる配置データにおいて、ライブ会場内の予め定められた固定位置にグループＡを配置し、ライブ会場内の他の位置に他のグループを配置する。また、配置部７２は、グループＢのユーザに割り当てる配置データにおいて、ライブ会場内の上記固定位置にグループＢを配置し、ライブ会場内の他の位置に他のグループを配置する。実施例における上記固定位置は、２列目中央であり、以下「視聴位置」とも呼ぶ。このように、配置部７２は、ライブ映像を視聴する複数のグループに亘る複数のユーザのいずれに対しても、ライブ映像の視聴に好適な位置を固定的に割り当てる。

【0069】

また、配置部７２は、ライブ会場内の視聴位置（実施例では２列目中央）と、ライブ映像が上演される位置（実施例ではライブ映像が映るスクリーンの位置）との間に少なくとも１つの他のグループを配置する。図８の例では、グループＡの視聴位置とスクリーンとの間に、グループＥとグループＦを配置している。図９の例では、グループＢの視聴位置をスクリーンとの間に、グループＦとグループＧを配置している。これにより、各ユーザは、他のグループのアバターの挙動を確認しつつ、アーティストのパフォーマンスを楽しむことができる。

【0070】

また、配置部７２は、グループＡに属するユーザに割り当てる配置データと、グループＢに属するユーザに割り当てる配置データの間で、グループＡとグループＢの位置関係を維持させる。すなわち、配置部７２は、各グループに割り当てる配置データ間でグループ同士の相対位置を整合させる。例えば、図８に示すグループ配置と、図９に示すグループ配置のいずれにおいても、グループＡの右隣がグループＢであり、グループＡの右斜め前かつグループＢの左斜め前がグループＦである。これにより、グループ間のコミュニケーション（後述）の整合性を維持しやすくなる。

【0071】

配置部７２により各グループの位置が決定されると、サーバ１２の演出実行部７０は、各ユーザのＨＭＤ１００に対して、各グループ用の配置データを含むライブ会場への切替指示を送信する。ＨＭＤ１００ａのルーム切替部３４は、サーバ１２からの指示に基づいて、グループＡ用の配置データを含むライブ会場への切替指示を映像生成部４０に入力する。映像生成部４０（第２生成部４４）は、グループＡ用の配置データ（例えば図８）が示す位置に各グループのアバターを配置したライブ会場映像のデータを生成する。映像出力制御部５０は、ライブ会場映像を表示部１２４に表示させる（Ｓ１４）。

【0072】

図１０は、ライブ会場映像の例を示す。ライブ会場映像２２０には、ユーザａのアバター２０２が描画される。また、ライブ会場には、ライブ映像が設定されるスクリーン２２２が配置される。アバター２２４は、ユーザａとは異なるグループ（例えば図８に示すグループＦ）に属するユーザのアバターである。

【0073】

ライブ会場では、ユーザａは、他のグループのユーザとのノンバーバルコミュニケーションが可能である。ノンバーバルコミュニケーションは、他のグループのユーザのアバターに対して手を振ることや、オブジェクト（パーティクルとも言える）を飛ばすことを含む。例えば、図１０では、ユーザａのアバター２０２から、他のグループのユーザのアバター２２４に対してハード型のオブジェクト２２６を飛ばしている。このような、ユーザａのアバター２０２の動作は、サーバ１２を介して他のユーザのＨＭＤ１００にも伝達され、他のユーザのＨＭＤ１００におけるライブ会場映像２２０にも反映される。

【0074】

既述したように、各グループに割り当てる配置データ間でグループ同士の相対位置を整合させることで、グループ間のノンバーバルコミュニケーションの整合を図ることができる。例えば、グループＡのユーザから右方向（すなわちグループＢの方向）へオブジェクト２２６が飛ばされた場合、グループＢのユーザには、左方向（すなわちグループＡの方向）からオブジェクト２２６が飛んできたことを知覚させることができる。

【0075】

図１０には不図示だが、ライブ会場映像２２０には、ユーザａと同じグループＡに属する他のユーザ（ユーザＢ、ユーザＣ、ユーザＤ）のアバターも描画される。ユーザａは、同じグループの他のユーザとの間では、ノンバーバルコミュニケーションとバーバルコミュニケーションの両方が可能である。バーバルコミュニケーションは、具体的にはボイスチャットである。サーバ１２の音声データ提供部８２は、ユーザａ、ｂ、ｃ、ｄの音声をグループＡの他のユーザのＨＭＤ１００に送信するが、グループＡ以外のユーザのＨＭＤ１００には送信しない。また、音声データ提供部８２は、ユーザｅ、ｆの音声をグループＢの他のユーザのＨＭＤ１００へ送信するが、グループＢ以外のユーザのＨＭＤ１００には送信しない。このように、異なるグループに跨がる音声伝達を遮断することで、他のグループの音声をユーザに邪魔に感じさせてしまうことを防止できる。

【0076】

図１１も、ライブ会場映像の例を示す。ユーザａは、ライブ映像を視聴しつつ、手拍子によりアーティストを応援する。ライブ会場映像２２０のユーザａのアバター２０２は、ユーザａの動作に同期して手拍子を行う。ライブ会場映像２２０には、アバター２０２の手拍子にあわせてエフェクト２１０（パーティクル等）が表示される。なお、サーバ１２の行動データ提供部７８は、他のユーザのアバターの動作をＨＭＤ１００ａに通知し、ＨＭＤ１００ａの第２生成部４４は、他のユーザのアバター２２４の動作もライブ会場映像２２０に表示させる。

【0077】

図１２も、ライブ会場映像の例を示す。ＨＭＤ１００ａの第２生成部４４は、ユーザａの操作に応じて、ライブ会場映像２２０として、上演前ロビーで購入された物品（ここではアイテム２２８）がユーザａのアバター２０２により使用されることを示す映像を生成する。

【0078】

既述したように、上演前ロビーで購入された物品は、ライブ映像に登場する人物またはキャラクタ（ここでは「演者」と呼ぶ。）と対応付けられている。ＨＭＤ１００ａの第２生成部４４は、上演前ロビーで購入された物品がユーザのアバターにより使用された場合、その物品と対応付けられた演者からの当該ユーザに対するアクション（リアクション、フィードバックとも言える）を含むライブ会場映像２２０を生成する。

【0079】

具体的には、サーバ１２の演出実行部７０は、各ユーザのＨＭＤ１００から通知された各ユーザのアバターの動作を示すデータに基づいて、ライブ会場にて各ユーザのアバターが使用している物品（アイテム）を識別する。言い換えれば、演出実行部７０は、アイテムごとに、使用しているユーザを識別する。演出実行部７０は、アイテムごとに、複数の使用中ユーザの中から、当該アイテムに対応付けられた演者によるリアクション演出（感謝演出とも言える）の対象となる１人のユーザを抽選で決定する。演出実行部７０は、アイテムごとに決定したリアクション演出の対象ユーザを指定したリアクション演出指示を各ユーザのＨＭＤ１００へ送信する。

【0080】

ＨＭＤ１００の第２生成部４４は、リアクション演出指示が示すユーザのアバターに対して演者からのリアクションを示すライブ会場映像２２０を生成する。図１２のライブ会場映像２２０では、リアクション演出として、アイテム２２８を使用するユーザａのアバター２０２に対して、アイテム２２８に対応付けられた演者を示すリアクションオブジェクト２３０が届けられたことを示している。なお、アイテム２２８に対するリアクション演出の対象ユーザが他のユーザに決定された場合、ユーザａのライブ会場映像２２０には、他のユーザのアバターに対してリアクションオブジェクト２３０が届けられたことが表示される。

【0081】

このようなリアクション演出により、上演後ロビーでのアイテムの購入を促進でき、また、ユーザ間の競争を促進してライブ視聴の興趣を一層高めることができる。リアクション演出は、定期的に繰り返し実行される。複数回のリアクション演出の対象は、同じユーザになることもあれば、異なるユーザに変化することもある。

【0082】

ライブ映像の上演が終了するまで（Ｓ１５のＮ）、各ユーザのＨＭＤ１００には、ライブ会場映像２２０の表示が継続される。ライブ映像の上演が終了すると（Ｓ１５のＹ）、サーバ１２の演出実行部７０は、各ユーザのＨＭＤ１００に対して、上演後ロビーへの切替指示を送信する。ＨＭＤ１００ａのルーム切替部３４は、サーバ１２からの指示に基づいて、上演後ロビーへの切替指示を映像生成部４０に入力する。映像生成部４０（第３生成部４６）は、上演後ロビー映像のデータを生成する。映像出力制御部５０は、上演後ロビー映像を表示部１２４に表示させる（Ｓ１６）。

【0083】

図１３は、上演後ロビー映像の例を示す。上演後ロビー映像２４０には、ユーザａのアバター２０２が描画される。また、上演前ロビーと同様に、上演後ロビーにも鏡２０４が配置される。鏡２０４には、上演後ロビーに入場しているユーザａのアバター像２０６と、ユーザｂのアバター像２０８が描画される。ユーザａが入場する上演後ロビーには、ユーザａと同じグループＡに属するユーザｂ、ユーザｃ、ユーザｄのみ入場可能である。ユーザｅとユーザｆは、グループＢ専用の上演後ロビーに入場可能である。

【0084】

上演後ロビーでは、ユーザａは、ライブ映像の感想等をグループＡの仲間とボイスチャットで語りつつ、映像コンテンツ（ここではライブ）の複数のシーンを写した複数の写真２４２をアバター２０２の手に取らせて確認することができる。写真２４２のデータは、サーバ１２の演出実行部７０により生成され、サーバ１２から各ユーザのＨＭＤ１００に提供されてもよい。ＨＭＤ１００の第３生成部４６は、サーバ１２から提供された写真２４２を上演後ロビー映像２４０に表示させてもよい。

【0085】

図１４は、上演後ロビーで提供される写真の例を示す。上演後ロビーで提供される写真２４２は、ライブ会場でのユーザａのアバター２０２が写る写真を含んでもよく、ライブ会場での演者とアバター２０２の両方が写る写真を含んでもよい。ＨＭＤ１００ａの写真保存部５８は、ライブ会場に予め設けられた仮想カメラ、または、ユーザａがライブ会場に設置した仮想カメラにより撮影された写真のデータを記憶部２２（例えば写真記憶部）に保存してもよい。ユーザａは、仮想カメラに対する所定の操作を入力して、自身のアバター、他ユーザのアバターおよびスクリーンを含む範囲を仮想カメラに撮影させてもよい。ＨＭＤ１００ａの第３生成部４６は、記憶部２２（例えば写真記憶部）に記憶されたユーザａの操作により撮影された写真を上演後ロビー映像２４０に表示させてもよい。

【0086】

上演後ロビーでは、複数の写真２４２（ユーザａのアバターが写る写真を含む）の中から任意の写真をユーザａが購入可能である。ＨＭＤ１００ａの第３生成部４６は、ユーザａの操作に応じて、上演後ロビー映像として、ユーザａによる写真２４２の購入を示す映像を生成する。ＨＭＤ１００ａの購入処理部３８は、写真２４２の購入を指示するユーザの操作に応じて、写真２４２の代金を決済し、購入された写真２４２に関するデータ（識別情報や画像データ等）を、ユーザａの識別情報と対応付けてユーザデータ記憶部２８に格納する。

【0087】

なお、ライブ会場における或るユーザの行動に基づいて、上演後ロビーにおいて当該ユーザが実行可能な行動が変化してもよい。例えば、サーバ１２の演出実行部７０は、ライブ会場でのユーザａのアバターによる応援回数（例えば手拍子の回数とアイテム使用回数の合計）が所定の閾値以上であることを条件として、ライブまたはライブ会場の様子を撮影した写真を上演後ロビーの表示時にＨＭＤ１００ａへ提供してもよい。これにより、ライブ会場における応援回数が多いユーザに対して、上演後ロビーで写真を閲覧できるという特典を提供できる。また、サーバ１２の演出実行部７０は、ライブ会場でのユーザａのアバターによる応援回数が多いほど、多くの写真を上演後ロビーの表示時にＨＭＤ１００ａへ提供してもよい。これにより、ライブ会場でのユーザの応援行動を促進できる。

【0088】

ユーザａが所定の終了操作を入力するまで（Ｓ１７のＮ）、上演後ロビー映像２４０の表示が継続される。ユーザａが上記終了操作を入力すると（Ｓ１７のＹ）、本図の処理を終了する。ＨＭＤ１００ａでライブ視聴Ａｐｐが起動されなければ（Ｓ１０のＮ）、Ｓ１１以降の処理をスキップして本図の処理を終了する。

【0089】

実施例のコンテンツ視聴システム１０によると、映像コンテンツの上演前、上演中、上演後の期間に亘るユーザの導線として、上演前ロビー映像２００、ライブ会場映像２２０、上演後ロビー映像２４０を順次ユーザに提供する。これにより、現実空間でのイベント視聴に近い体験をユーザに提供でき、映像コンテンツの上演前、上演中、上演後の期間に亘るエンタテインメント性を向上させることができる。

【0090】

以上、本発明を実施例をもとに説明した。この実施例は例示であり、各構成要素あるいは各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

【0091】

第１変形例を説明する。上映前ロビー、ライブ会場、上演後ロビーのうち少なくとも１つの仮想空間には、映像コンテンツを視聴する複数の一般ユーザをガイドする役割が付与された特殊ユーザ（ここでは「ガイド」と呼ぶ。）が設けられてもよく、当該ガイドのアバターが配置されてもよい。また、上演前ロビーおよび上演後ロビーがグループごとに設けられる場合、ガイドのアバターは、全てのグループの上演前ロビーおよび上演後ロビーに配置されてもよい。

【0092】

ガイドは、ライブの応援方法や、アイテムの使用方法をボイスチャットや身振りにより各ユーザにレクチャーしてもよい。サーバ１２の音声データ提供部８２は、ガイドが発した音声のデータであって、すなわちガイドのＨＭＤ１００から送信された音声データを、複数のグループのユーザのＨＭＤ１００へ送信してもよく、全てのグループのユーザのＨＭＤ１００へ送信してもよい。また、サーバ１２の音声データ提供部８２は、全てのユーザからの音声データを、各ユーザが属するグループにかかわらず、ガイドのＨＭＤ１００へ送信してもよい。

【0093】

この変形例では、ガイドによる操作を契機として、ガイドのＨＭＤ１００から全てのユーザのＨＭＤ１００へ映像切替指示（上演前ロビーからライブ会場への切替、および／または、ライブ会場から上演後ロビーへの切替）が送信されてもよい。

【0094】

第２変形例を説明する。映像生成部４０は、個々のユーザに割り当てられた仮想空間であって、ユーザのアバターが使用可能な物品が集まる第４の仮想空間であるマイルームの映像を生成する第４生成部をさらに備えてもよい。マイルームは、ユーザ１人１人に紐付けられた仮想空間とも言え、個々のユーザが購入した物品が集まる仮想空間とも言える。映像生成部４０の第４生成部は、ライブ視聴Ａｐｐの起動時に最初に表示させる仮想空間の映像として、ユーザデータ記憶部２８に記憶された１つ以上の購入済みの物品を配置したマイルームの映像を生成してもよい。映像出力制御部５０は、マイルームの映像を表示部１２４に表示させてもよい。

【0095】

マイルームでは、ユーザは、購入済みの物品を自由に閲覧できる。また、マイルームには、これから視聴可能な複数の映像コンテンツに関する情報が表示される。マイルームにおいて、これから視聴する映像コンテンツを選択する操作がユーザにより入力された場合、ＨＭＤ１００のルーム切替部３４は、選択された映像コンテンツに対応する上演前ロビーの表示を映像生成部４０に指示する。また、ＨＭＤ１００のサーバ連携部５４は、ユーザにより選択された映像コンテンツを示すデータ（配信要求データ）をサーバ１２へ送信してもよい。以降、図６のフローチャートのＳ１１以降の処理が実行されてもよい。

【0096】

第３変形例を説明する。上記実施例では、コンサート等のライブ映像をサーバ１２からＨＭＤ１００へ配信したが、サーバ１２は、他の種類の映像コンテンツをＨＭＤ１００へ配信してもよい。配信される映像コンテンツは、例えば、野球やサッカー等のスポーツの中継映像であってもよく、映画やドラマの映像であってもよい。映画やドラマの映像を配信する場合、ユーザの操作に応じてボイスチャットのオン／オフが切替可能であることが好ましい。例えば、サーバ１２の音声データ提供部８２は、ユーザの設定に応じて、グループ内でのボイスチャットのオン／オフを切り替えてもよく、すなわち、同じグループのユーザ間であっても音声データの転送を抑制してもよい。

【0097】

第４変形例を説明する。実施例のＨＭＤ１００が備えた複数の機能のうち一部の機能を、サーバ１２が備える構成であってもよい。また、実施例のサーバ１２が備えた複数の機能のうち一部の機能を、ＨＭＤ１００が備える構成であってもよい。また、実施例のＨＭＤ１００が備えた複数の機能のうち一部の機能、および／または、実施例のサーバ１２が備えた複数の機能のうち一部の機能を、ＨＭＤ１００と接続されたユーザ側の情報処理装置（例えばゲームコンソール等）が備える構成であってもよい。

【0098】

上述した実施例および変形例の任意の組み合わせもまた本開示の実施の形態として有用である。組み合わせによって生じる新たな実施の形態は、組み合わされる実施例および変形例それぞれの効果をあわせもつ。また、請求項に記載の各構成要件が果たすべき機能は、実施例および変形例において示された各構成要素の単体もしくはそれらの連携によって実現されることも当業者には理解されるところである。

【0099】

実施例および変形例の記載に基づく技術思想は、以下の各項目に示す態様にて表現することができる。以下の各項目の情報処理システムは、情報処理装置またはヘッドマウントディスプレイと表現することもできる。
［項目１］
所定のコンテンツの上演前に、前記コンテンツを視聴する複数のユーザが集まる仮想空間である第１ルームの映像を生成する第１生成部と、
前記コンテンツが上演される仮想空間である第２ルームの映像を生成する第２生成部と、
前記コンテンツの上演後に、前記複数のユーザが集まる仮想空間である第３ルームの映像を生成する第３映像生成部と、
前記第１ルームの映像、前記第２ルームの映像および前記第３ルームの映像を順次表示部に表示させる出力部と、
を備える情報処理システム。
この情報処理システムによると、コンテンツ上演前の第１ルーム、コンテンツ上演中の第２ルーム、コンテンツ上演後の第３ルームを順次ユーザに提供する。これにより、現実空間でのイベント視聴に近い導線をユーザに提供でき、また、斬新なユーザ体験を提供することができる。
［項目２］
前記第１ルームにおいてユーザのアバターが実行可能な行動と、前記第３ルームにおいてユーザのアバターが実行可能な行動は異なる、
項目１に記載の情報処理システム。
この情報処理システムによると、第１ルームではコンテンツ上演前に適した行動をユーザのアバターに実行させ、第３ルームではコンテンツ上演後に適した行動をユーザのアバターに実行させることができ、現実空間でのイベント視聴に近い体験をユーザに提供することができる。
［項目３］
前記第１生成部は、ユーザの操作に応じて、前記第１ルームの映像として、ユーザによる物品の購入を示す映像を生成し、
前記第２生成部は、ユーザの操作に応じて、前記第２ルームの映像として、前記第１ルームで購入された物品がユーザのアバターにより使用される映像を生成する、
項目１または２に記載の情報処理システム。
この情報処理システムによると、コンテンツ視聴中の物品の使用を可能にすることで、物品の販売を促進でき、また、コンテンツ視聴の興趣を高めることができる、
［項目４］
前記第１ルームで購入された物品は、前記コンテンツに登場する人物またはキャラクタと対応付けられており、
前記第２生成部は、前記第１ルームで購入された物品がユーザのアバターにより使用された場合、当該物品に対応付けられた人物またはキャラクタから当該ユーザに対するアクションを含む映像を生成する、
項目３に記載の情報処理システム。
この情報処理システムによると、コンテンツに登場する人物またはキャラクタからのアクションを受けられるという特典を設けることにより、物品の販売を一層促進でき、また、コンテンツ視聴の興趣を一層高めることができる、
［項目５］
前記第２ルームにおける或るユーザの行動に基づいて、前記第３ルームにおいて当該ユーザが実行可能な行動が変化する、
項目１から４のいずれかに記載の情報処理システム。
この情報処理システムによると、コンテンツ視聴中のユーザの行動に対するフィードバックをコンテンツ視聴後に得られることにより、コンテンツ視聴中およびコンテンツ視聴後の興趣を高めることができる。
［項目６］
前記第３ルームでは、前記第２ルームで撮像されたユーザのアバターが写る画像を購入可能である、
項目１から５のいずれかに記載の情報処理システム。
この情報処理システムによると、コンテンツ視聴後の興趣を高めることができる。
［項目７］
前記第２ルームにおける各ユーザの位置を、ユーザのグループに基づいて決定する配置部をさらに備える、
項目１から６のいずれかに記載の情報処理システム。
この情報処理システムによると、同じグループのユーザを近傍に配置することにより、コンテンツ視聴中の興趣を高めることができる。
［項目８］
前記配置部は、前記第２ルーム内の予め定められた固定位置に第１グループを配置し、前記第２ルーム内の他の位置に他のグループを配置した第１配置データを前記第１グループのユーザに割り当て、前記第２ルーム内の前記固定位置に第２グループを配置し、前記第２ルーム内の他の位置に他のグループを配置した第２配置データを前記第２グループのユーザに割り当て、前記第１配置データと前記第２配置データ間で前記第１グループと前記第２グループの位置関係が維持される、
項目７に記載の情報処理システム。
この情報処理システムによると、各グループをコンテンツ視聴に好適な固定位置に配置しつつ、各グループに割り当てる配置データ間でグループ同士の相対位置をあわせることにより、グループ間のコミュニケーションの整合性を維持しやすくなる。
［項目９］
前記配置部は、前記第２ルーム内の予め定められた固定位置に第１グループを配置し、前記第２ルーム内の他の位置に他のグループを配置した第１配置データを前記第１グループのユーザに割り当て、前記第２ルーム内の前記固定位置に第２グループを配置し、前記第２ルーム内の他の位置に他のグループを配置した第２配置データを前記第２グループのユーザに割り当て、前記第２ルーム内の前記固定位置と前記コンテンツが上演される位置との間に少なくとも１つの他のグループを配置する、
項目７に記載の情報処理システム。
この情報処理システムによると、各グループをコンテンツ視聴に好適な固定位置に配置しつつ、その子定位置とコンテンツの上演位置との間に少なくとも１つの他のグループを配置することにより、ユーザは、コンテンツを視聴しつつ、コンテンツに対する他のグループの挙動を確認することができる。
［項目１０］
或るグループに属するユーザが発した音声のデータを、同じグループに属する他のユーザの装置に提供する一方、他のグループに属するユーザの装置には提供しない音声提供部をさらに備える、
項目１から９のいずれかに記載の情報処理システム。
この情報処理システムによると、ユーザにとって不要な音声の提供を抑制できる。
［項目１１］
前記第１ルーム、前記第２ルーム、前記第３ルームのうち少なくとも１つのルームには、前記複数のユーザをガイドするための特殊ユーザが設けられ、
前記音声提供部は、前記特殊ユーザが発した音声のデータを複数のグループのユーザの装置に提供する、
項目１０に記載の情報処理システム。
この情報処理システムによると、ユーザにとって不要な音声の提供を抑制しつつ、例外的に、複数のグループに亘って有用な音声は複数のグループに提供することができる。
［項目１２］
個々のユーザに割り当てられた仮想空間であって、ユーザのアバターが使用可能な物品が集まる仮想空間である第４ルームの映像を生成する第４生成部をさらに備え、
前記第１生成部は、前記第４ルームにおいてユーザがこれから視聴するコンテンツを選択した場合、選択されたコンテンツに対応する前記第１ルームの映像を生成する、
項目１から１１のいずれかに記載の情報処理システム。
この情報処理システムによると、視聴するコンテンツの選択や、収集した物品の確認等を行う自分の部屋としての第４ルームをユーザに提供でき、現実世界に近い体験をユーザに提供することができる。
［項目１３］
所定のコンテンツの上演前に、前記コンテンツを視聴する複数のユーザが集まる仮想空間である第１ルームの映像を生成するステップと、
前記コンテンツが上演される仮想空間である第２ルームの映像を生成するステップと、
前記コンテンツの上演後に、前記複数のユーザが集まる仮想空間である第３ルームの映像を生成するステップと、
前記第１ルームの映像、前記第２ルームの映像および前記第３ルームの映像を順次表示部に表示させるステップと、
をコンピュータが実行する情報処理方法。
この情報処理方法によると、コンテンツ上演前の第１ルーム、コンテンツ上演中の第２ルーム、コンテンツ上演後の第３ルームを順次ユーザに提供することにより、現実空間でのイベント視聴に近いユーザの導線を実現でき、斬新なユーザ体験を提供することができる。
［項目１４］
所定のコンテンツの上演前に、前記コンテンツを視聴する複数のユーザが集まる仮想空間である第１ルームの映像を生成する機能と、
前記コンテンツが上演される仮想空間である第２ルームの映像を生成する機能と、
前記コンテンツの上演後に、前記複数のユーザが集まる仮想空間である第３ルームの映像を生成する機能と、
前記第１ルームの映像、前記第２ルームの映像および前記第３ルームの映像を順次表示部に表示させる機能と、
をコンピュータに実現させるためのコンピュータプログラム。
このコンピュータプログラムによると、コンテンツ上演前の第１ルーム、コンテンツ上演中の第２ルーム、コンテンツ上演後の第３ルームを順次ユーザに提供することにより、現実空間でのイベント視聴に近いユーザの導線を実現でき、斬新なユーザ体験を提供することができる。

【産業上の利用可能性】

【0100】

本開示の技術は、情報処理システムや情報処理装置に適用することができる。

【符号の説明】

【0101】

１０ コンテンツ視聴システム、 １２ サーバ、 ４０ 映像生成部、 ４２ 第１生成部、 ４４ 第２生成部、 ４６ 第３生成部、 ５０ 映像出力制御部、 ７２ 配置部、 ８２ 音声データ提供部、 １００ ＨＭＤ、 １２４ 表示部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】