特許 7521039 仮想空間コンテンツ配信システム、仮想空間コンテンツ配信プログラム、および仮想空間コンテンツ配信方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2024-07-12

(45)【発行日】2024-07-23

(54)【発明の名称】仮想空間コンテンツ配信システム、仮想空間コンテンツ配信プログラム、および仮想空間コンテンツ配信方法

(51)【国際特許分類】

   H04N 21/24 20110101AFI20240716BHJP

   G06F 3/04815 20220101ALI20240716BHJP

   G06F 3/04845 20220101ALI20240716BHJP

   G06T 19/00 20110101ALI20240716BHJP

   H04N 5/222 20060101ALI20240716BHJP

   H04N 21/431 20110101ALI20240716BHJP

   H04N 23/60 20230101ALI20240716BHJP

【ＦＩ】

H04N21/24

G06F3/04815

G06F3/04845

G06T19/00 A

G06T19/00 300B

H04N5/222 400

H04N21/431

H04N23/60 300

【請求項の数】 12

(21)【出願番号】P 2023041005

(22)【出願日】2023-03-15

【審査請求日】2024-02-13

【早期審査対象出願】

(73)【特許権者】

【識別番号】519120525

【氏名又は名称】カバー株式会社

(74)【代理人】

【識別番号】100098729

【弁理士】

【氏名又は名称】重信 和男

(74)【代理人】

【識別番号】100206656

【弁理士】

【氏名又は名称】林 修身

(74)【代理人】

【識別番号】100206911

【弁理士】

【氏名又は名称】大久保 岳彦

(74)【代理人】

【識別番号】100204467

【弁理士】

【氏名又は名称】石川 好文

(74)【代理人】

【識別番号】100148161

【弁理士】

【氏名又は名称】秋庭 英樹

(74)【代理人】

【識別番号】100195833

【弁理士】

【氏名又は名称】林 道広

(72)【発明者】

【氏名】金柿 貴也

【審査官】富樫 明

(56)【参考文献】

【文献】国際公開第２０２２／１９０９１７（ＷＯ，Ａ１）

【文献】国際公開第２０２１／２３００７３（ＷＯ，Ａ１）

【文献】特開２０２０－１０７２６４（ＪＰ，Ａ）

【文献】特開２０２０－００４２８４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２１／００－２１／８５８

Ｇ０６Ｆ ３／０４８１５

Ｇ０６Ｔ １９／００

Ｇ０６Ｆ ３／０４８４５

Ｈ０４Ｎ ５／２２２

Ｈ０４Ｎ ２３／６０

(57)【特許請求の範囲】

【請求項1】

演者アバターによる仮想空間コンテンツを複数の視聴者ユーザーが視聴可能に配信する仮想空間コンテンツ配信システムであって、
前記仮想空間コンテンツの対象となる仮想空間において、前記視聴者ユーザーに対応する視聴者アバターを動作させる操作を該視聴者ユーザーが行うことが可能な視聴者ユーザー端末と、
前記視聴者ユーザー端末にネットワークを介して接続され、少なくとも前記仮想空間に関する処理と前記仮想空間コンテンツの配信に関する処理とを実行可能なサーバコンピュータと、
を含み、
前記視聴者ユーザー端末は、少なくとも前記仮想空間における前記視聴者アバターに対応したアバター視点を含む複数の視聴者視点からの視点映像を前記仮想空間コンテンツとして出力可能であり、
前記演者アバターが特別動作を行っているときは、前記視聴者視点を異なる複数の前記視聴者ユーザー端末において共通する特別視聴者視点に、視聴者ユーザーが操作することなく変更する視聴者視点変更手段と、
前記特別動作に追随するように前記特別視聴者視点の視点位置を変更する視聴者視点位置変更手段と、
を備える
ことを特徴とする仮想空間コンテンツ配信システム。

【請求項2】

前記視聴者ユーザー端末は、視聴者視点の状態を変更するための視点状態変更操作を視聴者ユーザーから受付け可能であって、該受付けた視点状態変更操作に対応した視点映像を出力可能であり、
前記視聴者視点位置変更手段は、前記視点状態変更操作を受付けることなく前記視聴者視点の視点位置を変更可能である
ことを特徴とする請求項１に記載の仮想空間コンテンツ配信システム。

【請求項3】

前記視聴者視点位置変更手段は、前記特別視聴者視点の視点位置を前記特別動作に追随させるときは、前記視点状態変更操作を無効とする
ことを特徴とする請求項２に記載の仮想空間コンテンツ配信システム。

【請求項4】

前記特別動作は、前記仮想空間内を所定期間に亘って移動する移動動作であって、
前記特別視聴者視点の視点位置は、前記移動動作に連動して前記仮想空間内を移動する
ことを特徴とする請求項１～３のいずれかに記載の仮想空間コンテンツ配信システム。

【請求項5】

前記視聴者アバターは、前記視聴者ユーザーの操作にもとづいて前記仮想空間内を移動可能とされている
ことを特徴とする請求項１または２に記載の仮想空間コンテンツ配信システム。

【請求項6】

前記視聴者ユーザーは、各視聴者ユーザーに対して予め割り当てられている前記仮想空間内の特定位置に自身の前記視聴者アバターを配置可能である
ことを特徴とする請求項１または２に記載の仮想空間コンテンツ配信システム。

【請求項7】

前記特定位置は、前記仮想空間コンテンツの配信が開始される前に視聴者ユーザーによる特定位置決定操作によって決定される
ことを特徴とする請求項６に記載の仮想空間コンテンツ配信システム。

【請求項8】

前記演者アバターが前記特別動作を行っているときにおける前記特別視聴者視点の視点位置の追随形態が、前記特定位置の違いによって異なる
ことを特徴とする請求項６に記載の仮想空間コンテンツ配信システム。

【請求項9】

前記視聴者ユーザーは、自身に対応する前記視聴者アバターとは異なる他者の前記視聴者アバターを含む視点映像を前記視聴者ユーザー端末において視聴可能である
ことを特徴とする請求項１に記載の仮想空間コンテンツ配信システム。

【請求項10】

前記視聴者視点位置変更手段は、前記演者アバターが前記特別動作とは異なる特定動作をしているときは、前記特別動作の場合とは異なる追跡形態にて前記視聴者視点の視点位置を変更する
ことを特徴とする請求項１～３のいずれかに記載の仮想空間コンテンツ配信システム。

【請求項11】

演者アバターによる仮想空間コンテンツを、少なくともサーバコンピュータを用いてネットワークを介して複数の視聴者ユーザーが視聴可能に配信するための仮想空間コンテンツ配信プログラムであって、
前記仮想空間コンテンツの対象となる仮想空間にて動作するアバターは、前記演者アバターと、前記視聴者ユーザーに対応するアバターであってネットワークを介して前記サーバコンピュータに接続された視聴者ユーザー端末における該視聴者ユーザーの操作によって前記仮想空間において動作する視聴者アバターとを含み、
少なくとも前記仮想空間における前記視聴者アバターに対応したアバター視点を含む複数の視聴者視点からの視点映像を前記仮想空間コンテンツとして前記視聴者ユーザー端末において出力させる仮想空間コンテンツ出力ステップと、
前記演者アバターが特別動作を行っているときは、前記視聴者視点を異なる複数の前記視聴者ユーザー端末において共通する特別視聴者視点に、視聴者ユーザーが操作することなく変更する視聴者視点変更ステップと、
前記特別動作に追随するように前記特別視聴者視点の視点位置を変更する視聴者視点位置変更ステップと、
を含む
ことを特徴とする仮想空間コンテンツ配信プログラム。

【請求項12】

演者アバターによる仮想空間コンテンツを、少なくともサーバコンピュータを用いてネットワークを介して複数の視聴者ユーザーが視聴可能に配信するための仮想空間コンテンツ配信方法であって、
前記仮想空間コンテンツの対象となる仮想空間にて動作するアバターは、前記演者アバターと、前記視聴者ユーザーに対応するアバターであってネットワークを介して前記サーバコンピュータに接続された視聴者ユーザー端末における該視聴者ユーザーの操作によって前記仮想空間において動作する視聴者アバターとを含み、
少なくとも前記仮想空間における前記視聴者アバターに対応したアバター視点を含む複数の視聴者視点からの視点映像を前記仮想空間コンテンツとして前記視聴者ユーザー端末において出力させる出力手順と、
前記演者アバターが特別動作を行っているときは、前記視聴者視点を異なる複数の前記視聴者ユーザー端末において共通する特別視聴者視点に、視聴者ユーザーが操作することなく変更する視聴者視点変更手順と、
前記特別動作に追随するように前記特別視聴者視点の視点位置を変更する視聴者視点位置変更手順と、
を含む
ことを特徴とする仮想空間コンテンツ配信方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、演者アバターによる仮想空間コンテンツを配信可能な仮想空間コンテンツ配信システム、仮想空間コンテンツ配信プログラム、仮想空間コンテンツ配信方法に関する。

【背景技術】

【0002】

従来、配信ユーザ（演者）の動きに連動して仮想空間において動作する該配信ユーザ（演者）のキャラクタオブジェクト（アバター）のアニメーションを生成し、かかるキャラクタオブジェクト（アバター）のアニメーションを含む動画をライブ配信するとともに、視聴する視聴ユーザについても、視聴ユーザからの要求に応じて、配信ユーザ（演者）のアバターが配置されている仮想空間に観客として仮想参加することが可能な配信システムも知られている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１２－１２００９８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１にあっては、仮想空間に仮想参加する視聴ユーザが視聴する視点について、配信ユーザ（演者）の動作に対応できない場合があるという問題があった。

【0005】

本発明は、このような問題点に着目してなされたもので、視聴ユーザが視聴する視点を、配信ユーザ（演者）の動作に対応させることのできる仮想空間コンテンツ配信システム、仮想空間コンテンツ配信プログラム、仮想空間コンテンツ配信方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

請求項１の仮想空間コンテンツ配信システムは、
演者アバターによる仮想空間コンテンツ（例えば、仮想空間ライブ）を複数の視聴者ユーザーが視聴可能に配信する仮想空間コンテンツ配信システムであって、
前記仮想空間コンテンツの対象となる仮想空間（例えば、仮想ライブ会場）において、前記視聴者ユーザーに対応する視聴者アバターを動作させる操作を該視聴者ユーザーが行うことが可能な視聴者ユーザー端末（例えば、視聴者端末３００）と、
前記視聴者ユーザー端末にネットワークを介して接続され、少なくとも前記仮想空間に関する処理と前記仮想空間コンテンツの配信に関する処理とを実行可能なサーバコンピュータ（例えば、配信用サーバコンピュータ１００）と、
を含み、
前記視聴者ユーザー端末は、少なくとも前記仮想空間における前記視聴者アバターに対応したアバター視点を含む複数の視聴者視点からの視点映像を前記仮想空間コンテンツとして出力可能であり（例えば、視聴者端末３００が、図１３（ｅ）に示すように、視聴者アバター２８の視点画像を表示可能である部分）、
前記演者アバターが特別動作（例えば、図１９に示す仮想飛翔の動作や、図１７に示す横方向への急移動）を行っているときは、前記視聴者視点を異なる複数の前記視聴者ユーザー端末において共通する特別視聴者視点に、視聴者ユーザーが操作することなく変更する視聴者視点変更手段と、
前記特別動作に追随するように前記特別視聴者視点の視点位置を変更する視聴者視点位置変更手段（例えば、視聴者端末が図２０の視聴者用視点映像制御処理を実行する部分）と、
を備える
ことを特徴としている。
この特徴によれば、視聴者が視聴する視点を、演者の動作に対応させることができる。

【0007】

請求項２の仮想空間コンテンツ配信システムは、請求項１の仮想空間コンテンツ配信システムであって、
前記視聴者ユーザー端末（例えば、視聴者端末３００）は、視聴者視点の状態を変更するための視点状態変更操作（例えば、ズーム操作等を含む視点関係操作）を視聴者ユーザーから受付け可能であって、該受付けた視点状態変更操作に対応した視点映像を出力可能であり（例えば、図１６に示すように、ズーム操作に応じた視点映像を出力可能な部分）、
前記視聴者視点位置変更手段は、前記視点状態変更操作を受付けることなく前記視聴者視点の視点位置を変更可能である（例えば、図２０に示すように、ステップＳ１３においては、視聴者ユーザーが操作なしに往査追随視点映像に変更される部分）
ことを特徴としている。
この特徴によれば、視聴者ユーザーは、視聴者視点の状態を逐次変更可能となるので、仮想空間に自身も参加しているという視聴者の感覚を著しく向上できる。

【0008】

請求項３の仮想空間コンテンツ配信システムは、請求項２に記載の仮想空間コンテンツ配信システムであって、
前記視聴者視点位置変更手段は、前記特別視聴者視点の視点位置を前記特別動作に追随させるときは、前記視点状態変更操作を無効とする（例えば、図２０に示すように、ステップＳ１２において視点関連操作を無効化する部分）
ことを特徴としている。
この特徴によれば、視聴者視点の視点位置を的確に特別動作に追随させることができる。

【0009】

請求項４の仮想空間コンテンツ配信システムは、請求項１～３のいずれかに記載の仮想空間コンテンツ配信システムであって、
前記特別動作は、前記仮想空間内を所定期間（例えば、フライイング演出期間）に亘って移動する移動動作（例えば、仮想飛翔）であって、
前記特別視聴者視点の視点位置は、前記移動動作に連動して前記仮想空間内を移動する（例えば、空中移動仮想カメラが、フライイング演出期間において予め第２領域に設定されている空中軌道上を移動する部分）
ことを特徴としている。
この特徴によれば、仮想空間コンテンツとして、連続移動動作に対応した視点映像を配信することができる。

【0010】

請求項５の仮想空間コンテンツ配信システムは、請求項１または請求項２に記載の仮想空間コンテンツ配信システムであって、
前記視聴者アバターは、前記視聴者ユーザーの操作にもとづいて前記仮想空間内を移動可能とされている（例えば、視聴者アバターは、第３領域内や第４領域内を視聴者端末３００における移動操作によって移動できる部分）
ことを特徴としている。
この特徴によれば、仮想空間の現実感を向上できる。

【0011】

請求項６の仮想空間コンテンツ配信システムは、請求項１または請求項２に記載の仮想空間コンテンツ配信システムであって、
前記視聴者ユーザーは、各視聴者ユーザーに対して予め割り当てられている前記仮想空間内の特定位置に自身の前記視聴者アバターを配置可能である（例えば、図２１、図２２の変形例に示すように、視聴者ユーザーは、ライブの開始前に選択した領域にて視聴者アバターを仮想参加させることができる部分）
ことを特徴としている。
この特徴によれば、異なる視聴者ユーザーの視点が同一位置に重複してしまうことによる不都合の発生を防ぐことができる。

【0012】

請求項７の仮想空間コンテンツ配信システムは、請求項６に記載の仮想空間コンテンツ配信システムであって、
前記特定位置は、前記仮想空間コンテンツの配信が開始される前に視聴者ユーザーによる特定位置決定操作によって決定される（例えば、図２２に示すように、変形例において視聴者アバターを仮想参加させる領域をライブの開始前に選択可能である部分）
ことを特徴としている。
この特徴によれば、仮想空間コンテンツの配信が開始された後に特定位置が決定されることによる不都合の発生を防ぐことができる。

【0013】

請求項８の仮想空間コンテンツ配信システムは、請求項６に記載の仮想空間コンテンツ配信システムであって、
前記演者アバターが前記特別動作（例えば、仮想飛翔）を行っているときにおける前記特別視聴者視点の視点位置の追随形態が、前記特定位置の違いによって異なる（例えば、図２２に示す変形例おいて、Ａ１～Ｃ６を選択した視聴者ユーザーの場合には右側前方視点とされ、Ｉ１～Ｋ６を選択した視聴者ユーザーの場合には左側前方視点とされるように、選択した領域の位置に対応した視点の飛翔映像に変更される部分）
ことを特徴としている。
この特徴によれば、仮想空間の現実感を向上できる。

【0014】

請求項９の仮想空間コンテンツ配信システムは、請求項１に記載の仮想空間コンテンツ配信システムであって、
前記視聴者ユーザーは、自身に対応する前記視聴者アバターとは異なる他者の前記視聴者アバターを含む視点映像を前記視聴者ユーザー端末において視聴可能である（例えば、図１３（ｅ）、図１３（ｆ）に示すように、第３領域に仮想参加している他の視聴者アバターを含む視点映像が表示される部分）
ことを特徴としている。
この特徴によれば、仮想空間の現実感を向上できる。

【0015】

請求項１０の仮想空間コンテンツ配信システムは、請求項１～３のいずれかに記載の仮想空間コンテンツ配信システムであって、
前記視聴者視点位置変更手段は、前記演者アバターが前記特別動作とは異なる特定動作（例えば、図１７に示すように、仮想ステージＧ上を右側方向に急移動する動作）をしているときは、前記特別動作の場合とは異なる追跡形態にて前記視聴者視点の視点位置を変更する（例えば、図１７（ｂ）に示すように、視聴者ユーザーが操作しなくても、演者アバター１に横方向に追随して演者アバターの顔（頭部）が表示領域外に移動しないように視点が変更される部分）
ことを特徴としている。
この特徴によれば、演者の動作に応じた視点追跡ができる。

【0016】

請求項１１の仮想空間コンテンツ配信プログラムは、
演者アバターによる仮想空間コンテンツ（例えば、仮想空間ライブ）を、少なくともサーバコンピュータ（例えば、配信用サーバコンピュータ１００）を用いてネットワーク（例えば、インターネットＮ）を介して複数の視聴者ユーザーが視聴可能に配信するための仮想空間コンテンツ配信プログラム（例えば、配信用サーバコンピュータ１００のストレージ１０３並びに視聴者端末３００のストレージ３０３に記憶されている各プログラム）であって、
前記仮想空間コンテンツの対象となる仮想空間（例えば、仮想ライブ会場）にて動作するアバターは、前記演者アバターと、前記視聴者ユーザーに対応するアバターであってネットワークを介して前記サーバコンピュータに接続された視聴者ユーザー端末（例えば、視聴者端末３００）における該視聴者ユーザーの操作によって前記仮想空間において動作する視聴者アバター（例えば、視聴者アバター１１～１４や、視聴者アバター２１～３２）とを含み、
少なくとも前記仮想空間における前記視聴者アバターに対応したアバター視点を含む複数の視聴者視点からの視点映像を前記仮想空間コンテンツとして前記視聴者ユーザー端末において出力させる仮想空間コンテンツ出力ステップ（例えば、図２０に示す視聴者用視点映像制御処理においてＳ１１のステップやＳ２２のステップが実行されることで、視聴者アバターの視点映像やフライイング視点映像が表示される部分）と、
前記演者アバターが特別動作（例えば、図１９に示す仮想飛翔の動作や、図１７に示す横方向への急移動）を行っているときは、前記視聴者視点を異なる複数の前記視聴者ユーザー端末において共通する特別視聴者視点に、視聴者ユーザーが操作することなく変更する視聴者視点変更ステップと、
前記特別動作に追随するように前記特別視聴者視点の視点位置を変更する視聴者視点位置変更ステップ（例えば、視聴者端末が図２０の視聴者用視点映像制御処理におけるステップＳ２２）と、
を含む
ことを特徴としている。
この特徴によれば、視聴者が視聴する視点を、演者の動作に対応させることができる。

【0017】

請求項１２の仮想空間コンテンツ配信方法は、
演者アバターによる仮想空間コンテンツ（例えば、仮想空間ライブ）を、少なくともサーバコンピュータ（例えば、配信用サーバコンピュータ１００）を用いてネットワーク（例えば、インターネットＮ）を介して複数の視聴者ユーザーが視聴可能に配信するための仮想空間コンテンツ配信方法であって、
前記仮想空間コンテンツの対象となる仮想空間（例えば、仮想ライブ会場）にて動作するアバターは、前記演者アバターと、前記視聴者ユーザーに対応するアバターであってネットワークを介して前記サーバコンピュータに接続された視聴者ユーザー端末（例えば、視聴者端末３００）における該視聴者ユーザーの操作によって前記仮想空間において動作する視聴者アバター（例えば、視聴者アバター１１～１４や、視聴者アバター２１～３２）とを含み、
少なくとも前記仮想空間における前記視聴者アバターに対応したアバター視点を含む複数の視聴者視点からの視点映像を前記仮想空間コンテンツとして前記視聴者ユーザー端末において出力させる出力手順（例えば、図２０に示す視聴者用視点映像制御処理において、視聴者アバターの視点映像やフライイング視点映像を出力するためのステップＳ１１やステップＳ２２の手順）と、
前記演者アバターが特別動作を行っているときは、前記視聴者視点を異なる複数の前記視聴者ユーザー端末において共通する特別視聴者視点に、視聴者ユーザーが操作することなく変更する視聴者視点変更手順と、
前記特別動作に追随するように前記特別視聴者視点の視点位置を変更する視聴者視点位置変更手順（例えば、視聴者端末が図２０の視聴者用視点映像制御処理におけるステップＳ２２の手順）と、
を含む
ことを特徴としている。
この特徴によれば、視聴者が視聴する視点を、演者の動作に対応させることができる。
尚、本発明は、本発明の請求項に記載された発明特定事項のみを有するものであって良いし、本発明の請求項に記載された発明特定事項とともに該発明特定事項以外の構成を有するものであっても良い。

【図面の簡単な説明】

【0018】

【図1】本発明の実施形態における仮想空間コンテンツ配信システムのシステム構成例を示すブロック図である。

【図2】本発明の実施形態の仮想空間コンテンツ配信システムにおける配信用サーバコンピュータの構成例を示す図である。

【図3】本発明の実施形態の配信用サーバコンピュータが有するストレージに記憶されている各種データを示す図である。

【図4】本発明の実施形態の仮想空間コンテンツ配信システムにおける演者端末の構成例を示す図である。

【図5】本発明の実施形態の仮想空間コンテンツ配信システムにおける視聴者端末の構成例を示す図である。

【図6】本発明の実施形態の仮想空間コンテンツ配信システムにおける管理者端末の構成例を示す図である。

【図7】本発明の実施形態の仮想空間コンテンツ配信システムにおけるイベントデータの構成例を示す図である。

【図8】本発明の実施形態の仮想空間コンテンツ配信システムにおける演者ユーザーデータの構成例を示す図である。

【図9】本発明の実施形態の仮想空間コンテンツ配信システムにおける視聴者ユーザーデータの構成例を示す図である。

【図10】本発明の実施形態の仮想空間コンテンツ配信システムを構成する各端末とサーバコンピュータとの間において送受されるデータを示す説明図である。

【図11】本発明の実施形態の仮想空間コンテンツ配信システムにおいて、演者ユーザーが利用するスタジオの設備を示す模式図である。

【図12】本発明の実施形態の仮想空間コンテンツ配信システムにおいて使用される仮想空間である仮想ライブ会場を示す図である。

【図13】本発明の実施形態の仮想空間コンテンツ配信システムを構成する視聴者端末における表示例を示す図である。

【図14】本発明の実施形態の仮想空間コンテンツ配信システムを構成する視聴者端末における表示例を示す図である。

【図15】本発明の実施形態の仮想空間コンテンツ配信システムを構成する演者端末における表示例を示す図である。

【図16】本発明の実施形態の仮想空間コンテンツ配信システムを構成する視聴者端末におけるズーム操作による表示例を示す図である。

【図17】本発明の実施形態の仮想空間コンテンツ配信システムを構成する視聴者端末におけるズーム操作による表示例を示す図である。

【図18】本発明の実施形態の仮想空間コンテンツ配信システムを構成する視聴者端末における表示例を示す図である。

【図19】本発明の実施形態の仮想空間コンテンツ配信システムを構成する視聴者端末におけるフライング演出期間の表示例を示す図である。

【図20】本発明の実施形態の仮想空間コンテンツ配信システムを構成する視聴者端末において実行される視聴者用視点映像制御処理の一例を示すフロー図である。

【図21】変形例における仮想ライブ会場を示す図である。

【図22】変形例における仮想ライブ会場への参加位置選択画面を示す図である。

【発明を実施するための形態】

【0019】

本発明の仮想空間コンテンツ配信システムを実施するための形態について、実施例にもとづいて図面を用いて以下に説明する。尚、複数の図面において同一の又は類似する構成要素には同じ参照符号を付することで、重複する説明は省くものとする。また、本発明に係わる仮想空間コンテンツ配信プログラムは、仮想空間コンテンツ配信システムを構成する後述するサーバコンピュータや各端末から成るシステム全体で使用されるプログラムであってもよいし、仮想空間コンテンツ配信システムを構成する一部の装置である、例えば、サーバコンピュータや各端末だけで動作するものであってもよい。

【実施例】

【0020】

図１は、本発明の１実施形態である実施例における仮想空間コンテンツ配信システムのシステム構成例を示すブロック図であり、図１に示す本実施例のシステムでは、演者ユーザーに対応した演者アバター１が、図１２に示す仮想ライブ会場においてライブイベントを行う仮想空間ライブが仮想空間コンテンツとして配信される。

【0021】

本実施例の仮想空間コンテンツ配信システムは、図１に示すように、主に、仮想空間である図１１に示す仮想ライブ会場に関する各種処理や仮想空間ライブの配信に関する各種処理を実行可能な配信用サーバコンピュータ１００と、仮想空間ライブイベントを運営・管理するイベント運営機関のイベント管理者Ｋが、仮想空間ライブイベントの配信を管理するために使用する管理者端末１５０と、演者ユーザーが使用する演者端末２００と、仮想空間ライブに仮想参加して仮想空間ライブを視聴する視聴者ユーザーが使用可能な視聴者端末３００とから構成されており、配信用サーバコンピュータ１００、管理者端末１５０、演者端末２００、視聴者端末３００は、オープンコンピュータネットワークであるインターネット網Ｎを介して、相互にデータ通信可能に接続されている。

【0022】

尚、本実施例では、管理者端末１５０や演者端末２００についてもインターネット網Ｎを介して配信用サーバコンピュータ１００に接続させた形態を例示しているが、本発明はこれに限定されるものではなく、例えば、図１１に示すスタジオが、イベント運営機関が運営するスタジオであって、イベント運営機関が演者ユーザーにスタジオを提供している等の場合であって、これらスタジオに配信用サーバコンピュータ１００が設置されている場合にあっては、管理者端末１５０や演者端末２００を配信用サーバコンピュータ１００にローカルにデータ通信接続した形態としたり、スタジオ施設内のローカルエリアネットワークＬＡＮを介して通信接続するようにしてもよい。

【0023】

また、図１に示すように、視聴者ユーザーＡ、視聴者ユーザーＢ、視聴者ユーザーＣ…のように、視聴者ユーザーは複数であって、視聴者端末３００としては、個々の視聴者ユーザーＡ、視聴者ユーザーＢ、視聴者ユーザーＣ…が使用可能な視聴者端末３００ａ、視聴者端末３００ｂ、視聴者端末３００ｃ…を含む。尚、視聴者ユーザーは、通常、複数であるが、１人でもよいし、４人以上であってもよく、その数は仮想空間である仮想ライブ会場等に応じて適宜に決定すればよい。以下、視聴者ユーザーＡ、視聴者ユーザーＢ、視聴者ユーザーＣ…を総称して視聴者ユーザーと表記する場合があるとともに、視聴者端末３００ａ、視聴者端末３００ｂ、視聴者端末３００ｃ…を総称して視聴者端末３００と表記する場合がある。

【0024】

また、本実施例では、演者ユーザーを１人とした形態を例示しているが、本発明はこれに限定されるものではなく、仮想空間ライブは、単独で活動している複数の演者ユーザーが仮想参加する共演イベントであってもよいし、共同で活動している複数人のグループが仮想参加するグループイベントであってもよく、このように、複数の演者が出演する場合には、各演者ユーザー毎に演者端末２００ａ、演者端末２００ｂ、演者端末２００ｃ…を設けるようにしてもよいし、複数人のグループで出演する場合であれば、１つの演者端末２００を複数人で使用するようにしてもよい。

【0025】

また、図１においては、配信用サーバコンピュータ１００を単体として図示しているが、本発明はこれに限定されるものではなく、これら配信用サーバコンピュータ１００を、仮想空間処理を主に行う第１サーバコンピュータと配信処理を主に行う第２サーバコンピュータ等の複数のサーバコンピュータで構成したり、あるいは、クラウドサーバ等にて構成して、イベントの規模や参加する聴者ユーザーの数等に応じてサーバコンピュータの数を適宜に変更可能としてもよい。

【0026】

同様に、管理者端末１５０についても、図１においては単体として図示しているが、本発明はこれに限定されるものではなく、これら管理者端末１５０を、ライブに仮想参加する演者ユーザーや視聴者ユーザーの数等に応じて複数としてもよいことはいうまでもない。

【0027】

＜配信用サーバコンピュータ＞
図２は、本実施例に用いた配信用サーバコンピュータ１００の構成を示す図である。本実施例で用いた配信用サーバコンピュータ１００は、上記のように、イベント運営機関が運営するスタジオに設置された比較的処理能力に優れた通常のサーバコンピュータであって、図２に示すように、データバス１０８に接続されたプロセッサ（ＣＰＵ）１０１、メモリ（ＲＡＭ）１０２、ハードディスク等のストレージ１０３、オープンコンピュータネットワークであるインターネットを介したＴＣＰ／ＩＰプロトコルによる双方向に通信が可能な通信インターフェイス（Ｉ／Ｆ）１０４と、キーボード等の入力装置等を接続可能な入出力インターフェイス（Ｉ／Ｆ）１０５を有している。

【0028】

尚、本実施例では、ローカル操作を可能とするために、入出力インターフェイス（Ｉ／Ｆ）１０５を設けているが、通信インターフェイス（Ｉ／Ｆ）１０４を介してのリモート操作が可能である場合には、入出力インターフェイス（Ｉ／Ｆ）１０５を設けない形態としてもよい。

【0029】

配信用サーバコンピュータ１００のストレージ１０３には、図示しないサーバ機能を提供するためのオペレーションシステム（サーバＯＳ）に加えて、図３に示すように、各種のデータやプログラムが記憶されている。具体的には、主に、ライブイベントを管理するイベント管理機能を提供するためのイベント管理プログラム１１０、仮想空間である仮想ライブ会場の仮想空間を提供するための仮想空間生成プログラム１２０、演者ユーザーを管理する演者ユーザー管理機能を提供するための演者ユーザー管理プログラム１３０と、視聴者ユーザーを管理する視聴者ユーザー管理機能を提供するための視聴者ユーザー管理プログラム１３２と、が記憶されている。

【0030】

イベント管理プログラム１１０は、管理者端末１５０と協同して仮想ライブ会場（図１２参照）で開催されるイベントである仮想空間ライブを管理するためのプログラムであって、該イベント管理プログラム１１０とともにストレージ１０３に記憶されているイベントデータ１１１（図７参照）、タイムスケジュールデータ（ＴＳデータ）１１２、楽曲データ１１３を使用して仮想空間ライブイベントの進行を管理可能とされている。

【0031】

本実施例に用いたイベントデータ１１１を、図７に例示する。イベントデータ１１１は、イベントに固有に付与されたイベントＩＤに対応付けて、イベント名、タイムスケジュール（ＴＳ）データのファイル名、出演者である演者ユーザーに固有に付与された演者ＩＤ、楽曲リストのファイル名、後述する仮想観客領域の第３領域に仮想参加が許可された特別な視聴者ユーザーの情報が登録されている参加視聴者リストのファイル名と、後述する仮想観客領域の第４領域に仮想参加を予約した視聴者ユーザーの情報が登録されている参加視聴者リストのファイル名等の情報が記憶されている。

【0032】

尚、タイムスケジュールデータ（ＴＳデータ）１１２は、開催される仮想空間ライブイベントの進行順序や楽曲等の演目が時系列に記述されたデータとされており、該タイムスケジュールデータ（ＴＳデータ）１１２に記述されたタイムスケジュールにもとづいて仮想空間ライブイベントが進行するように管理される。また、これらタイムスケジュールデータ（ＴＳデータ）１１２やイベントデータ１１１等は、管理者端末１５０をイベント管理者Ｋが操作することによって変更、更新、追加することができる。

【0033】

また、楽曲データ１１３は、演者ユーザーが歌唱する各楽曲の演奏パート（所謂カラオケ）のデータであって、イベント管理プログラム１１０によってタイムスケジュールデータ（ＴＳデータ）１１２にもとづいて、後述する音声制御プログラム１２４によって再生されて、演者端末２００や視聴者端末３００に送信される（図１１参照）。

【0034】

仮想空間生成プログラム１２０は、図１２に示す仮想空間である仮想ライブ会場を提供するためのプログラムであって、該仮想空間生成プログラム１２０とともにストレージ１０３に記憶されている仮想ライブ会場の構造等が記述された仮想空間データ１２１、仮想ライブ会場に配置される種々の物体（ステージ上の星の装飾物４３や上空の星のオブジェ５０～５２を含む）等を仮想空間内に配置するためのオブジェクトデータ１２２、並びに後述する演者ユーザーデータ１３１に含まれている演者アバターデータおよび視聴者ユーザーデータ１３３に含まれている視聴者アバターデータとを用いて、演者アバターや視聴者アバターが仮想参加している仮想ライブ会場を提供する機能を有する。

【0035】

視点映像制御プログラム１２３は、図１２に示すように、仮想ライブ会場に仮想的に設定された仮想カメラＣ１～Ｃ４並びに空中移動仮想カメラ（図示略）からの視点映像を生成する機能を提供するとともに、視聴者端末３００と協同して仮想ライブ会場の第３領域にて仮想参加している視聴者アバター１１～１４、第４領域にて仮想参加している視聴者アバター２１～３２の各視点からの映像を演者端末２００に表示する機能を提供するためのプログラムである。尚、仮想カメラＣ２は、仮想ライブ会場のステージ上にいる演者アバター１の視点からの映像とするために設定された仮想カメラであり、該仮想カメラＣ２からの視点映像が、視聴者端末３００に接続された後述するプロジェクタ２１１によって、スタジオにもうけられているスクリーンＳに投影されるようになっている。

【0036】

音声制御プログラム１２４は、仮想空間ライブイベントにおいて配信される音声（楽曲を含む）に関する制御を行うためのプログラムであり、具体的には、楽曲データ１１３の再生機能や演者ユーザーが発した音声を再生した楽曲と合成して管理者端末１５０や視聴者端末３００に配信する機能を提供する。

【0037】

コメント制御プログラム１２５は、後述する視聴者端末３００に記憶されている視聴者用コメント制御プログラムと協同して、仮想空間ライブイベントにおいて各視聴者ユーザーが視聴者端末３００において入力した種々のコメントを、時系列に演者端末２００並びに視聴者端末３００に表示させる機能を提供する。

【0038】

ギフト制御プログラム１２６は、後述する視聴者端末３００に記憶されている視聴者用プログラムと協同して、視聴者ユーザーから演者ユーザーに贈られるギフトに関する制御を行うためのプログラムであり、具体的には、ギフトデータ１３４に記憶されている各種ギフトに設定された購入単価の情報にもとづいて視聴者ユーザーがギフトの購入を行う機能や、ギフトデータ１３４に含まれているギフトのオブジェクトデータを用いて購入したギフトを視聴者ユーザーが演者ユーザーに贈るための処理機能（贈るときの演出等の処理を含む）や、贈られたギフトの所有者を視聴者ユーザーから演者ユーザーに変更するための処理機能等を提供する。

【0039】

演者ユーザー管理プログラム１３０は、該演者ユーザー管理プログラム１３０とともにストレージ１０３に記憶されている図８に示す演者ユーザーデータ１３１にもとづいて、演者ユーザーに関する情報の管理機能並びに認証機能等を提供する。

【0040】

本実施例に用いた演者ユーザーデータ１３１を、図８に例示する。演者ユーザーデータ１３１は、演者ユーザーに固有に付与された演者ユーザーＩＤに対応付けて、当該演者ユーザーのアカウント（電子メールアドレス）、名称、認証情報、仮想空間において使用するアバターのアバターデータのファイル名、所有しているアイテムが登録されているアイテムリストのファイル名、等の各種情報が記憶されている。尚、図８には図示していないが、各演者ユーザーが所有しているポイント等の仮想価値の情報を演者ユーザーデータ１３１として記憶するようにしてもよい。

【0041】

演者ユーザーは、演者ユーザーＩＤ、アカウント、認証情報とを照合する等によって認証できるようになっているとともに、各演者ユーザーが視聴者から贈られることで所有することになったアイテム（ギフト）を、アイテムリストから特定できるようになっている。

【0042】

視聴者ユーザー管理プログラム１３２は、該プログラムとともにストレージ１０３に記憶されている図９に示す視聴者ユーザーデータ１３３にもとづいて、視聴者ユーザーに関する情報の管理機能並びに認証機能等を提供する。

【0043】

本実施例に用いた視聴者ユーザーデータ１３３を、図９に例示する。視聴者ユーザーデータ１３３は、視聴者ユーザーに固有に付与された視聴者ユーザーＩＤに対応付けて、当該視聴者ユーザーのアカウント（電子メールアドレス）、認証情報、仮想空間において使用するアバターのアバターデータのファイル名、仮想空間において使用可能なポイントの所有数である所有ポイント、ポイントを使用して購入したアイテム（ギフト）が登録されているアイテムリストのファイル名、氏名、生年月日、電話番号等の個人情報等の各種情報が記憶されている。尚、図９には示していないが、コメントとともに表示されるニックネーム（コメントネーム）についても視聴者ユーザーデータ１３３に登録されていて、該ニックネーム（コメントネーム）がコメントとともに表示される。また、ポイントは、例えば、所定の運営会社から購入することで増やすことができる。

【0044】

＜演者端末＞
図４は、本実施例の仮想空間コンテンツ配信システムにおける演者端末２００の構成例を示す図である。演者端末２００は、本実施例では、図１１に示すように、演者ユーザーが演技動作を行うスタジオに隣接する調整室内に設けられていて、比較的処理能力に優れた通常のコンピュータを使用しており、図４に示すように、データバス２０８に接続されたプロセッサ（ＣＰＵ）２０１、メモリ（ＲＡＭ）２０２、ハードディスク等のストレージ２０３、オープンコンピュータネットワークであるインターネットを介したＴＣＰ／ＩＰプロトコルによる双方向に通信が可能な通信インターフェイス（Ｉ／Ｆ）２０４、表示装置Ａ２１０～表示装置Ｃ２１２が接続されたグラフィックスプロセッシングユニット（ＧＰＵ）を含む画像処理部２０６、各種の入出力デバイスが接続された入出力インターフェイス（Ｉ／Ｆ）２０５を有している。

【0045】

入出力インターフェイス（Ｉ／Ｆ）２０５には、入力デバイスとして、演者ユーザーが左右の手足及び腰に装着している複数の装着センサ２２０Ｃ１～２２０Ｃ５（図１１参照）を含むモーションセンサ２２０、演者の顔の表情を入力するための撮像カメラで構成される表情入力装置２２１、演者ユーザーの頭部に装着されている集音マイクにより構成される音声入力装置２２２、演者ユーザーを補助する補助オペレータＯが操作可能に設けられたキーボードやタッチパネル等の操作入力装置２２４等が接続される。尚、これら入力デバイスとして、演者ユーザーが把持することで種々の操作を行うことが可能なコントローラを設けることで、補助オペレータＯによることなく、演者自身が種々の操作を行うことができるようにしてもよい。

【0046】

尚、本実施例では、演者ユーザーが楽曲に合わせた上演動作（楽曲動作）を行うため、上演中における操作を補助オペレータＯが補助する形態としているが、これら補助オペレータＯを複数人としたり、或いは、操作内容を予め演者端末２００において、例えば、シーケンスプログラム等に設定しておくことで、補助オペレータＯを設けない形態としてもよい。

【0047】

入出力インターフェイス（Ｉ／Ｆ）２０５には、出力デバイスとして演者ユーザーが装着している高機能イヤホン（イヤモニ）や調整室に配置されたスピーカー等を含む音声出力装置２２３が接続されることで、配信用サーバコンピュータ１００から送信される再生楽曲の音が高機能イヤホン（イヤモニ）を介して演者ユーザーに対して出力されるとともに、スピーカーからは、演者の音声とともに楽曲音声が出力されることで、演者ユーザーが発した音声を含む楽曲の状況を、補助オペレータＯ等が調整室において確認することができるようになっている。

【0048】

本実施例では、演者ユーザーが装着している集音マイクから、再生された楽曲音声が入力されることによる不都合を回避するために高機能イヤホン（イヤモニ）を使用しているが、本発明はこれに限定されるものではなく、楽曲音声が入力されることによる不都合を回避できるのであれば、スタジオ内のスピーカー等から、楽曲音声を出力するようにしてもよい。

【0049】

尚、本実施例では、集音マイクを演者ユーザーが装着する形態を例示しているが、これら集音マイクを、スタジオの床、壁、又は天井に設置される設置型のものとしてもよい。

【0050】

ここで、本実施例の演者端末３００で使用したモーションセンサ２２０について説明する。モーションセンサ２２０は、演者ユーザーの体の動き（動作）を適切に検出（計測）できるものであれば、任意のものを使用することができる。本実施例では、演者の動作をより正確且つ短周期で検出可能とするために、演者ユーザーが体に装着する複数の装着センサ２２０Ｃ１～２２０Ｃ５を使用している。尚、モーションセンサ２２０を、レーザー光等を用いたＬｉＤＥＲ等の演者が機器を装着しないタイプのものを使用してもよい。

【0051】

尚、本実施例では、演者ユーザーが上演動作をする際のセンサ等の装着による動作負担、特には、頭部の動作負担を軽減するために、演者ユーザーの頭部の動作を、後述するように、表情入力装置２２１を構成する撮像カメラにて撮像された画像を用いた画像認識によって検出し、頭部以外の動作を５つの装着センサ２２０Ｃ１～２２０Ｃ５を使用した形態を例示しているが、例えば、演者ユーザーの頭部等にも装着センサを設けたり、更に、より詳細な動作を検出するために、より多く（７以上）の装着センサを装着するようにしてもよい。

【0052】

装着センサ２２０Ｃ１～２２０Ｃ５は、図１１に示すように、隣接する調整室とガラス窓を隔てたスタジオルーム内に設置されているベースステーション２２０ａ及びベースステーション２２０ｂと協働して、自らの位置及び向きを検出する。

【0053】

これらベースステーション２２０ａ及びベースステーション２２０ｂは、一例として、多軸レーザーエミッターを使用できる。ベースステーション２２０ａは、同期用の点滅光を発した後に、例えば鉛直軸の周りでレーザー光を走査する。ベースステーション２２０ｂは、例えば水平軸の周りでレーザー光を走査する。

【0054】

装着センサ２２０Ｃ１～２２０Ｃ５はそれぞれ、ベースステーション２２０ａ及びベースベースステーション２２０ｂからの点滅光及びレーザー光の入射を検知する光センサを複数備えていてもよい。

【0055】

装着センサ２２０Ｃ１～２２０Ｃ５はそれぞれ、点滅光の入射タイミングとレーザー光の入射タイミングとの時間差、各光センサでの受光時間、各光センサが検知したレーザー光の入射角度、及び必要に応じてこれら以外の情報に基づいて、自らの位置及び向きを検出可能とされており、例えば、ＨＴＣ ＣＯＲＰＯＲＡＴＩＯＮから提供されているＶｉｖｅＴｒａｃｋｅｒや、ベースステーションを好適に使用することができる。

【0056】

ベースステーション２２０ａ及びベースベースステーション２２０ｂは、一定のインターバルで点滅光の発光及びレーザー光の走査を行うので、各装着センサ２２０Ｃ１～２２０Ｃ５の検出情報は、当該インターバルごとに更新される。そして、これら装着センサ２２０Ｃ１～２２０Ｃ５の各々において算出された各モーションセンサの位置及び向きを示す検出情報は、近距離無線通信によって演者端末２００に入力され、フェイスモーションの情報とともに、演者アバター情報として配信用サーバコンピュータ１００に送信される（図１０参照）。

【0057】

尚、本実施例では、ベースステーション２２０ａ及びベースベースステーション２２０ｂの２つのベースステーションを使用した形態を例示しているが、本発明はこれに限定されるものではなく、これらベースステーションを３つ以上としてもよい。

【0058】

また、モーションセンサ２２０を、演者ユーザーに装着される複数のモーションセンサの各々に多数の赤外ＬＥＤ或いは可視光ＬＥＤを搭載し、これらのＬＥＤからの光を、スタジオの床や壁に設けられた赤外線カメラで検知することで、当該モーションセンサの各々の位置及び向きを検出してもよい。

【0059】

また、モーションセンサ２２０を、演者ユーザーの負担を軽減するために、装着センサ２２０Ｃ１～２２０Ｃ５に代えて、より軽量な反射マーカーを用いたモーションセンサを使用してもよい。つまり、演者ユーザーの身体の各部に粘着テープなどにより貼着された反射マーカーを撮影して撮影データを生成し、この撮影データを画像処理することにより、反射マーカーの位置及び向きを検出することで、演者ユーザーの動作を検出するものであってもよく、この場合にあっては、スタジオ内に演者ユーザーを撮影するカメラマンを配置して、該カメラマンが演者ユーザーを撮影することで、演者ユーザーの動作を、検出に適した方向から撮影することで、良好に検出できるようにしてもよい。

【0060】

また、モーションセンサ２２０として、慣性センサが内蔵されたスーツ、例えば、Ｘｓｅｎｓ.ｃｏｍ社が上市しているＭＶＮモーションキャプチャシステム用の慣性センサ内蔵スーツを使用し、慣性センサから出力されるセンサ信号を解析することにより、演者ユーザーの動作を検出するものであってもよい。

【0061】

表情入力装置２２１は、演者ユーザーの顔を含む頭部の動作を適切に検出できるものであれば、任意のものを使用することができる。本実施例では、具体的には、演者ユーザーの顔を含む頭部画像を連続的に撮像可能に配置された撮像カメラ（デジタルカメラ）にて構成されており、該撮像カメラにて撮像された演者ユーザーの頭の動きと顔の動き（表情）を、画像認識にて検知し、該検知した頭の動きと顔の動き（表情）であるフェイスモーションの情報が、図１０に示すように、ボディモーションの情報とともに演者アバター情報として配信用サーバコンピュータ１００に送信される。

【0062】

尚、表情入力装置２２１は、本実施例で使用した撮像カメラ（デジタルカメラ）に限定されるものではなく、例えば、表情入力装置２２１は、人物の顔の奥行きを検出可能な３Ｄカメラであってもよいし、例えば、ＬｉＤＥＲデバイスが搭載されたスマートフォン等の携帯端末を使用することもできる。この場合、これらの携帯端末を演者ユーザーが装着するようにしてもよい。

【0063】

本実施例の演者端末２００では、上記のように、３つの表示装置Ａ２１０～表示装置Ｃ２１２を有しており、表示装置Ａ２１０は、図１１示すように、調整室に設けられている液晶モニター等であり、表示装置Ｂ２１１は、スタジオ内に設けられたスクリーンＳに映像を投影するプロジェクタであり、表示装置Ｃ２１２は、スタジオ内にスクリーンＳに隣接して設けられた縦型の大型ディスプレイである。

【0064】

スタジオの調整室内に配置されている表示装置Ａ２１０には、仮想カメラＣ１～Ｃ４の各視点からの映像や後述するフライング演出期間における空中移動仮想カメラからの視点映像と、コメントの内容と、補助オペレータＯが演者ユーザーに伝達したいメッセージを入力するメッセージ入力ウインドウ等が表示される。

【0065】

一方、スタジオ内に設けられた表示装置Ｂ２１１であるプロジェクタから投影されるスクリーンＳには、演者の視点である仮想カメラＣ２(図１２参照)の視点映像である、例えば、図１５に示すように、第３領域や第４領域においてライブに仮想参加している視聴者のアバターを含む映像が表示されることで、演者ユーザーが、仮想空間ライブに仮想参加している視聴者ユーザーの状況を、映像によって確認できるようになっている。

【0066】

また、スタジオ内に設けられた表示装置Ｃ２１２には、視聴者ユーザーのコメントや、補助オペレータＯが入力したコメントやメッセージ等が表示されることで、演者ユーザーが、上演中においても視聴者ユーザーのコメントを確認したり、補助オペレータＯからのメッセージを確認することができる。

【0067】

ストレージ２０３には、演者端末２００であるコンピュータを動作させるためのオペレーションシステム（ＯＳ）に加えて、プロセッサ（ＣＰＵ）２０１等が実行することで仮想空間コンテンツである仮想空間ライブにおける演者ユーザーによる演者アバター１の動作制御機能を初めとする各種機能を、配信用サーバコンピュータ１００と協働して提供するための演者用プログラムが記憶されている。

【0068】

演者用プログラムは、図４に示すように、演者アバター制御プログラム、演者用視点映像制御プログラム、演者用視点映像制御プログラム、演者用音声制御プログラム、演者用コメント制御プログラム、演者認証用データ等を含む。

【0069】

演者アバター制御プログラムは、主に、モーションセンサ２２０を用いて演者ユーザーのボディモーションをスキャンするとともに、表情入力装置２２１を用いて演者ユーザーのフェイスモーション（表情）をスキャンして、演者アバターを動作させるための演者アバター情報を生成して配信用サーバコンピュータ１００に送信する機能を提供するプログラムである。

【0070】

演者用視点映像制御プログラムは、配信用サーバコンピュータ１００から配信される仮想空間更新データにもとづいて演者視点である仮想カメラＣ２の視点映像を生成、出力する機能を提供するプログラムである。

【0071】

演者用音声制御プログラムは、配信用サーバコンピュータ１００から配信される再生楽曲データにもとづく楽曲の再生音を、音声出力装置２２３を介して出力するとともに、音声入力装置２２２から入力される音声をデータ化して演者音声データとして配信用サーバコンピュータ１００に送信し、楽曲の再生音と演者音声とからなるモニター音声を生成、出力する機能を提供するプログラムである。

【0072】

演者用コメント制御プログラムは、配信用サーバコンピュータ１００から配信される視聴者ユーザーによる各コメント等を表示する機能を提供するプログラムである。

【0073】

演者認証用データは、配信用サーバコンピュータ１００との通信接続において演者ユーザーが本人であることを認証するためのデータである。

【0074】

尚、演者アバター制御プログラムには、演者アバターデータに含まれる演者アバターの骨格を示すリグデータ（スケルトンデータ」と呼ばれることもある。）を構成する骨（ ボーン） の位置及び回転角度のパラメータ情報を生成可能なモーションパラメータ生成プログラム等が含まれているとともに、撮像カメラによって撮像された画像から演者ユーザーの頭部の位置と表情とを画像認識するための画像認識処理プログラム等が含まれている。

【0075】

また、本実施例では、演者端末２００は、イベント運営機関が運営するスタジオに設置された演者端末２００となるコンピュータを、複数の演者ユーザーが共同で利用し、ライブイベントを開催するときにおいて、個々の演者ユーザーが、演者認証用データを入力することで当該演者ユーザーの演者端末２００として利用できるようにした形態を例示しているが、本発明はこれに限定されるものではなく、例えば、演者ユーザーが自宅等から仮想空間ライブに出演する場合であって、演者端末２００が、演者ユーザーが自宅に設置している自分専用のコンピュータである場合のように、所有する演者ユーザーのみが利用する形態であってもよく、このような場合には、演者認証用データの記憶は必ずしも必要ない。

【0076】

このように、本実施例の仮想空間コンテンツ配信システムを構成する演者端末２００を演者ユーザー等が使用することで、演者ユーザーは、仮想ライブ会場における仮想ステージＧ上に配置された演者アバター１を、自身の動作に連動して動作させることができるとともに、演者アバター１の表情に自身の表情を反映させることができるとともに、自分の声を演者アバター１の声として、配信用サーバコンピュータ１００を通じて視聴者に配信することができる。

【0077】

＜視聴者端末＞
図５は、本実施例の仮想空間コンテンツ配信システムにおける視聴者端末３００の構成例を示す図である。視聴者端末３００は、本実施例では、視聴者ユーザーが携行するスマートフォンＰや視聴者ユーザーが自宅等に設置している据え置き型の通常のコンピュータ（ＰＣ）とされており、図５に示すように、データバス３０８に接続されたプロセッサ（ＣＰＵ）３０１、メモリ（ＲＡＭ）３０２、ハードディスクや不揮発性メモリ等のストレージ３０３、オープンコンピュータネットワークであるインターネットを介したＴＣＰ／ＩＰプロトコルによる双方向に通信が可能な通信インターフェイス（Ｉ／Ｆ）３０４、表示装置３１０が接続されたグラフィックスプロセッシングユニット（ＧＰＵ）を含む画像処理部３０６、各種の入出力デバイスが接続された入出力インターフェイス（Ｉ／Ｆ）３０５を有している。

【0078】

表示装置３１０は、後述するように、ストレージ３０３に記憶されている視聴者用プログラムに含まれる視聴者用視点映像制御プログラムによって、配信用サーバコンピュータ１００から配信される仮想空間更新データ（図１０参照）によって更新される仮想空間である仮想ライブ会場の仮想空間データにもとづいて生成される各視点映像や、後述するフライング演出期間において配信用サーバコンピュータ１００から配信されるフライング視点映像を表示可能なものであればよく、視聴者端末３００がスマートフォンＰである場合は、該スマートフォンＰが有するディスプレイが該当し、視聴者端末３００が通常のコンピュータ（ＰＣ）であれば、コンピュータ（ＰＣ）を構成する据え置き型のディスプレイが該当する。尚、これらディスプレイは、平面視画像（２Ｄ画像）を表示するものに限らず、例えば、視聴者が装着可能なヘッドマウントディスプレイ（ＨＭＤ）のように、右目画像と左目画像とを表示することで、立体視画像（３Ｄ画像）を表示可能なものであってもよい。

【0079】

入出力インターフェイス（Ｉ／Ｆ）３０５には、入力デバイスとして、視聴者が各種の操作が可能とされた１または複数のデバイスからなる操作入力装置３２１と、配信用サーバコンピュータ１００から配信されるライブ音声等を出力可能なイヤホンやスピーカー等の音声出力装置３２２が接続される。

【0080】

尚、音声出力装置３２２は単独のデバイスではなく、上記したヘッドマウントディスプレイ（ＨＭＤ）のように表示装置３１０と一体とされたものであってもよいことはいうまでもない。

【0081】

操作入力装置３２１は、視聴者が視聴者アバターの移動等を含む動作操作、ズーム操作、コメントに関する操作、ギフト等に関する操作等、の各種操作を実行可能なものであれば任意のものを使用することができ、例えば、スマートフォンのディスプレイ表面に形成された透明タッチパネル、コンピュータを構成するキーボード、ゲームコントローラ等の少なくとも１つ以上で構成される。

【0082】

尚、本実施例では、視聴者として、後述するように、仮想ライブ会場における仮想観客領域が、図１２に示すように、演者ユーザーによって特別に許可された視聴者ユーザーだけが仮想参加できる仮想ステージＧ近傍の第３領域と、一般の視聴者ユーザーが仮想参加できる第３領域周囲の第４領域とに区分けされており、第４領域に仮想参加する視聴者ユーザーは、上記したように、タッチパネル、キーボード、ゲームコントローラ等の操作入力装置３２１であればよいが、第３領域に仮想参加する視聴者ユーザーは、操作入力装置３２１として、例えば、上述した慣性センサが内蔵されたＭＶＮモーションキャプチャスーツを所有していることで、演者ユーザーと同様に、視聴者アバターを自身の動作によって細かく動作させることのできる視聴者ユーザーである。

【0083】

但し、第３領域に仮想参加が許可された視聴者ユーザーであっても、視聴者アバターの表情を変更することまではできないが、本発明はこれに限定されるものではなく、これら視聴者アバターの表情を、例えば、上記したように、視聴者ユーザーがスマートフォンのカメラ機能やコンピュータに接続したカメラを使用して視聴者ユーザーの顔の表情を認識させることで、演者ユーザーの変更レベルとは異なるレベルであっても、変更できるようにしてもよい。

【0084】

尚、これら入出力インターフェイス（Ｉ／Ｆ）３０５に接続される各種の入出力デバイスは、内蔵のものであっても外付けのものあってもよく、外付けのデバイスの場合には、有線、無線のいずれの接続形態であってもよい。

【0085】

ストレージ３０３には、視聴者端末３００であるスマートフォンやコンピュータを動作させるためのオペレーションシステム（ＯＳ）に加えて、プロセッサ（ＣＰＵ）３０１等が実行することで仮想空間コンテンツである仮想空間ライブにおける視聴者ユーザーに関するライブ視聴機能を初めとする各種機能を、配信用サーバコンピュータ１００と協働して提供するための視聴者用プログラムが視聴アプリとして記憶されている。

【0086】

視聴者用プログラムは、図５に示すように、表示装置３１０に表示する仮想空間ライブの各視点映像を生成する機能を提供する視聴者用視点映像制御プログラム、配信用サーバコンピュータ１００から配信される仮想空間ライブのライブ音声（データ）に基づくライブ音声を音声出力装置３２２から出力する機能を提供する視聴者用音声制御プログラム、配信用サーバコンピュータ１００から配信されるコメントデータにもとづくコメントを表示するとともに、視聴者が入力するコメントと配信用サーバコンピュータ１００に送信する等のコメントに関する機能を提供する視聴者用コメント制御プログラム、配信用サーバコンピュータ１００との通信接続において視聴者ユーザーが本人であることを認証するための視聴者認証用データ等を含む。

【0087】

尚、図５には図示していないが、上記したプログラム以外に、ギフトに関する制御等を行うギフト制御プログラムや、図２１、２２に示すように、ライブイベントの開始前において事前に仮想ライブ会場において視聴者アバターが仮想参加する領域（位置）を予約するための領域指定プログラム等が含まれているが、これら以外の他のプログラムが含まれていてもよい。

【0088】

視聴者が入力するコメントは、本実施例では、テキスト形式の短文メッセージとされているが、これらテキスト形式の短文メッセージに限定されるものではなく、例えば、静止画形式のメッセージ、動画形式のメッセージ、及びこれら以外の任意の形式の電子的なメッセージであってもよい。尚、コメントは、表示装置３１０において各視点映像に重ねて表示される。

【0089】

このように、本実施例の仮想空間コンテンツ配信システムを構成する視聴者端末３００視聴者ユーザーが使用することで、仮想ライブ会場に仮想参加している視聴者アバターを移動や動作させて、視聴者アバターによる視点を変更することで表示装置３１０に表示される視点映像を変更することができるとともに、ズーム状態（視点の状態）についても変更することができ、視聴者アバターを動作させて演者アバター１を応援することができる。

【0090】

尚、第３領域に仮想参加した視聴者アバターの場合は、第３領域内においてだけ移動が可能とされていて、第４領域には移動することはできない。一方、第４領域に仮想参加した視聴者アバターの場合は、第４領域内においてだけ移動が可能とされていて、第３領域には移動することはできない。但し、本発明はこれに限定されるものではなく、３領域に仮想参加した視聴者アバターの場合は第４領域に移動できるようにしてもよい。尚、視聴者アバターは、当然、仮想ステージＧ等には移動することができないので、演者アバター１の視認が仮想ステージＧ上に視聴者アバターが移動することによって阻害されてしまうことはない。

【0091】

また、これら表示装置３１０に視点映像が表示されるともに、ライブ音声が出力されることで、自分が仮想ライブ会場に立ち会っているような感覚で、仮想空間ライブを楽しむことができる。

【0092】

また、詳しい説明は省略するが、視聴者用コメント制御プログラムにより提供されるコメント機能によって、自分や他の視聴者ユーザーが入力したコメントを確認しながら仮想空間ライブを楽しむことができるとともに、ギフト制御プログラムによるギフト機能によって、自分が所有しているアイテムを演者アバター１に贈ることで、仮想空間ライブを盛り上げることもできる。

【0093】

＜管理者端末＞
図６は、本実施例の仮想空間コンテンツ配信システムにおける管理者端末１５０の構成例を示す図である。管理者端末１５０は、本実施例では、演者端末２００とともに、スタジオに隣接している調整室内に設けられた通常のコンピュータを使用しており、図６に示すように、データバス１５８に接続されたプロセッサ（ＣＰＵ）１５１、メモリ（ＲＡＭ）１５２、ハードディスク等のストレージ１５３、オープンコンピュータネットワークであるインターネットを介したＴＣＰ／ＩＰプロトコルによる双方向に通信が可能な通信インターフェイス（Ｉ／Ｆ）１５４、表示装置１６０が接続されたグラフィックスプロセッシングユニット（ＧＰＵ）を含む画像処理部１５６、各種の入出力デバイスが接続された入出力インターフェイス（Ｉ／Ｆ）１５５、を有している。

【0094】

表示装置１５０は、後述するように、ストレージ１５３に記憶されている管理者用プログラムに含まれる管理者用視点映像制御プログラムによって、配信用サーバコンピュータ１００から配信される仮想空間更新データ（図１０参照）によって更新される仮想空間である仮想ライブ会場の仮想空間データにもとづいて生成される、後述する各仮想カメラＣ１～Ｃ４並びにフライング演出期間における空中移動仮想カメラの各視点映像を個別に表示可能であるとともに、配信用サーバコンピュータ１００から配信されるコメントデータにもとづくコメントを表示可能なものであればよく、１または複数の据え置き型のディスプレイによって構成されている。

【0095】

入出力インターフェイス（Ｉ／Ｆ）１５５には、入力デバイスとして、管理者Ｋが各種の操作が可能とされた１または複数のデバイスからなる操作入力装置１６１と、配信用サーバコンピュータ１００から配信されるライブ音声等を出力可能なイヤホンやヘッドホンやスピーカー等の音声出力装置１６２が接続される。

【0096】

操作入力装置１６１は、管理者Ｋが、仮想空間ライブのイベントに関する入力や設定等の各種操作を実行可能なものであれば任意のものを使用することができ、例えば、コンピュータを構成するキーボードや、ディスプレイ表面に形成された透明タッチパネルや視点切替コントローラ等の少なくとも１つ以上で構成される。

【0097】

尚、これら入出力インターフェイス（Ｉ／Ｆ）１５５に接続される各種の入出力デバイスは、有線、無線のいずれの接続形態であってもよい。

【0098】

ストレージ１５３には、管理者端末１５０であるコンピュータを動作させるためのオペレーションシステム（ＯＳ）に加えて、プロセッサ（ＣＰＵ）１５１等が実行することで仮想空間コンテンツである仮想空間ライブの配信に関する配信管理機能を初めとする各種機能を、配信用サーバコンピュータ１００と協働して提供するための管理者用プログラムが記憶されている。

【0099】

管理者用プログラムは、図６に示すように、管理者用視点映像制御プログラム、管理者用音声制御プログラム、管理者用コメント制御プログラム、視聴者管理プログラム、演者管理プログラム等を含む。

【0100】

管理者用視点映像制御プログラムは、表示装置１６０に表示する各仮想カメラからの視点映像を生成する機能並びに各視点の変更や切替機能を提供するプログラムである。

【0101】

管理者用音声制御プログラムは、配信用サーバコンピュータ１００から配信される仮想空間ライブの音声データに基づくライブ音声を音声出力装置１６２から出力する機能を提供するプログラムである。

【0102】

管理者用コメント制御プログラムは、配信用サーバコンピュータ１００から配信されるコメントデータにもとづくコメントを表示するとともに、配信を禁止するコメントや視聴者を選択して配信されないようにする等のコメントに関する機能を提供するプログラムである。

【0103】

視聴者管理プログラムは、仮想空間ライブに仮想参加する視聴者ユーザーを管理するためのプログラムであり、演者管理プログラムは、仮想空間ライブに仮想参加する演者ユーザーを管理するためのプログラムである。

【0104】

尚、図６には図示していないが、操作者である管理者が本人であるか否かを認証するための認証用プログラムや、仮想空間ライブのタイムスケジュールや楽曲順等を編集するためのスケジュール用プログラム等が含まれているが、これら以外のプログラムが含まれていてもよい。

【0105】

このように、本実施例の仮想空間コンテンツ配信システムを構成する管理者端末１５０を管理者Ｋが操作することによって、イベントを実行するための種々の設定、例えば、演目や楽曲順、演出に関する設定や、タイムスケジュール、フライング演出期間において空中移動仮想カメラが移動する軌道等の各種設定を実施できるようになっており、このようにして設定された内容にもとづいて仮想空間ライブが管理されるようになっている。

【0106】

＜仮想ライブ会場＞
本実施例で使用した仮想空間である仮想ライブ会場を図１２に示す。仮想ライブ会場は、図１２に示すように、現実空間におけるライブ会場と同様に、演者ユーザーが演者アバター１として登壇する仮想ステージＧと、観客となる視聴者ユーザーが視聴者アバターとして仮想参加する仮想観客領域とを有する仮想空間とされている。

【0107】

仮想ステージＧは、図１２に示すように、比較的広い面積の台形状の床面を有しており、現実空間のライブ会場と同様に、演者アバター１が仮想ステージＧ上を移動できる。仮想ステージＧの仮想客席方向とは逆方向側には、図１２に示すように、中央部と右側部と左側部とに３分割された仮想ステージ壁が形成されており、これら仮想ステージ壁の前面に、仮想ディスプレイ４０、４１、４２が設けられていて、該仮想ディスプレイ４０，４１、４２に、演出用の画像や映像が仮想表示されるようになっている。

【0108】

尚、仮想ディスプレイ４０、４１、４２の間には、演者ユーザーに関係する星の仮想配置オブジェクト４３が配置されているとともに、仮想ステージＧ上の領域であって仮想ステージ壁に囲まれた第１領域よりも上方の領域である第２領域には、図１２に示すように、大きな星の仮想空中オブジェクト５０～５２が配置されている。尚、仮想空中オブジェクト５０～５２は、第２領域内を移動できるようになっている。

【0109】

仮想ステージＧの前側には、視聴者ユーザーが視聴者アバターとして仮想ライブ会場に仮想参加できる仮想観客領域が設けられている。この仮想観客領域は、図１２に示すように、演者アバター１が登壇する仮想ステージＧの中央に近い特別領域である第３領域と、第３領域を囲むように形成された領域であって仮想ステージＧの中央からの距離が第３領域よりも大きい第４領域とが設けられている。

【0110】

これら第３領域には、所定の上限数の範囲内で、仮想参加が許可された特別な視聴者ユーザーが仮想参加可能とされていて、本実施例では、図１２に示すように、例えば、所定の仮想参加実績を満たすとともに演者ユーザーによって仮想参加が許可された４人の視聴者ユーザーの視聴者アバター１１～１４が配置されている。

【0111】

また、第４領域には、仮想空間ライブの開始前において仮想参加を予約した一般の視聴者ユーザーの視聴者アバター２１～３２が配置されている。尚、図１２において、視聴者アバター２１～３２は、便宜上、簡素化して表示しているが、視聴者アバター１１～１４と同様のアバターである。

【0112】

尚、第３領域に配置された各視聴者アバター１１～１４は、視聴者ユーザーが視聴者端末を操作することで、該第３領域内を移動することが可能とされているとともに、第４領域に配置された各視聴者アバター２１～３２も、視聴者ユーザーが視聴者端末を操作することで、該第４領域内を移動することが可能とされている。

【0113】

仮想ライブ会場には、図１２に示すように、４つの仮想カメラＣ１～Ｃ４が仮想配置（設定）されている。仮想カメラＣ１は、演者アバター１の正面位置に、演者アバター１に対面するように仮想配置された仮想カメラであり、仮想カメラＣ１による視点映像は、図１３（ａ）に示すように、演者アバター１を正面近傍位置から見た視点映像となる。

【0114】

仮想カメラＣ２は、演者アバター１の頭上に仮想配置（設定）されたカメラであり、該仮想カメラＣ２による視点映像は、図１５に示すように、演者アバター１から仮想観客領域を見た演者視点映像となる。

【0115】

仮想カメラＣ３は、演者アバター１の斜め後方の仮想ディスプレイ４１上に仮想配置された仮想カメラであり、仮想カメラＣ３による視点映像は、図１３（ｃ）に示すように、演者アバター１の斜め後方から仮想観客領域を見た視点映像となる。

【0116】

仮想カメラＣ４は、演者アバター１の斜め後方の仮想ディスプレイ４２上に仮想配置された仮想カメラであり、仮想カメラＣ４による視点映像は、図１３（ｂ）に示すように、演者アバター１の斜め後方から仮想観客領域を見た視点映像となる。

【0117】

また、本実施例では、固定配置（設定）された仮想カメラＣ１～Ｃ４に加えて、仮想空間である仮想ライブ会場の空間内を空中移動可能に設定された空中移動仮想カメラ（図示略）が仮想配置されている。これら空中移動仮想カメラが移動する空中軌道並びに空中軌道上の個々の位置における視点方向（アングル）等は、管理者端末１５０によって予め設定されていて、後述するフライング演出期間において、演者アバター１が空中移動仮想カメラの空中軌道を追随するように仮想飛翔することで、仮想飛翔する演者アバター１を空中移動仮想カメラで捉えた視点映像が生成されるようになっている。

【0118】

尚、本実施例では、図１２に示すように、固定配置（設定）された仮想カメラとして４つの仮想カメラＣ１～Ｃ４を仮想配置した形態を例示しているが、本発明はこれに限定されるものではなく、これら固定配置（設定）された仮想カメラを５以上としてもよいし、逆に、固定配置（設定）された仮想カメラを設けることなく、仮想ライブ会場に仮想参加した各アバターに対応した視点から見た視点映像だけが、演者端末２００や視聴者端末３００に表示されるようにしてもよい。

【0119】

また、本実施例では、空中移動仮想カメラを１つとした形態を例示しているが、本発明はこれに限定されるものではなく、これら空中移動仮想カメラを複数とした形態としてもよいし、逆に、空中移動仮想カメラを仮想配置しない形態としてもよい。

【0120】

＜スタジオ＞
図１１は、本実施例において使用したスタジオを示す図であり、スタジオには、前述したようにガラス窓を隔てた調整室が隣接して設けられており、演者ユーザーがスタジオ内で歌唱に対応した各動作を行うとともに、補助オペレータＯが調整室に設置されている演者端末３００の操作等を補助する。装着センサ２２０Ｃ１～２２０Ｃ５を装着した演者ユーザーの周囲には、ベースステーション２２０ａとベースステーション２２０ｂとがスタンドに搭載配置されているとともに、演者ユーザーのほほ正面位置には、表情入力装置２２１を構成する撮像カメラがスタンドに搭載配置されている。

【0121】

演者ユーザーがスタジオ内で対峙する壁面にはスクリーンＳが設けられており、スタジオの天井に配置されたプロジェクタ（表示装置Ｂ２１１）から、仮想カメラＣ２の視点映像がスクリーンＳに投影されることで、図１５に示すように、演者アバター１から仮想観客領域を見た視点映像がスクリーンＳに表示されるようになっており、演者ユーザーが、仮想観客領域において仮想参加している視聴者アバターの様子（ライブに対する視聴者の反応）を逐次、把握しながらライブを進めることができるようになっている。

【0122】

また、スクリーンＳの側方位置には、表示装置Ｃ２１２としての縦型の大型ディスプレイが配置されていて、該大型ディスプレイに視聴者のコメントや補助オペレータＯが演者ユーザーに伝達したいメッセージ等が表示されるようになっている。尚、表示装置Ｃ２１２には、ライブにおいて演者が歌唱する楽曲の歌詞や、セリフ等の情報（演者支援情報）が表示されるようにしてもよい。

【0123】

＜仮想空間コンテンツ配信システムの動作＞
図１０は、本実施例の仮想空間コンテンツ配信システムの動作、具体的には、仮想ライブの映像や音声が配信される流れを説明する説明図である。

【0124】

まず、映像系について説明する。配信用サーバコンピュータ１００は、前述したように、仮想空間生成プログラム１２０および演者ユーザーや視聴者ユーザーのアバターデータ等にもとづいて仮想ライブ会場の仮想空間を提供可能とされており、これら演者ユーザーや視聴者ユーザーの各アバターの動作等が、演者端末２００から送信される演者アバター情報や、視聴者端末３００から送信される視聴者アバター情報によって仮想空間の状態が記述された仮想空間データが更新されることで、演者ユーザーの動作が演者アバター１の動作に反映されるとともに、視聴者ユーザーの動作（操作）が視聴者アバターの動作に反映される。

【0125】

尚、図１０には示していないが、演者端末２００並びに視聴者端末３００には、仮想空間ライブに仮想参加するために配信用サーバコンピュータ１００と通信接続することに伴って、配信用サーバコンピュータ１００から仮想ライブ会場の仮想空間データが事前に配信され記憶されており、このようにして事前に記憶されている仮想空間データが、後述するように、配信用サーバコンピュータ１００から逐次配信される仮想空間更新データによって順次更新されることで、仮想ライブ会場の最新の状態を、演者端末２００並びに視聴者端末３００にて特定できるようになっている。

【0126】

具体的には、前述したスタジオにおける演者ユーザーの動作や表情は、前述した演者アバター制御プログラムによるボディモーションスキャン並びにフェイスモーションスキャンの各機能によって所定時間間隔にてスキャンされて演者アバター情報が生成されて配信用サーバコンピュータ１００に送信される。

【0127】

一方、第３領域に仮想参加が許可された視聴者ユーザーは、演者と同様に、モーションセンサを使用しているため、ボディモーションスキャン並びにフェイスモーションスキャンの各機能によって所定時間間隔にてスキャンされて視聴者アバター情報が生成されて配信用サーバコンピュータ１００に送信される。

【0128】

また、第４領域に仮想参加が許可された視聴者ユーザーは、視聴者端末３００のタッチパネルやキーボードやコントローラを使用して、移動操作、視点方向の変更操作、視点状況（ズーム）の変更操作、手を挙げる操作、手をたたく操作、跳ねる操作等の各種の操作を行うことで、視聴者アバターに対応する動作をさせることができる。そして、これら各操作のうち、視聴者アバターの動作に関係する操作にもとづいて視聴者アバター情報が生成されて配信用サーバコンピュータ１００に送信される。

【0129】

このようにして演者端末２００から送信される演者アバター情報や視聴者端末３００から送信される視聴者アバター情報にもとづいて、配信用サーバコンピュータ１００は、仮想空間データを更新する仮想空間更新処理を実行することで、仮想ライブ会場に仮想参加している各アバターに演者ユーザーの動作や視聴者ユーザーの動作（操作）を反映させる。

【0130】

そして、更新前の仮想空間データと更新後の仮想空間データとにもとづいて仮想空間更新データを生成する仮想空間更新データ生成処理を実行した後、該生成した仮想空間更新データを演者端末２００と視聴者端末３００とに配信する。

【0131】

仮想空間更新データが配信された演者端末２００と視聴者端末３００においては、図１０に示すように、配信されてきた仮想空間更新データにもとづいて、事前記憶されている仮想空間データが更新されるとともに、該更新された仮想空間データを使用した演者視点映像生成処理や視聴者視点映像生成処理が実行されることで、更新された仮想空間データにもとづく演者視点映像や視聴者視点映像が生成されて、該生成された演者視点映像や視聴者視点映像が演者端末２００と視聴者端末３００において表示される（視聴者視点映像出力処理）。

【0132】

このように、本実施例では、視聴者アバターにより仮想ライブ会場に仮想参加している各視聴者ユーザーの視点映像は、各視聴者ユーザーの視聴者端末３００側で生成されて表示されることで、これら各視聴者ユーザーの視聴者アバター視点映像を配信用サーバコンピュータ１００で生成することにより配信用サーバコンピュータ１００の処理負荷が著しく大きくなって、多くの視聴者ユーザーが仮想空間ライブに参加できなくなってしまうことを回避できるとともに、処理負荷が増大することによって配信が困難となってしまうことを回避できるようになっている。

【0133】

本実施例では、仮想ステージＧ上の演者アバター１に近い第３領域にて仮想参加している視聴者アバター１３の視聴者ユーザーの視聴者端末３００の表示装置３１０には、図１３（ｄ）に示すように、演者アバター１に近い視聴者アバター１３から見た視点映像である演者アバター１のほぼ正面が大きく表示される視点映像が生成されて表示される一方、仮想ステージＧ上の演者アバター１から遠い第４領域であって、例えば、視聴者アバター１３の後方位置において仮想参加している視聴者アバター２８の視聴者ユーザーの視聴者端末３００の表示装置３１０には、図１３（ｅ）に示すように、演者アバター１から遠い視聴者アバター２８から見た視点映像である、第３領域にて仮想参加している視聴者アバター１３や視聴者アバター１４越しに、演者アバター１のほぼ正面が相対的に小さく見える視点映像が表示される。

【0134】

また、上面視コ字状に設定されている第４領域の仮想ステージＧの端側位置において仮想参加している視聴者アバター３２の視聴者ユーザーの視聴者端末３００の表示装置３１０には、図１３（ｆ）に示すように、演者アバター１の斜め前方位置の視聴者アバター３２から見た視点映像である、第３領域にて仮想参加している視聴者アバター１４越しに、演者アバター１が相対的に小さく見える視点映像が表示される。

【0135】

尚、図１３に示す表示例は、いずれも、視聴者端末３００が据置型のコンピュータ（ＰＣ）であって表示装置３１０が、据置型のディスプレイである場合を例示しているが、例えば、視聴者端末３００がスマートフォンＰやタブレット等である場合には、仮想カメラＣ１の視点映像の場合には、図１４（ａ）に示すように表示されるとともに、該視聴者端末３００が視聴者アバター１３の視聴者端末３００である場合には、図１４（ｂ）に示すように表示される。

【0136】

次に、音声系について説明すると、配信用サーバコンピュータ１００においてタイムスケジュールデータ（ＴＳデータ）１１２にもとづいて楽曲データ１１３が音声制御プログラム１２４によって再生され、再生楽曲（データ）として演者端末２００に送信される（楽曲再生処理）。

【0137】

演者端末２００においては、配信用サーバコンピュータ１００から送信された再生楽曲（データ）による楽曲音声が、演者ユーザーが装着している高機能イヤホン（イヤモニ）を通じて該演者ユーザーに対して出力されるとともに（再生楽曲出力処理）、該出力された再生楽曲に合わせて演者ユーザーが歌唱することで、集音マイク（音声入力装置２２２）から入力される演者音声がデータ化されて演者音声（データ）として配信用サーバコンピュータ１００に送信される。

【0138】

配信用サーバコンピュータ１００は、演者端末２００から受信した演者音声（データ）による演者音声と前述した楽曲再生処理にて再生した再生楽曲とから配信音声（データ）を生成し（配信音声生成処理）、該生成した配信音声（データ）を視聴者端末３００に配信する（生成音声配信処理）。

【0139】

視聴者端末３００では、配信用サーバコンピュータ１００から配信された配信音声（データ）により配信音声が、イヤホンやスピーカー等の音声出力装置３２２から出力されることで、視聴者は、あたかも仮想ライブ会場において演者アバター１が歌唱しているようにライブ音声を聞くことができる。

【0140】

尚、演者端末２００においては、上記したように、演者音声（データ）が配信用サーバコンピュータ１００に送信されるとともに、図１０に示すように、モニター音声生成処理とモニター音声出力処理とが実行されることにより、調整室に配置されているスピーカーから再生楽曲の楽曲音声と演者音声とが出力されることで、演者ユーザーの歌唱の状況等を補助オペレータＯ等が調整室において確認することができるようになっている。

【0141】

＜視聴者用視点映像制御処理＞
次に、視聴者端末３００において、視聴者用プログラムに含まれる視聴者用視点映像制御プログラムにもとづいて実行される視聴者用視点映像制御処理について、図２０を用いて説明する。

【0142】

視聴者用視点映像制御処理においては、先ず、演者アバター１が図１９に示すように、仮想飛翔するフライング演出期間中であるか否かを判定する（ステップＳ１）。フライング演出期間中であるか否かは、配信用サーバコンピュータ１００から、フライング演出期間中であることを示す演出状態データによって特定することができる。尚、配信用サーバコンピュータ１００は、タイムスケジュールデータにもとづいてフライング演出期間となるときに、視聴者端末３００に対してフライング演出期間中であることを示す演出状態データを送信する。

【0143】

フライング演出期間中である場合（ステップＳ１でＹ）は、ステップＳ２１に進む一方、フライング演出期間中でない場合（ステップＳ１でＮ）は、視点の移動操作（アバターの移動操作や動作操作による視点の変更を含む）やズーム操作を含む視点関係操作が無効とされているか否かを判定する（ステップＳ２）。

【0144】

視点関係操作が無効とされている場合（ステップＳ２でＹ）は、ステップＳ７に進む。視点関係操作が無効とされていない場合（ステップＳ２でＮ）は、アバターの移動操作や動作操作等の視点が変化する操作が有るか否かを判定し（ステップＳ３）、操作がある場合（ステップＳ３でＹ）は操作に応じて視聴者視点を変更し、操作がない場合（ステップＳ３でＮ）は、ステップＳ５に進んで、ズーム操作があるか否かを判定する（ステップＳ５）。

【0145】

ズーム操作がある場合（ステップＳ５でＹ）は、表示装置３１０に表示されている映像領域を操作に応じた映像領域に変更し、ズーム操作がない場合（ステップＳ５でＮ）は、動作追随設定の有無を判定する（ステップＳ７）。

【0146】

この動作追随設定は、視聴者ユーザーが、自身が操作に使用するデバイスの種類や、操作についての習熟度に応じて、視聴者端末３００において、例えば、ライブ開始前やライブ中に、任意に設定することができる。具体的には、例えば、使用するタッチパネル、キーボード、ゲームコントローラ等の操作入力装置３２１の操作に慣れていない場合や、アバターの移動操作や動作操作による視点の変更に慣れていない場合、後述するように、自身の視聴者アバターの仮想参加位置が演者アバター１から遠く、ズームアップで拡大表示していることで、演者アバター１の少しの動作でも演者アバター１が適切に表示されなくなってしまう等、演者アバター１の移動や動作に対応して視点を上手く変更できない場合等に設定される。

【0147】

動作追随設定がない場合（ステップＳ７でＮ）は、ステップＳ１１に進む一方、動作追随設定がある場合（ステップＳ７でＹ）は、更に、動作追随条件が成立したか否かを判定する（ステップＳ８）。

【0148】

動作追随条件とは、本実施例においては、表示装置３１０において演者アバター１が良好に表示されなくなることがほぼ確実である条件としており、具体的には、演者アバター１の頭部（顔でもよい）が、表示装置３１０の表示領域の周辺における所定範囲内に入っている場合には、演者アバター１の移動や動作によって表示領域外に頭部（顔）が移動して良好に表示されなくなってしまう可能性が著しく高いことから、動作追随条件が成立したものと判断するようにしている。

【0149】

このように、本実施例では、演者アバター１の頭部（顔）が表示領域に表示されなくなる前に動作追随条件が成立したと判断することで、演者アバター１の頭部（顔）が表示領域に表示されなくなってしまうことを大幅に低減できるようにしているが、本発明はこれに限定されるものではなく、これら動作追随条件を、表示領域外に頭部（顔）が移動したことを条件としてもよいし、これら以外の条件を動作追随条件としてもよい。つまり、これら動作追随条件としては、演者アバター１が表示領域に良好に表示されなくなってしまうことを防ぐことができる条件であれば、任意の条件を使用することができる。

【0150】

動作追随条件が成立した場合（ステップＳ８でＹ）は、視点関係操作を無効化した後（ステップＳ１２）、表示装置３１０の表示領域に表示される視点映像として、演者アバター１の頭部（顔）が表示領域の周辺における所定範囲に囲まれた非成立範囲内となる動作追随視点に視点が自動的に変更されて、該動作追随視点から見た視点映像が表示装置３１０の表示領域に表示される（ステップＳ１３）。

【0151】

一方、動作追随条件が成立していない場合（ステップＳ８でＮ）は、更に、視点関係操作が無効化されているか否かを判定し（ステップＳ９）、視点関係操作が無効化されている場合（ステップＳ９でＹ）は、無効化されている視点関係操作を有効化して（ステップＳ１０）からステップＳ１１に進み、視点関係操作が無効化されていない場合（ステップＳ９でＮ）はステップＳ１０を経由することなくステップＳ１１に進む。

【0152】

ステップ１１では、動作追随設定が設定されていないこと、若しくは、動作追随条件が成立していないことにより、視聴者アバターの視点映像が表示装置３１０の表示領域に継続表示される（ステップＳ１１）。

【0153】

また、前述したように、ライブにおいて演者アバター１が仮想飛翔するフライング演出期間となった場合は、ステップＳ１でＹと判定されてステップＳ２１に進み、フライング演出期間の開始タイミングであるか否かを判定する（ステップＳ２１）。

【0154】

フライング演出期間の開始タイミングである場合（ステップＳ２１でＹ）は、フライング演出期間の開始前において表示装置３１０の表示領域に表示されていた視聴者アバターの視点映像または動作追随視点映像に代えて、配信用サーバコンピュータ１００から配信されるフライング視点映像を表示し（ステップＳ２２）、その後、視点関係操作を無効化して（ステップＳ２３）、ステップＳ１に戻る。

【0155】

尚、本実施例では、フライング演出期間においては、全ての視聴者ユーザーの視聴者端末３００に同一のフライング視点映像を表示することから、個々の視聴者ユーザーで異なる視聴者アバター視点映像のように、各視聴者端末３００側でフライング視点映像を生成するのではなく、配信用サーバコンピュータ１００側で生成して視聴者端末３００に配信することで、視点の空中移動を伴うことで、視点映像の描画負荷が大きいフライング視点映像を、処理能力が低い視聴者端末３００であっても、良好に表示できるようにしているが、本発明はこれに限定されるものではなく、これらフライング視点映像を、視聴者アバター視点映像と同様に、個々の視聴者端末３００側で生成するようにしてもよい。

【0156】

一方、フライング演出期間の開始タイミングでない場合（ステップＳ２１でＮ）は、更に、フライング演出期間の終了タイミングであるか否かを判定する（ステップＳ２４）。

【0157】

フライング演出期間の終了タイミングであるか否かは、配信用サーバコンピュータ１００から送信されるフライング視点映像のデータ中に含まれる終了を示すデータにもとづいて特定してもよいし、フライング視点映像とは異なる前述した演出状態データによって特定してもよい。

【0158】

フライング演出期間の終了タイミングでない場合（ステップＳ２４でＮ）、つまり、フライング演出期間中である場合には、ステップＳ２６に進んで、フライング視点映像を更新した後、ステップ１に戻る一方、フライング演出期間の終了タイミングである場合（ステップＳ２４でＹ）は、視点関係操作を有効化した後（ステップＳ２５）、ステップＳ１１に進んで、フライング演出期間中に表示装置３１０の表示領域に表示していたフライング視点映像に代えて、視聴者アバターの視点映像を表示装置３１０の表示領域に表示した後、ステップＳ1に戻る。

【0159】

このように、本実施例の視聴者端末３００において図２０に示す視聴者用視点映像制御処理が実行されることによって視聴者端末３００に表示される各視点映像を、図１６～図１９を用いて説明する。

【0160】

図１６は、本実施例の視聴者端末３００においてズーム操作をした場合の表示装置３１０の表示内容を示す図であり、ズーム操作を何もしていないデフォルトの状態では、図１６（ａ）に示すように、演者アバター１の上半身を中心とした映像領域の視点映像が表示されている。このデフォルト状態において、視聴者ユーザーがズームアップ操作、例えば、視聴者端末３００がスマートフォンＰである場合であれば、「＋」の表示（図示略）に触れる操作を行い、視聴者端末３００がコンピュータ（ＰＣ）である場合であれば、キーボードの「＋」キーを操作した場合は、例えば、図１６（ｂ）に示すように、演者アバター１の頭部（顔）を中心とした映像領域の視点映像が表示される。

【0161】

一方、視聴者ユーザーがズームダウン操作、例えば、視聴者端末３００がスマートフォンＰである場合であれば、「－」の表示（図示略）に触れる操作を行い、視聴者端末３００がコンピュータ（ＰＣ）である場合であれば、キーボードの「－」キーを操作した場合は、例えば、図１６（ｃ）に示すように、演者アバター１の全身が含まれる映像領域の視点映像が表示される。

【0162】

尚、図１６では、ズームの機能を解り易くするために、視聴者アバターの視点ではなく、仮想カメラＣ１の視点映像を使用して説明したが、図１７に示すように、視聴者アバターの視点についても同様にズームアップ、ズームダウンを行うことができる。

【0163】

また、図２０の視聴者用視点映像制御処理においては、詳述していないが、例えば、ライブが開始されるときに、演者アバター１が仮想ステージＧに初めて登場する場合は、視聴者アバターの視点が演者アバター１に向いていないことから、登場する演者アバター１が視聴者端末３００に表示されない期間が長くなってしまう可能性があるので、このように、演者アバター１が最初に登場する期間等を登場演出期間等とし、これらの演出期間において、視聴者端末３００に表示される視点映像を、聴者アバターの視点映像ではなく、仮想カメラＣ１の視点映像等に自動的に切り替えて表示するとともに、これら仮想カメラＣ１の視点映像においてもズームアップ等を、個々の視聴者ユーザーが実行できるようにしてもよい。

【0164】

図１７は、視聴者アバターの視点映像の例として、第４領域に仮想参加している視聴者アバター２８の視点映像を示している。図１７に示すように、視聴者アバター２８の視点映像には、第３領域に仮想参加している視聴者アバター１３と視聴者アバター１４の頭部が含まれており、これら視聴者アバター１３と視聴者アバター１４の頭部越しに演者アバター１を見る映像となる。

【0165】

このため、視聴者アバター２８の視聴者ユーザーは、例えば、ズームアップ操作を行って、図１７（ｂ）に示すように、演者アバター１の上半身が中心的に表示される映像領域に変更することで、視聴者アバター１３と視聴者アバター１４が表示されないようにして、ライブを楽しむことができる。

【0166】

但し、図１７（ｂ）に示すようにズームアップした状態においては、例えば、ライブが進行して演者アバター１が移動したり大きく動作するようになると、これら演者アバター１の動作に合わせて視聴者アバター２８の視点を視聴者ユーザーが上手く変更することができないと、図１８（ｄ）～（ｆ）に示すように、演者アバター１が良好に表示されない状態となる場合があるため、視点の操作に注意を払うことによって、ライブに集中することが難しくなってしまい、ライブを良好に楽しむことができなくなる場合がある。

【0167】

しかし、本実施例では、上記のように、視聴者ユーザーが動作追随設定を行った場合には、図１８（ａ）～（ｃ）に示すように、演者アバター１の頭部が表示領域の周辺所定領域内に入ることで動作追随条件が成立して視点が自動的に動作追随視点に変更され、該動作追随視点の視点映像が表示されるようになるため、視聴者ユーザーは、視点の操作に注意を払う必要がなくなるので、ライブに集中できることで良好にライブを楽しむことができるようになる。

【0168】

そして、ライブが進行してフライング演出期間となると、図１９に示すように
、個々の視聴者アバターの視点映像から空中移動仮想カメラから見たフライング視点映像に、視聴者ユーザーが操作しなくても自動的に変更される。

【0169】

具体的には、演者アバター１が仮想飛翔をする前に、羽根のオブジェクトが演者アバター１の背中において大きくなる映像が表示される。そして、演者アバター１が仮想ライブ会場の第２領域に仮想配置されている星の仮想空中オブジェクト５０を見あげるようにすることで視聴者アバターの視点も同様に移動する。このとき、演者アバター１の周囲には、光のエフェクト６１が出現する。

【0170】

その後、演者アバター１が仮想飛翔に移ると、表示装置３１０に表示される視点映像は、図１９（ｂ）までの視聴者アバターの視点映像から、図１９（ｃ）に示すように、空中移動仮想カメラから見たフライング視点映像に自動的に切り替わる。

【0171】

そして、フライング演出期間において空中移動仮想カメラは、前述したように、予め設定された空中軌道にもとづいて第２領域内を空中移動し、これら空中移動する空中移動仮想カメラから見たフライング視点映像が、図１９（ｄ）に示すように表示装置３１０に表示される。

【0172】

以上、本発明を実施例にもとづいて説明したが、具体的な構成は上記した実施例に限定されるものではなく、本発明の要旨を逸脱しない範囲における変更や追加があっても本発明に含まれる。

【0173】

例えば、上記実施例では、視聴者アバターは、仮想参加している第３領域内または第４領域内を自由に移動できる形態を例示したが、このようにすると、例えば、第４領域に参加している異なる視聴者アバター同志が仮想衝突したり同一仮想位置に重複することによって仮想空間データにエラー等が生じてしまう等の問題が生じる可能性がある。

【0174】

このような問題を解消するために、例えば、図２１、図２２に示す変形例に示すようにしてもよい。具体的には、第３領域や第４領域を図２１に示すように細かな領域に区切るとともに、これらの領域のうちのどの領域にて仮想ライブに参加するのかを、図２２に示すように、ライブが開始する前において事前に視聴者ユーザーから受付けておき、視聴者ユーザーが視聴者アバターで仮想参加する場合には、事前に選択した領域においてだけ参加が可能となるともに、該選択した領域内だけで移動できるように制限することで、視聴者アバター同志が仮想衝突したり同一仮想位置に重複することによって仮想空間データにエラー等が生じてしまうことを防ぐことができる。

【0175】

尚、上記のように、視聴者アバターの仮想参加位置を各視聴者ユーザーに事前に選択させるようにする場合にあっては、例えば、第４領域において仮想ステージＧに向かって右側となるＡ１～Ｃ６の領域を選択した視聴者ユーザーについては、フライング演出期間における視点映像として、仮想飛翔する演者アバター１の右側前方位置からの視点映像が生成されて表示され、第４領域において仮想ステージＧに向かって中央となるＤ４～Ｈ６の領域を選択した視聴者ユーザーについては、フライング演出期間における視点映像として、仮想飛翔する演者アバター１の中央前方位置からの視点映像が生成されて表示され、第４領域において仮想ステージＧに向かって左側となるＩ１～Ｋ６の領域を選択した視聴者ユーザーについては、フライング演出期間における視点映像として、仮想飛翔する演者アバター１の左側前方位置からの視点映像が生成されて表示されるように、視聴者ユーザーが選択した位置に応じて、特別動作である仮想飛翔における視点映像が、各視聴者ユーザーが選択した位置（領域）に対応した視点映像となるようにしてもよい。

【0176】

また、上記実施例では、視聴者アバターからの視点映像を視聴者端末２００側で生成して表示する形態を例示したが、本発明はこれに限定されるものではなく、例えば、仮想参加者が少ないライブイベントの場合には、視聴者アバターからの視点映像についても配信用サーバコンピュータ１００側で生成して配信するようにしてもよい。また、視聴者ユーザーが、自分が所有する端末の処理能力やデータ通信環境に応じて、視聴者端末２００側で生成するか配信用サーバコンピュータ１００側で生成するかを選択できるようにしてもよいし、配信用サーバコンピュータ１００が、通信接続している視聴者端末２００の処理能力を特定して、該特定した処理能力にもとづいて、視聴者端末２００側で生成するか配信用サーバコンピュータ１００側で生成するかを決定するようにしてもよい。

【0177】

また、上記実施例では、配信用サーバコンピュータ１００を、仮想空間ライブを主催するイベント運営機関が運営するスタジオに設置した形態を例示しているが、本発明はこれに限定されるものではなく、これら配信用サーバコンピュータ１００としては、サーバコンピュータを貸し出す企業がデータセンタ等において所有するサーバコンピュータを使用したり、上述したように、クラウドサービスによるサーバコンピュータを使用してもよく、これらサーバコンピュータの設置形態は、配信用サーバコンピュータ１００の機能を得られる形態であれば、任意の形態とすることができる。

【0178】

また、上記実施例では、演者ユーザーが一人で歌唱と上演動作を行う形態を例示しているが、本発明はこれに限定されるものではなく、これら演者ユーザーが、複数人からなるグループであってもよく、これら複数人からなるグループで仮想空間ライブを行う場合には、複数人で1台の演者端末２００を共有してもよいし、グループの各メンバー毎に演者端末２００を設ける形態としてもよい。尚、演者ユーザーが、複数人のメンバーからなるグループである場合に、例えば、視点追随対象者指定処理を配信用サーバコンピュータ１００や視聴者端末３００の少なくとも一方で実行することで、視点を追随する対象とするメンバーを、視聴者ユーザーが選択できるようにしてもよい。

【0179】

また、上記実施例では、歌唱を行う歌唱者と上演動作を行うアクターとが個別の人物とされていてもよく、この場合、歌唱者の演者端末とアクターの演者端末を個別として、歌唱者はアクターが上演動作を行うスタジオ以外の場所で歌唱するようにしてもよい。

【0180】

また、上記実施例では、配信用サーバコンピュータ１００、管理者端末１５０、演者端末２００、視聴者端末３００を接続するコンピュータ通信ネットワークとして、インターネット網を例示しているが、本発明はこれに限定されるものではなく、これら通信ネットワークは、特定のエリア内だけでデータ通信可能なローカルエリアネットワークで構成されていてもよいし、その一部にローカルエリアネットワークやローカルデータ通信が含まれていてもよい。

【0181】

また、上記実施例では、仮想空間ライブの配信時においてリアルタイムに演者ユーザーが歌唱や歌唱動作（上演動作）を実行する形態とすることで、演者ユーザーが、仮想空間ライブに仮想参加している視聴者ユーザーの反応等を確認しながらライブを進行できるようにしているが、本発明はこれに限定されるものではなく、演者ユーザーの歌唱や歌唱動作（上演動作）は、リアルタイムではなく、予め、歌唱や歌唱動作（上演動作）を実行しておき、これら歌唱の音声や歌唱動作（上演動作）を演者アバター情報として配信用サーバコンピュータ１００に記録しておき、該記録した歌唱の音声や歌唱動作（上演動作）をライブの進行に応じて再生することによって仮想空間ライブを開催するようにしてもよい。

【0182】

また、演者ユーザーの歌唱や歌唱動作（上演）に替えて、コンピュータグラフィック等で作成した仮想の演者による歌唱や歌唱動作（上演動作）を演者アバター情報として配信用サーバコンピュータに記録しておき、該記録した歌唱の音声や歌唱動作（上演動作）をライブの進行に応じて再生することによって仮想空間ライブを開催するようにしてもよい。

【0183】

このように、予め、歌唱や歌唱動作（上演動作）を実行して演者アバター情報を配信用サーバコンピュータ１００に記録、再生して仮想空間ライブを配信する場合にあっては、該配信時における仮想空間コンテンツ配信システムの構成は、配信用サーバコンピュータ１００、管理者端末１５０、視聴者端末２００とで構成されることになり、仮想空間において演者アバター１を動作させる操作を行う演者ユーザーが利用可能な演者ユーザー端末である演者端末２００を含まない構成となる。

【0184】

また、上記実施例では、視聴者端末３００としてスマートフォンＰやコンピュータ（ＰＣ）とした形態を例示しているが、本発明はこれに限定されるものではなく、これらコンピュータは、持ち運び可能なノートパソコンであってもよいし、タブレット端末、電子書籍リーダー、ウェアラブルコンピュータ、ゲーム用コンソール、及びこれら以外の、少なくとも２Ｄ映像と音声とを出力可能な各種情報処理装置であってもよい。

【0185】

また、上記実施例では、演者ユーザーが、スタジオで歌唱を含む上演を行う形態を例示したが、本発明はこれに限定されるものではなく、例えば、演者ユーザーが自宅等に設置されている演者端末２００を使用して、自宅等から仮想空間ライブに出演するようにしてもよい。

【0186】

上記した実施例では、仮想空間コンテンツとして仮想空間ライブを例示したが、本発明はこれに限定されるものではなく、これら仮想空間コンテンツとしては、例えば、演者ユーザーが自分のファンと集うファンミーティングや、トークセッション等、視聴者ユーザーにとって有益なコンテンツであって、演者アバター１と視聴者アバターとが仮想参加する仮想空間に関するコンテンツであれば、どのようなコンテンツであってもよい。

【0187】

上記した実施例では、一般動作（第１動作）を、演者アバター１が仮想ステージＧに移動せずに立っている動作とし、特別動作（第２動作）を、演者アバター１が仮想飛翔を行っている動作とし、特定動作（第３動作）を、演者アバター１が横方向に急移動する動作とした形態を例示しているが、本発明はこれに限定されるものではなく、配信するコネテンツに応じた動作であってよく、例えば、一般動作（第１動作）は、配信されるコンテンツにおいて、演者アバターが最も多くの期間に亘って実行している動作（通常動作）としてもよく、特別動作（第２動作）を、配信されるコンテンツにおいて、最も短い期間である特別期間において実行している動作や最も頻度が少ない動作とし、特定動作（第３動作）を、一般動作（第１動作）よりも実行される期間が短いが特別動作よりも実行されている期間が長い動作や一般動作（第１動作）よりも実行される頻度が少ないが特別動作よりも実行される頻度が多い操作としてもよい。尚、特別動作（第２動作）が、特定動作（第３動作）を含む場合があってもよい。

【0188】

上記した実施例では、特別動作（第２動作）に対応した視点への切替機能と、特定動作（第３動作）に追随する追随機能と、の双方の機能を有している形態を例示したが、本発明はこれに限定されるものではなく、これらのいずれか一方の機能のみを有する仮想空間コンテンツ配信システムであってもよい。

【0189】

上記した実施例では、固定配置（設定）された仮想カメラとして４つの仮想カメラＣ１～Ｃ４や空中移動仮想カメラの視点切替を、管理者端末１５０における設定や操作によって事前に行える形態を例示しているが、本発明はこれに限定されるものではなく、例えば、これら視点切替を、管理者端末１５０において管理者Ｋが、操作入力装置１６１を構成する視点切替コントローラ等を使用して、リアルタイムに行うようにしてもよい。

【0190】

上記した実施例では、仮想カメラとして仮想空間内に固定配置（設定）された仮想カメラＣ１～Ｃ４を使用する形態を例示しているが、本発明はこれに限定されるものではなく、例えば、仮想カメラＣ１～Ｃ４に、加えるか若しくは代えて、移動可能な仮想移動カメラを仮想ライブ会場内に配置して、該仮想移動カメラの仮想空間内の位置や撮像方向等を、管理者端末１５０において管理者Ｋやカメラマン等が操作により制御して、仮想移動カメラの視点映像とするようにしてもよい。

【0191】

上記した実施例では、演者アバターの表情に反映させるために、演者ユーザーの顔の表情を検出可能とするために、スクリーンＳに仮想カメラＣ２の視点映像を表示する形態を例示しているが、本発明はこれに限定されるものではなく、例えば、演者ユーザーの顔の表情を検出するセンサ機能を有する高機能ヘッドマウントディスプレイであれば、これら高機能ヘッドマウントディスプレイを装着して上演を行うようにしてもよく、このようにすることで、演者ユーザーの仮想ライブへの没入感を向上することができるようにしてもよい。また、演者アバターの表情に演者ユーザーの顔の表情を詳細に反映しなくてもよい場合は、通常のヘッドマウントディスプレイを演者ユーザーが装着して上演を行うようにしてもよい。

【0192】

上記した実施例では、視聴者ユーザーの視点を、演者アバターの動作に応じて変更、追随させる形態を例示したが、本発明はこれに限定されるものではなく、例えば、これら視点の変更、追随を、ステージＧにおける演出物であるスモークや花火（火柱）の仕掛け、特殊なライティング、ステージＧの変形等の特定の演出に応じて実行するようにしてもよい。

【符号の説明】

【0193】

１ 演者アバター
１００ 配信用サーバコンピュータ
１５０ 管理者端末
２００ 演者端末
３００ 視聴者端末

【要約】

【課題】視聴者ユーザーの視点を、演者ユーザーの動作に対応できるようにすること。
【解決手段】演者アバターによる仮想空間コンテンツを配信する仮想空間コンテンツ配信システムであって、仮想空間における視聴者アバターに対応したアバター視点を含む複数の視聴者視点位置からの視点映像を仮想空間コンテンツとして出力可能な視聴者ユーザー端末にを含み、演者アバターが一般動作を行っているときは該一般動作を行っている前記演者アバターを視聴可能な第１視聴者視点位置とし、演者アバターが特別動作を行っているときは、該特別動作に追随するように視聴者視点位置を変更する。
【選択図】図２０

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】