(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2024-09-18
(45)【発行日】2024-09-27
(54)【発明の名称】仮想空間コンテンツ配信システム、仮想空間コンテンツ配信プログラム、および仮想空間コンテンツ配信方法
(51)【国際特許分類】
H04N 21/266 20110101AFI20240919BHJP
H04N 21/258 20110101ALI20240919BHJP
【FI】
H04N21/266
H04N21/258
(21)【出願番号】P 2023102736
(22)【出願日】2023-06-22
【審査請求日】2024-05-13
【早期審査対象出願】
(73)【特許権者】
【識別番号】519120525
【氏名又は名称】カバー株式会社
(74)【代理人】
【識別番号】100098729
【氏名又は名称】重信 和男
(74)【代理人】
【識別番号】100206656
【氏名又は名称】林 修身
(74)【代理人】
【識別番号】100206911
【氏名又は名称】大久保 岳彦
(74)【代理人】
【識別番号】100204467
【氏名又は名称】石川 好文
(74)【代理人】
【識別番号】100148161
【氏名又は名称】秋庭 英樹
(74)【代理人】
【識別番号】100195833
【氏名又は名称】林 道広
(72)【発明者】
【氏名】上田 涼平
【審査官】鈴木 隆夫
(56)【参考文献】
【文献】特開2020-107264(JP,A)
【文献】特開2013-021466(JP,A)
【文献】特開2013-020389(JP,A)
【文献】特開2013-037670(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 21/00-21/858
(57)【特許請求の範囲】
【請求項1】
仮想空間における仮想空間コンテンツを配信可能な仮想空間コンテンツ配信システムであって、
前記仮想空間コンテンツの映像を表示可能な端末であって、前記仮想空間コンテンツの対象となる仮想空間に参加可能な視聴者アバターを該仮想空間において動作させる操作を行う視聴者ユーザーが利用可能な視聴者ユーザー端末と、
前記視聴者ユーザー端末にネットワークを介して接続され、少なくとも前記仮想空間に関する処理と前記仮想空間コンテンツの配信に関する処理とを実行可能なサーバコンピュータと、
を含み、
前記仮想空間には、該仮想空間内に設置された仮想カメラから
該仮想空間内を見た仮想カメラ画像を表示可能な仮想表示領域が設けられており、
所定条件が成立したことにもとづいて、前記仮想カメラから
前記仮想空間内を見た画像であって、該所定条件の成立時において前記仮想空間に参加している視聴者アバター
の画像
を含む前記仮想カメラ画像が前記仮想表示領域に表示される
ことを特徴とする仮想空間コンテンツ配信システム。
【請求項2】
前記所定条件は、前記視聴者ユーザー端末において所定操作が実行されたことにもとづいて前記視聴者アバターによって所定動作が行われたことを含む
ことを特徴とする請求項1に記載の仮想空間コンテンツ配信システム。
【請求項3】
前記所定条件は、前記サーバコンピュータから前記視聴者ユーザー端末に対して、前記視聴者アバターに所定動作を行わせるための操作の実行を指示する指示情報が送信されたことを含む
ことを特徴とする請求項1に記載の仮想空間コンテンツ配信システム。
【請求項4】
前記所定条件は、前記仮想空間に参加している複数の視聴者アバターのうちから選出されたことを含む
ことを特徴とする請求項1に記載の仮想空間コンテンツ配信システム。
【請求項5】
前記所定条件は、前記視聴者アバター画像の表示に対する所定の価値の支払いが完了していることを含む
ことを特徴とする請求項1に記載の仮想空間コンテンツ配信システム。
【請求項6】
前記所定条件は、前記視聴者ユーザー端末において前記視聴者アバター画像を前記仮想表示領域に表示させるための特定操作が実行されることを含む
ことを特徴とする請求項1に記載の仮想空間コンテンツ配信システム。
【請求項7】
前記仮想空間コンテンツが配信されている期間のうち特定期間において前記特定操作を実行可能である
ことを特徴とする請求項6に記載の仮想空間コンテンツ配信システム。
【請求項8】
前記仮想空間に参加している他の視聴者アバターが前記視聴者アバター画像として表示されることを制限する制限手段を備える
ことを特徴とする請求項1に記載の仮想空間コンテンツ配信システム。
【請求項9】
前記視聴者アバターは、簡略化されていない通常視聴者アバターと、簡略化されている簡略視聴者アバターとを含み、
前記視聴者アバターは、前記仮想空間コンテンツの映像においては前記簡略視聴者アバターにて表示されるが、前記視聴者アバター画像においては前記通常視聴者アバターにて表示される
ことを特徴とする請求項1に記載の仮想空間コンテンツ配信システム。
【請求項10】
前記視聴者アバター画像の画像データを前記視聴者ユーザー端末に送信して視聴者ユーザーに提供可能な視聴者アバター画像提供手段を備える
ことを特徴とする請求項1に記載の仮想空間コンテンツ配信システム。
【請求項11】
仮想空間における仮想空間コンテンツを、少なくともサーバコンピュータを用いてネットワークを介して配信するための仮想空間コンテンツ配信プログラムであって、
前記仮想空間コンテンツの対象となる仮想空間に参加可能なアバターは、視聴者ユーザーが利用可能な端末であって前記ネットワークを介して前記サーバコンピュータに接続された視聴者ユーザー端末における操作によって前記仮想空間において動作する視聴者アバターを含み、
前記仮想空間には、該仮想空間内に設置された仮想カメラから
該仮想空間内を見た仮想カメラ画像を表示可能な仮想表示領域が設けられており、
所定条件が成立したことにもとづいて、前記仮想カメラから
前記仮想空間内を見た画像であって、該所定条件の成立時において前記仮想空間に参加している視聴者アバター
の画像
を含む前記仮想カメラ画像を前記仮想表示領域に表示する視聴者アバター画像表示ステップを含む
ことを特徴とする仮想空間コンテンツ配信プログラム。
【請求項12】
仮想空間における仮想空間コンテンツを、少なくともサーバコンピュータを用いてネットワークを介して配信するための仮想空間コンテンツ配信方法であって、
前記仮想空間コンテンツの対象となる仮想空間に参加可能なアバターは、視聴者ユーザーが利用可能な端末であって前記ネットワークを介して前記サーバコンピュータに接続された視聴者ユーザー端末における操作によって前記仮想空間において動作する視聴者アバターを含み、
前記仮想空間には、該仮想空間内に設置された仮想カメラから
該仮想空間内を見た仮想カメラ画像を表示可能な仮想表示領域が設けられており、
所定条件が成立したことにもとづいて、前記仮想カメラから
前記仮想空間内を見た画像であって、該所定条件の成立時において前記仮想空間に参加している視聴者アバター
の画像
を含む前記仮想カメラ画像を前記仮想表示領域に表示する視聴者アバター画像表示手順を含む
ことを特徴とする仮想空間コンテンツ配信方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、仮想空間における仮想空間コンテンツを配信可能な仮想空間コンテンツ配信システム、仮想空間コンテンツ配信プログラム、および仮想空間コンテンツ配信方法に関する。
【背景技術】
【0002】
従来、配信者の動きに連動して仮想空間において動作するキャラクタオブジェクト(アバター)10のライブコンテンツを配信するとともに、視聴する視聴者ユーザーについても、視聴者ユーザーからの要求に応じて、配信者のキャラクタオブジェクト(アバター)10が配置されている仮想空間に観客として仮想参加することが可能な配信システムが知られている(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献1にあっては、視聴者ユーザーは、自分のアバターを仮想空間に参加させることができるものの、視聴者ユーザーは、ライブに参加しているという感覚を得にくく、ライブコンテンツを視聴している視聴者ユーザーの興趣が高まらないという問題があった。
【0005】
本発明は、このような問題点に着目してなされたもので、ライブコンテンツを視聴している視聴者ユーザーの興趣を高めることのできる仮想空間コンテンツ配信システム、仮想空間コンテンツ配信プログラム、および仮想空間コンテンツ配信方法を提供することを目的とする。
【課題を解決するための手段】
【0006】
請求項1の仮想空間コンテンツ配信システムは、
仮想空間(例えば、仮想ライブ会場)における仮想空間コンテンツ(例えば、仮想ライブ)を配信可能な仮想空間コンテンツ配信システムであって、
前記仮想空間コンテンツの映像を表示可能な端末(例えば、スマートフォンP、コンピュータPC)であって、前記仮想空間コンテンツの対象となる仮想空間に参加可能な視聴者アバターを該仮想空間において動作させる操作を行う視聴者ユーザーが利用可能な視聴者ユーザー端末(例えば、視聴者端末300)と、
前記視聴者ユーザー端末にネットワーク(例えば、インターネット)を介して接続され、少なくとも前記仮想空間に関する処理(例えば、仮想空間更新処理、仮想空間更新データ生成処理等)と前記仮想空間コンテンツの配信に関する処理(例えば、仮想空間更新データ配信処理、生成音声配信処理等)とを実行可能なサーバコンピュータ(例えば、配信用サーバコンピュータ100)と、
を含み、
前記仮想空間には、該仮想空間内に設置された仮想カメラ(例えば、仮想カメラC5、C6)から該仮想空間内を見た仮想カメラ画像を表示可能な仮想表示領域(例えば、仮想ディスプレイ41、42)が設けられており、
所定条件が成立したこと(例えば、第2特別演出や第3特別演出の期間となったこと)にもとづいて、前記仮想カメラから前記仮想空間内を見た画像であって、該所定条件の成立時において前記仮想空間に参加している視聴者アバターの画像を含む前記仮想カメラ画像が前記仮想表示領域に表示される(例えば、第2特別演出や第3特別演出において、仮想ディスプレイ41、42に視聴者アバターの映像が表示される部分)
ことを特徴としている。
この特徴によれば、仮想表示領域に視聴者アバター画像が表示されるため、視聴者ユーザーが仮想空間コンテンツに参加しているという感覚を得やすくなるので、視聴者ユーザーの興趣を高めることができる。
【0007】
請求項2の仮想空間コンテンツ配信システムは、請求項1に記載の仮想空間コンテンツ配信システムであって、
前記所定条件は、前記視聴者ユーザー端末において所定操作が実行されたことにもとづいて前記視聴者アバターによって所定動作が行われたことを含む(例えば、第2特別演出において、視聴者ユーザーが、所定期間内にケミライト動作に対応した操作を実行することで仮想ディスプレイ41、42に視聴者アバターの映像が表示される部分)
ことを特徴としている。
この特徴によれば、所定動作の行っている視聴者アバター画像が表示されるため、より一層、視聴者ユーザーが仮想空間コンテンツに参加しているという感覚を得やすくなり、視聴者ユーザーの興趣をさらに高めることができる。
【0008】
請求項3の仮想空間コンテンツ配信システムは、請求項1に記載の仮想空間コンテンツ配信システムであって、
前記所定条件は、前記サーバコンピュータから前記視聴者ユーザー端末に対して、前記視聴者アバターに所定動作を行わせるための操作の実行を指示する指示情報(例えば、所定操作指示情報)が送信されたことを含む(例えば、第2特別演出において、演出対象者に対して所定操作指示情報が送信されることで、所定期間内でのケミライト動作に対応した操作の受付けが実行される部分)
ことを特徴としている。
この特徴によれば、視聴者ユーザーによる操作が実行されないことで、所定動作を行っていない視聴者アバター画像が表示されてしまうことを極力防ぐことができる。
【0009】
請求項4の仮想空間コンテンツ配信システムは、請求項1に記載の仮想空間コンテンツ配信システムであって、
前記所定条件は、前記仮想空間に参加している複数の視聴者アバターのうちから選出されたことを含む(例えば、第2特別演出において、視聴者演出抽選処理において当選したことを条件に、視聴者アバターの映像が仮想ディスプレイ41、42に表示される部分)
ことを特徴としている。
この特徴によれば、どの視聴者アバターが選出されるかに視聴者ユーザーが注目するようになるので、視聴者ユーザーの興趣をさらに高めることができる。
【0010】
請求項5の仮想空間コンテンツ配信システムは、請求項1に記載の仮想空間コンテンツ配信システムであって、
前記所定条件は、前記視聴者アバター画像の表示に対する所定の価値の支払いが完了していることを含む(例えば、第2特別演出や第3特別演出において、演出の対象となる仮想アイテムの購入に必要なポイントの支払いが完了していることが、視聴者アバターの映像が仮想ディスプレイ41、42に表示される条件とされている部分)
ことを特徴としている。
この特徴によれば、価値を支払っていない参加意識の低い視聴者ユーザーの視聴者アバター画像が表示されてしまうことによる興趣の低下を防ぐことができる。
【0011】
請求項6の仮想空間コンテンツ配信システムは、請求項1に記載の仮想空間コンテンツ配信システムであって、
前記所定条件は、前記視聴者ユーザー端末において前記視聴者アバター画像を前記仮想表示領域に表示させるための特定操作が実行されることを含む(例えば、第3特別演出において、プラカードPKを頭上に掲げる動作に対応し操作やTシャツTSを着用して両手を頭上に挙げる動作に対応した操作を実行することを条件に、視聴者アバターの映像が仮想ディスプレイ41、42に表示される部分)
ことを特徴としている。
この特徴によれば、視聴者ユーザーは、特定操作を実行することで視聴者アバター画像を表示させることができるので、視聴者ユーザーの興趣をさらに高めることができる。
【0012】
請求項7の仮想空間コンテンツ配信システムは、請求項6に記載の仮想空間コンテンツ配信システムであって、
前記仮想空間コンテンツが配信されている期間のうち特定期間(例えば、第2特別演出や第3特別演出の演出期間)において前記特定操作を実行可能である
ことを特徴としている。
この特徴によれば、視聴者ユーザーが、特定期間となったか否かに注目するようになるので、視聴者ユーザーの興趣をさらに高めることができる。
【0013】
請求項8の仮想空間コンテンツ配信システムは、請求項1に記載の仮想空間コンテンツ配信システムであって、
前記仮想空間に参加している他の視聴者アバターが前記視聴者アバター画像として表示されることを制限する制限手段を備える(例えば、
図26に示すように、被写体となる視聴者アバター以外の他の視聴者アバターが描画されないことで仮想ディスプレイ41、42に表示されない部分)
ことを特徴としている。
この特徴によれば、他の視聴者アバターが視聴者アバター画像として表示されてしまうことによる不都合の発生を防ぐとともに、対象の視聴者アバターの視聴者ユーザーの特別感を高めることができる。
【0014】
請求項9の仮想空間コンテンツ配信システムは、請求項1に記載の仮想空間コンテンツ配信システムであって、
前記視聴者アバターは、簡略化されていない通常視聴者アバターと、簡略化されている簡略視聴者アバターとを含み、
前記視聴者アバターは、前記仮想空間コンテンツの映像においては前記簡略視聴者アバターにて表示されるが、前記視聴者アバター画像においては前記通常視聴者アバターにて表示される(例えば、
図27に示すように、簡略視聴者アバターにて表示される視聴者アバター25が、仮想ディスプレイ41に表示される映像においては、
図26(B)に示すように、通常視聴者アバターにて表示される部分)
ことを特徴としている。
この特徴によれば、簡略視聴者アバターによる視聴者アバター画像が表示されることによって、却って視聴者ユーザーの興趣が低下してしまうことを防ぐことができる。
【0015】
請求項10の仮想空間コンテンツ配信システムは、請求項1に記載の仮想空間コンテンツ配信システムであって、
前記視聴者アバター画像の画像データを前記視聴者ユーザー端末に送信して視聴者ユーザーに提供可能な視聴者アバター画像提供手段を備える(例えば、変形例において、仮想ディスプレイ41、42に表示された映像データを、視聴者端末300に送信する部分)
ことを特徴としている。
この特徴によれば、視聴者ユーザーは、視聴者アバター画像の画像データを入手することができる。
【0016】
請求項11の仮想空間コンテンツ配信プログラムは、
仮想空間(例えば、仮想ライブ会場)における仮想空間コンテンツ(例えば、仮想ライブ)を、少なくともサーバコンピュータ(例えば、配信用サーバコンピュータ100)を用いてネットワーク(例えば、インターネット)を介して配信するための仮想空間コンテンツ配信プログラムであって、
前記仮想空間コンテンツの対象となる仮想空間に参加可能なアバターは、視聴者ユーザーが利用可能な端末(例えば、スマートフォンP、コンピュータPC)であって前記ネットワークを介して前記サーバコンピュータに接続された視聴者ユーザー端末(例えば、視聴者端末300)における操作によって前記仮想空間において動作する視聴者アバターを含み、
前記仮想空間には、該仮想空間内に設置された仮想カメラ(例えば、仮想カメラC5、C6)から該仮想空間内を見た仮想カメラ画像を表示可能な仮想表示領域(例えば、仮想ディスプレイ41、42)が設けられており、
所定条件が成立したことにもとづいて、前記仮想カメラから前記仮想空間内を見た画像であって、該所定条件の成立時において前記仮想空間に参加している視聴者アバターの画像を含む前記仮想カメラ画像を前記仮想表示領域に表示する視聴者アバター画像表示ステップを含む(例えば、第2特別演出や第3特別演出において、配信用サーバコンピュータ100が、仮想カメラC5、C6の視点画像を生成して仮想ディスプレイ41、42に表示する処理を実行する部分)
ことを特徴としている。
この特徴によれば、仮想表示領域に視聴者アバター画像が表示されるため、視聴者ユーザーが仮想空間コンテンツに参加しているという感覚を得やすくなるので、視聴者ユーザーの興趣を高めることができる。
【0017】
請求項12の仮想空間コンテンツ配信方法は、
仮想空間(例えば、仮想ライブ会場)における仮想空間コンテンツ(例えば、仮想ライブ)を、少なくともサーバコンピュータ(例えば、配信用サーバコンピュータ100)を用いてネットワーク(例えば、インターネット)を介して配信するための仮想空間コンテンツ配信方法であって、
前記仮想空間コンテンツの対象となる仮想空間に参加可能なアバターは、視聴者ユーザーが利用可能な端末(例えば、スマートフォンP、コンピュータPC)であって前記ネットワークを介して前記サーバコンピュータに接続された視聴者ユーザー端末(例えば、視聴者端末300)における操作によって前記仮想空間において動作する視聴者アバターを含み、
前記仮想空間には、該仮想空間内に設置された仮想カメラ(例えば、仮想カメラC5、C6)から該仮想空間内を見た仮想カメラ画像を表示可能な仮想表示領域(例えば、仮想ディスプレイ41、42)が設けられており、
所定条件が成立したことにもとづいて、前記仮想カメラから前記仮想空間内を見た画像であって、該所定条件の成立時において前記仮想空間に参加している視聴者アバターの画像を含む前記仮想カメラ画像を前記仮想表示領域に表示する視聴者アバター画像表示手順を含む(例えば、第2特別演出や第3特別演出において、配信用サーバコンピュータ100が、仮想カメラC5、C6の視点画像を生成して仮想ディスプレイ41、42に表示する手順を含む部分)
ことを特徴としている。
この特徴によれば、仮想表示領域に視聴者アバター画像が表示されるため、視聴者ユーザーが仮想空間コンテンツに参加しているという感覚を得やすくなるので、視聴者ユーザーの興趣を高めることができる。
【0018】
尚、本発明は、本発明の請求項に記載された発明特定事項のみを有するものであって良いし、本発明の請求項に記載された発明特定事項とともに該発明特定事項以外の構成を有するものであっても良い。
【図面の簡単な説明】
【0019】
【
図1】本発明の実施例1における仮想空間コンテンツ配信システムのシステム構成例を示すブロック図である。
【
図2】本発明の実施例1の仮想空間コンテンツ配信システムにおける配信用サーバコンピュータの構成例を示す図である。
【
図3】本発明の実施例1の配信用サーバコンピュータが有するストレージに記憶されている各種データを示す図である。
【
図4】本発明の実施例1の仮想空間コンテンツ配信システムにおける演者端末の構成例を示す図である。
【
図5】本発明の実施例1の仮想空間コンテンツ配信システムにおける視聴者端末の構成例を示す図である。
【
図6】本発明の実施例1の仮想空間コンテンツ配信システムにおける管理者端末の構成例を示す図である。
【
図7】本発明の実施例1の仮想空間コンテンツ配信システムにおけるイベントデータの構成例を示す図である。
【
図8】本発明の実施例1の仮想空間コンテンツ配信システムにおける演者ユーザーデータの構成例を示す図である。
【
図9】本発明の実施例1の仮想空間コンテンツ配信システムにおける視聴者ユーザーデータの構成例を示す図である。
【
図10】本発明の実施例1の仮想空間コンテンツ配信システムを構成する各端末とサーバコンピュータとの間において送受されるデータを示す説明図である。
【
図11】本発明の実施例1の仮想空間コンテンツ配信システムにおいて、演者ユーザーが利用するスタジオの設備を示す模式図である。
【
図12】本発明の実施例1の仮想空間コンテンツ配信システムにおいて使用される仮想空間である仮想ライブ会場を示す図である。
【
図13】本発明の実施例1の仮想空間コンテンツ配信システムを構成する視聴者端末における表示例を示す図である。
【
図14】本発明の実施例1の仮想空間コンテンツ配信システムを構成する視聴者端末における表示例を示す図である。
【
図15】本発明の実施例1の仮想空間コンテンツ配信システムを構成する演者端末における表示例を示す図である。
【
図16】本発明の実施例1の仮想空間コンテンツ配信システムを構成する視聴者端末におけるズーム操作による表示例を示す図である。
【
図17】本発明の実施例1の仮想空間コンテンツ配信システムを構成する視聴者端末におけるズーム操作による表示例を示す図である。
【
図18】本発明の実施例1の仮想空間コンテンツ配信システムを構成する視聴者端末における表示例を示す図である。
【
図19】本発明の実施例1の仮想空間コンテンツ配信システムを構成する視聴者端末におけるフライング演出期間の表示例を示す図である。
【
図20】本発明の実施例1の仮想空間コンテンツ配信システムを構成する視聴者端末において実行される視聴者用視点映像制御処理の一例を示すフロー図である。
【
図21】本発明の実施例1の変形例における仮想ライブ会場を示す図である。
【
図22】本発明の実施例1の変形例における仮想ライブ会場への参加位置選択画面を示す図である。
【
図23】本発明の実施例2の仮想空間コンテンツ配信システムにて配信される仮想ライブの内容を示す説明図である。
【
図24】本発明の実施例2の仮想ライブ中の第2特別演出期間における視聴者アバターの動作を示す図である。
【
図25】本発明の実施例2の仮想ライブ中の第2特別演出期間における仮想ライブ会場の状況を示す図である。
【
図26】本発明の実施例2の仮想ライブ中の第3特別演出期間における視聴者アバターの動作を示す図である。
【
図27】本発明の実施例2の仮想ライブ中の第3特別演出期間における仮想ライブ会場の状況を示す図である。
【
図28】本発明の実施例2の仮想空間コンテンツ配信システムにて使用される参加者ユーザーテーブルを示す図である。
【
図29】本発明の実施例2の仮想空間コンテンツ配信システムを構成する配信用サーバコンピュータにおいて実行される視聴者演出抽選処理の処理内容を示すフロー図である。
【
図30】本発明の実施例2の仮想空間コンテンツ配信システムを構成する配信用サーバコンピュータと視聴者端末との間において、第2特別演出期間にて送受されるデータを示す説明図である。
【
図31】本発明の実施例2の仮想空間コンテンツ配信システムを構成する配信用サーバコンピュータと視聴者端末との間において、第3特別演出期間にて送受されるデータを示す説明図である。
【
図32】本発明の実施例2において、仮想ステージGに設けられた各仮想スクリーンに表示される表示内容を示す説明図である。
【
図33】本発明の実施例2の変形例において、第3特別演出期間における仮想ライブ会場の状況を示す図である。
【発明を実施するための形態】
【0020】
本発明の仮想空間コンテンツ配信システムを実施するための形態について、実施例にもとづいて図面を用いて以下に説明する。尚、複数の図面において同一の又は類似する構成要素には同じ参照符号を付することで、重複する説明は省くものとする。また、本発明に係わる仮想空間コンテンツ配信プログラムは、仮想空間コンテンツ配信システムを構成する後述するサーバコンピュータや各端末から成るシステム全体で使用されるプログラムであってもよいし、仮想空間コンテンツ配信システムを構成する一部の装置である、例えば、サーバコンピュータや各端末だけで動作するものであってもよく、以下において説明する各処理については、いずれも、処理が行われる機器に記憶されているプログラムによって実行される。
【0021】
【実施例1】
【0022】
図1は、本発明の1実施形態である実施例1における仮想空間コンテンツ配信システムのシステム構成例を示すブロック図であり、
図1に示す本実施例1のシステムでは、演者ユーザーに対応した演者アバター1が、
図12に示す仮想ライブ会場においてライブイベントを行う仮想ライブが仮想空間コンテンツとして配信される。尚、以下において配信とは、複数に対する送信であり、送信と同義である。
【0023】
本実施例1の仮想空間コンテンツ配信システムは、
図1に示すように、主に、仮想空間である
図11に示す仮想ライブ会場に関する各種処理や仮想ライブの配信に関する各種処理を実行可能な配信用サーバコンピュータ100と、仮想ライブイベントを運営・管理するイベント運営機関のイベント管理者Mが、仮想ライブイベントの配信を管理するために使用する管理者端末150と、演者ユーザーが使用する演者端末200と、仮想ライブに仮想参加して仮想ライブを視聴する視聴者ユーザーが使用可能な視聴者端末300とから構成されており、配信用サーバコンピュータ100、管理者端末150、演者端末200、視聴者端末300は、オープンコンピュータネットワークであるインターネット網Nを介して、相互にデータ通信可能に接続されている。
【0024】
尚、本実施例1では、管理者端末150や演者端末200についてもインターネット網Nを介して配信用サーバコンピュータ100に接続させた形態を例示しているが、本発明はこれに限定されるものではなく、例えば、
図11に示すスタジオが、イベント運営機関が運営するスタジオであって、イベント運営機関が演者ユーザーにスタジオを提供している等の場合であって、これらスタジオに配信用サーバコンピュータ100が設置されている場合にあっては、管理者端末150や演者端末200を配信用サーバコンピュータ100にローカルにデータ通信接続した形態としたり、スタジオ施設内のローカルエリアネットワークLANを介して通信接続するようにしてもよい。
【0025】
また、
図1に示すように、視聴者ユーザーA、視聴者ユーザーB、視聴者ユーザーC…のように、視聴者ユーザーは複数であって、視聴者端末300としては、個々の視聴者ユーザーA、視聴者ユーザーB、視聴者ユーザーC…が使用可能な視聴者端末300a、視聴者端末300b、視聴者端末300c…を含む。尚、視聴者ユーザーは、通常、複数であるが、1人でもよいし、4人以上であってもよく、その数は仮想空間である仮想ライブ会場等に応じて適宜に決定すればよい。以下、視聴者ユーザーA、視聴者ユーザーB、視聴者ユーザーC…を総称して視聴者ユーザーと表記する場合があるとともに、視聴者端末300a、視聴者端末300b、視聴者端末300c…を総称して視聴者端末300と表記する場合がある。
【0026】
また、本実施例1では、演者ユーザーを1人とした形態を例示しているが、本発明はこれに限定されるものではなく、仮想ライブは、単独で活動している複数の演者ユーザーが仮想参加する共演イベントであってもよいし、共同で活動している複数人のグループが仮想参加するグループイベントであってもよく、このように、複数の演者が出演する場合には、各演者ユーザー毎に演者端末200a、演者端末200b、演者端末200c…を設けるようにしてもよいし、複数人のグループで出演する場合であれば、1つの演者端末200を複数人で使用するようにしてもよい。
【0027】
また、
図1においては、配信用サーバコンピュータ100を単体として図示しているが、本発明はこれに限定されるものではなく、これら配信用サーバコンピュータ100を、仮想空間処理を主に行う第1サーバコンピュータと配信処理を主に行う第2サーバコンピュータ等の複数のサーバコンピュータで構成したり、あるいは、クラウドサーバ等にて構成して、イベントの規模や参加する聴者ユーザーの数等に応じてサーバコンピュータの数を適宜に変更可能としてもよい。
【0028】
同様に、管理者端末150についても、
図1においては単体として図示しているが、本発明はこれに限定されるものではなく、これら管理者端末150を、ライブに仮想参加する演者ユーザーや視聴者ユーザーの数等に応じて複数としてもよいことはいうまでもない。
【0029】
<配信用サーバコンピュータ>
図2は、本実施例1に用いた配信用サーバコンピュータ100の構成を示す図である。本実施例1で用いた配信用サーバコンピュータ100は、上記のように、イベント運営機関が運営するスタジオに設置された比較的処理能力に優れた通常のサーバコンピュータであって、
図2に示すように、データバス108に接続されたプロセッサ(CPU)101、メモリ(RAM)102、ハードディスク等のストレージ103、オープンコンピュータネットワークであるインターネットを介したTCP/IPプロトコルによる双方向に通信が可能な通信インターフェイス(I/F)104と、キーボード等の入力装置等を接続可能な入出力インターフェイス(I/F)105を有している。
【0030】
尚、本実施例1では、ローカル操作を可能とするために、入出力インターフェイス(I/F)105を設けているが、通信インターフェイス(I/F)104を介してのリモート操作が可能である場合には、入出力インターフェイス(I/F)105を設けない形態としてもよい。
【0031】
配信用サーバコンピュータ100のストレージ103には、図示しないサーバ機能を提供するためのオペレーションシステム(サーバOS)に加えて、
図3に示すように、各種のデータやプログラムが記憶されている。具体的には、主に、ライブイベントを管理するイベント管理機能を提供するためのイベント管理プログラム110、仮想空間である仮想ライブ会場の仮想空間を提供するための仮想空間生成プログラム120、演者ユーザーを管理する演者ユーザー管理機能を提供するための演者ユーザー管理プログラム130と、視聴者ユーザーを管理する視聴者ユーザー管理機能を提供するための視聴者ユーザー管理プログラム132と、が記憶されている。
【0032】
イベント管理プログラム110は、管理者端末150と協同して仮想ライブ会場(
図12参照)で開催されるイベントである仮想ライブを管理するためのプログラムであって、該イベント管理プログラム110とともにストレージ103に記憶されているイベントデータ111(
図7参照)、タイムテーブルデータ(TTデータ)112、楽曲データ113を使用して仮想ライブイベントの進行を管理可能とされている。
【0033】
本実施例1に用いたイベントデータ111を、
図7に例示する。イベントデータ111は、イベントに固有に付与されたイベントIDに対応付けて、イベント名、タイムテーブル(TT)データのファイル名、出演者である演者ユーザーに固有に付与された演者ID、楽曲リストのファイル名、後述する仮想観客領域の第3領域に仮想参加が許可された特別な視聴者ユーザーの情報が登録されている参加視聴者リストのファイル名と、後述する仮想観客領域の第4領域に仮想参加を予約した視聴者ユーザーの情報が登録されている参加視聴者リストのファイル名等の情報が記憶されている。
【0034】
尚、タイムテーブルデータ(TTデータ)112は、開催される仮想ライブイベントの進行順序や楽曲等の演目が時系列に記述されたデータとされており、該タイムテーブルデータ(TTデータ)112に記述されたタイムスケジュールにもとづいて仮想ライブイベントが進行するように管理される。また、これらタイムテーブルデータ(TTデータ)112やイベントデータ111等は、管理者端末150をイベント管理者Mが操作することによって変更、更新、追加することができる。
【0035】
また、楽曲データ113は、演者ユーザーが歌唱する各楽曲の演奏パート(所謂カラオケ)のデータであって、イベント管理プログラム110によってタイムテーブルデータ(TTデータ)112にもとづいて、後述する音声制御プログラム124によって再生されて、演者端末200や視聴者端末300に送信される(
図11参照)。
【0036】
仮想空間生成プログラム120は、
図12に示す仮想空間である仮想ライブ会場を提供するためのプログラムであって、該仮想空間生成プログラム120とともにストレージ103に記憶されている仮想ライブ会場の構造等が記述された仮想空間データ121、仮想ライブ会場に配置される種々の物体(ステージ上の星の装飾物である仮想配置オブジェクト43や上空の星のオブジェである仮想空中オブジェクト50~52を含む)等を仮想空間内に配置するためのオブジェクトデータ122、並びに後述する演者ユーザーデータ131に含まれている演者アバターデータおよび視聴者ユーザーデータ133に含まれている視聴者アバターデータを用いて、演者アバターや視聴者アバターが仮想参加している仮想ライブ会場を提供する機能を有する。
【0037】
視点映像制御プログラム123は、
図12に示すように、仮想ライブ会場に仮想的に設定された仮想カメラC1~C4並びに空中移動仮想カメラ(図示略)からの視点映像を生成する機能を提供するとともに、視聴者端末300と協同して仮想ライブ会場の第3領域にて仮想参加している視聴者アバター11~14、第4領域にて仮想参加している視聴者アバター21~32の各視点からの映像を視聴者端末300に表示する機能を提供するためのプログラムである。尚、仮想カメラC2は、仮想ライブ会場のステージ上にいる演者アバター1の視点からの映像とするために設定された仮想カメラであり、該仮想カメラC2からの視点映像が、演者端末200と協同して該演者端末200に接続された後述するプロジェクタ211によって、スタジオにもうけられているスクリーンSに投影されるようになっている。
【0038】
音声制御プログラム124は、仮想ライブイベントにおいて配信される音声(楽曲を含む)に関する制御を行うためのプログラムであり、具体的には、楽曲データ113の再生機能や演者ユーザーが発した音声を再生した楽曲と合成して管理者端末150や視聴者端末300に配信する機能を提供する。
【0039】
コメント制御プログラム125は、後述する視聴者端末300に記憶されている視聴者用コメント制御プログラムと協同して、仮想ライブイベントにおいて各視聴者ユーザーが視聴者端末300において入力した種々のコメントを、時系列に演者端末200並びに視聴者端末300に表示させる機能を提供する。
【0040】
ギフト制御プログラム126は、後述する視聴者端末300に記憶されている視聴者用プログラムと協同して、視聴者ユーザーから演者ユーザーに贈られるギフトに関する制御を行うためのプログラムであり、具体的には、ギフトデータ134に記憶されている各種ギフトに設定された購入単価の情報にもとづいて視聴者ユーザーがギフトの購入を行う機能や、ギフトデータ134に含まれているギフトのオブジェクトデータを用いて購入したギフトを視聴者ユーザーが演者ユーザーに贈るための処理機能(贈るときの演出等の処理を含む)や、贈られたギフトの所有者を視聴者ユーザーから演者ユーザーに変更するための処理機能等を提供する。
【0041】
演者ユーザー管理プログラム130は、該演者ユーザー管理プログラム130とともにストレージ103に記憶されている
図8に示す演者ユーザーデータ131にもとづいて、演者ユーザーに関する情報の管理機能並びに認証機能等を提供する。
【0042】
本実施例1で用いた演者ユーザーデータ131を、
図8に例示する。演者ユーザーデータ131は、演者ユーザーに固有に付与された演者ユーザーIDに対応付けて、当該演者ユーザーのアカウント(電子メールアドレス)、名称、認証情報、仮想空間において使用するアバターのアバターデータのファイル名、所有しているアイテムが登録されているアイテムリストのファイル名、等の各種情報が記憶されている。尚、
図8には図示していないが、各演者ユーザーが所有しているポイント等の仮想価値の情報を演者ユーザーデータ131として記憶するようにしてもよい。
【0043】
演者ユーザーは、演者ユーザーID、アカウント、認証情報を照合する等によって認証できるようになっているとともに、各演者ユーザーが視聴者から贈られることで所有することになったアイテム(ギフト)を、アイテムリストから特定できるようになっている。
【0044】
視聴者ユーザー管理プログラム132は、該プログラムとともにストレージ103に記憶されている
図9に示す視聴者ユーザーデータ133にもとづいて、視聴者ユーザーに関する情報の管理機能並びに認証機能等を提供する。
【0045】
本実施例1に用いた視聴者ユーザーデータ133を、
図9に例示する。視聴者ユーザーデータ133は、視聴者ユーザーに固有に付与された視聴者ユーザーIDに対応付けて、当該視聴者ユーザーのアカウント(電子メールアドレス)、認証情報、仮想空間において使用するアバターのアバターデータのファイル名、仮想空間において使用可能なポイントの所有数である所有ポイント、ポイントを使用して購入した仮想アイテム(ギフト)が登録されているアイテムリストのファイル名、氏名、生年月日、電話番号等の個人情報等の各種情報が記憶されている。尚、
図9には示していないが、コメントとともに表示されるニックネーム(コメントネーム)についても視聴者ユーザーデータ133に登録されていて、該ニックネーム(コメントネーム)がコメントとともに表示される。また、ポイントは、例えば、所定の運営会社から購入することで増やすことができる。尚、アバターデータには、簡略化されていない通常のアバターデータ(通常視聴者アバターデータ)と、簡略化されているアバターデータ(簡略視聴者アバターデータ)とが含まれる。
【0046】
<演者端末>
図4は、本実施例1の仮想空間コンテンツ配信システムにおける演者端末200の構成例を示す図である。演者端末200は、本実施例1では、
図11に示すように、演者ユーザーが演技動作を行うスタジオに隣接する調整室内に設けられていて、比較的処理能力に優れた通常のコンピュータを使用しており、
図4に示すように、データバス208に接続されたプロセッサ(CPU)201、メモリ(RAM)202、ハードディスク等のストレージ203、オープンコンピュータネットワークであるインターネットを介したTCP/IPプロトコルによる双方向に通信が可能な通信インターフェイス(I/F)204、表示装置A210~表示装置C212が接続されたグラフィックスプロセッシングユニット(GPU)を含む画像処理部206、各種の入出力デバイスが接続された入出力インターフェイス(I/F)205を有している。
【0047】
入出力インターフェイス(I/F)205には、入力デバイスとして、演者ユーザーが左右の手足及び腰に装着している複数の装着センサ220C1~220C5(
図11参照)を含むモーションセンサ220、演者の顔の表情を入力するための撮像カメラで構成される表情入力装置221、演者ユーザーの頭部に装着されている集音マイクにより構成される音声入力装置222、演者ユーザーを補助する補助オペレータOが操作可能に設けられたキーボードやタッチパネル等の操作入力装置224等が接続される。尚、これら入力デバイスとして、演者ユーザーが把持することで種々の操作を行うことが可能なコントローラを設けることで、補助オペレータOによることなく、演者自身が種々の操作を行うことができるようにしてもよい。
【0048】
尚、本実施例1では、演者ユーザーが楽曲に合わせた上演動作(歌唱やダンス等の楽曲動作を含む)を行うため、上演中における操作を補助オペレータOが補助する形態としているが、これら補助オペレータOを複数人としたり、或いは、操作内容を予め演者端末200において、例えば、シーケンスプログラム等に設定しておくことで、補助オペレータOを設けない形態としてもよい。
【0049】
入出力インターフェイス(I/F)205には、出力デバイスとして演者ユーザーが装着している高機能イヤホン(イヤモニ)や調整室に配置されたスピーカー等を含む音声出力装置223が接続されることで、配信用サーバコンピュータ100から送信される再生楽曲の音が高機能イヤホン(イヤモニ)を介して演者ユーザーに対して出力されるとともに、スピーカーからは、演者の音声とともに楽曲音声が出力されることで、演者ユーザーが発した音声を含む楽曲の状況を、補助オペレータO等が調整室において確認することができるようになっている。
【0050】
本実施例1では、演者ユーザーが装着している集音マイクから、再生された楽曲音声が入力されることによる不都合を回避するために高機能イヤホン(イヤモニ)を使用しているが、本発明はこれに限定されるものではなく、楽曲音声が入力されることによる不都合を回避できるのであれば、スタジオ内のスピーカー等から、楽曲音声を出力するようにしてもよい。
【0051】
尚、本実施例1では、集音マイクを演者ユーザーが装着する形態を例示しているが、これら集音マイクを、スタジオの床、壁、又は天井に設置される設置型のものとしてもよい。
【0052】
ここで、本実施例1の演者端末200で使用したモーションセンサ220について説明する。モーションセンサ220は、演者ユーザーの体の動き(動作)を適切に検出(計測)できるものであれば、任意のものを使用することができる。本実施例1では、演者の動作をより正確且つ短周期で検出可能とするために、演者ユーザーが体に装着する複数の装着センサ220C1~220C5を使用している。尚、モーションセンサ220を、レーザー光等を用いたLiDER等の演者が機器を装着しないタイプのものを使用してもよい。
【0053】
尚、本実施例1では、演者ユーザーが上演動作をする際のセンサ等の装着による動作負担、特には、頭部の動作負担を軽減するために、演者ユーザーの頭部の動作を、後述するように、表情入力装置221を構成する撮像カメラにて撮像された画像を用いた画像認識によって検出し、頭部以外の動作を5つの装着センサ220C1~220C5を使用した形態を例示しているが、例えば、演者ユーザーの頭部等にも装着センサを設けたり、更に、より詳細な動作を検出するために、より多く(7以上)の装着センサを装着するようにしてもよい。
【0054】
装着センサ220C1~220C5は、
図11に示すように、隣接する調整室とガラス窓を隔てたスタジオルーム内に設置されているベースステーション220a及びベースステーション220bと協働して、自らの位置及び向きを検出する。
【0055】
これらベースステーション220a及びベースステーション220bは、一例として、多軸レーザーエミッターを使用できる。ベースステーション220aは、同期用の点滅光を発した後に、例えば鉛直軸の周りでレーザー光を走査する。ベースステーション220bは、例えば水平軸の周りでレーザー光を走査する。
【0056】
装着センサ220C1~220C5はそれぞれ、ベースステーション220a及びベースステーション220bからの点滅光及びレーザー光の入射を検知する光センサを複数備えていてもよい。
【0057】
装着センサ220C1~220C5はそれぞれ、点滅光の入射タイミングとレーザー光の入射タイミングとの時間差、各光センサでの受光時間、各光センサが検知したレーザー光の入射角度、及び必要に応じてこれら以外の情報に基づいて、自らの位置及び向きを検出可能とされており、例えば、HTC CORPORATIONから提供されているViveTrackerや、ベースステーションを好適に使用することができる。
【0058】
ベースステーション220a及びベースステーション220bは、一定のインターバルで点滅光の発光及びレーザー光の走査を行うので、各装着センサ220C1~220C5の検出情報は、当該インターバルごとに更新される。そして、これら装着センサ220C1~220C5の各々において算出された各モーションセンサの位置及び向きを示す検出情報は、近距離無線通信によって演者端末200に入力され、フェイスモーションの情報とともに、演者アバター情報として配信用サーバコンピュータ100に送信される(
図10参照)。
【0059】
尚、本実施例1では、ベースステーション220a及びベースステーション220bの2つのベースステーションを使用した形態を例示しているが、本発明はこれに限定されるものではなく、これらベースステーションを3つ以上としてもよい。
【0060】
また、モーションセンサ220を、演者ユーザーに装着される複数のモーションセンサの各々に多数の赤外LED或いは可視光LEDを搭載し、これらのLEDからの光を、スタジオの床や壁に設けられた赤外線カメラで検知することで、当該モーションセンサの各々の位置及び向きを検出してもよい。
【0061】
また、モーションセンサ220を、演者ユーザーの負担を軽減するために、装着センサ220C1~220C5に代えて、より軽量な反射マーカーを用いたモーションセンサを使用してもよい。つまり、演者ユーザーの身体の各部に粘着テープなどにより貼着された反射マーカーを撮影して撮影データを生成し、この撮影データを画像処理することにより、反射マーカーの位置及び向きを検出することで、演者ユーザーの動作を検出するものであってもよく、この場合にあっては、スタジオ内に演者ユーザーを撮影するカメラマンを配置して、該カメラマンが演者ユーザーを撮影することで、演者ユーザーの動作を、検出に適した方向から撮影することで、良好に検出できるようにしてもよい。
【0062】
また、モーションセンサ220として、慣性センサが内蔵されたスーツ、例えば、Xsens.com社が上市しているMVNモーションキャプチャシステム用の慣性センサ内蔵スーツを使用し、慣性センサから出力されるセンサ信号を解析することにより、演者ユーザーの動作を検出するものであってもよい。
【0063】
表情入力装置221は、演者ユーザーの顔を含む頭部の動作を適切に検出できるものであれば、任意のものを使用することができる。本実施例1では、具体的には、演者ユーザーの顔を含む頭部画像を連続的に撮像可能に配置された撮像カメラ(デジタルカメラ)にて構成されており、該撮像カメラにて撮像された演者ユーザーの頭の動きと顔の動き(表情)を、画像認識にて検知し、該検知した頭の動きと顔の動き(表情)であるフェイスモーションの情報が、
図10に示すように、ボディモーションの情報とともに演者アバター情報として配信用サーバコンピュータ100に送信される。
【0064】
尚、表情入力装置221は、本実施例1で使用した撮像カメラ(デジタルカメラ)に限定されるものではなく、例えば、表情入力装置221は、人物の顔の奥行きを検出可能な3Dカメラであってもよいし、例えば、LiDERデバイスが搭載されたスマートフォン等の携帯端末を使用することもできる。この場合、これらの携帯端末を演者ユーザーが装着するようにしてもよい。
【0065】
本実施例1の演者端末200では、上記のように、3つの表示装置A210~表示装置C212を有しており、表示装置A210は、
図11示すように、調整室に設けられている液晶モニター等であり、表示装置B211は、スタジオ内に設けられたスクリーンSに映像を投影するプロジェクタであり、表示装置C212は、スタジオ内にスクリーンSに隣接して設けられた縦型の大型ディスプレイである。
【0066】
スタジオの調整室内に配置されている表示装置A210には、仮想カメラC1~C4の各視点からの映像や後述するフライング演出期間における空中移動仮想カメラからの視点映像と、コメントの内容と、補助オペレータOが演者ユーザーに伝達したいメッセージを入力するメッセージ入力ウインドウ等が表示される。
【0067】
一方、スタジオ内に設けられた表示装置B211であるプロジェクタから投影されるスクリーンSには、演者の視点である仮想カメラC2(
図12参照)の視点映像である、例えば、
図15に示すように、第3領域や第4領域においてライブに仮想参加している視聴者のアバターを含む映像が表示されることで、演者ユーザーが、仮想ライブに仮想参加している視聴者ユーザーの状況を、映像によって確認できるようになっている。
【0068】
また、スタジオ内に設けられた表示装置C212には、視聴者ユーザーのコメントや、補助オペレータOが入力したコメントやメッセージ等が表示されることで、演者ユーザーが、上演中においても視聴者ユーザーのコメントを確認したり、補助オペレータOからのメッセージを確認することができる。
【0069】
ストレージ203には、演者端末200であるコンピュータを動作させるためのオペレーションシステム(OS)に加えて、プロセッサ(CPU)201等が実行することで仮想空間コンテンツである仮想ライブにおける演者ユーザーによる演者アバター1の動作制御機能を初めとする各種機能を、配信用サーバコンピュータ100と協働して提供するための演者用プログラムが記憶されている。
【0070】
演者用プログラムは、
図4に示すように、演者アバター制御プログラム、演者用視点映像制御プログラム、演者用視点映像制御プログラム、演者用音声制御プログラム、演者用コメント制御プログラム、演者認証用データ等を含む。
【0071】
演者アバター制御プログラムは、主に、モーションセンサ220を用いて演者ユーザーのボディモーションをスキャンするとともに、表情入力装置221を用いて演者ユーザーのフェイスモーション(表情)をスキャンして、演者アバターを動作させるための演者アバター情報を生成して配信用サーバコンピュータ100に送信する機能を提供するプログラムである。
【0072】
演者用視点映像制御プログラムは、配信用サーバコンピュータ100から配信される仮想空間更新データにもとづいて演者視点である仮想カメラC2の視点映像を生成、出力する機能を提供するプログラムである。
【0073】
演者用音声制御プログラムは、配信用サーバコンピュータ100から配信される再生楽曲データにもとづく楽曲の再生音を、音声出力装置223を介して出力するとともに、音声入力装置222から入力される音声をデータ化して演者音声データとして配信用サーバコンピュータ100に送信し、楽曲の再生音と演者音声とからなるモニター音声を生成、出力する機能を提供するプログラムである。
【0074】
演者用コメント制御プログラムは、配信用サーバコンピュータ100から配信される視聴者ユーザーによる各コメント等を表示する機能を提供するプログラムである。
【0075】
演者認証用データは、配信用サーバコンピュータ100との通信接続において演者ユーザーが本人であることを認証するためのデータである。
【0076】
尚、演者アバター制御プログラムには、演者アバターデータに含まれる演者アバターの骨格を示すリグデータ(スケルトンデータ」と呼ばれることもある。)を構成する骨( ボーン) の位置及び回転角度のパラメータ情報を生成可能なモーションパラメータ生成プログラム等が含まれているとともに、撮像カメラによって撮像された画像から演者ユーザーの頭部の位置と表情とを画像認識するための画像認識処理プログラム等が含まれている。
【0077】
また、本実施例1では、演者端末200は、イベント運営機関が運営するスタジオに設置された演者端末200となるコンピュータを、複数の演者ユーザーが共同で利用し、ライブイベントを開催するときにおいて、個々の演者ユーザーが、演者認証用データを入力することで当該演者ユーザーの演者端末200として利用できるようにした形態を例示しているが、本発明はこれに限定されるものではなく、例えば、演者ユーザーが自宅等から仮想ライブに出演する場合であって、演者端末200が、演者ユーザーが自宅に設置している自分専用のコンピュータである場合のように、所有する演者ユーザーのみが利用する形態であってもよく、このような場合には、演者認証用データの記憶は必ずしも必要ない。
【0078】
このように、本実施例1の仮想空間コンテンツ配信システムを構成する演者端末200を演者ユーザー等が使用することで、演者ユーザーは、仮想ライブ会場における仮想ステージG上に配置された演者アバター1を、自身の動作に連動して動作させることができるとともに、演者アバター1の表情に自身の表情を反映させることができる。また、自分の声を演者アバター1の声として、配信用サーバコンピュータ100を通じて視聴者に配信することができる。
【0079】
<視聴者端末>
図5は、本実施例1の仮想空間コンテンツ配信システムにおける視聴者端末300の構成例を示す図である。視聴者端末300は、本実施例1では、視聴者ユーザーが携行するスマートフォンPや視聴者ユーザーが自宅等に設置している据え置き型の通常のコンピュータ(PC)とされており、
図5に示すように、データバス308に接続されたプロセッサ(CPU)301、メモリ(RAM)302、ハードディスクや不揮発性メモリ等のストレージ303、オープンコンピュータネットワークであるインターネットを介したTCP/IPプロトコルによる双方向に通信が可能な通信インターフェイス(I/F)304、表示装置310が接続されたグラフィックスプロセッシングユニット(GPU)を含む画像処理部306、各種の入出力デバイスが接続された入出力インターフェイス(I/F)305を有している。
【0080】
表示装置310は、後述するように、ストレージ303に記憶されている視聴者用プログラムに含まれる視聴者用視点映像制御プログラムによって、配信用サーバコンピュータ100から配信される仮想空間更新データ(
図10参照)によって更新される仮想空間である仮想ライブ会場の仮想空間データにもとづいて生成される各視点映像や、後述するフライング演出期間において配信用サーバコンピュータ100から配信されるフライング視点映像を表示可能なものであればよく、視聴者端末300がスマートフォンPである場合は、該スマートフォンPが有するディスプレイが該当し、視聴者端末300が通常のコンピュータ(PC)であれば、コンピュータ(PC)を構成する据え置き型のディスプレイが該当する。尚、これらディスプレイは、平面視画像(2D画像)を表示するものに限らず、例えば、視聴者が装着可能なヘッドマウントディスプレイ(HMD)のように、右目画像と左目画像とを表示することで、立体視画像(3D画像)を表示可能なものであってもよい。
【0081】
入出力インターフェイス(I/F)305には、入力デバイスとして、視聴者が各種の操作が可能とされた1または複数のデバイスからなる操作入力装置321と、配信用サーバコンピュータ100から配信されるライブ音声等を出力可能なイヤホンやスピーカー等の音声出力装置322が接続される。
【0082】
尚、音声出力装置322は単独のデバイスではなく、上記したヘッドマウントディスプレイ(HMD)のように表示装置310と一体とされたものであってもよいことはいうまでもない。
【0083】
操作入力装置321は、視聴者が視聴者アバターの移動等を含む動作操作、ズーム操作、コメントに関する操作、ギフト等に関する操作等、の各種操作を実行可能なものであれば任意のものを使用することができ、例えば、スマートフォンのディスプレイ表面に形成された透明タッチパネル、コンピュータを構成するキーボード、ゲームコントローラ等の少なくとも1つ以上で構成される。
【0084】
尚、本実施例1では、視聴者として、後述するように、仮想ライブ会場における仮想観客領域が、
図12に示すように、演者ユーザーによって特別に許可された視聴者ユーザーだけが仮想参加できる仮想ステージG近傍の第3領域と、一般の視聴者ユーザーが仮想参加できる第3領域周囲の第4領域とに区分けされており、第4領域に仮想参加する視聴者ユーザーは、上記したように、タッチパネル、キーボード、ゲームコントローラ等の操作入力装置321であればよいが、第3領域に仮想参加する視聴者ユーザーは、操作入力装置321として、例えば、上述した慣性センサが内蔵されたMVNモーションキャプチャスーツを所有していることで、演者ユーザーと同様に、視聴者アバターを自身の動作によって細かく動作させることのできる視聴者ユーザーである。
【0085】
但し、第3領域に仮想参加が許可された視聴者ユーザーであっても、視聴者アバターの表情を変更することまではできないが、本発明はこれに限定されるものではなく、これら視聴者アバターの表情を、例えば、上記したように、視聴者ユーザーがスマートフォンのカメラ機能やコンピュータに接続したカメラを使用して視聴者ユーザーの顔の表情を認識させることで、演者ユーザーの変更レベルとは異なるレベルであっても、変更できるようにしてもよい。
【0086】
尚、これら入出力インターフェイス(I/F)305に接続される各種の入出力デバイスは、内蔵のものであっても外付けのものあってもよく、外付けのデバイスの場合には、有線、無線のいずれの接続形態であってもよい。
【0087】
ストレージ303には、視聴者端末300であるスマートフォンやコンピュータを動作させるためのオペレーションシステム(OS)に加えて、プロセッサ(CPU)301等が実行することで仮想空間コンテンツである仮想ライブにおける視聴者ユーザーに関するライブ視聴機能を初めとする各種機能を、配信用サーバコンピュータ100と協働して提供するための視聴者用プログラムが視聴アプリとして記憶されている。
【0088】
視聴者用プログラムは、
図5に示すように、表示装置310に表示する仮想ライブの各視点映像を生成する機能を提供する視聴者用視点映像制御プログラム、配信用サーバコンピュータ100から配信される仮想ライブのライブ音声(データ)に基づくライブ音声を音声出力装置322から出力する機能を提供する視聴者用音声制御プログラム、配信用サーバコンピュータ100から配信されるコメントデータにもとづくコメントを表示するとともに、視聴者が入力するコメントと配信用サーバコンピュータ100に送信する等のコメントに関する機能を提供する視聴者用コメント制御プログラム、配信用サーバコンピュータ100との通信接続において視聴者ユーザーが本人であることを認証するための視聴者認証用データ等を含む。
【0089】
尚、
図5には図示していないが、上記したプログラム以外に、ギフトに関する制御等を行うギフト制御プログラムや、後述する変形例3-1(
図42,
図43参照)に示すように、ライブイベントの開始前において事前に仮想ライブ会場において視聴者アバターが仮想参加する領域(位置)を予約するための領域指定プログラム等が含まれているが、これら以外の他のプログラムが含まれていてもよい。
【0090】
視聴者が入力するコメントは、本実施例1では、テキスト形式の短文メッセージとされているが、これらテキスト形式の短文メッセージに限定されるものではなく、例えば、静止画形式のメッセージ、動画形式のメッセージ、及びこれら以外の任意の形式の電子的なメッセージであってもよい。尚、コメントは、表示装置310において各視点映像に重ねて表示される。
【0091】
このように、本実施例1の仮想空間コンテンツ配信システムを構成する視聴者端末300視聴者ユーザーが使用することで、仮想ライブ会場に仮想参加している視聴者アバターを移動や動作させて、視聴者アバターによる視点を変更することで表示装置310に表示される視点映像を変更することができるとともに、ズーム状態(視点の状態)についても変更することができ、視聴者アバターを動作させて演者アバター1を応援することができる。
【0092】
尚、第3領域に仮想参加した視聴者アバターの場合は、第3領域内においてだけ移動が可能とされていて、第4領域には移動することはできない。一方、第4領域に仮想参加した視聴者アバターの場合は、第4領域内においてだけ移動が可能とされていて、第3領域には移動することはできない。但し、本発明はこれに限定されるものではなく、3領域に仮想参加した視聴者アバターの場合は第4領域に移動できるようにしてもよい。尚、視聴者アバターは、当然、仮想ステージG等には移動することができないので、演者アバター1の視認が仮想ステージG上に視聴者アバターが移動することによって阻害されてしまうことはない。
【0093】
また、これら表示装置310に視点映像が表示されるともに、ライブ音声が出力されることで、自分が仮想ライブ会場に立ち会っているような感覚で、仮想ライブを楽しむことができる。
【0094】
また、詳しい説明は省略するが、視聴者用コメント制御プログラムにより提供されるコメント機能によって、自分や他の視聴者ユーザーが入力したコメントを確認しながら仮想ライブを楽しむことができるとともに、ギフト制御プログラムによるギフト機能によって、自分が所有している仮想アイテムを演者アバター1に贈ることで、仮想ライブを盛り上げることもできる。
【0095】
<管理者端末>
図6は、本実施例1の仮想空間コンテンツ配信システムにおける管理者端末150の構成例を示す図である。管理者端末150は、本実施例1では、演者端末200とともに、スタジオに隣接している調整室内に設けられた通常のコンピュータを使用しており、
図6に示すように、データバス158に接続されたプロセッサ(CPU)151、メモリ(RAM)152、ハードディスク等のストレージ153、オープンコンピュータネットワークであるインターネットを介したTCP/IPプロトコルによる双方向に通信が可能な通信インターフェイス(I/F)154、表示装置160が接続されたグラフィックスプロセッシングユニット(GPU)を含む画像処理部156、各種の入出力デバイスが接続された入出力インターフェイス(I/F)155、を有している。
【0096】
表示装置160は、後述するように、ストレージ153に記憶されている管理者用プログラムに含まれる管理者用視点映像制御プログラムによって、配信用サーバコンピュータ100から配信される仮想空間更新データ(
図10参照)によって更新される仮想空間である仮想ライブ会場の仮想空間データにもとづいて生成される、後述する各仮想カメラC1~C4並びにフライング演出期間における空中移動仮想カメラの各視点映像を個別に表示可能であるとともに、配信用サーバコンピュータ100から配信されるコメントデータにもとづくコメントを表示可能なものであればよく、1または複数の据え置き型のディスプレイによって構成されている。
【0097】
入出力インターフェイス(I/F)155には、入力デバイスとして、イベント管理者Mが各種の操作が可能とされた1または複数のデバイスからなる操作入力装置161と、配信用サーバコンピュータ100から配信されるライブ音声等を出力可能なイヤホンやヘッドホンやスピーカー等の音声出力装置162が接続される。
【0098】
操作入力装置161は、イベント管理者Mが、仮想ライブのイベントに関する入力や設定等の各種操作を実行可能なものであれば任意のものを使用することができ、例えば、コンピュータを構成するキーボードや、ディスプレイ表面に形成された透明タッチパネルや視点切替コントローラ等の少なくとも1つ以上で構成される。
【0099】
尚、これら入出力インターフェイス(I/F)155に接続される各種の入出力デバイスは、有線、無線のいずれの接続形態であってもよい。
【0100】
ストレージ153には、管理者端末150であるコンピュータを動作させるためのオペレーションシステム(OS)に加えて、プロセッサ(CPU)151等が実行することで仮想空間コンテンツである仮想ライブの配信に関する配信管理機能を初めとする各種機能を、配信用サーバコンピュータ100と協働して提供するための管理者用プログラムが記憶されている。
【0101】
管理者用プログラムは、
図6に示すように、管理者用視点映像制御プログラム、管理者用音声制御プログラム、管理者用コメント制御プログラム、視聴者管理プログラム、演者管理プログラム等を含む。
【0102】
管理者用視点映像制御プログラムは、表示装置160に表示する各仮想カメラからの視点映像を生成する機能並びに各視点の変更や切替機能を提供するプログラムである。
【0103】
管理者用音声制御プログラムは、配信用サーバコンピュータ100から配信される仮想ライブの音声データに基づくライブ音声を音声出力装置162から出力する機能を提供するプログラムである。
【0104】
管理者用コメント制御プログラムは、配信用サーバコンピュータ100から配信されるコメントデータにもとづくコメントを表示するとともに、配信を禁止するコメントや視聴者を選択して配信されないようにする等のコメントに関する機能を提供するプログラムである。
【0105】
視聴者管理プログラムは、仮想ライブに仮想参加する視聴者ユーザーを管理するためのプログラムであり、演者管理プログラムは、仮想ライブに仮想参加する演者ユーザーを管理するためのプログラムである。
【0106】
尚、
図6には図示していないが、操作者である管理者が本人であるか否かを認証するための認証用プログラムや、仮想ライブのタイムスケジュールや楽曲順等を編集するためのスケジュール用プログラム等が含まれているが、これら以外のプログラムが含まれていてもよい。
【0107】
このように、本実施例1の仮想空間コンテンツ配信システムを構成する管理者端末150をイベント管理者Mが操作することによって、イベントを実行するための種々の設定、例えば、演目や楽曲順、演出に関する設定や、タイムスケジュール、フライング演出期間において空中移動仮想カメラが移動する軌道等の各種設定を実施できるようになっており、このようにして設定された内容にもとづいて仮想ライブが管理されるようになっている。
【0108】
<仮想ライブ会場>
本実施例1で使用した仮想空間である仮想ライブ会場を
図12に示す。仮想ライブ会場は、
図12に示すように、現実空間におけるライブ会場と同様に、演者ユーザーが演者アバター1として登壇する仮想ステージGと、観客となる視聴者ユーザーが視聴者アバターとして仮想参加する仮想観客領域とを有する仮想空間とされている。
【0109】
仮想ステージGは、
図12に示すように、比較的広い面積の台形状の床面を有しており、現実空間のライブ会場と同様に、演者アバター1が仮想ステージG上を移動できる。仮想ステージGの仮想客席方向とは逆方向側には、
図12に示すように、中央部と右側部と左側部とに3分割された仮想ステージ壁が形成されており、これら仮想ステージ壁の前面に、仮想ディスプレイ40、41、42が設けられていて、該仮想ディスプレイ40、41、42に、演出用の画像や映像が仮想表示されるようになっている。
【0110】
尚、仮想ディスプレイ40、41、42の間には、演者ユーザーに関係する星の仮想配置オブジェクト43が配置されているとともに、仮想ステージG上の領域であって仮想ステージ壁に囲まれた第1領域よりも上方の領域である第2領域には、
図12に示すように、大きな星の仮想空中オブジェクト50~52が配置されている。尚、仮想空中オブジェクト50~52は、第2領域内を移動できるようになっている。
【0111】
仮想ステージGの前側には、視聴者ユーザーが視聴者アバターとして仮想ライブ会場に仮想参加できる仮想観客領域が設けられている。この仮想観客領域は、
図12に示すように、演者アバター1が登壇する仮想ステージGの中央に近い特別領域である第3領域と、第3領域を囲むように形成された領域であって仮想ステージGの中央からの距離が第3領域よりも大きい第4領域とが設けられている。
【0112】
これら第3領域には、所定の上限数の範囲内で、仮想参加が許可された特別な視聴者ユーザーが仮想参加可能とされていて、本実施例1では、
図12に示すように、例えば、所定の仮想参加実績を満たすとともに演者ユーザーによって仮想参加が許可された4人の視聴者ユーザーの視聴者アバター11~14が配置されている。
【0113】
また、第4領域には、仮想ライブの開始前において仮想参加を予約した一般の視聴者ユーザーの視聴者アバター21~32が配置されている。尚、
図12において、視聴者アバター21~32は、便宜上、簡素化して表示しているが、視聴者アバター11~14と同様のアバターである。
【0114】
尚、第3領域に配置された各視聴者アバター11~14は、視聴者ユーザーが視聴者端末を操作することで、該第3領域内を移動することが可能とされているとともに、第4領域に配置された各視聴者アバター21~32も、視聴者ユーザーが視聴者端末を操作することで、該第4領域内を移動することが可能とされている。
【0115】
仮想ライブ会場には、
図12に示すように、4つの仮想カメラC1~C4が仮想配置(設定)されている。仮想カメラC1は、演者アバター1の正面位置に、演者アバター1に対面するように仮想配置された仮想カメラであり、仮想カメラC1による視点映像は、
図13(a)に示すように、演者アバター1を正面近傍位置から見た視点映像となる。
【0116】
仮想カメラC2は、演者アバター1の頭上に仮想配置(設定)されたカメラであり、該仮想カメラC2による視点映像は、
図15に示すように、演者アバター1から仮想観客領域を見た演者視点映像となる。
【0117】
仮想カメラC3は、演者アバター1の斜め後方の仮想ディスプレイ41上に仮想配置された仮想カメラであり、仮想カメラC3による視点映像は、
図13(c)に示すように、演者アバター1の斜め後方から仮想観客領域を見た視点映像となる。
【0118】
仮想カメラC4は、演者アバター1の斜め後方の仮想ディスプレイ42上に仮想配置された仮想カメラであり、仮想カメラC4による視点映像は、
図13(b)に示すように、演者アバター1の斜め後方から仮想観客領域を見た視点映像となる。
【0119】
また、本実施例1では、固定配置(設定)された仮想カメラC1~C4に加えて、仮想空間である仮想ライブ会場の空間内を空中移動可能に設定された空中移動仮想カメラ(図示略)が仮想配置されている。これら空中移動仮想カメラが移動する空中軌道並びに空中軌道上の個々の位置における視点方向(アングル)等は、管理者端末150によって予め設定されていて、後述するフライング演出期間において、演者アバター1が空中移動仮想カメラの空中軌道を追随するように仮想飛翔することで、仮想飛翔する演者アバター1を空中移動仮想カメラで捉えた視点映像が生成されるようになっている。
【0120】
尚、本実施例1では、
図12に示すように、固定配置(設定)された仮想カメラとして4つの仮想カメラC1~C4を仮想配置した形態を例示しているが、本発明はこれに限定されるものではなく、これら固定配置(設定)された仮想カメラを5以上としてもよいし、逆に、固定配置(設定)された仮想カメラを設けることなく、仮想ライブ会場に仮想参加した各アバターに対応した視点から見た視点映像だけが、演者端末200や視聴者端末300に表示されるようにしてもよい。
【0121】
また、本実施例1では、空中移動仮想カメラを1つとした形態を例示しているが、本発明はこれに限定されるものではなく、これら空中移動仮想カメラを複数とした形態としてもよいし、逆に、空中移動仮想カメラを仮想配置しない形態としてもよい。
【0122】
<スタジオ>
図11は、本実施例1において使用したスタジオを示す図であり、スタジオには、前述したようにガラス窓を隔てた調整室が隣接して設けられており、演者ユーザーがスタジオ内で歌唱に対応した各動作を行うとともに、補助オペレータOが調整室に設置されている演者端末200の操作等を補助する。装着センサ220C1~220C5を装着した演者ユーザーの周囲には、ベースステーション220aとベースステーション220bとがスタンドに搭載配置されているとともに、演者ユーザーのほほ正面位置には、表情入力装置221を構成する撮像カメラがスタンドに搭載配置されている。
【0123】
演者ユーザーがスタジオ内で対峙する壁面にはスクリーンSが設けられており、スタジオの天井に配置されたプロジェクタ(表示装置B211)から、仮想カメラC2の視点映像がスクリーンSに投影されることで、
図15に示すように、演者アバター1から仮想観客領域を見た視点映像がスクリーンSに表示されるようになっており、演者ユーザーが、仮想観客領域において仮想参加している視聴者アバターの様子(ライブに対する視聴者の反応)を逐次、把握しながらライブを進めることができるようになっている。
【0124】
また、スクリーンSの側方位置には、表示装置C212としての縦型の大型ディスプレイが配置されていて、該大型ディスプレイに視聴者のコメントや補助オペレータOが演者ユーザーに伝達したいメッセージ等が表示されるようになっている。尚、表示装置C212には、ライブにおいて演者が歌唱する楽曲の歌詞や、セリフ等の情報(演者支援情報)が表示されるようにしてもよい。
【0125】
<仮想空間コンテンツ配信システムの動作>
図10は、本実施例1の仮想空間コンテンツ配信システムの動作、具体的には、仮想ライブの映像や音声が配信される流れを説明する説明図である。
【0126】
まず、映像系について説明する。配信用サーバコンピュータ100は、前述したように、仮想空間生成プログラム120および演者ユーザーや視聴者ユーザーのアバターデータ等にもとづいて仮想ライブ会場の仮想空間を提供可能とされており、これら演者ユーザーや視聴者ユーザーの各アバターの動作等が、演者端末200から送信される演者アバター情報や、視聴者端末300から送信される視聴者アバター情報によって仮想空間の状態が記述された仮想空間データが更新されることで、演者ユーザーの動作が演者アバター1の動作に反映されるとともに、視聴者ユーザーの動作(操作)が視聴者アバターの動作に反映される。
【0127】
尚、
図10には示していないが、演者端末200並びに視聴者端末300には、仮想ライブに仮想参加するために配信用サーバコンピュータ100と通信接続することに伴って、配信用サーバコンピュータ100から仮想ライブ会場の仮想空間データが事前に配信されて記憶されており、このようにして事前に記憶されている仮想空間データが、後述するように、配信用サーバコンピュータ100から逐次配信される仮想空間更新データによって順次更新されることで、仮想ライブ会場の最新の状態を、演者端末200並びに視聴者端末300にて特定できるようになっている。
【0128】
具体的には、前述したスタジオにおける演者ユーザーの動作や表情は、前述した演者アバター制御プログラムによるボディモーションスキャン並びにフェイスモーションスキャンの各機能によって所定時間間隔にてスキャンされて演者アバター情報が生成されて配信用サーバコンピュータ100に送信される。
【0129】
一方、第3領域に仮想参加が許可された視聴者ユーザーは、演者と同様に、モーションセンサを使用しているため、ボディモーションスキャン並びにフェイスモーションスキャンの各機能によって所定時間間隔にてスキャンされて視聴者アバター情報が生成されて配信用サーバコンピュータ100に送信される。
【0130】
また、第4領域に仮想参加が許可された視聴者ユーザーは、視聴者端末300のタッチパネルやキーボードやコントローラを使用して、移動操作、視点方向の変更操作、視点状況(ズーム)の変更操作、手を挙げる操作、手をたたく操作、跳ねる操作等の各種の操作を行うことで、視聴者アバターに対応する動作をさせることができる。そして、これら各操作のうち、視聴者アバターの動作に関係する操作にもとづいて視聴者アバター情報が生成されて配信用サーバコンピュータ100に送信される。
【0131】
尚、第3領域に仮想参加している視聴者ユーザーも、移動や視点状況(ズーム)の変更操作、手を挙げる操作、手をたたく操作、跳ねる操作等の各種の操作を、コントローラ等を使用して実行することができ、この場合、各動作に対応したメニュー項目が表示され、該各動作に対応したメニュー項目を、コントローラ等を使用して選択することができる。
【0132】
このように、視聴者端末300においては、視聴者アバターに行わせる各動作に対応した操作を受付けるアバター動作操作処理が実行される。尚、アバター動作操作処理においては、上記した各動作に対応したメニュー項目の表示や消去等の処理も含まれている。
【0133】
このようにして演者端末200から送信される演者アバター情報や視聴者端末300から送信される視聴者アバター情報にもとづいて、配信用サーバコンピュータ100は、仮想空間データを更新する仮想空間更新処理を実行することで、仮想ライブ会場に仮想参加している各アバターに演者ユーザーの動作や視聴者ユーザーの動作(操作)を反映させる。
【0134】
そして、更新前の仮想空間データと更新後の仮想空間データとにもとづいて仮想空間更新データを生成する仮想空間更新データ生成処理を実行した後、該生成した仮想空間更新データを演者端末200と視聴者端末300とに配信する。
【0135】
仮想空間更新データが配信された演者端末200と視聴者端末300においては、
図10に示すように、配信されてきた仮想空間更新データにもとづいて、事前記憶されている仮想空間データが更新されるとともに、該更新された仮想空間データを使用した演者視点映像生成処理や視聴者視点映像生成処理が実行されることで、更新された仮想空間データにもとづく演者視点映像や視聴者視点映像が生成されて、該生成された演者視点映像や視聴者視点映像が演者端末200と視聴者端末300において表示される(視聴者視点映像出力処理)。
【0136】
このように、本実施例1では、視聴者アバターにより仮想ライブ会場に仮想参加している各視聴者ユーザーの視点映像は、各視聴者ユーザーの視聴者端末300側で生成されて表示されることで、これら各視聴者ユーザーの視聴者アバター視点映像を配信用サーバコンピュータ100で生成することにより配信用サーバコンピュータ100の処理負荷が著しく大きくなって、多くの視聴者ユーザーが仮想ライブに参加できなくなってしまうことを回避できるとともに、処理負荷が増大することによって配信が困難となってしまうことを回避できるようになっている。
【0137】
本実施例1では、仮想ステージG上の演者アバター1に近い第3領域にて仮想参加している視聴者アバター13の視聴者ユーザーの視聴者端末300の表示装置310には、
図13(d)に示すように、演者アバター1に近い視聴者アバター13から見た視点映像である演者アバター1のほぼ正面が大きく表示される視点映像が生成されて表示される一方、仮想ステージG上の演者アバター1から遠い第4領域であって、例えば、視聴者アバター13の後方位置において仮想参加している視聴者アバター28の視聴者ユーザーの視聴者端末300の表示装置310には、
図13(e)に示すように、演者アバター1から遠い視聴者アバター28から見た視点映像である、第3領域にて仮想参加している視聴者アバター13や視聴者アバター14越しに、演者アバター1のほぼ正面が相対的に小さく見える視点映像が表示される。
【0138】
また、上面視コ字状に設定されている第4領域の仮想ステージGの端側位置において仮想参加している視聴者アバター32の視聴者ユーザーの視聴者端末300の表示装置310には、
図13(f)に示すように、演者アバター1の斜め前方位置の視聴者アバター32から見た視点映像である、第3領域にて仮想参加している視聴者アバター14越しに、演者アバター1が相対的に小さく見える視点映像が表示される。
【0139】
尚、
図13に示す表示例は、いずれも、視聴者端末300が据置型のコンピュータ(PC)であって表示装置310が、据置型のディスプレイである場合を例示しているが、例えば、視聴者端末300がスマートフォンPやタブレット等である場合には、仮想カメラC1の視点映像の場合には、
図14(a)に示すように表示されるとともに、該視聴者端末300が視聴者アバター13の視聴者端末300である場合には、
図14(b)に示すように表示される。
【0140】
次に、音声系について説明すると、配信用サーバコンピュータ100においてタイムテーブルデータ(TTデータ)112にもとづいて楽曲データ113が音声制御プログラム124によって再生され、再生楽曲(データ)として演者端末200に送信される(楽曲再生処理)。
【0141】
演者端末200においては、配信用サーバコンピュータ100から送信された再生楽曲(データ)による楽曲音声が、演者ユーザーが装着している高機能イヤホン(イヤモニ)を通じて該演者ユーザーに対して出力されるとともに(再生楽曲出力処理)、該出力された再生楽曲に合わせて演者ユーザーが歌唱することで、集音マイク(音声入力装置222)から入力される演者音声がデータ化されて演者音声(データ)として配信用サーバコンピュータ100に送信される。
【0142】
配信用サーバコンピュータ100は、演者端末200から受信した演者音声(データ)による演者音声と前述した楽曲再生処理にて再生した再生楽曲とから配信音声(データ)を生成し(配信音声生成処理)、該生成した配信音声(データ)を視聴者端末300に配信する(生成音声配信処理)。
【0143】
視聴者端末300では、配信用サーバコンピュータ100から配信された配信音声(データ)により配信音声が、イヤホンやスピーカー等の音声出力装置322から出力されることで、視聴者は、あたかも仮想ライブ会場において演者アバター1が歌唱しているようにライブ音声を聞くことができる。
【0144】
尚、演者端末200においては、上記したように、演者音声(データ)が配信用サーバコンピュータ100に送信されるとともに、
図10に示すように、モニター音声生成処理とモニター音声出力処理とが実行されることにより、調整室に配置されているスピーカーから再生楽曲の楽曲音声と演者音声とが出力されることで、演者ユーザーの歌唱の状況等を補助オペレータO等が調整室において確認することができるようになっている。
【0145】
<視聴者用視点映像制御処理>
次に、視聴者端末300において、視聴者用プログラムに含まれる視聴者用視点映像制御プログラムにもとづいて実行される視聴者用視点映像制御処理について、
図20を用いて説明する。
【0146】
視聴者用視点映像制御処理においては、先ず、演者アバター1が
図19に示すように、仮想飛翔するフライング演出期間中であるか否かを判定する(ステップS1)。フライング演出期間中であるか否かは、配信用サーバコンピュータ100から、フライング演出期間中であることを示す演出状態データによって特定することができる。尚、配信用サーバコンピュータ100は、タイムテーブルデータ(TTデータ)112にもとづいてフライング演出期間となるときに、視聴者端末300に対してフライング演出期間中であることを示す演出状態データを送信する。
【0147】
フライング演出期間中である場合(ステップS1でY)は、ステップS21に進む一方、フライング演出期間中でない場合(ステップS1でN)は、視点の移動操作(アバターの移動操作や動作操作による視点の変更を含む)やズーム操作を含む視点関係操作が無効とされているか否かを判定する(ステップS2)。
【0148】
視点関係操作が無効とされている場合(ステップS2でY)は、ステップS7に進む。視点関係操作が無効とされていない場合(ステップS2でN)は、アバターの移動操作や動作操作等の視点が変化する操作が有るか否かを判定し(ステップS3)、操作がある場合(ステップS3でY)は操作に応じて視聴者視点を変更し、操作がない場合(ステップS3でN)は、ステップS5に進んで、ズーム操作があるか否かを判定する(ステップS5)。
【0149】
ズーム操作がある場合(ステップS5でY)は、表示装置310に表示されている映像領域を操作に応じた映像領域に変更し、ズーム操作がない場合(ステップS5でN)は、動作追随設定の有無を判定する(ステップS7)。
【0150】
この動作追随設定は、視聴者ユーザーが、自身が操作に使用するデバイスの種類や、操作についての習熟度に応じて、視聴者端末300において、例えば、ライブ開始前やライブ中に、任意に設定することができる。具体的には、例えば、使用するタッチパネル、キーボード、ゲームコントローラ等の操作入力装置321の操作に慣れていない場合や、アバターの移動操作や動作操作による視点の変更に慣れていない場合、後述するように、自身の視聴者アバターの仮想参加位置が演者アバター1から遠く、ズームアップで拡大表示していることで、演者アバター1の少しの動作でも演者アバター1が適切に表示されなくなってしまう等、演者アバター1の移動や動作に対応して視点を上手く変更できない場合等に設定される。
【0151】
動作追随設定がない場合(ステップS7でN)は、ステップS11に進む一方、動作追随設定がある場合(ステップS7でY)は、更に、動作追随条件が成立したか否かを判定する(ステップS8)。
【0152】
動作追随条件とは、本実施例1においては、表示装置310において演者アバター1が良好に表示されなくなることがほぼ確実である条件としており、具体的には、演者アバター1の頭部(顔でもよい)が、表示装置310の表示領域の周辺における所定範囲内に入っている場合には、演者アバター1の移動や動作によって表示領域外に頭部(顔)が移動して良好に表示されなくなってしまう可能性が著しく高いことから、動作追随条件が成立したものと判断するようにしている。
【0153】
このように、本実施例1では、演者アバター1の頭部(顔)が表示領域に表示されなくなる前に動作追随条件が成立したと判断することで、演者アバター1の頭部(顔)が表示領域に表示されなくなってしまうことを大幅に低減できるようにしているが、本発明はこれに限定されるものではなく、これら動作追随条件を、表示領域外に頭部(顔)が移動したことを条件としてもよいし、これら以外の条件を動作追随条件としてもよい。つまり、これら動作追随条件としては、演者アバター1が表示領域に良好に表示されなくなってしまうことを防ぐことができる条件であれば、任意の条件を使用することができる。
【0154】
動作追随条件が成立した場合(ステップS8でY)は、視点関係操作を無効化した後(ステップS12)、表示装置310の表示領域に表示される視点映像として、演者アバター1の頭部(顔)が表示領域の周辺における所定範囲に囲まれた非成立範囲内となる動作追随視点に視点が自動的に変更されて、該動作追随視点から見た視点映像が表示装置310の表示領域に表示される(ステップS13)。
【0155】
一方、動作追随条件が成立していない場合(ステップS8でN)は、更に、視点関係操作が無効化されているか否かを判定し(ステップS9)、視点関係操作が無効化されている場合(ステップS9でY)は、無効化されている視点関係操作を有効化して(ステップS10)からステップS11に進み、視点関係操作が無効化されていない場合(ステップS9でN)はステップS10を経由することなくステップS11に進む。
【0156】
ステップ11では、動作追随設定が設定されていないこと、若しくは、動作追随条件が成立していないことにより、視聴者アバターの視点映像が表示装置310の表示領域に継続表示される(ステップS11)。
【0157】
また、前述したように、ライブにおいて演者アバター1が仮想飛翔するフライング演出期間となった場合は、ステップS1でYと判定されてステップS21に進み、フライング演出期間の開始タイミングであるか否かを判定する(ステップS21)。
【0158】
フライング演出期間の開始タイミングである場合(ステップS21でY)は、フライング演出期間の開始前において表示装置310の表示領域に表示されていた視聴者アバターの視点映像または動作追随視点映像に代えて、配信用サーバコンピュータ100から配信されるフライング視点映像を表示し(ステップS22)、その後、視点関係操作を無効化して(ステップS23)、ステップS1に戻る。
【0159】
尚、本実施例1では、フライング演出期間においては、全ての視聴者ユーザーの視聴者端末300に同一のフライング視点映像を表示することから、個々の視聴者ユーザーで異なる視聴者アバター視点映像のように、各視聴者端末300側でフライング視点映像を生成するのではなく、配信用サーバコンピュータ100側で生成して視聴者端末300に配信することで、視点の空中移動を伴うことで、視点映像の描画負荷が大きいフライング視点映像を、処理能力が低い視聴者端末300であっても、良好に表示できるようにしているが、本発明はこれに限定されるものではなく、これらフライング視点映像を、視聴者アバター視点映像と同様に、個々の視聴者端末300側で生成するようにしてもよい。
【0160】
一方、フライング演出期間の開始タイミングでない場合(ステップS21でN)は、更に、フライング演出期間の終了タイミングであるか否かを判定する(ステップS24)。
【0161】
フライング演出期間の終了タイミングであるか否かは、配信用サーバコンピュータ100から送信されるフライング視点映像のデータ中に含まれる終了を示すデータにもとづいて特定してもよいし、フライング視点映像とは異なる前述した演出状態データによって特定してもよい。
【0162】
フライング演出期間の終了タイミングでない場合(ステップS24でN)、つまり、フライング演出期間中である場合には、ステップS26に進んで、フライング視点映像を更新した後、ステップ1に戻る一方、フライング演出期間の終了タイミングである場合(ステップS24でY)は、視点関係操作を有効化した後(ステップS25)、ステップS11に進んで、フライング演出期間中に表示装置310の表示領域に表示していたフライング視点映像に代えて、視聴者アバターの視点映像を表示装置310の表示領域に表示した後、ステップS1に戻る。
【0163】
このように、本実施例1の視聴者端末300において
図20に示す視聴者用視点映像制御処理が実行されることによって視聴者端末300に表示される各視点映像を、
図16~
図19を用いて説明する。
【0164】
図16は、本実施例1の視聴者端末300においてズーム操作をした場合の表示装置310の表示内容を示す図であり、ズーム操作を何もしていないデフォルトの状態では、
図16(a)に示すように、演者アバター1の上半身を中心とした映像領域の視点映像が表示されている。このデフォルト状態において、視聴者ユーザーがズームアップ操作、例えば、視聴者端末300がスマートフォンPである場合であれば、「+」の表示(図示略)に触れる操作を行い、視聴者端末300がコンピュータ(PC)である場合であれば、キーボードの「+」キーを操作した場合は、例えば、
図16(b)に示すように、演者アバター1の頭部(顔)を中心とした映像領域の視点映像が表示される。
【0165】
一方、視聴者ユーザーがズームダウン操作、例えば、視聴者端末300がスマートフォンPである場合であれば、「-」の表示(図示略)に触れる操作を行い、視聴者端末300がコンピュータ(PC)である場合であれば、キーボードの「-」キーを操作した場合は、例えば、
図16(c)に示すように、演者アバター1の全身が含まれる映像領域の視点映像が表示される。
【0166】
尚、
図16では、ズームの機能を解り易くするために、視聴者アバターの視点ではなく、仮想カメラC1の視点映像を使用して説明したが、
図17に示すように、視聴者アバターの視点についても同様にズームアップ、ズームダウンを行うことができる。
【0167】
また、
図20の視聴者用視点映像制御処理においては、詳述していないが、例えば、ライブが開始されるときに、演者アバター1が仮想ステージGに初めて登場する場合は、視聴者アバターの視点が演者アバター1に向いていないことから、登場する演者アバター1が視聴者端末300に表示されない期間が長くなってしまう可能性があるので、このように、演者アバター1が最初に登場する期間等を登場演出期間等とし、これらの演出期間において、視聴者端末300に表示される視点映像を、聴者アバターの視点映像ではなく、仮想カメラC1の視点映像等に自動的に切り替えて表示するとともに、これら仮想カメラC1の視点映像においてもズームアップ等を、個々の視聴者ユーザーが実行できるようにしてもよい。
【0168】
図17は、視聴者アバターの視点映像の例として、第4領域に仮想参加している視聴者アバター28の視点映像を示している。
図17に示すように、視聴者アバター28の視点映像には、第3領域に仮想参加している視聴者アバター13と視聴者アバター14の頭部が含まれており、これら視聴者アバター13と視聴者アバター14の頭部越しに演者アバター1を見る映像となる。
【0169】
このため、視聴者アバター28の視聴者ユーザーは、例えば、ズームアップ操作を行って、
図17(b)に示すように、演者アバター1の上半身が中心的に表示される映像領域に変更することで、視聴者アバター13と視聴者アバター14が表示されないようにして、ライブを楽しむことができる。
【0170】
但し、
図17(b)に示すようにズームアップした状態においては、例えば、ライブが進行して演者アバター1が移動したり大きく動作するようになると、これら演者アバター1の動作に合わせて視聴者アバター28の視点を視聴者ユーザーが上手く変更することができないと、
図18(d)~(f)に示すように、演者アバター1が良好に表示されない状態となる場合があるため、視点の操作に注意を払うことによって、ライブに集中することが難しくなってしまい、ライブを良好に楽しむことができなくなる場合がある。
【0171】
しかし、本実施例1では、上記のように、視聴者ユーザーが動作追随設定を行った場合には、
図18(a)~(c)に示すように、演者アバター1の頭部が表示領域の周辺所定領域内に入ることで動作追随条件が成立して視点が自動的に動作追随視点に変更され、該動作追随視点の視点映像が表示されるようになるため、視聴者ユーザーは、視点の操作に注意を払う必要がなくなるので、ライブに集中できることで良好にライブを楽しむことができるようになる。
【0172】
そして、ライブが進行してフライング演出期間となると、
図19に示すように、個々の視聴者アバターの視点映像から空中移動仮想カメラから見たフライング視点映像に、視聴者ユーザーが操作しなくても自動的に変更される。
【0173】
具体的には、演者アバター1が仮想飛翔をする前に、羽根のオブジェクトが演者アバター1の背中において大きくなる映像が表示される。そして、演者アバター1が仮想ライブ会場の第2領域に仮想配置されている星の仮想空中オブジェクト50を見あげるようにすることで視聴者アバターの視点も同様に移動する。このとき、演者アバター1の周囲には、光のエフェクト61が出現する。
【0174】
その後、演者アバター1が仮想飛翔に移ると、表示装置310に表示される視点映像は、
図19(b)までの視聴者アバターの視点映像から、
図19(c)に示すように、空中移動仮想カメラから見たフライング視点映像に自動的に切り替わる。
【0175】
そして、フライング演出期間において空中移動仮想カメラは、前述したように、予め設定された空中軌道にもとづいて第2領域内を空中移動し、これら空中移動する空中移動仮想カメラから見たフライング視点映像が、
図19(d)に示すように表示装置310に表示される。
【0176】
<実施例1の変形例>
上記実施例1では、視聴者アバターは、仮想参加している第3領域内または第4領域内を自由に移動できる形態を例示したが、このようにすると、例えば、第4領域に参加している異なる視聴者アバター同志が仮想衝突することや同一仮想位置に重複することによって、仮想空間データにエラー等が生じてしまう等の問題が生じる可能性がある。
【0177】
このような問題を解消するために、例えば、
図21、
図22に示す変形例1-1に示すようにしてもよい。具体的には、第3領域や第4領域を
図21に示すように細かな領域に区切るとともに、これらの領域のうちのどの領域にて仮想ライブに仮想参加するのかを、
図22に示すように、仮想ライブの事前参加受付け時(仮想参加予約時)や仮想ライブの仮想参加時等において視聴者ユーザーから受付けて、視聴者ユーザーが視聴者アバターで仮想参加する場合には、事前に選択した領域においてだけ参加が可能となるともに、該選択した領域内だけで移動できるように制限(禁止)することで、視聴者アバター同志が仮想衝突したり同一仮想位置に重複することによって仮想空間データにエラー等が生じてしまうことを防ぎつつ、視聴者アバターの移動が過度に制限されてしまうことも防ぐことができる。
【0178】
これら移動の制限(禁止)としては、具体的には、例えば、
図21における「H5」の領域を仮想参加位置として選択した視聴者ユーザーの場合には、「H5」の周囲の領域である「G4~G6」や「H4」、「H6」、「I4~I6」の各領域への移動する操作を行った場合に、視聴者端末300において該移動が移動禁止領域への移動と判定されることで、例えば、「移動可能範囲を超えているため指示位置へは移動できません。」の警告表示が、視聴者端末300において表示されることによって該移動が制限(禁止)される一方、「H5」の領域内における移動に関しては、該警告表示が表示されずに移動が許可されることで、視聴者ユーザーは、仮想参加した「H5」の領域内において視聴者アバターを移動できるようにすればよい。
【0179】
尚、これら移動を禁止する範囲については、上記した仮想参加した範囲に限定されるものではなく、例えば、仮想ライブに複数の人数のグループで仮想参加していて、仮想参加している位置が隣接しているような状況については、グループであることを示す情報にもとづいて、これらグループで参加している視聴者アバターが仮想参加している範囲については、移動可能範囲とするようにしてもよい。
【0180】
また、上記した実施例1では、一般動作(第1動作)を、演者アバター1が仮想ステージGに移動せずに立っている動作とし、特別動作(第2動作)を、演者アバター1が仮想飛翔を行っている動作とし、特定動作(第3動作)を、演者アバター1が横方向に急移動する動作とした形態を例示しているが、本発明はこれに限定されるものではなく、配信するコネテンツに応じた動作であってよく、例えば、一般動作(第1動作)は、配信されるコンテンツにおいて、演者アバターが最も多くの期間に亘って実行している動作(通常動作)としてもよく、特別動作(第2動作)を、配信されるコンテンツにおいて、最も短い期間である特別期間において実行している動作や最も頻度が少ない動作とし、特定動作(第3動作)を、一般動作(第1動作)よりも実行される期間が短いが特別動作よりも実行されている期間が長い動作や一般動作(第1動作)よりも実行される頻度が少ないが特別動作よりも実行される頻度が多い操作としてもよい。尚、特別動作(第2動作)が、特定動作(第3動作)を含む場合があってもよい。
【0181】
また、上記した実施例1では、特別動作(第2動作)に対応した視点への切替機能と、特定動作(第3動作)に追随する追随機能と、の双方の機能を有している形態を例示したが、本発明はこれに限定されるものではなく、これらのいずれか一方の機能のみを有する仮想空間コンテンツ配信システムであってもよい。
【0182】
上記した実施例1では、視聴者ユーザーの視点を、演者アバターの動作に応じて変更、追随させる形態を例示したが、本発明はこれに限定されるものではなく、例えば、これら視点の変更、追随を、仮想ステージGにおける演出物であるスモークや花火(火柱)の仕掛け、特殊なライティング、仮想ステージGの変形等の特定の演出に応じて実行するようにしてもよい。
【0183】
尚、上記した各変形例は、実施例1の変形例として記載しているが、実施例1だけではなく、後述する実施例2にも適用可能である。
【0184】
【実施例2】
【0185】
次に、実施例2の仮想空間コンテンツ配信システムについて、
図23~
図32を用いて以下に説明する。尚、実施例1と同一の構成については、同一の符号を付して説明を省略する。
【0186】
実施例2の仮想空間コンテンツ配信システムの構成は、
図1に示す実施例1の構成と同一であるが、仮想ライブにおける一部期間において、所定条件を満たした視聴者ユーザーが参加可能な視聴者参加演出が実行される点が本実施例2の特徴部分である。
【0187】
図23は、実施例2の仮想空間コンテンツ配信システムにおいて配信される仮想ライブの進行内容を示す図である。実施例2の仮想ライブは、まず、仮想ライブの開始前の期間として、「ライブ仮想空間参加可能期間」と「開演前説」の期間とが設けられていて、視聴者ユーザーは、該ライブ仮想空間参加可能期間において仮想ライブの対象の仮想空間である仮想ライブ会場に仮想参加することができる。
【0188】
尚、「開演前説」の期間の終了間際に設定されている事前データDL終了タイミングまでの期間は、事前データダウンロード(DL)期間とされていて、
図10に示すように、視聴者端末300において視聴者アバター視点映像を的確に生成できるように、ライブ仮想空間参加可能期間中に仮想参加した視聴者ユーザーの視聴者端末300に対して、仮想ライブ会場の仮想空間データ(基本データ)、演者アバター1のアバターデータ、並びに仮想参加した他の視聴者ユーザーのアバターデータ等が、事前データとして配信用サーバコンピュータ100からダウンロード(DL)されるようになっている。
【0189】
実施例2の「開演前説」の期間においては、当該仮想ライブについての説明等がビデオ映像等によって紹介される。よって、これら「開演前説」の期間中においても事前データをダウンロード(DL)可能な期間とすることで、ライブ仮想空間参加可能期間において終了間際に仮想参加した視聴者アバターのアバターデータについても、各視聴者端末300が配信用サーバコンピュータ100からダウンロード(DL)することができるようになっている。
【0190】
実施例2の仮想ライブは、
図23に示すように、「開演演出」→「第1MC」→「第1演目」→「第2MC」→「第2演目」…「第nMC」→「第n演目」…「最終演目」→「エンディングMC」→「エンディング演出」のように進行していき、仮想ライブの終了後において各視聴者アバターが仮想ライブ会場から退場するためのライブ仮想空間退場期間が設けられている。
【0191】
「開演演出」は、仮想ステージGに演者アバター1が登場する演出である。「第1MC」は、仮想ステージGに登場した演者アバター1が、トークによって視聴者に対して挨拶を行うとともに、最初に上演する第1演目についての紹介を行う。「第1演目」は、演者アバター1(演者)の歌唱とダンスとを含むとともに、途中に、仮想ライブ会場を仮想飛翔する演者アバター1を空中移動仮想カメラから仮想撮像した映像による第1特別演出である実施例1のフライング演出を含む演目である。
【0192】
「第2MC」は、演者アバター1(演者)がトークによって、主に、第2演目についての紹介を行う。同様に「第nMC」等の各MCにおいては、終了した演目についての演者アバター1の感想や、演者アバター1によって各MC後に上演される各演目についての紹介が行われる。「第2演目」は、「第1演目」と同様に、演者アバター1(演者)の歌唱とダンスとを含む。
【0193】
このように、仮想ライブは、演者アバター1(演者)による歌唱とダンスとを含む各演目の間に、演者アバター1(演者)がトークによって各演目についての紹介等を行うMC期間を有する構成とされていて、これら進行のスケジュールや種々の各MCや各演目の開始タイミング等の各タイミングが、実施例1と同様に、タイムテーブルデータ(TTデータ)112に記述されていることで、管理されている。
【0194】
実施例2の「第n演目」の演目期間中においては、
図23に示すように、視聴者アバターが参加可能な視聴者参加演出として第2特別演出が実行される。
【0195】
この第2特別演出では、仮想ライブにおいて購入可能な仮想アイテムであるケミカルライトK(以下、ケミライトKと略称する)を、個々の視聴者ユーザーが所有している所有ポイントを使用して事前購入することで視聴者アバターが行うことが可能とされるケミライト動作(ケミライトKを左右に振る動作)をしている視聴者アバターの映像が、
図25に示すように、仮想ステージ壁の前面に仮想設置されている仮想ディスプレイ41、42に映像として表示されることで、視聴者アバター(視聴者ユーザー)が、参加することができる演出とされている。
【0196】
尚、
図25においては、第3領域に参加している視聴者アバターがケミライト動作をしている状態を示しているが、簡略表示と記載している第4領域に参加している視聴者アバターについても、第3領域に参加している視聴者アバターと同様に、ケミライトKを事前購入することで、ケミライト動作を行うことができる。
【0197】
また、最終演目の終了後には、演者アバター1(演者)がトークによって視聴者ユーザーに対して挨拶等を行うエンディングMCが実行され、該エンディングMCの期間中において視聴者アバターが参加可能な視聴者参加演出として第3特別演出が実行される。
【0198】
実施例2の第3特別演出では、仮想ライブにおいて購入可能な仮想アイテムであるプラカードPKや演者アバター1の画像入りTシャツTSを事前購入した視聴者アバターの映像が、
図27に示すように、視聴者ユーザーが所定操作を行うことによって仮想ディスプレイ41、42に表示されることで、視聴者アバター(視聴者ユーザー)が、参加することができる演出とされている。
【0199】
エンディングMCが終了すると、演者アバター1(演者)が仮想ライブ会場(仮想ステージG)から退場するエンディング演出が実行されて仮想ライブが終了する。尚、仮想ライブの終了後においては、仮想ライブに参加した視聴者ユーザーが仮想ライブ会場から退場するためのライブ仮想空間退場期間が設けられている。
【0200】
尚、実施例2の仮想ライブ会場には、上記した第2特別演出や第3特別演出において視聴者アバターの映像を仮想撮像するための仮想カメラC5、C6が、仮想カメラC2に近い座標位置に設けられており、該仮想カメラC5、C6からの視点映像が第2特別演出や第3特別演出において仮想ディスプレイ41、42に表示される。
【0201】
これら仮想カメラC5、C6のうち、仮想カメラC5が仮想ディスプレイ41に主に対応し、仮想カメラC6が仮想ディスプレイ42に主に対応していて、仮想カメラC5の視点映像が仮想ディスプレイ41に主に表示され、仮想カメラC6の視点映像が仮想ディスプレイ42に主に表示される。このように、実施例2では、仮想ディスプレイ41に対応して複数である2つの仮想カメラC5、C6を設けた形態を例示しているが、本発明はこれに限定されるものではなく、仮想カメラC5を1つのみとした形態や、視聴者アバターの位置に応じた3以上の仮想カメラを設けた形態としてもよい。
【0202】
図28は、実施例2の配信用サーバコンピュータ100に記憶されている参加者ユーザーテーブルを示す図である。
【0203】
参加者ユーザーテーブルは、
図7に示すイベントデータに登録されている個々の仮想ライブイベントにおいて、仮想ライブへの視聴者ユーザーの参加状況や仮想アイテムの購入状況等を特定できるようにするために使用されるデータテーブルであって、
図28に示すように、参加者ID(視聴者ユーザーID)に対応付けて、当該視聴者ユーザーの参加状態を特定可能な参加識別データ(参加識別フラグ)と、当該視聴者ユーザーの参加エリア(参加の場合のみ)と、参加者(視聴者ユーザー)の視聴者アバターがその時点において存在している仮想ライブ会場における位置を特定可能な参加者座標と、仮想アイテムであるケミライトKの購入の有無を特定可能な購入アイテム1のデータと、仮想アイテムであるプラカードPKの購入の有無を特定可能な購入アイテム2のデータと、仮想アイテムであるTシャツTSの購入の有無を特定可能な購入アイテム3のデータと、第2特別演出への参加条件となる抽選における当選の有無を特定可能な抽選結果のデータ等が記憶可能なテーブルである。
【0204】
参加者IDの項目には、イベントデータにおいて、当該仮想ライブに対応して記憶されている各参加者グループのファイルに記述されている参加予定者の視聴者ユーザーIDが全て登録される。また、参加識別データ(参加識別フラグ)は、参加者ID(視聴者ユーザーID)の登録時において、非参加状態に対応する「0」が登録されており、ライブ仮想空間参加可能期間において各参加者(視聴者ユーザー)の参加が認証によって許可されたときに、参加を示す「1」に更新される。よって、
図34(A)に示す例において、参加識別データ(参加識別フラグ)が「0」となっている「MID-00007」の視聴者ユーザーは、何らかの理由で仮想ライブに参加していないことを特定することができる。
【0205】
参加エリアのデータは、各参加者(視聴者ユーザー)の参加エリアが、第3領域であるのか、第4領域であるのかを特定可能なデータとされており、各参加者(視聴者ユーザー)の参加が認証によって許可されたときに、登録されるデータである。参加者座標のデータは、仮想空間更新処理において逐次更新されるデータであって、個々の参加者(視聴者ユーザー)の視聴者アバターが仮想ライブ会場内において位置している場所の座標データである。よって、該座標データから、個々の視聴者アバターがその時点において存在している仮想ライブ会場内の位置を簡便に特定することができ、仮想カメラC5、C6から個々の視聴者アバターを仮想撮像するための方向を容易に特定できるようになっている。
【0206】
購入アイテム1のデータは、ケミライトKの購入に応じて購入済みであることを示す「1」に、未購入を示す「0」からデータが更新される。よって、上述したように、購入アイテム1のデータが「1」の視聴者ユーザーの視聴者アバターだけが、ケミライト動作を行うなうことができ、これらケミライト動作の実行に対応した操作、例えば、視聴者端末300において表示される「ケミライト動作」に対応した動作項目の選択操作が実行されることに応じて、該操作の有効・無効が、購入アイテム1のデータにもとづいて配信用サーバコンピュータ100において判定される。
【0207】
同様に、購入アイテム2のデータは、プラカードPKの購入に応じて購入済みであることを示す「1」に、未購入を示す「0」からデータが更新される。購入アイテム3のデータは、TシャツTSの購入に応じて購入済みであることを示す「1」に、未購入を示す「0」からデータが更新される。これら購入アイテム2のデータと購入アイテム3のデータは、第3特別演出が実行されるときに視聴者ユーザーが、これら購入したプラカードPKやTシャツTSを使用した動作を実行することに対応する操作、例えば、視聴者端末300において表示される「プラカードPK」や「TシャツTS」に対応した動作項目の選択操作が実行されることに応じて、該操作の有効・無効が、購入アイテム2のデータ及び購入アイテム3のデータにもとづいて配信用サーバコンピュータ100において判定される。
【0208】
つまり、参加ユーザーテーブルにおいて購入アイテム1~3のデータが「1」であることは、第2特別演出や第3特別演出に必要となる仮想アイテムの購入に必要なポイント(価値)の支払い済みであることで、第2特別演出や第3特別演出において仮想ディスプレイ41、42に自身の視聴者アバターを表示させることに対するポイント(価値)の支払いが完了していることを示すデータである。
【0209】
尚、実施例2では、「プラカードPK」の対応操作によって視聴者アバターが行う動作は、
図26の視聴者アバター13が実行しているように、「プラカードPK」を掲げる操作だけではなく、例えば、後述する
図33に示す変形例2-1における視聴者アバター11が実行しているように、「プラカードPK」を胸に掲げる動作等のように、視聴者ユーザーが事前登録した視聴者アバターの性格情報等に応じた動作とされているが、本発明はこれに限定されるものではなく、これら「プラカードPK」の対応操作によって視聴者アバターが行う動作は、全ての視聴者アバターで1つだけの共通動作としてもよい。
【0210】
また、実施例2における「プラカードPK」は、上限文字数の範囲内で、購入した視聴者ユーザーが、文字を入力することでプラカード表面に記入できるようになっているが、本発明はこれに限定されるものではなく、これら表示される文言が予め決められて表記されているプラカードであってもよい。
【0211】
また、実施例2では、「TシャツTS」の対応操作によって視聴者アバターが行う動作は、
図26の視聴者アバター28や後述する
図33に示す変形例2-1における視聴者アバター12が行っているように、「TシャツTS」を着用した視聴者アバターが両手を挙げている動作とされている。
【0212】
尚、実施例2では、仮想ライブにおいて購入可能な仮想アイテムを、上記した3つのアイテムとした形態を例示しているが、本発明はこれに限定されるものではなく、仮想ライブにおいて購入可能な仮想アイテムが2以下(0を含む)であってもよいし、4以上であってもよい。
【0213】
また、実施例2では、上記した仮想アイテムを、配信用サーバコンピュータ100の処理負荷が比較的小さい仮想ライブの開始前の期間、つまり、視聴者ユーザーが仮想ライブ会場に参加してから仮想ライブが開始されるまでの期間において購入可能とされているが、本発明はこれに限定されるものではなく、仮想ライブ会場に参加する以前に可能としてもよいし、例えば、配信用サーバコンピュータ100とは個別に、仮想アイテムの購入に関する処理を行う専用のサーバコンピュータを設ける等によって配信用サーバコンピュータ100の処理負荷の増大を回避できる場合等にあっては、仮想ライブの開始後の期間においても可能としてもよい。
【0214】
また、仮想ライブにおいて購入可能なものは、仮想アイテムに限定されず、例えば、第3特別演出に参加するための参加権利や、第3特別演出に参加するための抽選に参加するための抽選参加権利等の権利アイテムを購入できるようにしてもよく、このような第3特別演出への参加権利を購入した場合は、「プラカードPK」の所持や「TシャツTS」の着用等をしていない、第3特別演出の実行時の視聴者アバターを仮想カメラC5にて撮像した映像を仮想ディスプレイ41、42に表示するようにすればよい。
【0215】
参加者ユーザーテーブルにおける抽選結果のデータは、第2特別演出において仮想ディスプレイ41、42に表示する視聴者ユーザーを選出する
図29に示す視聴者演出抽選処理によって更新されるデータであって、視聴者演出抽選処理によって当選者として抽出された視聴者ユーザーのデータが、非当選を示す「0」から当選を示す「1」に更新される。
【0216】
ここで、実施例2の配信用サーバコンピュータ100において実行される視聴者演出抽選処理について、
図29を用いて説明する。視聴者演出抽選処理においては、まず、視聴者演出抽選タイミングであるか否かを判定する(ステップS100)。
【0217】
尚、実施例2において視聴者演出抽選タイミングは、
図31に示すように、抽選の対象演出である第2特別演出が実行される第n演目の開始直前に実行される第nMCの開始タイミングとされており、このように配信用サーバコンピュータ100の処理負荷が演目期間中よりも相対的に小さい第nMCの期間とすることで、視聴者演出抽選処理の実行によって配信用サーバコンピュータ100の処理負荷が過大となってしまうことを防ぐことができるようになっているが、本発明はこれに限定されるものではなく、これら視聴者演出抽選処理の実行タイミングとしては、抽選の対象演出である第2特別演出が実行される前であって、配信用サーバコンピュータ100の処理負荷が過大とならないタイミングであればよい。
【0218】
第nMCの開始タイミングとなった場合には、視聴者演出抽選タイミングであると判定されることで(ステップS100でY)、抽選条件を満たす参加者ユーザー、つまり、仮想ライブに参加中の視聴者ユーザーであって、ケミライトKを購入することで、購入アイテム1のデータが「1」となっている視聴者ユーザーの視聴者ユーザーIDを、参加者ユーザーテーブルから全て抽出して抽選対象者として設定する(ステップS101)。
【0219】
そして、設定した視聴者ユーザーIDの中から、予め設定されている当選者数の視聴者ユーザーIDをランダムに選出することで、抽選対象者から当選者を決定し、選出した視聴者ユーザーIDに対応付けて参加者ユーザーテーブルに登録されている抽選結果のデータを、「0」から「1」に更新することで、抽選結果を参加者ユーザーテーブルに登録する(ステップS102)。
【0220】
次に、第2特別演出において視聴者ユーザーの映像が仮想ディスプレイ41、42に表示される流れについて、
図30を用いて以下に説明する。尚、
図30は、第2特別演出において、配信用サーバコンピュータ100と視聴者端末300とで実行される処理と送受される情報とを示す説明図である。
【0221】
実施例2の仮想ライブにおいて、第n演目中に第2特別演出が開始されると、配信用サーバコンピュータ100は、参加者ユーザーテーブルに登録されている抽選結果のデータにもとづいて、視聴者演出抽選処理において当選した視聴者ユーザーを特定し、該特定した当選した視聴者ユーザーの中から第2特別演出に参加する演出対象者を決定する。
【0222】
尚、以下の説明では、重複する説明を省くため、仮想ディスプレイ41を例に説明し、仮想ディスプレイ42については括弧書きにて示すものとする。
【0223】
次に、決定した演出対象者(視聴者ユーザー)が使用している視聴者端末300に対して、仮想ディスプレイ41(42)に表示する視聴者画像の表示に対応した動作であるケミライト動作を視聴者アバターに行わせるための所定操作である、ケミライト動作の動作項目に対する選択操作の実行を指示する所定操作指示情報を送信する。
【0224】
このようにして送信された所定操作指示情報の受信に応じて視聴者端末300は、所定操作指示表示、具体的には、ケミライト動作の動作項目の選択操作を指示する指示表示を表示する。
【0225】
そして、該指示表示を開始してから所定期間(例えば、5秒)において、ケミライト動作の動作項目の選択操作の有無を特定し、所定期間における当該選択操作の実行の有無を特定可能な所定操作特定情報を配信用サーバコンピュータ100に送信する。尚、所定操作特定情報は、所定期間が経過する前に、ケミライト動作に対応した上記した操作が実行された場合には、実行されたタイミングで操作が実行されたことを特定可能な所定操作特定情報が送信され、ケミライト動作に対応した上記した操作が実行されなかった場合には、所定期間が経過したタイミングで、ケミライト動作に対応した上記した操作が実行されなかったことを特定可能な所定操作特定情報が送信される。
【0226】
尚、ケミライト動作に対応した上記した操作が実行されたときには、
図10に示すように、該操作がアバター動作操作として受付けられて、視聴者アバターにケミライト動作を行わせるための視聴者アバター情報も、配信用サーバコンピュータ100に送信される。
【0227】
一方、所定操作指示情報を送信した配信用サーバコンピュータ100は、演出対象者(視聴者ユーザー)のアバターデータを特定するともに、該演出対象者(視聴者ユーザー)の視聴者アバターが参加している位置(座標)を参加者ユーザーテーブルから特定しておく。
【0228】
このように、演出対象者(視聴者ユーザー)のアバターデータを事前に特定して利用できるようにしておくのは、演出対象者(視聴者ユーザー)が、後述する第3特別演出において示す視聴者アバター25のように、例えば、仮想カメラC2~C4等の視点映像において簡易化されていない通常視聴者アバターではなく、アバターの体型等が簡易化された簡略視聴者アバターで表示されている場合が有り得るため、これら簡略視聴者アバターではなく、通常視聴者アバターによるケミライト動作の映像を仮想ディスプレイ41(42)に迅速に表示できるようにするためである。
【0229】
また、視聴者アバターが参加している位置(座標)についても、仮想カメラC5(C6)により撮像する方向を事前に特定することで、視聴者アバターによるケミライト動作の映像を仮想ディスプレイ41(42)に迅速に表示できるようにするためである。
【0230】
視聴者端末300から送信された所定操作特定情報の受信に応じて配信用サーバコンピュータ100は、受信した所定操作特定情報からケミライト動作に対応した上記した操作(所定操作)の実行の有無を特定し、該操作の「実行無し」を特定した場合には、次の演出対象者を、視聴者演出抽選処理において当選した視聴者ユーザーの中から新たに決定して上記した所定操作指示情報の送信に関する処理を繰り返す。
【0231】
一方、操作の「実行有り」を特定した場合には、演出対象者の参加位置に対応する仮想カメラである仮想カメラC5(C6)から視聴者アバターが参加している位置(座標)を見た視点映像である、ケミライト動作を行う視聴者アバターの映像を生成し、該生成した映像を仮想ディスプレイ41(42)に表示する。
【0232】
尚、上記において生成される仮想カメラC5(C6)から見た視点映像には、対象の視聴者アバター以外の他の視聴者アバターも含まれることになるが、この実施例2では、
図25に示すように、他の視聴者アバターが星のエフェクト映像によって省かれた映像、つまり、ケミライト動作を行っている対象の視聴者アバターと星のエフェクトを含む映像が生成されることで、他の視聴者アバターが仮想ディスプレイ41(42)に表示されてしまうことによる不都合の発生、例えば、視聴者ユーザーによっては、自分のアバターをあまり公開したくない視聴者ユーザーもいるので、このような視聴者ユーザーの心証を害してしまう等の不都合の発生を防ぐとともに、対象の視聴者アバターの視聴者ユーザーの特別感を高めることができるようになっている。
【0233】
つまり、ケミライトKを購入した視聴者ユーザーは、視聴者アバターにケミライト動作を行わせることが可能ではあるが、第2特別演出において全ての視聴者ユーザーが当該演出に参加できるものではないので、演出対象者(視聴者ユーザー)に決定された視聴者ユーザーの視聴者アバターが、何ら動作をすることなく仮想ディスプレイ41、42に表示されてしまうと、第2特別演出の興趣が低下してしまう畏れがあるため、視聴者映像を生成する前に、事前に所定操作指示情報を送信することで、視聴者ユーザーにケミライト動作の動作項目の選択操作(所定操作)を実行させることで、ケミライト動作を行っている視聴者アバターの映像を仮想ディスプレイ41、42に表示することで、第2特別演出の興趣が低下してしまうことを防ぐことができる。
【0234】
尚、
図30には図示していないが、実施例2においては、仮想ディスプレイ41(42)にて、1の演出対象者の視聴者アバターの映像が表示される期間は上限期間が設定されており、上限期間が経過すると、次の演出対象者が選定されて次ぎの演出対象者の視聴者アバターの映像が表示されていくことで、
図32において、1→2→3→4→5…と記載されているように、第2特定演出の期間中において、複数のケミライト動作を行う視聴者アバターの映像が表示される。
【0235】
また、実施例2では、
図30に示す流れを、仮想ディスプレイ41と、仮想ディスプレイ42とで個別に実行するようにすることで、仮想ディスプレイ41と仮想ディスプレイ42とに、異なる視聴者アバターの映像が表示されるようにすることで、より多くの視聴者アバターが第2特別演出に参加できるようにしているが、本発明はこれに限定されるものではなく、これら仮想ディスプレイ41と仮想ディスプレイ42とに、同じ視聴者アバターの映像を表示するようにしてもよい。
【0236】
図32(A)は、第2特別演出が実行される第n演目における仮想ディスプレイ40、41、42の表示内容の変化を示す説明図であり、第2特別演出が開始されるまでの第n演目中においては、仮想ディスプレイ40、41、42には、全て、演者アバター1に関係する星のエフェクト映像が演出映像として表示される。
【0237】
第2特別演出が開始されると、仮想ステージGの中央の仮想ディスプレイ40には、
図25に示すように、「いつもありがとう」のメッセージを含む感謝映像が表示されるとともに、仮想ディスプレイ41、42には、ケミライト動作を行う視聴者アバターの映像が表示される。尚、第2特別演出においては、仮想ディスプレイ41、42に1の視聴者アバターの映像だけが継続して表示されるのではなく、視聴者アバターが順次変更されることで、複数の視聴者アバターの映像が表示される。
【0238】
そして、第2特別演出が終了したタイミングでは、仮想ディスプレイ40においては、感謝映像の表示が終了して、再度、演出映像の表示が開始され、仮想ディスプレイ41、42においては、視聴者アバターの映像の表示が終了して、再度、演出映像の表示が開始される。これら仮想ディスプレイ41、42に表示される映像は、仮想空間更新データに反映されることで、視聴者アバター視点映像においても反映される。
【0239】
つまり、配信用サーバコンピュータ100は、第2特別演出が終了したタイミングとなったか否かをタイムテーブルデータ(TTデータ)112に記述されたタイムスケジュールによって判定し、第2特別演出が終了したタイミングとなったときには、仮想ディスプレイ41、42における視聴者アバターの映像表示を消去し、演出映像の表示を開始する処理を実行する。
【0240】
尚、実施例2では、第2特別演出が終了したタイミングとなった場合にエフェクト映像等の演出映像を再度表示する形態としているが、これら演出映像ではなく、視聴者参加演出である第2特別演出において参加した視聴者ユーザーに向けた特定の演出に係わる特定映像を表示するようにしてもよい。
【0241】
次に、第3特別演出において視聴者ユーザーの映像が仮想ディスプレイ41、42に表示される流れについて、
図31を用いて以下に説明する。尚、第3特別演出は、上記した第2特別演出とは異なり、演出への参加には、抽選における当選が必要とされておらず、演出期間中における視聴者ユーザーの操作によって任意に参加することができる演出とされている。尚、第3特別演出においても第2特別演出と同じく、抽選を実施してもよい。
【0242】
実施例2の仮想ライブにおいて、エンディングMC中に第3特別演出が開始されると、配信用サーバコンピュータ100は、演出参加操作可能表示の表示指示情報を各視聴者端末300に対して送信する。
【0243】
配信用サーバコンピュータ100から送信(配信)された表示指示情報の受信に応じて視聴者端末300においては、演出に参加するための演出参加操作が可能である旨を報知する演出参加操作可能表示が所定期間(例えば、5秒)に亘って表示される。
【0244】
そして、演出参加操作可能表示が表示されている所定期間内に演出参加操作があった場合は、視聴者端末300を操作した視聴者ユーザーの視聴者ユーザーIDを含む演出参加操作情報が該視聴者端末300から配信用サーバコンピュータ100に送信される。
【0245】
尚、実施例2における演出参加操作としては、具体的には、仮想アイテムとしてプラカードPKを購入した視聴者ユーザーであれば、プラカードPKを掲げる動作に対応した動作項目の選択等の操作、仮想アイテムとしてTシャツTSを購入した視聴者ユーザーであれば、TシャツTSを着用して両手を挙げる動作に対応した動作項目の選択等の操作としているが、本発明はこれに限定されるものではなく、例えば、演出参加操作可能表示の期間において、購入した仮想アイテムに関係なく、「演出参加動作」の動作項目を表示して操作の受付けを行うようにしてもよい。
【0246】
演出参加操作情報の受信に応じて配信用サーバコンピュータ100は、受信した演出参加操作情報に含まれる視聴者ユーザーIDにもとづいて、当該視聴者ユーザーの参加資格の有無を判定する。
【0247】
これら参加資格の有無の判定として、具体的には、受信した演出参加操作情報に含まれる視聴者ユーザーIDに対応付けて参加者ユーザーテーブルに記憶されている購入アイテム2のデータ、購入アイテム3のデータのいずれかが、購入済みであることを示す「1」となっている場合には、参加資格が「有り」と判定し、購入済みでないことを示す「0」となっている場合には、参加資格が「無し」と判定する。
【0248】
参加資格が「有り」と判定した場合には、判定対象の視聴者ユーザーIDを、演出参加者として判定順に記憶したのち、該視聴者ユーザーID(視聴者ユーザー)の視聴者アバターが存在している仮想ライブ会場内の参加位置を参加者ユーザーテーブルの参加者座標のデータから特定し、仮想カメラC5(C6)から特定した参加位置を見た視点映像の生成を行い、該生成した映像を仮想ディスプレイ41(42)に表示する。
【0249】
このようにして生成される視点映像は、視聴者ユーザーによって演出参加操作が実行されていることによって、演出参加操作に応じた動作である、例えば、
図26に示すように、プラカードPKを頭上に掲げる動作や、
図27に示すように、TシャツTSを着用して両手を挙げる動作をしている視聴者アバターを含む映像となる。
【0250】
尚、
図27に示す例において、TシャツTSを着用して両手を挙げる動作をしている視聴者アバター25を含む第4領域に参加している視聴者ユーザーの視聴者アバターは、実施例2においては、例えば、
図24に示す仮想カメラC2の映像のように、仮想カメラC2~C4の映像や、各視聴者アバター視点映像において、簡略視聴者アバターとして描画されることで簡略視聴者アバターにて表示されているが、このように仮想ライブ中の各視点映像において簡略視聴者アバターとして表示されている視聴者アバターであっても、仮想カメラC5(C6)からの視点映像については、
図26(B)に示すように、簡易化されていない高精細な通常視聴者アバター25として描画された映像とされる。
【0251】
また、これらの映像生成においては、第2特別演出の場合と同様に、対象の視聴者アバター以外の他の視聴者アバターも仮想カメラC5(C6)からの視点映像には含まれることになるが、この実施例2では、
図26、
図27に示すように、他の視聴者アバターが星のエフェクト映像によって省かれた映像、つまり、プラカードPKを頭上に掲げる動作やTシャツTSを着用して両手を挙げる動作を行っている対象の視聴者アバターと星のエフェクトを含む映像が生成されることで、他の視聴者アバターが仮想ディスプレイ41(42)に表示されてしまうことを防ぐとともに、対象の視聴者アバターの視聴者ユーザーの特別感を高めることができるようになっている。
【0252】
尚、仮想ディスプレイ41(42)に表示された1の視聴者アバターの映像は、第3特別演出の期間中において継続して表示されるのではなく、所定の上限期間(例えば、5秒)が経過したときに、参加資格が「有り」と判定された次の順位の視聴者アバターの映像に切り替わるようになっていることで、
図32において、1→2→3→4→5…と記載されているように、第3特定演出の期間中において、複数の視聴者アバターの映像が仮想ディスプレイ41(42)に順次表示される。
【0253】
図32(B)は、第3特別演出が実行されるエンディングMCとエンディングMCに続いて実行されるエンディング演出における仮想ディスプレイ40、41、42の表示内容の変化を示す説明図である。
【0254】
第3特別演出が開始されるまでのエンディングMC中においては、中央の仮想ディスプレイ40には、MC用映像、具体的には、演者アバター1による次回の仮想ライブの日程等の情報を含む映像が表示され、仮想ディスプレイ41、42には、MC(トーク)を行う演者アバター1の映像である仮想カメラC1からの視点映像が表示される。
【0255】
そして、第3特別演出が開始されると、中央の仮想ディスプレイ40には、
図27に示すように、「また来てね!」のメッセージを含む再来用映像が表示されるとともに、仮想ディスプレイ41、42には、例えば、TシャツTSを着用して両手を頭上に挙げたTシャツ動作をしている視聴者アバター25の映像や、プラカードPKを頭上に掲げるプラカード動作をしている視聴者アバター13の映像が表示される。尚、第3特別演出においても、第2特別演出と同様に、仮想ディスプレイ41、42に1の視聴者アバターの映像だけが継続して表示されるのではなく、
図32(B)において、1→2→3→4→5…と記載されているように、視聴者アバターが順次変更されることで、複数の視聴者アバターの映像が表示される。
【0256】
そして、第3特別演出およびエンディングMCが終了したタイミングでは、仮想ディスプレイ40、41、42には、全て、開始されるエンディング演出の映像表示が開始される。これら、エンディング演出の映像は、仮想ディスプレイ40、41、42に亘って表示される映像であって、3つの仮想ディスプレイ40、41、42が1つのディスプレイのように使用されることで、視聴者にインパクトを与えることができる映像である。これら仮想ディスプレイ40、41、42に表示される映像は、仮想空間更新データに反映されることで、視聴者アバター視点映像においても反映される。
【0257】
つまり、配信用サーバコンピュータ100は、第3特別演出が終了したタイミングとなったか否かをタイムテーブルデータ(TTデータ)112に記述されたタイムスケジュールによって判定し、第3特別演出が終了したタイミング(第n演目期間が終了したタイミング)となったときには、仮想ディスプレイ41、42における視聴者アバターの映像表示を消去し、エンディング演出の映像の表示を開始する処理を実行する。
【0258】
以上、上記した実施例2の仮想空間コンテンツ配信システムによれば、仮想ライブ会場内に設置された仮想カメラC5、C6から見た仮想カメラ視点映像が、仮想表示領域である仮想ディスプレイ41、42に表示されるため、視聴者ユーザーが仮想ライブに参加しているという感覚を得やすくなるので、視聴者ユーザーの興趣を高めることができる。
【0259】
また、仮想カメラC5、C6から見た仮想カメラ視点映像は、視聴者端末300において、視聴者アバターにケミライトKを振る動作、プラカードPKを頭上に掲げる動作、TシャツTSを着用して両手を頭上に挙げる動作を行わせるための操作が実行されたことにもとづいて生成されるので、仮想カメラ視点映像には、上記した各動作を行っている視聴者アバターが含まれているため、より一層、視聴者ユーザーが仮想ライブに参加しているという感覚を得やすくなり、視聴者ユーザーの興趣をさらに高めることができる。
【0260】
また、上記した実施例2では、視聴者アバターにケミライト動作を行わせるための操作の実行を指示する指示情報である所定操作指示情報が送信されることを条件に、仮想カメラC5、C6から見た仮想カメラ視点映像が仮想ディスプレイ41、42に表示されるため、視聴者端末300において、視聴者ユーザーが操作を実行しないことによってケミライト動作を行っていない仮想カメラ視点映像が表示されてしまうことを防ぐことができる。
【0261】
また、上記した実施例2の第2特別演出においては、仮想ライブ会場に参加している複数の視聴者アバターのうちから、抽選によって選出されたことを条件に仮想カメラC5、C6から見た仮想カメラ視点映像が仮想ディスプレイ41、42に表示されるため、どの視聴者アバターが選出されるかに視聴者ユーザーが注目するようになるので、視聴者ユーザーの興趣をさらに高めることができる。
【0262】
また、上記した実施例2の第2特別演出および第3特別演出においては、各演出に対応した仮想アイテムの購入に必要なポイント(価値)の支払いが完了していることを条件に仮想カメラC5、C6から見た仮想カメラ視点映像が仮想ディスプレイ41、42に表示されるため、仮想ライブへの参加意識が低いことで仮想アイテムを購入していない視聴者ユーザーの視聴者アバターを仮想カメラC5、C6から見た仮想カメラ視点映像が仮想ディスプレイ41、42に表示されてしまうことによる興趣の低下を防ぐことができる。
【0263】
また、上記した実施例2の第3特別演出においては、視聴者端末300において、抽選における当選等を必要とせずに、仮想カメラC5、C6から見た仮想カメラ視点映像を仮想ディスプレイ41、42に表示させるための特別操作となる、プラカードPKを頭上に掲げる動作に対応し操作、TシャツTSを着用して両手を頭上に挙げる動作に対応した操作が実行されことを条件に、自身の視聴者アバターが被写体とされた仮想カメラ視点映像が仮想ディスプレイ41、42に表示されるため、視聴者ユーザーの興趣をさらに高めることができる。
【0264】
また、上記した実施例2においては、仮想ライブ中の特定期間となるエンディングMC中の第3特別演出の期間中において、上記したプラカードPKを頭上に掲げる動作に対応し操作やTシャツTSを着用して両手を頭上に挙げる動作に対応した操作を実行することで、自身の視聴者アバターが被写体とされた仮想カメラ視点映像が仮想ディスプレイ41、42に表示されるため、視聴者ユーザーが、第3特別演出の期間となったか否かに注目するようになるので、視聴者ユーザーの興趣をさらに高めることができる。
【0265】
また、上記した実施例2においては、第2特別演出および第3特別演出において仮想カメラC5、C6から見た仮想カメラ視点映像が生成されるときに、被写体の対象となる視聴者アバター以外の視聴者アバターは描画されないことによって仮想ディスプレイ41、42に表示されることが制限される(表示されない)ので、他の視聴者アバターが仮想ディスプレイ41、42に不用意に表示されてしまうことによる不都合の発生を防ぐとともに、被写体となる視聴者アバターの視聴者ユーザーの特別感を高めることができる。
【0266】
また、上記した実施例2においては、第2特別演出および第3特別演出において仮想カメラC5、C6から見た仮想カメラ視点映像が生成されるときにおいては、仮想ライブの映像において簡略化された簡略視聴者アバターとして表示されていても、簡略化されていない通常視聴者アバターにて描画されて仮想ディスプレイ41、42に表示されるので、これら仮想ディスプレイ41、42に自分のアバターが簡略視聴者アバターとして表示されてしまうことによって、却って視聴者ユーザーの興趣が低下してしまうことを防ぐことができる。
【0267】
また、上記した実施例2においては、仮想ディスプレイ41、42において、仮想ライブの各種演出画像が仮想表示されるとともに、第3特別演出において、視聴者ユーザーによってプラカードPKを頭上に掲げる動作に対応し操作やTシャツTSを着用して両手を頭上に挙げる動作に対応した操作が実行されことを条件に、視聴者アバターの映像(特別画像)が仮想ディスプレイ41、42に表示され、その後、エンディング演出が開始されることに応じて、
図32に示すように、エンディング演出に対応した演出映像であるエンディング映像が表示されるようになっており、このように、各種の演出画像が仮想ディスプレイ41、42において表示されることで多様な演出を実行できることで、仮想ライブの興趣を向上できるようになるとともに、仮想ディスプレイ41、42に視聴者アバターの映像(特別画像)が表示されるので、視聴者ユーザーが仮想ライブに参加しているという感覚を得やすくなるので、視聴者ユーザーの興趣を高めることができる。また、視聴者アバターの映像(特別画像)が表示されていても、視聴者アバターの映像(特別画像)の表示が制限されて特定演出画像であるエンディング映像が表示されるようになるので、視聴者アバターの映像(特別画像)の表示によってエンディング映像が表示されなくなってしまうことを防ぐことができる。
【0268】
尚、実施例2においては、視聴者ユーザーにもとづく特別画像を、仮想ライブ会場に設置された仮想カメラC5、C6から視聴者アバターを見た視点映像とした形態を例示しているが、本発明はこれに限定されるものではなく、例えば、事前に視聴者ユーザーが登録した視聴者アバターが特別なポーズとしている画像や演者アバター1とともに撮影した画像であってもよいし、これら視聴者アバターを含まない画像、例えば、視聴者ユーザーが入力したメッセージ等の文章等の画像であってもよい。
【0269】
<実施例2の変形例>
上記実施例2では、視聴者アバターが参加可能な第2特別演出や第3特別演出において、中央の仮想ディスプレイ40には、視聴者アバターの映像を表示しない形態を例示しているが、本発明はこれに限定されるものではなく、例えば、
図33の変形例2-1に示すように、中央の仮想ディスプレイ40にも、仮想ディスプレイ41、42と同様に、視聴者アバターの映像を表示するようにしてもよく、この場合においては、より多くの視聴者アバターを表示できるように、中央の仮想ディスプレイ40を複数の表示領域に分割し、分割した個々の表示領域に異なる視聴者アバターを表示するようにしてもよい。
【0270】
尚、中央の仮想ディスプレイ40だけではなく、仮想ディスプレイ41、42についても、複数の表示領域に分割して、より多くの視聴者アバターの映像を表示できるようにしてもよい。
【0271】
また、上記した実施例2では、第2特別演出では、抽選における当選を、参加条件に含めるようにしているが、本発明はこれに限定されるものではなく、これら抽選を実行しない形態としてもよい。
【0272】
また、上記した実施例2では、第2特別演出では、所定期間内のケミライト動作に対応する操作が実行されなかった場合には第2特別演出に参加できない形態、つまり、所定期間内のケミライト動作に対応する操作の実行を参加条件としている形態を例示しているが、本発明はこれに限定されるものではなく、所定期間内にケミライト動作に対応する操作が実行されなかった視聴者ユーザーの視聴者アバターについても、第2特別演出に参加させて仮想ディスプレイ41、42に表示するようにしてもよい。尚、このような場合には、所定操作指示情報を送信しない形態としてもよく、該形態にあっては、所定操作指示情報の送信を参加条件から除外することになる。
【0273】
また、上記した実施例2では、第2特別演出および第3特別演出の参加条件として、演出に対応する仮想アイテムの購入に必要なポイント(価値)の支払いが完了していることを条件に含める形態としているが、本発明はこれに限定されるものではなく、仮想アイテムの購入等をしていない視聴者アバターについても、第2特別演出および第3特別演出に参加できるようにしてもよい。
【0274】
また、上記した実施例2では、第3特別演出の参加条件として、プラカードPKを頭上に掲げる動作に対応し操作、TシャツTSを着用して両手を頭上に挙げる動作に対応した操作の実行を参加条件とした形態を例示しているが、本発明はこれに限定されるものではなく、例えば、後述するように、プラカードPKのメッセージにもとづいてイベント管理者Mが参加する視聴者ユーザーを選出するような場合にあっては、選出された視聴者ユーザーがプラカードPKを頭上に掲げる動作に対応し操作をしなくても、第3特別演出の参加できるようにしてもよい。
【0275】
また、上記した実施例2では、特別期間となる第3特別演出の期間を、仮想ライブ中に1つだけ設けた形態を例示しているが、本発明はこれに限定されるものではなく、これらの第3特別演出の期間を、複数設けた形態としてもよい。
【0276】
また、上記した実施例2では、第2特別演出および第3特別演出において、被写体となる参加が許可された視聴者アバター以外の他の視聴者アバターが仮想ディスプレイ41、42に表示されないようにしているが、本発明はこれに限定されるものではなく、例えば、これら他の視聴者アバターを簡略視聴者アバターとして表示するようにしてもよい。
【0277】
また、上記した実施例2では、領域4に仮想参加している視聴者アバターを簡略視聴者アバターとして描画する形態を例示しているが、本発明はこれに限定されるものではなく、これら仮想参加している視聴者アバターを全て、通常視聴者アバターとして描画する形態として、簡略視聴者アバターを用いない形態としてもよい。
【0278】
また、上記した実施例2では、第2特別演出や第3特別演出において、視聴者アバターの映像を、単に仮想ディスプレイ41、42に表示しているが、本発明はこれに限定されるものではなく、これら仮想ディスプレイ41、42に表示された視聴者アバターの映像データを、配信用サーバコンピュータ100或いは、配信用サーバコンピュータ100に通信接続された視聴者管理用の管理サーバコンピュータにおいて記憶しておき、該記憶した映像データを、仮想ライブ中或いは仮想ライブ後において当該映像に含まれる視聴者アバターの視聴者ユーザーが使用する視聴者端末300に配信(送信)して、視聴者ユーザーが仮想ライブの記念として当該映像データを取得できるようにしてもよい。
【0279】
つまり、仮想ディスプレイ41、42に表示された視聴者アバター画像の画像データを視聴者端末300に送信して視聴者ユーザーに提供可能な視聴者アバター画像提供手段を、仮想空間コンテンツ配信システムが備えるようにしてもよい。
【0280】
また、上記した実施例2における視聴者演出抽選処理においては、仮想アイテムであるケミライトKを事前購入した各視聴者ユーザーを、同じ確率にて抽選する形態を例示しているが、本発明はこれに限定されるものではなく、例えば、ケミライトK以外の仮想アイテムの購入状況や、購入に使用した総ポイント数等に応じて当選確率が変化する、具体的には、購入した仮想アイテム数が多い視聴者ユーザーや、購入に使用した総ポイント数が多い視聴者ユーザーの方が、当選確率が高いことで当選しやすい等のように、視聴者ユーザーの購入実績に応じて当選確率が変化するようにしてもよい。
【0281】
また、視聴者演出抽選処理による抽選が実施される第2特別演出では、視聴者アバターが使用する仮想アイテムを、1種類のみのケミライトKとした形態を例示したが、本発明はこれに限定されるものではなく、これら仮想アイテムを、例えば、大きさが小さいことで購入に必要なポイント数が少ないケミライトK1と、大きさが大きいことで購入に必要なポイント数が多いケミライトK2とを設け、例えば、ケミライトK2を購入した視聴者ユーザーの方が、ケミライトK1を購入した視聴者ユーザーよりも当選確率が高くなる等のように、購入アイテムの種類によって抽選確率が変化するようにしてもよい。
【0282】
また、第2特別演出では、視聴者演出抽選処理による当選者を無条件で第2特別演出に参加させる形態を例示しているが、本発明はこれに限定されるものではなく、これら当選した視聴者ユーザーに、不適格な視聴者ユーザーが含まれていないかを管理者端末150においてイベント管理者Mがチェックを行い、不適格な視聴者ユーザーが含まれている場合には、該不適格な視聴者ユーザーを除外する等の処理を行って、これらチェックを通過することで不適格な視聴者ユーザーを含まない当選者を参加させるようにしてもよい。
【0283】
また、第2特別演出では、仮想アイテムをケミライトKとした形態を例示したが、これら第2特別演出の対象の仮想アイテムを、プラカードPKやTシャツTSとしてもよく、第2特別演出の対象の仮想アイテムをプラカードPKとした場合にあっては、上記した視聴者演出抽選処理による抽選に代えて、プラカードPKを購入した視聴者ユーザーが、プラカードPKの表記として入力したメッセージを、管理者端末150においてイベント管理者Mが確認できるようにして、これらメッセージの中から、誹謗中傷や、仮想ライブの内容とあまりにも無関係なものを除外し、誹謗中傷ではなく、仮想ライブの内容に適した好ましいメッセージをイベント管理者Mが選出して、第2特別演出に参加できるようにしてもよい。
【0284】
尚、上記したメッセージの選出等、第2特別演出に参加する視聴者の選出を、イベント管理者Mではなく、仮想カメラC2の視点映像等にもとづいて、演者ユーザーが選出するようにしてもよい。
【0285】
以上、本発明の実施例を図面により説明してきたが、具体的な構成はこれら実施例に限られるものではなく、本発明の要旨を逸脱しない範囲における変更や追加があっても本発明に含まれる。
【0286】
例えば、変形例1-1で示したように、視聴者アバターの仮想参加位置を各視聴者ユーザーに事前に選択させるようにする場合にあっては、例えば、第4領域において仮想ステージGに向かって右側となるA1~C6の領域を選択した視聴者ユーザーについては、フライング演出期間における視点映像として、仮想飛翔する演者アバター1の右側前方位置からの視点映像が生成されて表示され、第4領域において仮想ステージGに向かって中央となるD4~H6の領域を選択した視聴者ユーザーについては、フライング演出期間における視点映像として、仮想飛翔する演者アバター1の中央前方位置からの視点映像が生成されて表示され、第4領域において仮想ステージGに向かって左側となるI1~K6の領域を選択した視聴者ユーザーについては、フライング演出期間における視点映像として、仮想飛翔する演者アバター1の左側前方位置からの視点映像が生成されて表示されるように、視聴者ユーザーが選択した位置に応じて、特別動作である仮想飛翔における視点映像が、各視聴者ユーザーが選択した位置(領域)に対応した視点映像となるようにしてもよい。
【0287】
また、上記各実施例及び変形例では、視聴者アバター視点映像を視聴者端末300側で生成して表示する形態を例示したが、本発明はこれに限定されるものではなく、例えば、仮想参加者が少ないライブイベント等の場合には、視聴者アバターからの視点映像についても配信用サーバコンピュータ100側で生成して配信するようにしてもよい。また、視聴者ユーザーが、自分が所有する端末の処理能力や利用可能なデータ通信環境に応じて、視聴者アバター視点映像を視聴者端末300側で生成するか配信用サーバコンピュータ100側で生成するかを選択できるようにしてもよいし、配信用サーバコンピュータ100が、通信接続している視聴者端末300の処理能力を特定して、該特定した処理能力にもとづいて、視聴者端末300側で生成するか配信用サーバコンピュータ100側で生成するかを決定するようにしてもよい。
【0288】
また、上記各実施例及び変形例では、配信用サーバコンピュータ100を、仮想ライブを主催するイベント運営機関が運営するスタジオに設置した形態を例示しているが、本発明はこれに限定されるものではなく、これら配信用サーバコンピュータ100としては、サーバコンピュータを貸し出す企業がデータセンタ等において所有するサーバコンピュータを使用したり、前述したように、クラウドサービスによるサーバコンピュータを使用してもよく、これらサーバコンピュータの設置形態は、配信用サーバコンピュータ100の機能を得られる形態であれば、任意の形態とすることができる。
【0289】
また、上記各実施例及び変形例では、演者ユーザーが一人で歌唱やダンス等の上演動作を行う形態を例示しているが、本発明はこれに限定されるものではなく、これら演者ユーザーが、複数人からなるグループであってもよく、これら複数人からなるグループで仮想ライブを行う場合には、複数人で1台の演者端末200を共有してもよいし、グループの各メンバー毎に演者端末200を設ける形態としてもよい。尚、演者ユーザーが、複数人のメンバーからなるグループである場合に、例えば、視点追随対象者指定処理を配信用サーバコンピュータ100や視聴者端末300の少なくとも一方で実行することで、視点を追随する対象とするメンバーを、視聴者ユーザーが選択できるようにしてもよい。
【0290】
また、上記各実施例及び変形例では、演者ユーザーが一人で歌唱やダンス等の上演動作を行う形態を例示しているが、本発明はこれに限定されるものではなく、歌唱を行う歌唱者とダンス動作を行うアクターとが個別の人物とされていてもよく、この場合、歌唱者の演者端末とアクターの演者端末を個別として、歌唱者はアクターが上演動作を行うスタジオ以外の場所で歌唱するようにしてもよい。
【0291】
また、上記各実施例及び変形例では、配信用サーバコンピュータ100、管理者端末150、演者端末200、視聴者端末300を接続するコンピュータ通信ネットワークとして、インターネット網を例示しているが、本発明はこれに限定されるものではなく、これら通信ネットワークは、特定のエリア内だけでデータ通信可能なローカルエリアネットワークで構成されていてもよいし、その一部にローカルエリアネットワークやローカルデータ通信が含まれていてもよい。
【0292】
また、上記各実施例及び変形例では、視聴者端末300としてスマートフォンPやコンピュータ(PC)とした形態を例示しているが、本発明はこれに限定されるものではなく、これらコンピュータは、持ち運び可能なノートパソコンであってもよいし、タブレット端末、電子書籍リーダー、ウェアラブルコンピュータ、ゲーム用コンソール、及びこれら以外の、少なくとも2D映像と音声とを出力可能な各種情報処理装置であってもよい。
【0293】
また、上記各実施例及び変形例では、演者ユーザーが、スタジオで歌唱を含む上演を行う形態を例示したが、本発明はこれに限定されるものではなく、例えば、演者ユーザーが自宅等に設置されている演者端末200を使用して、自宅等から仮想ライブに出演するようにしてもよい。
【0294】
また、上記各実施例及び変形例では、仮想空間コンテンツとして仮想ライブを例示したが、本発明はこれに限定されるものではなく、これら仮想空間コンテンツとしては、例えば、演者ユーザーが自分のファンと集うファンミーティングや、トークセッション等、視聴者ユーザーにとって有益なコンテンツであって、演者アバター1と視聴者アバターとが仮想参加する仮想空間に関するコンテンツであれば、どのようなコンテンツであってもよい。
【0295】
また、上記各実施例及び変形例では、例えば、仮想カメラC1~C4や空中移動仮想カメラの視点切替を、管理者端末150における設定や操作によって事前に行える形態を例示しているが、本発明はこれに限定されるものではなく、例えば、これら視点切替を、管理者端末150においてイベント管理者Mが、操作入力装置161を構成する視点切替コントローラ等を使用して、リアルタイムに行うようにしてもよい。
【0296】
また、上記各実施例及び変形例では、仮想カメラとして仮想空間内に固定配置(設定)された少なくとも仮想カメラC1~C4を使用する形態を例示しているが、本発明はこれに限定されるものではなく、例えば、仮想カメラC1~C4に、加えるか若しくは代えて、移動可能な仮想移動カメラを仮想ライブ会場内に配置して、該仮想移動カメラの仮想空間内の位置や撮像方向等を、管理者端末150においてイベント管理者Mやカメラマン等が操作により制御して、仮想移動カメラの視点映像とするようにしてもよい。
【0297】
また、上記各実施例及び変形例では、演者アバターの表情に反映させるために、演者ユーザーの顔の表情を検出可能とするために、スクリーンSに仮想カメラC2の視点映像を表示する形態を例示しているが、本発明はこれに限定されるものではなく、例えば、演者ユーザーの顔の表情を検出するセンサ機能を有する高機能ヘッドマウントディスプレイであれば、これら高機能ヘッドマウントディスプレイを装着して上演を行うようにしてもよく、このようにすることで、演者ユーザーの仮想ライブへの没入感を向上することができるようにしてもよい。また、演者アバターの表情に演者ユーザーの顔の表情を詳細に反映しなくてもよい場合は、通常のヘッドマウントディスプレイを演者ユーザーが装着して上演を行うようにしてもよい。
【0298】
また、上記各実施例及び変形例では、仮想ライブの配信時においてリアルタイムに演者ユーザーが歌唱や歌唱動作(上演動作)を実行する形態とすることで、演者ユーザーが、仮想ライブに仮想参加している視聴者ユーザーの反応等を確認しながらライブを進行できるようにしているが、本発明はこれに限定されるものではなく、演者ユーザーの歌唱や歌唱動作(上演動作)は、リアルタイムではなく、予め、歌唱や歌唱動作(上演動作)を実行しておき、これら歌唱の音声や歌唱動作(上演動作)を演者アバター情報として配信用サーバコンピュータ100に記録しておき、該記録した歌唱の音声や歌唱動作(上演動作)をライブの進行に応じて再生することによって仮想ライブを開催するようにしてもよい。
【0299】
また、演者ユーザーの歌唱や歌唱動作(上演)に替えて、コンピュータグラフィック等で作成した仮想の演者による歌唱や歌唱動作(上演動作)を演者アバター情報として配信用サーバコンピュータに記録しておき、該記録した歌唱の音声や歌唱動作(上演動作)をライブの進行に応じて再生することによって仮想ライブを開催するようにしてもよい。
【0300】
このように、予め、歌唱や歌唱動作(上演動作)を実行して演者アバター情報を配信用サーバコンピュータ100に記録、再生して仮想ライブを配信する場合にあっては、該配信時における仮想空間コンテンツ配信システムの構成は、配信用サーバコンピュータ100、管理者端末150、視聴者端末300とで構成されることになり、仮想空間において演者アバター1を動作させる操作を行う演者ユーザーが利用可能な演者ユーザー端末である演者端末200を含まない構成となる。
【符号の説明】
【0301】
1 演者アバター
100 配信用サーバコンピュータ
150 管理者端末
200 演者端末
300 視聴者端末
【要約】
【課題】視聴者ユーザーの興趣を高めること。
【解決手段】仮想ライブ会場に参加可能な視聴者アバターを動作させる操作を行う視聴者ユーザーが利用可能な視聴者ユーザー端末300と、仮想ライブ会場に関する処理と仮想ライブの配信に関する処理とを実行可能なサーバコンピュータ100とを含む仮想空間コンテンツ配信システムであって、仮想空間に仮想カメラから見た仮想カメラ画像を表示可能な仮想表示領域41,42を設け、所定条件が成立したことにもとづいて、仮想カメラから視聴者アバターを見た視聴者アバター画像を仮想表示領域に表示する
【選択図】
図25