(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2024-10-23
(45)【発行日】2024-10-31
(54)【発明の名称】仮想空間コンテンツ配信システム、仮想空間コンテンツ配信プログラム、および仮想空間コンテンツ配信方法
(51)【国際特許分類】
G06T 13/40 20110101AFI20241024BHJP
H04N 21/234 20110101ALI20241024BHJP
H04N 21/262 20110101ALI20241024BHJP
H04N 21/431 20110101ALI20241024BHJP
H04L 67/131 20220101ALI20241024BHJP
【FI】
G06T13/40
H04N21/234
H04N21/262
H04N21/431
H04L67/131
(21)【出願番号】P 2023182347
(22)【出願日】2023-10-24
【審査請求日】2024-07-08
【早期審査対象出願】
(73)【特許権者】
【識別番号】519120525
【氏名又は名称】カバー株式会社
(74)【代理人】
【識別番号】100098729
【氏名又は名称】重信 和男
(74)【代理人】
【識別番号】100206656
【氏名又は名称】林 修身
(74)【代理人】
【識別番号】100206911
【氏名又は名称】大久保 岳彦
(74)【代理人】
【識別番号】100204467
【氏名又は名称】石川 好文
(74)【代理人】
【識別番号】100148161
【氏名又は名称】秋庭 英樹
(74)【代理人】
【識別番号】100195833
【氏名又は名称】林 道広
(72)【発明者】
【氏名】金柿 貴也
【審査官】益戸 宏
(56)【参考文献】
【文献】特開2021-153901(JP,A)
【文献】特開2021-387(JP,A)
【文献】特開2020-191620(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 13/40
H04N 21/234
H04N 21/262
H04N 21/431
H04L 67/131
(57)【特許請求の範囲】
【請求項1】
仮想空間において演者アバターが動作する動作コンテンツを少なくとも含む仮想空間コンテンツを配信可能な仮想空間コンテンツ配信システムであって、
前記演者アバターに対応する演者が使用可能な演者用端末と、
視聴者ユーザーが前記仮想空間コンテンツを視聴可能な視聴者ユーザー端末と、
前記演者用端末と前記視聴者ユーザー端末とに通信ネットワークを介して接続され、少なくとも前記仮想空間に関する処理と前記仮想空間コンテンツの配信に関する処理とを実行可能なサーバコンピュータと、
を含み、
前記動作コンテンツは、該動作コンテンツが配信されるときに前記演者用端末に入力された前記演者の動作が前記演者アバターに反映される第1動作コンテンツと、該動作コンテンツが配信されるときよりも前に事前に収録された第2動作コンテンツと、を含み、
前記演者用端末は、前記第1動作コンテンツに続けて前記第2動作コンテンツが配信されるときに、前記第2動作コンテンツにおける前記演者アバターの最初の動作に対応する姿勢を、該第1動作コンテンツの終了時において前記演者が行うべき終了時姿勢として提示可能な姿勢提示手段を備える
ことを特徴とする仮想空間コンテンツ配信システム。
【請求項2】
前記姿勢提示手段は、前記第1動作コンテンツの配信が終了する所定期間前から前記終了時姿勢を表示可能であるとともに、該第1動作コンテンツの配信が終了するまでの期間を特定可能な期間情報を表示可能である
ことを特徴とする請求項1に記載の仮想空間コンテンツ配信システム。
【請求項3】
前記姿勢提示手段は、前記終了時姿勢を前記演者アバターの後方側からの視点画像として表示可能である
ことを特徴とする請求項2に記載の仮想空間コンテンツ配信システム。
【請求項4】
前記姿勢提示手段は、前記終了時姿勢をとっている前記演者アバターの画像と、前記演者の姿勢を反映した前記演者アバターの画像と、を同時に表示可能である
ことを特徴とする請求項2または3に記載の仮想空間コンテンツ配信システム。
【請求項5】
前記姿勢提示手段は、前記終了時姿勢と前記演者の姿勢とを対比し、前記演者の姿勢が前記終了時姿勢と同一または略同一と判定可能な所定範囲内となっていることを示す一致報知を実行可能である
ことを特徴とする請求項1または2に記載の仮想空間コンテンツ配信システム。
【請求項6】
前記演者アバターは、複数の演者の各々に対応した複数のアバターを含み、
前記姿勢提示手段は、全ての前記演者の姿勢が前記終了時姿勢と同一または略同一と判定可能な所定範囲内となっていることを示す全員一致報知を実行可能である
ことを特徴とする請求項1または2に記載の仮想空間コンテンツ配信システム。
【請求項7】
前記姿勢提示手段は、前記終了時姿勢と前記演者の姿勢とを対比し、前記演者の姿勢が前記終了時姿勢と異なる部分を示す非一致部分報知を実行可能である
ことを特徴とする請求項1または2に記載の仮想空間コンテンツ配信システム。
【請求項8】
前記第1動作コンテンツの配信が終了する前における予め定められた判定タイミングとなったときに、前記演者の姿勢が前記終了時姿勢と同一または略同一と判定するための所定範囲内となっていない場合に、前記演者アバターの姿勢を視聴者ユーザーが認識困難とする特定演出を実行可能である
ことを特徴とする請求項1または2に記載の仮想空間コンテンツ配信システム。
【請求項9】
前記仮想空間コンテンツは、前記演者の音声コンテンツを含み、
前記サーバコンピュータは、前記姿勢提示手段によって前記終了時姿勢が提示されている期間においては、演者の音声による音声コンテンツの配信を行わない
ことを特徴とする請求項1または2に記載の仮想空間コンテンツ配信システム。
【請求項10】
前記仮想空間コンテンツは、前記演者の音声コンテンツを含み、
前記サーバコンピュータは、前記姿勢提示手段によって前記終了時姿勢が提示されている期間においては該期間に対応した特定音声コンテンツを配信する
ことを特徴とする請求項1または2に記載の仮想空間コンテンツ配信システム。
【請求項11】
仮想空間において演者アバターが動作する動作コンテンツを少なくとも含む仮想空間コンテンツを配信するための仮想空間コンテンツ配信プログラムであって、
前記動作コンテンツは、前記演者アバターに対応する演者が使用可能な演者用端末と、視聴者ユーザーが前記仮想空間コンテンツを視聴可能な視聴者ユーザー端末とに通信ネットワークを介して接続され、少なくとも前記仮想空間に関する処理と前記仮想空間コンテンツの配信に関する処理とを実行可能なサーバコンピュータから、該動作コンテンツが配信されるときに前記演者用端末に入力された前記演者の動作が前記演者アバターに反映される第1動作コンテンツと、該動作コンテンツが配信されるときよりも前に事前に収録された第2動作コンテンツと、を含み、
前記第1動作コンテンツに続けて前記第2動作コンテンツが配信されるときに実行する処理であって、前記第2動作コンテンツにおける前記演者アバターの最初の動作に対応する姿勢を、該第1動作コンテンツの終了時において前記演者が行うべき終了時姿勢として提示する姿勢提示処理を含む
ことを特徴とする仮想空間コンテンツ配信プログラム。
【請求項12】
仮想空間において演者アバターが動作する動作コンテンツを少なくとも含む仮想空間コンテンツを配信するための仮想空間コンテンツ配信方法であって、
前記動作コンテンツは、前記演者アバターに対応する演者が使用可能な演者用端末と、視聴者ユーザーが前記仮想空間コンテンツを視聴可能な視聴者ユーザー端末とに通信ネットワークを介して接続され、少なくとも前記仮想空間に関する処理と前記仮想空間コンテンツの配信に関する処理とを実行可能なサーバコンピュータから、該動作コンテンツが配信されるときに前記演者用端末に入力された前記演者の動作が前記演者アバターに反映される第1動作コンテンツと、該動作コンテンツが配信されるときよりも前に事前に収録された第2動作コンテンツと、を含み、
前記第1動作コンテンツに続けて前記第2動作コンテンツが配信されるときに実行する手順であって、前記第2動作コンテンツにおける前記演者アバターの最初の動作に対応する姿勢を、該第1動作コンテンツの終了時において前記演者が行うべき終了時姿勢として提示する姿勢提示手順を含む
ことを特徴とする仮想空間コンテンツ配信方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、仮想空間において演者アバターが動作する動作コンテンツを少なくとも含む仮想空間コンテンツを配信可能な仮想空間コンテンツ配信システム、仮想空間コンテンツ配信プログラム、仮想空間コンテンツ配信方法に関する。
【背景技術】
【0002】
従来、配信ユーザ(演者)の動きに連動して仮想空間において動作する該配信ユーザ(演者)のキャラクタオブジェクト(アバター)のアニメーションを生成し、かかるキャラクタオブジェクト(アバター)のアニメーションを含む動画をライブ配信するとともに、視聴する視聴者ユーザーについても、視聴者ユーザーからの要求に応じて、配信ユーザ(演者)のアバターが配置されている仮想空間に観客として仮想参加することが可能な配信システムが知られている(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献1のように、配信ユーザ(演者)の動作を反映させたキャラクタオブジェクト(アバター)のアニメーションコンテンツをライブ配信する場合にあっては、サーバコンピュータの処理負荷を低減すること、若しくは機器の不具合の発生によって配信ユーザ(演者)の動作がアバターに良好に反映されなくなる等の事故の発生を予防することを目的として、配信ユーザ(演者)の動作によるキャラクタオブジェクト(アバター)のアニメーションコンテンツを部分的に事前に収録して配信することが行われているが、このように、配信の一部のコンテンツを収録して配信する場合にあっては、配信ユーザ(演者)の動作をリアルタイムにキャラクタオブジェクト(アバター)に反映させる部分と収録部分との切替時において、キャラクタオブジェクト(アバター)の姿勢が異なることにより、視聴者に違和感を与えてしまい、仮想空間コンテンツの興趣が低下してしまうという問題があった。
【0005】
本発明は、このような問題点に着目してなされたもので、仮想空間コンテンツの興趣が低下してしまうことを防ぐことのできる仮想空間コンテンツ配信システム、仮想空間コンテンツ配信プログラム、仮想空間コンテンツ配信方法を提供することを目的とする。
【課題を解決するための手段】
【0006】
請求項1の仮想空間コンテンツ配信システムは、
仮想空間において演者アバターが動作する動作コンテンツを少なくとも含む仮想空間コンテンツ(例えば、仮想ライブ)を配信可能な仮想空間コンテンツ配信システムであって、
前記演者アバター(例えば、演者アバター1A,1B)に対応する演者(例えば、演者ユーザーA,B)が使用可能な演者用端末(例えば、演者端末200A,B)と、
視聴者ユーザーが前記仮想空間コンテンツを視聴可能な視聴者ユーザー端末(例えば、視聴者端末300)と、
前記演者用端末と前記視聴者ユーザー端末とに通信ネットワークを介して接続され、少なくとも前記仮想空間に関する処理と前記仮想空間コンテンツの配信に関する処理とを実行可能なサーバコンピュータ(例えば、配信用サーバコンピュータ100)と、
を含み、
前記動作コンテンツは、該動作コンテンツが配信されるときに前記演者用端末に入力された前記演者の動作が前記演者アバターに反映される第1動作コンテンツ(例えば、MC)と、該動作コンテンツが配信されるときよりも前に事前に収録された第2動作コンテンツ(例えば、演目)と、を含み、
前記演者用端末は、前記第1動作コンテンツに続けて前記第2動作コンテンツが配信されるときに、前記第2動作コンテンツにおける前記演者アバターの最初の動作に対応する姿勢(例えば、開始時姿勢)を、該第1動作コンテンツの終了時において前記演者が行うべき終了時姿勢として提示可能な姿勢提示手段(例えば、
図34,35に示す姿勢同化用画面を表示可能な表示装置C212)を備える
ことを特徴としている。
この特徴によれば、第2動作コンテンツにおける演者アバターの最初の動作に対応する姿勢が終了時姿勢として提示されることで、演者は、自身の動作が演者アバターに反映される第1動作コンテンツの配信終了時に、該終了時姿勢をとることができるようになるため、第2動作コンテンツの配信開始時において、演者アバターの姿勢の違いによって視聴者に違和感を与えてしまうことによる仮想空間コンテンツの興趣低下を防ぐことができる。
【0007】
請求項2の仮想空間コンテンツ配信システムは、請求項1の仮想空間コンテンツ配信システムであって、
前記姿勢提示手段は、前記第1動作コンテンツの配信が終了する所定期間(例えば、移行期間)前から前記終了時姿勢を表示可能であるとともに、該第1動作コンテンツの配信が終了するまでの期間を特定可能な期間情報(例えば、残り期間表示領域252の表示)を表示可能である
ことを特徴としている。
この特徴によれば、表示によって終了時姿勢を視覚的に容易に捉えることができるとともに、第2動作コンテンツの配信が開始されるまでの残り期間も把握できるので、第2動作コンテンツの配信開始タイミングに合わせて終了時姿勢をとる準備を行うことができる。
【0008】
請求項3の仮想空間コンテンツ配信システムは、請求項2に記載の仮想空間コンテンツ配信システムであって、
前記姿勢提示手段は、前記終了時姿勢を前記演者アバターの後方側からの視点画像(例えば、
図34,35のように、後方からの画像)として表示可能である
ことを特徴としている。
この特徴によれば、演者は、自分が行うべき姿勢を、左右が反対の鏡像ではなく左右同一の実像で把握できるようになるので、より一層、終了時姿勢を認識しやすくできる。
【0009】
請求項4の仮想空間コンテンツ配信システムは、請求項2または3に記載の仮想空間コンテンツ配信システムであって、
前記姿勢提示手段は、前記終了時姿勢をとっている前記演者アバターの画像と、前記演者の姿勢を反映した前記演者アバターの画像と、を同時に表示可能である(例えば、
図34,35のように、事前収録ポーズと現在ポーズとを表示可能な部分)
ことを特徴としている。
この特徴によれば、演者は、終了時姿勢と自身の姿勢とを、演者アバターの表示にて対比できるようになるため、姿勢の違いを的確に把握できるようになり、より的確に終了時姿勢をとることができるようになる。
【0010】
請求項5の仮想空間コンテンツ配信システムは、請求項1または請求項2に記載の仮想空間コンテンツ配信システムであって、
前記姿勢提示手段は、前記終了時姿勢と前記演者の姿勢とを対比し、前記演者の姿勢が前記終了時姿勢と同一または略同一と判定可能な所定範囲(例えば、一致度が95%以上の範囲)内となっていることを示す一致報知(例えば、青枠)を実行可能である
ことを特徴としている。
この特徴によれば、演者は、自身の姿勢が終了時姿勢と所定範囲内で一致していることを容易に認識することができ、該一致している姿勢を的確にとることができる。
【0011】
請求項6の仮想空間コンテンツ配信システムは、請求項1または請求項2に記載の仮想空間コンテンツ配信システムであって、
前記演者アバターは、複数の演者の各々に対応した複数のアバターを含み、
前記姿勢提示手段は、全ての前記演者の姿勢が前記終了時姿勢と同一または略同一と判定可能な所定範囲内となっていることを示す全員一致報知を実行可能である(例えば、変形例に示すように、共演者全員の姿勢が良好になったことを表示して報知する部分)
ことを特徴としている。
この特徴によれば、演者は、演者全員の姿勢が終了時姿勢と所定範囲内で一致していることを容易に認識することができ、該一致している姿勢を的確にとることができる。
【0012】
請求項7の仮想空間コンテンツ配信システムは、請求項1または2に記載の仮想空間コンテンツ配信システムであって、
前記姿勢提示手段は、前記終了時姿勢と前記演者の姿勢とを対比し、前記演者の姿勢が前記終了時姿勢と異なる部分を示す非一致部分報知(例えば、四肢に対応したインジケータ部260)を実行可能である
ことを特徴としている。
この特徴によれば、演者は、非一致部分を容易に把握することで、姿勢の修正を的確に行うことができる。
【0013】
請求項8の仮想空間コンテンツ配信システムは、請求項1または2に記載の仮想空間コンテンツ配信システムであって、
前記第1動作コンテンツの配信が終了する前における予め定められた判定タイミング(例えば、姿勢判定タイミング)となったときに、前記演者の姿勢が前記終了時姿勢と同一または略同一と判定するための所定範囲内となっていない場合(例えば、一致度が60%未満である場合)に、前記演者アバターの姿勢を視聴者ユーザーが認識困難とする特定演出(例えば、暗転演出)を実行可能である
ことを特徴としている。
この特徴によれば、演者の姿勢が終了時姿勢と所定範囲内で一致していない場合には、特定演出が実行されることで、一旦、演者アバターの姿勢を視聴者ユーザーが認識困難となるので、演者アバターの姿勢や動作の違いによって視聴者に違和感を与えてしまうことによる興趣の低下を回避できる。
【0014】
請求項9の仮想空間コンテンツ配信システムは、請求項1または2に記載の仮想空間コンテンツ配信システムであって、
前記仮想空間コンテンツは、前記演者の音声コンテンツを含み、
前記サーバコンピュータは、前記姿勢提示手段によって前記終了時姿勢が提示されている期間においては、演者の音声による音声コンテンツの配信を行わない(例えば、
図35に示すように、MCから演目に移行する移行期間8において、マイクミュートに制御する部分)
ことを特徴としている。
この特徴によれば、終了時姿勢が提示されている期間において演者の音声が配信されてしまうことによる不都合の発生を防ぐことができる。
【0015】
請求項10の仮想空間コンテンツ配信システムは、請求項1または請求項2に記載の仮想空間コンテンツ配信システムであって、
前記仮想空間コンテンツは、前記演者の音声コンテンツを含み、
前記サーバコンピュータは、前記姿勢提示手段によって前記終了時姿勢が提示されている期間においては該期間に対応した特定音声コンテンツを配信する(例えば、変形例におけるメッセージ音声等の特定の音声を配信する部分)
ことを特徴としている。
この特徴によれば、終了時姿勢が提示されている期間において特定音声コンテンツが配信されるので、演者の音声が配信されることによる不都合の発生を防ぐことができる。
【0016】
請求項11の仮想空間コンテンツ配信プログラムは、
仮想空間において演者アバターが動作する動作コンテンツを少なくとも含む仮想空間コンテンツを配信するための仮想空間コンテンツ配信プログラムであって、
前記動作コンテンツは、前記演者アバターに対応する演者が使用可能な演者用端末と、視聴者ユーザーが前記仮想空間コンテンツを視聴可能な視聴者ユーザー端末とに通信ネットワークを介して接続され、少なくとも前記仮想空間に関する処理と前記仮想空間コンテンツの配信に関する処理とを実行可能なサーバコンピュータから、該動作コンテンツが配信されるときに前記演者用端末に入力された前記演者の動作が前記演者アバターに反映される第1動作コンテンツと、該動作コンテンツが配信されるときよりも前に事前に収録された第2動作コンテンツと、を含み、
前記第1動作コンテンツに続けて前記第2動作コンテンツが配信されるときに実行する処理であって、前記第2動作コンテンツにおける前記演者アバターの最初の動作に対応する姿勢を、該第1動作コンテンツの終了時において前記演者が行うべき終了時姿勢として提示する姿勢提示処理を含む
ことを特徴としている。
この特徴によれば、第2動作コンテンツにおける演者アバターの最初の動作に対応する姿勢が終了時姿勢として提示されることで、演者は、自身の動作が演者アバターに反映される第1動作コンテンツの配信終了時に、該終了時姿勢をとることができるようになるため、第2動作コンテンツの配信開始時において、演者アバターの姿勢の違いによって視聴者に違和感を与えてしまうことによる仮想空間コンテンツの興趣低下を防ぐことができる。
【0017】
請求項12の仮想空間コンテンツ配信方法は、
仮想空間において演者アバターが動作する動作コンテンツを少なくとも含む仮想空間コンテンツを配信するための仮想空間コンテンツ配信方法であって、
前記動作コンテンツは、前記演者アバターに対応する演者が使用可能な演者用端末と、視聴者ユーザーが前記仮想空間コンテンツを視聴可能な視聴者ユーザー端末とに通信ネットワークを介して接続され、少なくとも前記仮想空間に関する処理と前記仮想空間コンテンツの配信に関する処理とを実行可能なサーバコンピュータから、該動作コンテンツが配信されるときに前記演者用端末に入力された前記演者の動作が前記演者アバターに反映される第1動作コンテンツと、該動作コンテンツが配信されるときよりも前に事前に収録された第2動作コンテンツと、を含み、
前記第1動作コンテンツに続けて前記第2動作コンテンツが配信されるときに実行する手順であって、前記第2動作コンテンツにおける前記演者アバターの最初の動作に対応する姿勢を、該第1動作コンテンツの終了時において前記演者が行うべき終了時姿勢として提示する姿勢提示手順を含む
ことを特徴としている。
この特徴によれば、第2動作コンテンツにおける演者アバターの最初の動作に対応する姿勢が終了時姿勢として提示されることで、演者は、自身の動作が演者アバターに反映される第1動作コンテンツの配信終了時に、該終了時姿勢をとることができるようになるため、第2動作コンテンツの配信開始時において、演者アバターの姿勢の違いによって視聴者に違和感を与えてしまうことによる仮想空間コンテンツの興趣低下を防ぐことができる。
【0018】
尚、本発明は、本発明の請求項に記載された発明特定事項のみを有するものであって良いし、本発明の請求項に記載された発明特定事項とともに該発明特定事項以外の構成を有するものであっても良い。
【図面の簡単な説明】
【0019】
【
図1】本発明の実施例1における仮想空間コンテンツ配信システムのシステム構成例を示すブロック図である。
【
図2】本発明の実施例1の仮想空間コンテンツ配信システムにおける配信用サーバコンピュータの構成例を示す図である。
【
図3】本発明の実施例1の配信用サーバコンピュータが有するストレージに記憶されている各種データを示す図である。
【
図4】本発明の実施例1の仮想空間コンテンツ配信システムにおける演者端末の構成例を示す図である。
【
図5】本発明の実施例1の仮想空間コンテンツ配信システムにおける視聴者端末の構成例を示す図である。
【
図6】本発明の実施例1の仮想空間コンテンツ配信システムにおける管理者端末の構成例を示す図である。
【
図7】本発明の実施例1の仮想空間コンテンツ配信システムにおけるイベントデータの構成例を示す図である。
【
図8】本発明の実施例1の仮想空間コンテンツ配信システムにおける演者ユーザーデータの構成例を示す図である。
【
図9】本発明の実施例1の仮想空間コンテンツ配信システムにおける視聴者ユーザーデータの構成例を示す図である。
【
図10】本発明の実施例1の仮想空間コンテンツ配信システムを構成する各端末とサーバコンピュータとの間において送受されるデータを示す説明図である。
【
図11】本発明の実施例1の仮想空間コンテンツ配信システムにおいて、演者ユーザーが利用するスタジオの設備を示す模式図である。
【
図12】本発明の実施例1の仮想空間コンテンツ配信システムにおいて使用される仮想空間である仮想ライブ会場を示す図である。
【
図13】本発明の実施例1の仮想空間コンテンツ配信システムを構成する視聴者端末における表示例を示す図である。
【
図14】本発明の実施例1の仮想空間コンテンツ配信システムを構成する視聴者端末における表示例を示す図である。
【
図15】本発明の実施例1の仮想空間コンテンツ配信システムを構成する演者端末における表示例を示す図である。
【
図16】本発明の実施例1の仮想空間コンテンツ配信システムを構成する視聴者端末におけるズーム操作による表示例を示す図である。
【
図17】本発明の実施例1の仮想空間コンテンツ配信システムを構成する視聴者端末におけるズーム操作による表示例を示す図である。
【
図18】本発明の実施例1の仮想空間コンテンツ配信システムを構成する視聴者端末における表示例を示す図である。
【
図19】本発明の実施例1の仮想空間コンテンツ配信システムを構成する視聴者端末におけるフライング演出期間の表示例を示す図である。
【
図20】本発明の実施例1の仮想空間コンテンツ配信システムを構成する視聴者端末において実行される視聴者用視点映像制御処理の一例を示すフロー図である。
【
図21】本発明の実施例2の仮想空間コンテンツ配信システムにて配信される仮想ライブの内容を示す説明図である。
【
図22】本発明の実施例2の仮想空間コンテンツ配信システムを構成する配信用サーバコンピュータと視聴者端末との間において送受されるデータを示す説明図である。
【
図23】本発明の実施例2の仮想空間コンテンツ配信システムを構成する配信用サーバコンピュータにおいて使用される参加者ユーザーテーブルを示す図である。
【
図24】本発明の実施例2の仮想空間コンテンツ配信システムを構成する配信用サーバコンピュータと視聴者端末との間において送受されるデータを示す説明図である。
【
図25】本発明の実施例2の仮想空間コンテンツ配信システムを構成する配信用サーバコンピュータと視聴者端末との間において送受されるデータを示す説明図である。
【
図26】本発明の実施例2の仮想空間コンテンツ配信システムを構成する配信用サーバコンピュータと視聴者端末との間において送受されるデータを示す説明図である。
【
図27】本発明の実施例2の仮想空間コンテンツ配信システムにおいて仮想ライブの期間種別と仮想カメラ視点映像の生成主体との関係を示す説明図である。
【
図28】本発明の実施例2の仮想空間コンテンツ配信システムを構成する配信用サーバコンピュータと視聴者端末とにおける仮想カメラ視点映像並びに視聴者視点映像の生成状況を示す説明図である。
【
図29】本発明の実施例2の変形例における視聴者視点映像生成処理を示すフロー図である。
【
図30】本発明の実施例2の変形例において配信用サーバコンピュータから送信される仮想空間更新データの内容を示す図である。
【
図31】本発明の実施例3の仮想空間コンテンツ配信システムにおいて使用される仮想空間である仮想ライブ会場を示す図である。
【
図32】本発明の実施例3における仮想空間コンテンツ配信システムのシステム構成例を示すブロック図である。
【
図33】本発明の実施例3の仮想空間コンテンツ配信システムにおいて、演者ユーザーBが利用するスタジオBの設備を示す模式図である。
【
図34】本発明の実施例3において、演者ユーザーAが利用するスタジオAに設置された表示装置Cの表示例を示す図である。
【
図35】本発明の実施例3において、演者ユーザーBが利用するスタジオBに設置された表示装置Cの表示例を示す図である。
【
図36】本発明の実施例3の仮想空間コンテンツ配信システムにて配信される仮想ライブの内容を示す説明図である。
【
図37】本発明の実施例3の仮想空間コンテンツ配信システムにて配信される仮想ライブの内容を示す説明図である。
【
図38】本発明の実施例3の仮想空間コンテンツ配信システムを構成する配信用サーバコンピュータに記憶されているタイムスケジュールデータ(TSデータ)の構成例を示す図である。
【
図39】本発明の実施例3の仮想空間コンテンツ配信システムを構成する配信用サーバコンピュータと演者端末との間において送受されるデータを示す説明図である。
【
図40】本発明の実施例3の仮想空間コンテンツ配信システムを構成する配信用サーバコンピュータと演者端末との間において送受されるデータを示す説明図である。
【
図41】本発明の実施例3の仮想空間コンテンツ配信システムを構成する演者端末において実行される姿勢同化処理の処理内容を示すフロー図である。
【
図42】本発明の実施例3において配信される仮想ライブの移行期間2を示す図である。
【
図43】本発明の実施例3において配信される仮想ライブの移行期間4を示す図である。
【
図44】本発明の実施例3において配信される仮想ライブの移行期間10を示す図である。
【
図45】本発明の実施例3において配信される仮想ライブの移行期間5の分岐状況を示す図である。
【
図46】本発明の実施例3において実行される姿勢同化処理における補正動作生成原理を示す説明図である。
【
図47】本発明の実施例3の変形例3-1において実行される移行期間を示す図である。
【
図48】本発明の実施例3の変形例3-2において実行される移行期間を示す図である。
【
図49】本発明の実施例3の変形例3-3において実行される移行期間を示す図である。
【発明を実施するための形態】
【0020】
本発明の仮想空間コンテンツ配信システムを実施するための形態について、実施例にもとづいて図面を用いて以下に説明する。尚、複数の図面において同一の又は類似する構成要素には同じ参照符号を付することで、重複する説明は省くものとする。また、本発明に係わる仮想空間コンテンツ配信プログラムは、仮想空間コンテンツ配信システムを構成する後述するサーバコンピュータや各端末から成るシステム全体で使用されるプログラムであってもよいし、仮想空間コンテンツ配信システムを構成する一部の装置である、例えば、サーバコンピュータや各端末だけで動作するものであってもよく、以下において説明する各処理については、いずれも、処理が行われる機器に記憶されているプログラムによって実行される。
【0021】
【実施例1】
【0022】
図1は、本発明の1実施形態である実施例1における仮想空間コンテンツ配信システムのシステム構成例を示すブロック図であり、
図1に示す本実施例1のシステムでは、演者ユーザーに対応した演者アバター1が、
図12に示す仮想ライブ会場においてライブイベントを行う仮想ライブが仮想空間コンテンツとして配信される。尚、以下において配信とは、複数に対する送信であり、送信と同義である。
【0023】
本実施例1の仮想空間コンテンツ配信システムは、
図1に示すように、主に、仮想空間である
図11に示す仮想ライブ会場に関する各種処理や仮想ライブの配信に関する各種処理を実行可能な配信用サーバコンピュータ100と、仮想ライブイベントを運営・管理するイベント運営機関のイベント管理者Mが、仮想ライブイベントの配信を管理するために使用する管理者端末150と、演者ユーザーが使用する演者端末200と、仮想ライブに仮想参加して仮想ライブを視聴する視聴者ユーザーが使用可能な視聴者端末300とから構成されており、配信用サーバコンピュータ100、管理者端末150、演者端末200、視聴者端末300は、オープンコンピュータネットワークであるインターネット網Nを介して、相互にデータ通信可能に接続されている。
【0024】
尚、本実施例1では、管理者端末150や演者端末200についてもインターネット網Nを介して配信用サーバコンピュータ100に接続させた形態を例示しているが、本発明はこれに限定されるものではなく、例えば、
図11に示すスタジオが、イベント運営機関が運営するスタジオであって、イベント運営機関が演者ユーザーにスタジオを提供している等の場合であって、これらスタジオに配信用サーバコンピュータ100が設置されている場合にあっては、管理者端末150や演者端末200を配信用サーバコンピュータ100にローカルにデータ通信接続した形態としたり、スタジオ施設内のローカルエリアネットワークLANを介して通信接続するようにしてもよい。
【0025】
また、
図1に示すように、視聴者ユーザーA、視聴者ユーザーB、視聴者ユーザーC…のように、視聴者ユーザーは複数であって、視聴者端末300としては、個々の視聴者ユーザーA、視聴者ユーザーB、視聴者ユーザーC…が使用可能な視聴者端末300a、視聴者端末300b、視聴者端末300c…を含む。尚、視聴者ユーザーは、通常、複数であるが、1人でもよいし、4人以上であってもよく、その数は仮想空間である仮想ライブ会場等に応じて適宜に決定すればよい。以下、視聴者ユーザーA、視聴者ユーザーB、視聴者ユーザーC…を総称して視聴者ユーザーと表記する場合があるとともに、視聴者端末300a、視聴者端末300b、視聴者端末300c…を総称して視聴者端末300と表記する場合がある。
【0026】
また、本実施例1では、演者ユーザーを1人とした形態を例示しているが、本発明はこれに限定されるものではなく、仮想ライブは、単独で活動している複数の演者ユーザーが仮想参加する共演イベントであってもよいし、共同で活動している複数人のグループが仮想参加するグループイベントであってもよく、このように、複数の演者が出演する場合には、各演者ユーザー毎に演者端末200a、演者端末200b、演者端末200c…を設けるようにしてもよいし、複数人のグループで出演する場合であれば、1つの演者端末200を複数人で使用するようにしてもよい。
【0027】
また、
図1においては、配信用サーバコンピュータ100を単体として図示しているが、本発明はこれに限定されるものではなく、これら配信用サーバコンピュータ100を、仮想空間処理を主に行う第1サーバコンピュータと配信処理を主に行う第2サーバコンピュータ等の複数のサーバコンピュータで構成したり、あるいは、クラウドサーバ等にて構成して、イベントの規模や参加する聴者ユーザーの数等に応じてサーバコンピュータの数を適宜に変更可能としてもよい。
【0028】
同様に、管理者端末150についても、
図1においては単体として図示しているが、本発明はこれに限定されるものではなく、これら管理者端末150を、ライブに仮想参加する演者ユーザーや視聴者ユーザーの数等に応じて複数としてもよいことはいうまでもない。
【0029】
<配信用サーバコンピュータ>
図2は、本実施例1に用いた配信用サーバコンピュータ100の構成を示す図である。本実施例1で用いた配信用サーバコンピュータ100は、上記のように、イベント運営機関が運営するスタジオに設置された比較的処理能力に優れた通常のサーバコンピュータであって、
図2に示すように、データバス108に接続されたプロセッサ(CPU)101、メモリ(RAM)102、ハードディスク等のストレージ103、オープンコンピュータネットワークであるインターネットを介したTCP/IPプロトコルによる双方向に通信が可能な通信インターフェイス(I/F)104と、キーボード等の入力装置等を接続可能な入出力インターフェイス(I/F)105を有している。
【0030】
尚、本実施例1では、ローカル操作を可能とするために、入出力インターフェイス(I/F)105を設けているが、通信インターフェイス(I/F)104を介してのリモート操作が可能である場合には、入出力インターフェイス(I/F)105を設けない形態としてもよい。
【0031】
配信用サーバコンピュータ100のストレージ103には、図示しないサーバ機能を提供するためのオペレーションシステム(サーバOS)に加えて、
図3に示すように、各種のデータやプログラムが記憶されている。具体的には、主に、ライブイベントを管理するイベント管理機能を提供するためのイベント管理プログラム110、仮想空間である仮想ライブ会場の仮想空間を提供するための仮想空間生成プログラム120、演者ユーザーを管理する演者ユーザー管理機能を提供するための演者ユーザー管理プログラム130と、視聴者ユーザーを管理する視聴者ユーザー管理機能を提供するための視聴者ユーザー管理プログラム132と、が記憶されている。
【0032】
イベント管理プログラム110は、管理者端末150と協同して仮想ライブ会場(
図12参照)で開催されるイベントである仮想ライブを管理するためのプログラムであって、該イベント管理プログラム110とともにストレージ103に記憶されているイベントデータ111(
図7参照)、タイムスケジュールデータ(TSデータ)112、楽曲データ113を使用して仮想ライブイベントの進行を管理可能とされている。
【0033】
本実施例1に用いたイベントデータ111を、
図7に例示する。イベントデータ111は、イベントに固有に付与されたイベントIDに対応付けて、イベント名、タイムスケジュール(TS)データのファイル名、出演者である演者ユーザーに固有に付与された演者ID、楽曲リストのファイル名、後述する仮想観客領域の第3領域に仮想参加が許可された特別な視聴者ユーザーの情報が登録されている参加視聴者リストのファイル名と、後述する仮想観客領域の第4領域に仮想参加を予約した視聴者ユーザーの情報が登録されている参加視聴者リストのファイル名等の情報が記憶されている。
【0034】
尚、タイムスケジュールデータ(TSデータ)112は、開催される仮想ライブイベントの進行順序や楽曲等の演目が時系列に記述されたデータとされており、該タイムスケジュールデータ(TSデータ)112に記述されたタイムスケジュールにもとづいて仮想ライブイベントが進行するように管理される。また、これらタイムスケジュールデータ(TSデータ)112やイベントデータ111等は、管理者端末150をイベント管理者Mが操作することによって変更、更新、追加することができる。
【0035】
また、楽曲データ113は、演者ユーザーが歌唱する各楽曲の演奏パート(所謂カラオケ)のデータであって、イベント管理プログラム110によってタイムスケジュールデータ(TSデータ)112にもとづいて、後述する音声制御プログラム124によって再生されて、演者端末200や視聴者端末300に送信される(
図11参照)。
【0036】
仮想空間生成プログラム120は、
図12に示す仮想空間である仮想ライブ会場を提供するためのプログラムであって、該仮想空間生成プログラム120とともにストレージ103に記憶されている仮想ライブ会場の構造等が記述された仮想空間データ121、仮想ライブ会場に配置される種々の物体(ステージ上の星の装飾物である仮想配置オブジェクト43や上空の星のオブジェである仮想空中オブジェクト50~52を含む)等を仮想空間内に配置するためのオブジェクトデータ122、並びに後述する演者ユーザーデータ131に含まれている演者アバターデータおよび視聴者ユーザーデータ133に含まれている視聴者アバターデータとを用いて、演者アバターや視聴者アバターが仮想参加している仮想ライブ会場を提供する機能を有する。
【0037】
視点映像制御プログラム123は、
図12に示すように、仮想ライブ会場に仮想的に設定された仮想カメラC1~C4並びに空中移動仮想カメラ(図示略)からの視点映像を生成する機能を提供するとともに、視聴者端末300と協同して仮想ライブ会場の第3領域にて仮想参加している視聴者アバター11~14、第4領域にて仮想参加している視聴者アバター21~32の各視点からの映像を視聴者端末300に表示する機能を提供するためのプログラムである。尚、仮想カメラC2は、仮想ライブ会場のステージ上にいる演者アバター1の視点からの映像とするために設定された仮想カメラであり、該仮想カメラC2からの視点映像が、演者端末200と協同して該演者端末200に接続された後述するプロジェクタ211によって、スタジオにもうけられているスクリーンSに投影されるようになっている。
【0038】
音声制御プログラム124は、仮想ライブイベントにおいて配信される音声(楽曲を含む)に関する制御を行うためのプログラムであり、具体的には、楽曲データ113の再生機能や演者ユーザーが発した音声を再生した楽曲と合成して管理者端末150や視聴者端末300に配信する機能を提供する。
【0039】
コメント制御プログラム125は、後述する視聴者端末300に記憶されている視聴者用コメント制御プログラムと協同して、仮想ライブイベントにおいて各視聴者ユーザーが視聴者端末300において入力した種々のコメントを、時系列に演者端末200並びに視聴者端末300に表示させる機能を提供する。
【0040】
ギフト制御プログラム126は、後述する視聴者端末300に記憶されている視聴者用プログラムと協同して、視聴者ユーザーから演者ユーザーに贈られるギフトに関する制御を行うためのプログラムであり、具体的には、ギフトデータ134に記憶されている各種ギフトに設定された購入単価の情報にもとづいて視聴者ユーザーがギフトの購入を行う機能や、ギフトデータ134に含まれているギフトのオブジェクトデータを用いて購入したギフトを視聴者ユーザーが演者ユーザーに贈るための処理機能(贈るときの演出等の処理を含む)や、贈られたギフトの所有者を視聴者ユーザーから演者ユーザーに変更するための処理機能等を提供する。
【0041】
演者ユーザー管理プログラム130は、該演者ユーザー管理プログラム130とともにストレージ103に記憶されている
図8に示す演者ユーザーデータ131にもとづいて、演者ユーザーに関する情報の管理機能並びに認証機能等を提供する。
【0042】
本実施例1で用いた演者ユーザーデータ131を、
図8に例示する。演者ユーザーデータ131は、演者ユーザーに固有に付与された演者ユーザーIDに対応付けて、当該演者ユーザーのアカウント(電子メールアドレス)、名称、認証情報、仮想空間において使用するアバターのアバターデータのファイル名、所有しているアイテムが登録されているアイテムリストのファイル名、等の各種情報が記憶されている。尚、
図8には図示していないが、各演者ユーザーが所有しているポイント等の仮想価値の情報を演者ユーザーデータ131として記憶するようにしてもよい。
【0043】
演者ユーザーは、演者ユーザーID、アカウント、認証情報とを照合する等によって認証できるようになっているとともに、各演者ユーザーが視聴者から贈られることで所有することになったアイテム(ギフト)を、アイテムリストから特定できるようになっている。
【0044】
視聴者ユーザー管理プログラム132は、該プログラムとともにストレージ103に記憶されている
図9に示す視聴者ユーザーデータ133にもとづいて、視聴者ユーザーに関する情報の管理機能並びに認証機能等を提供する。
【0045】
本実施例1に用いた視聴者ユーザーデータ133を、
図9に例示する。視聴者ユーザーデータ133は、視聴者ユーザーに固有に付与された視聴者ユーザーIDに対応付けて、当該視聴者ユーザーのアカウント(電子メールアドレス)、認証情報、仮想空間において使用するアバターのアバターデータのファイル名、仮想空間において使用可能なポイントの所有数である所有ポイント、ポイントを使用して購入したアイテム(ギフト)が登録されているアイテムリストのファイル名、氏名、生年月日、電話番号等の個人情報等の各種情報が記憶されている。尚、
図9には示していないが、コメントとともに表示されるニックネーム(コメントネーム)についても視聴者ユーザーデータ133に登録されていて、該ニックネーム(コメントネーム)がコメントとともに表示される。また、ポイントは、例えば、所定の運営会社から購入することで増やすことができる。
【0046】
<演者端末>
図4は、本実施例1の仮想空間コンテンツ配信システムにおける演者端末200の構成例を示す図である。演者端末200は、本実施例1では、
図11に示すように、演者ユーザーが演技動作を行うスタジオに隣接する調整室内に設けられていて、比較的処理能力に優れた通常のコンピュータを使用しており、
図4に示すように、データバス208に接続されたプロセッサ(CPU)201、メモリ(RAM)202、ハードディスク等のストレージ203、オープンコンピュータネットワークであるインターネットを介したTCP/IPプロトコルによる双方向に通信が可能な通信インターフェイス(I/F)204、表示装置A210~表示装置C212が接続されたグラフィックスプロセッシングユニット(GPU)を含む画像処理部206、各種の入出力デバイスが接続された入出力インターフェイス(I/F)205を有している。
【0047】
入出力インターフェイス(I/F)205には、入力デバイスとして、演者ユーザーが左右の手足及び腰に装着している複数の装着センサ220C1~220C5(
図11参照)を含むモーションセンサ220、演者の顔の表情を入力するための撮像カメラで構成される表情入力装置221、演者ユーザーの頭部に装着されている集音マイクにより構成される音声入力装置222、演者ユーザーを補助する補助オペレータOが操作可能に設けられたキーボードやタッチパネル等の操作入力装置224等が接続される。尚、これら入力デバイスとして、演者ユーザーが把持することで種々の操作を行うことが可能なコントローラを設けることで、補助オペレータOによることなく、演者自身が種々の操作を行うことができるようにしてもよい。
【0048】
尚、本実施例1では、演者ユーザーが楽曲に合わせた上演動作(歌唱やダンス等の楽曲動作を含む)を行うため、上演中における操作を補助オペレータOが補助する形態としているが、これら補助オペレータOを複数人としたり、或いは、操作内容を予め演者端末200において、例えば、シーケンスプログラム等に設定しておくことで、補助オペレータOを設けない形態としてもよい。
【0049】
入出力インターフェイス(I/F)205には、出力デバイスとして演者ユーザーが装着している高機能イヤホン(イヤモニ)や調整室に配置されたスピーカー等を含む音声出力装置223が接続されることで、配信用サーバコンピュータ100から送信される再生楽曲の音が高機能イヤホン(イヤモニ)を介して演者ユーザーに対して出力されるとともに、スピーカーからは、演者の音声とともに楽曲音声が出力されることで、演者ユーザーが発した音声を含む楽曲の状況を、補助オペレータO等が調整室において確認することができるようになっている。
【0050】
本実施例1では、演者ユーザーが装着している集音マイクから、再生された楽曲音声が入力されることによる不都合を回避するために高機能イヤホン(イヤモニ)を使用しているが、本発明はこれに限定されるものではなく、楽曲音声が入力されることによる不都合を回避できるのであれば、スタジオ内のスピーカー等から、楽曲音声を出力するようにしてもよい。
【0051】
尚、本実施例1では、集音マイクを演者ユーザーが装着する形態を例示しているが、これら集音マイクを、スタジオの床、壁、又は天井に設置される設置型のものとしてもよい。
【0052】
ここで、本実施例1の演者端末200で使用したモーションセンサ220について説明する。モーションセンサ220は、演者ユーザーの体の動き(動作)を適切に検出(計測)できるものであれば、任意のものを使用することができる。本実施例1では、演者の動作をより正確且つ短周期で検出可能とするために、演者ユーザーが体に装着する複数の装着センサ220C1~220C5を使用している。尚、モーションセンサ220を、レーザー光等を用いたLiDER等の演者が機器を装着しないタイプのものを使用してもよい。
【0053】
尚、本実施例1では、演者ユーザーが上演動作をする際のセンサ等の装着による動作負担、特には、頭部の動作負担を軽減するために、演者ユーザーの頭部の動作を、後述するように、表情入力装置221を構成する撮像カメラにて撮像された画像を用いた画像認識によって検出し、頭部以外の動作を5つの装着センサ220C1~220C5を使用した形態を例示しているが、例えば、演者ユーザーの頭部等にも装着センサを設けたり、更に、より詳細な動作を検出するために、より多く(7以上)の装着センサを装着するようにしてもよい。
【0054】
装着センサ220C1~220C5は、
図11に示すように、隣接する調整室とガラス窓を隔てたスタジオルーム内に設置されているベースステーション220a及びベースステーション220bと協働して、自らの位置及び向きを検出する。
【0055】
これらベースステーション220a及びベースステーション220bは、一例として、多軸レーザーエミッターを使用できる。ベースステーション220aは、同期用の点滅光を発した後に、例えば鉛直軸の周りでレーザー光を走査する。ベースステーション220bは、例えば水平軸の周りでレーザー光を走査する。
【0056】
装着センサ220C1~220C5はそれぞれ、ベースステーション220a及びベースステーション220bからの点滅光及びレーザー光の入射を検知する光センサを複数備えていてもよい。
【0057】
装着センサ220C1~220C5はそれぞれ、点滅光の入射タイミングとレーザー光の入射タイミングとの時間差、各光センサでの受光時間、各光センサが検知したレーザー光の入射角度、及び必要に応じてこれら以外の情報に基づいて、自らの位置及び向きを検出可能とされており、例えば、HTC CORPORATIONから提供されているViveTrackerや、ベースステーションを好適に使用することができる。
【0058】
ベースステーション220a及びベースステーション220bは、一定のインターバルで点滅光の発光及びレーザー光の走査を行うので、各装着センサ220C1~220C5の検出情報は、当該インターバルごとに更新される。そして、これら装着センサ220C1~220C5の各々において算出された各モーションセンサの位置及び向きを示す検出情報は、近距離無線通信によって演者端末200に入力され、フェイスモーションの情報とともに、演者アバター情報として配信用サーバコンピュータ100に送信される(
図10参照)。
【0059】
尚、本実施例1では、ベースステーション220a及びベースステーション220bの2つのベースステーションを使用した形態を例示しているが、本発明はこれに限定されるものではなく、これらベースステーションを3つ以上としてもよい。
【0060】
また、モーションセンサ220を、演者ユーザーに装着される複数のモーションセンサの各々に多数の赤外LED或いは可視光LEDを搭載し、これらのLEDからの光を、スタジオの床や壁に設けられた赤外線カメラで検知することで、当該モーションセンサの各々の位置及び向きを検出してもよい。
【0061】
また、モーションセンサ220を、演者ユーザーの負担を軽減するために、装着センサ220C1~220C5に代えて、より軽量な反射マーカーを用いたモーションセンサを使用してもよい。つまり、演者ユーザーの身体の各部に粘着テープなどにより貼着された反射マーカーを撮影して撮影データを生成し、この撮影データを画像処理することにより、反射マーカーの位置及び向きを検出することで、演者ユーザーの動作を検出するものであってもよく、この場合にあっては、スタジオ内に演者ユーザーを撮影するカメラマンを配置して、該カメラマンが演者ユーザーを撮影することで、演者ユーザーの動作を、検出に適した方向から撮影することで、良好に検出できるようにしてもよい。
【0062】
また、モーションセンサ220として、慣性センサが内蔵されたスーツ、例えば、Xsens.com社が上市しているMVNモーションキャプチャシステム用の慣性センサ内蔵スーツを使用し、慣性センサから出力されるセンサ信号を解析することにより、演者ユーザーの動作を検出するものであってもよい。
【0063】
表情入力装置221は、演者ユーザーの顔を含む頭部の動作を適切に検出できるものであれば、任意のものを使用することができる。本実施例1では、具体的には、演者ユーザーの顔を含む頭部画像を連続的に撮像可能に配置された撮像カメラ(デジタルカメラ)にて構成されており、該撮像カメラにて撮像された演者ユーザーの頭の動きと顔の動き(表情)を、画像認識にて検知し、該検知した頭の動きと顔の動き(表情)であるフェイスモーションの情報が、
図10に示すように、ボディモーションの情報とともに演者アバター情報として配信用サーバコンピュータ100に送信される。
【0064】
尚、表情入力装置221は、本実施例1で使用した撮像カメラ(デジタルカメラ)に限定されるものではなく、例えば、表情入力装置221は、人物の顔の奥行きを検出可能な3Dカメラであってもよいし、例えば、LiDERデバイスが搭載されたスマートフォン等の携帯端末を使用することもできる。この場合、これらの携帯端末を演者ユーザーが装着するようにしてもよい。
【0065】
本実施例1の演者端末200では、上記のように、3つの表示装置A210~表示装置C212を有しており、表示装置A210は、
図11示すように、調整室に設けられている液晶モニター等であり、表示装置B211は、スタジオ内に設けられたスクリーンSに映像を投影するプロジェクタであり、表示装置C212は、スタジオ内にスクリーンSに隣接して設けられた縦型の大型ディスプレイである。
【0066】
スタジオの調整室内に配置されている表示装置A210には、仮想カメラC1~C4の各視点からの映像や後述するフライング演出期間における空中移動仮想カメラからの視点映像と、コメントの内容と、補助オペレータOが演者ユーザーに伝達したいメッセージを入力するメッセージ入力ウインドウ等が表示される。
【0067】
一方、スタジオ内に設けられた表示装置B211であるプロジェクタから投影されるスクリーンSには、演者の視点である仮想カメラC2(
図12参照)の視点映像である、例えば、
図15に示すように、第3領域や第4領域においてライブに仮想参加している視聴者のアバターを含む映像が表示されることで、演者ユーザーが、仮想ライブに仮想参加している視聴者ユーザーの状況を、映像によって確認できるようになっている。
【0068】
また、スタジオ内に設けられた表示装置C212には、視聴者ユーザーのコメントや、補助オペレータOが入力したコメントやメッセージ等が表示されることで、演者ユーザーが、上演中においても視聴者ユーザーのコメントを確認したり、補助オペレータOからのメッセージを確認することができる。
【0069】
ストレージ203には、演者端末200であるコンピュータを動作させるためのオペレーションシステム(OS)に加えて、プロセッサ(CPU)201等が実行することで仮想空間コンテンツである仮想ライブにおける演者ユーザーによる演者アバター1の動作制御機能を初めとする各種機能を、配信用サーバコンピュータ100と協働して提供するための演者用プログラムが記憶されている。
【0070】
演者用プログラムは、
図4に示すように、演者アバター制御プログラム、演者用視点映像制御プログラム、演者用視点映像制御プログラム、演者用音声制御プログラム、演者用コメント制御プログラム、演者認証用データ等を含む。
【0071】
演者アバター制御プログラムは、主に、モーションセンサ220を用いて演者ユーザーのボディモーションをスキャンするとともに、表情入力装置221を用いて演者ユーザーのフェイスモーション(表情)をスキャンして、演者アバターを動作させるための演者アバター情報を生成して配信用サーバコンピュータ100に送信する機能を提供するプログラムである。
【0072】
演者用視点映像制御プログラムは、配信用サーバコンピュータ100から配信される仮想空間更新データにもとづいて演者視点である仮想カメラC2の視点映像を生成、出力する機能を提供するプログラムである。
【0073】
演者用音声制御プログラムは、配信用サーバコンピュータ100から配信される再生楽曲データにもとづく楽曲の再生音を、音声出力装置223を介して出力するとともに、音声入力装置222から入力される音声をデータ化して演者音声データとして配信用サーバコンピュータ100に送信し、楽曲の再生音と演者音声とからなるモニター音声を生成、出力する機能を提供するプログラムである。
【0074】
演者用コメント制御プログラムは、配信用サーバコンピュータ100から配信される視聴者ユーザーによる各コメント等を表示する機能を提供するプログラムである。
【0075】
演者認証用データは、配信用サーバコンピュータ100との通信接続において演者ユーザーが本人であることを認証するためのデータである。
【0076】
尚、演者アバター制御プログラムには、演者アバターデータに含まれる演者アバターの骨格を示すリグデータ(スケルトンデータ」と呼ばれることもある。)を構成する骨( ボーン) の位置及び回転角度のパラメータ情報を生成可能なモーションパラメータ生成プログラム等が含まれているとともに、撮像カメラによって撮像された画像から演者ユーザーの頭部の位置と表情とを画像認識するための画像認識処理プログラム等が含まれている。
【0077】
また、本実施例1では、演者端末200は、イベント運営機関が運営するスタジオに設置された演者端末200となるコンピュータを、複数の演者ユーザーが共同で利用し、ライブイベントを開催するときにおいて、個々の演者ユーザーが、演者認証用データを入力することで当該演者ユーザーの演者端末200として利用できるようにした形態を例示しているが、本発明はこれに限定されるものではなく、例えば、演者ユーザーが自宅等から仮想ライブに出演する場合であって、演者端末200が、演者ユーザーが自宅に設置している自分専用のコンピュータである場合のように、所有する演者ユーザーのみが利用する形態であってもよく、このような場合には、演者認証用データの記憶は必ずしも必要ない。
【0078】
このように、本実施例1の仮想空間コンテンツ配信システムを構成する演者端末200を演者ユーザー等が使用することで、演者ユーザーは、仮想ライブ会場における仮想ステージG上に配置された演者アバター1を、自身の動作に連動して動作させることができるとともに、演者アバター1の表情に自身の表情を反映させることができる。また、自分の声を演者アバター1の声として、配信用サーバコンピュータ100を通じて視聴者に配信することができる。
【0079】
<視聴者端末>
図5は、本実施例1の仮想空間コンテンツ配信システムにおける視聴者端末300の構成例を示す図である。視聴者端末300は、本実施例1では、視聴者ユーザーが携行するスマートフォンPや視聴者ユーザーが自宅等に設置している据え置き型の通常のコンピュータ(PC)とされており、
図5に示すように、データバス308に接続されたプロセッサ(CPU)301、メモリ(RAM)302、ハードディスクや不揮発性メモリ等のストレージ303、オープンコンピュータネットワークであるインターネットを介したTCP/IPプロトコルによる双方向に通信が可能な通信インターフェイス(I/F)304、表示装置310が接続されたグラフィックスプロセッシングユニット(GPU)を含む画像処理部306、各種の入出力デバイスが接続された入出力インターフェイス(I/F)305を有している。
【0080】
表示装置310は、後述するように、ストレージ303に記憶されている視聴者用プログラムに含まれる視聴者用視点映像制御プログラムによって、配信用サーバコンピュータ100から配信される仮想空間更新データ(
図10参照)によって更新される仮想空間である仮想ライブ会場の仮想空間データにもとづいて生成される各視点映像や、後述するフライング演出期間において配信用サーバコンピュータ100から配信されるフライング視点映像を表示可能なものであればよく、視聴者端末300がスマートフォンPである場合は、該スマートフォンPが有するディスプレイが該当し、視聴者端末300が通常のコンピュータ(PC)であれば、コンピュータ(PC)を構成する据え置き型のディスプレイが該当する。尚、これらディスプレイは、平面視画像(2D画像)を表示するものに限らず、例えば、視聴者が装着可能なヘッドマウントディスプレイ(HMD)のように、右目画像と左目画像とを表示することで、立体視画像(3D画像)を表示可能なものであってもよい。
【0081】
入出力インターフェイス(I/F)305には、入力デバイスとして、視聴者が各種の操作が可能とされた1または複数のデバイスからなる操作入力装置321と、配信用サーバコンピュータ100から配信されるライブ音声等を出力可能なイヤホンやスピーカー等の音声出力装置322が接続される。
【0082】
尚、音声出力装置322は単独のデバイスではなく、上記したヘッドマウントディスプレイ(HMD)のように表示装置310と一体とされたものであってもよいことはいうまでもない。
【0083】
操作入力装置321は、視聴者が視聴者アバターの移動等を含む動作操作、ズーム操作、コメントに関する操作、ギフト等に関する操作等、の各種操作を実行可能なものであれば任意のものを使用することができ、例えば、スマートフォンのディスプレイ表面に形成された透明タッチパネル、コンピュータを構成するキーボード、ゲームコントローラ等の少なくとも1つ以上で構成される。
【0084】
尚、本実施例1では、視聴者として、後述するように、仮想ライブ会場における仮想観客領域が、
図12に示すように、演者ユーザーによって特別に許可された視聴者ユーザーだけが仮想参加できる仮想ステージG近傍の第3領域と、一般の視聴者ユーザーが仮想参加できる第3領域周囲の第4領域とに区分けされており、第4領域に仮想参加する視聴者ユーザーは、上記したように、タッチパネル、キーボード、ゲームコントローラ等の操作入力装置321であればよいが、第3領域に仮想参加する視聴者ユーザーは、操作入力装置321として、例えば、上述した慣性センサが内蔵されたMVNモーションキャプチャスーツを所有していることで、演者ユーザーと同様に、視聴者アバターを自身の動作によって細かく動作させることのできる視聴者ユーザーである。
【0085】
但し、第3領域に仮想参加が許可された視聴者ユーザーであっても、視聴者アバターの表情を変更することまではできないが、本発明はこれに限定されるものではなく、これら視聴者アバターの表情を、例えば、上記したように、視聴者ユーザーがスマートフォンのカメラ機能やコンピュータに接続したカメラを使用して視聴者ユーザーの顔の表情を認識させることで、演者ユーザーの変更レベルとは異なるレベルであっても、変更できるようにしてもよい。
【0086】
尚、これら入出力インターフェイス(I/F)305に接続される各種の入出力デバイスは、内蔵のものであっても外付けのものあってもよく、外付けのデバイスの場合には、有線、無線のいずれの接続形態であってもよい。
【0087】
ストレージ303には、視聴者端末300であるスマートフォンやコンピュータを動作させるためのオペレーションシステム(OS)に加えて、プロセッサ(CPU)301等が実行することで仮想空間コンテンツである仮想ライブにおける視聴者ユーザーに関するライブ視聴機能を初めとする各種機能を、配信用サーバコンピュータ100と協働して提供するための視聴者用プログラムが視聴アプリとして記憶されている。
【0088】
視聴者用プログラムは、
図5に示すように、表示装置310に表示する仮想ライブの各視点映像を生成する機能を提供する視聴者用視点映像制御プログラム、配信用サーバコンピュータ100から配信される仮想ライブのライブ音声(データ)に基づくライブ音声を音声出力装置322から出力する機能を提供する視聴者用音声制御プログラム、配信用サーバコンピュータ100から配信されるコメントデータにもとづくコメントを表示するとともに、視聴者が入力するコメントと配信用サーバコンピュータ100に送信する等のコメントに関する機能を提供する視聴者用コメント制御プログラム、配信用サーバコンピュータ100との通信接続において視聴者ユーザーが本人であることを認証するための視聴者認証用データ等を含む。
【0089】
尚、
図5には図示していないが、上記したプログラム以外に、ギフトに関する制御等を行うギフト制御プログラムや、後述する変形例3-1(
図42,
図43参照)に示すように、ライブイベントの開始前において事前に仮想ライブ会場において視聴者アバターが仮想参加する領域(位置)を予約するための領域指定プログラム等が含まれているが、これら以外の他のプログラムが含まれていてもよい。
【0090】
視聴者が入力するコメントは、本実施例1では、テキスト形式の短文メッセージとされているが、これらテキスト形式の短文メッセージに限定されるものではなく、例えば、静止画形式のメッセージ、動画形式のメッセージ、及びこれら以外の任意の形式の電子的なメッセージであってもよい。尚、コメントは、表示装置310において各視点映像に重ねて表示される。
【0091】
このように、本実施例1の仮想空間コンテンツ配信システムを構成する視聴者端末300視聴者ユーザーが使用することで、仮想ライブ会場に仮想参加している視聴者アバターを移動や動作させて、視聴者アバターによる視点を変更することで表示装置310に表示される視点映像を変更することができるとともに、ズーム状態(視点の状態)についても変更することができ、視聴者アバターを動作させて演者アバター1を応援することができる。
【0092】
尚、第3領域に仮想参加した視聴者アバターの場合は、第3領域内においてだけ移動が可能とされていて、第4領域には移動することはできない。一方、第4領域に仮想参加した視聴者アバターの場合は、第4領域内においてだけ移動が可能とされていて、第3領域には移動することはできない。但し、本発明はこれに限定されるものではなく、3領域に仮想参加した視聴者アバターの場合は第4領域に移動できるようにしてもよい。尚、視聴者アバターは、当然、仮想ステージG等には移動することができないので、演者アバター1の視認が仮想ステージG上に視聴者アバターが移動することによって阻害されてしまうことはない。
【0093】
また、これら表示装置310に視点映像が表示されるともに、ライブ音声が出力されることで、自分が仮想ライブ会場に立ち会っているような感覚で、仮想ライブを楽しむことができる。
【0094】
また、詳しい説明は省略するが、視聴者用コメント制御プログラムにより提供されるコメント機能によって、自分や他の視聴者ユーザーが入力したコメントを確認しながら仮想ライブを楽しむことができるとともに、ギフト制御プログラムによるギフト機能によって、自分が所有しているアイテムを演者アバター1に贈ることで、仮想ライブを盛り上げることもできる。
【0095】
<管理者端末>
図6は、本実施例1の仮想空間コンテンツ配信システムにおける管理者端末150の構成例を示す図である。管理者端末150は、本実施例1では、演者端末200とともに、スタジオに隣接している調整室内に設けられた通常のコンピュータを使用しており、
図6に示すように、データバス158に接続されたプロセッサ(CPU)151、メモリ(RAM)152、ハードディスク等のストレージ153、オープンコンピュータネットワークであるインターネットを介したTCP/IPプロトコルによる双方向に通信が可能な通信インターフェイス(I/F)154、表示装置160が接続されたグラフィックスプロセッシングユニット(GPU)を含む画像処理部156、各種の入出力デバイスが接続された入出力インターフェイス(I/F)155、を有している。
【0096】
表示装置160は、後述するように、ストレージ153に記憶されている管理者用プログラムに含まれる管理者用視点映像制御プログラムによって、配信用サーバコンピュータ100から配信される仮想空間更新データ(
図10参照)によって更新される仮想空間である仮想ライブ会場の仮想空間データにもとづいて生成される、後述する各仮想カメラC1~C4並びにフライング演出期間における空中移動仮想カメラの各視点映像を個別に表示可能であるとともに、配信用サーバコンピュータ100から配信されるコメントデータにもとづくコメントを表示可能なものであればよく、1または複数の据え置き型のディスプレイによって構成されている。
【0097】
入出力インターフェイス(I/F)155には、入力デバイスとして、イベント管理者Mが各種の操作が可能とされた1または複数のデバイスからなる操作入力装置161と、配信用サーバコンピュータ100から配信されるライブ音声等を出力可能なイヤホンやヘッドホンやスピーカー等の音声出力装置162が接続される。
【0098】
操作入力装置161は、イベント管理者Mが、仮想ライブのイベントに関する入力や設定等の各種操作を実行可能なものであれば任意のものを使用することができ、例えば、コンピュータを構成するキーボードや、ディスプレイ表面に形成された透明タッチパネルや視点切替コントローラ等の少なくとも1つ以上で構成される。
【0099】
尚、これら入出力インターフェイス(I/F)155に接続される各種の入出力デバイスは、有線、無線のいずれの接続形態であってもよい。
【0100】
ストレージ153には、管理者端末150であるコンピュータを動作させるためのオペレーションシステム(OS)に加えて、プロセッサ(CPU)151等が実行することで仮想空間コンテンツである仮想ライブの配信に関する配信管理機能を初めとする各種機能を、配信用サーバコンピュータ100と協働して提供するための管理者用プログラムが記憶されている。
【0101】
管理者用プログラムは、
図6に示すように、管理者用視点映像制御プログラム、管理者用音声制御プログラム、管理者用コメント制御プログラム、視聴者管理プログラム、演者管理プログラム等を含む。
【0102】
管理者用視点映像制御プログラムは、表示装置160に表示する各仮想カメラからの視点映像を生成する機能並びに各視点の変更や切替機能を提供するプログラムである。
【0103】
管理者用音声制御プログラムは、配信用サーバコンピュータ100から配信される仮想ライブの音声データに基づくライブ音声を音声出力装置162から出力する機能を提供するプログラムである。
【0104】
管理者用コメント制御プログラムは、配信用サーバコンピュータ100から配信されるコメントデータにもとづくコメントを表示するとともに、配信を禁止するコメントや視聴者を選択して配信されないようにする等のコメントに関する機能を提供するプログラムである。
【0105】
視聴者管理プログラムは、仮想ライブに仮想参加する視聴者ユーザーを管理するためのプログラムであり、演者管理プログラムは、仮想ライブに仮想参加する演者ユーザーを管理するためのプログラムである。
【0106】
尚、
図6には図示していないが、操作者である管理者が本人であるか否かを認証するための認証用プログラムや、仮想ライブのタイムスケジュールや楽曲順等を編集するためのスケジュール用プログラム等が含まれているが、これら以外のプログラムが含まれていてもよい。
【0107】
このように、本実施例1の仮想空間コンテンツ配信システムを構成する管理者端末150をイベント管理者Mが操作することによって、イベントを実行するための種々の設定、例えば、演目や楽曲順、演出に関する設定や、タイムスケジュール、フライング演出期間において空中移動仮想カメラが移動する軌道等の各種設定を実施できるようになっており、このようにして設定された内容にもとづいて仮想ライブが管理されるようになっている。
【0108】
<仮想ライブ会場>
本実施例1で使用した仮想空間である仮想ライブ会場を
図12に示す。仮想ライブ会場は、
図12に示すように、現実空間におけるライブ会場と同様に、演者ユーザーが演者アバター1として登壇する仮想ステージGと、観客となる視聴者ユーザーが視聴者アバターとして仮想参加する仮想観客領域とを有する仮想空間とされている。
【0109】
仮想ステージGは、
図12に示すように、比較的広い面積の台形状の床面を有しており、現実空間のライブ会場と同様に、演者アバター1が仮想ステージG上を移動できる。仮想ステージGの仮想客席方向とは逆方向側には、
図12に示すように、中央部と右側部と左側部とに3分割された仮想ステージ壁が形成されており、これら仮想ステージ壁の前面に、仮想ディスプレイ40、41、42が設けられていて、該仮想ディスプレイ40、41、42に、演出用の画像や映像が仮想表示されるようになっている。
【0110】
尚、仮想ディスプレイ40、41、42の間には、演者ユーザーに関係する星の仮想配置オブジェクト43が配置されているとともに、仮想ステージG上の領域であって仮想ステージ壁に囲まれた第1領域よりも上方の領域である第2領域には、
図12に示すように、大きな星の仮想空中オブジェクト50~52が配置されている。尚、仮想空中オブジェクト50~52は、第2領域内を移動できるようになっている。
【0111】
仮想ステージGの前側には、視聴者ユーザーが視聴者アバターとして仮想ライブ会場に仮想参加できる仮想観客領域が設けられている。この仮想観客領域は、
図12に示すように、演者アバター1が登壇する仮想ステージGの中央に近い特別領域である第3領域と、第3領域を囲むように形成された領域であって仮想ステージGの中央からの距離が第3領域よりも大きい第4領域とが設けられている。
【0112】
これら第3領域には、所定の上限数の範囲内で、仮想参加が許可された特別な視聴者ユーザーが仮想参加可能とされていて、本実施例1では、
図12に示すように、例えば、所定の仮想参加実績を満たすとともに演者ユーザーによって仮想参加が許可された4人の視聴者ユーザーの視聴者アバター11~14が配置されている。
【0113】
また、第4領域には、仮想ライブの開始前において仮想参加を予約した一般の視聴者ユーザーの視聴者アバター21~32が配置されている。尚、
図12において、視聴者アバター21~32は、便宜上、簡素化して表示しているが、視聴者アバター11~14と同様のアバターである。
【0114】
尚、第3領域に配置された各視聴者アバター11~14は、視聴者ユーザーが視聴者端末を操作することで、該第3領域内を移動することが可能とされているとともに、第4領域に配置された各視聴者アバター21~32も、視聴者ユーザーが視聴者端末を操作することで、該第4領域内を移動することが可能とされている。
【0115】
仮想ライブ会場には、
図12に示すように、4つの仮想カメラC1~C4が仮想配置(設定)されている。仮想カメラC1は、演者アバター1の正面位置に、演者アバター1に対面するように仮想配置された仮想カメラであり、仮想カメラC1による視点映像は、
図13(a)に示すように、演者アバター1を正面近傍位置から見た視点映像となる。
【0116】
仮想カメラC2は、演者アバター1の頭上に仮想配置(設定)されたカメラであり、該仮想カメラC2による視点映像は、
図15に示すように、演者アバター1から仮想観客領域を見た演者視点映像となる。
【0117】
仮想カメラC3は、演者アバター1の斜め後方の仮想ディスプレイ41上に仮想配置された仮想カメラであり、仮想カメラC3による視点映像は、
図13(c)に示すように、演者アバター1の斜め後方から仮想観客領域を見た視点映像となる。
【0118】
仮想カメラC4は、演者アバター1の斜め後方の仮想ディスプレイ42上に仮想配置された仮想カメラであり、仮想カメラC4による視点映像は、
図13(b)に示すように、演者アバター1の斜め後方から仮想観客領域を見た視点映像となる。
【0119】
また、本実施例1では、固定配置(設定)された仮想カメラC1~C4に加えて、仮想空間である仮想ライブ会場の空間内を空中移動可能に設定された空中移動仮想カメラ(図示略)が仮想配置されている。これら空中移動仮想カメラが移動する空中軌道並びに空中軌道上の個々の位置における視点方向(アングル)等は、管理者端末150によって予め設定されていて、後述するフライング演出期間において、演者アバター1が空中移動仮想カメラの空中軌道を追随するように仮想飛翔することで、仮想飛翔する演者アバター1を空中移動仮想カメラで捉えた視点映像が生成されるようになっている。
【0120】
尚、本実施例1では、
図12に示すように、固定配置(設定)された仮想カメラとして4つの仮想カメラC1~C4を仮想配置した形態を例示しているが、本発明はこれに限定されるものではなく、これら固定配置(設定)された仮想カメラを5以上としてもよいし、逆に、固定配置(設定)された仮想カメラを設けることなく、仮想ライブ会場に仮想参加した各アバターに対応した視点から見た視点映像だけが、演者端末200や視聴者端末300に表示されるようにしてもよい。
【0121】
また、本実施例1では、空中移動仮想カメラを1つとした形態を例示しているが、本発明はこれに限定されるものではなく、これら空中移動仮想カメラを複数とした形態としてもよいし、逆に、空中移動仮想カメラを仮想配置しない形態としてもよい。
【0122】
<スタジオ>
図11は、本実施例1において使用したスタジオを示す図であり、スタジオには、前述したようにガラス窓を隔てた調整室が隣接して設けられており、演者ユーザーがスタジオ内で歌唱に対応した各動作を行うとともに、補助オペレータOが調整室に設置されている演者端末200の操作等を補助する。装着センサ220C1~220C5を装着した演者ユーザーの周囲には、ベースステーション220aとベースステーション220bとがスタンドに搭載配置されているとともに、演者ユーザーのほほ正面位置には、表情入力装置221を構成する撮像カメラがスタンドに搭載配置されている。
【0123】
演者ユーザーがスタジオ内で対峙する壁面にはスクリーンSが設けられており、スタジオの天井に配置されたプロジェクタ(表示装置B211)から、仮想カメラC2の視点映像がスクリーンSに投影されることで、
図15に示すように、演者アバター1から仮想観客領域を見た視点映像がスクリーンSに表示されるようになっており、演者ユーザーが、仮想観客領域において仮想参加している視聴者アバターの様子(ライブに対する視聴者の反応)を逐次、把握しながらライブを進めることができるようになっている。
【0124】
また、スクリーンSの側方位置には、表示装置C212としての縦型の大型ディスプレイが配置されていて、該大型ディスプレイに視聴者のコメントや補助オペレータOが演者ユーザーに伝達したいメッセージ等が表示されるようになっている。尚、表示装置C212には、ライブにおいて演者が歌唱する楽曲の歌詞や、セリフ等の情報(演者支援情報)が表示されるようにしてもよい。
【0125】
<仮想空間コンテンツ配信システムの動作>
図10は、本実施例1の仮想空間コンテンツ配信システムの動作、具体的には、仮想ライブの映像や音声が配信される流れを説明する説明図である。
【0126】
まず、映像系について説明する。配信用サーバコンピュータ100は、前述したように、仮想空間生成プログラム120および演者ユーザーや視聴者ユーザーのアバターデータ等にもとづいて仮想ライブ会場の仮想空間を提供可能とされており、これら演者ユーザーや視聴者ユーザーの各アバターの動作等が、演者端末200から送信される演者アバター情報や、視聴者端末300から送信される視聴者アバター情報によって仮想空間の状態が記述された仮想空間データが更新されることで、演者ユーザーの動作が演者アバター1の動作に反映されるとともに、視聴者ユーザーの動作(操作)が視聴者アバターの動作に反映される。
【0127】
尚、
図10には示していないが、演者端末200並びに視聴者端末300には、仮想ライブに仮想参加するために配信用サーバコンピュータ100と通信接続することに伴って、配信用サーバコンピュータ100から仮想ライブ会場の仮想空間データが事前に配信されて記憶されており、このようにして事前に記憶されている仮想空間データが、後述するように、配信用サーバコンピュータ100から逐次配信される仮想空間更新データによって順次更新されることで、仮想ライブ会場の最新の状態を、演者端末200並びに視聴者端末300にて特定できるようになっている。
【0128】
具体的には、前述したスタジオにおける演者ユーザーの動作や表情は、前述した演者アバター制御プログラムによるボディモーションスキャン並びにフェイスモーションスキャンの各機能によって所定時間間隔にてスキャンされて演者アバター情報が生成されて配信用サーバコンピュータ100に送信される。
【0129】
一方、第3領域に仮想参加が許可された視聴者ユーザーは、演者と同様に、モーションセンサを使用しているため、ボディモーションスキャン並びにフェイスモーションスキャンの各機能によって所定時間間隔にてスキャンされて視聴者アバター情報が生成されて配信用サーバコンピュータ100に送信される。
【0130】
また、第4領域に仮想参加が許可された視聴者ユーザーは、視聴者端末300のタッチパネルやキーボードやコントローラを使用して、移動操作、視点方向の変更操作、視点状況(ズーム)の変更操作、手を挙げる操作、手をたたく操作、跳ねる操作等の各種の操作を行うことで、視聴者アバターに対応する動作をさせることができる。そして、これら各操作のうち、視聴者アバターの動作に関係する操作にもとづいて視聴者アバター情報が生成されて配信用サーバコンピュータ100に送信される。
【0131】
尚、第3領域に仮想参加している視聴者ユーザーも、移動や視点状況(ズーム)の変更操作、手を挙げる操作、手をたたく操作、跳ねる操作等の各種の操作を、コントローラ等を使用して実行することができ、この場合、各動作に対応したメニュー項目が表示され、該各動作に対応したメニュー項目をコントローラ等を使用して選択することができる。
【0132】
このように、視聴者端末300においては、視聴者アバターに行わせる各動作に対応した操作を受付けるアバター動作操作処理が実行される。尚、アバター動作操作処理においては、上記した各動作に対応したメニュー項目の表示や消去等の処理も含まれている。
【0133】
このようにして演者端末200から送信される演者アバター情報や視聴者端末300から送信される視聴者アバター情報にもとづいて、配信用サーバコンピュータ100は、仮想空間データを更新する仮想空間更新処理を実行することで、仮想ライブ会場に仮想参加している各アバターに演者ユーザーの動作や視聴者ユーザーの動作(操作)を反映させる。
【0134】
そして、更新前の仮想空間データと更新後の仮想空間データとにもとづいて仮想空間更新データを生成する仮想空間更新データ生成処理を実行した後、該生成した仮想空間更新データを演者端末200と視聴者端末300とに配信する。
【0135】
仮想空間更新データが配信された演者端末200と視聴者端末300においては、
図10に示すように、配信されてきた仮想空間更新データにもとづいて、事前記憶されている仮想空間データが更新されるとともに、該更新された仮想空間データを使用した演者視点映像生成処理や視聴者視点映像生成処理が実行されることで、更新された仮想空間データにもとづく演者視点映像や視聴者視点映像が生成されて、該生成された演者視点映像や視聴者視点映像が演者端末200と視聴者端末300において表示される(視聴者視点映像出力処理)。
【0136】
このように、本実施例1では、視聴者アバターにより仮想ライブ会場に仮想参加している各視聴者ユーザーの視点映像は、各視聴者ユーザーの視聴者端末300側で生成されて表示されることで、これら各視聴者ユーザーの視聴者アバター視点映像を配信用サーバコンピュータ100で生成することにより配信用サーバコンピュータ100の処理負荷が著しく大きくなって、多くの視聴者ユーザーが仮想ライブに参加できなくなってしまうことを回避できるとともに、処理負荷が増大することによって配信が困難となってしまうことを回避できるようになっている。
【0137】
本実施例1では、仮想ステージG上の演者アバター1に近い第3領域にて仮想参加している視聴者アバター13の視聴者ユーザーの視聴者端末300の表示装置310には、
図13(d)に示すように、演者アバター1に近い視聴者アバター13から見た視点映像である演者アバター1のほぼ正面が大きく表示される視点映像が生成されて表示される一方、仮想ステージG上の演者アバター1から遠い第4領域であって、例えば、視聴者アバター13の後方位置において仮想参加している視聴者アバター28の視聴者ユーザーの視聴者端末300の表示装置310には、
図13(e)に示すように、演者アバター1から遠い視聴者アバター28から見た視点映像である、第3領域にて仮想参加している視聴者アバター13や視聴者アバター14越しに、演者アバター1のほぼ正面が相対的に小さく見える視点映像が表示される。
【0138】
また、上面視コ字状に設定されている第4領域の仮想ステージGの端側位置において仮想参加している視聴者アバター32の視聴者ユーザーの視聴者端末300の表示装置310には、
図13(f)に示すように、演者アバター1の斜め前方位置の視聴者アバター32から見た視点映像である、第3領域にて仮想参加している視聴者アバター14越しに、演者アバター1が相対的に小さく見える視点映像が表示される。
【0139】
尚、
図13に示す表示例は、いずれも、視聴者端末300が据置型のコンピュータ(PC)であって表示装置310が、据置型のディスプレイである場合を例示しているが、例えば、視聴者端末300がスマートフォンPやタブレット等である場合には、仮想カメラC1の視点映像の場合には、
図14(a)に示すように表示されるとともに、該視聴者端末300が視聴者アバター13の視聴者端末300である場合には、
図14(b)に示すように表示される。
【0140】
次に、音声系について説明すると、配信用サーバコンピュータ100においてタイムスケジュールデータ(TSデータ)112にもとづいて楽曲データ113が音声制御プログラム124によって再生され、再生楽曲(データ)として演者端末200に送信される(楽曲再生処理)。
【0141】
演者端末200においては、配信用サーバコンピュータ100から送信された再生楽曲(データ)による楽曲音声が、演者ユーザーが装着している高機能イヤホン(イヤモニ)を通じて該演者ユーザーに対して出力されるとともに(再生楽曲出力処理)、該出力された再生楽曲に合わせて演者ユーザーが歌唱することで、集音マイク(音声入力装置222)から入力される演者音声がデータ化されて演者音声(データ)として配信用サーバコンピュータ100に送信される。
【0142】
配信用サーバコンピュータ100は、演者端末200から受信した演者音声(データ)による演者音声と前述した楽曲再生処理にて再生した再生楽曲とから配信音声(データ)を生成し(配信音声生成処理)、該生成した配信音声(データ)を視聴者端末300に配信する(生成音声配信処理)。
【0143】
視聴者端末300では、配信用サーバコンピュータ100から配信された配信音声(データ)により配信音声が、イヤホンやスピーカー等の音声出力装置322から出力されることで、視聴者は、あたかも仮想ライブ会場において演者アバター1が歌唱しているようにライブ音声を聞くことができる。
【0144】
尚、演者端末200においては、上記したように、演者音声(データ)が配信用サーバコンピュータ100に送信されるとともに、
図10に示すように、モニター音声生成処理とモニター音声出力処理とが実行されることにより、調整室に配置されているスピーカーから再生楽曲の楽曲音声と演者音声とが出力されることで、演者ユーザーの歌唱の状況等を補助オペレータO等が調整室において確認することができるようになっている。
【0145】
<視聴者用視点映像制御処理>
次に、視聴者端末300において、視聴者用プログラムに含まれる視聴者用視点映像制御プログラムにもとづいて実行される視聴者用視点映像制御処理について、
図20を用いて説明する。
【0146】
視聴者用視点映像制御処理においては、先ず、演者アバター1が
図19に示すように、仮想飛翔するフライング演出期間中であるか否かを判定する(ステップS1)。フライング演出期間中であるか否かは、配信用サーバコンピュータ100から、フライング演出期間中であることを示す演出状態データによって特定することができる。尚、配信用サーバコンピュータ100は、タイムスケジュールデータにもとづいてフライング演出期間となるときに、視聴者端末300に対してフライング演出期間中であることを示す演出状態データを送信する。
【0147】
フライング演出期間中である場合(ステップS1でY)は、ステップS21に進む一方、フライング演出期間中でない場合(ステップS1でN)は、視点の移動操作(アバターの移動操作や動作操作による視点の変更を含む)やズーム操作を含む視点関係操作が無効とされているか否かを判定する(ステップS2)。
【0148】
視点関係操作が無効とされている場合(ステップS2でY)は、ステップS7に進む。視点関係操作が無効とされていない場合(ステップS2でN)は、アバターの移動操作や動作操作等の視点が変化する操作が有るか否かを判定し(ステップS3)、操作がある場合(ステップS3でY)は操作に応じて視聴者視点を変更し、操作がない場合(ステップS3でN)は、ステップS5に進んで、ズーム操作があるか否かを判定する(ステップS5)。
【0149】
ズーム操作がある場合(ステップS5でY)は、表示装置310に表示されている映像領域を操作に応じた映像領域に変更し、ズーム操作がない場合(ステップS5でN)は、動作追随設定の有無を判定する(ステップS7)。
【0150】
この動作追随設定は、視聴者ユーザーが、自身が操作に使用するデバイスの種類や、操作についての習熟度に応じて、視聴者端末300において、例えば、ライブ開始前やライブ中に、任意に設定することができる。具体的には、例えば、使用するタッチパネル、キーボード、ゲームコントローラ等の操作入力装置321の操作に慣れていない場合や、アバターの移動操作や動作操作による視点の変更に慣れていない場合、後述するように、自身の視聴者アバターの仮想参加位置が演者アバター1から遠く、ズームアップで拡大表示していることで、演者アバター1の少しの動作でも演者アバター1が適切に表示されなくなってしまう等、演者アバター1の移動や動作に対応して視点を上手く変更できない場合等に設定される。
【0151】
動作追随設定がない場合(ステップS7でN)は、ステップS11に進む一方、動作追随設定がある場合(ステップS7でY)は、更に、動作追随条件が成立したか否かを判定する(ステップS8)。
【0152】
動作追随条件とは、本実施例1においては、表示装置310において演者アバター1が良好に表示されなくなることがほぼ確実である条件としており、具体的には、演者アバター1の頭部(顔でもよい)が、表示装置310の表示領域の周辺における所定範囲内に入っている場合には、演者アバター1の移動や動作によって表示領域外に頭部(顔)が移動して良好に表示されなくなってしまう可能性が著しく高いことから、動作追随条件が成立したものと判断するようにしている。
【0153】
このように、本実施例1では、演者アバター1の頭部(顔)が表示領域に表示されなくなる前に動作追随条件が成立したと判断することで、演者アバター1の頭部(顔)が表示領域に表示されなくなってしまうことを大幅に低減できるようにしているが、本発明はこれに限定されるものではなく、これら動作追随条件を、表示領域外に頭部(顔)が移動したことを条件としてもよいし、これら以外の条件を動作追随条件としてもよい。つまり、これら動作追随条件としては、演者アバター1が表示領域に良好に表示されなくなってしまうことを防ぐことができる条件であれば、任意の条件を使用することができる。
【0154】
動作追随条件が成立した場合(ステップS8でY)は、視点関係操作を無効化した後(ステップS12)、表示装置310の表示領域に表示される視点映像として、演者アバター1の頭部(顔)が表示領域の周辺における所定範囲に囲まれた非成立範囲内となる動作追随視点に視点が自動的に変更されて、該動作追随視点から見た視点映像が表示装置310の表示領域に表示される(ステップS13)。
【0155】
一方、動作追随条件が成立していない場合(ステップS8でN)は、更に、視点関係操作が無効化されているか否かを判定し(ステップS9)、視点関係操作が無効化されている場合(ステップS9でY)は、無効化されている視点関係操作を有効化して(ステップS10)からステップS11に進み、視点関係操作が無効化されていない場合(ステップS9でN)はステップS10を経由することなくステップS11に進む。
【0156】
ステップ11では、動作追随設定が設定されていないこと、若しくは、動作追随条件が成立していないことにより、視聴者アバターの視点映像が表示装置310の表示領域に継続表示される(ステップS11)。
【0157】
また、前述したように、ライブにおいて演者アバター1が仮想飛翔するフライング演出期間となった場合は、ステップS1でYと判定されてステップS21に進み、フライング演出期間の開始タイミングであるか否かを判定する(ステップS21)。
【0158】
フライング演出期間の開始タイミングである場合(ステップS21でY)は、フライング演出期間の開始前において表示装置310の表示領域に表示されていた視聴者アバターの視点映像または動作追随視点映像に代えて、配信用サーバコンピュータ100から配信されるフライング視点映像を表示し(ステップS22)、その後、視点関係操作を無効化して(ステップS23)、ステップS1に戻る。
【0159】
尚、本実施例1では、フライング演出期間においては、全ての視聴者ユーザーの視聴者端末300に同一のフライング視点映像を表示することから、個々の視聴者ユーザーで異なる視聴者アバター視点映像のように、各視聴者端末300側でフライング視点映像を生成するのではなく、配信用サーバコンピュータ100側で生成して視聴者端末300に配信することで、視点の空中移動を伴うことで、視点映像の描画負荷が大きいフライング視点映像を、処理能力が低い視聴者端末300であっても、良好に表示できるようにしているが、本発明はこれに限定されるものではなく、これらフライング視点映像を、視聴者アバター視点映像と同様に、個々の視聴者端末300側で生成するようにしてもよい。
【0160】
一方、フライング演出期間の開始タイミングでない場合(ステップS21でN)は、更に、フライング演出期間の終了タイミングであるか否かを判定する(ステップS24)。
【0161】
フライング演出期間の終了タイミングであるか否かは、配信用サーバコンピュータ100から送信されるフライング視点映像のデータ中に含まれる終了を示すデータにもとづいて特定してもよいし、フライング視点映像とは異なる前述した演出状態データによって特定してもよい。
【0162】
フライング演出期間の終了タイミングでない場合(ステップS24でN)、つまり、フライング演出期間中である場合には、ステップS26に進んで、フライング視点映像を更新した後、ステップ1に戻る一方、フライング演出期間の終了タイミングである場合(ステップS24でY)は、視点関係操作を有効化した後(ステップS25)、ステップS11に進んで、フライング演出期間中に表示装置310の表示領域に表示していたフライング視点映像に代えて、視聴者アバターの視点映像を表示装置310の表示領域に表示した後、ステップS1に戻る。
【0163】
このように、本実施例1の視聴者端末300において
図20に示す視聴者用視点映像制御処理が実行されることによって視聴者端末300に表示される各視点映像を、
図16~
図19を用いて説明する。
【0164】
図16は、本実施例1の視聴者端末300においてズーム操作をした場合の表示装置310の表示内容を示す図であり、ズーム操作を何もしていないデフォルトの状態では、
図16(a)に示すように、演者アバター1の上半身を中心とした映像領域の視点映像が表示されている。このデフォルト状態において、視聴者ユーザーがズームアップ操作、例えば、視聴者端末300がスマートフォンPである場合であれば、「+」の表示(図示略)に触れる操作を行い、視聴者端末300がコンピュータ(PC)である場合であれば、キーボードの「+」キーを操作した場合は、例えば、
図16(b)に示すように、演者アバター1の頭部(顔)を中心とした映像領域の視点映像が表示される。
【0165】
一方、視聴者ユーザーがズームダウン操作、例えば、視聴者端末300がスマートフォンPである場合であれば、「-」の表示(図示略)に触れる操作を行い、視聴者端末300がコンピュータ(PC)である場合であれば、キーボードの「-」キーを操作した場合は、例えば、
図16(c)に示すように、演者アバター1の全身が含まれる映像領域の視点映像が表示される。
【0166】
尚、
図16では、ズームの機能を解り易くするために、視聴者アバターの視点ではなく、仮想カメラC1の視点映像を使用して説明したが、
図17に示すように、視聴者アバターの視点についても同様にズームアップ、ズームダウンを行うことができる。
【0167】
また、
図20の視聴者用視点映像制御処理においては、詳述していないが、例えば、ライブが開始されるときに、演者アバター1が仮想ステージGに初めて登場する場合は、視聴者アバターの視点が演者アバター1に向いていないことから、登場する演者アバター1が視聴者端末300に表示されない期間が長くなってしまう可能性があるので、このように、演者アバター1が最初に登場する期間等を登場演出期間等とし、これらの演出期間において、視聴者端末300に表示される視点映像を、聴者アバターの視点映像ではなく、仮想カメラC1の視点映像等に自動的に切り替えて表示するとともに、これら仮想カメラC1の視点映像においてもズームアップ等を、個々の視聴者ユーザーが実行できるようにしてもよい。
【0168】
図17は、視聴者アバターの視点映像の例として、第4領域に仮想参加している視聴者アバター28の視点映像を示している。
図17に示すように、視聴者アバター28の視点映像には、第3領域に仮想参加している視聴者アバター13と視聴者アバター14の頭部が含まれており、これら視聴者アバター13と視聴者アバター14の頭部越しに演者アバター1を見る映像となる。
【0169】
このため、視聴者アバター28の視聴者ユーザーは、例えば、ズームアップ操作を行って、
図17(b)に示すように、演者アバター1の上半身が中心的に表示される映像領域に変更することで、視聴者アバター13と視聴者アバター14が表示されないようにして、ライブを楽しむことができる。
【0170】
但し、
図17(b)に示すようにズームアップした状態においては、例えば、ライブが進行して演者アバター1が移動したり大きく動作するようになると、これら演者アバター1の動作に合わせて視聴者アバター28の視点を視聴者ユーザーが上手く変更することができないと、
図18(d)~(f)に示すように、演者アバター1が良好に表示されない状態となる場合があるため、視点の操作に注意を払うことによって、ライブに集中することが難しくなってしまい、ライブを良好に楽しむことができなくなる場合がある。
【0171】
しかし、本実施例1では、上記のように、視聴者ユーザーが動作追随設定を行った場合には、
図18(a)~(c)に示すように、演者アバター1の頭部が表示領域の周辺所定領域内に入ることで動作追随条件が成立して視点が自動的に動作追随視点に変更され、該動作追随視点の視点映像が表示されるようになるため、視聴者ユーザーは、視点の操作に注意を払う必要がなくなるので、ライブに集中できることで良好にライブを楽しむことができるようになる。
【0172】
そして、ライブが進行してフライング演出期間となると、
図19に示すように、個々の視聴者アバターの視点映像から空中移動仮想カメラから見たフライング視点映像に、視聴者ユーザーが操作しなくても自動的に変更される。
【0173】
具体的には、演者アバター1が仮想飛翔をする前に、羽根のオブジェクトが演者アバター1の背中において大きくなる映像が表示される。そして、演者アバター1が仮想ライブ会場の第2領域に仮想配置されている星の仮想空中オブジェクト50を見あげるようにすることで視聴者アバターの視点も同様に移動する。このとき、演者アバター1の周囲には、光のエフェクト61が出現する。
【0174】
その後、演者アバター1が仮想飛翔に移ると、表示装置310に表示される視点映像は、
図19(b)までの視聴者アバターの視点映像から、
図19(c)に示すように、空中移動仮想カメラから見たフライング視点映像に自動的に切り替わる。
【0175】
そして、フライング演出期間において空中移動仮想カメラは、前述したように、予め設定された空中軌道にもとづいて第2領域内を空中移動し、これら空中移動する空中移動仮想カメラから見たフライング視点映像が、
図19(d)に示すように表示装置310に表示される。
【0176】
<実施例1の変形例>
上記した実施例1では、一般動作(第1動作)を、演者アバター1が仮想ステージGに移動せずに立っている動作とし、特別動作(第2動作)を、演者アバター1が仮想飛翔を行っている動作とし、特定動作(第3動作)を、演者アバター1が横方向に急移動する動作とした形態を例示しているが、本発明はこれに限定されるものではなく、配信するコネテンツに応じた動作であってよく、例えば、一般動作(第1動作)は、配信されるコンテンツにおいて、演者アバターが最も多くの期間に亘って実行している動作(通常動作)としてもよく、特別動作(第2動作)を、配信されるコンテンツにおいて、最も短い期間である特別期間において実行している動作や最も頻度が少ない動作とし、特定動作(第3動作)を、一般動作(第1動作)よりも実行される期間が短いが特別動作よりも実行されている期間が長い動作や一般動作(第1動作)よりも実行される頻度が少ないが特別動作よりも実行される頻度が多い操作としてもよい。尚、特別動作(第2動作)が、特定動作(第3動作)を含む場合があってもよい。
【0177】
また、上記した実施例1では、特別動作(第2動作)に対応した視点への切替機能と、特定動作(第3動作)に追随する追随機能と、の双方の機能を有している形態を例示したが、本発明はこれに限定されるものではなく、これらのいずれか一方の機能のみを有する仮想空間コンテンツ配信システムであってもよい。
【0178】
上記した実施例1では、視聴者ユーザーの視点を、演者アバターの動作に応じて変更、追随させる形態を例示したが、本発明はこれに限定されるものではなく、例えば、これら視点の変更、追随を、仮想ステージGにおける演出物であるスモークや花火(火柱)の仕掛け、特殊なライティング、仮想ステージGの変形等の特定の演出に応じて実行するようにしてもよい。
【0179】
【実施例2】
【0180】
次に、実施例2の仮想空間コンテンツ配信システムについて、
図21~
図28を用いて以下に説明する。尚、実施例1と同一の構成については、同一の符号を付して説明を省略する。
【0181】
実施例2の仮想空間コンテンツ配信システムの構成は、
図1に示す実施例1の構成と同一であるが、仮想ライブの進行内容が異なることで、仮想カメラC1~C4や空中移動仮想カメラからの視点映像(以下、仮想カメラ視点映像と総称する)が配信される期間や、これら仮想カメラ視点映像を生成する主体が、実施例1とは異なる点が本実施例2の特徴部分である。
【0182】
図21は、実施例2の仮想空間コンテンツ配信システムにおいて配信される仮想ライブの進行内容を示す図である。実施例2の仮想ライブは、まず、仮想ライブの開始前の期間として、「ライブ仮想空間参加可能期間」と「開演前説」の期間とが設けられていて、視聴者ユーザーは、該ライブ仮想空間参加可能期間において仮想ライブの対象の仮想空間である仮想ライブ会場に仮想参加することができる。
【0183】
尚、「開演前説」の期間の終了間際に設定されている事前データDL完了チェックタイミングまでの期間は、事前データダウンロード(DL)期間とされていて、ライブ仮想空間参加可能期間中に仮想参加した視聴者ユーザーの視聴者端末300に対して、仮想ライブ会場の仮想空間データ(基本データ)、演者アバター1のアバターデータ、並びに仮想参加した他の視聴者ユーザーのアバターデータ等が、事前データとして配信用サーバコンピュータ100からダウンロード(DL)されるようになっている。
【0184】
また、事前データダウンロード(DL)期間の終了タイミングである事前データDL完了チェックタイミングにおいては、事前データのダウンロード(DL)が、各視聴者端末300において完了しているか否かがチェックされる。
【0185】
尚、視聴者端末300の機種や処理能力や通信環境の違い等によって事前データDL完了チェックタイミングまでに事前データのダウンロード(DL)が完了していない場合には、事前データのダウンロード(DL)が継続される。但し、この場合、仮想ライブの配信において重要度が高いデータ、例えば、開演演出や第1MCに必要となる仮想ライブ会場の仮想空間データ(基本データ)、演者アバター1のアバターデータ等が優先してダウンロード(DL)される。
【0186】
また、実施例2では、上記のように、仮想ライブの配信において視聴者端末300において視点映像を生成するために必要となるデータを、事前データとしてダウンロード(DL)する形態を例示しているが、本発明はこれに限定されるものではなく、これらデータ、特に、後述する各演目や各MCにおいて個別に必要となる特別なデータ等については、これら各演目や各MCが配信されるタイミングに対応したタイミングにおいて、その都度毎に、逐次、ダウンロード(DL)するようにしてもよい。
【0187】
尚、「開演前説」の期間においては、当該仮想ライブについての説明等がビデオ映像等によって紹介される。よって、これら「開演前説」の期間中においても事前データをダウンロード(DL)可能な期間とすることで、ライブ仮想空間参加可能期間において終了間際に仮想参加した視聴者アバターのアバターデータについても、各視聴者端末300が配信用サーバコンピュータ100からダウンロード(DL)することができるようになっている。
【0188】
また、実施例2の仮想ライブは、
図21に示すように、「開演演出」→「第1MC」→「第1演目」→「第2MC」→「第2演目」…のように進行していく。「開演演出」は、仮想ステージGに演者アバター1が登場する演出である。「第1MC」は、仮想ステージGに登場した演者アバター1が、トークによって視聴者に対して挨拶を行うとともに、最初に上演する第1演目についての紹介を行う。「第1演目」は、演者アバター1(演者)の歌唱とダンスとを含むとともに、途中に、仮想ライブ会場を仮想飛翔する演者アバター1を空中移動仮想カメラから仮想撮像した映像によるフライング演出を含む演目である。「第2MC」は、演者アバター1(演者)がトークによって、主に、第2演目についての紹介を行う。「第2演目」は、演者アバター1(演者)の歌唱とダンスとを含むとともに、途中に、演者アバター1が衣装を交換する状況を仮想カメラC1によって仮想撮像した映像による衣装チェンジ演出と、演者アバター1が複数人に分身する状況を仮想カメラC1によって仮想撮像した映像による分身演出とを含む演目である。
【0189】
これら各演出や演目等が実行される各期間における配信用サーバコンピュータ100の処理負荷としては、ライブ仮想空間参加可能期間が最も低い「低」である一方、特別演出である「フライング演出」、「衣装チェンジ演出」、「分身演出」が実行される期間が最も高い「高」である。「開演前説」、「開演演出」、「第1MC」、「フライング演出」までの「第1演目」の期間は、配信用サーバコンピュータ100の処理負荷は「中」であり、「フライング演出」後の「第1演目」の期間、「第2MC」、「衣装チェンジ演出」までの「第2演目」の期間も処理負荷は「中」であり、「衣装チェンジ演出」から「分身演出」までの「第2演目」の期間も「中」であり、「分身演出」後の「第2演目」の期間も「中」である。
【0190】
次に、実施例2の仮想ライブにおける各期間について、視聴者端末300において視聴可能な視点映像について説明すると、仮想参加してから「開演前説」が開始されるまでのライブ仮想空間参加可能期間においては、視聴者アバター視点映像だけが表示可能とされている。
【0191】
そして、「開演前説」が開始されるタイミングで、仮想カメラ視点映像、具体的には、仮想カメラC1の視点映像だけが表示可能とされている。このように、仮想ライブの開始前であるにも係わらず「開演前説」において視点映像を、仮想カメラ視点映像のみとするのは、これら開演前説には、仮想ライブに関する注意点等の説明も含まれているため、視聴者端末300において視聴者アバター視点映像を表示していることによって、仮想ステージGにて行われている開演前説を視聴しない視聴者ユーザーが発生してしまうことを防ぐことを目的としている。
【0192】
尚、これら「開演前説」の仮想カメラ視点映像は、後述するように、配信用サーバコンピュータ100にて生成されて各視聴者端末300に配信されるので、事前データのダウンロードが未完了の視聴者端末300においても表示することができる。
【0193】
上記した事前データDL完了チェックタイミングにおいて事前データのダウンロードが完了している視聴者端末300については、「第1MC」と「フライング演出」までの「第1演目」の期間、並びに「フライング演出」後の期間においては、仮想カメラ視点映像に加えて視聴者アバター視点映像を表示可能とされている。
【0194】
一方、上記した事前データDL完了チェックタイミングにおいて事前データのダウンロードが完了していない視聴者端末300については、視聴者アバター視点映像を正確に生成することができないので、配信用サーバコンピュータ100において生成された仮想カメラ視点映像が配信されることによって、仮想ライブの全ての期間において仮想カメラ視点映像のみが表示可能とされ、視聴者アバター視点映像を表示させることはできないようになっている。
【0195】
また、配信用サーバコンピュータ100の処理負荷が「高」である「フライング演出」、「衣装チェンジ演出」、「分身演出」の各映像のうち、「衣装チェンジ演出」、「分身演出」の仮想カメラC1の仮想カメラ視点映像は、これら「衣装チェンジ演出」、「分身演出」以外の第2演目期間中の仮想カメラ視点映像と同様に、配信用サーバコンピュータ100ではなく各視聴者端末300において生成することで、これら「衣装チェンジ演出」、「分身演出」の仮想カメラC1の仮想カメラ視点映像の生成するための配信用サーバコンピュータ100の処理負荷を低減できるようにしている。
【0196】
尚、「フライング演出」の期間についても、配信用サーバコンピュータ100における処理負荷が高い期間であることから「衣装チェンジ演出」、「分身演出」と同様に、視聴者端末300において生成することが考えられるが、この場合、仮想ライブ会場内を移動する空中移動仮想カメラの移動軌跡の詳細な軌道データ等を各視聴者端末300に事前に配信して映像を生成する必要があることから、実施例2では配信用サーバコンピュータ100側で「フライング演出」の映像を生成、配信しているが、本発明はこれに限定されるものではなく、「フライング演出」の映像についても、配信用サーバコンピュータ100の処理負荷の低減を目的として、各視聴者端末300において生成するようにしてもよい。
【0197】
ここで、実施例2の配信用サーバコンピュータ100において使用される参加者ユーザーテーブルについて、
図23を用いて簡潔に説明する。
【0198】
参加者ユーザーテーブルは、
図7に示すイベントデータに登録されている個々の仮想ライブイベントにおいて、仮想ライブへの視聴者ユーザーの参加状況や事前データのダウンロード状況等を特定できるようにするために使用されるデータテーブルであって、
図23に示すように、参加者ID(視聴者ユーザーID)に対応付けて、当該参加者(視聴者ユーザー)の参加状態を特定可能な参加識別データ(参加識別フラグ)と、当該参加者(視聴者ユーザー)の参加エリアと、事前データのダウンロード状態を特定可能な事前データDL識別データ(事前データDL識別フラグ)等のデータが記憶可能なテーブルである。
【0199】
尚、参加者IDの項目には、イベントデータにおいて、当該仮想ライブに対応して記憶されている各参加者グループのファイルに記述されている参加予定者の視聴者ユーザーIDが全て登録されて使用される。
【0200】
参加識別データ(参加識別フラグ)は、参加者ID(視聴者ユーザーID)の登録時において、非参加状態に対応する「0」が登録されており、各参加者(視聴者ユーザー)の参加が認証によって許可されたときに、参加を示す「1」に更新される。よって、該参加識別データ(参加識別フラグ)によって、参加予定視聴者ユーザーのうち、参加している視聴者ユーザーと、何らかの理由で参加できなかった視聴者ユーザーとを特定することができる。
【0201】
参加エリアのデータは、各参加者(視聴者ユーザー)の参加エリアが、第3領域であるのか、第4領域であるのかを特定可能なデータとされており、各参加者(視聴者ユーザー)の参加が認証によって許可されたときに、登録されるデータである。
【0202】
事前データDL識別データ(事前データDL識別フラグ)は、前述した事前データDL完了チェックタイミングにおいて事前データのダウンロード(DL)が完了しているか否かのチェックにもとづいて、完了している場合は、未完了を示す「0」から完了を示す「1」に更新される。よって、これら事前データDL識別データ(事前データDL識別フラグ)によって、仮想参加している各参加者(視聴者ユーザー)のうち、事前データのダウンロード(DL)が完了していない全ての参加者(視聴者ユーザー)を容易に特定することができる。
【0203】
次に、実施例2において視聴者ユーザーが仮想ライブ会場に仮想参加することで事前データがダウンロードされる流れについて、
図22を用いて説明する。
【0204】
まず、視聴者ユーザーは、視聴者端末300にて実行している視聴者用プログラム(視聴アプリ)において、自分が仮想参加を予定している仮想ライブへの参加操作、例えば、参加メニューの選択やキーボードにおいて参加操作が割り当てられている特定キーの操作を実行する。
【0205】
この参加操作の実行によって、視聴者端末300から配信用サーバコンピュータ100に対して、視聴者ユーザーIDや当該視聴者ユーザーを認証するための認証用データを含む参加要求が送信される。
【0206】
参加要求を受信した配信用サーバコンピュータ100においては、ライブ仮想空間参加可能期間であることを条件に、参加者認証処理を実行する。参加者認証処理では、受信した参加要求に含まれる視聴者ユーザーIDが、参加対象の仮想ライブに対応している参加者ユーザーデータベースに、参加者IDとして登録されているか否かによって、当該視聴者ユーザーが該当する仮想ライブの参加予定者であるのか否かを判定するとともに、
図9に示す視聴者ユーザーデータにおいて、当該視聴者ユーザーIDに対応付けて記憶されている認証情報ファイルデータから特定される認証情報ファイルに記述された認証用データと、参加要求に含まれる認証用データとを照合することで視聴者ユーザーの認証を行う。
【0207】
視聴者ユーザーが参加予定者であって、認証用データによる認証が完了した場合には、参加者ユーザーテーブルの参加識別データ(参加識別フラグ)を、「参加」に対応する「1」に更新する。
【0208】
そして、配信用サーバコンピュータ100は、参加要求の送信元の視聴者端末300に対して、参加対象の仮想ライブに対応する事前データをダウンロードさせるために事前データDL指示情報を送信(返信)する。視聴者端末300は、該事前データDL指示情報の受信によって、参加が許可されたことを確認することができる。
【0209】
事前データDL指示情報の受信に応じて視聴者端末300は、ダウンロードする事前データを特定し、特定した事前データのダウンロードを要求する事前データDL要求を配信用サーバコンピュータ100に送信する。
【0210】
この事前データDL要求の受信に応じて配信用サーバコンピュータ100は、事前データ送信処理を実行する。
【0211】
この事前データ送信処理においては、事前データDL要求の送信元の視聴者端末300に対して要求された事前データを送信する。尚、事前データには、前述したように、仮想ライブ会場の仮想空間データ(基本データ)、演者アバター1のアバターデータ、並びに、既に仮想参加している他の視聴者ユーザーのアバターデータ等が含まれている。
【0212】
尚、事前データ送信処理においては、事前データDL要求の送信元以外の視聴者端末300であって、参加者データテーブルによって既に参加が確認されている視聴者ユーザーの視聴者端末300に対して、事前データDL要求の送信元の視聴者ユーザーのアバターデータを、事前データとして追加配信する。これによって、仮想ライブに仮想参加している各視聴者ユーザーの視聴者端末300には、仮想空間データ(基本データ)と演者アバターのアバターデータとともに、仮想ライブに仮想参加している全ての視聴者ユーザーのアバターデータが事前に配信されて記憶されることになる。
【0213】
そして、このようにして視聴者端末300に記憶された事前データは、前述した事前データDL完了チェックタイミング(
図21参照)において全ての事前データのダウンロードが完了しているか否かが確認され、事前データのダウンロードが完了している場合に、参加者ユーザーテーブルの事前データDL識別データ(事前データDL識別フラグ)が、未完了を示す「0」から完了を示す「1」に更新される。
【0214】
尚、事前データのダウンロードが完了していないことで、事前データDL識別データ(事前データDL識別フラグ)が、未完了を示す「0」のままである参加者(視聴者ユーザー)に対しては、前述したように、仮想カメラ視点映像のみが表示可能とされる。
【0215】
次に、視聴者端末300に表示される各種視点映像が生成される主体が、仮想ライブの各期間において変化する状況について、
図24~
図27を用いて説明する。
【0216】
まず、視聴者端末300において視聴者アバター視点映像だけが表示可能とされるライブ仮想空間参加可能期間中については、
図24に示すように、配信用サーバコンピュータ100から送信される、演者ユーザーの動作に連動した動作を行う演者アバター1の動作を生成するための演者アバター用動作データを含む仮想空間更新データにもとづいて、事前データの受信によって既に視聴者端末300において記憶されている仮想空間データが逐次更新され、該更新された仮想空間データにもとづいて視聴者視点映像生成処理が視聴者端末300にて実行されて視聴者アバター視点映像が生成されて、映像出力処理によって出力(表示)される。尚、
図24では、演者端末200を省略しているが、仮想空間更新データは、実施例1において
図10に示されるように、演者端末200に対しても送信される。
【0217】
また、視聴者端末300において仮想カメラ視点映像のみが表示可能とされる「開演前説」、「開演演出」、「フライング演出」の各期間については、
図25に示すように、配信用サーバコンピュータ100において、仮想空間更新データ配信処理においては仮想空間更新データが演者端末200に対してだけ送信される。そして、仮想空間更新データ配信処理に次いで仮想カメラ視点映像が生成される仮想カメラ視点映像生成処理と、該仮想カメラ視点映像生成処理にて生成された仮想カメラ視点映像の映像データを、仮想ライブに参加している全ての視聴者端末300に配信する仮想カメラ視点映像データ配信処理が実行される。
【0218】
これら仮想カメラ視点映像データ配信処理にて配信用サーバコンピュータ100から配信された仮想カメラ視点映像データは、該仮想カメラ視点映像データを受信した視聴者端末300において映像出力処理が実行されることによって表示される。
【0219】
つまり、
図27に示すように、仮想カメラ視点映像のみが表示可能とされる「開演前説」、「開演演出」、「フライング演出」の各期間については、仮想カメラ視点映像は、配信用サーバコンピュータ100において生成される。
【0220】
また、視聴者端末300において視聴者アバター視点映像と仮想カメラ視点映像のいずれかを選択して表示可能な期間であるMC期間中及びフライング演出期間中を除く演目期間中においては、
図26に示すように、配信用サーバコンピュータ100において仮想空間更新データ配信処理が実行されることによって、仮想ライブに参加している各視聴者ユーザーの視聴者端末300に対して仮想空間更新データが配信されることによって、視聴者端末300において仮想空間更新処理が実行される。
【0221】
そして、視聴者端末300においては、表示対象の映像として視聴者アバター視点映像が選択されているか否かが判定され、視聴者アバター視点映像が選択されている場合には、
図24に示す流れと同様に、視聴者視点映像生成処理が実行されることで視聴者アバター視点映像が生成されて、該生成された視聴者アバター視点映像が映像出力処理によって表示される。
【0222】
一方、表示対象の映像として視聴者アバター視点映像が選択されていない場合、すなわち、表示対象の映像として仮想カメラ視点映像が選択されている場合には、視聴者端末300において仮想カメラ視点映像生成処理が実行されることで、仮想カメラ視点映像が生成され、該生成された仮想カメラ視点映像が映像出力処理によって表示される。
【0223】
尚、この仮想カメラ視点映像において生成される仮想カメラ視点映像は、仮想カメラC1、C3、C4のいずれの視点映像とするかを、視聴者ユーザーが選択できるようにしてもよいし、配信用サーバコンピュータ100が全ての視聴者端末300に対して指示するようにしてもよい。
【0224】
つまり、
図27に示すように、視聴者端末300において仮想カメラ視点映像と視聴者アバター視点映像のいずれかが表示可能とされるMC期間中及びフライング演出期間中を除く演目期間中については、仮想カメラ視点映像は、視聴者端末300において生成される。このように、仮想カメラ視点映像と視聴者アバター視点映像とのいずれかを選択して視聴者端末300に表示可能な期間については、視聴者ユーザーの選択によって仮想カメラ視点映像と視聴者アバター視点映像との相互の切り替えが実行されるため、仮想カメラ視点映像データを配信用サーバコンピュータ100からの配信によって表示する場合に比較して、これら映像の切り替えを映像が途切れてしまう等の不具合を生じることなく、且つ、これら映像の切り替えに伴う配信用サーバコンピュータ100の処理負荷の増大を防ぎつつ実行することができる。
【0225】
一方、視聴者端末300において仮想カメラ視点映像のみが表示可能な期間である、「開演前説」、「開演演出」、「フライング演出」の各期間については、仮想カメラ視点映像は、配信用サーバコンピュータ100においてのみ生成されて、各視聴者端末300に配信される。このように、視聴者端末300において仮想カメラ視点映像のみが表示可能な期間においては、仮想カメラ視点映像が配信用サーバコンピュータ100においてのみ生成されるため、仮想カメラ視点映像を生成する処理が視聴者端末300において重複して実行されることによって、システム全体の処理負荷が無駄に増大してしまうことを防ぐことができる。
【0226】
ここで、視聴者端末300において視点映像が切り替わる際の状況について、仮想カメラ視点映像のみが表示可能な期間である、「フライング演出」の期間を例に、
図28を用いて説明する。
【0227】
例えば、
図28に示すように、「第1MC」の期間および「フライング演出」までの第1演目の期間中において視聴者アバター視点映像が表示されている視聴者端末300において、仮想カメラ視点映像(空中移動仮想カメラからの視点映像)のみが表示可能な「フライング演出」の期間が開始されたときから、配信用サーバコンピュータ100が仮想カメラ視点映像(空中移動仮想カメラからの視点映像)の配信を開始すると、これら配信が開始してから仮想カメラ視点映像が表示されるまでの期間において視聴者端末300において仮想カメラ視点映像(空中移動仮想カメラからの視点映像)が表示されない状態となってしまい、「フライング演出」の最初の映像を視聴者が視聴できなくなってしまう不具合が生じる畏れがある。
【0228】
このため、実施例2の配信用サーバコンピュータ100は、
図28に示すように、視聴者アバター視点映像から仮想カメラ視点映像(空中移動仮想カメラからの視点映像)に強制的に視点映像が変更される「フライング演出」の開始時において、該「フライング演出」の開始タイミングよりも前の特定タイミングにおいて、BF事前通知を視聴者端末300に送信することで、フライング演出期間の開始前において仮想カメラ視点映像(空中移動仮想カメラからの視点映像)の事前配信を開始する配信開始(バッファリング開始)タイミングを視聴者端末300に通知する。
【0229】
視聴者端末300は、BF事前通知の受信に応じて、配信用サーバコンピュータ100から仮想カメラ視点映像(空中移動仮想カメラからの視点映像)の配信が開始されるタイミングを特定し、該タイミングになったときから受信した仮想カメラ視点映像(空中移動仮想カメラからの視点映像)のバッファリングを開始する。
【0230】
これら仮想カメラ視点映像(空中移動仮想カメラからの視点映像)の配信が開始されるタイミング、つまり、バッファリングを開始するタイミングは、視聴者端末300の映像記憶機能の違いを考慮して適宜に決定すればよいが、例えば、映像のフレーム数として数十フレームに該当する期間とすればよい。
【0231】
このように、実施例2の配信用サーバコンピュータ100は、フライング演出期間の開始前から、フライング演出の仮想カメラ視点映像(空中移動仮想カメラからの視点映像)の生成、配信を開始し、視聴者端末300は、該配信された仮想カメラ視点映像をバッファリングしているので、フライング演出期間が開始されたときに、該フライング演出期間の開始前に表示していた視聴者アバター視点映像から仮想カメラ視点映像に瞬時に映像を変更することができるので、「フライング演出」の最初の映像を視聴者が視聴できなくなってしまう不具合が生じることを防ぐことができる。
【0232】
また、「フライング演出」の期間が終了するときにおいては、「フライング演出」の開始前において視聴者アバター視点映像が選択されていたことから、該「フライング演出」の期間の終了に応じて、フライング演出の仮想カメラ視点映像(空中移動仮想カメラからの視点映像)から視聴者アバター視点映像に視点映像が切り替わるが、この場合においても、「フライング演出」の期間が終了したときから視聴者アバター視点映像を生成して表示すると、「フライング演出」の開始時と同様に、視聴者アバター視点映像が生成されて表示されるまでの期間において視聴者端末300において視聴者アバター視点映像が表示されない状態となってしまう不具合が生じる畏れがある。
【0233】
このため、実施例2の配信用サーバコンピュータ100は、これら「フライング演出」の期間が終了するときにおいても、
図28に示すように、終了TM(タイミング)事前通知を視聴者端末300に送信することで、仮想カメラ視点映像(空中移動仮想カメラからの視点映像)の配信が終了する「フライング演出」の期間終了タイミングを事前に視聴者端末300に通知する。
【0234】
視聴者端末300は、終了TM(タイミング)事前通知の受信に応じて、配信用サーバコンピュータ100から仮想カメラ視点映像(空中移動仮想カメラからの視点映像)の配信が停止されるタイミングを事前に特定し、該タイミングよりも前の所定タイミングとなったときから視聴者視点映像生成処理を開始して、視聴者アバター視点映像を事前生成する。
【0235】
尚、配信用サーバコンピュータ100は、終了TM(タイミング)事前通知の送信時から、仮想空間更新データの配信を実行することで、視聴者端末300は、受信した仮想空間更新データによって仮想空間データを更新する仮想空間処理を実行しているので、上記した所定タイミングにおいて、その時点の仮想ライブ会場の状況を反映した視聴者アバター視点映像を生成することができる。
【0236】
このように、実施例2の配信用サーバコンピュータ100は、フライング演出期間の終了前に終了TM(タイミング)事前通知を視聴者端末300に送信して、フライング演出期間の終了前に事前に視聴者アバター視点映像を視聴者端末300が生成できるようにしているので、視聴者端末300において視聴者アバター視点映像が表示されない状態となってしまう不具合が生じることを防ぐことができる。
【0237】
尚、
図28においては、「フライング演出」を例に説明したが、視聴者アバター視点映像から仮想カメラ視点映像に強制的に視点映像が変更される「開演前説」と「開演演出」の期間についても、同様の制御が行われる。
【0238】
以上、実施例2の仮想空間コンテンツ配信システムでは、視聴者ユーザーが複数であって、各視聴者ユーザー毎に視聴者端末300が割り当てられており、視聴者端末300が、視聴者アバターに対応した仮想ライブ会場(仮想空間)の視点映像である視聴者アバター視点映像を表示するときには、該視聴者アバター視点映像を配信用サーバコンピュータ100から送信されてくる仮想空間更新データ(仮想空間データ)にもとづいて生成しており、これら処理負荷が大きな視聴者アバター視点映像の生成が視聴者端末300で行われるので、より多くの視聴者ユーザーを仮想ライブに参加させることができる。
【0239】
また、実施例2の仮想空間コンテンツは、演者ユーザーが演者アバター1として仮想ライブ会場に参加可能なコンテンツであるとともに、演者アバター1が仮想ライブ会場において、歌唱やダンス等の楽曲動作(パフォーマンス)を行うコンテンツであるので、仮想空間コンテンツの興趣を向上できる。
【0240】
また、実施例2の仮想空間更新データ(仮想空間データ)には、演者アバター1の動作を生成するための演者アバター用動作データを含まれているため、視聴者端末300において生成される視聴者アバター視点映像においても演者アバター1の動作を正確に反映させることができる。
【0241】
また、実施例2の各視聴者端末300において共通して表示される共通視点映像、例えば、「開演前説」、「開演演出」、「フライング演出」の映像については、配信用サーバコンピュータ100において生成されて各視聴者端末300に配信されるので、重複した処理が各視聴者端末300において実行されることによって、システム全体の処理負荷が無駄に増大してしまうことを防ぐことができる。
【0242】
また、実施例2の視聴者端末300において、視聴者アバター視点映像と仮想カメラ視点映像とのいずれかの視点映像を選択して表示可能な期間である、「MC期間」と「フライング演出」の期間以外の演目期間(特定期間)中においては、仮想カメラ視点映像が視聴者端末300において生成されて表示されるので、視点映像が切り替わるときに、映像が途切れる等の不具合が生じることを防ぐことができる。
【0243】
また、実施例2の配信用サーバコンピュータ100における処理負荷が大きい特別期間となる、「衣装チェンジ演出」や「分身演出」の期間においては、仮想カメラ視点映像(共通視点映像)についても各視聴者端末300が生成して表示するため、配信用サーバコンピュータ100における処理負荷が一時的に極端に大きくなってしまうことを防ぐことができる。
【0244】
また、実施例2の配信用サーバコンピュータ100は、仮想ライブ会場(仮想空間)の基本データ並びに仮想ライブ会場に仮想参加する演者アバター1および視聴者アバターの基本データを含む事前データを、仮想ライブが開始する前に各視聴者端末300に対して事前送信しているので、仮想ライブの開始時において視聴者アバター視点映像が良好に表示されない不具合の発生を防ぐことができる。
【0245】
また、実施例2の配信用サーバコンピュータ100は、事前データの受信完了が確認できない視聴者端末300に対しては、仮想カメラ視点映像(共通視点映像)を送信しており、このようにすることで、仮想ライブの開始後において基本データ等の送信によって配信用サーバコンピュータ100における処理負荷が過度に増大してしまうことを防ぎつつ、視聴者ユーザーが仮想ライブを視聴できなくなってしまうことも防ぐことができる。
【0246】
<実施例2の変形例>
図29は、実施例2についての変形例2-1における視聴者視点映像生成処理の処理内容を示すフロー図である。
【0247】
上記した実施例2では、演者アバター1の動作を含む視聴者アバター視点映像を、常に一律に生成する形態を示したが、本発明はこれに限定されるものではなく、これら視聴者アバター視点映像を、視聴者端末300における視聴者ユーザーの選択によって、映像生成における処理負荷の異なる複数の態様で生成するようにしてもよい。
【0248】
つまり、視聴者ユーザーが使用する視聴者端末300としては、実施例1において例示しているように、処理能力の高い据え置き型のパーソナルコンピュータ(PC)である場合もあれば、パーソナルコンピュータ(PC)よりも処理能力が相対的に低いスマ-トフォン端末やタブレット端末等である場合もあるように、処理能力の異なる端末が使用されることが想定されるが、このように処理能力の異なる端末において、視聴者アバター視点映像を、常に一律に生成してしまうと、低処理能力の端末においては、視聴者アバター視点映像を適切に生成することができず、視聴者アバター視点映像と音声とにズレが生じたり、或いは、視聴者アバター視点映像が不連続の不自然な映像になってしまう畏れがあるため、例えば、演者動作を含む視聴者アバター視点映像を生成する場合に、映像の生成に係わる処理負荷が高い高精細な演者動作を含む視聴者アバター視点映像を生成するのか、映像の生成に係わる処理負荷が低い低精細な演者動作を含む視聴者アバター視点映像を生成するのかを、視聴者が、使用する端末の処理能力に応じて適宜、選択できるようにしてもよい。
【0249】
具体的には、視聴者端末300において実行される視聴者視点映像生成処理を、
図29のフロー図に示す内容とすればよく、該視聴者視点映像生成処理においては、まず、視聴者端末300において視聴者ユーザーによって選択されている演者動作生成態様を特定する(ステップS101)。そして、特定した演者動作生成態様が、高処理負荷態様であるか否かを判定し(ステップS102)、高処理負荷態様が選択されている場合(ステップS102でY)は、高精細な演者動作を含む視聴者アバター視点映像を生成する(ステップS103)。一方、高処理負荷態様が選択されていない場合(ステップS102でN)は、低精細な演者動作を含む視聴者アバター視点映像を生成する(ステップS104)。
【0250】
尚、
図29においては、高処理負荷態様と低処理負荷態様の2態様とした形態を例示しているが、本発明はこれに限定されるものではなく、これら処理負荷態様を3態様以上としてもよい。
【0251】
また、上記した実施例2(実施例1も同様)においては、視聴者ユーザーの視聴者アバターの移動を含む全ての動作を、仮想空間更新データの配信によって各視聴者アバターに反映させる形態を例示しているが、本発明はこれに限定されるものではなく、例えば、これら視聴者アバターの動作として、通常では実行不能な動作であって、特別な費用を支払った場合において可能となる動作、例えば、演者アバター1に対して自身の視聴者アバターをアピールすることが可能な特別動作を行う操作を視聴者端末300において可能とする場合にあっては、該特別動作は、演者ユーザーに向ける動作であって、他の視聴者ユーザーに向けるものではないので、これら特別動作を含む仮想空間更新データを、他の視聴者ユーザーの視聴者端末300に配信しないようにして、これら特別動作を実行可能とすることによって配信用サーバコンピュータ100の処理負荷が過大に増加してしまうことを防ぐことができるようにしてもよい。
【0252】
このように、特別動作を含む仮想空間更新データを、他の視聴者ユーザーの視聴者端末300に配信しない場合には、
図30の変形例2-2に示すように、視聴者ユーザーAが特別動作に対応する操作を実行することで視聴者ユーザーAの視聴者アバターが特別動作を行った場合は、配信用サーバコンピュータ100から視聴者ユーザーAの視聴者端末300には、視聴者ユーザーAの視聴者アバターが特別動作を実行していることに対応する仮想空間更新データAが送信されるが、視聴者ユーザーAとは異なる視聴者ユーザーBの視聴者端末300には、視聴者ユーザーAの視聴者アバターが特別動作を実行していない仮想空間更新データBが配信される。
【0253】
よって、視聴者ユーザーAの視聴者端末300と、視聴者ユーザーBの視聴者端末300とには、異なる仮想空間更新データが配信用サーバコンピュータ100から配信されることになるので、仮想空間更新データの自由度を高めることができるとともに、視聴者ユーザーAの視聴者端末300と、視聴者ユーザーBの視聴者端末300とにおいて異なる視聴者アバター視点映像を生成させることができるようになる。
【0254】
また、視聴者ユーザーAの視聴者端末300は、視聴者ユーザーBの視聴者端末300に配信される仮想空間更新データBとは異なる仮想空間更新データAにもとづいて、視聴者ユーザーBの視聴者アバターが可能な動作とは異なる特別動作を行う視聴者ユーザーAの視聴者アバターの映像を生成して表示することができるので、仮想空間コンテンツである仮想ライブに対する視聴者ユーザーAの興趣を向上できる。
【0255】
また、上記した実施例2(実施例1も同様)においては、第4領域に仮想参加している視聴者ユーザーの視聴者アバターについても、アバターの態様が個々の視聴者ユーザーで異なる通常のアバターとした形態を例示しているが、本発明はこれに限定されるものではなく、例えば、仮想ライブにおける各種の視点映像を生成する際の処理負荷を低減することを目的として、第4領域に仮想参加している視聴者ユーザーの視聴者アバターを、アバターの態様が簡素化された簡易アバターとするようにしてもよい。
【0256】
尚、
図30においては、特別な費用を支払った場合において可能となる特別動作を実行する場合について例示しているが、例えば、上述したように、簡易アバターを使用するような場合にあっては、簡易アバターの移動以外の通常動作、例えば、手を振る動作、手を叩く動作、視聴者アバターの向きを変える動作等について、特別動作と同様に、他の視聴者ユーザーに配信される仮想空間更新データには、含まれないようにすることで、より一層、配信用サーバコンピュータ100の処理負荷を低減できるようにしてもよい。
【0257】
【実施例3】
【0258】
次に、実施例3の仮想空間コンテンツ配信システムについて、
図31~
図46を用いて以下に説明する。尚、実施例1、2と同一の構成については、同一の符号を付して説明を省略する。
【0259】
実施例3の仮想空間コンテンツ配信システムの構成は、
図32に示すように、
図1に示す実施例1の構成と、ほぼ同一であるが、演者端末200として演者ユーザーAが使用する演者端末200Aと、演者ユーザーBが使用する演者端末200Bとを有しており、
図31に示すように、演者ユーザーAに対応する演者アバター1Aと演者ユーザーBに対応する演者アバター1Bとがグループ(ユニット)として仮想ライブに出演する点が、実施例1と異なっているとともに、後述するように、演者ユーザーAまたは演者ユーザーBの少なくとも一方がトークをするMC期間以外の演目期間については、事前収録された演者ユーザーAおよび/または演者ユーザーBの動作が演者アバター1Aおよび/または演者アバター1Bの動作に反映されて仮想ライブの演目として配信されるようになっており、本実施例3の特徴部分となっている。
【0260】
尚、実施例3の演者ユーザーAは、実施例1の演者ユーザーと同一であるので、演者アバター1Aは、実施例1の演者アバター1と同一である。
【0261】
また、実施例3では、仮想ステージ上に配置される仮想配置オブジェクト43として、演者アバター1A(演者ユーザーA)に関係する星の仮想配置オブジェクト43Aが、仮想ステージにおいて演者アバター1Aが位置する所定位置(仮想ステージに向かって右側後方位置)に配置されているとともに、演者アバター1B(演者ユーザーB)に関係するハートの仮想配置オブジェクト43Bが、仮想ステージにおいて演者アバター1Bが位置する所定位置(仮想ステージに向かって左側後方位置)に配置されている。
【0262】
また、仮想空中オブジェクト50’~52’としては、実施例1では、演者アバター1に対応する星形の仮想空中オブジェクト50~52が配置されていたが、実施例3では、演者アバター1Aと演者アバター1Bとに対応するように、星とハートの形状とを共に有する形状のものに変更されている。
【0263】
尚、
図31においては、便宜的に、仮想観客領域に仮想参加している視聴者アバターを表記していないが、実施例1と同様に、視聴者ユーザーが視聴者アバターとして仮想ライブ会場に仮想参加できるようになっている。尚、視聴者ユーザーが視聴者アバターとして仮想参加できる仮想観客領域としては、実施例1と同様に、特別領域である第3領域と非特別領域である第4領域が形成された形態としているが、本発明はこれに限定されるものではなく、例えば、これら仮想観客領域として、演者アバター1Aに対応した特別領域である第3A領域と、演者アバター1Bに対応した特別領域である第3B領域とを設けるようにしてもよい。
【0264】
実施例3では、上記したように、演者ユーザーが演者ユーザーAと演者ユーザーBとの2人であるため、2つの異なるスタジオを使用している。具体的には、実施例1の演者ユーザーと実施例3の演者ユーザーAとが同一であるので、実施例3の演者ユーザーAは、実施例1の演者ユーザーと同じく、
図11に示したスタジオ(スタジオA)を使用する。一方、演者ユーザーBは、
図33に示すスタジオBを使用する。
【0265】
演者ユーザーBが使用するスタジオBには、
図33に示すように、演者ユーザーAと同じく演者ユーザーBが装着している装着センサ220C1~220C5と協働して演者ユーザーBの動作をほぼリアルタイムに検出可能とするためのベースステーション220aとベースステーション220b、スクリーンSに投影するプロジェクタ(表示装置B211)や表示装置C212が、スタジオAと同様に配置されているともに、ガラス窓を隔てた調整室(図示略)には、演者端末200Bが設置されており、該演者端末200Bの操作等を補助オペレータOが補助する。
【0266】
尚、スタジオA並びにスタジオBに設置されている表示装置C212は、
図34、
図35に示すように、演者ユーザーAや演者ユーザーBが行うべき各姿勢(事前収録ポーズ)や各姿勢を行うまでの残り期間の情報等が表示可能とされており、演者ユーザーAや演者ユーザーBが事前収録ポーズを視認によって容易に把握できるようになっている。
【0267】
次に、実施例3の仮想空間コンテンツ配信システムにおいて配信される仮想ライブの進行内容について、
図36、
図37を用いて説明する。実施例3の仮想ライブは、まず、演者アバター1A,1Bによる仮想ライブが、これから開始されることを示すオープニング演出が最初に実行される。このオープニング演出においては、演者アバター1A,1Bが仮想ステージ上に登場しておらず、これらオープニング演出は、演者アバター1A,1Bが不在であることから仮想ライブ会場のビデオ収録の映像として配信される。尚、
図36には図示していないが、これらオープニング演出の前においては、実施例2と同様に、「ライブ仮想空間参加可能期間」が設けられており、視聴者ユーザーが、該ライブ仮想空間参加可能期間において仮想ライブの対象の仮想空間である仮想ライブ会場に仮想参加できるようになっている。
【0268】
オープニング演出が終了すると、演者アバター1A,1Bが仮想ステージ上に登場する演者登場演出が開始される。つまり、演者登場演出中に仮想ステージG上に演者アバター1A,1Bが登場して、仮想参加している視聴者アバターに向けた挨拶トークや第1演目の紹介等のMCが行われる。
【0269】
演者登場演出から、演者アバター1A,1Bが歌唱とダンスとを行う事前収録による第1演目に移行するときには、演者登場演出の終了直前の期間として、第1演目の開始時の最初のポーズ(姿勢)を演者ユーザーAと演者ユーザーBとに行わせるための開始時姿勢同化を伴う移行期間1が設定されている。
【0270】
また、第1演目が終了して、演者アバター1A,1Bによる第1MCに移行するときには、
図41に示すように、第1MC期間の終了直前の期間として、視聴者端末300における仮想ライブの表示が一時的に暗転して演者アバター1A,1Bの姿勢(動作)を視聴者ユーザーが一時的に視認不能となる暗転演出(明度低下演出)が実行される移行期間2が設定されている。
【0271】
尚、実施例3の移行期間2においては、視聴者端末300における仮想ライブの表示を、
図41(c)の表示状態から
図41(f)に示すような暗転表示に一気に変化させてしまうと、視聴者ユーザーが機器の故障と誤認してしまう畏れがあるので、
図41(f)のように表示を暗転させる前に、
図41(d)、(e)に示すように、演者アバター1A,1Bのコントラストを徐々に低下させる演出を実行して、暗転表示が故障ではなく演出であることを視聴者ユーザーが認識し易くしている。
【0272】
このように、事前収録されている第1演目が終了して、演者ユーザーA,Bの動作がほぼリアルタイムに演者アバター1A,1Bに反映される第1MCに移行するときに、演者アバター1A,1Bを視聴者ユーザーが視認不能となる暗転演出を移行期間2において実行することで、第1MCの開始時の演者ユーザーA,Bの姿勢が反映される演者アバター1A,1Bの姿勢が、第1演目の終了時の演者アバター1A,1Bの姿勢と大きくことなることで、姿勢の変化が連続していない不自然な動作となってしまったとしても、これら不自然な動作が視聴者ユーザーに配信されて視認されてしまうことがないので、演目やMCが事前収録されたものであることを視聴者ユーザーに認識されて仮想ライブ(仮想空間コンテンツ)の興趣が著しく低下してしまうことを防ぐことができる。
【0273】
尚、移行期間2のように、演者アバター1A,1Bの双方が仮想ステージG上に登場している場合にあっては、後述するように、演者アバター1A,1Bを各演者アバター1A,1Bの各々に対応するオブジェクトによって隠す形態のオブジェクト演出を実行すると、複数の演者アバター1A,1Bの各々について、異なるオブジェクトにより隠す演出を行うことになるため、配信用サーバコンピュータ100の処理負荷が過度に大きくなってしまうことによって配信に不具合が生じる畏れがあるが、上記のように、表示を暗転させることで処理負荷が大きく増えない暗転演出を実行することで、登場している演者アバターが複数であっても、配信用サーバコンピュータ100の処理負荷が大きくならないようにすることによって、処理負荷の増大によって配信に不具合が生じることを防ぐことができることから好ましい。
【0274】
第1MCから演者アバター1Aが歌唱とダンスとを行う事前収録による第2演目に移行するときには、第1MC期間の終了直前の期間として、演者アバター1A,1Bを視聴者ユーザーが一時的に視認不能となる暗転演出が実行される移行期間3が設定されている。
【0275】
このように、仮想ステージG上に登場している演者アバターの数が変化する場合の移行期間において暗転演出を実行することで、単に、演者アバター1Aの姿勢が第1MCの最後と第2演目の最初とで大きく異なることによる動作の不連続による違和感だけではなく、登場している演者アバターの数が変化することに対する視聴者ユーザーの違和感も抑えることができる。
【0276】
第2演目から演者アバター1Aによる第2MCに移行するときには、第2演目期間の終了直前の期間として、
図42に示すように、演者アバター1Aに対応する「星」のオブジェクトが集まるように飛翔してきて演者アバター1Aを覆い隠すオブジェクト1隠蔽演出が実行される移行期間4が設定されている。
【0277】
尚、実施例3のオブジェクト1隠蔽演出の前後においては、
図42に示すように、演者アバター1Aの衣装を変化させており、このようにオブジェクト1隠蔽演出(移行期間4)の前後において衣装を変化させることは、演者アバター1Aが衣装変化のためにオブジェクトによって隠蔽されたものと視聴者ユーザーが認識するようになり、「動作の不連続による違和感を視聴者ユーザー与えないようにする」という隠蔽演出の本来の目的を視聴者ユーザーに認識され難くすることができることから好ましいが、本発明はこれに限定されるものではなく、オブジェクト1隠蔽演出(移行期間4)の前後において衣装を変化させないようにしてもよい。
【0278】
また、上記のように、事前収録されている第2演目が終了して、演者ユーザーAの動作がほぼリアルタイムに演者アバター1Aに反映される第2MCに移行するときに、演者アバター1Aを視聴者ユーザーが視認不能となるオブジェクト1隠蔽演出を実行することで、第2MCの開始時の演者ユーザーAの姿勢が反映される演者アバター1Aの姿勢が、第2演目の終了時の演者アバター1Aの姿勢と大きくことなることで、姿勢の変化が連続していない不自然な動作となってしまったとしても、これら不自然な動作が視聴者ユーザーに視認されてしまうことがないので、演目やMCが事前収録されたものであることを視聴者ユーザーに認識されて仮想ライブ(仮想空間コンテンツ)の興趣が著しく低下してしまうことを防ぐことができる。
【0279】
第2MCから演者アバター1Aが歌唱とダンスとを行う事前収録による第3演目に移行するときには、第2MC期間の終了直前の期間として、第3演目の開始時の最初のポーズ(姿勢)を演者ユーザーAに行わせるための開始時姿勢同化が実行される移行期間5が設定されている。
【0280】
第3演目から演者アバター1A(途中から演者アバター1A,1B)による第3MCに移行するときには、第3演目期間の終了直前の期間として、第3演目の終了時の最後のポーズ(姿勢)を演者ユーザーAに行わせるための終了時姿勢同化が実行される移行期間6が設定されている。
【0281】
第3MCから演者アバター1Bが歌唱とダンスとを行う事前収録による第4演目に移行するときには、第3MC期間の終了直前の期間として、演者アバター1A,1Bを視聴者ユーザーが一時的に視認不能となる暗転演出が実行される移行期間7が設定されている。
【0282】
このように、仮想ステージG上に登場している演者アバターの数が変化(2→1に変化)する場合に暗転演出を実行することで、前述した移行期間3の場合と同様に、配信用サーバコンピュータ100の処理負荷を過度に増大させることなく演者アバターの数の変化に対する視聴者ユーザーの違和感も低減できることから好ましいが、本発明はこれに限定されるものではなく、例えば、移行期間7となる前に演者アバターの数を事前に変化させておき、移行期間7では、演者アバター1Bに対応したオブジェクトにより演者アバター1Bを隠蔽する演出を実施するようにしてもよい。
【0283】
第4演目から演者アバター1Bによる第4MCに移行するときには、
図37に示すように、第4演目期間の終了直前の期間として、第4演目の終了時の最後のポーズ(姿勢)を演者ユーザーBに行わせるための終了時姿勢同化が実行される移行期間8が設定されている。
【0284】
第4MCから演者アバター1Bが歌唱とダンスとを行う事前収録による第5演目に移行するときには、第4MC期間の終了直前の期間として、第5演目の開始時の最初のポーズ(姿勢)を演者ユーザーBに行わせるための開始時姿勢同化が実行される移行期間9が設定されている。
【0285】
第5演目から演者アバター1B(途中からは演者アバター1A,1B)による第5MCに移行するときには、第5演目期間の終了直前の期間として、
図43に示すように、演者アバター1Bに対応する「ハート」のオブジェクトが、集まるように飛翔してきて演者アバター1Bを隠すオブジェクト2隠蔽演出が実行される移行期間10が設定されている。
【0286】
尚、実施例3のオブジェクト2隠蔽演出の前後においては、
図43に示すように、演者アバター1Bの衣装を変化させており、このようにオブジェクト2隠蔽演出(移行期間10)の前後において衣装を変化させることは、演者アバター1Bが衣装変化のためにオブジェクトによって隠蔽されたものと視聴者ユーザーが認識するようになり、「動作の不連続による違和感を視聴者ユーザー与えないようにする」という隠蔽演出の本来の目的を視聴者ユーザーに認識され難くすることができることから好ましいが、本発明はこれに限定されるものではなく、オブジェクト2隠蔽演出(移行期間10)の前後において衣装を変化させないようにしてもよい。
【0287】
また、上記のように、事前収録されている第5演目が終了して、演者ユーザーBの動作がほぼリアルタイムに演者アバター1Bに反映される第5MCに移行するときに、演者アバター1Bを視聴者ユーザーが視認不能となるオブジェクト2隠蔽演出を実行することで、第5MCの開始時の演者ユーザーBの姿勢が反映される演者アバター1Bの姿勢が、第5演目の終了時の演者アバター1Bの姿勢と大きくことなることで、姿勢の変化が連続していない不自然な動作となってしまったとしても、これら不自然な動作が視聴者ユーザーに視認されてしまうことがないので、演目やMCが事前収録されたものであることを視聴者ユーザーに認識されて仮想ライブ(仮想空間コンテンツ)の興趣が著しく低下してしまうことを防ぐことができる。
【0288】
第5MCから演者アバター1A,1Bが歌唱とダンスとを行う事前収録による第6演目に移行するときには、第5MC期間の終了直前の期間として、演者アバター1A,1Bを視聴者ユーザーが一時的に視認不能となる暗転演出が実行される移行期間11が設定されている。
【0289】
第6演目から演者アバター1A,1Bによる第6MCに移行するときには、第6演目期間の終了直前の期間として、第6演目の終了時の最後のポーズ(姿勢)を演者ユーザーA,Bに行わせるための終了時姿勢同化が実行される移行期間12が設定されている。
【0290】
第6MCから演者アバター1Bが歌唱とダンスとを行う事前収録による第7演目に移行するときには、第6MC期間の終了直前の期間として、演者アバター1A,1Bを視聴者ユーザーが一時的に視認不能となる暗転演出が実行される移行期間13が設定されている。
【0291】
第7演目から演者アバター1A,1Bによる第7MCに移行するときには、第7演目期間の終了直前の期間として、演者アバター1Bを視聴者ユーザーが一時的に視認不能となる暗転演出が実行される移行期間14が設定されている。
【0292】
尚、
図37には、第7MCまでしか記載されていないが、実施例3の仮想ライブは、第8演目、第8MC、第9演目、第9MC…のように実施されていき、これら各演目と各MCとの移行時に移行期間nが設定されている。
【0293】
上記のように進行する実施例3の仮想ライブは、
図38に示すタイムスケジュールデータ(以下、TSデータ)にもとづいて、配信用サーバコンピュータ100にて管理される。尚、TSデータ(タイムラインデータともいう)は、実施例1において説明したように、配信用サーバコンピュータ100のストレージ103にイベント管理プログラム110に含まれる形態にて記憶されている。
【0294】
実施例3のTSデータは、仮想ライブにおける個々のタイミング順に付与されたタイミングIDに対応付けて、そのタイミングの予定時刻、ライブ開始からの経過時間、当該タイミングの内容、当該タイミングに関連する関連データのファイル名、が記憶されているテーブル形式のデータである。
【0295】
これらタイミングとしては、
図38に示すように、オープニング演出や演者登場演出の開始並びに終了タイミングや、演者登場演出中の演者アバター1A,1Bが登場するタイミングに加えて、各移行期間の開始、終了タイミング(演目やMCの開始タイミングにも該当)が含まれおり、例えば、移行期間の終了タイミング(演目の開始タイミング)に対応する関連データとしては、開始される演目における事前収録された演者ユーザーAおよび/または演者ユーザーBの動作データ(演目用演者動作データ)のファイル名が記憶されている。
【0296】
また、移行期間の開始タイミングに対応する関連データとしては、移行期間において暗転演出が実行される場合であれば、暗転演出に関係するデータ(コントラスト調整データや暗転画面用データ)のファイル名が記憶され、移行期間においてオブジェクト隠蔽演出が実行される場合であれば、オブジェクト隠蔽演出に関係するデータ(使用するオブジェクトに関するオブジェクトデータやオブジェクトの移動用データ(軌跡データ))のファイル名が記憶され、移行期間において姿勢同化処理が実行される場合であれば、姿勢同化処理に関するデータ(姿勢同化種別データ、開始時姿勢や終了時姿勢の姿勢データ、姿勢判定タイミングのデータ等)のファイル名が記憶されている。
【0297】
このように、移行期間において姿勢同化処理が実行されるときに、後述するように、演者ユーザーAおよび/または演者ユーザーBに示される事前収録姿勢である開始時姿勢や終了時姿勢のデータは、予め姿勢データとして記憶されているとともに、どの移行期間で使用される姿勢データであるのかをTSデータによって正確に特定できるようになっている。
【0298】
次に、実施例3の仮想空間コンテンツ配信システムにおいて、各演目、各MC、各演出並びに各処理が実行される流れについて、
図39、
図40を用いて説明する。
【0299】
実施例3の配信用サーバコンピュータ100では、
図39に示すように、現在の時点が演目期間中、MC期間中、その他の期間中のいずれに該当するのかを判定する期間判定処理を実行する。
【0300】
尚、
図39においては、紙面の都合上、その他の期間中の記載を省略しているが、その他の期間中、例えば、オープニング演出の期間中等においては、オープニング演出に対応する事前収録されたビデオ映像を配信する処理等のように、各期間に対応した処理が実行される。
【0301】
また、期間判定処理における判定は、仮想ライブの開始時においてカウント(計時)を開始した経過時間タイマのタイマ値から特定される経過時間とTSデータにおける経過時間とを比較することによって、当該時点がどの期間に該当しているかを判定できる。
【0302】
期間判定処理においてMC期間中であると判定された場合には、演者端末200A,Bから送信されてくるモーションスキャン(ボディモーション、フェイスモーション)によってスキャンされた演者ユーザーの表情、動作、並びに演者端末200に入力された演者ユーザーの音声の情報を含む演者アバター情報を取り込み、該取り込んだ演者アバター情報と、各視聴者端末300から送信されてくる視聴者アバター情報とにもとづき、演者ユーザーAの表情、動作、音声を演者アバター1Aに反映し、演者ユーザーBの表情、動作、音声を演者アバター1Bに反映するとともに、各視聴者ユーザーの動作を視聴者アバターに反映する仮想空間更新処理を実行する。
【0303】
尚、実施例3では、実施例1とは異なり、演者音声入力処理によって演者端末200に入力された演者ユーザーの音声も、演者アバター情報に含める形態としているが、実施例1と同様に、演者ユーザーの音声を、演者アバター情報とは個別に配信用サーバコンピュータ100に送信するようにしてもよい。
【0304】
一方、期間判定処理において演目期間中であると判定された場合には、演者ユーザーAと演者ユーザーBの表情、動作、歌唱とが予め事前収録された演目用演者動作データを読込む。
【0305】
尚、実施例3の演目用演者動作データは、当該演目における演者ユーザーAおよび/または演者ユーザーBの表情、ダンスの動作および歌唱が、モーションスキャンや音声入力によって事前に時系列に記録されたデータであり、該データを順次読み込んで演者アバター1Aおよび/または演者アバター1Bの表情、動作、音声に反映させることで、各演目の歌唱とダンスを正確に再生することができる。
【0306】
そして、読み込んだ演目用演者動作データと各視聴者端末300から送信されてくる視聴者アバター情報とにもとづき、演目用演者動作データを演者アバター1Aおよび/または演者アバター1Bに反映するとともに、各視聴者ユーザーの動作を視聴者アバターに反映する仮想空間更新処理を実行する。
【0307】
このように、実施例3においては、MC期間中においては、演者端末200A,Bから送信される演者アバター情報が演者アバター1Aおよび/または演者アバター1Bに反映されることで、演者ユーザーA,Bの表情、動作、トーク音声が、ほぼリアルタイムにて演者アバター1Aおよび/または演者アバター1Bに反映されて配信される。
【0308】
一方、演目期間中においては、事前収録された演者ユーザーA,Bの表情、動作、歌唱音声が、時系列に記録された演目用演者動作データが演者アバター1Aおよび/または演者アバター1Bに反映されることで、各演目における演者アバター1Aおよび/または演者アバター1Bの歌唱とダンスとが配信される。
【0309】
次に、その時点が移行期間中に該当するか否かを判定し、演目期間やMC期間の終了直前に設定されている移行期間中ではない場合には、期間判定処理に戻る一方、移行期間中である場合には、更に、移行期間の種別が移行期間中に、暗転演出やオブジェクト隠蔽演出のいずれかが実行される演出種別であるか否かを判定する。
【0310】
移行期間種別が演出種別でない場合、つまり、移行期間において姿勢同化処理を実行する姿勢同化種別である場合には、
図40のBに進み、移行期間種別が演出種別である場合には、移行期間において実行する演出が暗転演出であるか否かを判定する。
【0311】
尚、これら移行期間種別、移行期間に実行する演出、姿勢同化処理の種別(開始時姿勢または終了時姿勢)に関する情報は、TSデータの関連データとして記憶されている移行期間情報ファイルに記述されており、これら移行期間情報ファイルから特定できる。
【0312】
移行期間において実行する演出が暗転演出である場合には、上記にて更新した仮想空間データに、暗転演出の内容(演者アバターのコントラストや表示の明るさ等)を反映させる暗転演出反映処理を実行したのち、仮想空間更新データ生成処理並びに仮想空間更新データ配信処理を実行してから期間判定処理に戻る。
【0313】
このように、仮想空間更新処理にて更新された仮想空間データに暗転演出の演出内容が反映されることで、暗転演出が各演目や各MCに適用されて配信される。
【0314】
一方、移行期間において実行する演出が暗転演出でない場合、つまり、オブジェクト隠蔽演出(オブジェクト1隠蔽演出とオブジェクト2隠蔽演出の総称)である場合は、オブジェクト隠蔽演出の内容(軌跡のデータにもとづいた対応オブジェクトの追加配置)を反映させるオブジェクト演出反映処理を実行したのち、仮想空間更新データ生成処理並びに仮想空間更新データ配信処理を実行してから期間判定処理に戻る。
【0315】
このように、仮想空間更新処理にて更新された仮想空間データにオブジェクト隠蔽演出の演出内容が反映されることで、オブジェクト隠蔽演出が各演目や各MCにおいて登場している演者アバター1A,1Bに適用されて配信される。
【0316】
また、暗転演出並びにオブジェクト隠蔽演出が実行される場合には、演者アバター情報ではなく、予め収録された演目用演者動作データが読み込まれて仮想空間データに反映されるので、暗転演出並びにオブジェクト隠蔽演出が実行される移行期間においては、各スタジオにいる演者ユーザーA,Bの音声は演者アバター1A,1Bに反映されないので、演者ユーザーA,Bの音声は配信されないようになっているとともに、移行期間に対応する演目用演者動作データにおいても、演者ユーザーA,Bの音声のないデータとされていることで、実施例3では、暗転演出並びにオブジェクト隠蔽演出が実行される期間においては、演者ユーザーA,Bの音声が配信されないようになっているが、本発明はこれに限定されるものではなく、これら暗転演出並びにオブジェクト隠蔽演出が実行される期間において、演者ユーザーA,Bの特定のメッセージ音声が演目用演者動作データにもとづいて配信されるようにしてもよい。
【0317】
また、移行種別の判定において、移行種別が姿勢同化種別である場合には、
図40のBに進んで、姿勢同化処理の開始タイミングであるか否かを判定する。
【0318】
姿勢同化処理の開始タイミングである場合には、演者端末200A,Bにおいて、
図40に示す姿勢同化処理を実行するために必要となる姿勢同化種別データ、最終時姿勢や開始時姿勢の姿勢データや、残期間データ、判定タイミングの情報等を含む姿勢同化情報を演者端末200A,Bに送信する姿勢同化情報送信処理を実行した後、期間判定処理に戻る。尚、該姿勢同化情報送信処理において送信される姿勢同化情報の受信に応じて、演者端末200A,Bにおいて
図41に示す姿勢同化処理が開始される。
【0319】
上記した姿勢同化情報に含まれる姿勢同化種別データ、姿勢データ、残期間データ、判定タイミングの情報は、TSデータにおいて経過時間に対応する当該移行期間に対応付けて記憶されている関連データの情報から特定されるファイル名のデータを利用できる。
【0320】
そして、姿勢同化情報送信処理から姿勢同化対応処理を経由して、仮想空間更新データ生成処理並びに仮想空間更新データ配信処理を実行してから期間判定処理に戻る。
【0321】
尚、姿勢同化情報送信処理が実行されるタイミングにおいては、演者端末200A,Bから補正情報や姿勢同化情報が送信されてくることはないので、姿勢同化対応処理を経由せずに仮想空間更新データ生成処理に進むようにしてもよい。
【0322】
姿勢同化処理の開始タイミングでない場合には、姿勢同化処理が演者端末200A,Bにおいて実行されることによって送信される、後述する補正情報や姿勢同化情報に対応した処理を行う姿勢同化対応処理を実行したのち、仮想空間更新データ生成処理並びに仮想空間更新データ配信処理を実行してから期間判定処理に戻る。
【0323】
実施例3の姿勢同化対応処理においては、演者端末200A,Bから補正情報を受信した場合には、演者アバター1A,1Bの姿勢に、補正情報に含まれている姿勢(モーションデータ)を反映させて仮想空間データを更新する処理を実行し、演者端末200A,Bから、判定時の演者ユーザーA,Bの姿勢が姿勢不良である旨を示す姿勢同化情報を受信した場合には、仮想空間データに、視聴者ユーザーが視聴している画像を暗転させる効果を反映させる処理を実行する。
【0324】
次に、実施例3の演者端末200A,Bにおいて実行される姿勢同化処理について、
図41を用いて説明する。
【0325】
まず、配信用サーバコンピュータ100から受信した姿勢同化情報に含まれる姿勢同化種別、姿勢データ、残期間、判定タイミング等の各データを格納する(ステップS300)。尚、実施例3において姿勢同化種別のデータとしては、演目(事前収録)からMC(非事前収録)に移行する種別(演目の終了時姿勢に同化する種別)には「0」のデータが割り当てられているとともに、MC(非事前収録)から演目(事前収録)に移行する種別(演目の開始時姿勢に同化する種別)には「1」のデータが割り当てられている。
【0326】
また、残期間のデータは、移行期間の長さを示すデータであり、姿勢同化種別が「0」の場合には、演目期間が終了するまでの期間の長さ(MC期間が開始するまでの期間の長さ)を示すデータとなるとともに、姿勢同化種別が「1」の場合には、演目期間が開始するまでの期間の長さ(MC期間が終了するまでの期間の長さ)を示すデータとなる。
【0327】
また、判定タイミングのデータは、判定タイミングを残期間がどの長さになった時点とするのかを示すもので、残期間中の1のタイミングを示すデータとなっている。
【0328】
次に、姿勢同化処理において使用する暗転演出実行中フラグ並びに補正動作実行中フラグの値を初期化するフラグ初期化処理(ステップS301)を実行する。
【0329】
そして、
図34、
図35に示す姿勢同化用画面を表示装置C212に表示する姿勢同化用画面表示処理(ステップS302)を実行する。尚、姿勢同化用画面は、移行期間が終了(残り期間が0に該当)したときに、姿勢同化処理が終了することで、表示が終了する。
【0330】
実施例3の姿勢同化用画面は、
図34、35に示すように、演者ユーザーA,Bが行うべきターゲット姿勢が演者アバター1A,1Bの画像として表示される事前収録ポーズ表示領域250と、その時点の演者ユーザーA,Bの姿勢が反映された演者アバター1A,1Bが表示される現在ポーズ表示領域251と、演者アバター1A,1Bがターゲット姿勢をとるまでの残り期間となる演目開始タイミングまたはMC開始タイミングまでの残り期間がタイムバー形式で表示される残り期間表示領域252と、ターゲット姿勢と現在ポーズとの一致度が表示される一致度表示領域253と、マイクがミュート中であることを示すマイクがミュート中表示領域255と、暗転演出が実行中であることを示す暗転演出中表示領域256とを有している。
【0331】
尚、残り期間表示領域252の表示としては、MCから演目に移行する姿勢同化種別「1」の場合には、
図34に示すように、「演目開始タイミングまでX秒」のように表示されるとともに、タイムバーの表示も進行状況が赤色の表示で表示される。一方、演目からMCに移行する姿勢同化種別「0」の場合には、
図35に示すように、「MC開始タイミングまでX秒」のように表示されるとともに、タイムバーの表示も進行状況が緑色の表示で表示される。
【0332】
このように、姿勢同化種別に応じてタイムバーの表示を異なる色で表示することによって、演者ユーザーA,Bは、姿勢同化種別がMCへ移行するときの姿勢同化であるのか、演目へ移行するときの姿勢同化であるのかを、直感点に認識することができるようになり、種別に応じた対処を行うことができるので、実施例3のように、同一の姿勢同化用画面を使用したとしても、姿勢同化を良好に行うことができるようになる。
【0333】
尚、現在ポーズ表示領域251の外周枠は、一致度表示領域253に表示される一致度に応じて青、黄、赤の複数の色で表示されるとともに、現在ポーズ表示領域251の内部には、丸い形状とされた四肢の各々に対応する4つのインジケータ部260が設けられていて、インジケータ部260が、外周枠と同様に青、黄、赤の複数の色で表示されることで、四肢の各々の姿勢の一致状況が示されるようになっている。
【0334】
ミュート中表示領域255には、通常においては何も表示されていないが、マイクがミュート中であるときに「マイクミュート中」の表示が表示される。
【0335】
また、暗転演出中表示領域256には、通常においては何も表示されていないが、後述するように、暗転演出実行中フラグがセットされている期間において「暗転演出中」の表示が表示される。
【0336】
尚、上記したように、姿勢同化用画面表示処理によって姿勢同化用画面が表示されるときには、事前収録ポーズ表示領域250に、演者ユーザーA,Bが行うべきターゲット姿勢が演者アバター1A,1Bの画像であって、演者アバター1A,1Bを後方から見た画像が表示される。このように、事前収録ポーズを後方から見た画像にて表示することで、演者ユーザーA,Bは、事前収録ポーズを前方から見た画像で表示する場合に比較して、左右を反転して姿勢を認識する必要がなく、直感的に姿勢を認識できるとともに、姿勢同化用画面においては、現在ポーズ表示領域251にも、その時点の演者ユーザーA,Bの姿勢が反映された演者アバター1A,1Bの画像であって、演者アバター1A,1Bを後方から見た画像として表示されるので、演者ユーザーA,Bの現在の姿勢と事前収録ポーズとの違いについても、演者ユーザーA,Bが直感的に把握することができることから好ましいが、本発明はこれに限定されるものではなく、事前収録ポーズや現在ポーズの表示態様については、上記以外の態様で表示するようにしてもよい。
【0337】
上記した姿勢同化用画面表示処理を実行後は、残期間更新処理(ステップS303)を実行する。残期間更新処理においては、残期間タイマのタイマカウントが開始されていないとき(姿勢同化処理が開始されて最初に残期間更新処理が実行されるとき)は、残期間タイマに、ステップS300において格納した姿勢同化情報に含まれる残期間に対応するタイマカウント値を残期間タイマにセットして、カウント値の減算によるタイマカウントを開始する一方、タイマカウントが既に開始されている場合には、演者端末200A,Bにおいて姿勢同化処理に実行に割り当てられている所定の実行周期(例えば、画面の更新周期である30フレーム/秒に対応する周期等)に対応するタイマカウント値を減算更新する。
【0338】
次に、残期間表示更新処理(ステップS304)を実行する。残期間表示更新処理は、残期間更新処理(ステップS303)において更新された残期間タイマによって特定される残期間に対応するように、姿勢同化用画面における残り期間表示領域252の表示であるタイムバー等の表示を更新する。
【0339】
次に、暗転演出表示更新処理(ステップS305)を実行する。暗転演出表示更新処理においては、後述するステップS316で、暗転演出実行中フラグがセットされているときに、「暗転演出中」の表示を暗転演出中表示領域256に表示する。このように暗転演出中」の表示が表示されることで、演者ユーザーA,Bは、自分の姿勢を視聴者ユーザーが視認不能となっている暗転演出が実行されていることを認識することができ、暗転演出後において暗転演出が実行されたことに対応した適切な進行を行うことができる。
尚、実施例3においては、「暗転演出中」の表示を表示するようにしているが、本発明はこれに限定されるものではなく、オブジェクト隠蔽演出の実行期間であるときに表示される「オブジェクト隠蔽演出中」の表示を表示するようにしてもよいし、これら暗転演出中またはオブジェクト隠蔽演出のいずれかが実行されている期間中において表示される「視認不能化演出中」の表示を表示するようにしてもよい。
【0340】
次に、音声入力関連処理(ステップS306)を実行する。音声入力関連処理においては、ステップS300において格納した姿勢同化種別が、音声をミュート状態に制御する「0」である場合、つまり、当該移行期間が、演目(事前収録)からMC(非事前収録)に移行する姿勢同化種別である場合に、音声をミュート状態(入力不能状態)に制御するとともに、ミュート中表示領域255に「マイクミュート中」の表示をミュート中表示領域255に表示する。このように、「マイクミュート中」の表示が表示されることで、演者ユーザーA,Bは、自分の音声が配信されないことを認識することができ、例えば、スクリーンSに投影されている、事前収録された演目の歌唱に合わせて実際に歌唱しながらダンスを実行することで、最終の姿勢に向けた準備動作を行うことができる。尚、演者ユーザーA,Bが演目の歌唱に合わせて歌唱をより行い易くするために、演者ユーザーA,Bにワイヤレスイアホン等を装着させて、該ワイヤレスイアホン等を通じて、演目の音声を含む仮想ライブ会場の音声を聴取できるようにしてもよい。尚、このように、演者ユーザーA,Bが、歌唱に伴ったダンスを行うことで、演目の終了時姿勢を行うことができるようになるので、演目の音声を含む仮想ライブ会場の音声を演者ユーザーA,Bが視聴できるようにするためのワイヤレスイアホン等も、演者ユーザーA,Bが演目の終了時姿勢を行うための1つの手段を構成する。
【0341】
次に、演者姿勢表示更新処理(ステップS307)を実行する。演者姿勢表示更新処理においては、モーションスキャンによる取得された演者ユーザーA,Bの姿勢を、演者アバター1A,1Bに反映させるとともに、該姿勢を反映した演者アバター1A,1Bの後方映像を生成して現在ポーズ表示領域251に表示する。
【0342】
次に、後述するステップS319においてセットされる補正動作実行中フラグがセットされているか否かを判定する(ステップS308)。補正動作実行中フラグがセットされていない場合は、ステップS310の姿勢対比処理に進む。
【0343】
一方、補正動作実行中フラグがセットされている場合には、補正情報送信処理(ステップS309)に進む。補正情報送信処理においては、後述するステップS318において時系列に生成された補正動作に含まれる当該時点に対応する補正姿勢の姿勢データを含む補正情報を配信用サーバコンピュータ100に送信する。尚、このようにして送信された補正情報に含まれる補正された姿勢データが配信用サーバコンピュータ100において演者アバター1A,1Bの姿勢に反映されて配信されることになる。
【0344】
次に、姿勢対比処理(ステップS310)を実行する。姿勢対比処理では、ステップS307において更新した演者アバター1A,1Bの姿勢(ポーズ)と、事前収録ポーズ表示領域250に表示されている演者ユーザーA,Bが行うべきターゲット姿勢の演者アバター1A,1Bの姿勢(ポーズ)とを比較して一致度を算出する。尚、姿勢(ポーズ)との比較においては、アバター全体姿勢を比較して一致度を算出するだけではなく、実施例3では、右腕、左腕、右足、左足の各々についても一致度を算出する。尚、これら姿勢の一致度判定については、例えば、演者アバター1A,1Bの外形抽出等による画像処理による一致判定等、公知の手法を使用することができるが、これらの比較処理が、例えば、上記したように、画層の更新周期内で実行可能な比較的高速処理が可能なものを使用することが好ましい。
【0345】
次に、姿勢評価情報更新処理(ステップS311)を実行する。姿勢評価情報更新処理においては、一致度表示領域253に表示されている一致度を姿勢対比処理(ステップS310)にて算出した全体の一致度に更新表示し、現在ポーズ表示領域251の枠の表示色青、黄、赤)を、一致度に対応した色に更新するとともに、インジケータ部260の表示色(青、黄、赤)を、右腕、左腕、右足、左足の各々について姿勢対比処理(ステップS310)にて算出した各一致度に応じた色に更新する。
【0346】
尚、実施例3では、一致度が95%以上である場合には表示色を青色、一致度が60%未満の場合には表示色を赤色、一致度が60%以上95%未満である場合は黄色としているが、本発明はこれに限定されるものではなく、これらの色や色の種類数や各色が対応する一致度の範囲等は、アバターや演目やMCの態様等に応じて適宜、変更してもよい。
【0347】
このように一致度の数値だけではなく、演者ユーザーA,Bの注目度が高い現在ポーズ表示領域251において、枠の色によって姿勢の一致状況を直感的に把握できるので、演者ユーザーA,Bは、自身の姿勢をターゲット姿勢に同化させ易くなるとともに、右腕、左腕、右足、左足のいずれの部分を修正すれば良いのかも直感的に認識することができる。
【0348】
次に、その時点が、演者ユーザーA,Bがターゲット姿勢を問題なく行うことができる可能性があるか否かを判定する姿勢判定タイミングであるか否かを判定する(ステップS312)。姿勢判定タイミングであるか否かは、残期間タイマのタイマ値がステップS300において判定タイミングとして格納されている残期間が対応するタイマ値に達しているかによって判定する。尚、実施例3では、
図34、
図35に示すように、これら判定タイミングとして、残り期間が1秒と残り少なくなった時点を判定タイミングとしているが、これら判定タイミングは、アバターや演目やMCの態様等に応じて適宜、変更してもよい。
【0349】
姿勢判定タイミングでない場合は、ステップS303に戻る。一方、姿勢判定タイミングである場合は、姿勢評価情報更新処理(ステップS311)にて一致度表示領域253に表示した一致度が一致判定値(例えば、95%(青))以上であるか否かを判定する(ステップS313)。
【0350】
一致度が一致判定値以上である場合はステップS303に戻る。一方、一致度が一致判定値以上でない場合には、更に、一致度が限度値(例えば、60%未満(赤))未満であるか否かを判定する(ステップS314)。
【0351】
一致度が限度値未満である場合には、ステップS315に進んで、姿勢不良によって、残期間の間にターゲット姿勢を行うことが難しい状況であると判断して、姿勢不良である旨の姿勢同化情報を配信用サーバコンピュータ100に送信するともに(ステップS315)、暗転演出実行中フラグをセットしたのち(ステップS316)、ステップS303に戻る。このようにして姿勢同化情報が送信されることによって、前述したように、配信用サーバコンピュータ100において、演者アバター1A,1Bが視認不能となる暗転演出が実行される。
【0352】
一致度が限度値未満でない場合には、ステップS317に進んで、姿勢同化種別が「1」、つまり、MC(非事前収録)から演目(事前収録)に移行する種別であるか否かを判定する。
【0353】
姿勢同化種別が「1」ではない場合、つまり、演目(事前収録)からMC(非事前収録)に移行する場合には、ステップS303に戻る。一方、姿勢同化種別が「1」である場合には、演者ユーザーA,Bの姿勢を補正する動作を生成する補正動作生成処理(ステップS318)を実行する。
【0354】
この補正動作生成処理においては、姿勢判定タイミング時点の演者ユーザーA,Bの姿勢からターゲット姿勢へ残期間において変化する動作を時系列に生成する。具体的には、
図46に示すように、ターゲット姿勢(a)を残期間の最終時点における姿勢として設定するとともに、該ターゲット姿勢(a)と現在姿勢(b)とを対比し、その中間姿勢を一次中間姿勢として残期間の中間時点(一次中間時点)の姿勢に設定する。そして、一次中間姿勢(c)と現在姿勢(b)との二次A中間姿勢を更に生成し、該二次A中間姿勢を姿勢判定タイミングと中間時点との二次A中間時点の姿勢に設定する。同様に、一次中間姿勢(c)とターゲット姿勢(a)との二次B中間姿勢を更に生成し、該二次B中間姿勢を残期間の最終時点と中間時点との二次B中間時点の姿勢に設定する。このように、中間姿勢として、三次、四次、五次…として順次生成して、生成した時点が対応する残期間における姿勢として設定していくことで補正動作を生成する。
【0355】
尚、実施例3では、
図46に示すように、中間姿勢を順次生成することで補正動作を生成する形態を例示したが、本発明はこれに限定されるものではなく、例えば、公知のモーションモーフィングプログラムにターゲット姿勢(a)と現在姿勢(b)と動作期間を入力して補正動作を生成するようにしてもよい。
【0356】
そして、補正動作生成処理からステップS319に進んで、補正動作実行中フラグをセットした後、ステップS303に戻る。尚、ステップS319において補正動作実行中フラグがセットされることにより、上記したステップS309の補正情報送信処理が実行されることで、補正動作生成処理(ステップS318)にて生成された補正動作の各時点の姿勢が補正情報として配信用サーバコンピュータ100に送信されることで、補正動作が演者アバター1A,1Bに強制的に反映される。
【0357】
以上の姿勢動作処理が演者端末200A,Bで実行されることで、姿勢動作処理が実行される移行期間5の流れとしては、
図45に示すような流れとなる。尚、
図45は、移行期間5であるので、演者ユーザーAの場合であるが、演者ユーザーBのMCから演目への移行期間である移行期間9でも同様であるとともに、演者ユーザーAと演者ユーザーBとがともに登場している場合の移行期間12でも同様である。但し、移行期間12の場合には、演者ユーザーAと演者ユーザーBのいずれかの姿勢が一致度60未満の不良姿勢である場合に、他方の姿勢が良好であっても暗転演出が実行される。
【0358】
移行期間5の姿勢判定タイミングにおいて演者ユーザーAの姿勢が、一致度95%以上の良好姿勢である場合には、姿勢の補正や暗転演出が実行されることなく、演者ユーザーAの姿勢が演者アバター1Aに反映されて演目期間が開始される(
図45(a1))。
【0359】
一方、移行期間5の姿勢判定タイミングにおいて演者ユーザーAの姿勢が、
図45(b)に示すように、一致度60~94%の範囲にある軽不良姿勢である場合には、
図45(b1)の姿勢判定タイミングの姿勢から
図45(b3)の演目開始時の姿勢に変化する補正動作が演者端末200Aにて生成され、該生成された補正動作が
図45(b2)に示すように演者アバター1Aに反映されることによって、MC期間の最終時点(移行期間の最終時点)の姿勢が演目開始時の姿勢と同一とされて演目期間(事前収録)が開始される。このように、演者ユーザーAの姿勢が補正にて修正できるような軽不良姿勢である場合には、補正動作を生成して演者アバター1Aに反映させることによって、MC期間の最終時点において演者アバター1Aが挙げている手の位置が低いことから、演目期間の開始時において、演者アバター1Aの挙げている手の位置がいきなり高くなる不連続な動作で不自然となってしまい、コンテンツの興趣が低下してしまうことを防ぐことができる。
【0360】
また、移行期間5の姿勢判定タイミングにおいて演者ユーザーAの姿勢が、
図45(c)に示すように、一致度60未満の不良姿勢である場合、具体的には、例えば、左右逆の手を挙げている姿勢である場合には、姿勢判定タイミングからMC期間の最終時点(移行期間の最終時点)までの期間において、
図45(c2)に示すように暗転演出が実行されることによって、演者アバター1Aの動作(姿勢)を視認できないようにすることで、演目期間の開始時において、演者アバター1Aが挙げている手が、いきなり逆になって不自然となってしまい、コンテンツの興趣が低下してしまうことを防ぐことができる。
【0361】
以上、実施例3の仮想空間コンテンツ配信システムでは、非事前収録コンテンツであるMC(第1動作コンテンツ)と事前収録コンテンツである演目(第2動作コンテンツ)とが続けて配信されるときに、MC(第1動作コンテンツ)と演目(第2動作コンテンツ)との切り替えにおける所定期間となる移行期間において、演者アバター1A,1Bの姿勢を視聴者ユーザーが認識困難となる特定演出(暗転演出やオブジェクト隠蔽演出)が実行された仮想空間コンテンツが配信されることにより、演者アバター1A,1Bの姿勢を視聴者ユーザーが認識困難となるので、切り替えにおける演者アバター1A,1Bの姿勢が大きく異なることよって視聴者に違和感を与えてしまうことによる仮想空間コンテンツの興趣低下を防ぐことができる。
【0362】
また、上記した実施例3の仮想空間コンテンツ配信システムの演者端末200A,Bは、MC(第1動作コンテンツ)に続けてと演目(第2動作コンテンツ)が配信されるときに、演目(第2動作コンテンツ)における演者アバター1A,1Bの最初の動作に対応する姿勢を、MC(第1動作コンテンツ)の終了時において演者ユーザーA,Bが行うべきターゲット姿勢として提示可能な姿勢提示手段となる表示装置C212を備えていことで、演者ユーザーA,Bは、自身の動作が演者アバター1A,1Bに反映されるMC(第1動作コンテンツ)の終了時に、提示されているターゲット姿勢をとることができるようになるため、演目(第2動作コンテンツ)の開始時において、演者アバター1A,1Bの姿勢が、MC(第1動作コンテンツ)の終了時と大きく異なることによって視聴者に違和感を与えてしまうことによる仮想空間コンテンツの興趣低下を防ぐことができる。
【0363】
また、上記した実施例3の仮想空間コンテンツ配信システムでは、MC(第1動作コンテンツ)に続いて演目(第2動作コンテンツ)を配信するときは、MC(第1動作コンテンツ)の終了時において、演目(第2動作コンテンツ)における演者アバター1A,1Bの最初の開始時姿勢を演者ユーザーA,Bにとらせるための姿勢同化用画面表示処理、残期間更新処理、残期間表示更新処理、演者姿勢表示更新処理、姿勢対比処理、姿勢評価情報更新処理(第1処理)と、該開始時姿勢と演者ユーザーA,Bの姿勢との差を補正する補正動作生成処理(第2処理))と、を含む姿勢同化処理を実行し、演目(第2動作コンテンツ)に続いてMC(第1動作コンテンツ)が配信されるときは、該MC(第1動作コンテンツ)と該演目(第2動作コンテンツ)との切り替えにおける移行期間(所定期間)において、演者アバター1A,1Bの姿勢を視聴者ユーザーが認識困難となる特定演出(暗転演出やオブジェクト隠蔽演出)を実行するための特定演出処理(暗転演出反映処理やオブジェクト演出反映処理)を実行するため、MC(第1動作コンテンツ)に続いて演目(第2動作コンテンツ)を配信されるときは、演者アバター1A,1Bに反映される演者ユーザーA,Bの姿勢が演目(第2動作コンテンツ)における演者アバター1A,1Bの開始時姿勢に同化されるとともに、演目(第2動作コンテンツ)に続いてMC(第1動作コンテンツ)が配信されるときは、特定演出が実行されることにより、演者アバターの姿勢を視聴者ユーザーが認識困難となるので、MC(第1動作コンテンツ)の配信開始時において、演者アバター1A,1Bの姿勢が演目(第2動作コンテンツ)の終了時の姿勢と大きく異なることによって視聴者に違和感を与えてしまうことによる仮想空間コンテンツの興趣低下を防ぐことができる。
【0364】
また、上記した実施例3の仮想空間コンテンツ配信システムでは、演目(第2動作コンテンツ)に続いてMC(第1動作コンテンツ)が配信されるときに、該MC(第1動作コンテンツ)の開始時において、演目(第2動作コンテンツ)における演者アバター1A,1Bの最後の終了時姿勢を演者ユーザーA,Bにとらせるための姿勢同化処理を実行することで、演目(第2動作コンテンツ)に続いてMC(第1動作コンテンツ)が配信されるときに、MC(第1動作コンテンツ)の開始時において、演目(第2動作コンテンツ)における演者アバター1A,1Bの最後の終了時姿勢を演者ユーザーA,Bにとらせることができるようになるので、MC(第1動作コンテンツ)の配信開始時における演者アバター1A,1Bの姿勢が、演目(第2動作コンテンツ)の終了時の最終姿勢と大きく異なることによって視聴者に違和感を与えてしまうことによる仮想空間コンテンツの興趣低下を防ぐことができる。
【0365】
また、上記した実施例3の仮想空間コンテンツ配信システムでは、MC(第1動作コンテンツ)と演目(第2動作コンテンツ)とが続けて配信されるときに、動作コンテンツの切替時において、演者アバター1A,1Bの姿勢が連続していないことを視聴者ユーザーが認識不能とするための第1特定処理となる姿勢同化処理や第2特定処理となる暗転演出反映処理、オブジェクト演出反映処理を含む特定処理を実行することで、演者アバター1A,1Bの姿勢が動作コンテンツの切替時において、大きく異なっている不連続な状態であることを視聴者ユーザーが認識不能とすることができるので、動作コンテンツの切替時において、演者アバター1A,1Bの姿勢の大きく異なっていることによって視聴者に違和感を与えてしまうことによる仮想空間コンテンツの興趣低下を防ぐことができる。
【0366】
<実施例3の変形例>
図47は、実施例3についての変形例3-1を示す図である。上記したように、実施例3では、視聴者端末300の画面表示を暗転させた暗転画面とすることによって演者アバター1A,1Bを視認不能とした形態を例示しているが、これら演者アバター1A,1Bを視認不能とする画面としては暗転画面に限定されるものではなく、
図47に示すように、新たなデータを読み込んでいることを示す読込中画面を表示する読込中画面表示演出を実行することで、演者アバター1A,1Bを視認不能としてもよく、このようにすることで、視聴者ユーザーは、仮想ライブを進行するために新たなデータの読み込みが必要な時点であるのだと認識して、演者アバター1A,1Bが視認不能となることに対して、より一層、違和感を感じ難くできるので、コンテンツの興趣低下をより一層防ぐことができる。
【0367】
尚、
図47においては、読込中画面を例示したが、本発明はこれに限定されるものではなく、演者アバター1A,1Bを視認不能とする画面を、暗転画面や読込中画面以外の他の画面としてもよい。
【0368】
また、これらの画面としては、演者アバター1A,1Bの全体を隠す画面ではなく、例えば、オブジェクト隠蔽演出で使用したオブジェクトが、演者アバター1A,1Bの顔以外の部分を隠した状態の画面、つまり、演者アバター1A,1Bの動作(姿勢)を隠す画面であってもよい。
【0369】
図48は、実施例3についての変形例3-2を示す図である。上記したように、実施例3では、移行期間における演出として暗転演出やオブジェクト隠蔽演出を実行して演者アバター1A,1Bを視認不能とすることで、姿勢が不連続になっていることによる違和感を視聴者ユーザーに与えないようにしているが、本発明はこれに限定されるものではなく、これら演者アバター1A,1Bを視聴者ユーザーが見えないように隠すのではなく、視聴者ユーザーの視点を演者アバター1A,1B以外に移動させる演出を実行して演者アバター1A,1Bの動作を視聴者ユーザーが視認しないように誘導してもよい。
【0370】
具体的には、
図48に示すように、移行期間が開始されたときに、
図48(d)に示すように、仮想ステージG上に配置された星の仮想配置オブジェクト43Aの大きさが大きくなる演出を実行することで、視聴者ユーザーの視点を仮想配置オブジェクト43Aに集中させるようにして、視聴者ユーザーの視点を演者アバター1A,1Bからそらすようにする。この際、視聴者ユーザーの視点を、視聴者アバターの視点ではなく、イベント管理者Mが視点を管理できる仮想カメラである、例えば、仮想カメラC1の共通視点映像として、視聴者ユーザー全体が、仮想配置オブジェクト43Aに注目するように誘導する。そして、
図48(e)に示すように、仮想配置オブジェクト43Aの拡大とともに拡大した仮想配置オブジェクト43Aに近づくような仮想カメラC1の共通視点映像とすることで、共通視点映像から演者アバター1A,1Bの身体部分を含まない映像とし、仮想配置オブジェクト43Aが徐々に縮小するのに応じて、演者アバター1A,1Bの身体部分の頭部が視認できるようになる映像となるようにする視点誘導演出を実行し、その後、演者アバター1A,1Bの身体全体が視認できるMC期間を開始するようにしてもよい。
【0371】
図49は、実施例3についての変形例3-3を示す図である。上記したように、実施例3では、移行期間において演者ユーザーA,Bに、事前収録されている演目の最終時姿勢や開始時姿勢のターゲット姿勢を行わせるようにしているが、演者ユーザーA,Bにターゲット姿勢を行わせるのではなく、前述した補正動作生成処理において補正動作を生成した場合と同様に、演者端末200または配信用サーバコンピュータ100において、
図49(c)に示す移行期間の開始時の演者ユーザーA,Bの移行期間開始時姿勢から
図49(f)に示すターゲット姿勢(
図49に示す例では、演目開始時の開始時姿勢)と移行期間の長さにもとづいて、
図49(c)の姿勢から
図49(f)の姿勢に変化する移行期間動作を自動的に生成する移行期間動作生成処理を実行し、該移行期間動作生成処理にて生成した移行期間動作を演者アバター1A,1Bに反映するようにしてもよい。尚、このように移行期間動作生成処理を前述した公知のモーションモーフィングプログラムに、
図49(f)に示すターゲット姿勢と
図49(c)に示す移行期間開始時姿勢と移行期間とを入力して移行期間動作を生成するようにしてもよい。
【0372】
尚、移行期間動作を生成する形態は、特に、実施例3の移行期間1のように、演者ユーザーA,Bが、仮想ライブの開始時である不慣れな状況下において共に開始時姿勢をとる必要がある場合のように、演者ユーザーA,Bのいずれか一方が、開始時姿勢を上手く行うことができない可能性が高い場合に使用することで、高い効果を得ることができる。
【0373】
また、演者ユーザーが3人以上のグループ等の仮想ライブにおいて移行期間動作を生成する場合は、これら移行期間動作を生成する移行期間動作生成処理を、配信用サーバコンピュータ100において集中して実行すると、配信用サーバコンピュータ100における移行期間の処理負荷が過度に大きくなってしまうことで、配信に支障をきたす可能性があるので、これら移行期間動作生成処理を各演者端末200側で実行して、各演者端末200で生成した移行期間動作の各姿勢を、演者アバター情報として配信用サーバコンピュータ100に送信するようにすればよい。
【0374】
また、上記した実施例3においては、MCから演目に移行する移行期間において姿勢同化処理を実行する場合においては、該移行期間中であっても演者ユーザーA,Bの音声が配信されるようにしているが、本発明はこれに限定されるものではなく、これらMCから演目に移行する移行期間において、演者ユーザーA,Bが、音声を気にすることなくターゲット姿勢を行うことができるように、
図35に示す演目からMCの場合と同様に、マイクをミュート制御することで、演者ユーザーA,Bの音声が配信されないようにしてもよく、このように、マイクをミュート制御する場合において、例えば、事前に収録しておいた演者ユーザーA,Bのメッセージ音声等の特定の音声を配信するようにしてもよい。
【0375】
また、上記した実施例3においては、姿勢同化処理において、姿勢判定タイミングに達したときに姿勢の一致度が60%未満である場合には、迅速に処理を行える暗転演出のみを実行する形態を例示しているが、本発明はこれに限定されるものではなく、これら暗転演出に代えて若しくは加えて、オブジェクト隠蔽演出等の演者アバター1A,1Bの動作を視聴者ユーザーが視認不能となる他の演出を実行するようにしてもよい。
【0376】
また、上記した実施例3においては、姿勢同化用画面に四肢に対応した4つのインジケータ部260を表示することで、ターゲット姿勢と異なっている部分を演者ユーザーA,Bが容易に把握できるようにしているが、本発明はこれに限定されるものではなく、これらインジケータ部260を表示しない形態としてもよい。
【0377】
上記した実施例3においては、姿勢同化用画面において、共演する演者アバターの姿勢同化の状態を表示していないが、例えば、移行期間1のように、演者アバター1A,1Bが共に演目開始時の開始時姿勢を行う場合にあっては、演者ユーザーA,Bの姿勢が共に一致度95%以上であることを表示装置Cに表示して報知するようにしてもよい。
【0378】
また、上記のように、単に、演者ユーザーA,Bの双方の姿勢が一致度95%以上の所定範囲になっていることを報知するのみではなく、例えば、演者ユーザーBの演者端末200Bから演者端末200Aに対して一致度の情報を送信して、演者ユーザーAの演者端末200Aの表示装置Cに、演者ユーザーBの姿勢同化の一致度を更新表示するとともに、演者ユーザーAの演者端末200Aから演者端末200Bに対して一致度の情報を送信して、演者ユーザーBの演者端末200Bの表示装置Cに、演者ユーザーAの姿勢同化の一致度を更新表示することで、演者ユーザーA,Bが互いに、共演する他の演者アバターの姿勢同化の状態を逐次把握できるようにしてもよい。
【0379】
また、上記した実施例3において、演目は、歌唱とダンスの双方を含むものとした形態を例示しているが、本発明はこれに限定されるものではなく、これら演目として、歌唱のみを含むものやダンスのみを含むものであってもよいし、或いは、歌唱とダンス以外の演技やコント等を含むものであってもよい。
【0380】
また、上記した実施例3においては、移行期間において暗転演出やオブジェクト隠蔽演出を実行するときには、演者ユーザーA,Bは、自由な姿勢をとることができるので、演者端末200の表示装置Cに、姿勢同化用画面を表示しない形態を例示しているが、本発明はこれに限定されるものではなく、例えば、暗転演出やオブジェクト隠蔽演出を実行する移行期間においても、ターゲット姿勢が表示されていない姿勢同化用画面を同様に表示して、MCや演目が開始されるまでの期間を認識できるようにするともに、暗転演出やオブジェクト隠蔽演出が実行されていることを姿勢同化用画面において表示して報知するようにしてもよい。
【0381】
また、上記した実施例3においては、演目からMCに移行するときの移行期間においては、主にオブジェクト隠蔽演出を実行し、MCから演目に移行するときには、演者アバターの数が増えることにもとづいて暗転演出を実行する形態を例示しているが、本発明はこれに限定されるものではなく、演目からMCに移行するときの移行期間において、演者アバターの数に関係なく暗転演出を実行し、演目からMCに移行するときにオブジェクト隠蔽演出を実行するように、演目からMCに移行するときと演目からMCに移行するときとで異なる演出(特定演出)を実行することで、移行の状況を視聴者ユーザーが把握しやすくなるようにしてもよいが、本発明はこれに限定されるものではなく、演目からMCに移行するときと演目からMCに移行するときとで同一の演出(特定演出)を実行するようにしてもよい。
【0382】
また、上記した実施例3においては、演者アバター1A,1Bとで異なるオブジェクトを使用したオブジェクト隠蔽演出を実行する形態を例示しているが、本発明はこれに限定されるものではなく、これらオブジェクトとして、演者アバター1A,1Bに共通した仮想オブジェクト(例えば、ユニット名のオブジェクト)を使用したオブジェクト隠蔽演出を実行するようにしてもよい。
【0383】
また、上記した実施例3においては、オブジェクト隠蔽演出においてオブジェクトが演者アバター1A,1Bに集まってきて演者アバター1A,1Bを隠蔽状態としたのち、飛散することで演者アバター1A,1Bを視認可能とする形態を例示したが、本発明はこれに限定されるものではなく、例えば、集中したオブジェクトが一旦飛散したときに、演者アバター1A,1Bが不在の状態とし、再度、オブジェクトが集中して飛散することで、衣装が変化した演者アバター1A,1Bが登場する演出形態としてもよい。
【0384】
また、上記した実施例3においては、演者端末200A,Bにおいて、ターゲット姿勢を表示装置Cに表示することで演者ユーザーA,Bに提示する形態を例示しているが、本発明はこれに限定されるものではなく、これらターゲット姿勢を、例えば、「両足を閉じて右手を挙げて」のように音声にて提示する形態としてもよいし、或いは、レーザーマーカー等によって、ターゲット姿勢における手や足の位置を空間中に示すようにしてもよい。
【0385】
また、上記した実施例3においては、オブジェクト隠蔽演出を、演目からMCに移行するときにだけ実行していて、MCから演目に移行するときには実行していないが、本発明はこれに限定されるものではなく、MCから演目に移行するときにも、オブジェクト隠蔽演出を実行するようにしてもよい。尚、これらオブジェクト隠蔽演出を、MCから演目に移行するときに姿勢動作処理を実行して、該姿勢同化処理における演者ユーザーA,Bの姿勢が不良姿勢であったときに実行するようにしてもよい。
【0386】
また、上記した実施例3においては、移行期間を、演目やMCの終了直前の期間とした形態として、演目期間やMC期間に含める形態を例示しているが、本発明はこれに限定されるものではなく、これら移行期間を、演目期間とMC期間とは個別の期間として、演目期間とMC期間との間に設けるようにしてもよい。
【0387】
また、移行期間を、演目とMCとの切り替え時点を含む期間であって、演目期間とMCとに跨がる期間としてもよく、この場合には、例えば、演目(事前収録)からMCに移行するときに、演目終了直前(例えば、演目終了の0.5秒前)に姿勢判定タイミングを設けておき、該姿勢判定タイミングで一致度が限度値(例えば、60%未満(赤))である場合には、移行期間をMC期間中にまで延長して、MC期間の最初の1秒間に暗転演出を実行することで、演目が途中で暗転演出にて途切れることなく暗転演出を実行するようにしたり、姿勢判定タイミングで一致度が限度値が60%以上95%未満である場合には、補正動作を生成して、該補正動作をMC期間の最初の数秒間において実行することで、演者アバター1A,1Bの姿勢が一瞬にして大きく異なることによって視聴者ユーザーに違和感を与えてしまうことを防ぐことができるようにしてもよい。
【0388】
また、移行期間を、移行する演目やMCの最初の所定期間としてもよく、これら移行する演目やMCの最初の所定期間において暗転演出やオブジェクト隠蔽演出や姿勢同化処理等を実行するようにしてもよい。
【0389】
また、上記した実施例3においては、姿勢同化処理において、姿勢判定タイミングの判定結果に応じて暗転演出や補正動作生成処理を実行するようになっているが、本発明はこれに限定されるものではなく、これら暗転演出や補正動作生成処理を実行しない形態としてもよい。
【0390】
また、上記した実施例3においては特に実施していないが、演者端末200A,Bが姿勢同化情報を送信して暗転演出が実行されるときに、暗転演出が実行されていることを報知するだけではなく、例えば、レーサーマーカーや照明等によって演者ユーザーA,Bが位置すべき正しい位置を示すことで、暗転演出の終了時に正しい位置において動作を開始できるようにしてもよい。
【0391】
また、上記した実施例3において補正動作を演者アバター1A,1Bの動作に強制的に反映させるときには、特に、視聴者ユーザーの視点について制限を設けていないが、上記した変形例3-2の視点誘導演出において実施しているように、これら補正動作を演者アバター1A,1Bの動作に強制的に反映させている期間においては、イベント管理者Mが視点を管理できる仮想カメラである、例えば、仮想カメラC1の共通視点映像のみに制限するようにしてもよい。
【0392】
また、上記した実施例3においては、表示装置C212に、姿勢同化用画面を表示する形態を例示しているが、本発明はこれに限定されるものではなく、これら姿勢同化用画面をスクリーンSの一部に表示したり、演者ユーザーが装着するヘットマウントディスプレイ(HMD)において表示するようにしてもよい。
【0393】
また、上記した実施例3においては、事前収録の形態として、演者ユーザーA,Bの動作を時系列に記述した演目用演者動作データを配信用サーバコンピュータ100に記憶した形態を例示しているが、本発明はこれに限定されるものではなく、これら演目用演者動作データを演者アバター1A,1Bの動作に反映させるのではなく、演目の演者ユーザーA,Bの動作を反映した演者アバター1A,1Bの映像を録画記憶しておいて、該録画記憶した映像を配信するようにしてもよい。尚、これら録画記憶した映像の配信を、全ての演目について適用するようにしてもよいし、一部の演目にだけ適用し、他の演目については、演目用演者動作データを使用するようにしてもよい。
【0394】
また、上記した実施例3においては、演目用演者動作データを配信用サーバコンピュータ100に記憶することで、演者端末200A,Bとの通信障害等があっても演目を良好に配信できるようにした形態を例示しているが、本発明はこれに限定されるものではなく、これら演目用演者動作データを演者端末200A,Bに記憶しておき、演目期間において、演者ユーザーの演者アバター情報として配信用サーバコンピュータ100に送信するようにしてもよい。
【0395】
また、上記した実施例3においては、暗転演出反映処理やオブジェクト演出反映処理を配信用サーバコンピュータ100において実行し、姿勢同化処理を演者端末200A,Bにおいて実行する形態を例示したが、本発明はこれに限定されるものではなく、これらの各処理を、配信用サーバコンピュータ100と演者端末200A,Bとが協働して実行するようにしてもよい。
【0396】
また、上記した実施例3においては、演者ユーザーA,Bの動作が演者アバター1A,1Bの動作にほぼリアルタイムに反映される動作コンテンツ(非事前収録)をMCとし、演者ユーザーA,Bの動作が演者アバター1A,1Bの動作にほぼリアルタイムに反映されない動作コンテンツ(事前収録)を演目とした形態を例示したが、本発明はこれに限定されるものではなく、MCを動作コンテンツ(事前収録)とし、演目を演者ユーザーA,Bの動作が演者アバター1A,1Bの動作にほぼリアルタイムに反映される動作コンテンツ(非事前収録)としてもよい。
【0397】
また、上記した実施例3においては、MCと演目とを交互に実行する形態を例示したが、本発明はこれに限定されるものではなく、MCと演目以外の他コンテンツ(例えば、ゲーム)を配信するようにしてもよく、これら他コンテンツは、事前収録でも非事前収録のいずれであってもよい。
【0398】
また、上記した実施例3においては、演目の全てを動作コンテンツ(事前収録)とし、MCの全てを動作コンテンツ(非事前収録)とした形態を例示しているが、本発明はこれに限定されるものではなく、演目の一部を動作コンテンツ(非事前収録)とするともに、MCの一部を動作コンテンツ(事前収録)としてもよい。
【0399】
また、上記した実施例3においては、異なる演目期間中にMCを配信する形態を例示しているが、本発明はこれに限定されるものではなく、例えば、同一の演目期間中に、MCの期間を設けるようにしてもよいし、同一のMC期間中に短い演目期間を設けるようにしてもよい。
【0400】
また、実施例3においては、詳細に説明していないが、各演目の期間中に、実施例1のフライング演出期間等の設けるようにしてもよく、実施例3に実施例1や実施例2の構成を適用することができる。
【0401】
以上、本発明を各実施例及び変形例にもとづいて説明したが、具体的な構成は上記した各実施例及び変形例に限定されるものではなく、本発明の要旨を逸脱しない範囲における変更や追加があっても本発明に含まれる。
【0402】
例えば、上記各実施例及び変形例では、視聴者アバター視点映像を視聴者端末300側で生成して表示する形態を例示したが、本発明はこれに限定されるものではなく、例えば、仮想参加者が少ないライブイベント等の場合には、視聴者アバターからの視点映像についても配信用サーバコンピュータ100側で生成して配信するようにしてもよい。また、視聴者ユーザーが、自分が所有する端末の処理能力や利用可能なデータ通信環境に応じて、視聴者アバター視点映像を視聴者端末300側で生成するか配信用サーバコンピュータ100側で生成するかを選択できるようにしてもよいし、配信用サーバコンピュータ100が、通信接続している視聴者端末300の処理能力を特定して、該特定した処理能力にもとづいて、視聴者端末300側で生成するか配信用サーバコンピュータ100側で生成するかを決定するようにしてもよい。
【0403】
また、上記各実施例及び変形例では、配信用サーバコンピュータ100を、仮想ライブを主催するイベント運営機関が運営するスタジオに設置した形態を例示しているが、本発明はこれに限定されるものではなく、これら配信用サーバコンピュータ100としては、サーバコンピュータを貸し出す企業がデータセンタ等において所有するサーバコンピュータを使用したり、上述したように、クラウドサービスによるサーバコンピュータを使用してもよく、これらサーバコンピュータの設置形態は、配信用サーバコンピュータ100の機能を得られる形態であれば、任意の形態とすることができる。
【0404】
また、上記各実施例及び変形例では、演者ユーザーに対して1対1にて演者端末200を設けた形態を例示しているが、本発明はこれに限定されるものではなく、複数人で1台の演者端末200を共有してもよい。尚、演者ユーザーが、複数人のメンバーからなるユニットやグループである場合に、例えば、視点追随対象者指定処理を配信用サーバコンピュータ100や視聴者端末300の少なくとも一方で実行することで、視点を追随する対象とするメンバーを、視聴者ユーザーが選択できるようにしてもよい。
【0405】
また、上記各実施例及び変形例では、演者ユーザーが一人で歌唱やダンス等の上演動作を行う形態を例示しているが、本発明はこれに限定されるものではなく、歌唱を行う歌唱者とダンス動作を行うアクターとが個別の人物とされていてもよく、この場合、歌唱者の演者端末とアクターの演者端末を個別として、歌唱者はアクターが上演動作を行うスタジオ以外の場所で歌唱するようにしてもよい。
【0406】
また、上記各実施例及び変形例では、配信用サーバコンピュータ100、管理者端末150、演者端末200、視聴者端末300を接続するコンピュータ通信ネットワークとして、インターネット網を例示しているが、本発明はこれに限定されるものではなく、これら通信ネットワークは、特定のエリア内だけでデータ通信可能なローカルエリアネットワークで構成されていてもよいし、その一部にローカルエリアネットワークやローカルデータ通信が含まれていてもよい。
【0407】
また、上記各実施例及び変形例では、視聴者端末300としてスマートフォンPやコンピュータ(PC)とした形態を例示しているが、本発明はこれに限定されるものではなく、これらコンピュータは、持ち運び可能なノートパソコンであってもよいし、タブレット端末、電子書籍リーダー、ウェアラブルコンピュータ、ゲーム用コンソール、及びこれら以外の、少なくとも2D映像と音声とを出力可能な各種情報処理装置であってもよい。
【0408】
また、上記各実施例及び変形例では、演者ユーザーが、スタジオで歌唱を含む上演を行う形態を例示したが、本発明はこれに限定されるものではなく、例えば、演者ユーザーが自宅等に設置されている演者端末200を使用して、自宅等から仮想ライブに出演するようにしてもよい。
【0409】
また、上記各実施例及び変形例では、仮想空間コンテンツとして仮想ライブを例示したが、本発明はこれに限定されるものではなく、これら仮想空間コンテンツとしては、例えば、演者ユーザーが自分のファンと集うファンミーティングや、トークセッション等、視聴者ユーザーにとって有益なコンテンツであって、演者アバター1と視聴者アバターとが仮想参加する仮想空間に関するコンテンツであれば、どのようなコンテンツであってもよい。
【0410】
また、上記各実施例及び変形例では、固定配置(設定)された仮想カメラとして4つの仮想カメラC1~C4や空中移動仮想カメラの視点切替を、管理者端末150における設定や操作によって事前に行える形態を例示しているが、本発明はこれに限定されるものではなく、例えば、これら視点切替を、管理者端末150においてイベント管理者Mが、操作入力装置161を構成する視点切替コントローラ等を使用して、リアルタイムに行うようにしてもよい。
【0411】
また、上記各実施例及び変形例では、仮想カメラとして仮想空間内に固定配置(設定)された仮想カメラC1~C4を使用する形態を例示しているが、本発明はこれに限定されるものではなく、例えば、仮想カメラC1~C4に、加えるか若しくは代えて、移動可能な仮想移動カメラを仮想ライブ会場内に配置して、該仮想移動カメラの仮想空間内の位置や撮像方向等を、管理者端末150においてイベント管理者Mやカメラマン等が操作により制御して、仮想移動カメラの視点映像とするようにしてもよい。
【0412】
また、上記各実施例及び変形例では、演者アバターの表情に反映させるために、演者ユーザーの顔の表情を検出可能とするために、スクリーンSに仮想カメラC2の視点映像を表示する形態を例示しているが、本発明はこれに限定されるものではなく、例えば、演者ユーザーの顔の表情を検出するセンサ機能を有する高機能ヘッドマウントディスプレイであれば、これら高機能ヘッドマウントディスプレイを装着して上演を行うようにしてもよく、このようにすることで、演者ユーザーの仮想ライブへの没入感を向上することができるようにしてもよい。また、演者アバターの表情に演者ユーザーの顔の表情を詳細に反映しなくてもよい場合は、通常のヘッドマウントディスプレイを演者ユーザーが装着して上演を行うようにしてもよい。
【0413】
また、演者ユーザーの歌唱や歌唱動作(上演)に替えて、コンピュータグラフィック等で作成した仮想の演者による歌唱や歌唱動作(上演動作)を演者アバター情報として配信用サーバコンピュータに記録しておき、該記録した歌唱の音声や歌唱動作(上演動作)をライブの進行に応じて再生することによって仮想ライブを開催するようにしてもよい。
【0414】
このように、予め、歌唱や歌唱動作(上演動作)を実行して演者アバター情報を配信用サーバコンピュータ100に記録、再生して仮想ライブを配信する場合にあっては、該配信時における仮想空間コンテンツ配信システムの構成は、配信用サーバコンピュータ100、管理者端末150、視聴者端末300とで構成されることになり、仮想空間において演者アバター1を動作させる操作を行う演者ユーザーが利用可能な演者ユーザー端末である演者端末200を含まない構成となる。
【0415】
尚、本発明における「第1動作コンテンツの開始時」、「第1動作コンテンツの終了時」、「第2動作コンテンツの開始時」、「第2動作コンテンツの終了時」は、いずれも、実施例3や各変形例における「MC期間の開始時」、「MC期間の開始時」、「演目期間の開始時」、「演目期間の終了時」が該当するものであるが、これら「MC期間の開始時」は、実際にMCにおけるトーク等が開始される前であってもよいし、同様に、「MC期間の終了時」も、MCにおけるトーク等が終了してからある程度の期間が経過した時点としてもよい。また、「演目期間の開始時」も同様に、実際に演目のダンスや音楽再生が開始されるよりもある程度前のタイミングとしてもよいし、音楽再生(イントロ)が開始された後で、ダンスや歌唱が開始される直前としてもよいし、「演目期間の終了時」も、演目のダンスや歌唱が終了してからある程度の期間が経過して無音となったタイミングとしてもよいし、逆に、演目のダンスや歌唱が終了しているがエンディングの音楽がまだ再生されているタイミングとしてもよく、これらの時点(タイミング)は、演目やMCの態様に応じて適宜に決定すればよい。
【0416】
尚、本発明における「コンテンツの切り替え」とは、演者アバター1A,1Bの動作に演者ユーザーの動作がほぼリアルタイムに反映されることが終了されるとき、若しくは新たに開始されるときが該当する。
【0417】
また、本発明における動作とは、一般的には、単位期間における姿勢の変化であり、時系列に連続する複数の姿勢を含むものであるが、本発明において、これら動作には、一定期間において姿勢が変化しない静止動作も動作に含み、この場合においては、静止動作と姿勢は同じものとなる。
【0418】
また、本発明において、「演者が使用する」とは、演者ユーザーが操作するものではなく、単に、演者ユーザーが仮想空間コンテンツを視聴するための使用も含まれる。
【符号の説明】
【0419】
1 演者アバター
100 配信用サーバコンピュータ
150 管理者端末
200 演者端末
300 視聴者端末
【要約】
【課題】仮想空間コンテンツの興趣低下を防ぐこと。
【解決手段】演者が使用可能な演者用端末と、仮想空間コンテンツを視聴可能な視聴者ユーザー端末と、仮想空間に関する処理と演者アバターの動作コンテンツを含む仮想空間コンテンツを視聴者ユーザー端末に配信する処理とを実行可能なサーバコンピュータと、を含むシステムであって、動作コンテンツは、演者の動作がリアルタイムに演者アバターに反映される第1動作コンテンツと、事前に収録された第2動作コンテンツと、を含み、演者用端末は、第1動作コンテンツに続けて第2動作コンテンツが配信されるときに、第2動作コンテンツにおける演者アバターの最初の動作に対応する姿勢を、第1動作コンテンツの終了時において演者が行うべき終了時姿勢として提示する。
【選択図】
図36