特許 6707111 ３次元コンテンツ配信システム、３次元コンテンツ配信方法、コンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6707111

(24)【登録日】2020年5月21日

(45)【発行日】2020年6月10日

(54)【発明の名称】３次元コンテンツ配信システム、３次元コンテンツ配信方法、コンピュータプログラム

(51)【国際特許分類】

   G06T 19/00 20110101AFI20200601BHJP

   H04N 21/234 20110101ALI20200601BHJP

   H04N 21/235 20110101ALI20200601BHJP

   G06F 13/00 20060101ALI20200601BHJP

【ＦＩ】

   G06T19/00 A

   H04N21/234

   H04N21/235

   G06F13/00 540A

【請求項の数】11

【全頁数】26

(21)【出願番号】特願2018-150863(P2018-150863)

(22)【出願日】2018年7月25日

(65)【公開番号】特開2020-17242(P2020-17242A)

(43)【公開日】2020年1月30日

【審査請求日】2018年7月25日

【前置審査】

(73)【特許権者】

【識別番号】518412081

【氏名又は名称】株式会社バーチャルキャスト

(74)【代理人】

【識別番号】100108855

【弁理士】

【氏名又は名称】蔵田 昌俊

(74)【代理人】

【識別番号】100103034

【弁理士】

【氏名又は名称】野河 信久

(74)【代理人】

【識別番号】100179062

【弁理士】

【氏名又は名称】井上 正

(74)【代理人】

【識別番号】100153051

【弁理士】

【氏名又は名称】河野 直樹

(74)【代理人】

【識別番号】100199565

【弁理士】

【氏名又は名称】飯野 茂

(74)【代理人】

【識別番号】100162570

【弁理士】

【氏名又は名称】金子 早苗

(72)【発明者】

【氏名】川上 量生

(72)【発明者】

【氏名】岩城 進之介

(72)【発明者】

【氏名】小嶋 尚

(72)【発明者】

【氏名】齊藤 寛明

【審査官】 千葉 久博

(56)【参考文献】

【文献】 特開２０１８−９４３２６（ＪＰ，Ａ）

【文献】 特開２０１２−２２６６６９（ＪＰ，Ａ）

【文献】 特許第６２７６８８２（ＪＰ，Ｂ１）

【文献】 国際公開第０２／０９３４９７（ＷＯ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １９／００

Ｇ０６Ｆ １３／００

Ｈ０４Ｎ ２１／２３４

Ｈ０４Ｎ ２１／２３５

(57)【特許請求の範囲】

【請求項1】

仮想的な３次元バーチャル空間を用いたコンテンツを視聴用端末へ配信して視聴に供する、３次元コンテンツ配信システムであって、
（Ａ）前記３次元バーチャル空間に配置された各バーチャルオブジェクトの仕様に関する第１のデータ、および（Ｂ）当該各バーチャルオブジェクトの動作に関する第２のデータを少なくとも含んだコンテンツデータを記録する記録部と、
前記視聴用端末が視聴を行うための要求に応じて、少なくとも前記第１のデータおよび前記第２のデータを含んだデータを送信する第１の送信部と、
前記送信されたデータを受信して、視聴者が前記コンテンツを視聴しつつ自分の分身であるアバターを当該コンテンツに投入するために、前記アバターに所望の動作をさせるために前記視聴者の身体各所の動きをセンシングした結果による前記身体各所に対応する節の情報および前記節をつなぐ枝の情報を含むモーションデータとして操作部で生成された前記第２のデータを少なくとも含むデータを前記記録部へ送信する第２の送信部と、
を備えた３次元コンテンツ配信システム。

【請求項2】

仮想的な３次元バーチャル空間を用いたコンテンツを視聴用端末へ配信して視聴に供する、コンテンツ配信システムであって、
（Ａ）前記３次元バーチャル空間に配置された各バーチャルオブジェクトの仕様に関する第１のデータ、および（Ｂ）当該各バーチャルオブジェクトの動作に関する第２のデータを少なくとも含んだコンテンツデータを記録する記録部と、
前記視聴用端末が視聴を行うための要求に応じて、少なくとも前記第１のデータおよび前記第２のデータを含んだデータを送信する第１の送信部と、
前記送信されたデータを受信して、視聴者が前記コンテンツを視聴しつつ自分の分身であるアバターを当該コンテンツに投入するために、前記アバターに所望の動作をさせるために前記視聴者の身体各所の動きをセンシングした結果による前記身体各所に対応する節の情報および前記節をつなぐ枝の情報を含むモーションデータとして操作部で生成された前記第２のデータを少なくとも含むデータを前記記録部へ送信する第２の送信部と、
を備えるとともに、前記記録部は、前記第２の送信部が送信したデータに基づいて前記コンテンツデータを改変した新たなコンテンツデータを記録するよう構成された３次元コンテンツ配信システム。

【請求項3】

前記記録部がさらに、（Ｃ）前記３次元バーチャル空間に配置された仮想的カメラの視点に関する第３のデータを記録するよう構成された、請求項１または２に記載の３次元コンテンツ配信システム。

【請求項4】

前記視聴を行っている視聴用端末からの変更要求に応じて前記第１のデータ、および前記第２のデータの内の少なくともいずれかを追加または修正し変更を行って新たなコンテンツデータを生成し、以後の前記視聴に供する変更受付部を備えた請求項１乃至３のいずれか１項に記載の３次元コンテンツ配信システム。

【請求項5】

前記視聴を行っている視聴用端末からの変更要求に応じて前記第１のデータ、および前記第２のデータの内の少なくともいずれかを追加または修正し変更を行って新たなコンテンツデータを生成し、以後の前記視聴に供する変更受付部を備え、
前記変更受付部はさらに、前記第３のデータを追加または修正する変更を行って新たなコンテンツデータを生成し、以後の前記視聴に供するよう構成された、請求項３に記載の３次元コンテンツ配信システム。

【請求項6】

仮想的な３次元バーチャル空間を用いたコンテンツを視聴用端末へ配信して視聴に供する、３次元コンテンツ配信方法であって、
（Ａ）前記３次元バーチャル空間に配置された各バーチャルオブジェクトの仕様に関する第１のデータ、および（Ｂ）当該バーチャルオブジェクトの動作に関する第２のデータを少なくとも含んだコンテンツデータを記録部に記録する記録ステップと、
前記視聴用端末が視聴を行うための要求に応じて、少なくとも前記第１のデータおよび前記第２のデータを含んだデータを送信する第１の送信ステップと、
前記送信されたデータを受信して、視聴者が前記コンテンツを視聴しつつ自分の分身であるアバターを当該コンテンツに投入するために、前記アバターに所望の動作をさせるために前記視聴者の身体各所の動きをセンシングした結果による前記身体各所に対応する節の情報および前記節をつなぐ枝の情報を含むモーションデータとして操作部で生成された前記第２のデータを少なくとも含むデータを前記記録部へ送信する第２の送信ステップと、
を備えた３次元コンテンツ配信方法。

【請求項7】

仮想的な３次元バーチャル空間を用いたコンテンツを視聴用端末へ配信して視聴に供する、３次元コンテンツ配信方法であって、
（Ａ）前記３次元バーチャル空間に配置された各バーチャルオブジェクトの仕様に関する第１のデータ、および（Ｂ）当該各バーチャルオブジェクトの動作に関する第２のデータを少なくとも含んだコンテンツデータを記録部に記録する記録ステップと、
前記視聴用端末が視聴を行うための要求に応じて、少なくとも前記第１のデータおよび前記第２のデータを含んだデータを送信する第１の送信ステップと、
前記送信されたデータを受信して、視聴者が前記コンテンツを視聴しつつ自身の分身であるアバターを当該コンテンツに投入するために、前記アバターに所望の動作をさせるために前記視聴者の身体各所の動きをセンシングした結果による前記身体各所に対応する節の情報および前記節をつなぐ枝の情報を含むモーションデータとして操作部で生成された前記第２のデータを少なくとも含むデータを前記記録部へ送信する第２の送信ステップと、
を備えるとともに、前記記録ステップは、前記第２の送信ステップ、で送信されたデータに基づいて前記コンテンツデータを改変した新たなコンテンツデータを記録するよう構成された３次元コンテンツ配信方法。

【請求項8】

前記記録ステップがさらに、（Ｃ）前記３次元バーチャル空間に配置された仮想的カメラの視点に関する第３のデータを記録するよう構成された請求項６または７に記載の３次元コンテンツ配信方法。

【請求項9】

前記視聴を行っている視聴用端末からの変更要求に応じて前記第１のデータ、および前記第２のデータの内の少なくともいずれかを追加または修正する変更を行って新たなコンテンツデータを生成し、以後の前記視聴に供する変更受付ステップを備えた、請求項６乃至８の内のいずれか１項に記載の３次元コンテンツ配信方法。

【請求項10】

前記視聴を行っている視聴用端末からの変更要求に応じて前記第１のデータ、および前記第２のデータの内の少なくともいずれかを追加または修正する変更を行って新たなコンテンツデータを生成し、以後の前記視聴に供する変更受付ステップを備え、
前記変更受付ステップはさらに、前記第３のデータを追加または修正する変更を行って新たなコンテンツデータを生成し、以後の前記視聴に供するよう構成された、請求項８に記載の３次元コンテンツ配信方法。

【請求項11】

諸求項６乃至１０のいずれか１項に記載の３次元コンテンツ配信方法が備える前記各ステップをコンピュータに実行させるコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、３次元コンテンツ配信システム、３次元コンテンツ配信方法、コンピュータプログラムに関する。

【背景技術】

【0002】

近年、ネットワークを介してライブコンテンツを配信するサービスがインターネット生放送として普及している。このようなインターネット生放送において、配信者が仮想空間内で仮想キャラクタ（アバター）として登場し、その映像をライブコンテンツとして配信する技術が提案されている。このようなライブコンテンツでは、モーションキャプチャ技術によって、配信者の動作が仮想キャラクタの動作として合成された映像が配信される。

【0003】

ネットワークを介してライブコンテンツを配信する構成とは異なり、視聴者が自分専用の再生画像を生成しようとする構成として例えば特許文献１は、放送局から視聴用端末へ、放送素材データとして背景、人物、仮想的なオブジェクトなどがそれぞれ別な専用チャネルで送信され、視聴者はそれらから自分の所望の素材を選んで、あくまでも自分専用の３次元映像を作る構成が開示されており、作られた３次元映像は他の視聴者と共有はされないものである。

【0004】

また、同じく、視聴者が自分専用の再生画像を生成しようとする構成である特許文献２は、サッカーの試合などバーチャルな３次元コンテンツデータがあらかじめ用意され、そこには複数の選手、審判、ボールなど動くオブジェクトデータ、ゴールや地面など背景データが含まれていて、視聴者が自分の見たい視点（例えば特定の選手、あるいはフィールド外のカメラ）を選択すると、サーバはその視点から見た画像をレンダリングし、視聴者の端末へ送信する構成であり、特許文献１と同様にあくまでも自分専用の３次元映像を作る構成が開示されており、得られたレンダリング画像は他の視聴者と共有はされないものである。

【0005】

また特許文献３は、３Ｄ（３次元）仮想空間ではない、平面動画像コンテンツに関して、サーバにライブ演奏などの２次元動画コンテンツがあらかじめ用意されており、視聴者はサーバからこのデータを受信して再生しながら自分のアバター（観客の２次元画像）をこの再生映像に加えられ、再生後あるいは途中に、この視聴者が追加したアバターのデータはサーバへ送られて先の２次元動画コンテンツに追加更新され他の視聴者は再生時にこのアバターを見ることができる構成を開示している。この結果、各視聴者が再生の度に各視聴者のアバターがコンテンツに追加されて、コンテンツの画像がにぎやかな内容になる、としている。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２００１−２８７６５号公報

【特許文献2】特開２００８−１１７０４２号公報

【特許文献3】特許第５２３１０９３号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

インターネット生放送などでライブコンテンツを楽しむ視聴者が近年増加をしており、新たなニーズとして、生放送された時刻には視聴ができなかったライブコンテンツを、後から視聴して楽しみたい、後からの視聴再生においても、あたかもライブで視聴しているような臨場感、没入感を得たい、という点がある。

【0008】

このような、「あたかもライブで視聴しているような臨場感、没入感を得たい」という欲求は、「生放送された時刻には視聴ができなかったライブコンテンツを、後から視聴して楽しみたい」という他の欲求と一見して相いれないように思えるし、先に示した特許文献１および特許文献２は、いずれも自分だけが視聴する映像を生成するに過ぎないのであるから、これらの欲求に応えてはいない。

【0009】

さらに特許文献３は、自分の分身である２次元画像のアバターが２次元画像のライブコンテンツの観客として画像に加えられ、この自分のアバターの画像、あるいは他の視聴者が加えたアバターの画像は全視聴者が視認をできるのであるが、ただ単に２次元画像であるコンテンツに自分の２次元アバター画像が重ね合わせられるだけであるので、自分が仮想的にライブコンテンツに参加できるのではないので、十分な連帯感、高揚感、没入感を得ることは難しい点は何ら解決されていない。

【0010】

さらに、従来技術にかかる他の課題として、通信網や各端末ハードウエアの負担を小さくして、多数の視聴者とシェアをしながらライブコンテンツの視聴を楽しみたい、という点が挙げられる。

【0011】

先に示した特許文献１および特許文献２は、多数の視聴者とシェアをしながら楽しむためのライブコンテンツを提供する構成ではないし、同じく特許文献３は、２次元の平面動画像からなるコンテンツであるため、一般的な動画像の放送配信のために要する通信路や端末の負担が生じることとなる。

【0012】

本発明は上記の状況に鑑みてなされたものであって、生放送された時刻には視聴ができなかったライブコンテンツを、後から視聴して楽しみたい、後からの視聴再生においても、あたかもライブで視聴しているような臨場感、没入感を得たい、あるいは通信網や各端末ハードウエアの負担を小さくして、多数の視聴者とシェアをしながらライブコンテンツの視聴を楽しみたい、という各課題を解決するための、３次元コンテンツ配信システム、３次元コンテンツ配信方法、コンピュータプログラムを提供することを発明の目的とする。

【課題を解決するための手段】

【0013】

上記の課題を解決するために、本発明は、下記の1)〜11)に記載の3次元コンテンツ配信システム、３次元コンテンツ配信方法、コンピュータプログラムを提供する。
１）
仮想的な３次元バーチャル空間を用いたコンテンツを視聴用端末へ配信して視聴に供する、３次元コンテンツ配信システムであって、
（Ａ）３次元バーチャル空間に配置された各バーチャルオブジェクトの仕様に関する第１のデータ、および（Ｂ）当該各バーチャルオブジェクトの動作に関する第２のデータを少なくとも含んだコンテンツデータを記録する記録部と、
視聴用端末が視聴を行うための要求に応じて、少なくとも第１のデータおよび第２のデータを含んだデータを送信する第１の送信部と、
送信されたデータを受信して、視聴者がコンテンツを視聴しつつ自分の分身であるアバターを当該コンテンツに投入するために、アバターに所望の動作をさせるために視聴者の身体各所の動きをセンシングした結果による身体各所に対応する節の情報および節をつなぐ枝の情報を含むモーションデータとして操作部で生成された第２のデータを少なくとも含むデータを記録部へ送信する第２の送信部と、
を備えた３次元コンテンツ配信システム。
２）
仮想的な３次元バーチャル空間を用いたコンテンツを視聴用端末へ配信して視聴に供する、コンテンツ配信システムであって、
（Ａ）３次元バーチャル空間に配置された各バーチャルオブジェクトの仕様に関する第１のデータ、および（Ｂ）当該各バーチャルオブジェクトの動作に関する第２のデータを少なくとも含んだコンテンツデータを記録する記録部と、
視聴用端末が視聴を行うための要求に応じて、少なくとも第１のデータおよび第２のデータを含んだデータを送信する第１の送信部と、
送信されたデータを受信して、視聴者がコンテンツを視聴しつつ自分の分身であるアバターを当該コンテンツに投入するために、アバターに所望の動作をさせるために視聴者の身体各所の動きをセンシングした結果による身体各所に対応する節の情報および節をつなぐ枝の情報を含むモーションデータとして操作部で生成された第２のデータを少なくとも含むデータを記録部へ送信する第２の送信部と、
を備えるとともに、記録部は、第２の送信部が送信したデータに基づいてコンテンツデータを改変した新たなコンテンツデータを記録するよう構成された３次元コンテンツ配信システム。
３）
記録部がさらに、（Ｃ）３次元バーチャル空間に配置された仮想的カメラの視点に関する第３のデータを記録するよう構成された、１）または２）に記載の３次元コンテンツ配信システム。
４）
視聴を行っている視聴用端末からの変更要求に応じて第１のデータ、および第２のデータの内の少なくともいずれかを追加または修正し変更を行って新たなコンテンツデータを生成し、以後の視聴に供する変更受付部を備えた１）乃至３）のいずれか１項に記載の３次元コンテンツ配信システム。
５）
視聴を行っている視聴用端末からの変更要求に応じて第１のデータ、および第２のデータの内の少なくともいずれかを追加または修正し変更を行って新たなコンテンツデータを生成し、以後の視聴に供する変更受付部を備え、変更受付部はさらに、第３のデータを追加または修正する変更を行って新たなコンテンツテータを生成し、以後の視聴に供するよう構成された、３）に記載の３次元コンテンツ配信システム。
６）
仮想的な３次元バーチャル空間を用いたコンテンツを視聴用端末へ配信して視聴に供する、３次元コンテンツ配信方法であって、
（Ａ）３次元バーチャル空間に配置された各バーチャルオブジェクトの仕様に関する第１のデータ、および（Ｂ）当該バーチャルオブジェクトの動作に関する第２のデータを少なくとも含んだコンテンツデータを記録部に記録する記録ステップと、
視聴用端末が視聴を行うための要求に応じて、少なくとも第１のデータおよび第２のデータを含んだデータを送信する第１の送信ステップと、
送信されたデータを受信して、視聴者がコンテンツを視聴しつつ自分の分身であるアバターを当該コンテンツに投入するために、アバターに所望の動作をさせるために視聴者の身体各所の動きをセンシングした結果による身体各所に対応する節の情報および節をつなぐ枝の情報を含むモーションデータとして操作部で生成された第２のデータを少なくとも含むデータを記録部へ送信する第２の送信ステップと、
を備えた３次元コンテンツ配信方法。
７）
仮想的な３次元バーチャル空間を用いたコンテンツを視聴用端末へ配信して視聴に供する、３次元コンテンツ配信方法であって、
（Ａ）３次元バーチャル空間に配置された各バーチャルオブジェクトの仕様に関する第１のデータ、および（Ｂ）当該各バーチャルオブジェクトの動作に関する第２のデータを少なくとも含んだコンテンツデータを記録部に記録する記録ステップと、
視聴用端末が視聴を行うための要求に応じて、少なくとも第１のデータおよび第２のデータを含んだデータを送信する第１の送信ステップと、
送信されたデータを受信して、視聴者がコンテンツを視聴しつつ自身の分身であるアバターを当該コンテンツに投入するために、アバターに所望の動作をさせるために視聴者の身体各所の動きをセンシングした結果による身体各所に対応する節の情報および節をつなぐ枝の情報を含むモーションデータとして操作部で生成された第２のデータを少なくとも含むデータを記録部へ送信する第２の送信ステップと、
を備えるとともに、記録ステップは、第２の送信ステップ、で送信されたデータに基づいてコンテンツデータを改変した新たなコンテンツデータを記録するよう構成された３次元コンテンツ配信方法。
８）
記録ステップがさらに、（Ｃ）３次元バーチャル空間に配置された仮想的カメラの視点に関する第３のデータを記録するよう構成された６）または７）に記載の３次元コンテンツ配信方法。
９）
視聴を行っている視聴用端末からの変更要求に応じて第１のデータ、および第２のデータの内の少なくともいずれかを追加または修正する変更を行って新たなコンテンツデータを生成し、以後の視聴に供する変更受付ステップを備えた、６）乃至８）の内のいずれか１項に記載の３次元コンテンツ配信方法。
１０）
視聴を行っている視聴用端末からの変更要求に応じて第１のデータ、および第２のデータの内の少なくともいずれかを追加または修正する変更を行って新たなコンテンツデータを生成し、以後の視聴に供する変更受付ステップを備え、変更受付ステップはさらに、第３のデータを追加または修正する変更を行って新たなコンテンツデータを生成し、以後の視聴に供するよう構成された、８）に記載の３次元コンテンツ配信方法。
１１）
６）乃至１０）のいずれか１項に記載の３次元コンテンツ配信方法が備える各ステップをコンピュータに実行させるコンピュータプログラム。

【図面の簡単な説明】

【0014】

【図1】本発明にかかるコンテンツ配信受信システムの構成を模式的に示した図である。

【図2】図１のコンテンツ配信受信システムが有するコンテンツ配信サーバのブロック図である。

【図3】図１のコンテンツ配信受信システムが有する第１の配信者端末のブロック図である。

【図4】図１のコンテンツ配信受信システムが有する第１の視聴者端末のブロック図である。

【図5】図４の第１の視聴者端末の外観模式図である。

【図6】本発明のコンテンツ配信受信システムが実行する、生放送中のコンテンツ視聴についてのシグナルフロー図である。

【図7】本発明のコンテンツ配信受信システムが用いるアバターに関するデータを説明する模式図である。

【図8】本発明のコンテンツ配信受信システムにおける、生放送中の仮想空間の模式図である。

【図9】図８図示仮想空間における、各視点から見たレンダリングの模式図である。

【図10】本発明のコンテンツ配信受信システムにおける、生放送後のコンテンツ再生に関するシグナルフロー図である。

【図11】本発明のコンテンツ配信受信システムが実行する、生放送後の再生コンテンツへの仮想アイテムの追加についてのシグナルフロー図である。

【図12】本発明のコンテンツ配信受信システムにおける、バーチャルオブジェクトが追加された仮想空間の模式図である。

【図13】図１２図示仮想空間における、各視点から見たレンダリングの模式図である。

【図14】本発明のコンテンツ配信受信システムが実行する、生放送後の再生コンテンツにアバターを追加して、他の配信者が配信する動作についてのシグナルフロー図である。

【図15】本発明のコンテンツ配信受信システムにおける、生放送後の再生コンテンツにアバターを追加して、他の配信者が配信した仮想空間の模式図である。

【図16】図１５図示仮想空間における、各視点から見たレンダリングの模式図である。

【図17】本発明のコンテンツ配信受信システムにおける、仮想空間にバーチャルオブジェクトを追加する例を示す模式図である。

【図18】本発明のコンテンツ配信受信システムにおける、仮想空間にバーチャルオブジェクトを追加する例を示す模式図である。

【発明を実施するための形態】

【0015】

以下、本開示に係る実施形態について説明する。なお、以下に説明する本実施形態は、それぞれ例示に過ぎず、本発明の趣旨を脱しない範囲で種々の変形が可能であり、これらもまた本発明が包含する。

【0016】

〔コンテンツ配信受信システム１の構成〕
図１は、本発明にかかるコンテンツ配信受信システム１の構成を模式的に示した図である。

【0017】

コンテンツ配信受信システム１は、コンテンツ配信サーバ２、第１の配信者端末１１、第１の視聴者端末１２、第２の配信者端末２１、第２の視聴者端末２２を含んで構成され、これら各構成はインターネット通信網３あるいはその他の通信網によって相互にデータ交換が可能に接続されている。コンテンツ配信サーバ２は、汎用のコンピュータが、本システム１専用のコンピュータプログラムで動作するように構成されたサーバである。

【0018】

第１の配信者端末１１は、後に説明を行う仮想空間３０を用いたライブコンテンツの配信であるインターネット生放送に用いられ、このライブコンテンツを主催する配信者が用いる、例えばパーソナルコンピュータである。第１の視聴者端末１２は、上記のライブコンテンツを生放送が終わった後に、再生コンテンツとして視聴する視聴者が用いる、例えばパーソナルコンピュータであり、あるいはスマートフォン、ＰＤＡ（パーソナルデジタルアシスタント）など様々な情報端末を用いて実現してもよい。

【0019】

第２の配信者端末２１は、後に説明を行うように、一度、生放送配信がなされたライブコンテンツを、再生の形で再度インターネット生放送に供するライブコンテンツの配信に用いられ、このライブコンテンツを主催する配信者が使用するパーソナルコンピュータである。第２の視聴者端末２２は、上記のライブコンテンツを再生コンテンツあるいはインターネット生放送の形で視聴する視聴者が用いる、例えばパーソナルコンピュータであり、あるいはスマートフォン、ＰＤＡ（パーソナルデジタルアシスタント）など様々な情報端末を用いて実現してもよい点も同様である。

【0020】

なお、図１図示構成および上記の説明は説明を簡潔明瞭にするため構成する端末等の数を説明で言及する範囲に制限したが、実施に当たってはもちろん、より多数の配信者端末、より多数の視聴者端末を含んで構成することが可能である。

【0021】

〔コンテンツ配信サーバ２の構成〕
図２に図示するように、コンテンツ配信サーバ２は、サーバ内外のデータ送信端である入出力インターフェース２ａ、各サーバ２構成の動作の制御統制を行うＣＰＵ（セントラルプロセッシングユニット）を備える制御部２ｂを有している。

【0022】

同じくサーバ２が有するコンテンツ情報記憶部２ｃは、最初にインターネット生放送がなされたコンテンツ（番組）の情報を、仮想空間の背景やバーチャルオブジェクト、仮想的カメラ（視点の位置と方向の情報を有し、仮想空間内を移動可能である）およびこの仮想空間を動きまわることができるアバター（仮想的な代理）について、その外観を含めた仕様や動き（モーション）などの情報である、バーチャルオブジェクトの仕様の情報、およびバーチャルオブジェクトのモーション情報を、コンテンツの開始から終了までの期間を対象として保持する。本システム１が有する特徴的な点として、コンテンツのデータをレンダリング済みデータ（描画済みのデータ。そのまま表示画面に表示がされる、いわゆる動画像のデータ）として保持するのではなく、仮想的な対象物であるバーチャルオブジェクトの仕様のデータ（外観、ボイスのキャラクタ、効果音データ、音楽データなど）と、同じくバーチャルオブジェクトのモーションデータ（動作のデータ、向いている方向のデータ、位置座標のデータなど）として保持する点にある。そして、コンテンツを視聴者端末その他が再生する際には、従来構成のようにレンダリング済みの描画データをただ画面表示するのではなく、上に示したバーチャルオブジェクトの仕様データと、バーチャルデータのモーションデータとから、「再生時に」、レンダリングを行って描画データを生成するように構成している。このように、「バーチャルオブジェクトの仕様データと、バーチャルデータのモーションデータとから、レンダリングを行って描画データを生成している」点は、実は、コンテンツをインターネットなどを経由して生放送する際の動作と同じである。つまり本システム１の構成を用いることで、コンテンツの再生を、コンテンツの生放送時と概略変わらない動作、構成、品質で行うことが可能となっており、従来技術構成との大きな相違点である。さらに、再生時に「バーチャルオブジェクトの仕様データと、バーチャルデータのモーションデータとから、レンダリングを行って描画データを生成している」という点を生かして、再生時にこれらデータを修正、追加、改変して、このコンテンツの修正版を生成することが容易となっている。

【0023】

サーバ２のコンテンツ記憶部は、このようにオリジナル生放送を改変した新たなバージョンのコンテンツを記憶して、以後の各視聴者端末からの再生要求に応じて送出を行う。記憶の方法として、新たなバージョンのコンテンツが生成された場合には、古いバージョンを破棄して新しいバージョンのみを記憶してもよいし、古いバージョンを残したまま新しいバージョンのコンテンツを記憶してもよい。

【0024】

コンテンツ配信部２ｄは、コンテンツ情報記憶部２ｃが記憶する各コンテンツを、視聴を求めてきた各端末へ送信して視聴に供する。プログラム記憶部２ｆは、このサーバ２の各実行動作を実現するためのプログラムを記憶している。

【0025】

ユーザ管理部２ｇは、先に説明した各ライブコンテンツを主催する配信者が用いる配信者端末、そのライブコンテンツを視聴してコンテンツの視聴、改変や追加を行った視聴者が用いる視聴者端末、などの情報をＩＰ（インターネットプロトコル）アドレスや、動画像配信サービスのアカウント情報などのデータとして保持しており、従ってこのユーザ管理部２ｇが記憶する情報を用いることで、あるライブコンテンツがどの端末へ送信供給されたのか、どの端末がどのライブコンテンツを改変あるいは追加したのか、をデータとして記憶している。したがって、最初にインターネット生放送されたライブコンテンツがどのような流れで改変あるいは追加がなされたのか、ライブコンテンツの系統図情報をも保有している。

【0026】

バスライン２ｉは、これらサーバ２の各構成間を相互にデータ交換可能に接続する。

【0027】

第１の配信者端末１１と第２の配信者端末２１とは共通の構成を有しており、以下では第１の配信者端末１１を例として説明を行う。

【0028】

〔第１の配信者端末１１の構成〕
図３に示すように、第１の配信者端末１１は、まず、端末内外の情報入出力端である入出力インターフェース１１ａ、端末１１の各構成の制御統制を行うＣＰＵ（セントラルプロセッシングユニット）を備えた制御部１１ｂを有している。

【0029】

アバター操作部１１ｃは、配信者が自分の仮想的な分身であるアバターを仮想空間内に登場させて、所望の動作をさせるために、まず、先に説明をした、バーチャルオブジェクトの仕様データの一つであるアバターの仕様データとして、アバターの外観データ、アバターのボイスキャラクタデータ、アバターの効果音のデータ、アバターの音楽データなどが、この第１の配信者端末１１のデータ記憶部１１ｉに記憶されており、アバター操作部１１ｃは、操作者である配信者などの身体につけた加速度センサーや、３Ｄカメラで自分の動きを撮影したデータ、あるいはドップラーセンサで自分の身体各所の動きをセンシングしたデータを用い、これらモーションデータを取得して、先に説明をしたバーチャルオブジェクトのモーションデータの一つである、アバターのモーションデータとしてサーバ２に送信をしたり、あるいはデータ記憶部１１ｉに記憶を行う。具体的には、図７に示すように、アバター操作部１１ｃは、バーチャルオブジェクトの仕様データの一つである、アバターの外観データ７−１を含めた仕様データを自分で用意するか、システムが用意して選択に供する中から選ぶか、ネット上に配置された外観データあるいは仕様データのＵＲＬ（ユニフォームリソースロケーター）を指定するなどして決定する。そして、配信者自身の身体各所の動きをセンシングした結果であるモーションデータ７−２として、図７（Ｂ）に示すように、身体各所を節７−２ａとしてその位置情報、動きの情報を得る。節７−２ａをつなぐ枝７−２ｂの情報を更に生成して、節７−２ａ同士の関係を明確化するように構成してもよい。なお、バーチャルオブジェクトの仕様データの一つである、アバターの仕様データとは、例えば若い女性の外観を有するアバターを男性が操作する場合に、男性が発生した声をボイスチェンジして若い女性の声にするための、声の周波数特性データ（音声キャラクタデータ）、アバターが動く場合の特有の効果音、アバターが現れると特徴的にバックに流れる音楽のデータなどであり、ほかのデータを含めてももちろんよい。同じく、アバター以外のバーチャルオブジェクト（バーチャルアイテム、仮想アイテム、仮想オブジェクトなどともいう）について、その外観データばかりではなく、アイテムが発生する場合には音声キャラクタデータを仕様データとして付加してもよいし、同様に効果音データや音楽データをそれぞれのバーチャルオブジェクトに対して仕様データとして付加してもよい。以上の点は、本システム１で用いられるアバターを含めた種々のバーチャルオブジェクトに共通しており、今後説明を省略する場合もある。なお、本システム１が用いるバーチャルオブジェクトのデータを表１にまとめて示す。

【0030】

【数1】

【0031】

レンダリング部１１ｅは、端末１１の外部から送信をされた、あるいは端末１１内部に記憶されたバーチャルオブジェクトの仕様データ、およびバーチャルオブジェクトのモーションデータを用いてこれらバーチャルオブジェクトをレンダリング（描画）する構成であって、過去に記録されたコンテンツの再生時、および、現在端末１１から配信中のライブコンテンツのバーチャルオブジェクトに関するデータをサーバ２から受け取り、コンテンツの内容をリアルタイムに確認するモニタリングなどに用いられる。このために、レンダリング部１１ｅは、上に示したアバターの外観のデータ７−１を含めたアバターの仕様のデータとモーションデータ７−２、この後に説明するように、３次元仮想空間内に投げ込まれたバーチャルオブジェクトの仕様データとモーションデータ、３次元仮想空間の背景画像や仮想空間内に置かれたバーチャルオブジェクトの仕様データおよびモーションデータを用いて、仮想空間を可視化するための描画（レンダリング）を行い、得られた、内包するバーチャルオブジェクトを含めた仮想空間の映像は、第１の配信者端末１１の表示部１１ｆに表示される。先に説明をしたように、例えばアバターについてのレンダリングは、図７（Ｃ）に示すように、バーチャルオブジェクトの仕様データの一つであるアバター外観データ７−１に対して、その各所の位置や動きをモーションデータ７−２から得て、現在のアバターの位置や動きを示すアバターのレンダリング用データ７−３を生成する。なお、レンダリングは、動画データではなく静止画データであるアバターの外観データ７−１と、アバターのモーションデータ７−２を構成する節７−２ａや枝７−２ｂのデータとを用いて行うことができるので、外観データ７−１は静止画データであるのでデータ容量が小さいし、節７−２ａや枝７−２ｂのデータは画像データではなく限られた数の点の座標データもしくは運動ベクトルデータであるのでこれも容量が小さく、この結果、データの送信、受信、記憶やレンダリングに要する伝送路やハードウェアの負担は極めて小さいものとすることができる。さらに、アバターの外観データ７−１、や仕様データをロウデータ（具体的な生データ）そのものではなく、ＵＲＬ（ユニフォームリソースロケーター）でデータの保存先として指定すれば、より小さな文字列データで送信や記憶を行うことができる。これらの有利な点は、これら外観データや仕様データやモーションデータをシステムのどの構成で生成し、伝送し、記憶し、レンダリングするかによらず同様の効果を奏するものであるし、人のアバターに限らず、バーチャルオブジェクトをレンダリングしようとする際には共通の効果となる。なお、本願付図において各所に記載されているアバターの模式図は簡易的な表示を用いていて四肢の動きなどまでは書き込まれていないが、これらの図示は、図７（Ｃ）に示すようなレンダリング用アバターデータ７−３を意味している。なお、アバターを外観のみならず音声を含めて表示（本明細書では「表示」を、画像の表示のみならず、スピーカー、振動子などを用いた音声、効果音などの表示をも含む意味で用いることとする。）を行う場合、アバターが発する音声の情報、および音声のキャラクタ情報を、システム１が送受信あるいは記憶するデータの対象に含めるようにしてもよい。例えば先に説明したように、アバターが若い女性の外観とキャラクタを有していてそのアバターを操作する配信者などが男性である場合、男性のオリジナルの発声をまず記憶し、記憶した男性の音声をボイスチェンジして若い女性の発声としてアバターの表示に用いることとなる。そのボイスチェンジに用いる発声のキャラクタ情報（若い女性キャラクタの発声の周波数スペクトラム等）が、配信者などアバターを操作する者の発声情報とともに、アバター外観情報に、あるいは他の情報に含まれるようにする点は有効である。同じく、バーチャルオブジェクトをライブコンテンツに追加する際に、効果音（爆発音、衝突音、飛翔音、オノマトペなど）や、音楽を追加してもよく、それら効果音データ、音楽データをもシステム１が送受や記憶する対象のデータとしてもよい。それらもまたアバター仕様データあるいはその他のデータに追加がなされる。なお、仕様データには、振動に関するデータを含めてもよく、その場合、例えばアバターを操作するコントローラ（ボタンなどが付属した操作具）を振動させるようにしてもよいのであり、この点はシステム１の各所、各局面においても同様である。

【0032】

表示部１１ｆは、配信者自身がライブコンテンツを視聴したり、現在配信者が配信中のライブコンテンツの内容を確認するためにレンダリング画像をモニタリングしたり、各種操作を行ったりするために画面表示を行う構成であって、パーソナルコンピュータの表示パネルや、顔面に装着されるゴーグルタイプのＨＭＤ（ヘッドマウントディスプレイ）などで実現される。操作部１１ｇは配信者が各種動作の操作に用いるもので、例えばパーソナルコンピュータのキーボード、マウス、タッチパネルでもよいし、あるいは操作者のモーションデータで操作するデバイスであってもよい。プログラム記憶部１１ｈは、ライブコンテンツの配信や視聴に必要なコンピュータプログラムを記憶しており、汎用のコンピュータオペレーティングシステム（ＯＳ）、インターネット閲覧プログラム（ブラウザ）等を含んでいてもよい。データ記憶部１１ｉは、ライブコンテンツに用いられる仮想空間の背景のデータ、バーチャルデータの仕様データ、モーションデータなどを記憶する。

【0033】

コメント投稿部１１ｋは、ライブコンテンツの表示画面にかぶさって表示がされたり、あるいは仮想空間３０内のバーチャルオブジェクトの表面に表示がされたり、大きな文字の形をしたオブジェクトのようにそれ自体が独立したバーチャルオブジェクトとして表示される文字情報であるコメントをサーバ２に投稿するための構成である。バスライン１１ｍは配信者端末１１の各構成を、データを相互に交換可能に接続する。

【0034】

第１の視聴者端末１２と第２の視聴者端末２２とは共通の構成を有しており、以下では第１の視聴者端末１２を例として説明を行う。

【0035】

〔第１の視聴者端末１２の構成〕
図４に図示するように、第１の視聴者端末１２は、端末１２内外のデータ送受端である入出力インターフェース１２ａ、端末１２各所の制御統制を行うＣＰＵ（セントラルプロセッシングユニット）を備えた制御部１２ｂを有している。

【0036】

アバター操作部１２ｃは、まず、先に説明をした、バーチャルオブジェクトの仕様データの一つであるアバターの仕様データとして、アバターの外観データ、アバターのボイスキャラクタデータ、アバターの効果音のデータ、アバターの音楽データなどが、データ記憶部１２ｉに記憶されており、アバター操作部１２ｃは、操作者である視聴者などが自分の仮想的な分身であるアバターを仮想空間内に登場させて、所望の動作をさせるために、自分の身体につけた加速度センサーや、３Ｄカメラで自分の動きを撮影したデータ、あるいはドップラーセンサで自分の身体各所の動きをセンシングしたデータを用い、これらモーションデータを取得して、そのままで、あるいはレンダリングした画像情報としてサーバ２に送信を行う。先に説明をしたように、図７を援用すると、アバター操作部１２ｃは、バーチャルデータの仕様データの一つである、アバターの外観データ７−１を含めたアバターの仕様データを自分で用意するか、システムが用意して選択に供する中から選ぶか、ネット上に配置された外観データを含めた仕様データのＵＲＬ（ユニフォームリソースロケーター）を指定するなどして決定する。そして、身体各所の動きをセンシングした結果であるモーションデータ７−２として、図７（Ｂ）に示すように、身体各所を節７−２ａとしてその位置情報、動きの情報を得る。節７−２ａをつなぐ枝７−２ｂの情報を更に生成して、節７−２ａ同士の関係を明確化するように構成してもよい。なお、アバターを外観のみならず音声を含めて表示（本明細書では「表示」を、画像の表示のみならず、スピーカー、振動子などを用いた音声、効果音などの表示をも含む意味で用いることとする。）を行う場合、アバターが発する音声の情報、および音声のキャラクタ情報を、アバターの外観データを含めて、アバターの仕様データとして、システム１が送受信あるいは記憶するデータの対象に含めるようにしてもよい。例えばアバターが若い女性の外観とキャラクタを有していてそのアバターを操作する配信者などが男性である場合、男性のオリジナルの発声をまず記憶し、記憶した男性の音声をボイスチェンジして若い女性の発声としてアバターの表示に用いることとなる。そのボイスチェンジに用いる発声のキャラクタ情報（若い女性キャラクタの発声の周波数スペクトラム等）が、視聴者などアバターを操作する者の発声情報とともに、アバターの外観情報を合わせたアバター仕様情報に含まれるようにする点は有効である。同じく、バーチャルオブジェクトをライブコンテンツに追加する際に、効果音（爆発音、衝突音、飛翔音、オノマトペなど）や、音楽を追加してもよく、それら効果音データ、音楽データをもシステム１が送受や記憶する対象のデータとしてもよい。それらもまた外観情報あるいはその他のデータとともに、アバターの仕様データに追加がなされる。

【0037】

アイテム投稿部１２ｅは、視聴者が自己のアバターを、自分が視聴しているライブコンテンツに登場させるため、アバターの外観データを含めた、バーチャルオブジェクトの仕様データや、先に説明したバーチャルオブジェクトのモーションデータをサーバ２へ投稿したり、あるいは自分が再生視聴しているライブコンテンツに新たなバーチャルオブジェクトを投稿するために用いられる。

【0038】

表示部１２ｆは、視聴者自身がライブコンテンツを視聴したり、各種操作を行うために画面表示を行う構成であって、パーソナルコンピュータの表示パネルや、顔面に装着されるゴーグルタイプのＨＭＤ（ヘッドマウントディスプレイ）などで実現される。

【0039】

操作部１２ｇは視聴者が各種動作の操作に用いるもので、パーソナルコンピュータのキーボード、マウス、タッチパネルでもよいし、あるいは操作者のモーションデータで操作するデバイスであってもよい。プログラム記憶部１２ｈは、ライブコンテンツの視聴に必要なコンピュータプログラムを記憶しており、汎用のコンピュータオペレーティングシステム（ＯＳ）、インターネット閲覧プログラム（ブラウザ）等を含んでいてもよい。データ記憶部１２ｉは、先に説明をしたデータおよびその他の各種データを記憶する。

【0040】

コメント投稿部１２ｋは、ライブコンテンツの表示画面にかぶさって、あるいは仮想空間３０内のバーチャルオブジェクトの表面に表示されたり、巨大な文字状のバーチャルオブジェクトのようにそれ自体が独立したバーチャルオブジェクトとして表示される文字情報であるコメントをサーバ２に投稿するための構成である。バスライン１２ｍは視聴者端末１２の各構成を、データを相互に交換可能に接続する。

【0041】

図５は、第１の視聴者端末１２をパーソナルコンピュータで実現した場合の外観を模式的に示したもので、各種映像、静止画像、動画像や文字情報を表示する表示パネル１２−１は、視聴者が本システム１のサービスを利用するために、あらかじめ知らされているＵＲＬ（ユニフォームリソースロケータ）を入力してサーバ２に接続を行うと、サーバ２から必要なデータとジャバスクリプト（ＪａｖａＳｃｒｉｐｔ）プログラムが送付されて動画配信サービスのポータル画面（図示しない）が表示される。

【0042】

視聴者は、自分がインターネット生放送として視聴をしたい、あるいは再生コンテンツとして視聴をしたいライブコンテンツを表示リスト（図示しない）からあらかじめ選択しており、そのライブコンテンツが表示されている場合を想定した状況を、図５は示している。
図５において、表示パネル１２−１内に、ライブコンテンツ動画を表示する動画表示エリア１２−１ａがあり、そこには、このライブコンテンツの配信者である第１の配信者のアバター１２−１ｂ、このライブコンテンツが用いる仮想空間に配置されたバーチャルオブジェクトである樹木１２−１ｎ、家屋１２−１ｏが表示されている。また、更にコメント１２−１ｒが表示パネル１２−１内に表示されたており、「アップしてくれてありがとう！！」、という内容のコメント１２−１ｒが表示パネル１２−１の右端から現れて左端にスクロール移動して消えていく。コメント１２−１ｒが表示される範囲はライブコンテンツ動画を表示する動画表示エリア１２−１ａよりも大きく、そこからはみ出すよう設定されているので、視聴者はこれらコメント１２−ｒが、コンテンツのオリジナルな内容ではなく別な投稿者から投稿されたことが明瞭に理解できる。

【0043】

同様に、表示パネル１２−１内には、動画配信サービスのポータル（入口）ページ（図示しない）に戻るためのホームボタン表示１２−１ｅ、視聴するコンテンツが生放送ではなく再生コンテンツである場合に用いる停止ボタン表示１２−１ｆ、ポーズボタン表示１２−１ｇ、および再生ボタン表示１２−１ｈがそれぞれ表示されている。

【0044】

表示パネル１２−１内のコメント投稿ボタン表示１２−１ｉは、視聴者が視聴しているコンテンツに対して先に説明をしたコメントを投稿するためのボタンである。

【0045】

シークバー表示１２−１ｋは、コンテンツが再生コンテンツである場合に、再生開始時刻を左端に、再生終了時刻を右端に対応させ、シークボタン表示１２−１ｍの位置が現在の再生時刻を示しており、このシークボタン表示１２−１ｍの位置をマウスポインタ１２−３で動かして再生したい時刻へ移動させることができる。先に説明した操作部１２ｇとして、マウスポインタ１２−３、マウスカーソル１２−２があり、キーボード１２−４も視聴者端末１２は備えている。

【0046】

〔生放送中のコンテンツ視聴〕
次に、第１の配信者端末１１から投稿されて配信されているインターネット生放送であるライブコンテンツが、第１の視聴者端末１２によって視聴されるまでの動作を、図６のシグナルフローグラフ、図８の第１の仮想空間模式図、図９の各視点から見たレンダリング結果の図、をそれぞれ用いて説明する。

【0047】

ライブコンテンツを主催して配信しようとする配信者は、第１の配信者端末１１を用いてサーバ２へコンテンツ配信の申し込みを行う（ステップＳ１０１）。サーバ２が配信を許諾すると、許諾する旨がサーバ２から第１の配信者端末１１へ通知され（ステップＳ１０２）、サーバ２は、視聴が可能なコンテンツとしてこのライブコンテンツを配信サービスサイトの適切なページにリストとして掲示を行ったり、リストをログイン中の視聴者端末へ配信したりする（ステップＳ１０３）。

【0048】

配信が許諾されたので、第１の配信者端末１１は、インターネット生放送用ライブコンテンツとして、図８に示す仮想空間３０内の各バーチャルオブジェクトである、第１の配信者のアバター表示１２−１ｂと、その他バーチャルオブジェクトに関する仕様のデータ、およびモーションデータをサーバ２へ送信する（Ｓ１０４）とともに、これらバーチャルオブジェクトに関する仕様のデータ、およびモーションデータはサーバ２に記憶がなされる。

【0049】

先に説明したように、配信者はモーションデータを生成してアバター１２−１ｂの動作を制御するので、仮想空間３０内でアバター１２−１ｂは移動をしたり、向きを変えたり、姿勢を変えるなどの動作を行うことができる。同じく「表１ バーチャルオブジェクトの関連データ」を用いて先に説明をしたように、アバターを含めたバーチャルオブジェクトの外観のみならず音声を含めて表示（本明細書では「表示」を、画像の表示のみならず、スピーカー、振動子などを用いた音声、効果音などの表示をも含む意味で用いることとする。）を行う場合、アバターを含めたバーチャルオブジェクトが発する音声の情報、および音声のキャラクタ情報をバーチャルオブジェクトの仕様情報として、システム１が送受信あるいは記憶するデータの対象に含めるようにしてもよい。

【0050】

仮想空間３０内に配置された仮想的カメラ３２は図示のように中央に必ずしもおく必要はなく設置場所は任意であるし、移動してもよく、複数を設置してもよい。また再生を行う視聴者が、ライブコンテンツの改変あるいは追加動作の一環としてライブコンテンツの途中からこれら仮想的カメラの追加や移動をしてもよい。これら仮想カメラの運用は本明細書の他の箇所おいても共通であるが、以後の説明では煩雑さを避けるため、仮想カメラは各仮想空間に一つだけとした例示にとどめる。

【0051】

リストにより、放送中のこのライブコンテンツの存在を知った視聴者は、第１の視聴者端末１２からサーバ２に対してインターネット生放送であるこのライブコンテンツの視聴を申し込み（ステップＳ１０５）、この結果、サーバ２から第１の視聴者端末１２に対して、第１の配信者のアバター１２−１ｂのモーションデータ７−２やアバターの外観データ７−１を含む、仮想空間３０内にあるバーチャルオブジェクトの仕様のデータおよびモーションデータを送信して（ステップＳ１０６）、レンダリングを第１の視聴者端末１２で行う。レンダリングの結果を、図９（Ａ）（第１の配信者アバターの視点から見た画像）と図９（Ｂ）（第１の仮想的カメラの視点から見た画像）として例示する。

【0052】

また、第１の配信者端末１１が配信するライブコンテンツは、第１の視聴者端末１２に限らず、第２の視聴者端末２２を含めた本動画配信システムを利用する他の利用者もまた、申し込みを行って視聴することができる。

【0053】

〔生放送後のコンテンツの再生〕
次に、第１の配信者端末１１がインターネット生放送を行った結果、サーバ２にバーチャルオブジェクトの仕様のデータ、およびモーションデータとして記憶されているライブコンテンツを、生放送の時刻よりも後に、第１の視聴者端末１２から申し込んで再生する動作を、図１０を参照して説明する。

【0054】

まず、サーバ２に記憶済みのライブコンテンツを再生しようとする視聴者は、サーバ２があらかじめ用意をしたライブコンテンツの全体を示すリストから所望のライブコンテンツを選択し、サーバ２へ再生を申し込む。サーバ２では指定されたライブコンテンツである、バーチャルオブジェクトの仕様のデータ、およびモーションデータを第１の視聴者端末１２へ送信するので、視聴者は、第１の視聴者端末１２を用いてレンダリング（描画）を行って、図９（Ａ），（Ｂ）で示した画像が第１の視聴者端末１２の表示パネル１２−１に表示され、この結果、視聴者は仮想空間利用のライブコンテンツが視聴できる。この時、図９（Ａ），図９（Ｂ）に示すように、視聴者は、第１の配信者アバター１２−１ｂの視点から見たレンダリング画像も視聴できるし、切り替え操作に応じて第１の仮想的カメラ３２から見たレンダリング画像をも視聴できるので、単にテレビ放送画面や映画の画面を受け身で見ているのとは異なり、複数の異なる視点を能動的に自らの意志で切り替えながらコンテンツの内容を見ることができる。ここでこのライブコンテンツは３Ｄ（３次元）仮想空間を用いているので、見る視点を切り替え操作しながら多数の方向からの視聴により仮想空間３０内を視聴者は視聴をすることができ、２Ｄ（２次元）コンテンツを視聴するのでは得られない臨場感、没入感、連帯感を視聴者は得ることができる。このような臨場感などは、再生コンテンツの視聴であるにもかかわらず、あたかも生放送のライブコンテンツを視聴しているかのような感覚として視聴者へ伝わる。また、他の側面から説明を行うと、先に説明をした点であるが、本システム１が有する特徴的な点として、コンテンツのデータをレンダリング済みデータ（描画済みのデータ。そのまま表示画面に表示がされる、いわゆる動画像のデータ）として保持するのではなく、仮想的な対象物であるバーチャルオブジェクトの仕様のデータ（外観、ボイスのキャラクタ、効果音データ、音楽データなど）と、同じくバーチャルオブジェクトのモーションデータ（動作のデータ、向いている方向のデータ、位置座標のデータなど）として保持する点にある。そして、コンテンツを視聴者端末その他が再生する際には、従来構成のようにレンダリング済みの描画データをただ画面表示するのではなく、上に示したバーチャルオブジェクトの仕様データと、バーチャルデータのモーションデータとから、「再生時に」、レンダリングを行って描画データを生成している。このように、「バーチャルオブジェクトの仕様データと、バーチャルデータのモーションデータとから、レンダリングを行って描画データを生成している」点は、実は、コンテンツをインターネットなどを経由して生放送する際の動作と同じである。つまり本システム１の構成を用いることで、コンテンツの再生を、コンテンツの生放送時と変わらない動作、構成、品質で行うことが可能となっており、従来技術構成との大きな相違点である。さらに、再生時に「バーチャルオブジェクトの仕様データと、バーチャルデータのモーションデータとから、レンダリングを行って描画データを生成している」という点を生かして、再生時にこれらデータを修正、追加、改変してこのコンテンツの修正版とすることが容易となっており、この点を以下に説明する。

【0055】

〔生放送後の再生コンテンツへの仮想アイテムの追加〕
次に、図６乃至図９を用いて説明した、第１の配信者端末１１が先にインターネット生放送したライブコンテンツを第１の視聴者端末１２が再生視聴している状態で、第１の視聴者端末１２を用いる視聴者が、自分の所望の内容へライブコンテンツを改変あるいは追加を行う動作を、図１１乃至図１４を用いて説明する。

【0056】

先に説明をしたライブコンテンツの再生の手順と同様に、第１の視聴者端末１２からサーバ２に対してライブコンテンツ再生の申し込みが行われる（ステップＳ３０１）。

【0057】

申し込みを受け付けたサーバ２は、対象であるライブコンテンツを、バーチャルオブジェクトの仕様のデータ、およびモーションデータとして、第１の視聴者端末１２へ送信して、先の説明のようにレンダリングおよびコンテンツの視聴に供する（ステップＳ３０２）。

【0058】

視聴者は、先に説明をしたように、送信されたライブコンテンツをただ視聴することもできるが、例えばダンスシーンであれば自分もアバターの形でライブに参加し、すでにライブに参加している各アバターの操作者とともに踊ることで連帯感も得たいと感じることもあるであろうし、自分のアバターをライブコンテンツに投入して自分が決めた所望の視点からライブコンテンツを視聴しなおしたい、と思うこともありうる。

【0059】

そこで視聴者は、ライブコンテンツを再生しつつ、自分のアバター１２−１ｃを新たにライブコンテンツに投入するべく、サーバ２へ申し込んで、必要なデータであるアバターの外観情報を含めた、バーチャルオブジェクトの仕様のデータやモーションデータを、追加アイテムデータとしてサーバ２へ送信する（ステップＳ３０３）。ここで視聴者のアバター１２−１ｃは、先に図７で説明をしたような、アバターの外観データ７−１を含めた仕様データ、アバターのモーションデータ７−２などを用いてレンダリングしたデータ７−３として追加がなされるし、他のバーチャルオブジェクトを視聴者端末１２から追加する場合も同様であるので、このライブコンテンツを以後再生して視聴する他の視聴者は、この視聴者のアバター１２−１ｃおよび追加された他のバーチャルオブジェクトを、視聴者が操作した所望の動き、姿勢で視聴することとなり、最初に視聴者端末１２を用いて各バーチャルオブジェクトを追加した視聴者はあたかもライブコンテンツに参加したような感覚を得ることができる。

【0060】

これを受けてサーバ２は、仮想空間３０内に新たに視聴者のアバター１２−１ｃあるいはその他のバーチャルオブジェクトを追加して、追加分を含めた、このコンテンツのあらゆるバーチャルオブジェクトの仕様のデータ、およびモーションデータを第１の視聴者端末１２へ送信する（ステップＳ３０４）とともに、サーバ２が記憶しているライブコンテンツのデータにも、アバター１２−１ｃ、およびその他追加されたバーチャルオブジェクトのデータを追加するので、以後、このライブコンテンツを再生する他の視聴者端末は、視聴者のアバター１２−１ｃおよび追加されたバーチャルオブジェクトが含まれているライブコンテンツを視聴することとなる。なお、新たに追加されたアバターなどバーチャルオブジェクトについて、追加を行った時刻情報、追加を行った端末あるいはユーザアカウントの情報などを、システム１が送受信や記憶を行う対象のデータとする点は大変有効である。このような時刻の情報、端末やユーザの情報は、サーバ２が記憶をしていてもよいし、それと並行に、あるいは単独に、追加がなされたバーチャルオブジェクトの仕様の情報などに書き込まれていてもよい。このように追加をした時刻情報、追加を行った端末あるいはユーザアカウントの情報などを、システム１が送受信や記憶を行う対象のデータとする点は、本システム１の他の局面においても有効である点は同じであり、今後は記載を省略する場合がある。

【0061】

図１２、図１３では、第１の視聴者のアバター１２−１ｃのほかに、新たに、信号機３３、第２の仮想カメラ３４といったバーチャルオブジェクトが追加された状態を示している。

【0062】

なお、ライブコンテンツの改変は本来のライブコンテンツの主催者の許諾を要するようにしてもよいし、ライブコンテンツを改変する場合に、改変後のデータと改変前のデータの双方をサーバ２が引き続き記憶し、以後、各視聴者は操作に応じていずれかのライブコンテンツを再生できるようにしてもよい。そのように構成すれば、視聴者は自分が改変したライブコンテンツがほかの多数の視聴者に再生が可能となる点で満足感が得られるとともに、その様な改変を良しとしない視聴者もまた、改変前のコンテンツを視聴することができ、連帯感の高揚と、自分好みの鑑賞という、本来両立が困難な課題が両立できる。

【0063】

また、自分がウオッチあるいはリスペクトをしているライブコンテンツの主催者、演者などのほかに、自分がウオッチあるいはリスペクトをしている視聴者が改変したライブコンテンツを特に選んで視聴することもできるし、先に説明したようにサーバ２にはあるライブコンテンツの改変の系統樹データも用意できるので、自分にとって好ましいライブコンテンツの改変系統をトレースしていき、より自分にあったバージョンのコンテンツにたどり着く楽しみも視聴者は享受することができる。

【0064】

〔生放送後の再生コンテンツにアバターを追加して、他の配信者が配信する〕
上記の説明では、最初にインターネット生放送を行ったライブコンテツを、以後、個々の視聴者が自分の好みに合わせて改変や追加を行う例であったが、再生されるライブコンテンツ（生放送と同じでもよいし、その後に改変や追加がされていてもよい）を再度、同じ配信者あるは異なる配信者がインターネットで放送し、その放送を視聴する視聴者から、同様にライブコンテツの改変や追加がなされるようにしてもよい。

【0065】

図１４、図１５、図１６にその一例を図示したが、各図では第２の配信者のアバター３５が追加されている。各動作の詳細は、先の説明と同様である。

【0066】

〔変形例その１ 〜各構成の配置の任意性〕
先の本実施形態の説明では、視聴者が改変あるいは追加を行った仮想空間についての各視点映像のレンダリングを、この視聴者が用いる視聴者端末で行うこととした。しかしながらこのように構成をする点は本発明の実施に当たり必須なものでも本質的なものでもない。すなわち、このレンダリングをサーバあるいは他の各種端末で行ってもよい。そのようにレンダリングを行うためには、あらかじめバーチャルオブジェクトの仕様のデータ、およびモーションデータがレンダリングを行おうとするサーバ、あるいは端末もしくはその双方に送信されていればよく、詳細な構成あるいは手順は先に説明した本実施形態の構成から明らかであるので、重複を避けることとする。

【0067】

〔変形例その２ 〜バーチャルオブジェクトの仮想空間への投げ込み〕
先の説明では、ライブコンテンツを再生する視聴者が自分の好みにより、仮想空間へ新たなバーチャルオブジェクトを追加する例として、自分の分身であるアバター１２−１ｂ、１２−１ｃを追加する例、信号機３３を追加する例を説明した。

【0068】

ところで、実世界でライブの演奏、演劇公演などでは、演者に対して祝儀（「おひねり」とも呼ばれる）を渡したり、花を差し入れしたりすることで演者もますます盛り上がることができる。これに対応させて、コンテンツ配信においてもこのような祝儀に当たる仮想的なオブジェクト（バーチャルオブジェクト）を新たに仮想空間内に表示させて、演者への賛同、称賛などを表そうとする提案がある。

【0069】

公知の特許文献である特開２０１２−１２００９８号公報には、実写ライブ番組の表示画面に貼り付ける仮想的アイテムとして、例えば「デコレーション」として花や文字、ロゴなどをコンテンツの視聴者が購入し、表示画面上で自由な位置に配置することによって表示画面を飾ることが開示されている。

【0070】

本発明の実施形態システム１では、発明の一環として、仮想空間を用いたライブコンテンツを再生する視聴者が、演者への称賛、賛同を示すバーチャルオブジェクトを投げ込んで、以後、このライブコンテンツを再生する他の視聴者が、投げ込まれたバーチャルオブジェクトを視認することができ、この結果、バーチャルオブジェクトを投げ込んだ視聴者の賛同や称賛の意志が広く認識されたり、以後にこのライブコンテンツを視聴する視聴者が同じく賛同や称賛の感覚を味わうことが可能となる。生放送中のライブコンテンツに対してバーチャルオブジェクトを投げ込むのと異なり、再生コンテンツに対して投げ込むことは、リアルタイムの投げ込み（賛同や称賛）ではないものの、再生であれば何度でも視聴できて視聴者の層や数も広がるし、評判が評判を呼んで多数の投げ込みが行われうるし、それらが累積もされるので、視聴者側も、贈られる演者側もメリットがある。

【0071】

図１７、図１８記載の模式図は、このようなバーチャルオブジェクト（仮想的アイテム）である、リボン型バーチャルオブジェクト１２−１ｄを、コンテンツを再生する視聴者が視聴者端末を用いて、仮想空間３０に投げ込んだ態様を示している。

【0072】

リボン型バーチャルオブジェクト１２−１ｄは、外観の画像データを含めた仕様データ、位置のデータや向きのデータを含めたモーションデータなどを含んでいるもので、先に説明を行った、配信者や視聴者のアバター１２−１ｂ、１２−１ｃが仮想空間３０に追加されたのと同様の方法で、視聴者などが視聴者端末などを用いて仮想空間３０に追加することができる。

【0073】

より詳細には、リボン型バーチャルオブジェクト１２−１ｄは、配信者あるいは視聴者のアバター（代理人）の外観の情報を含めた仕様情報と、モーションデータ（動作情報）と同様の手順、構成で、そのバーチャルオブジェクトの仕様のデータ、およびモーションデータが送信や記憶がなされるように、本実施例システム１では構成がなされている。

【0074】

従って、投げ込みに用いるバーチャルオブジェクトであるリボン型バーチャルオブジェクト１２−１ｄに、アバターと同様に外観の情報、ボイスキャラクタの情報、効果音や音楽の情報を含めた仕様情報と、動作情報（位置の情報、動きの方向・速度の情報、姿勢の情報など）を持たせることが可能である。

【0075】

このような外観の情報を含めた仕様情報と、動作情報を付加した投げ込み用バーチャルオブジェクトとすることにより、リボン型バーチャルオブジェクト１２−１ｄは、ユーザの興味や関心を高める多様な演出が可能となる。なお、投げ込みを行うバーチャルオブジェクトとして、このリボン型バーチャルオブジェクト１２−１ｄとは異なる様々な外観などのデータを有するバーチャルオブジェクトとして実施が可能である。

【0076】

リボン型バーチャルオブジェクト１２−１ｄを用いる例として、図１７（Ａ）図示の模式図は、仮想空間３０中に投げ込まれた仮想アイテムであるリボン型バーチャルオブジェクト１２−１ｄが上から下へ落下して仮想空間の地面に着地する演出を意味している。バーチャルオブジェクトの投げ込みは、例えば劇場において「おひねり」を舞台に投げ込んだり、結婚式においてブーケを投げたりする感覚とも共通性があり、このように上から下へ落下して仮想空間３０の地面に着地する演出は、自然な感覚の演出であり視聴者の共感を得やすい。

【0077】

同じく、図１７（Ｂ）図示模式図は、バーチャルオブジェクトの投げ込みを行う対象者を、例えば第１の配信者１２−１ｂと決めて視聴者端末を用いてその様に所定の操作を行うと、仮想空間３０に投げ込まれたリボン型バーチャルオブジェクト１２−１ｄは、投げ込みの対象である第１の配信者１２−１ｂへ向かって仮想空間内を移動していく、という演出である。先に説明した「おひねり」の例からも自然な演出となりうる。

【0078】

同じく図１８（Ａ）は、仮想空間３０内に投げ込まれたリボン型バーチャルオブジェクト１２−１ｄが、自動で仮想空間３０内を動き回ったり（飛び回ることを含む）、あるいは投げ込んだ者の操作に応じて仮想空間内を動き回る演出である。投げ込まれた後のバーチャルオブジェクトが仮想空間内で静止している場合と比較して大変目立つ演出となり、投げ込みのアピールに役立つ。

【0079】

図１８（Ｂ）図示模式図は、多数の視聴者から投げ込まれたリボン型バーチャルオブジェクト１２−１ｄの数が多数にのぼったり、あるいは同一人が多数のバーチャルオブジェクトを連続的に投げ込んだ場合に、これら投げこまれたオブジェクトがいったん積みあがったのち、崩れる演出である。人気のあるライブコンテンツ、人気のあるシーン、人気のある演者に対してはバーチャルオブジェクトの投げ込みが集中することが予想され、このような演出は実現可能性が高く、演出上の効果も大きい。

【0080】

すでに説明を行った点を含めて、バーチャルオブジェクトを投げ込む場合の演出上の望ましい工夫を挙げると、まず投げ込む対象をライブコンテンツ全般とするほかに、特定の演者など対象を決めて操作の上で投げ込むことがよい方法である。対象を特定して投げ込まれたバーチャルオブジェクトは、対象者のそばに置かれるとか、対象者名を表記しておかれてもよい。
また仮想的カメラの視野内に、投げ込まれたバーチャルオブジェクトが置かれることも望ましい。

【0081】

（発明の効果の説明）
生放送された時刻には視聴ができなかったライブコンテンツを、後から視聴して楽しみたい、後からの視聴再生においても、あたかもライブで視聴しているような臨場感、没入感を得たい、あるいは通信網や各端末ハードウエアの負担を小さくして、多数の視聴者とシェアをしながらライブコンテンツの視聴を楽しみたい、という各課題を解決するよう構成する。

【0082】

本発明は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものとする。

【符号の説明】

【0083】

１ コンテンツ配信受信システム
２ コンテンツ配信サーバ
２ａ 入出力インターフェース
２ｂ 制御部
２ｃ コンテンツ情報記憶部
２ｄ コンテンツ配信部
２ｆ プログラム記憶部
２ｇ ユーザ管理部
２ｉ バスライン
３ インターネット通信網
７−１ アバターの外観データ
７−２ アバターのモーションデータ（動作のデータ、動作の情報）
７−２ａ モーションデータの節
７−２ｂ モーションデータの枝
７−３ アバターのレンダリング用データ
１１ 第１の配信者端末
１１ａ 入出力インターフェース
１１ｂ 制御部
１１ｃ アバター操作部
１１ｅ レンダリング部
１１ｆ 表示部
１１ｇ 操作部
１１ｈ プログラム記憶部
１１ｉ データ記憶部
１１ｋ コメント投稿部
１１ｍ バスライン
１２ 第１の視聴者端末
１２ａ 入出力インターフェース
１２ｂ 制御部
１２ｃ アバター操作部
１２ｅ アイテム投稿部
１２ｆ 表示部
１２ｇ 操作部
１２ｈ プログラム記憶部
１２ｉ データ記憶部
１２ｋ コメント投稿部
１２ｍ バスライン
１２−１ 表示パネル
１２−１ａ 動画表示エリア
１２−１ｂ 第１の配信者のアバター
１２−１ｃ 第１の視聴者のアバター
１２−１ｄ リボン型バーチャルオブジェクト
１２−１ｅ ホームボタン表示
１２−１ｆ 停止ボタン表示
１２−１ｇ ポーズボタン表示
１２−１ｈ 再生ボタン表示
１２−１ｉ コメント投稿ボタン表示
１２−１ｋ シークバー表示
１２−１ｍ シークボタン表示
１２−１ｎ 樹木
１２−１ｏ 家屋
１２−１ｒ コメント
１２−２ マウスカーソル
１２−３ マウスポインタ
１２−４ キーボード
２１ 第２の配信者端末
２２ 第２の視聴者端末
３０ 仮想空間
３１ 背景
３２ 第１の仮想的カメラ
３３ 信号
３４ 第２の仮想カメラ
３５ 第２の配信者のアバター

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】