特許 6454883 コンテンツ配信システム、コンテンツ配信方法およびコンテンツ配信プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】6454883

(24)【登録日】2018年12月28日

(45)【発行日】2019年1月23日

(54)【発明の名称】コンテンツ配信システム、コンテンツ配信方法およびコンテンツ配信プログラム

(51)【国際特許分類】

   H04N 5/222 20060101AFI20190110BHJP

   H04N 21/21 20110101ALI20190110BHJP

   H04N 21/266 20110101ALI20190110BHJP

【ＦＩ】

   H04N5/222 400

   H04N21/21

   H04N21/266

【請求項の数】11

【全頁数】14

(21)【出願番号】特願2018-29542(P2018-29542)

(22)【出願日】2018年2月22日

【審査請求日】2018年7月10日

【早期審査対象出願】

(73)【特許権者】

【識別番号】518412081

【氏名又は名称】株式会社バーチャルキャスト

(74)【代理人】

【識別番号】110002815

【氏名又は名称】ＩＰＴｅｃｈ特許業務法人

(72)【発明者】

【氏名】岩城 進之介

【審査官】 冨田 高史

(56)【参考文献】

【文献】 特開２００３−３２４７０９（ＪＰ，Ａ）

【文献】 特開２０１１−２１５７０１（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２２２ − ５／２５７

Ｈ０４Ｎ ２１／００ − ２１／８５８

(57)【特許請求の範囲】

【請求項1】

仮想キャラクタが参加する番組をネットワークを介して配信するコンテンツ配信システムであって、
前記仮想キャラクタを表示する仮想キャラクタ表示装置と、
前記番組のセットを、前記仮想キャラクタの視点に基づいて撮影する仮想キャラクタ視点撮影手段と、
前記仮想キャラクタ視点撮影手段が撮影した映像に応じて生成された演技情報に基づいて、前記仮想キャラクタの表示データを作成する表示データ作成手段と、
前記作成された表示データに基づいた仮想キャラクタが表示された前記仮想キャラクタ表示装置を含む前記番組のセットを、視聴者の視点に基づいて撮影する視聴者視点撮影手段と、
前記視聴者視点撮影手段が撮影した映像を前記ネットワークを介して配信する視聴者映像配信手段と、を備えるコンテンツ配信システム。

【請求項2】

前記仮想キャラクタ表示装置は透過型ディスプレイであって、前記仮想キャラクタが表示されている領域は、前記視聴者の視点側からは非透過領域、前記視聴者の視点の反対側からは透過領域であり、
前記仮想キャラクタ視点撮影手段は、前記仮想キャラクタ表示装置の前記仮想キャラクタの表示されている領域に対して、前記視聴者の視点の反対側に設置される、請求項１に記載のコンテンツ配信システム。

【請求項3】

前記表示データ作成手段は、前記仮想キャラクタ視点撮影手段が撮影した映像に応じて演技する前記仮想キャラクタの演者の入力操作を前記演技情報として取得する演技情報取得手段を含む、請求項１または請求項２に記載のコンテンツ配信システム。

【請求項4】

前記仮想キャラクタ視点撮影手段が撮影した映像を表示する視点映像表示装置をさらに備え、
前記演技情報取得手段は、前記仮想キャラクタの演者が前記視点映像表示装置に表示された映像を視聴しながら行った前記番組の進行に応じた動きを前記演技情報として取得する、請求項３に記載のコンテンツ配信システム。

【請求項5】

前記仮想キャラクタの演者と前記仮想キャラクタ表示装置とは、異なる場所に位置する、請求項３または請求項４に記載のコンテンツ配信システム。

【請求項6】

前記視聴者映像配信手段によって配信された映像を表示する視聴者映像表示装置をさらに備え、
前記視聴者映像表示装置は、前記仮想キャラクタの演者が前記配信された映像を視聴できるように配置される請求項３から請求項５のいずれか一項に記載のコンテンツ配信システム。

【請求項7】

前記視聴者映像配信手段によって配信された映像を表示する視聴者映像表示装置をさらに備え、
前記仮想キャラクタ視点撮影手段は、前記配信された映像が表示された前記視聴者映像表示装置を含む前記番組のセットを撮影し、
前記仮想キャラクタの演者は、前記視点映像表示装置を介して、前記視聴者映像表示装置に表示された前記配信された映像を視聴する、請求項４に記載のコンテンツ配信システム。

【請求項8】

前記仮想キャラクタ視点撮影手段は、広角レンズまたは魚眼レンズによって撮影する、請求項１から請求項７のいずれか一項に記載のコンテンツ配信システム。

【請求項9】

前記演技情報取得手段は、前記演者の視線および／または動きを前記入力操作として検知するセンサを含む、請求項３に記載のコンテンツ配信システム。

【請求項10】

仮想キャラクタが参加する番組をネットワークを介して配信するコンテンツ配信方法であって、
前記仮想キャラクタを仮想キャラクタ表示装置に表示するステップと、
前記番組のセットを、前記仮想キャラクタの視点に基づいて撮影する仮想キャラクタ視点撮影ステップと、
前記仮想キャラクタ視点撮影ステップにおいて撮影した映像に応じて生成された演技情報に基づいて、前記仮想キャラクタの表示データを作成する表示データ作成ステップと、
前記作成された表示データに基づいた仮想キャラクタが表示された前記仮想キャラクタ表示装置を含む前記番組のセットを、視聴者の視点に基づいて撮影する視聴者視点撮影ステップと、
前記視聴者視点撮影ステップにおいて撮影した映像を前記ネットワークを介して配信する視聴者映像配信ステップと、を備えるコンテンツ配信方法。

【請求項11】

請求項１０に記載のコンテンツ配信方法をコンピュータによって実現させるコンテンツ配信プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、仮想キャラクタが参加する公開番組等のライブコンテンツを配信するコンテンツ配信システム、コンテンツ配信方法およびコンテンツ配信プログラムに関する。

【背景技術】

【0002】

従来からＣＧ(Computer Graphics)で仮想空間上に表示させる人物や動物等のキャラクタを生成する技術が知られている。例えば、特許文献１は、３次元仮想空間上で動作する仮想キャラクタを容易に生成する装置を開示している。

【0003】

また、そのように生成された仮想キャラクタを、動画コンテンツの演者として出演させる技術が提案されている。例えば、仮想キャラクタの映像と、その背景の映像とを合成してコンテンツを作成する。視聴者は、仮想空間上で仮想キャラクタの愛くるしい演技などを楽しむことができる。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１１−１１３１３５号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

上述のような仮想キャラクタを、仮想キャラクタのみを出演させるのではなく、現実の人物と共演させたいというニーズがある。例えば、スタジオで撮影された現実の人物の映像と、仮想キャラクタの映像とを合成することで、視聴者は、現実の人物と仮想キャラクタとが同じ空間にいるような雰囲気を楽しむことができる。

【0006】

しかしながら、上述のように合成された映像では現実の人物と仮想キャラクタとが同じ空間に存在するように表示されているものの、実際のスタジオでは現実の人物しか存在していない。このため、視聴者がスタジオに行って番組にライブ参加するような公開番組では、参加者はスタジオで番組に出演する現実の人物しか見ることができず、参加者が仮想キャラクタと同じ空間に居る雰囲気を味わうことは難しい。

【0007】

また、仮想キャラクタと共演する現実の人物は、仮想キャラクタの動きを想定して演技するものの、実際の動きに対してリアクションするわけではないので、自然な演技を行うことは容易ではない。

【0008】

そこで、本開示では、仮想キャラクタが参加する公開番組等のライブコンテンツを楽しむことができるコンテンツ配信システム、コンテンツ配信方法およびコンテンツ配信プログラムを提供することを目的とする。

【課題を解決するための手段】

【0009】

上記の課題を解決するために、本開示のコンテンツ配信システムは、仮想キャラクタが参加する番組をネットワークを介して配信するシステムであって、仮想キャラクタを表示する仮想キャラクタ表示装置と、番組のセットを、仮想キャラクタの視点に基づいて撮影する仮想キャラクタ視点撮影手段と、仮想キャラクタ視点撮影手段が撮影した映像に応じて生成された演技情報に基づいて、仮想キャラクタの表示データを作成する表示データ作成手段と、作成された表示データに基づいた仮想キャラクタが表示された仮想キャラクタ表示装置を含む番組のセットを、視聴者の視点に基づいて撮影する視聴者視点映像撮影手段と、視聴者視点撮影手段が撮影した映像をネットワークを介して配信する視聴者映像配信手段と、を備える。

【0010】

また、本開示のコンテンツ配信方法は、仮想キャラクタが参加する番組をネットワークを介して配信する方法であって、仮想キャラクタを仮想キャラクタ表示装置に表示するステップと、番組のセットを、仮想キャラクタの視点に基づいて撮影する仮想キャラクタ視点撮影ステップと、仮想キャラクタ視点撮影ステップにおいて撮影した映像に応じて生成された演技情報に基づいて、仮想キャラクタの表示データを作成する表示データ作成ステップと、作成された表示データに基づいた仮想キャラクタが表示された仮想キャラクタ表示装置を含む番組のセットを、視聴者の視点に基づいて撮影する視聴者視点映像撮影ステップと、視聴者視点撮影ステップにおいて撮影した映像をネットワークを介して配信する視聴者映像配信ステップと、を備える。

【0011】

また、本開示のコンテンツ配信プログラムは、上述のコンテンツ配信方法をコンピュータによって実現させる。

【発明の効果】

【0012】

本開示によれば、仮想キャラクタが参加した公開番組等のライブコンテンツを配信することができる。

【図面の簡単な説明】

【0013】

【図1】コンテンツ配信システム１の機能構成を示すブロック図である。

【図2】スタジオ内部を上から見た図である。

【図3】カメラ１０４ａが撮影した映像の一例を示す図である。

【図4】カメラ１０３ａが撮影した映像の一例を示す図である。

【図5】コンテンツ配信処理を示すフローチャートである。

【図6】仮想キャラクタの表示データを作成する処理を示すフローチャートである。

【図7】配信コンテンツの視聴処理を示すフローチャートである。

【図8】コンテンツ配信サーバ１０のハードウェア構成を示すブロック図である。

【発明を実施するための形態】

【0014】

以下、本開示に係る実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本開示の内容を不当に限定するものではない。また、本実施形態で説明される構成の全てが、本開示の必須構成要件であるとは限らない。また、本実施形態を説明する全図において、共通の構成要素には同一の符号を付し、繰り返しの説明を省略する。

【0015】

＜実施形態１＞
本実施形態に係るコンテンツ配信システムは、仮想キャラクタが出演者としてタレントとスタジオで共演する公開番組等のライブコンテンツを配信するシステムである。

【0016】

仮想キャラクタを表示させた表示装置をスタジオに設置して仮想キャラクタを番組に出演させることで、仮想キャラクタと現実の人物とが実際のスタジオで共演する演出が可能となる。これにより、スタジオの観覧者や、番組の視聴者は現実の人物と仮想キャラクタとが実際にスタジオにいるような雰囲気を味わうことができる。また、仮想キャラクタと共演する現実の人物は、仮想キャラクタの動作を見てリアクションできるため、仮想キャラクタと目線を合わせる等の自然な演技を行うことができる。

【0017】

図１は、実施形態１に係るコンテンツ配信システム１の機能構成を示すブロック図である。図１を参照して、コンテンツ配信システム１の機能構成及びその概要について説明する。

【0018】

コンテンツ配信システム１は、コンテンツ配信サーバ１０と、演者端末２０ａ、２０ｂと、視聴者端末３０ａ、３０ｂと、ネットワーク４０と、仮想キャラクタ表示装置５０とを備える。コンテンツ配信サーバ１０と、演者端末２０と、視聴者端末３０とは、例えば、インターネットなどのネットワーク４０に接続されている。なお、演者端末２０および視聴者端末３０は、図１に示すようにネットワーク４０に複数台接続されているが、特に区別する必要がある場合を除き、演者端末２０、視聴者端末３０と記載する。

【0019】

仮想キャラクタ表示装置（以下、ＶＣ表示装置と記載する。）５０は、公開番組の出演者である仮想キャラクタＶＣを表示する表示装置であって、公開番組のスタジオ内で、共演者のタレントＴの傍に設置されている。なお、ＶＣ表示装置５０の設置位置はこれに限らず、番組制作者等の指示により、公開番組に参加できるようスタジオ内の任意の位置に設置されてよい。また、仮想キャラクタＶＣは、ＶＣ表示装置５０とは異なる位置にいる演者Ａの演技に基づいて表示される。

【0020】

（コンテンツ配信サーバ１０の構成）
コンテンツ配信サーバ１０は、スタジオで収録される公開番組等のライブコンテンツを配信するサーバ装置である。コンテンツ配信サーバ１０は、通信手段１０１と、制御手段１０２と、仮想キャラクタ用情報取得手段１０３と、視聴者用情報取得手段１０４と、を備える。

【0021】

通信手段１０１は、視聴者映像配信手段に相当し、ネットワーク４０を介して、演者端末２０、視聴者端末３０と通信を行う通信インタフェースである。

【0022】

仮想キャラクタ用情報取得手段１０３は、カメラ１０３ａ及びマイク１０３ｂから映像と音声を仮想キャラクタ用情報として取得する。仮想キャラクタ用情報は、仮想キャラクタＶＣの演者Ａが仮想キャラクタの演技をする際に用いられる。

【0023】

カメラ１０３ａは、仮想キャラクタ視点撮影手段に相当し、魚眼レンズや広角レンズ等を使用してタレントＴの傍の位置から公開番組のセットを撮影する。撮影した映像は、仮想キャラクタの視点に基づいた映像、すなわち、仮想キャラクタから見える映像として用いられる。マイク１０３ｂは、タレントＴの傍の位置からスタジオ内の音声を収音し、仮想キャラクタが聞こえる音声として用いる。カメラ１０３ａやマイク１０３ｂの配置については、後述する。

【0024】

視聴者用情報取得手段１０４は、カメラ１０４ａ及びマイク１０４ｂからスタジオ内の映像及び音声を視聴者用情報として取得する。視聴者用情報は、後述する制御手段１０２によって配信コンテンツを生成する際に用いられる。

【0025】

カメラ１０４ａは、視聴者視点撮影手段に相当し、タレントＴと仮想キャラクタＶＣが表示されたＶＣ表示装置５０を含む公開番組のセット（例えば、番組の大道具、小道具や美術装飾など）を撮影する。すなわち、カメラ１０４ａが撮影した映像は、視聴者の視点に基づいた映像として用いられる。マイク１０４ｂは、タレントＴや仮想キャラクタＶＣの声などを含むスタジオ内の音声を収音する。

【0026】

制御手段１０２は、仮想キャラクタ用情報取得手段１０３が取得した仮想キャラクタ用情報に基づいて、演者用表示データを生成する。例えば、仮想キャラクタ用情報に番組制作者の演出指示等を付加して、演者用表示データとしてよい。そして、通信手段１０１に、ネットワーク４０を介して演者端末２０に送信するよう指示する。

【0027】

また、制御手段１０２は、視聴者用情報取得手段１０４が取得した視聴者用情報に基づいて、視聴者用コンテンツを生成する。例えば、制御手段１０２は、カメラ１０４ａが撮影した映像に視聴者端末３０から送信されたコメントや画像等を付加してコンテンツを生成してよい。通信手段１０１は、制御手段１０２の指示を受け、ネットワーク４０を介して生成されたコンテンツを配信する。

【0028】

なお、制御手段１０２は、スタジオ内に設置されたモニタ１０６（視聴者映像表示装置に相当。）に視聴者用コンテンツを表示させるように制御してもよい。これにより、公開番組の出演者等が、視聴者がどのような映像を視聴しているか確認しながら番組を進行することができる。また、出演者は、モニタ１０６を確認することで、視聴者からのコメントなども把握できるため、視聴者のコメント等に対してもリアクションでき、視聴者との双方向でのインタラクションを実現することができる。

【0029】

さらに、制御手段１０２は、ＶＣ表示装置５０に対して、後述する表示データ作成手段２０３が作成した表示データに基づいて仮想キャラクタＶＣを表示するよう制御する。

【0030】

（ＶＣ表示装置５０の構成とカメラの配置）
ＶＣ表示装置５０は、コンテンツ配信サーバ１０の制御手段１０２の制御により、後述する演者端末２０において作成された表示データに基づいて、仮想キャラクタＶＣを表示する。

【0031】

ＶＣ表示装置５０は、透過型ディスプレイである。例えば、透過型の有機ＥＬディスプレイ、または、特定の波長の光を照射した際に発光するガラスを用いた透明なディスプレイであってもよい。透過型ディスプレイは、何も表示されていない状態ではパネルは透明である。パネルに仮想キャラクタＶＣを表示させた状態では、仮想キャラクタＶＣが表示された領域は、表側から見ると裏側の背景は透けて見ることができない非透過領域であるが、その領域を裏側から見ると表側の背景は透けて見ることができる透過領域である。透過型ディスプレイの原理については、公知技術であるため説明を省略する。

【0032】

このような透過型ディスプレイをＶＣ表示装置５０として利用し、本実施形態では、カメラ１０３ａやマイク１０３ｂをＶＣ表示装置５０の裏側に配置する。この配置について、図２〜図４を参照してさらに説明する。

【0033】

図２は、スタジオ内部を上（タレントＴの頭頂部が見える側）から見た図である。図３は、カメラ１０４ａが撮影した映像の一例を示す図である。図４は、カメラ１０３ａが撮影した映像の一例を示す図である。図２に示すように、タレントＴの傍には、ＶＣ表示装置５０が設置されている。ＶＣ表示装置５０の面５０ａが表側、面５０ｂが裏側である。また、ＶＣ表示装置５０の黒色部分は、仮想キャラクタＶＣが表示されている領域を示している。

【0034】

ＶＣ表示装置５０の表側、すなわち、視聴者の視点側には、視聴者用情報のためのカメラ１０４ａ及びマイク１０４ｂが設置される。また、出演者等が番組の進行を確認できるように視聴者用コンテンツが表示されるモニタ１０６が設置されていてもよい。

【0035】

ＶＣ表示装置５０の裏側、すなわち、視聴者の視点の反対側には、仮想キャラクタ用情報のためのカメラ１０３ａ及びマイク１０３ｂが設置される。

【0036】

ＶＣ表示装置５０に仮想キャラクタＶＣが表示されると、仮想キャラクタＶＣの表示領域を通して、表側からは裏側の背景を透過して見ることはできないが、裏側からは表側の背景を透過して見ることができる。すなわち、カメラ１０４ａが視聴者の視点（方向２５）からＶＣ表示装置５０を撮影すると、仮想キャラクタＶＣの表示領域の裏側にあるカメラ１０３ａやマイク１０３ｂを写さずに、仮想キャラクタＶＣが表示されたＶＣ表示装置５０を撮影することができる（図３参照）。

【0037】

一方、カメラ１０３ａは、仮想キャラクタＶＣの表示に遮られることなく、仮想キャラクタＶＣの視点（方向２６）からスタジオ内を撮影することができる（図４参照）。これにより、視聴者は、カメラ１０３ａやマイク１０３ｂの存在を感じることなく、公開番組を楽しむことができる。

【0038】

なお、カメラ１０３ａを、仮想キャラクタＶＣの頭部分に相当する位置に配置すると、より仮想キャラクタＶＣの視点に近い映像が撮影できる点で好ましいが、頭部分はよく動くため、ＶＣ表示装置５０の表側から見えてしまうおそれがある。このため、カメラ１０３ａやマイク１０３ｂが、常に仮想キャラクタＶＣの表示領域によって隠れるよう、仮想キャラクタＶＣが表示される領域のうち、あまり表示が消えない領域、例えば、仮想キャラクタＶＣの体部分に相当する位置に設置することが好ましい。

【0039】

（演者端末２０の構成）
図１に戻って、演者端末２０は、演者Ａの演技に基づいて、仮想キャラクタＶＣをＶＣ表示装置５０に表示させるために用いられる表示データを作成する端末であって、例えば、パーソナルコンピュータ等の情報処理装置である。なお、本実施形態では、仮想キャラクタＶＣの演者ＡはＶＣ表示装置５０に対して遠隔の場所にいるが、スタジオのすぐ傍にいてもよい。

【0040】

演者端末２０は、通信手段２０１と、制御手段２０２と、表示データ作成手段２０３と、を備える。

【0041】

通信手段２０１は、ネットワーク４０を介して通信を行う通信インタフェースである。通信手段２０１は、コンテンツ配信サーバ１０から演者用表示データ及び視聴者用コンテンツを受信する。また、後述する表示データ作成手段２０３で作成された仮想キャラクタＶＣの表示データをコンテンツ配信サーバ１０に送信する。

【0042】

制御手段２０２は、通信手段２０１が受信した演者用表示データをモニタ２０５（視点映像表示装置に相当。）に表示させる。また、視聴者用コンテンツをモニタ２０６（視聴者映像表示装置に相当。）に表示させる。演者Ａは、仮想キャラクタＶＣの視点から見た映像（図４参照）が表示されるモニタ２０５を視聴しながら、仮想キャラクタＶＣとして演技する。また、視聴者の視点から見た映像（図３参照）が表示されるモニタ２０６も視聴して、番組の進行を確認することができる。

【0043】

なお、視聴者の視点から見た映像は、モニタ２０６ではなく、モニタ２０５で確認できるようにしてもよい。すなわち、カメラ１０３ａが、スタジオ内に設置された視聴者映像表示装置であるモニタ１０６も撮影することで、仮想キャラクタＶＣの視点を通して、視聴者の視点から見た映像も確認することができる。これにより、演者Ａは、一つのモニタを見るだけで、仮想キャラクタＶＣの視点から見た映像と視聴者の視点から見た映像とを視聴することができる。

【0044】

表示データ作成手段２０３は、後述する演技情報取得手段２０４が取得した、仮想キャラクタＶＣの演者Ａの演技情報に基づいて、仮想キャラクタＶＣの表示データを作成する。

【0045】

演技情報取得手段２０４は、演者Ａによる入力操作を演技情報として取得する。入力操作とは、例えば、モーションキャプチャなどの演者Ａの視線および／または動きを検知するセンサによって検知された演者Ａの動作によるジェスチャ入力や、キャラクタの表情などを表現するためのボタン操作による入力等を含むが、仮想キャラクタの演技を表現するための入力であれば、どのような入力操作であってもよい。

【0046】

表示データ作成手段２０３は、例えば、モーションキャプチャにより、実際の人の動作や視線等を取得する。その取得した人の動作や視線に対応させて仮想キャラクタＶＣの動き（表示データ）を生成することで、仮想キャラクタＶＣの滑らかで自然な演技を実現させる。なお、モーションキャプチャを用いてキャラクタの動き等を生成することは公知技術であるので、詳細は省略する。

【0047】

作成された表示データは、制御手段２０２の指示により、通信手段２０１によって、ネットワーク４０を介してコンテンツ配信サーバ１０に送信される。なお、表示データ作成手段２０３は、コンテンツ配信サーバ１０が備えるようにしてもよい。この場合、演技情報取得手段２０４が取得した演技情報は、通信手段２０１によって、コンテンツ配信サーバ１０に送信される。

【0048】

（視聴者端末３０の構成）
視聴者端末３０は、配信されたコンテンツを視聴する端末であって、例えば、スマートフォン、携帯電話、パーソナルコンピュータ、ゲーム装置、ＰＤＡ、携帯型ゲーム機、ヘッドマウントディスプレイ、ウェアラブルディスプレイ、画像生成装置等の情報処理装置である。

【0049】

視聴者端末３０は、通信手段３０１と、制御手段３０２と、を備える。通信手段３０１は、ネットワーク４０を介した通信を行う通信インタフェースであり、コンテンツ配信サーバ１０から視聴者用コンテンツを受信する。

【0050】

制御手段３０２は、通信手段３０１が受信した視聴者用コンテンツをモニタ３０３に表示させる。これにより、視聴者は公開番組を楽しむことができる。

【0051】

（処理の流れ）
図５は、コンテンツ配信サーバ１０に係るコンテンツ配信処理を示すフローチャートである。図５を参照して、コンテンツ配信システム１において、コンテンツ配信サーバ１０がライブコンテンツを配信する処理の流れについて説明する。

【0052】

ステップＳ５０１において、コンテンツ配信サーバ１０の制御手段１０２は、仮想キャラクタ用情報取得手段１０３に対して、仮想キャラクタ用情報を取得するよう指示する。仮想キャラクタ用情報取得手段１０３は、カメラ１０３ａおよびマイク１０３ｂから、仮想キャラクタＶＣの視点に基づく映像および音声を仮想キャラクタ用情報として取得する。

【0053】

ステップＳ５０２において、制御手段１０２は、仮想キャラクタ用情報取得手段１０３が取得した仮想キャラクタ用情報に基づいて、演者用表示データを生成し、通信手段１０１に対して、演者端末２０に送信するよう指示する。

【0054】

ステップＳ５０３において、通信手段１０１は、演者端末２０から仮想キャラクタＶＣの表示データを受信する。なお、演者端末２０における表示データの作成処理は、図６において詳述する。

【0055】

ステップＳ５０４において、制御手段１０２は、ＶＣ表示装置５０に対して、ステップＳ５０３で受信した表示データに基づいて仮想キャラクタＶＣを表示するよう指示する。演者端末２０における表示データの作成処理については、図７において詳述する。

【0056】

ステップＳ５０５において、制御手段１０２は、視聴者用情報取得手段１０４に対して、視聴者用情報を取得するよう指示する。視聴者用情報取得手段１０４は、カメラ１０４ａおよびマイク１０４ｂから視聴者の視点に基づく映像および音声を取得する。

【0057】

ステップＳ５０６において、制御手段１０２は、視聴者用情報取得手段１０４が取得した視聴者用情報に基づいて視聴者用コンテンツを生成し、通信手段１０１に対し、生成したコンテンツを配信するように指示する。この際、制御手段１０２は、スタジオ内のモニタ１０６に視聴者用コンテンツを表示するように指示してもよい。

【0058】

ステップＳ５０７において、制御手段１０２は、番組制作者によって番組終了や配信終了の指示を受けたか否か判断する。終了指示を受けていない場合（ステップＳ５０７においてＮＯ）は、処理はステップＳ５０１に戻る。そうでない場合（ステップＳ５０７においてＹＥＳ）は、処理は終了する。

【0059】

図６は、仮想キャラクタＶＣの表示データを作成する処理を示すフローチャートである。図６を参照して、演者端末２０において、仮想キャラクタＶＣの表示データを作成する処理について説明する。

【0060】

ステップＳ６０１において、演者端末２０の通信手段２０１は、コンテンツ配信サーバ１０から、演者用表示データを受信する。

【0061】

ステップＳ６０２において、制御手段２０２は、モニタ２０５に対して、通信手段２０１が受信した演者用表示データに基づいて、仮想キャラクタの視点に基づいた映像を表示するよう指示する。

【0062】

ステップＳ６０３において、通信手段２０１は、コンテンツ配信サーバ１０から配信された視聴者用コンテンツを受信する。

【0063】

ステップＳ６０４において、制御手段２０２は、モニタ２０６に対して、通信手段２０１が受信した視聴者用コンテンツを表示するよう指示する。なお、ステップＳ６０１及びステップＳ６０３の処理の順序は上述に限らず、また、並列的に実行されてもよい。

【0064】

ステップＳ６０５において、演技情報取得手段２０４は、モーションキャプチャなどにより仮想キャラクタＶＣの演者Ａの動きを演技情報として取得する。

【0065】

ステップＳ６０６において、表示データ作成手段２０３は、演技情報取得手段２０４が取得した演技情報に基づいて、仮想キャラクタＶＣをＶＣ表示装置５０に表示するための表示データを作成する。

【0066】

ステップＳ６０７において、通信手段２０１は、制御手段２０２の指示により、表示データ作成手段２０３により作成された表示データをコンテンツ配信サーバ１０に送信する。

【0067】

図７は、配信コンテンツの視聴処理を示すフローチャートである。図７を参照して、視聴者端末３０における配信コンテンツの視聴処理について説明する。

【0068】

ステップＳ７０１において、視聴者端末３０の制御手段３０２は、視聴者端末３０のユーザからコンテンツの配信要求が指示されたか否かを判断する。配信要求が指示されたと判断した場合（ステップＳ７０１においてＹＥＳ）は、処理はステップＳ７０２に進み、そうでない場合は、処理は終了する。

【0069】

ステップＳ７０２において、通信手段３０１は、コンテンツ配信サーバ１０から視聴者用コンテンツを受信する。

【0070】

ステップＳ７０３において、制御手段３０２は、モニタ３０３に対し、受信した視聴者用コンテンツを表示するよう指示する。

【0071】

ステップＳ７０４において、制御手段３０２は、終了指示を受けたか否かを判断する。例えば、ユーザからの視聴終了の指示や、コンテンツ配信サーバからの配信終了指示について判断する。終了指示を受けていないと判断した場合（ステップＳ７０４においてＮＯ）は、処理はステップＳ７０２に戻り、そうでない場合（ステップＳ７０４においてＹＥＳ）は、処理は終了する。

【0072】

（ハードウェア構成図）
図８は、コンテンツ配信サーバ１０のハードウェア構成を示すブロック図である。コンテンツ配信サーバ１０は、コンピュータ８０１に実装される。コンピュータ８０１は、ＣＰＵ８０２と、主記憶装置８０３と、補助記憶装置８０４と、インタフェース８０５と、を備える。

【0073】

コンテンツ配信サーバ１０の各構成要素の動作は、プログラムの形式で補助記憶装置８０４に記憶されている。ＣＰＵ８０２は、プログラムを補助記憶装置８０４から読み出して主記憶装置８０３に展開し、当該プログラムに従って上記処理を実行する。また、ＣＰＵ８０２は、プログラムに従って、記憶領域を主記憶装置８０３に確保する。当該プログラムは、具体的には、コンピュータ８０１に、ライブコンテンツを配信させるためのコンテンツ配信プログラムである。

【0074】

なお、補助記憶装置８０４は、一時的でない有形の媒体の一例である。一時的でない有形の媒体の他の例としては、インタフェース８０５を介して接続される磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等が挙げられる。また、このプログラムがネットワークを介してコンピュータ８０１に配信される場合、配信を受けたコンピュータ８０１が当該プログラムを主記憶装置８０３に展開し、処理を実行しても良い。

【0075】

また、当該プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、当該プログラムは、前述した機能を補助記憶装置８０４に既に記憶されている他のプログラムとの組み合わせで実現するもの、いわゆる差分ファイル（差分プログラム）であっても良い。なお、図８に示したハードウェア構成は、演者端末２０や視聴者端末３０も同様の構成としてもよい。演者端末２０及び視聴者端末３０の各構成要素の動作も、上述のコンテンツ配信サーバ１０と同様に、補助記憶装置に記憶されたプログラムに従ったＣＰＵにより実現する。

【0076】

（効果の説明）
本実施形態に係るコンテンツ配信システムでは、仮想キャラクタを表示させた表示装置をスタジオに設置して仮想キャラクタを番組に出演させる。これにより、仮想キャラクタと現実の人物とが実際のスタジオで共演する演出が可能となり、スタジオの観覧者や、番組の視聴者は現実の人物と仮想キャラクタとが実際にスタジオにいるような雰囲気を味わうことができる。

【0077】

また、仮想キャラクタと共演する現実の人物は、仮想キャラクタの動作を見てリアクションできるため、仮想キャラクタと目線を合わせる等の自然な演技を行うことができる。

【0078】

また、仮想キャラクタを表示させる表示装置に、画像の表示領域の裏側（背景）が透過しない透過型ディスプレイを用い、仮想キャラクタの表示領域の裏側に仮想キャラクタの視点映像を撮影する撮影手段を配置する。これにより、視聴者は、撮影手段の存在を感じることなく、番組を楽しむことができる。

【0079】

また、このような撮影手段の配置により、仮想キャラクタの視点により近い映像を取得することができ、共演者である現実の人物のリアクションに合わせて、仮想キャラクタの演者は自然な演技を行うことができる。

【0080】

本実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものとする。

【符号の説明】

【0081】

１ コンテンツ配信システム、１０ コンテンツ配信サーバ、２０ 演者端末、３０ 視聴者端末、４０ ネットワーク、５０ 仮想キャラクタ表示装置、１０１，２０１，３０１ 通信手段、１０２，２０２，３０２ 制御手段、１０３ 仮想キャラクタ用情報取得手段、１０４ 視聴者用情報取得手段、１０６，２０５，２０６，３０３ モニタ、２０３ 表示データ作成手段、２０４ 演技情報取得手段、８０１ コンピュータ、８０２ ＣＰＵ、８０３ 主記憶装置、８０４ 補助記憶装置、８０５ インタフェース

【要約】      （修正有）

【課題】仮想キャラクタが参加する公開番組等のライブコンテンツを楽しむことができるコンテンツ配信システム、コンテンツ配信方法及びコンテンツ配信プログラムを提供する。
【解決手段】仮想キャラクタＶＣが参加する番組をネットワークを介して配信するコンテンツ配信システム１は、仮想キャラクタを表示する仮想キャラクタ表示装置５０と、番組のセットを仮想キャラクタの視点に基づいて撮影する仮想キャラクタ視点撮影手段１０３ａと、仮想キャラクタ視点撮影手段が撮影した映像に応じて生成した演技情報に基づいて、仮想キャラクタの表示データを作成する表示データ作成手段と、作成された表示データに基づいた仮想キャラクタが表示された仮想キャラクタ表示装置を含む番組のセットを視聴者の視点に基づいて撮影する視聴者視点撮影手段１０４ａと、視聴者視点撮影手段が撮影した映像をネットワークを介して配信する視聴者映像配信手段２０６と、を備える。
【選択図】図１

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】