【文献】
徹底解説!誰でもVTuberになれる「バーチャルキャスト」とは?,[online],Mogura Inc.,2018年 4月21日,URL,https://www.moguravr.com/virtualcast-2/
【文献】
「VRM」って何?どんなことができるの?,[online],dwango on GitHub,2018年 4月16日,URL,https://www.dwango.github.io/vrm/vrmabout/
【文献】
注目のバーチャル美少女「東雲めぐ」の可愛さの秘密とは?,[online],Mogura Inc.,2018年 3月16日,URL,https://www.moguravr.com/shinonome-megu/
(58)【調査した分野】(Int.Cl.,DB名)
仮想空間内で配信者によって使用される仮想キャラクタに付加されている該仮想キャラクタを用いた配信における視聴者の行動を制限するための付加情報及び/又は該配信者が設定した該仮想キャラクタを用いた配信における該視聴者の行動を制限するための制限情報を取得する情報取得部と、
前記配信者の動きを前記仮想キャラクタの動きとして合成した前記仮想空間内の映像に応じたライブコンテンツを配信する配信部と、
前記付加情報及び/又は前記配信者が設定した制限情報に基づいて、前記ライブコンテンツを視聴する前記視聴者の行動を制限する行動制限部と、を備え、
前記行動制限部は、前記配信者が設定した撮影制限情報及び/又は前記付加情報に含まれる撮影制限情報に基づいて、前記視聴者による前記仮想空間内を撮影する仮想カメラの操作に制限をかけることを特徴とするコンテンツ配信サーバ。
仮想空間内で配信者によって使用される仮想キャラクタに付加されている該仮想キャラクタを用いた配信における視聴者の行動を制限するための付加情報及び/又は該配信者が設定した該仮想キャラクタを用いた配信における該視聴者の行動を制限するための制限情報を取得する情報取得部と、
前記配信者の動きを前記仮想キャラクタの動きとして合成した前記仮想空間内の映像に応じたライブコンテンツを配信する配信部と、
前記付加情報及び/又は前記配信者が設定した制限情報に基づいて、前記ライブコンテンツを視聴する前記視聴者の行動を制限する行動制限部と、を備え、
前記行動制限部は、前記配信者が設定した参加制限情報及び/又は前記付加情報に含まれる参加制限情報に基づいて、前記視聴者が前記仮想キャラクタを使用して前記仮想空間内に参加する行為に制限をかけることを特徴とするコンテンツ配信サーバ。
複数の前記配信者が前記仮想キャラクタを使用して前記仮想空間内に参加する場合に、前記行動制限部は、複数の該仮想キャラクタに対応する複数の前記付加情報及び/又は複数の前記配信者が設定した複数の前記制限情報が示す、複数の制限を調和して、前記ライブコンテンツを視聴する前記視聴者の行動に制限をかける、
ことを特徴とする請求項1から6のいずれか1項に記載のコンテンツ配信サーバ。
仮想空間内で配信者によって使用される仮想キャラクタに付加されている該仮想キャラクタを用いた配信における視聴者の行動を制限するための付加情報及び/又は該配信者が設定した該仮想キャラクタを用いた配信における該視聴者の行動を制限するための制限情報を取得する情報取得ステップと、
前記配信者の動きを前記仮想キャラクタの動きとして合成した前記仮想空間内に応じたライブコンテンツを配信する配信ステップと、
前記配信者が設定した撮影制限情報及び/又は前記付加情報に含まれる撮影制限情報に基づいて、前記視聴者による前記仮想空間内を撮影する仮想カメラの操作に制限をかける
行動制限ステップと、
を含むことを特徴とするコンテンツ配信方法。
仮想空間内で配信者によって使用される仮想キャラクタに付加されている該仮想キャラクタを用いた配信における視聴者の行動を制限するための付加情報及び/又は該配信者が設定した該仮想キャラクタを用いた配信における該視聴者の行動を制限するための制限情報を取得する情報取得ステップと、
前記配信者の動きを前記仮想キャラクタの動きとして合成した前記仮想空間内に応じたライブコンテンツを配信する配信ステップと、
前記配信者が設定した参加制限情報及び/又は前記付加情報に含まれる参加制限情報に基づいて、前記視聴者が前記仮想キャラクタを使用して前記仮想空間内に参加する行為に制限をかける行動制限ステップと、
を含むことを特徴とするコンテンツ配信方法。
【発明を実施するための形態】
【0016】
以下、本開示の実施形態について図面を参照して説明する。なお、以下に説明する実施形態は、特許請求の範囲に記載された本開示の内容を不当に限定するものではない。また、実施形態に示される構成要素のすべてが、本開示の必須の構成要素であるとは限らない。
【0017】
(実施形態)
図1に示すように、本実施形態に係るコンテンツ配信システム1は、コンテンツ配信サーバ100と、一台以上の配信者端末200と、一台以上の視聴者端末300と、仮想キャラクタ提供サーバ400とを備える。コンテンツ配信サーバ100と、一台以上の配信者端末200と、一台以上の視聴者端末300と、仮想キャラクタ提供サーバ400とは、それぞれネットワークNWを介して通信可能に接続される。ネットワークNWは、例えばWAN(World Area Network)である。
【0018】
コンテンツ配信サーバ100は、ネットワークNWを介して配信サービスを提供する。コンテンツ配信サーバ100は、配信者の動きを仮想キャラクタの動きとして合成した仮想空間内の映像に基づいてライブコンテンツを視聴者端末300に配信する。
【0019】
仮想空間の映像には、仮想キャラクタだけでなく、背景、仮想的な物体を示すオブジェクト等も含まれる。仮想空間は、基本的には、CG(Computer Graphics)によって生成される3次元空間である。なお、仮想空間は、2次元空間であってもよい。なお、配信者には、配信の管理をする配信者である配信主と、配信に参加する配信者である他の配信者とが含まれる。他の配信者は、後述するように、参加を希望する視聴者であってもよいし、他の配信を行っている配信者であってもよい。
【0020】
配信者端末200は、ライブコンテンツを配信する配信者によって使用される。配信者端末200は、HMDを備える通信端末であり、通信機能及びモーションキャプチャ機能を有する。配信者端末200は、モーションキャプチャ機能により、配信者の動き(ジェスチャ)や視線をモーション情報として取得する。モーション情報は、配信者に対応付けられた仮想キャラクタの動きと仮想空間内の映像における視点に反映される。なお、モーション情報には、配信者の表情を示すデータが含まれていてもよい。
【0021】
視聴者端末300は、ライブコンテンツを視聴する視聴者によって使用される。視聴者端末300は、視聴のみを目的とする場合、パーソナルコンピュータ、タブレット端末、スマートフォン等の通信機能を有する装置である。
【0022】
一方、視聴者端末300は、視聴だけでなく、配信への参加も目的とする場合、HMDを備える通信端末であり、通信機能及びモーションキャプチャ機能を有する。この場合、視聴者端末300は、配信者端末200と同様に、視聴者の動きや視線をモーション情報として取得し、そのモーション情報が仮想空間内の仮想キャラクタや視点に反映される。
【0023】
このように、視聴者は配信に参加する場合、配信者と同等の立場になり得る。ただし、視聴者がゲストとして参加する場合、その視聴者端末300は、配信者端末200に比べて一部の機能が制限されてもよい。
【0024】
視聴者端末300は、視聴者がカメラマンとして参加することを目的とする場合、仮想空間内を撮影する仮想カメラを制御する機能をさらに有する。この場合、視聴者端末300は、コンテンツ配信サーバ100と通信を行い、その仮想カメラによる視聴画面又は配信画面の視点やズーム等の制御を行う。
【0025】
仮想キャラクタ提供サーバ400は、仮想空間内で配信者によって使用される仮想キャラクタを示すキャラクタ情報とそのキャラクタ情報に付加されている付加情報とを提供する。なお、仮想キャラクタ提供サーバ400は、さらに、仮想空間内で配信者によって使用されるオブジェクトを示すオブジェクト情報とそのオブジェクト情報に付加されている付加情報とを提供してもよい。
【0026】
配信者は、配信において、仮想キャラクタ提供サーバ400から取得した仮想キャラクタを使用する。なお、本実施形態では、仮想キャラクタ提供サーバ400は、仮想キャラクタを示すキャラクタ情報を提供する構成であるが、オブジェクトを示すオブジェクト情報を提供する構成であってもよい。
【0027】
<コンテンツ配信サーバの構成>
以下、コンテンツ配信サーバ100の構成を詳細に説明する。
図2に示すように、コンテンツ配信サーバ100は、他の装置と通信を行う通信部110と、各種データを記憶する記憶部120と、時刻を計時する計時部130と、装置全体の制御を行う制御部140とを備える。これらの構成要素は、バスラインBLによって相互に接続される。
【0028】
通信部110は、有線通信又は無線通信を行うためのNIC(Network Interface Card controller)を備える通信インターフェースである。通信部110は、ネットワークNWを介して、配信者端末200及び視聴者端末300と通信を行う。
【0029】
記憶部120は、RAM(Random Access Memory)、ROM(Read Only Memory)等から構成される。記憶部120は、各種制御処理を実行するためのプログラム、各種データ等を記憶する。例えば、記憶部120は、付加情報や制限を記憶する。
【0030】
計時部130は、クロック信号を生成するための発振回路及び可変PLL(Phase Locked Loop)、クロック信号のパルス数をカウントするカウンタ回路等から構成される。計時部130はカウントされるパルス数に基づいて時刻を計時する。
【0031】
制御部140は、CPU(Central Processing Unit)等から構成される。制御部140は、記憶部120に記憶されているプログラムを実行することにより、コンテンツ配信サーバ100の全体の動作を制御する。
【0032】
制御部140は、計時部130がカウントするパルス数に基づいたタイミングで各種制御を実行する。また、制御部140は、計時部130が計時する時刻に基づいて、ライブコンテンツの開始時点からの経過時間をカウントしたり、予め定められた時間(例えば配信予定時間)を経過したか否かを判別したりする。
【0033】
以下、制御部140の機能的な構成を説明する。制御部140は、情報取得部141、映像生成部142、配信部143、行動制限部144、指示受付部145として機能する。
【0034】
情報取得部141は、通信部110を介して、配信者端末200から配信者が使用する仮想キャラクタに関する情報と配信者の動きや視線を示すモーション情報とを取得する。仮想キャラクタに関する情報は、仮想キャラクタを示すキャラクタ情報及びキャラクタ情報に付加される付加情報を含む。情報取得部141は、通信部110を介して配信者端末200から音声情報を取得する。視聴者が配信に参加する場合、情報取得部141は、視聴者端末300からも、配信者端末200の場合と同様に、これらの情報を取得する。
【0035】
なお、情報取得部141は、通信部110を介して、配信者端末200から配信者が使用するオブジェクトを示すオブジェクト情報とその付加情報を取得してもよい。また、情報取得部141は、仮想キャラクタを示す情報、オブジェクト情報及び付加情報を、配信者による指示に応じて仮想キャラクタ提供サーバ400から直接的に取得してもよい。すなわち、情報取得部141は、これらの情報を配信者端末200から取得する構成に限られない。
【0036】
また、情報取得部141は、通信部110を介して、配信者端末200から、配信者が設定したNGワードや制限情報等を受け付ける。制限情報は、撮影制限情報、視聴制限情報、商用利用制限情報及び保存制限情報のいずれか一つを含む情報である。NGワードは、投稿又は表示が規制されるキーワードである。配信において、視聴者から投稿されるコメントにNGワードが含まれている場合、そのコメントは、投稿が拒否されたり、少なくともNGワード部分が閲覧できない状態で表示されたりする。
【0037】
映像生成部142は、配信者の動きを仮想キャラクタの動きとして合成した仮想空間内の映像を生成する。複数の配信者(配信に参加する視聴者を含む)がいる場合、それぞれの仮想キャラクタを含む映像を生成する。合成は、例えば、予め定められた仮想空間内の映像を背景として、そこにあたかも仮想キャラクタが存在するように映像を生成し、さらに、その仮想キャラクタにその仮想キャラクタを使用する配信者の動きが反映されるように映像を生成することによって実現される。
【0038】
配信部143は、映像生成部142が生成した映像に基づいてライブコンテンツを配信する。生成した映像に基づくライブコンテンツとは、生成した映像データに対して各々の視点に基づく映像を示す情報である。具体的には、ライブコンテンツは、生成した映像を配信者の仮想キャラクタの視点で見た場合の映像と、生成した映像を仮想カメラの視点で見た場合の映像とを示す情報を含む。
【0039】
配信部143によって配信されるライブコンテンツは、映像を示す情報だけでなく、音声情報をも含む。配信部143は、情報取得部141が取得した音声情報と、予め記憶部120に記憶され、演出に使用される音声情報とを、ライブコンテンツとして配信する。
【0040】
行動制限部144は、情報取得部141が取得した付加情報又は配信者端末200を使用する配信者が設定した制限情報に基づいて、視聴者端末300を使用してライブコンテンツを視聴する視聴者の行動を制限する。
【0041】
指示受付部145は、視聴者から投稿されるコメントを受け付ける。なお、指示受付部145は、配信者から投稿されるコメントをさらに受け付けてもよい。
【0042】
また、指示受付部145は、配信者端末200から配信に対する参加を受け付ける設定を示す参加受付情報と、他の配信者端末200又は視聴者端末300から、それに対する参加希望の通知を示す参加希望情報とを受け付ける。これにより、コンテンツ配信サーバ100は、配信者が配信する仮想空間内に、他の配信者や視聴者が仮想キャラクタを使用して参加することを可能とする。
【0043】
また、指示受付部145は、視聴者端末300から視聴者による金銭、遊技価値、引換券、及び特典のいずれか一つ以上を提供するための指示を受け付ける。なお、指示受付部145は、他の配信者による金銭、遊技価値、引換券、及び特典のいずれか一つ以上を提供するための指示を当該他の配信者端末200から受け付けてもよい。
【0044】
このような指示による金銭、遊技価値、引換券、及び特典のいずれか一つ以上の提供行為は、その配信又はその配信に参加する個々の配信者に対して、お金、換金性のあるアイテム、ポイント、外部サービスやイベント等を体験できる引換券、現実の商品と交換可能な引換券、特別な映像や音楽を含む特典等を投入する行為である。金銭、遊技価値、引換券、及び特典のいずれか一つ以上の提供行為は、金銭やポイントの受け渡し行為である投げ銭と、課金、ガチャ等が発生する行為とを含む商用利用行為である。提供された金銭、遊技価値、引換券、及び特典のいずれか一つ以上は、配信のスポンサー、配信者、コンテンツ配信サーバ100の管理者等に振り分けられるものであってもよい。視聴者又は他の配信者がその配信の関係者にお金やポイント等を投じるものであればよい。
【0045】
また、指示受付部145は、カメラマンとして参加している視聴者が使用する視聴者端末300から仮想カメラの操作を受け付ける。これにより、仮想カメラは、視聴者の指示に応じて、撮影角度や撮影位置を変えたり、ズーム変更したりする。
【0046】
<制限の具体的内容と複数の制限の調和>
ここで、行動制限部144による制限の具体的内容と複数の制限の調和とについて説明する。まず、行動制限部144は、仮想キャラクタ又はオブジェクトに付加される付加情報に基づいて視聴者の行動を制限する、また、行動制限部144は、配信者が設定した制限情報に基づいて視聴者の行動を制限する。
【0047】
例えば、行動制限部144は、情報取得部141が取得した付加情報が、仮想キャラクタが公式キャラであることを示す場合に、視聴者が仮想キャラクタを使用した配信に対して投稿するコメントに制限をかける。コメントの制限は、仮想キャラクタの提供者が設定したNGワード又はコメント不可設定に基づいて行われる。
【0048】
例えば、NGワードが設定されている場合、行動制限部144は、そのNGワードを含むコメントは投稿拒否したり、部分的に非表示にしたりする。NGワードの内容には、例えば、世界観の崩壊につながるキーワードが設定される。一方、コメント不可設定が設定されている場合、行動制限部144は、コメントの内容に依らず、コメントの投稿を受け付けない、あるいは投稿されたコメントを配信画面に表示させないように制御する。コメント不可設定は、例えば、映像元が強く要望する時、例えば、その仮想キャラクタが公式団体、政府機関が発行するキャラ等である場合に設定される。これにより、公式キャラクタが使用される配信に不適切なコメントを規制することができる。例えば、公共団体、企業、キャラクタ提供者等の公式キャラクタが視聴者に侮辱され、公式キャラクタの提供元の名誉が毀損されることを防止することができる。
【0049】
また、行動制限部144は、配信者が設定したNGワード又はコメント不可設定に基づいて、視聴者がその配信に対して投稿するコメントに制限をかける。これにより、配信者又は仮想キャラクタの提供者の目的、目標、方針等の世界観が不適切なコメントによって崩れることを防止することができる。
【0050】
行動制限部144は、配信者が設定した撮影制限情報及び/又は付加情報に含まれる撮影制限情報に基づいて、視聴者による仮想空間内を撮影する仮想カメラの操作に制限をかける。制限される仮想カメラの操作には、撮影方向や撮影位置の変更とズームの拡大又は縮小の変更とが含まれる。
【0051】
これにより、不適切な撮影行為によって配信者又は仮想キャラクタの提供者の世界観が崩れることを防止することができる。不適切な撮影行為は、例えば、ミニスカートを着用している仮想キャラクタを下から撮影する行為、ネタバレにつながる手元を拡大して撮影する行為、舞台裏に相当する場所を撮影する行為等の配信者にとって好ましくない撮影行為である。
【0052】
行動制限部144は、配信者が設定した参加制限情報及び/又は付加情報に含まれる参加制限情報に基づいて、視聴者が仮想キャラクタを使用して仮想空間内に参加する行為に制限をかける。行動制限部144は、配信者が設定した視聴制限情報及び/又は付加情報に含まれる視聴制限情報に基づいて、視聴者による配信の視聴に制限をかける。
【0053】
これにより、参加者や視聴者によって配信者又は仮想キャラクタの提供者の世界観が崩れることを防止することができる。例えば、仮想キャラクタとして配信に参加した視聴者以外には、配信中の仮想空間内の状況を視聴できない設定がされてもよい。視聴者が視聴のみが可能で、かつ仮想空間内に参加することは不可能な設定がされてもよい。先着で参加又はログインした視聴者のみに仮想空間内の映像を視聴させる設定がされてもよい。
【0054】
行動制限部144は、配信者が設定した商用利用制限情報及び/又は付加情報に含まれる商用利用制限情報に基づいて、視聴者による配信に対する金銭、遊技価値、引換券、及び特典のいずれか一つ以上の提供行為に制限をかける。これにより、金銭の移動を伴う配信を望まない配信者又は仮想キャラクタの提供者の世界観が金銭、遊技価値、引換券、及び特典のいずれか一つ以上の提供行為によって崩壊することを防止することができる。例えば、配信者が公式キャラクタを商用目的で使用することを公式キャラクタの提供元が禁止している場合にこのような設定がされてもよい。
【0055】
行動制限部144は、配信者が設定した保存制限情報又は付加情報に含まれる保存制限情報に基づいて、視聴者が使用する視聴者端末300に配信データを保存する行為又は視聴者が他のサイトに配信データを転載する行為に制限をかける。対象となる配信データは動画データであってもよいし、スクリーンショットのように静止画データであってもよい。
【0056】
これにより、配信や仮想キャラクタ等のデータの著作権を保護することができる。また、仮想キャラクタの使用期間又は配信の視聴期間が限定されていたり、仮想キャラクタが特別イベント仕様だったりする場合にも、配信又は仮想キャラクタに関する権利が保護される。
【0057】
ところで、複数の配信者(配信に参加する視聴者を含む)が配信に参加する場合、複数の配信者のそれぞれによって配信に対する世界観は異なる場合がある。また、その配信者の配信をよく視聴する主な視聴者もタイプが異なる場合がある。例えば、普段、社会問題を題材にする配信者の配信には視聴者から真面目なコメントや知的なコメントが投稿されやすい。一方、普段、コメディに関する題材で盛り上げる配信者の配信には視聴者から冗談めいたコメントが投稿されやすい。
【0058】
このような世界観の違いから複数の配信者のそれぞれが異なる制限設定を行う場合がある。また、配信者だけでなく、仮想キャラクタの提供者もさらに異なる世界観を持っている場合がある。
【0059】
そこで、行動制限部144は、複数の配信者が仮想キャラクタを使用して仮想空間内に参加する場合に、それらの複数の仮想キャラクタに対応する複数の付加情報及び/又は複数の配信者が設定した複数の制限情報が示す、複数の制限を調和する。行動制限部144は、そのような調和をした制限に基づいて、そのライブコンテンツを視聴する視聴者の行動に制限をかける。調和は、以下の複数の方法のいずれか一つ以上によって実現される。
【0060】
例えば、行動制限部144は、複数の制限のすべてを重畳適用する。行動制限部144は、複数の制限に相反する制限が含まれる場合に、その仮想空間内に参加する複数の配信者のいずれか一人以上に、その相反する設定を通知し、許可設定と禁止設定とのいずれか一方を適用する設定として選択させる。
【0061】
行動制限部144は、その仮想空間内に参加する複数の配信者のいずれか一人以上から、複数の制限に相反する制限が含まれる場合に、必ず適用すべき設定と適用しなくてもよい設定とを受け付けて、その受け付けた設定に基づいて複数の制限を調和してもよい。例えば、コメント不可設定されている仮想キャラクタとコメント不可設定されていない仮想キャラクタとが混在している場合、配信全体としてコメント禁止にしてもよい。例えば、商用利用が禁止されている仮想キャラクタと商用利用が禁止されていない仮想キャラクタとが混在している場合、商用利用が禁止されていない仮想キャラクタの配信者に対する金銭、遊技価値、引換券、及び特典のいずれか一つ以上の提供行為については許可してもよいし、いずれかの配信者が商用利用について必ず禁止するよう設定していた場合、配信全体として金銭、遊技価値、引換券、及び特典のいずれか一つ以上の提供行為を禁止してもよい。
【0062】
行動制限部144は、複数の制限に相反する制限が含まれる場合に、その仮想空間内に参加する複数の配信者に含まれるプレミアム会員の設定を、プレミアム会員ではない他の配信者の設定よりも優先適用してもよい。プレミアム会員は、例えば、通常の無料会員に対する有料会員や他の有料会員に対する高額の会員料を納付する会員である。
【0063】
行動制限部144は、複数の制限に相反する制限が含まれる場合に、許可設定よりも禁止設定を優先適用してもよい。これにより、禁止してほしいという要望は、すべて満たすことが可能となる。
【0064】
行動制限部144は、複数の制限に相反する制限が含まれる場合に、相反する設定である許可設定と禁止設定との設定そのものをキャンセルしてもよい。これにより、矛盾する設定による混乱を防止することが可能となる。
【0065】
<配信者端末の構成>
以下、配信者端末200の構成を詳細に説明する。
図3に示すように、配信者端末200は、他の装置と通信を行う通信部210と、ユーザの操作を受け付ける操作部220と、各種データを記憶する記憶部230と、各種画像を表示する表示部240と、音声入力を受け付ける音声入力部250と、モーション情報を入力するための動作入力部260と、各種音声を出力する音声出力部270と、装置全体の制御を行う制御部280とを備える。これらの構成要素は、バスラインBLによって相互に接続される。
【0066】
通信部210は、有線通信又は無線通信を行うためのNICを備える通信インターフェースである。通信部210は、ネットワークNWを介して、コンテンツ配信サーバ100と通信を行う。
【0067】
操作部220は、操作ボタン、キーボード、ポインティングデバイス等のいずれか一つ以上を備え、ユーザが指示を入力するために用いられるインターフェースである。
【0068】
記憶部230は、RAM、ROM等から構成される。記憶部230は、各種制御処理を実行するためのプログラム、入力データ等を記憶する。
【0069】
表示部240は、例えば、LCD、ELディスプレイ等によって構成される。表示部240は、制御部280からの入力データに応じてテキスト、画像等を表示する。
【0070】
音声入力部250は、マイクロフォン等から構成される。音声入力部250は外部から入力された音声を受け付けて音声情報を取得する。
【0071】
動作入力部260は、ユーザの入力操作を受け付けて、ユーザのモーション情報として取得する。動作入力部260は、例えば、モーションキャプチャ技術によってモーション情報を取得するためのカメラ、センサ等を備える。モーション情報は、例えば、ユーザの視線、動き(ジェスチャ)を検知するセンサによって検知される。また、モーション情報は、仮想キャラクタの表情や所定の演出動作等を表現するためのボタン操作によって取得されてもよい。
【0072】
なお、ユーザのモーション情報を仮想キャラクタの動作、視線等に変換する処理は、配信者端末200において実行されてもよいし、コンテンツ配信サーバ100において実行されてもよいし、コンテンツ配信サーバ100及び配信者端末200の協働によって実行されてもよい。
【0073】
音声出力部270は、例えば、スピーカー、増幅器等によって構成される。音声出力部270は、制御部280からの入力データに応じて音声を出力する。
【0074】
制御部280は、CPU等から構成される。制御部280は、記憶部230に記憶されているプログラムを実行することにより、配信者端末200の全体の動作を制御する。
【0075】
以下、制御部280の機能的な構成を説明する。制御部280は、コンテンツ取得部281、表示制御部282、音声出力制御部283、参加受付情報送信部284、キャラクタ情報送信部285、入力情報送信部286として機能する。
【0076】
コンテンツ取得部281は、通信部210を介してコンテンツ配信サーバ100からライブコンテンツを示すデータを取得する。表示制御部282は、コンテンツ取得部281が取得したライブコンテンツを示すデータに基づいて、表示部240に仮想空間内の映像を表示させる。音声出力制御部283は、コンテンツ取得部281が取得したライブコンテンツを示すデータに基づいて音声出力部270に音声を出力させる。
【0077】
参加受付情報送信部284は、参加受付情報を、通信部210を介してコンテンツ配信サーバ100に送信する。参加受付情報は、ユーザが操作部220を介して入力した配信に対する参加を受け付ける設定を示す情報である。
【0078】
キャラクタ情報送信部285は、ユーザが使用する仮想キャラクタのキャラクタ情報及びその付加情報を、通信部210を介してコンテンツ配信サーバ100に送信する。なお、キャラクタ情報送信部285は、ユーザが使用するオブジェクトのオブジェクト情報及びその付加情報を、コンテンツ配信サーバ100に送信してもよい。なお、これらの情報は、仮想キャラクタ提供サーバ400からユーザがダウンロードすることによって取得され、記憶部230に記憶される情報である。
【0079】
入力情報送信部286は、音声入力部250において取得した音声情報と動作入力部260において取得したモーション情報とをコンテンツ配信サーバ100に送信する。なお、入力情報送信部286は、仮想キャラクタにモーション情報を反映させた後の情報をコンテンツ配信サーバ100に送信してもよい。
【0080】
<視聴者端末の構成>
以下、視聴者端末300の構成を詳細に説明する。
図4に示すように、視聴者端末300は、他の装置と通信を行う通信部310と、ユーザの入力操作を受け付ける操作部320と、各種データを記憶する記憶部330と、各種画像を表示する表示部340と、音声入力を受け付ける音声入力部350と、モーション情報を入力するための動作入力部360と、音声を出力する音声出力部370と、装置全体の制御を行う制御部380とを備える。これらの構成要素は、バスラインBLによって相互に接続される。
【0081】
視聴者端末300の構成は、基本的に、配信者端末200の構成と同じである。例えば、視聴者端末300は、視聴者が配信に参加するために必要な情報として、視聴者のモーション情報を取得し、それを視聴者の仮想キャラクタの動作に反映するためにコンテンツ配信サーバ100に送信する機能を有している。ただし、視聴者端末300の制御部380は、配信者端末200の制御部280と比べて、一部の機能的な構成が異なる。
【0082】
以下、制御部380の機能的な構成を説明する。制御部380は、コンテンツ取得部381、表示制御部382、音声出力制御部383、入力情報送信部384、参加希望情報送信部385、キャラクタ情報送信部386、仮想カメラ制御指示部387として機能する。
【0083】
コンテンツ取得部381は、通信部310を介してコンテンツ配信サーバ100からライブコンテンツを示すデータを取得する。表示制御部382は、コンテンツ取得部381が取得したライブコンテンツを示すデータに基づいて、表示部340に仮想空間内の映像を表示させる。
【0084】
また、表示制御部382は、通信部310を介して、コンテンツ配信サーバ100から配信される一覧情報を取得し、参加希望を受け付けている配信の一覧情報を示す画面を表示部340に表示させる。音声出力制御部383は、コンテンツ取得部381が取得したライブコンテンツを示すデータに基づいて音声出力部370に音声を出力させる。
【0085】
入力情報送信部384は、操作部320を介してユーザが入力した入力情報を、通信部310を介してコンテンツ配信サーバ100に送信する。この入力情報は、例えば、視聴者が投稿するコメントと、金銭、遊技価値、引換券、及び特典のいずれか一つ以上を提供するための指示入力と、配信に関連するデータを取得するための指示入力とのいずれか一つ以上を含む情報である。
【0086】
参加希望情報送信部385は、通信部310を介して、参加希望を示す参加希望情報をコンテンツ配信サーバ100に送信する。具体的には、参加希望情報送信部385は、参加希望を受け付けている配信の一覧情報を示す画面に対して、ユーザが参加希望した場合に、その参加希望情報を送信する。
【0087】
キャラクタ情報送信部386は、ユーザが使用する仮想キャラクタのキャラクタ情報及びその付加情報を、通信部310を介してコンテンツ配信サーバ100に送信する。なお、キャラクタ情報送信部386は、ユーザが使用するオブジェクトのオブジェクト情報及びその付加情報を、コンテンツ配信サーバ100に送信してもよい。なお、これらの情報は、仮想キャラクタ提供サーバ400からユーザがダウンロードすることによって取得され、記憶部330に記憶される情報である。
【0088】
仮想カメラ制御指示部387は、ユーザが操作部320から入力した指示に応じて、仮想空間内の映像を撮影する仮想カメラを制御するための制御信号をコンテンツ配信サーバ100に送信する。なお、仮想カメラの映像は、その視聴者端末300の視聴画面にのみ反映されてもよいし、複数の視聴者端末300又は配信者端末200に配信画面として配信されてもよい。
【0089】
なお、
図4に示す例では、視聴者が仮想カメラを操作するカメラマンとして配信に参加する機能と、仮想キャラクタを使用して配信される仮想空間内に参加する機能と、配信を視聴する機能とのすべての機能を有する場合の視聴者端末300の構成を示している。しかし、視聴者端末300の構成は、これに限られない。
【0090】
例えば、上記構成において、視聴者端末300は、視聴機能のみに用途を限定して、音声入力部350、動作入力部360、参加希望情報送信部385、キャラクタ情報送信部386、仮想カメラ制御指示部387を備えていない構成にされてもよい。この場合、視聴者端末300を簡易な構成にすることができ、視聴者端末300は、HMDではなく、スマートフォンやPCであってもよい。また、上記構成において、視聴者端末300は、カメラマンとして参加する機能を設けずに、仮想カメラ制御指示部387を備えていない構成にされてもよい。このように、視聴者端末300は、用途に応じて、適宜設計変更が可能である。
【0091】
<仮想キャラクタ提供サーバの構成>
以下、仮想キャラクタ提供サーバ400の構成を詳細に説明する。
図5に示すように、仮想キャラクタ提供サーバ400は、他の装置と通信を行う通信部410と、各種データを記憶する記憶部420と、時刻を計時する計時部430と、装置全体の制御を行う制御部440とを備える。これらの構成要素は、バスラインBLによって相互に接続される。
【0092】
通信部410は、有線通信又は無線通信を行うためのNICを備える通信インターフェースである。通信部410は、ネットワークNWを介して、ユーザ端末と通信を行う。ユーザ端末は、例えば、仮想キャラクタ等の情報を取得する配信者端末200、視聴者端末300、仮想キャラクタ等の情報を投稿する投稿者によって使用される投稿者端末(不図示)等である。
【0093】
記憶部420は、RAM、ROM等から構成される。記憶部420は、各種制御処理を実行するためのプログラム、各種データ等を記憶する。例えば、記憶部420は、投稿者によって投稿された仮想キャラクタやオブジェクト等に関する情報を記憶する。
【0094】
また、記憶部420は、キャラクタ情報やオブジェクト情報に付加された付加情報を記憶する。また、記憶部420は、ユーザ端末を使用するユーザ(仮想キャラクタを使用する配信者や視聴者等)の情報を記憶する。
【0095】
計時部430は、クロック信号を生成するための発振回路及び可変PLL、クロック信号のパルス数をカウントするカウンタ回路等から構成される。計時部430はカウントされるパルス数に基づいて時刻を計時する。
【0096】
制御部440は、CPU等から構成される。制御部440は、記憶部420に記憶されているプログラムを実行することにより、仮想キャラクタ提供サーバ400の全体の動作を制御する。制御部440は、計時部430がカウントするパルス数に基づいたタイミングで各種制御を実行する。また、制御部440は、計時部430が計時する時刻に基づいて、予め定められた時間(例えば、キャラクタ情報やオブジェクト情報等の提供期間や利用可能期間)を経過したか否かを判別する。
【0097】
以下、制御部440の機能的な構成を説明する。制御部440は、情報提供部441、投稿受付部442、提供制御部443として機能する。
【0098】
情報提供部441は、通信部410を介して、配信者端末200にキャラクタ情報、オブジェクト情報、及び付加情報等をユーザに提供する。投稿受付部442は、通信部410を介して、投稿者端末から、キャラクタ情報、オブジェクト情報、及び付加情報等の投稿を受け付ける。
【0099】
提供制御部443は、提供期間ではないキャラクタ情報やオブジェクト情報については情報提供部441が提供しないように制御する。また、提供制御部443は、提供期間や利用可能期間をキャラクタ情報やオブジェクト情報をダウンロードしようとしているユーザ端末に通知する。
【0100】
図6は、仮想キャラクタ提供サーバ400が提供する情報の一例を示している。仮想キャラクタ提供サーバ400が提供する情報は、キャラクタ情報やオブジェクト情報を投稿した投稿者を示す投稿者IDと、投稿された情報に固有に付与される情報IDと、キャラクタ情報とオブジェクト情報のいずれかの情報であることを示す情報種別と、配信期間(提供期間)に応じた配信状態と、提供される情報のサイズ(情報量)と、付加情報と、キャラクタ情報やオブジェクト情報のダウンロードサービスを提供するURLとを含む。これらの情報は、互いに関連付けられて記憶部420に記憶される。
【0101】
キャラクタ情報又はオブジェクト情報にそれぞれに対応する付加情報である、付加情報A、付加情報B、付加情報C、付加情報D、付加情報Eには、商用利用の可否と、著作権の表示と、改変の可否と、再配布の可否と、重視する世界観と、年齢制限と、提供期間又は利用可能期間と、特別イベント仕様の有無及びその内容と、のいずれか一つ以上を示す情報が含まれる。
【0102】
また、これらの付加情報は、コンテンツ配信サーバ100における各種制限に用いられる情報を含む。例えば、これらの付加情報は、仮想キャラクタが公式キャラクタか否かの情報、撮影制限情報、視聴制限情報、参加制限情報、商用利用制限情報及び保存制限情報のいずれか一つ以上を含む。
【0103】
<処理の流れ>
以下、
図7を参照しながら、コンテンツ配信サーバ100が実行する制御処理の一例を説明する。この処理は、配信者端末200がコンテンツ配信サーバ100にログインして、ライブコンテンツの配信準備を開始したことを契機に実行される。
【0104】
まず、制御部140の情報取得部141は、通信部110を介して配信者端末200からキャラクタ情報と付加情報を取得する(ステップS101)。なお、情報取得部141は、さらに、オブジェクト情報とその付加情報を取得してもよい。
【0105】
制御部140の情報取得部141は、通信部110を介して配信者端末200から配信者が設定した制限情報を取得する(ステップS102)。
【0106】
次に、制御部140の配信部143は、配信者端末200に合成した映像を表示させる(ステップS103)。具体的には、制御部140の情報取得部141は、通信部110を介して、配信者端末200からモーション情報を取得する。制御部140の映像生成部142は、配信者の動きを仮想キャラクタの動きとして合成した仮想空間内の映像を生成する。制御部140の配信部143は、通信部110を介して配信者端末200に合成した仮想空間内の映像を示す情報を送信する。なお、複数の配信者がそれぞれ配信者端末200を使用して配信を行う場合、複数の配信者のそれぞれが使用する仮想キャラクタの視点の映像を示す情報が配信される。
【0107】
また、制御部140の配信部143は、合成した仮想空間内の映像に基づいてライブコンテンツを視聴者端末300に配信する(ステップS104)。このライブコンテンツは、仮想カメラの視点の映像を示す情報である。
【0108】
制御部140の行動制限部144は、付加情報及び/又は配信者が設定した制限情報に基づいて、ライブコンテンツを視聴する視聴者の行動を制限する(ステップS105)。
【0109】
なお、コンテンツ配信サーバ100が実行する制御処理は、
図7に示す例に限られない。例えば、情報取得部141は、配信者端末200において配信者が設定するたびに制限情報を取得する。そのため、ステップS102は、ステップS101より前であってもよいし、ステップS103以降であってもよい。また、制限情報の取得は、複数回実行されてもよい。誰も制限情報を設定していない場合、ステップS102はスキップされてもよい。
【0110】
また、
図7に示す例において、他の配信者又は参加希望する視聴者は、任意のタイミングで参加希望情報の送信操作を行い、配信主である配信者がそれを受け付けた場合に参加可能である。この場合、情報取得部141は、さらに、その参加者のキャラクタ情報、付加情報、制限情報等を取得する。配信主である配信者及びその配信に参加する一人以上の参加者の付加情報や制限情報に相反する制限設定がある場合、行動制限部144は、それらの制限の調和を行う。
【0111】
<効果の説明>
本実施形態に係るコンテンツ配信システム1において、コンテンツ配信サーバ100は、キャラクタ情報と付加情報及び/又は配信者が設定した制限情報とを取得する。コンテンツ配信サーバ100は、取得した付加情報及び/又は配信者が設定した制限情報に基づいて、ライブコンテンツを視聴する視聴者の行動を制限する。付加情報や制限情報には、視聴者の好ましくない行動を制限するための種々の基準となる情報が含まれている。そのため、コンテンツ配信システム1によれば、視聴者の好ましくない行動を制限することができる。
【0112】
以上で実施形態の説明を終了するが、上記実施形態は一例に過ぎない。そのため、コンテンツ配信システム1の具体的な構成、処理の内容等は上記実施形態で説明したものに限られない。以下、上記実施形態の変形例について説明する。
【0113】
(変形例)
上記実施形態に係るコンテンツ配信システム1では、付加情報と制限情報との両方によって、視聴者の行動を制限している。しかし、コンテンツ配信システム1は、付加情報と制限情報とのいずれか一方のみを取得して、その一方のみによって、視聴者の行動を制限する構成であってもよい。すなわち、コンテンツ配信システム1は、付加情報及び/又は制限情報によって視聴者の行動を制限する構成であればよい。
【0114】
上記実施形態に係るコンテンツ配信システム1では、配信者端末200と視聴者端末300とを異なる構成とし、それぞれを区別可能にしている。しかし、これらの各装置の構成要素を組み合わせて、その装置を配信者端末200及び視聴者端末300として機能する構成としてもよい。
【0115】
上記実施形態に係るコンテンツ配信システム1では、コンテンツ配信サーバ100の映像生成部142が、配信者の動きを仮想キャラクタの動きとして合成した仮想空間内の映像を生成している。しかし、コンテンツ配信サーバ100は、映像生成部142を備えていない構成であってもよい。例えば、配信者端末200がこのような映像生成を実行し、その映像データをコンテンツ配信サーバ100に送信し、コンテンツ配信サーバ100が配信者端末200から取得した映像データに基づくライブコンテンツを配信してもよい。また、映像生成部142が行う処理と実質的に同一の処理が、コンテンツ配信サーバ100と配信者端末200が協働することによって実行されてもよい。このような構成によれば、コンテンツ配信サーバ100で仮想空間内の映像を生成する場合に比べて、コンテンツ配信サーバ100の処理負担を軽減することができる。
【0116】
配信者端末200が映像生成を実行する構成で合同配信を行う場合、配信に参加する参加者の端末(例えば、配信者が使用する配信者端末200又は配信に参加する視聴者が使用する視聴者端末300)は、その参加者のモーション情報とキャラクタ情報を取得して、参加者の動きを仮想キャラクタに反映した映像を生成し、それをコンテンツ配信サーバ100に送信する。コンテンツ配信サーバ100は、その映像データを参加先の配信の配信主が使用する配信者端末200に送信する。配信主が使用する配信者端末200は、配信主である配信者のモーション情報とキャラクタ情報を取得して、仮想空間内の映像を生成し、それにコンテンツ配信サーバ100から取得した参加者の映像データを加えて両者の映像を合成する。これにより、参加者と配信主が一緒に映った映像データが生成される。配信主の配信者端末200は、その合成された映像データをコンテンツ配信サーバ100に送信し、コンテンツ配信サーバは、その映像データに基づくライブコンテンツを配信する。
【0117】
また、参加者の端末では映像を生成せずに、参加者の端末が参加者のキャラクタ情報、モーション情報及び付加情報等をコンテンツ配信サーバ100に送信して、コンテンツ配信サーバ100がそれらの情報を配信主が使用する配信者端末200に送信し、その配信者端末200で参加者のモーション情報等と配信主のモーション情報等との両方を一つの仮想空間内に反映させて映像を生成してもよい。これにより、参加者と配信主が一緒に映った映像データが生成され、コンテンツ配信サーバは、その映像データに基づくライブコンテンツを配信することができる。
【0118】
なお、配信者端末200が映像生成を実行する場合であっても、配信者端末200は、生成した映像データを送信する時に、付加情報も送信するため、コンテンツ配信サーバ100がその付加情報を識別して、視聴者の行動に制限をかけることができる。例えば、視聴者が投げ銭を行う場合、その指示が視聴者端末300からコンテンツ配信サーバ100に送信される。その後、コンテンツ配信サーバ100から指示に基づく金銭の移動を示す情報が配信者端末200に送信され、配信者端末200は、例えば、投げ銭が投げ込まれる様子を示す画像を組み込んだ映像を生成する。配信者端末200は、その映像データを再びコンテンツ配信サーバ100に送信し、コンテンツ配信サーバ100がその映像データに基づくライブコンテンツを配信する。この場合において、付加情報に商用利用禁止の制限が含まれている場合、コンテンツ配信サーバ100は金銭の移動を示す情報を配信者端末200に送らずに遮断したり、そもそも投げ銭の指示を受付けないように構成してもよい。
【0119】
このように、コンテンツ配信サーバ100は、必ずしも、自装置で仮想空間内の映像を生成する映像生成部142を備えている必要はなく、配信者(又は参加者)の動きを仮想キャラクタの動きとして合成した仮想空間内の映像を取得して、その映像に応じたライブコンテンツを配信すればよい。
【0120】
また、本開示に係るコンテンツ配信システム1は、上記装置によらず、例えば、コンピュータがプログラムを実行することで、その機能を実現してもよい。コンテンツ配信システム1の機能を実現するためのプログラムは、USB(Universal Serial Bus)メモリ、CD−ROM(Compact Disc−Read Only Memory)、DVD(Digital Versatile Disc)、HDD(Hard Disc Drive)等のコンピュータ読み取り可能な記録媒体に記憶されてもよいし、ネットワークを介してコンピュータにダウンロードされてもよい。
【0121】
以上、本開示の好ましい実施形態について説明したが、本開示は係る特定の実施形態に限定されるものではなく、本開示には、特許請求の範囲に記載された発明とその均等の範囲が含まれる。また、上記実施形態及び変形例で説明した装置の構成は、技術的な矛盾が生じない限り、適宜組み合わせ可能である。
コンテンツ配信サーバ100は、仮想空間内で配信者によって使用される仮想キャラクタを示すキャラクタ情報とそのキャラクタ情報に付加されている付加情報及び/又は配信者が設定した制限情報とを取得する情報取得部141と、情報取得部141が取得したキャラクタ情報に基づいて、配信者の動きを仮想キャラクタの動きとして合成した仮想空間内の映像に応じたライブコンテンツを配信する配信部143と、付加情報及び/又は配信者が設定した制限情報に基づいて、ライブコンテンツを視聴する視聴者の行動を制限する行動制限部144と、を備える。