特開2019-205176(P2019-205176A)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ グリー株式会社の特許一覧
特開2019-205176アクターの動きに基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画をライブ配信する動画配信システム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】特開2019-205176(P2019-205176A)
(43)【公開日】2019年11月28日
(54)【発明の名称】アクターの動きに基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画をライブ配信する動画配信システム
(51)【国際特許分類】
   H04N 21/238 20110101AFI20191101BHJP
   H04N 21/854 20110101ALI20191101BHJP
   G06F 13/00 20060101ALI20191101BHJP
【FI】
   H04N21/238
   H04N21/854
   G06F13/00 550A
【審査請求】有
【請求項の数】8
【出願形態】OL
【全頁数】31
(21)【出願番号】特願2019-117684(P2019-117684)
(22)【出願日】2019年6月25日
(62)【分割の表示】特願2018-224331(P2018-224331)の分割
【原出願日】2018年5月9日
(71)【出願人】
【識別番号】504437801
【氏名又は名称】グリー株式会社
(74)【代理人】
【識別番号】100126572
【弁理士】
【氏名又は名称】村越 智史
(72)【発明者】
【氏名】渡邊 匡志
(72)【発明者】
【氏名】栗田 健悟
【テーマコード(参考)】
5B084
5C164
【Fターム(参考)】
5B084AA01
5B084AA12
5B084AB07
5B084BA03
5B084BB15
5B084CB06
5B084CB12
5B084CB22
5B084CF12
5B084DC02
5C164MA03S
5C164MC01P
5C164SB21P
5C164SC11S
5C164TA08S
5C164YA08
(57)【要約】      (修正有)
【課題】ライブ配信中に起こる不測の事態への対処を容易にする動画配信システムを提供する。
【解決手段】動画配信システム1は、アクターの動きに基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画を第1ユーザが使用する第1クライアント装置にライブ配信する配信サーバ装置と、前記キャラクタオブジェクトに関連づけて表示される装飾オブジェクトを記憶するストレージと、サポータコンピュータとを備える。サポータコンピュータは、前記キャラクタオブジェクトの少なくとも一部を隠すためのブラインドオブジェクトを表示する。
【選択図】図1
【特許請求の範囲】
【請求項1】
アクターの動きに基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画を第1ユーザが使用する第1クライアント装置にライブ配信するように構成された配信サーバ装置と、
前記アクターから視認可能な位置に配置され、前記動画を表示するように構成された第1表示装置と、
前記アクターからの第2操作入力に基づいて前記第1表示装置に表示されている前記動画及び前記第1クライアント装置に表示されている前記動画に第2付加情報を表示させるように構成されたサポータコンピュータと、
を備える動画配信システム。
【請求項2】
前記サポーターコンピュータは、第3操作入力に基づいて前記キャラクタオブジェクトの少なくとも一部を修正した修正キャラクタオブジェクトを生成させ、前記動画に前記修正キャラクタオブジェクトを含めるように構成される、
請求項1に記載の動画配信システム。
【請求項3】
前記キャラクタオブジェクトは、前記アクターの顔の動きを示すフェイスモーションデータに基づいて動くように生成されるフェイス部を有し、
前記配信サーバ装置は、前記第3操作入力に基づいて
、前記フェイス部に第3付加情報を表示するように構成される、
請求項2に記載の動画配信システム。
【請求項4】
前記キャラクタオブジェクトに関連づけて表示される装飾オブジェクトを記憶するストレージをさらに備え、
前記サポーターコンピュータは、第4操作入力に基づいて前記装飾オブジェクトを前記動画に表示する際に前記キャラクタオブジェクトの少なくとも一部を隠すためのブラインドオブジェクトを表示するように構成される、
請求項1から請求項3のいずれか1項に記載の動画配信システム。
【請求項5】
前記配信サーバ装置は、前記第1クライアント装置に加えて第2ユーザが使用する第2クライアント装置に前記動画をライブ配信するように構成され、
前記第1クライアント装置は、第1タイプの装置であり、
前記第2クライアント装置は、前記第1タイプの装置と異なる第2タイプの装置であり、
前記サポータコンピュータは、前記第1クライアント装置において表示される前記動画の表示画像、及び、前記第2クライアント装置において表示される前記動画の表示画像を表示する第2表示装置を備える、
請求項1から請求項4のいずれか1項に記載の動画配信システム。
【請求項6】
前記サポータコンピュータは、第5操作入力に基づいて前記第1ユーザへの前記動画の配信を禁止するように構成される、
請求項1から請求項5のいずれか1項に記載の動画配信システム。
【請求項7】
一又は複数のコンピュータプロセッサがコンピュータ読み取り可能な命令を実行することにより実行される動画配信方法であって、
アクターの動きに基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画を第1ユーザが使用する第1クライアント装置にライブ配信する工程と、
前記アクターから視認可能な位置に配置された第1表示装置において前記動画を表示する工程と、
前記アクターからの第2操作入力に基づいて前記第1表示装置に表示されている前記動画及び前記第1クライアント装置に表示されている前記動画に第2付加情報を表示させる工程と、
を備える動画配信方法。
【請求項8】
一又は複数のコンピュータプロセッサに、
アクターの動きに基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画を第1ユーザが使用する第1クライアント装置にライブ配信する工程と、
前記アクターから視認可能な位置に配置された第1表示装置において前記動画を表示する工程と、
前記アクターからの第2操作入力に基づいて前記第1表示装置に表示されている前記動画及び前記第1クライアント装置に表示されている前記動画に第2付加情報を表示させる工程と、
を実行させる配信プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本明細書における開示は、アクターの動きに基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画をライブ配信する動画配信システムに関する。
【背景技術】
【0002】
アクターの動きに基づいてキャラクタオブジェクトのアニメーションを生成し、かかるキャラクタオブジェクトのアニメーションを含む動画をライブ配信する動画配信システムが知られている。このような動画配信システムは、例えば、特開2015−184689号公報(特許文献1)に開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2015−184689号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
動画のライブ配信中には、アニメーションの生成に用いられる機器の不具合などの不測の事態が発生することがある。上記の従来の動画配信システムでは、アクターとカメラの操作者のみでライブ配信が行われている。アクターやカメラの操作者が不測の事態への対処を行うと、その対処のための動きがキャラクタオブジェクトの動きに反映されてしまったり、カメラワークが不適当になってしまうおそれがある。この結果、配信動画のクオリティに望ましくない影響が現れるおそれがある。
【0005】
本開示の目的は、上述した従来技術の問題の少なくとも一部を解決又は緩和する技術的な改善を提供することである。本開示のより具体的な目的の一つは、ライブ配信中に起こる不測の事態への対処を容易にする動画配信システムを提供することである。
【課題を解決するための手段】
【0006】
一態様による動画配信システムは、一態様による動画配信システムは、アクターの動きに基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画を第1表示装置及び第1ユーザが使用する第1クライアント装置にライブ配信するように構成された配信サーバ装置と、前記第1表示装置に表示されている前記動画に第1付加情報を表示させる一方で前記第1クライアント装置には前記第1付加情報を表示させないように構成されたサポーターコンピュータと、を備える。当該前記第1表示装置は、前記アクターによって使用されるものであってもよい。当該第1表示装置は、前記アクターが選択可能なオブジェクトを表示してもよい。
【0007】
一態様において、前記サポーターコンピュータは、第2操作入力に基づいて前記第1表示装置に表示されている前記動画及び前記第1クライアント装置に表示されている前記動画に第2付加情報を表示させるように構成される。
【0008】
一態様において、前記サポーターコンピュータは、第3操作入力に基づいて前記キャラクタオブジェクトの少なくとも一部を修正した修正キャラクタオブジェクトを生成させ、前記動画に前記修正キャラクタオブジェクトを含めるように構成される。
【0009】
一態様において、前記キャラクタオブジェクトは、前記アクターの顔の動きを示すフェイスモーションデータに基づいて動くように生成されるフェイス部を有し、前記配信サーバ装置は、前記第3操作入力に基づいて、前記フェイス部に第3付加情報を表示するように構成される。
【0010】
一態様において、前記キャラクタオブジェクトに関連づけて表示される装飾オブジェクトを記憶するストレージをさらに備え、前記サポーターコンピュータは、第4操作入力に基づいて前記装飾オブジェクトを前記動画に表示する際に前記キャラクタオブジェクトの少なくとも一部を隠すためのブラインドオブジェクトを表示するように構成される。
【0011】
一態様において、前記配信サーバ装置は、前記第1クライアント装置に加えて第2ユーザが使用する第2クライアント装置に前記動画をライブ配信するように構成され、前記第1クライアント装置は、第1タイプの装置であり、前記第2クライアント装置は、前記第1タイプの装置と異なる第2タイプの装置であり、前記サポータコンピュータは、前記第1クライアント装置において表示される前記動画の表示画像、及び、前記第2クライアント装置において表示される前記動画の表示画像を表示する第2表示装置を備える。
【0012】
一態様において、前記サポータコンピュータは、第5操作入力に基づいて前記第1ユーザへの前記動画の配信を禁止するように構成される。
【0013】
一態様は、一又は複数のコンピュータプロセッサがコンピュータ読み取り可能な命令を実行することにより実行される動画配信方法に関する。当該動画配信方法は、アクターの動きに基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画を第1表示装置及び第1ユーザが使用する第1クライアント装置にライブ配信する工程と、前記第1表示装置に表示されている前記動画に第1付加情報を表示させる一方で前記第1クライアント装置には前記第1付加情報を表示させない工程と、を備える。
【0014】
一態様による配信プログラムは、一又は複数のコンピュータプロセッサに、アクターの動きに基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画を第1表示装置及び第1ユーザが使用する第1クライアント装置にライブ配信する工程と、前記第1表示装置に表示されている前記動画に第1付加情報を表示させる一方で前記第1クライアント装置には前記第1付加情報を表示させない工程と、を実行させる。
【発明の効果】
【0015】
本発明の実施形態によれば、ライブ配信中に起こる不測の事態への対処を容易にする動画配信システムを提供できる。
【図面の簡単な説明】
【0016】
図1】一実施形態による動画配信システムを示すブロック図である。
図2図1の動画配信システムで配信される動画を制作するスタジオの設備を模式的に示す模式図である。
図3図1の動画配信システムにおいて記憶される保有リストを説明する図である。
図4図1の動画配信システムにおいて記憶される候補リストを説明する図である。
図5】一実施形態においてクライアント装置10aに表示される動画の例を示す図である。図5には、キャラクタオブジェクトのアニメーションが含まれている。
図6】一実施形態においてクライアント装置10aに表示される動画の例を示す図である。図6には、通常オブジェクトが含まれている。
図7】一実施形態においてクライアント装置10aに表示される動画の例を示す図である。図7には、装飾オブジェクトが含まれている。
図8】候補リストに含まれている装飾オブジェクトの中から所望の選択装飾オブジェクトを選択するための装飾オブジェクト選択画面の例を示す模式図である。
図9】一実施形態においてサポーターコンピュータ40のディスプレイ44に表示される画像の例を示す図である。
図10】一実施形態においてディスプレイ39に表示される動画の例を示す図である。図10には、第1付加情報の例が示されている。
図11a】一実施形態においてクライアント装置10aに表示される動画の例を示す図である。図11aには、第2付加情報が含まれている。
図11b】一実施形態においてクライアント装置10aに表示される動画の例を示す図である。図11bには、第2付加情報が含まれている。
図12a】一実施形態においてクライアント装置10aに表示される動画の例を示す図である。図12aには、第3付加情報が含まれている。
図12b】一実施形態においてクライアント装置10aに表示される動画の例を示す図である。図12bには、第3付加情報が含まれている。
図13】一実施形態においてクライアント装置10aに表示される動画の例を示す図である。図13には、ブラインドオブジェクトが含まれている。
図14】一実施形態における動画配信処理の流れを示すフロー図である。
図15】一実施形態において第1付加情報を表示する処理の流れを示すフロー図である。
図16】一実施形態において第2付加情報を表示する処理の流れを示すフロー図である。
図17】一実施形態において第3付加情報を表示する処理の流れを示すフロー図である。
図18】一実施形態においてブラインドオブジェクトを表示する処理の流れを示すフロー図である。
図19】一実施形態において配信禁止ユーザへの動画配信を禁止する処理の流れを示すフロー図である。
【発明を実施するための形態】
【0017】
以下、図面を適宜参照し、本発明の様々な実施形態を説明する。複数の図面において同一の又は類似する構成要素には同じ参照符号が付される。
【0018】
図1から図4を参照して、一実施形態による動画配信システムについて説明する。図1は、一実施形態による動画配信システム1を示すブロック図であり、図2は、動画配信システム1で配信される動画の制作が行われるスタジオの設備を模式的に示す模式図であり、図3及び図4は、動画配信システム1において記憶される情報を説明するための図である。
【0019】
動画配信システム1は、クライアント装置10a〜10cと、サーバ装置20と、スタジオユニット30と、ストレージ60と、を備える。クライアント装置10a〜10cと、サーバ装置20と、ストレージ60とは、ネットワーク50を介して相互に通信可能に接続されている。サーバ装置20は、後述するように、キャラクタのアニメーションを含む動画を配信するように構成される。この動画に含まれるキャラクタは、仮想空間内でモーション制御されてもよい。
【0020】
この動画は、サーバ装置20からクライアント装置10a〜10cの各々に配信され得る。クライアント装置10aのユーザである第1視聴ユーザ、クライアント装置10bのユーザである第2視聴ユーザ、及びクライアント装置10cのユーザである第3視聴ユーザは、配信された動画を、各クライアント装置により視聴することができる。動画配信システム1は、3台よりも少ない数のクライアント装置を備えていてもよく、3台よりも多い数のクライアント装置を備えていてもよい。本明細書において、クライアント装置10a〜10c及びこれら以外のクライアント装置を互いから区別する必要がない場合には、これらを「クライアント装置」と総称することがある。
【0021】
クライアント装置10a〜10cは、スマートフォンなどの情報処理装置である。クライアント装置10a〜10cは、スマートフォン以外に、携帯電話機、タブレット端末、パーソナルコンピュータ、電子書籍リーダー、ウェアラブルコンピュータ、ゲーム用コンソール、及びこれら以外の動画を再生可能な各種情報処理装置であってもよい。クライアント装置10a〜10cの各々は、コンピュータプロセッサ、メモリ、通信I/F、ディスプレイ、ジャイロセンサ等の各種センサを備えるセンサユニット、マイク等の集音装置、及び各種情報を記憶するストレージを備えていてもよい。
【0022】
視聴ユーザは、クライアント装置10a〜10cの入力インタフェースを介して、配信された動画に関するメッセージを入力し、このメッセージをサーバ装置20に投稿することができる。各視聴ユーザから投稿されたメッセージは、動画に重畳して表示されてもよい。これにより、視聴ユーザ間の交流が図られる。
【0023】
図示の実施形態において、サーバ装置20は、コンピュータプロセッサ21と、通信I/F22と、ストレージ23と、を備えている。
【0024】
コンピュータプロセッサ21は、ストレージ23又はそれ以外のストレージからオペレーティングシステムや様々な機能を実現する様々なプログラムをメモリにロードし、ロードしたプログラムに含まれる命令を実行する演算装置である。コンピュータプロセッサ21は、例えば、CPU、MPU、DSP、GPU、これら以外の各種演算装置、又はこれらの組み合わせである。コンピュータプロセッサ21は、ASIC、PLD、FPGA、MCU等の集積回路により実現されてもよい。図1においては、コンピュータプロセッサ21が単一の構成要素として図示されているが、コンピュータプロセッサ21は複数の物理的に別体のコンピュータプロセッサの集合であってもよい。本明細書において、コンピュータプロセッサ21によって実行されるとして説明されるプログラム又は当該プログラムに含まれる命令は、単一のコンピュータプロセッサで実行されてもよいし、複数のコンピュータプロセッサにより分散して実行されてもよい。また、コンピュータプロセッサ21によって実行されるプログラム又は当該プログラムに含まれる命令は、複数の仮想コンピュータプロセッサにより実行されてもよい。
【0025】
通信I/F22は、ハードウェア、ファームウェア、又はTCP/IPドライバやPPPドライバ等の通信用ソフトウェア又はこれらの組み合わせとして実装される。サーバ装置20は、通信I/F22を介して、他の装置とデータを送受信することができる。
【0026】
ストレージ23は、コンピュータプロセッサ21によりアクセスされる記憶装置である。ストレージ23は、例えば、磁気ディスク、光ディスク、半導体メモリ、又はデータを記憶可能な前記以外の各種記憶装置である。ストレージ23には、様々なプログラムが記憶され得る。ストレージ23に記憶され得るプログラム及び各種データの少なくとも一部は、サーバ装置20とは物理的に別体のストレージ(例えば、ストレージ60)に格納されてもよい。
【0027】
スタジオユニット30の構成要素の多くは、例えば、図2に示されているスタジオルームRに配されている。図示のように、スタジオルームRにおいては、アクターA1及びアクターA2がパフォーマンスを行っている。スタジオユニット30は、アクターA1及びアクターA2の動き及び表情を検出し、検出した情報をサーバ装置20に出力するように構成されている。
【0028】
アクターA1及びアクターA2はいずれも、スタジオユニット30に備えられる後述のセンサ群によって動きや表情がキャプチャされる対象である。アクターA1及びアクターA2は、例えば、パフォーマンスを行う人間、動物、または運動する物体である。アクターA1及びアクターA2は、例えば、自立運動可能なロボットであってもよい。スタジオルームR内のアクターの数は、1であってもよいし、3以上であってもよい。
【0029】
スタジオユニット30は、アクターA1に装着される6つのモーションセンサ31a〜31fと、アクターA1の左手に把持されているコントローラ33aと、アクターA1の右手に把持されているコントローラ33bと、装着具37bを介してアクターA1の頭部に取り付けられるカメラ37aと、を有する。スタジオユニット30はまた、アクターA2に装着される6つのモーションセンサ32a〜32fと、アクターA2の左手に把持されているコントローラ34aと、アクターA2の右手に把持されているコントローラ34bと、装着具38bを介してアクターA2の頭部に取り付けられるカメラ38aと、を有する。装着具37b及び装着具38bの各々には、音声データを取得するためのマイクが取り付けられてもよい。このマイクは、アクターA1及びアクターA2の発話を音声データとして取得することができる。マイクは、装着具37b及び装着具38bを介してアクターA1及びアクターA2に装着される装着型のマイクであってもよく、スタジオルームRの床、壁、又は天井に設置される設置型のものであってもよい。スタジオユニット30は、上記の構成要素に加えて、ベースステーション35aと、ベースステーション35bと、トラッキングセンサ36aと、トラッキングセンサ36bと、ディスプレイ39と、を有する。スタジオルームRとガラス窓を隔てた隣室には、サポーターコンピュータ40が設置されている。サーバ装置20は、サポーターコンピュータ40が設置されている部屋と同じ部屋に設置されてもよい。
【0030】
モーションセンサ31a〜31f及びモーションセンサ32a〜32fは、ベースステーション35a及びベースステーション35bと協働して、自らの位置及び向きを検出する。一実施形態において、ベースステーション35a及びベースステーション35bは、多軸レーザーエミッターである。ベースステーション35aは、同期用の点滅光を発した後に、例えば鉛直軸の周りでレーザー光を走査する。ベースステーション35bは、例えば水平軸の周りでレーザー光を走査する。モーションセンサ31a〜31f及びモーションセンサ32a〜32fはそれぞれ、ベースステーション35a及びベースステーション35bからの点滅光及びレーザー光の入射を検知する光センサーを複数備えてもよい。モーションセンサ31a〜31f及びモーションセンサ32a〜32fはそれぞれ、点滅光の入射タイミングとレーザー光の入射タイミングとの時間差、各光センサーでの受光時間、各光センサーが検知したレーザー光の入射角度、及び必要に応じてこれら以外の情報を検出してもよい。モーションセンサ31a〜31f及びモーションセンサ32a〜32fは、例えば、HTC CORPORATIONから提供されているVive Trackerであってもよい。ベースステーション35a及びベースステーション35bは、例えば、HTC CORPORATIONから提供されているベースステーションであってもよい。ベースステーションは3つ以上設けられてもよい。ベースステーションの位置は適宜変更してもよい。例えば、図2に示されているトラッキングセンサの検出対象の空間の上方の隅部に配されているベースステーションに加えて若しくは替えて、上方位置及び床面に近い下方位置に対をなすように配置されたベースステーションが設けられてもよい。
【0031】
モーションセンサ31a〜31f及びモーションセンサ32a〜32fの各々において検出された検出情報(以下、「トラッキング情報」ということがある。)は、サーバ装置20に送信される。この検出情報は、モーションセンサ31a〜31f及びモーションセンサ32a〜32fの各々からサーバ装置20に無線送信されてもよい。ベースステーション35a及びベースステーション35bは、一定のインターバルで点滅光の発光及びレーザー光の走査を行うので、各モーションセンサのトラッキング情報は、当該インターバルごとに更新される。このモーションセンサ31a〜31f及びモーションセンサ32a〜32fによって検出されたトラッキング情報に基づいて、モーションセンサ31a〜31f及びモーションセンサ32a〜32fの各々の位置及び向きが算出され得る。モーションセンサ31a〜31f及びモーションセンサ32a〜32fの各々の位置及び向きは、例えば、サーバ装置20において当該トラッキング情報に基づいて算出されてもよい。
【0032】
図示の実施形態において、アクターA1は、6つのモーションセンサ31a〜31fを装着している。モーションセンサ31a,31b,31c,31d,31e,及び31fはそれぞれ、アクターA1の左手首、右手首、左足甲、右足甲、腰、及び頭頂に装着されている。モーションセンサ31a〜31fは、装着具を介してアクターA1に装着されてもよい。アクターA2は、6つのモーションセンサ32a〜32fを装着している。モーションセンサ32a〜32fは、アクターA2に対してモーションセンサ31a〜31fと同様の位置に装着され得る。図2に示されているモーションセンサ31a〜31f及びモーションセンサ32a〜32fは例示である。モーションセンサ31a〜31fは、アクターA1の様々な部位に装着され得るし、モーションセンサ32a〜32fは、アクターA2の様々な部位に装着され得る。アクターA1及びアクターA2に装着されるモーションセンサの数は5以下であってもよいし7以上であってもよい。このように、アクターA1及びアクターA2の体の各部に装着されたモーションセンサ31a〜31f及びモーションセンサ32a〜32fの位置及び向きを検出することにより、アクターA1及びアクターA2の体の動きを検出することができる。
【0033】
一実施形態においては、アクターA1及びアクターA2に装着される複数のモーションセンサの各々に多数の赤外LEDを搭載し、この赤外LEDからの光を、スタジオルームRの床や壁に設けられた赤外線カメラで検知することで、当該モーションセンサの各々の位置及び向きを検出してもよい。赤外LEDに代えて可視光LEDを使用し、この可視光LEDからの光を可視光カメラで検出することで、当該モーションセンサの各々の位置及び向きを検出してもよい。このように、アクターに装着される複数のモーションセンサの各々に発光部(例えば、赤外LEDや可視光LED)を設け、この発光部からの光をスタジオルームR内に設けられた受光部(例えば、赤外線カメラや可視光カメラ)で検出することで、当該モーションセンサの各々の位置及び向きを検出してもよい。
【0034】
一実施形態においては、モーションセンサ31a〜31f及びモーションセンサ32a〜32fに代えて、複数の反射マーカーを用いることができる。反射マーカーは、アクターA1及びアクターA2の各々に粘着テープなどにより貼付される。このように反射マーカーが貼付されたアクターA1及びアクターA2を撮影して撮影データを生成し、この撮影データを画像処理することにより、反射マーカーの位置及び向きを検出することができる。
【0035】
コントローラ33a及びコントローラ33bは、アクターA1の操作に応じたコントロール信号をサーバ装置20に出力する。同様に、コントローラ34a及びコントローラ34bは、アクターA2の操作に応じたコントロール信号をサーバ装置20に出力する。
【0036】
トラッキングセンサ36a及びトラッキングセンサ36bは、動画に含まれる仮想空間を構築するための仮想カメラの設定情報を定めるためのトラッキング情報を生成する。トラッキングセンサ36a及びトラッキングセンサ36bのトラッキング情報は、各々の三次元直交座標系での位置および各軸回りの角度として算出される。トラッキングセンサ36aの位置および向きは、操作者の操作に応じて変更されえる。トラッキングセンサ36aは、その位置および向きを示すトラッキング情報をトラッキング情報サーバ装置20に送信する。同様に、トラッキングセンサ36bの位置および向きは、操作者の操作に応じて設定される。トラッキングセンサ36bは、その位置および向きを示すトラッキング情報をトラッキング情報サーバ装置20に送信する。トラッキングセンサ36a,36bは、ジンバル又はスタビライザーによって支持されてもよい。ジンバルは、アクターやサポーターによって把持可能な形状に構成されてもよい。トラッキングセンサ36a,36bをジンバルまたはスタビライザーで支持することにより、手ぶれを抑制することが可能となる。
【0037】
カメラ37aは、上記のように、アクターA1の頭部に取り付けられている。例えば、カメラ37aは、アクターA1の顔を撮像できるように配置されている。カメラ37aは、アクターA1の顔を連続的に撮像し、アクターA1の顔の撮像データを取得する。同様に、カメラ38aは、アクターA2の頭部に取り付けられている。カメラ38aは、アクターA2の顔を撮像できるように配置されており、アクターA2の顔を連続的に撮像し、アクターA2の顔の撮像データを取得する。カメラ37aは、アクターA1の顔の撮像データをサーバ装置20に送信し、カメラ38aは、アクターA1の顔の撮像データをサーバ装置20に送信する。カメラ37a及びカメラ38aは、人物の顔の奥行きを検出可能な3Dカメラであってもよい。
【0038】
ディスプレイ39は、サポーターコンピュータ40から受信した情報を表示するように構成される。サポーターコンピュータ40からディスプレイ39に送信される情報は、例えば、テキスト情報、画像情報、及びこれら以外の各種情報を含み得る。ディスプレイ39は、アクターA1及びアクターA2によって視認可能な位置に配置される。ディスプレイ39は、第1表示装置の例である。
【0039】
図示の実施形態において、サポーターコンピュータ40は、スタジオルームRの隣室に設置されている。サポーターコンピュータ40が設置されている部屋とスタジオルームRとはガラス窓によって隔てられているため、サポーターコンピュータ40のオペレータ(本明細書では「サポーター」ということがある。)は、アクターA1及びアクターA2を視認できる。図示の実施形態においては、サポーターコンピュータ40のオペレータとして、サポーターB1及びサポーターB2が在室している。本明細書においては、サポーターB1とサポーターB2とを互いに区別する必要がない場合には、サポーターB1及びサポーターB2「サポーター」と総称することがある。
【0040】
サポーターコンピュータ40は、サポーターB1及びサポーターB2の操作に応じて、スタジオユニット30の構成要素の設定を変更することができるように構成されてもよい。サポーターコンピュータ40は、例えば、ベースステーション35a及びベースステーション35bによる走査インターバルの設定、トラッキングセンサ36a及びトラッキングセンサ36bの位置または向きの設定、及びこれら以外の各種機器の各種設定の変更を行うことができる。サポーターB1及びサポータB2の少なくとも一方は、サポーターコンピュータ40にメッセージを入力し、当該入力されたメッセージをディスプレイ39に表示することができる。
【0041】
図2に示されているスタジオユニット30の構成要素及び機能は例示である。本発明に適用可能なスタジオユニット30は、図示されていない様々な構成要素を備え得る。例えば、スタジオユニット30は、プロジェクタを備えていてもよい。当該プロジェクタは、クライアント装置10aまたはそれ以外のクライアント装置に配信される動画をスクリーンSに投影することができる。
【0042】
次に、一態様において、ストレージ23に記憶される情報について説明する。図示の実施形態においては、ストレージ23には、モデルデータ23a、オブジェクトデータ23b、保有リスト23c、候補リスト23d、及び前記以外の配信動画の生成及び配信に必要な様々な情報が記憶される。
【0043】
モデルデータ23aは、キャラクタのアニメーションを生成するためのモデルデータである。モデルデータ23aは、3次元のアニメーションを生成するための3次元モデルデータであってもよいし、2次元のモデルデータを生成するための2次元モデルデータであってもよい。モデルデータ23aは、例えば、キャラクタの骨格を示すリグデータ(「スケルトンデータ」と呼ばれることもある。)と、キャラクタの表面の形状や質感を示す表面データと、を含む。モデルデータ23aには、互いに異なる複数のモデルデータを含むことができる。この複数のモデルデータは、互いに異なるリグデータを有していてもよいし、同じリグデータを有していてもよい。この複数のモデルデータは、互いと異なる表面データを有していてもよいし、同じ表面データを有していてもよい。図示の実施形態においては、アクターA1に対応するキャラクタオブジェクト及びアクターA2に対応するキャラクタオブジェクトを生成するために、モデルデータ23aは、互いに異なる少なくとも2種類のモデルデータを有する。このアクターA1に対応するキャラクタオブジェクト用のモデルデータとアクターA2に対応するキャラクタオブジェクト用のモデルデータとは、例えば、同じリグデータを有するが、異なる表面データを有していてもよい。
【0044】
オブジェクトデータ23bは、動画を構成する仮想空間を構築するためのアセットデータを含む。オブジェクトデータ23bは、動画を構成する仮想空間の背景を描画するためのデータ、動画に表示される各種物体を描画するためのデータ、及びこれら以外の動画に表示される各種オブジェクトを描画するためのデータが含まれる。オブジェクトデータ23aには、仮想空間におけるオブジェクトの位置を示すオブジェクト位置情報を含んでもよい。
【0045】
オブジェクトデータ23bには、上記以外にも、クライアント装置10a〜10cの視聴ユーザからの表示要求に基づいて動画に表示されるギフトオブジェクトが含まれ得る。ギフトオブジェクトには、エフェクトオブジェクトと、通常オブジェクトと、装飾オブジェクトと、が含まれ得る。視聴ユーザは、所望のギフトオブジェクトを購入することができる。購入可能なオブジェクトの数またはオブジェクトの購入金額に上限が設定されていてもよい。
【0046】
エフェクトオブジェクトは、配信動画の視聴画面全体の印象に影響を与えるオブジェクトであり、例えば紙吹雪を模したオブジェクトである。紙吹雪を模したオブジェクトは、視聴画面全体に表示されてもよく、これにより表示の前後における視聴画面全体の印象を変えることができる。エフェクトオブジェクトは、キャラクタオブジェクトと重複するように表示されることもあるが、キャラクタオブジェクトの特定の部位と関連付けられた表示はなされない点で装飾オブジェクトと異なっている。
【0047】
通常オブジェクトは、視聴ユーザからアクター(例えば、アクターA1またはアクターA2)へのデジタル的なギフトとなるオブジェクトであり、例えばぬいぐるみや花束を模したオブジェクトである。一態様において、通常オブジェクトは、キャラクタオブジェクトと接しないように動画の表示画面に表示される。一態様において、通常オブジェクトは、キャラクタオブジェクトと重複しないように動画の表示画面に表示される。通常オブジェクトは、仮想空間においてキャラクタオブジェクト以外のオブジェクトと重複するように表示されてもよい。通常オブジェクトは、キャラクタオブジェクトと重複するように表示されることもあるが、キャラクタオブジェクトの特定の部位と関連付けられた表示はなされない点で装飾オブジェクトと異なっている。一態様において、通常オブジェクトをキャラクタオブジェクトと重複して表示させる場合には、当該通常オブジェクトは、当該キャラクタオブジェクトの顔を含む頭部以外の部分と重複し、当該キャラクタオブジェクトの頭部とは重複しないように表示される。
【0048】
装飾オブジェクトは、キャラクタオブジェクトの特定の部位と関連付けて表示画面に表示されるオブジェクトである。一態様において、キャラクタオブジェクトの特定の部位と関連付けて表示画面に表示される装飾オブジェクトは、当該キャラクタオブジェクトの当該特定の部位に接するように表示画面に表示される。一態様において、キャラクタオブジェクトの特定の部位と関連付けて表示画面に表示される装飾オブジェクトは、当該キャラクタオブジェクトの当該特定の部位の一部又は全部を覆うように表示画面に表示される。
【0049】
装飾オブジェクトは、例えば、キャラクタオブジェクトに装着されるアクセサリー(カチューシャ、ネックレス、イヤリングなど)、衣服(Tシャツなど)、コスチューム、及びこれら以外のキャラクラオブジェクトに装着可能なオブジェクトである。装飾オブジェクトに対応するオブジェクトデータ23bには、当該装飾オブジェクトがキャラクタオブジェクトのどの部位に関連付けられるかを示す装着位置情報が含まれてもよい。ある装飾オブジェクトの装着位置情報は、当該装飾オブジェクトがキャラクタオブジェクトのどの部位に装着されるかを示すことができる。例えば、装飾オブジェクトがカチューシャである場合には、当該装飾オブジェクトの装着位置情報は、当該装飾オブジェクトがキャラクタオブジェクトの「頭部」に装着されることを示してもよい。装飾オブジェクトがTシャツである場合には、当該装飾オブジェクトの装着位置情報は、当該装飾オブジェクトがキャラクタオブジェクトの「胴部」に装着されることを示してもよい。
【0050】
ギフトオブジェクトの各々には、その種類に応じた表示時間が設定されていてもよい。一態様において、装飾オブジェクトの表示時間は、エフェクトオブジェクトの表示時間及び通常オブジェクトの表示時間よりも長く設定されていてもよい。例えば、装飾オブジェクトの表示時間は60秒間に設定され、エフェクトオブジェクトの表示時間は5秒間に設定され、通常オブジェクトの表示時間は10秒間に設定されてもよい。
【0051】
保有リスト23cは、動画の視聴ユーザが保有しているギフトオブジェクトを示すリストである。保有リスト23cの例が図3に示されている。図示のように、保有リスト23cにおいては、視聴ユーザのアカウント情報(例えば、視聴ユーザのユーザID)と対応づけて、当該視聴ユーザが保有するギフトオブジェクトを特定するオブジェクトIDが記憶されている。この視聴ユーザは、例えば、クライアント装置10a〜クライアント装置10cの第1視聴ユーザ〜第3視聴ユーザが含まれる。
【0052】
候補リスト23dは、視聴ユーザから表示要求がなされた装飾オブジェクトのリストである。後述するように、装飾オブジェクトを保有している視聴ユーザは、保有している装飾オブジェクトの表示要求を行うことができる。候補リスト23dにおいては、装飾オブジェクトの表示要求を行った視聴ユーザのアカウント情報と対応付けて、当該装飾オブジェクトを特定するオブジェクトIDが記憶される。この候補リスト23dは、配信者ごとに作成されてもよい。候補リスト23dは、例えば、配信者(アクターA1、アクターA2、サポーターB1、及び/又はサポーターB2)を特定する配信者識別情報と対応付けて記憶されてもよい。
【0053】
次に、コンピュータプロセッサ21により実現される機能についてより具体的に説明する。コンピュータプロセッサ21は、配信プログラムに含まれるコンピュータ読み取り可能な命令を実行することにより、ボディモーションデータ生成部21a、フェイスモーションデータ生成部21b、アニメーション生成部21c、動画生成部21d、動画配信部21e、表示要求処理部21f、装飾オブジェクト選択部21g、及びオブジェクト購入処理部21hとして機能する。コンピュータプロセッサ21により実現される機能の少なくとも一部は、動画配信システム1のコンピュータプロセッサ21以外のコンピュータプロセッサにより実現されてもよい。コンピュータプロセッサ21により実現される機能の少なくとも一部は、例えば、サポーターコンピュータ40に搭載されているコンピュータプロセッサにより実現されてもよい。
【0054】
ボディモーションデータ生成部21aは、モーションセンサ31a〜31fの各々により検出されたトラッキング情報に基づいて、アクターA1の体の各部位の第1ボディモーションデータを生成し、また、モーションセンサ32a〜32fの各々により検出されたトラッキング情報に基づいて、アクターA2の体の各部位の位置及び向きのデジタル表現である第2ボディモーションデータを生成する。本明細書では、第1ボディモーションデータ及び第2ボディモーションデータを総称して単に「ボディモーションデータ」と呼ぶことがある。ボディモーションデータは、時間の経過に伴って随時生成される。例えば、ボディモーションデータは、所定のサンプリング時間間隔ごとに生成されてもよい。このように、ボディモーションデータは、アクターA1及びアクターA2の体の動きを時系列的にデジタルデータとして表現することができる。図示の実施形態においては、モーションセンサ31a〜31f及びモーションセンサ32a〜32fは、アクターA1及びアクターA2の各々の左右の手足、腰、及び頭部に装着されているため、モーションセンサ31a〜31f及びモーションセンサ32a〜32fにより検出されたトラッキング情報に基づいて、アクターA1及びアクターA2の概ね全身の位置及び向きを経時的にデジタル表現することが可能である。ボディモーションデータは、例えば、モデルデータ23aに含まれるリグデータを構成する骨(ボーン)の位置及び回転角度を規定することができる。
【0055】
フェイスモーションデータ生成部21bは、カメラ37aの撮像データに基づいて、アクターA1の顔の動きのデジタル表現である第1フェイスモーションデータを生成し、また、カメラ38aの各々の撮像データに基づいて、アクターA2の顔の動きのデジタル表現である第2フェイスモーションデータを生成する。本明細書では、第1フェイスモーションデータ及び第2フェイスモーションデータを総称して単に「フェイスモーションデータ」と呼ぶことがある。フェイスモーションデータは、時間の経過に伴って随時生成される。例えば、フェイスモーションデータは、所定のサンプリング時間間隔ごとに生成されてもよい。このように、フェイスモーションデータは、アクターA2及びアクターA2の顔の動き(表情の変化)を時系列的にデジタル表現することができる。
【0056】
アニメーション生成部21cは、ボディモーションデータ生成部21aによって生成されたボディモーションデータ及びフェイスモーションデータ生成部21bによって生成されたフェイスモーションデータを、モデルデータ23aに含まれる所定のモデルデータに適用することにより、仮想空間内で動き、また、表情が変化するキャラクタオブジェクトのアニメーションを生成するように構成される。具体的には、アニメーション生成部21cは、アクターA1に関する第1ボディモーションデータ及び第1フェイスモーションデータに基づいて、アクターA1の体及び表情の動きに同期して動くキャラクタオブジェクトのアニメーションを生成し、アクターA2に関する第2ボディモーションデータ及び第2フェイスモーションデータに基づいて、アクターA2の体及び表情の動きに同期して動くキャラクタオブジェクトのアニメーションを生成することができる。本明細書においては、アクターA1の動き及び表情に基づいて生成されたキャラクタオブジェクトを「第1キャラクタオブジェクト」といい、アクターA2の動き及び表情に基づいて生成されたキャラクタオブジェクトを「第2キャラクタオブジェクト」ということがある。
【0057】
動画生成部21dは、オブジェクトデータ23bを用いて仮想空間を構築し、この仮想空間と、アクターA1に対応する第1キャラクタオブジェクトのアニメーションと、アクターA2に対応する第2キャラクタオブジェクトのアニメーションと、を含む動画を生成する。第1キャラクタオブジェクトは、トラッキングセンサ36aに対するアクターA1の位置に合致するように仮想空間内に配置され、第2キャラクタオブジェクトは、トラッキングセンサ36aに対するアクターA2の位置に合致するように仮想空間内に配置される。したがって、トラッキングセンサ36aの位置または向きを変更することにより、仮想空間内における第1キャラクタオブジェクト及び第2キャラクタオブジェクトの位置及び向きを変化させることができる。
【0058】
一態様において、動画生成部21dは、トラッキングセンサ36aのトラッキング情報に基づいて仮想空間を構築する。例えば、動画生成部21dは、トラッキングセンサ36aのトラッキング情報に基づいて仮想カメラの設定情報(仮想空間内における位置、注視位置、注視方向、及び画角)を定め、この仮想カメラの設定情報に基づいて仮想空間全体のうちの描画領域を定め、この仮想空間の描画領域を表示するための動画情報を生成する。
【0059】
動画生成部21dは、トラッキングセンサ36aのトラッキング情報に代えて、または、トラッキングセンサ36aのトラッキング情報に加えて、トラッキングセンサ36bのトラッキング情報に基づいて、仮想空間内における第1キャラクタオブジェクト及び第2キャラクタオブジェクトの位置及び向き、並びに、仮想カメラの設定情報を定めるように構成されてもよい。
【0060】
動画生成部21dは、生成した動画に、スタジオユニット30のマイクから取得したアクターA1及びアクターA2の音声を合成することができる。
【0061】
以上のようにして、動画生成部21dは、アクターA1の体及び表情の動きに同期して動く第1キャラクタオブジェクトのアニメーション、並びに、アクターA2の体及び表情の動きに同期して動く第2キャラクタオブジェクトのアニメーションを生成し、このアニメーションにアクターA1及びアクターA2の音声が合成された配信用の動画を生成することができる。
【0062】
動画配信部21eは、動画生成部21dにおいて生成された動画を配信する。この動画は、ネットワーク50を介してクライアント装置10a〜クライアント装置10c及びこれら以外のクライアント装置に配信される。動画配信部21eは、動画の配信を要求したユーザのリスト(配信先リスト)を参照し、当該リストに含まれているユーザのクライアント装置に対して当該動画を配信する。後述するように、サポーターコンピュータ40からの指示により、特定のユーザに対して特定の動画の配信が禁止されることがある。この場合には、動画の配信が禁止されたユーザ以外のユーザに対して当該動画が配信される。受信された動画は、クライアント装置10a〜クライアント装置10cにおいて再生される。
【0063】
この動画は、スタジオルームR内に設置されているクライアント装置(不図示)に配信され、このクライアント装置から短焦点プロジェクタを介してスクリーンSに投影されてもよい。また、この動画は、サポーターコンピュータ40に配信されてもよい。これにより、サポーターB1及びサポーターB2は、配信されている動画の視聴画面を確認することができる。
【0064】
サーバ装置20からクライアント装置10aに配信され、このクライアント装置10aにおいて再生されている動画の表示例が図5に示されている。図示のように、サーバ装置20から配信された動画の表示画像70は、クライアント装置10aのディスプレイに表示される。このクライアント装置10aに表示されている表示画像70は、仮想空間内に、アクターA1に対応するキャラクタオブジェクト71Aと、アクターA2に対応するキャラクタオブジェクト71Bと、テーブルを示すオブジェクト72と、が含まれている。オブジェクト72は、ギフトオブジェクトではなく、オブジェクトデータ23bに含まれている仮想空間を構築するためのオブジェクトの一つである。キャラクタオブジェクト71Aは、アクターA1の第1ボディモーションデータ及び第1フェイスモーションデータをモデルデータ23aに含まれているアクターA1用のモデルデータに適用することにより生成される。キャラクタオブジェクト71Aは、第1ボディモーションデータ及び第1フェイスモーションデータに基づいてモーション制御される。キャラクタオブジェクト71Bは、アクターA2の第2ボディモーションデータ及び第2フェイスモーションデータを、モデルデータ23aに含まれているアクターA2用のモデルデータに適用することにより生成される。キャラクタオブジェクト71Bは、第2ボディモーションデータ及び第2フェイスモーションデータに基づいてモーション制御される。したがって、キャラクタオブジェクト71Aは、アクターA1の体及び表情の動きに同期して画面内で動くように制御され、キャラクタオブジェクト71Bは、アクターA2の体及び表情の動きに同期して画面内で動くように制御される。
【0065】
上記のように、サーバ装置20からの配信動画は、サポーターコンピュータ40に配信されてもよい。サポーターコンピュータ40に配信された動画は、サポーターコンピュータ40において図5と同様に表示される。サポーターB1及びサポーターB2は、サポーターコンピュータ40において再生されている動画を見て、スタジオユニット30の構成要素の設定を変更することができる。一態様において、サポーターB1及びサポーターB2は、配信中の動画においてキャラクタオブジェクト71A及びキャラクタオブジェクト71Bのアングルを変更したい場合には、トラッキングセンサ36aの向きの変更を指示する指示信号をサポーターコンピュータ40からトラッキングセンサ36aに送信することができる。トラッキングセンサ36aは、当該指示信号に応じて、その向きを変更することができる。例えば、トラッキングセンサ36aは、スタンドにその軸周りにアクチュエータを内蔵した回動機構を介して回動可能に取り付けられており、トラッキングセンサ36aがその向きの変更を指示する指示信号を受信すると、当該指示信号に基づいて当該回動機構のアクチュエータが駆動され、当該指示信号に応じた角度だけトラッキングセンサ36aが回動されてもよい。一態様において、サポーターB1及びサポーターB2は、トラッキングセンサ36aからのトラッキング情報に代えて、トラッキングセンサ36bからのトラッキング情報を用いるための指示をサポーターコンピュータ40からトラッキングセンサ36a及びトラッキングセンサ36bに送信してもよい。トラッキングセンサ36a及びトラッキングセンサ36bは、アクターやサポーターによって移動可能に構成及び設置されてもよい。これにより、アクターまたはサポーターは、トラッキングセンサ36a及びトラッキングセンサ36bを手に持って移動させることができる。
【0066】
一態様において、サポーターB1及びサポーターB2は、サポーターコンピュータ40にて再生されている動画を見てアクターA1またはアクターA2に対する指示が必要と判断した場合には、その指示を示すメッセージをサポーターコンピュータ40に入力し、このメッセージをディスプレイ39に出力することができる。例えば、サポーターB1及びサポーターB2は、このディスプレイ39に表示されるメッセージを通じて、アクターA1またはアクターA2に対して立ち位置の変更を指示することができる。
【0067】
表示要求処理部21fは、視聴ユーザのクライアント装置からギフトオブジェクトの表示要求を受け付け、当該表示要求に応じた処理を行う。各視聴ユーザは、自らのクライアント装置を操作することにより、ギフトオブジェクトの表示要求をサーバ装置20に送信することができる。例えば、第1視聴ユーザは、クライアント装置10aを操作することにより、ギフトオブジェクトの表示要求をサーバ装置20に送信することができる。ギフトオブジェクトの表示要求には、視聴ユーザのユーザIDと、表示を要求するオブジェクトを特定する識別情報(オブジェクトID)が含まれてもよい。
【0068】
上述のように、ギフトオブジェクトには、エフェクトオブジェクトと、通常オブジェクトと、装飾オブジェクトと、が含まれ得る。エフェクトオブジェクト及び通常オブジェクトは、第1オブジェクトの例である。また、エフェクトオブジェクトまたは通常オブジェクトの表示を要求する表示要求は、第2表示要求の例である。
【0069】
一態様において、表示要求処理部21fは、視聴ユーザから特定のエフェクトオブジェクトの表示要求を受け付けると、当該表示要求に基づいて、表示が要求されたエフェクトオブジェクトを動画の表示画像70に表示させるための処理を行う。例えば、紙吹雪に対応するエフェクトオブジェクトの表示要求がなされた場合には、表示要求処理部21fは、図6に示すように、当該表示要求に基づいて紙吹雪を示すエフェクトオブジェクト73を表示画像70に表示させる。
【0070】
一態様において、表示要求処理部21fは、視聴ユーザから特定の通常オブジェクトの表示要求を受け付けると、当該表示要求に基づいて、表示が要求された通常オブジェクトを動画70に表示させるための処理を行う。例えば、熊のぬいぐるみを示す通常オブジェクトの表示要求がなされた場合には、表示要求処理部21fは、図6に示すように、当該表示要求に基づいて熊のぬいぐるみを示す通常オブジェクト74を表示画像70に表示させる。
【0071】
通常オブジェクト74の表示要求には、仮想空間内における当該通常オブジェクト74の表示位置を指定する表示位置指定パラメータが含まれてもよい。この場合、表示要求処理部21fは、仮想空間内の表示位置指定パラメータによって指定された位置に通常オブジェクト74を表示することができる。例えば、表示位置指定パラメータによって、テーブルを示すオブジェクト72の上を通常オブジェクト74の表示位置として指定することができる。視聴ユーザは、表示位置指定パラメータを用いることにより、動画70に含まれているキャラクタオブジェクト71A、キャラクタオブジェクト71B、ギフトオブジェクト、及びこれら以外のオブジェクトの表示を見て、通常オブジェクトを表示したい位置を指定することができる。
【0072】
一態様において、通常オブジェクト74は、動画の表示画像70内で移動するように表示されてもよい。例えば、通常オブジェクト74は、画面の上から下に向かって落下するように表示されてもよい。この場合、通常オブジェクト74は、落下開始から動画70を構成する仮想空間のフロアまで落下している間当該表示画像70内に表示され、フロアに落下した後に当該表示画像70から消滅してもよい。視聴ユーザは、落下する通常オブジェクト74を落下開始時から落下終了時まで見ることができる。通常オブジェクト74の画面内での移動方向は任意に設定され得る。例えば、通常オブジェクト74は、動画70の左から右へ、右から左へ、左上から左下へ、またはこれら以外の方向に移動するように表示画像70において表示されてもよい。通常オブジェクト74は、様々な軌道上を移動することができる。例えば、通常オブジェクト74は、直線軌道上、円軌道上、楕円軌道上、螺旋軌道上、またはこれら以外の軌道上を移動することができる。視聴ユーザは、通常オブジェクトの表示要求に、表示位置指定パラメータに加えてまたは表示位置指定パラメータに代えて、通常オブジェクト74の移動方向を指定する移動方向パラメータ及び通常オブジェクト74が移動する軌道を指定する軌道パラメータの少なくとも一方を含めることができる。一実施形態において、エフェクトオブジェクト及び通常オブジェクトのうち、仮想空間における大きさが基準となる大きさより小さいもの(例えば、エフェクトオブジェクト73の紙吹雪の紙片)は、キャラクタオブジェクト71A及びキャラクタオブジェクト71Bに、その一部又は全部を重複させて表示してもよい。一実施形態において、エフェクトオブジェクト及び通常オブジェクトのうち、仮想空間における大きさが基準となる大きさより大きいもの(例えば、通常オブジェクト74(くまのぬいぐるみ))は、キャラクタオブジェクトと重複しない位置に表示される。一実施形態において、エフェクトオブジェクト及び通常オブジェクトのうち、仮想空間における大きさが基準となる大きさより大きいもの(例えば、通常オブジェクト74(くまのぬいぐるみ))は、キャラクタオブジェクト71Aまたはキャラクタオブジェクト71Bの少なくとも一方と重複する場合には、当該重複して表示されるキャラクタオブジェクトの後ろに表示される。
【0073】
一態様において、表示要求処理部21fは、視聴ユーザから特定の装飾オブジェクトの表示要求を受け付けると、当該表示要求に基づいて、表示が要求された装飾オブジェクトを候補リスト23dに追加する。装飾オブジェクトの表示要求は、第1表示要求の例である。例えば、表示要求処理部21fは、視聴ユーザから表示要求されている特定の装飾オブジェクトを識別する識別情報(オブジェクトID)を、当該視聴ユーザのユーザIDと対応付けて、候補リスト23dに記憶することができる(図4参照)。装飾オブジェクトの表示要求が複数なされた場合には、当該複数の表示要求の各々について、表示要求を行った視聴ユーザのユーザIDと、当該視聴ユーザによって表示要求されている装飾オブジェクトの装飾オブジェクトIDとが対応付けて候補リスト23dに記憶される。
【0074】
一態様において、装飾オブジェクト選択部21gは、候補リスト23dに含まれている装飾オブジェクトのうちの一又は複数が選択されたことに応じて、当該選択された装飾オブジェクトを動画の表示画像70に表示させるための処理を行う。本明細書では、候補リスト23dから選択された装飾オブジェクトを「選択装飾オブジェクト」と呼ぶことがある。
【0075】
候補リスト23dからの装飾オブジェクトの選択は、例えば、サポーターB1及びサポーターB2がサポーターコンピュータ40を操作することによってなされる。一態様において、サポーターコンピュータ40には、装飾オブジェクト選択画面が表示される。図8は、一態様における装飾オブジェクト選択画面80の例を示す。この装飾オブジェクト選択画面80は、例えば、サポーターコンピュータ40のディスプレイに表示される。装飾オブジェクト選択画面80は、例えば、表形式で候補リスト23dに含まれている複数の装飾オブジェクトの各々を表示する。図示のように、一態様における装飾オブジェクト選択画面80は、装飾オブジェクトの種類を表示する第1列81と、装飾オブジェクトの画像を表示する第2列82と、装飾オブジェクトが関連付けられているキャラクタオブジェクトの部位を表示する第3列83と、を有する。また、装飾オブジェクト選択画面80には、各装飾オブジェクトを選択するための選択ボタン84a〜84cが表示されている。このように、装飾オブジェクト選択画面80には、選択装飾オブジェクトの候補となる装飾オブジェクトが表示される。
【0076】
サポーターB1及びサポーターB2は、この装飾オブジェクト選択画面80に含まれている装飾オブジェクトのうちの一又は複数を選択することができる。例えば、サポーターB1及びサポーターB2は、選択ボタン84aを選択することにより、カチューシャを選択することができる。装飾オブジェクト選択部21gによってカチューシャが選択されたことが検出されると、表示要求処理部21fは、図7に示すように、選択されたカチューシャを示す選択装飾オブジェクト75を動画の表示画面70に表示させる。選択装飾オブジェクト75は、キャラクタオブジェクトの特定の部位と関連付けて、表示画像70に表示される。選択装飾オブジェクト75は、キャラクタオブジェクトのうちの当該特定の部位に接するように表示されてもよい。例えば、カチューシャを示す選択75は、キャラクタオブジェクトの頭部と対応付けられているため、図7に示されているように、キャラクタオブジェクト71Aの頭部に装着される。装飾オブジェクトは、キャラクタオブジェクトの当該特定部位の動きに付随して動くように、表示画面70に表示されてもよい。例えば、カチューシャを装着したキャラクタオブジェクト71Aの頭部が動くと、あたかもカチューシャがキャラクタオブジェクト71Aの頭部に装着されているかのごとく、カチューシャを示す選択装飾オブジェクト75もキャラクタオブジェクト71Aの頭部に付随して動く。
【0077】
選択装飾オブジェクト75は、キャラクタオブジェクト71Aではなく、キャラクタオブジェクト71Bに関連付けられて表示画面70に表示されてもよい。選択装飾オブジェクト75は、キャラクタオブジェクト71A及びキャラクタオブジェクト71Bに関連付けられて表示画面70に表示されてもよい。
【0078】
一実施形態において、装飾オブジェクト選択画面80は、各装飾オブジェクトを保有するユーザ、又は、各装飾オブジェクトの表示要求を行ったユーザを特定可能な情報を含まないように構成されてもよい。これにより、装飾オブジェクトの選択の際に、選択者が特定のユーザを優遇することを防止できる。
【0079】
一実施形態において、装飾オブジェクト選択画面80は、各装飾オブジェクトを保有するユーザ、又は、各装飾オブジェクトについて、当該装飾オブジェクトの表示要求を行ったユーザに関する情報を表示するようにしてもよい。例えば、各装飾オブジェクトについて、当該装飾オブジェクトの表示要求を行ったユーザがこれまでに装飾オブジェクトの表示要求を行った回数と選択された回数(例えば、これまでに装飾オブジェクトの表示要求を5回行ってそのうち2回は選択されたことを示す情報)、当該ユーザがキャラクタオブジェクト71A及びキャラクタオブジェクトBの少なくとも一方の動画を視聴した視聴回数、当該ユーザが動画配信システム1における動画(キャラクタオブジェクト71A及びキャラクタオブジェクトBの出演有無を問わない)の視聴回数、当該ユーザによるギフトオブジェクトの購入金額、当該ユーザによるオブジェクトの購入回数、当該ユーザが保有する動画配信システム1内で使用できるポイント、当該ユーザの動画配信システム1におけるレベル、及びこれら以外の各装飾オブジェクトの表示要求を行ったユーザに関する各種情報を表示してもよい。当該実施形態によれば、装飾オブジェクトの表示要求を行ったユーザのこれまでの動画配信システム1における行動や視聴履歴に基づいて、装飾オブジェクトの選択を行うことができる。
【0080】
一実施形態において、装飾オブジェクトの表示には、重複を排除するための制約が課されてもよい。例えば、キャラクタオブジェクト71Aに関し、その特定の部位に関連付けられた装飾オブジェクトが既に選択されている場合には、当該特定の部位に関連付けられた他の装飾オブジェクトの選択が禁止されてもよい。図7の実施形態に示されているように、キャラクタオブジェクト71Bの「頭部」に関連付けられているカチューシャが既に選択されている場合には、「頭部」に関連付けられているそれ以外の装飾オブジェクト(例えば、頭部に関連付けられている「帽子」を表す装飾オブジェクト)は、装飾オブジェクト選択画面80に表示されないか、または、当該帽子を表す装飾オブジェクトを選択するための選択ボタンが選択画面80において選択不能とされてもよい。当該実施形態によれば、装飾オブジェクトがキャラクタオブジェクトの特定の部位に重複して表示されることを防止できる。
【0081】
装飾オブジェクト選択画面80は、サポーターコンピュータ40に代えて、または、サポーターコンピュータ40に加えて、他の装置に表示されてもよい。例えば、装飾オブジェクト選択画面80は、スタジオルームR内のディスプレイ39及びスクリーンSの少なくとも一方に表示されてもよい。この場合、アクターA1及びアクターA2が当該ディスプレイ39又はスクリーンSに表示された装飾オブジェクト選択画面80に基づいて、所望の装飾オブジェクトを選択することができる。アクターA1及びアクターA2による装飾オブジェクトの選択は、例えば、コントローラ33a、コントローラ33b、コントローラ34a、またはコントローラ34bを操作することによりなされ得る。
【0082】
一態様において、オブジェクト購入処理部21hは、動画の視聴ユーザからの要求に応じて、当該動画に関連して購入可能な複数のギフトオブジェクトの各々の購入情報を当該視聴ユーザのクライアント装置(例えば、クライアント装置10a)に送信する。各ギフトオブジェクトの購入情報には、当該ギフトオブジェクトの種類(エフェクトオブジェクト、通常オブジェクト、または装飾オブジェクト)、当該ギフトオブジェクトの画像、当該ギフトオブジェクトの価格、及びこれら以外のギフトオブジェクトの購入に必要な情報が含まれ得る。視聴ユーザは、クライアント装置10aに表示されているギフトオブジェクトの購入情報に基づいて、購入するギフトオブジェクトを選択することができる。購入対象のギフトオブジェクトの選択は、クライアント装置10aの操作により行われてもよい。購入対象のギフトオブジェクトが視聴ユーザによって選択されると、当該ギフトオブジェクトの購入要求がサーバ装置20に送信される。オブジェクト購入処理部21hは、当該購入要求に基づいて、決済処理を行う。この決済処理が完了すると、当該購入されたギフトオブジェクトは、当該視聴ユーザによって保有される。この場合、保有リスト23cに、購入した視聴ユーザのユーザIDと対応づけて、購入されたギフトオブジェクトのオブジェクトIDが記憶される。
【0083】
購入可能なギフトオブジェクトは、動画ごとに異なっていてもよい。購入可能なギフトオブジェクトは、複数の動画において購入可能であってもよい。つまり、購入可能なギフトオブジェクトには、各動画に固有の固有ギフトオブジェクトと、複数の動画において購入可能な共通ギフトオブジェクトと、が含まれてもよい。例えば、紙吹雪を示すエフェクトオブジェクトは、複数の動画において購入可能な共通ギフトオブジェクトであってもよい。
【0084】
一態様においては、所定の動画を視聴中にエフェクトオブジェクトを購入した場合、当該エフェクトオブジェクトを購入するための決済処理が完了したことに応じて、当該購入対象のエフェクトオブジェクトが当該視聴中の動画に自動的に表示されてもよい。所定の動画を視聴中に通常オブジェクトを購入した場合、上記と同様に、当該通常オブジェクトを購入するための決済処理が完了したことに応じて、当該購入対象の通常ギフトオブジェクトが当該視聴中の動画に自動的に表示されてもよい。
【0085】
他の態様においては、購入対象のエフェクトオブジェクトについてオブジェクト購入処理部21hにおける決済処理が完了したことに応じて、決済完了通知がクライアント装置10aに送信され、当該クライアント装置10aにおいて、購入されたエフェクトオブジェクトの表示要求を行うか否かを視聴ユーザに確認するための確認画面が表示されてもよい。視聴ユーザが、当該購入されたエフェクトオブジェクトについて表示要求を行うことを選択した場合には、当該購入されたエフェクトオブジェクトの表示を要求する表示要求が、当該視聴ユーザのクライアント装置から表示要求処理部21fに送信され、表示要求処理部21fにおいて、当該購入対象のエフェクトオブジェクトを動画70に表示させる処理が行われてもよい。購入対象が通常オブジェクトの場合にも、上記と同様に、購入された通常オブジェクトの表示要求を行うか否かを視聴ユーザに確認するための確認画面がクライアント装置10aに表示されてもよい。
【0086】
次に、一実施形態におけるサポーターコンピュータ40について説明する。一実施形態において、サポーターコンピュータ40は、コンピュータプロセッサ41と、通信I/F42と、ストレージ43と、ディスプレイ44と、入力インタフェース45と、を備える。
【0087】
コンピュータプロセッサ41は、コンピュータプロセッサ21と同様に、CPU等の各種演算装置である。通信I/F42は、通信I/F22と同様に、他の装置と通信を行うための各種ドライバ、ソフトウェア、またはこれらの組み合わせである。ストレージ43は、ストレージ23と同様に、磁気ディスク等のデータを記憶可能な各種記憶装置である。ディスプレイ44は、液晶ディスプレイ、有機ELディスプレイ、無機ELディスプレイ、又はこれら以外の画像を表示可能な任意の表示装置である。入力インタフェース45は、マウス、キーボード等のサポーターからの入力を受け付ける任意の入力インタフェースである。ディスプレイ44は、第2表示装置の例である。
【0088】
図9は、サポーターコンピュータ40のディスプレイ44に表示される画像の例を示す。図示の実施形態において、ディスプレイ44に表示されている表示画像46は、第1のタイプのクライアント装置(例えば、パーソナルコンピュータ)における動画の表示画面を表示する第1表示領域47aと、第2のタイプのクライアント装置(例えば、パーソナルコンピュータ)における動画の表示画面を表示する第2表示領域47bと、複数の操作用アイコン48と、を含んでいる。
【0089】
サポーターは、第1表示領域47aに表示されている動画をモニターすることにより、第1のタイプのクライアント装置に配信された動画が正常に表示されているかを確認することができ、同様に、第2表示領域47bに表示されている動画をモニターすることにより、第2のタイプのクライアント装置に配信された動画が正常に表示されているかを確認することができる。
【0090】
操作用アイコン48は、図示の実施形態においては、第1操作用アイコン48a、第2操作用アイコン48b、第3操作用アイコン48c、第4操作用アイコン48d、及び第5操作用アイコン48eを含む。サポーターは、入力インタフェース45を介して、所望の操作用アイコンを選択することができる。サポーターによって第1操作用アイコン48a、第2操作用アイコン48b、第3操作用アイコン48c、第4操作用アイコン48d、及び第5操作用アイコン48eが選択されると、サポータコンピュータ40によって第1操作入力、第2操作入力、第3操作入力、第4操作入力、及び第5操作入力がそれぞれ受け付けられる。
【0091】
次に、コンピュータプロセッサ41により実現される機能についてより具体的に説明する。コンピュータプロセッサ41は、所定のプログラムに含まれるコンピュータ読み取り可能な命令を実行することにより、付加情報表示部41a及び配信管理部41bとして機能する。コンピュータプロセッサ41により実現される機能の少なくとも一部は、動画配信システム1のコンピュータプロセッサ41以外のコンピュータプロセッサにより実現されてもよい。コンピュータプロセッサ41により実現される機能の少なくとも一部は、例えば、コンピュータプロセッサ21により実現されてもよい。
【0092】
付加情報表示部41aは、サポーターからの入力インタフェース45を介した様々な操作入力に応じて、配信動画に様々な付加情報を付加するように構成される。
【0093】
一実施形態において、付加情報表示部41aは、第1操作用アイコン48aの選択によりサポーターコンピュータ40において第1操作入力が受け付けられると、当該第1操作入力に基づいてディスプレイ39に表示されている動画にメッセージ101を表示させる一方でクライアント装置にはメッセージ101を表示させないように構成される。メッセージ101は、第1付加情報の例である。
【0094】
図10に、ディスプレイ39に表示された動画の表示画像の例が示されている。図10に示されている表示画像100は、メッセージ101を含んでいる。表示画像100は、メッセージ101を含む点以外は、同じタイミングで視聴ユーザのクライアント装置に配信及び表示されている動画の表示画像70(図5参照)と、同じである。つまり、ディスプレイ39に表示されている表示画像100は、配信されている動画に、メッセージ101を付加することで構成されている。
【0095】
メッセージ101は、例えば、サポーターによって入力されたテキスト形式のメッセージである。メッセージ101は、テキスト形式情報に加えて、または、テキスト形式の情報に加えて画像情報を含んでもよい。メッセージ101は、アクターのパフォーマンスに関する指示、アクターの発言に関する指示、アクターの立ち位置に関する指示、及び前記以外の配信中の動画に関連する様々な指示や連絡事項を含むことができる。
【0096】
一実施形態においては、サポーターがサポーターコンピュータ40において第1操作用アイコン48aを選択すると、メッセージ入力用のウィンドウがサポーターコンピュータ40のディスプレイ44に表示される。当該サポーターは、入力インタフェース45を操作することにより、当該ウィンドウ内のメッセージ入力領域にメッセージを入力することができる。入力されたメッセージは、サポーターコンピュータ40からディスプレイ39に送信される。ディスプレイ39及びクライアント装置10a〜10cには、動画配信部21eにより配信されている動画が表示されている。ディスプレイ39には、図10に示されているように、動画配信部21eから配信されている動画の所定領域に、サポーターコンピュータ40から受信したメッセージがメッセージ101として表示される。他方、クライアント装置10a〜10cにおいて表示される動画には、メッセージ101またはこれに相当する情報は表示されない。当該実施形態によれば、クライアント装置の視聴ユーザによって視聴される動画に影響を与えずに、アクターまたはそれ以外のディスプレイ39を視認可能な配信側のスタッフに対して、配信中の動画に関連する指示や連絡事項を伝達することができる。
【0097】
続いて、図11a及び図11bを参照して第2付加情報の表示について説明する。一実施形態において、付加情報表示部41aは、第2操作用アイコン48bの選択によりサポーターコンピュータ40において第2操作入力が受け付けられると、当該第2操作入力に基づいて、ディスプレイ39に表示されている動画及びクライアント装置に表示されている動画に割り込み画像を表示させるように構成される。割り込み画像は、第2付加情報の例である。第2操作入力は、アクターA1のコントローラ33aもしくは33bの操作に応じて、または、アクターA2のコントローラ34aもしくは34bの操作に応じてサーバ装置20またはサポーターコンピュータ40に入力されてもよい。
【0098】
図11aには、第2操作入力が受け付けられた際にクライアント装置10aに表示される表示画像110aの例が示されており、図11bには、第2操作入力が受け付けられた際にディスプレイ39に表示される表示画像110bの例が示されている。表示画像110a及び表示画像110bはいずれも、割り込み画像111を含んでいる。割り込み画像111は、配信中の動画の 上層のレイヤに設定される。これにより、動画を再生中のクライアント装置及びディスプレイ39においては、割り込み画像111が画面表示される。クライアント装置に表示される割り込み画像111とディスプレイ39に表示される割り込み画像111との間には、表示される機器の性能に応じて視覚上若干の差異が存在する可能性があるが、両者は実質的に同じ画像である。
【0099】
図示の実施形態において、割り込み画像111は、動画配信中に不測の事態が発生した際に、通常の仮想空間及びキャラクタオブジェクトを含む動画に代えて表示するための緊急表示用の画像である。サポーターは、例えば、スタジオルームRで使用している機器の故障によりキャラクタオブジェクトのモーション制御に支障が発生した場合に、サポーターコンピュータ40において第2操作用アイコン48bを選択することができる。付加情報表示部41aは、第2操作用アイコン48bが選択されたことに応じて、各クライアント装置及びディスプレイ39に割り込み画像111を表示するための処理を行う。
【0100】
ディスプレイ39に割り込み画像111が表示されている間に第1操作用アイコン48aの選択により第1操作入力が受け付けられると、付加情報表示部41aは、ディスプレイ39において、割り込み画像111に重畳させてメッセージ101を表示させてもよい。
【0101】
上記実施形態によれば、動画の配信中に不測の事態が発生した場合に、通常の動画をそのまま配信し続けるのではなく、緊急表示用の割り込み画像111をクライアント装置及びディスプレイ39に配信することができる。配信者側は、この割り込み画像111が表示されている間に、事態の収拾を図ることができる。
【0102】
続いて、図12a及び図12bを参照して第3付加情報の表示及び修正キャラクタオブジェクトの生成について説明する。一実施形態において、付加情報表示部41aは、第3操作用アイコン48cの選択によりサポーターコンピュータ40において第3操作入力が受け付けられると、修正キャラクタオブジェクトを生成し、当該修正キャラクタオブジェクトを含む動画を配信するための処理を行うように構成される。この第3操作入力は、アクターA1のコントローラ33aもしくは33bの操作に応じて、または、アクターA2のコントローラ34aもしくは34bの操作に応じてサーバ装置20またはサポーターコンピュータ40に入力されてもよい。
【0103】
図12aには、クライアント装置10aに表示されている表示画像120aの別の例が示されており、図12bには、クライアント装置10aに表示されている表示画像120bの例が示されている。図12aの表示画像120aは、キャラクタオブジェクト71Bを含んでおり、図12bの表示画像120aは、後述する修正キャラクタオブジェクト171Bを含んでいる。上記のように、キャラクタオブジェクト71Bの表情は、アクターA2のフェイスモーションデータに基づいて、アクターA2の表情の動きに同期して変化するように制御される。本明細書においては、キャラクタオブジェクトのうち、フェイスモーションデータに基づいて変化する部位の全部または一部を「フェイス部」と呼ぶことがある。図示の実施形態においては、キャラクタオブジェクト71Bの目の動きは、アクターA2の目の動きに同期して動くようにモーション制御が行われるので、キャラクタオブジェクト71Bの両目を含む位置にフェイス部121が設定されている。フェイス部121は、キャラクタオブジェクト71Bの顔全体を含むように設定されてもよい。
【0104】
図12aに示されている表示画像120aにおいては、フェイス部121内に表示されているキャラクタオブジェクト71Bの目の画像は、フェイスモーションデータをモデルデータに適用することにより生成されたものである。これに対して、図12bに示されている表示画像120bにおいては、フェイス部121内に表示されている目の画像は、動画配信開始前から予め準備されていた嵌め込み画像122bである。嵌め込み画像122bは、ストレージ23に記憶されていてもよい。嵌め込み画像122bは、第3付加情報の例である。
【0105】
一実施形態において、付加情報表示部41aは、第3操作入力が受け付けられると、キャラクタオブジェクト71Bのフェイス部121に、嵌め込み画像122bを表示するように構成される。例えば、付加情報表示部41aは、第3操作入力が受け付けられると、アニメーション生成部21cに対して修正指示を送信し、アニメーション生成部21cは、付加情報表示部41aからの修正指示に基づいて、キャラクタオブジェクト71Bのフェイス部121に、フェイスモーションデータに基づいて生成される画像ではなく嵌め込み画像122bを嵌め込むことで、修正キャラクタオブジェクト171Bのアニメーションを生成するように構成される。本明細書では、フェイス部121に、フェイスモーションデータに基づいて生成された画像ではなく、嵌め込み画像122bが嵌め込まれたキャラクタオブジェクトを修正キャラクタオブジェクトと呼ぶことがある。修正キャラクタオブジェクトは、アニメーション生成部21cによって生成されたキャラクタオブジェクトの一部が修正されたオブジェクトである。上記の例では、アニメーション生成部21cによって生成されたキャラクタオブジェクトの71Bのフェイス部121に嵌め込み画像122bを嵌め込み表示することによって、修正キャラクタオブジェクト171Bのアニメーションが生成されている。
【0106】
フェイスモーションデータをモデルデータに適用してキャラクタオブジェクトの表情を変化させる処理は、プロセッサにとって処理負荷が高い。このため、キャラクタオブジェクトの表情がアクターの表情にタイムリーに追従できないことがある。音声や表情以外の動きは、アクターの発声や体の動きにタイムリーに追従できるため、キャラクタオブジェクトの表情がアクターの表情にタイムリーに追従できないと、視聴ユーザに違和感を与えてしまう。上記実施形態によれば、キャラクタオブジェクトの表情がアクターの表情にタイムリーに追従できない場合に、予め準備されている嵌め込み画像122bを組み込んだ修正キャラクタオブジェクトを生成し、この修正キャラクタオブジェクトを含む動画を配信することにより、キャラクタオブジェクトの表情がアクターの表情に追従できないことによる動画の品質の低下を防ぐことができる。
【0107】
ストレージ23には、嵌め込み画像122bの候補として、複数の異なる種類の画像が記憶されていてもよい。サポーターコンピュータ40のディスプレイ44にこの嵌め込み画像122bの候補が表示され、この候補の中からサポーターによって選択された画像を嵌め込み画像122bとしてもよい。
【0108】
続いて、図13を参照してブラインドオブジェクトの表示について説明する。一実施形態において、付加情報表示部41aは、第4操作用アイコン48dの選択により第4操作入力が受け付けられると、装飾オブジェクトを装着するキャラクタオブジェクトの少なくとも一部を隠すためのブラインドオブジェクトを表示するように構成される。この第4操作入力は、アクターA1のコントローラ33aもしくは33bの操作に応じて、または、アクターA2のコントローラ34aもしくは34bの操作に応じてサーバ装置20またはサポーターコンピュータ40に入力されてもよい。
【0109】
図13の実施形態では、選択画面80においてキャラクタオブジェクト71Bに装着させる装飾オブジェクトとしてTシャツが選択されたことが想定されている。付加情報表示部41aは、キャラクタオブジェクト71Bのうち、選択された装飾オブジェクトと対応づけられている部位を隠すようにブラインドオブジェクトを表示させることができる。図13の表示画像130においては、キャラクタオブジェクト71Bのうち、選択装飾オブジェクトであるTシャツに対応づけられた胴部が少なくとも隠されるようにブラインドオブジェクト131が表示されている。
【0110】
続いて、配信禁止ユーザへの動画の配信禁止処理について説明する。一実施形態において、配信管理部41bは、第5操作用アイコン48eの選択により第5操作入力が受け付けられると、特定の視聴ユーザまたは特定のクライアント装置への動画の配信を禁止するための処理を行うように構成される。一実施形態において、動画の配信中に第5操作用アイコン48eが選択されると、当該動画を視聴中のユーザの一覧が表示される。配信管理部41bは、この一覧の中からサポーター又はアクターにより選択されたユーザに対する当該動画の配信を中止するための処理を行う。例えば、配信管理部41bは、動画の配信先リストに、選択されたユーザ(配信禁止ユーザ)を識別するためのフラグを書き込むことができる。動画配信部21eは、動画の配信先リストに含まれるユーザのうち、配信禁止ユーザを識別するフラグが付与されていないユーザに対して、当該動画を配信することができる。これにより、配信禁止ユーザに対する当該動画の配信が中止される。他の実施形態において、配信管理部41bは、配信中の動画を視聴中のユーザの一覧の中からサポーター又はアクターにより選択されたユーザに対し、ユーザが通常利用できる機能の一部を利用不可能にするように構成されてもよい。例えば、配信管理部41bは、不適切なメッセージを投稿したユーザに対して、メッセージの投稿を禁止するように構成されてもよい。メッセージの投稿を禁止されたユーザは、その禁止後も動画を継続して視聴することはできるが、当該動画に関するメッセージの投稿は行うことができなくなる。
【0111】
次に、図14図19を参照して、一態様による動画配信処理について説明する。図14は、一実施形態における動画配信処理の流れを示すフロー図であり、図15は、一実施形態における第1付加情報を表示する処理の流れを示すフロー図であり、図16は、一実施形態における第2付加情報を表示する処理の流れを示すフロー図であり、図17は、一実施形態における第3付加情報を表示する処理の流れを示すフロー図であり、図18は、一実施形態におけるブラインドオブジェクトを表示する処理の流れを示すフロー図であり、図19は、一実施形態において配信禁止ユーザへの動画配信を禁止する処理の流れを示すフロー図である。
【0112】
まず、図14を参照して、一実施形態における動画配信処理について説明する。当該動画配信処理においては、スタジオルームRにおいてアクターA1及びアクターA2がパフォーマンスを行っていることが想定されている。まず、ステップS11では、アクターA1及びアクターA2の体の動きのデジタル表現であるボディモーションデータと、アクターA1及びアクターA2の顔の動き(表情)のデジタル表現であるフェイスモーションデータと、が生成される。ボディモーションデータの生成は、例えば、上記のボディモーションデータ生成部21aで行われ、フェイスモーションデータの生成は、例えば、上記のフェイスモーションデータ生成部21bで行われる。
【0113】
次に、ステップS12において、アクターA1のボディモーションデータ及びフェイスモーションデータを、アクターA1用のモデルデータに適用することにより、アクターA1の体及び表情の動きに同期して動く第1キャラクタオブジェクトのアニメーションが生成される。同様に、アクターA2のボディモーションデータ及びフェイスモーションデータを、アクターA2用のモデルデータに適用することにより、アクターA2の体及び表情の動きに同期して動く第2キャラクタオブジェクトのアニメーションが生成される。このアニメーションの生成は、例えば、上記のアニメーション生成部21cで行われる。
【0114】
次に、ステップS13において、アクターA1に対応する第1キャラクタオブジェクトのアニメーションと、アクターA2に対応する第2キャラクタオブジェクトのアニメーションと、を含む動画を生成する。この動画には、アクターA1及びアクターA2の音声が合成されてもよい。第1キャラクタオブジェクトのアニメーション及び第2キャラクタオブジェクトのアニメーションは、仮想空間内に配置されてもよい。この動画の生成は、例えば、上記の動画生成部21dで行われる。
【0115】
次に、ステップS14に移行し、ステップS13にて生成された動画が配信される。この動画は、ネットワーク50を介してクライアント装置10a〜クライアント装置10c及びこれら以外のクライアント装置に配信される。この動画は、サポーターコンピュータ40に配信され、また、スタジオルームR内のスクリーンSに投影されてもよい。動画は、所定の配信期間にわたって継続して配信される。動画の配信期間は、例えば、30秒間、1分間、5分間、10分、30分間、60分間、120分間、及びこれら以外の任意の時間に定め得る。
【0116】
次に、ステップS15に進み、動画の配信を終了させるための終了条件が成就したか否かが判定される。終了条件は、例えば、配信の終了時刻に達したこと、サポーターコンピュータ40により配信を終了するための指示がなされたこと、またはこれら以外の条件である。終了条件が成就していなければステップS11〜S14の処理が繰り返し実行され、アクターA1及びアクターA2の動きに同期したアニメーションを含む動画の配信が継続される。動画について終了条件が成就していると判定された場合には、当該動画の配信処理を終了する。
【0117】
次に、図15をさらに参照して、動画の配信中に行われる第1付加情報の表示処理について説明する。動画の配信中に、ステップS21において、第1操作入力がなされたか否かが判定される。例えば、サポーターコンピュータ40において第1操作用アイコン48aが選択されると、第1操作入力がなされたと判断される。第1操作入力がなされた場合には、第1付加情報の表示処理はステップS22へ進む。ステップS22では、ディスプレイ39に表示されている動画に第1付加情報の例であるメッセージ101が表示され、第1付加情報の表示処理は終了する。このとき、クライアント装置にはメッセージ101は表示されない。
【0118】
次に、図16をさらに参照して、動画の配信中に行われる第2付加情報の表示処理について説明する。動画の配信中に、ステップS31において、第2操作入力がなされたか否かが判定される。例えば、サポーターコンピュータ40において第2操作用アイコン48bが選択されると、第2操作入力がなされたと判断される。第2操作入力がなされた場合には、第2付加情報の表示処理はステップS32へ進む。ステップS32では、第2付加情報の例である割り込み画像111が、クライアント装置及びディスプレイ39にそれぞれ表示され、第2付加情報の表示処理は終了する。
【0119】
次に、図17をさらに参照して、動画の配信中に行われる第3付加情報の表示処理について説明する。動画の配信中に、ステップS41において、第3操作入力がなされたか否かが判定される。例えば、サポーターコンピュータ40において第3操作用アイコン48cが選択されると、第3操作入力がなされたと判断される。第3操作入力がなされた場合には、第3付加情報の表示処理はステップS42へ進む。ステップS42では、第3付加情報の例である嵌め込み画像122bが、キャラクタオブジェクトのフェイス部に表示され、第3付加情報の表示処理は終了する。
【0120】
次に、図18をさらに参照して、動画の配信中に行われるブラインドオブジェクトの表示処理について説明する。動画の配信中に、ステップS51において、当該動画に登場するキャラクタオブジェクトに装着させる装飾オブジェクトの選択がなされたか否かが判定される。上記のように、キャラクタオブジェクトに装着される装飾オブジェクトは、候補リスト23dに含まれている装飾オブジェクトの候補の中から選択され得る。装飾オブジェクトの選択処理は、例えば、上記の装飾オブジェクト選択部21gにより実行される。
【0121】
ステップS51において装飾オブジェクトが選択されたと判定された場合には、処理はステップS52へ進む。ステップS52では、第4操作入力がなされたか否かが判定される。例えば、サポーターコンピュータ40において第4操作用アイコン48dが選択されると、第4操作入力がなされたと判断される。第4操作入力がなされた場合には、ブラインドオブジェクトの表示処理はステップS53へ進む。他の実施形態においては、候補リスト23dから装飾オブジェクトの選択がなされたことをもって第4操作入力がなされたと判断してもよい。この場合、ステップS52は省略され、ブラインドオブジェクトの表示処理はステップS51からステップS53に進む。
【0122】
ステップS53では、ブラインドオブジェクト131が、キャラクタオブジェクトの少なくとも一部を隠すように表示される。例えば、ステップS51で選択された装飾オブジェクトがTシャツである場合には、このTシャツと対応づけられているキャラクタオブジェクトの胴部を隠すようにブラインドオブジェクト131が動画に付加される。
【0123】
次に、図19をさらに参照して、特定のユーザへ動画の配信を禁止するための配信禁止処理について説明する。動画の配信中に、ステップS61において、第5操作入力がなされたか否かが判定される。例えば、サポーターコンピュータ40において第5操作用アイコン48eが選択されると、第5操作入力がなされたと判断される。
【0124】
第5操作入力がなされた場合には、配信禁止処理はステップS62へ進む。ステップS62では、当該動画の配信を禁止するユーザ(配信禁止ユーザ)が指定される。例えば、サポーターコンピュータ40のディスプレイ44に当該動画を視聴中のユーザのリストが表示され、このリストの中からサポーターにより選択されたユーザが配信禁止ユーザとして指定される。配信禁止ユーザを指定するための処理は、例えば、上記の配信管理部41bにより実行される。
【0125】
次に、配信禁止処理はステップS63へ進む。ステップS63では、動画の配信先リストに含まれるユーザのうち配信禁止ユーザとして指定されていないユーザに対してのみ当該動画が配信される。この動画の配信処理は、例えば、上記の動画配信部21eにより実行される。
【0126】
上記の実施形態における動画配信システム1によれば、ライブ配信中に起こる不測の事態への対処が容易になる。例えば、メッセージ101をクライアント装置には表示させずにディスプレイ39に表示させることにより、視聴ユーザによって視聴される動画に影響を与えずに、アクターまたはそれ以外のディスプレイ39を視認可能な配信側のスタッフに対して、配信中の動画に関連する指示や連絡事項を伝達することができる。
【0127】
他の実施形態によれば、動画の配信中に不測の事態が発生した場合に、通常の動画をそのまま配信し続けるのではなく、緊急表示用の割り込み画像111をクライアント装置及びディスプレイ39に配信することができる。
【0128】
他の一実施形態によれば、キャラクタオブジェクトの表情がアクターの表情にタイムリーに追従できない場合であっても、予め準備されている嵌め込み画像122bを組み込んだ修正キャラクタオブジェクトを生成し、この修正キャラクタオブジェクトを含む動画を配信することにより、キャラクタオブジェクトの表情がアクターの表情に追従できないことによる動画の品質の低下を防ぐことができる。
【0129】
他の一実施形態によれば、一部の視聴ユーザが不適切なメッセージを投稿するなどの不適切な行動をとった場合でも、当該視聴ユーザへの動画の配信を中止することができる。
【0130】
本発明の実施形態は、上述した実施形態に限定されるものではなく、その要旨を逸脱しない範囲内で様々な変更が可能である。例えば、配信される動画は、スタジオルームR以外で撮影及び生成されてもよい。例えば、配信される動画を生成するための撮影は、アクターやサポーターの自宅で行われてもよい。
【0131】
本明細書において説明された処理手順、特にフロー図を用いて説明された処理手順においては、その処理手順を構成する工程(ステップ)の一部を省略すること、その処理手順を構成する工程として明示されていない工程を追加すること、及び/又は当該工程の順序を入れ替えることが可能であり、このような省略、追加、順序の変更がなされた処理手順も本発明の趣旨を逸脱しない限り本発明の範囲に含まれる。
【0132】
以下に、本願の原出願の出願当初の特許請求の範囲に記載された発明を付記する。
[1]
アクターの動きに基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画を第1表示装置及び第1ユーザが使用する第1クライアント装置にライブ配信するように構成された配信サーバ装置と、
前記第1表示装置に表示されている前記動画に第1付加情報を表示させる一方で前記第1クライアント装置には前記第1付加情報を表示させないように構成されたサポーターコンピュータと、
を備える動画配信システム。
[2]
前記サポーターコンピュータは、第2操作入力に基づいて前記第1表示装置に表示されている前記動画及び前記第1クライアント装置に表示されている前記動画に第2付加情報を表示させるように構成される、
[1]に記載の動画配信システム。
[3]
前記サポーターコンピュータは、第3操作入力に基づいて前記キャラクタオブジェクトの少なくとも一部を修正した修正キャラクタオブジェクトを生成させ、前記動画に前記修正キャラクタオブジェクトを含めるように構成される、
[1]又は[2]に記載の動画配信システム。
[4]
前記キャラクタオブジェクトは、前記アクターの顔の動きを示すフェイスモーションデータに基づいて動くように生成されるフェイス部を有し、
前記配信サーバ装置は、前記第3操作入力に基づいて、前記フェイス部に第3付加情報を表示するように構成される、
[3]に記載の動画配信システム。
[5]
前記キャラクタオブジェクトに関連づけて表示される装飾オブジェクトを記憶するストレージをさらに備え、
前記サポーターコンピュータは、第4操作入力に基づいて前記装飾オブジェクトを前記動画に表示する際に前記キャラクタオブジェクトの少なくとも一部を隠すためのブラインドオブジェクトを表示するように構成される、
[1]から[4]のいずれか1項に記載の動画配信システム。
[6]
前記配信サーバ装置は、前記第1クライアント装置に加えて第2ユーザが使用する第2クライアント装置に前記動画をライブ配信するように構成され、
前記第1クライアント装置は、第1タイプの装置であり、
前記第2クライアント装置は、前記第1タイプの装置と異なる第2タイプの装置であり、
前記サポータコンピュータは、前記第1クライアント装置において表示される前記動画の表示画像、及び、前記第2クライアント装置において表示される前記動画の表示画像を表示する第2表示装置を備える、
[1]から[5]のいずれか1項に記載の動画配信システム。
[7]
前記サポータコンピュータは、第5操作入力に基づいて前記第1ユーザへの前記動画の配信を禁止するように構成される、
[1]から[6]のいずれか1項に記載の動画配信システム。
[8]
前記第1表示装置は、前記アクターによって使用される、[1]から[7]のいずれか1項に記載の動画配信システム。
[9]
前記第1表示装置は、前記アクターが選択可能なオブジェクトを表示する、[1]から[8]のいずれか1項に記載の動画配信システム。
[10]
一又は複数のコンピュータプロセッサがコンピュータ読み取り可能な命令を実行することにより実行される動画配信方法であって、
アクターの動きに基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画を第1表示装置及び第1ユーザが使用する第1クライアント装置にライブ配信する工程と、前記第1表示装置に表示されている前記動画に第1付加情報を表示させる一方で前記第1クライアント装置には前記第1付加情報を表示させない工程と、
を備える動画配信方法。
[11]
一又は複数のコンピュータプロセッサに、
アクターの動きに基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画を第1表示装置及び第1ユーザが使用する第1クライアント装置にライブ配信する工程と、前記第1表示装置に表示されている前記動画に第1付加情報を表示させる一方で前記第1クライアント装置には前記第1付加情報を表示させない工程と、
を実行させる配信プログラム。
【符号の説明】
【0133】
1 動画配信システム
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11a
図11b
図12a
図12b
図13
図14
図15
図16
図17
図18
図19