知財求人 - 知財ポータルサイト「IP Force」
特許7460059アクターの動きに基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画をライブ配信する動画配信システム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-03-25
(45)【発行日】2024-04-02
(54)【発明の名称】アクターの動きに基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画をライブ配信する動画配信システム
(51)【国際特許分類】
H04N 21/266 20110101AFI20240326BHJP
H04N 21/258 20110101ALI20240326BHJP
H04N 21/6332 20110101ALI20240326BHJP
H04L 65/40 20220101ALI20240326BHJP
H04L 67/131 20220101ALI20240326BHJP
【ＦＩ】
H04N21/266
H04N21/258
H04N21/6332
H04L65/40
H04L67/131
【請求項の数】
8
(21)【出願番号】P 2022171851
(22)【出願日】2022-10-26
(62)【分割の表示】P 2021082016の分割
【原出願日】2018-05-09
(65)【公開番号】P2023015139
(43)【公開日】2023-01-31
【審査請求日】2022-10-27
(73)【特許権者】
【識別番号】504437801
【氏名又は名称】グリー株式会社
(74)【代理人】
【識別番号】100126572
【弁理士】
【氏名又は名称】村越 智史
(72)【発明者】
【氏名】渡邊 匡志
(72)【発明者】
【氏名】栗田 健悟
【審査官】富樫 明
(56)【参考文献】
【文献】特開２０１５－１８４６８９（ＪＰ，Ａ）
【文献】特開２０１８－００７８２８（ＪＰ，Ａ）
【文献】国際公開第２０１４／０６８８０６（ＷＯ，Ａ１）
【文献】特開２０００－１３５３７７（ＪＰ，Ａ）
【文献】長谷川 雄介，ヴァーチャルアイドル新時代の幕開け ＰＲＯＪＥＣＴ ＭａｒｉＡ，ＣＧ ＷＯＲＬＤ，日本，株式会社ボーンデジタル，2017年11月10日，第231巻，pp.74-79
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ２１／００－２１／８５８
Ｈ０４Ｌ ６５／４０
Ｈ０４Ｌ ６７／１３１
(57)【特許請求の範囲】
【請求項1】
一又は複数のコンピュータプロセッサを備え、アクターの動きに基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画をライブ配信する動画配信システムであって、前記キャラクタオブジェクトは、前記アクターの顔の動きを示すフェイスモーションデータに基づいて動くように生成されるフェイス部を有し、
前記一又は複数のプロセッサは、コンピュータ読み取り可能な命令を実行することにより、
前記アクターが使用するコントローラにおいて第３操作入力が受け付けられたことに応じて、前記キャラクタオブジェクトの前記フェイス部の一部に第３付加情報を表示することで、前記キャラクタオブジェクトを修正した修正キャラクタオブジェクトを生成し、前記動画に前記修正キャラクタオブジェクトを含める、
動画配信システム。
【請求項2】
前記キャラクタオブジェクトは、前記アクターの顔の動きを示すフェイスモーションデータに基づいて動くように生成されるフェイス部を有し、前記一又は複数のプロセッサは、前記第３操作入力に基づいて、前記フェイス部に第３付加情報を表示する、
請求項１に記載の動画配信システム。
【請求項3】
前記キャラクタオブジェクトに関連づけて表示される装飾オブジェクトを記憶するストレージをさらに備え、前記一又は複数のプロセッサは、第４操作入力に基づいて前記装飾オブジェクトを前記動画に表示する際に前記キャラクタオブジェクトの少なくとも一部を隠すためのブラインドオブジェクトを表示する、
請求項１又は２に記載の動画配信システム。
【請求項4】
前記アクターから視認可能な位置に配置され、前記動画を表示するように構成された第１表示装置を備える、請求項１から３のいずれか１項に記載の動画配信システム。
【請求項5】
前記動画は、第１ユーザが使用する第１クライアント装置に配信され、前記一又は複数のプロセッサは、第２操作入力に基づいて前記第１表示装置に表示されている前記動画及び前記第１クライアント装置に表示されている前記動画に第２付加情報を表示させるように構成される、
請求項４のいずれか１項に記載の動画配信システム。
【請求項6】
前記一又は複数のプロセッサは、第５操作入力に基づいて、前記動画を視聴する第１ユーザへの前記動画の配信を禁止するように構成される、請求項１から請求項４のいずれか１項に記載の動画配信システム。
【請求項7】
一又は複数のコンピュータプロセッサがコンピュータ読み取り可能な命令を実行することにより実行される動画配信方法であって、アクターの動きに基づいて生成され、前記アクターの顔の動きを示すフェイスモーションデータに基づいて動くように生成されるフェイス部を有するキャラクタオブジェクトのアニメーションを含む動画をライブ配信する工程と、
前記アクターが使用するコントローラにおいて第３操作入力が受け付けられたことに応じて、前記キャラクタオブジェクトの前記フェイス部の一部に第３付加情報を表示することで、前記キャラクタオブジェクトを修正した修正キャラクタオブジェクトを生成し、前記動画に前記修正キャラクタオブジェクトを含める工程と、
を備える動画配信方法。
【請求項8】
一又は複数のコンピュータプロセッサに、アクターの動きに基づいて生成され、前記アクターの顔の動きを示すフェイスモーションデータに基づいて動くように生成されるフェイス部を有するキャラクタオブジェクトのアニメーションを含む動画をライブ配信する工程と、
前記アクターが使用するコントローラにおいて第３操作入力が受け付けられたことに応じて、前記キャラクタオブジェクトの前記フェイス部の一部に第３付加情報を表示することで、前記キャラクタオブジェクトを修正した修正キャラクタオブジェクトを生成し、前記動画に前記修正キャラクタオブジェクトを含める工程と、
を実行させる配信プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本明細書における開示は、アクターの動きに基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画をライブ配信する動画配信システムに関する。
【背景技術】
【0002】
アクターの動きに基づいてキャラクタオブジェクトのアニメーションを生成し、かかるキャラクタオブジェクトのアニメーションを含む動画をライブ配信する動画配信システムが知られている。このような動画配信システムは、例えば、特開２０１５－１８４６８９号公報（特許文献１）に開示されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１５－１８４６８９号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
動画のライブ配信中には、アニメーションの生成に用いられる機器の不具合などの不測の事態が発生することがある。上記の従来の動画配信システムでは、アクターとカメラの操作者のみでライブ配信が行われている。アクターやカメラの操作者が不測の事態への対処を行うと、その対処のための動きがキャラクタオブジェクトの動きに反映されてしまったり、カメラワークが不適当になってしまうおそれがある。この結果、配信動画のクオリティに望ましくない影響が現れるおそれがある。
【0005】
本開示の目的は、上述した従来技術の問題の少なくとも一部を解決又は緩和する技術的な改善を提供することである。本開示のより具体的な目的の一つは、ライブ配信中に起こる不測の事態への対処を容易にする動画配信システムを提供することである。
【課題を解決するための手段】
【0006】
一態様による動画配信システムは、一態様による動画配信システムは、アクターの動きに基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画を第１表示装置及び第１ユーザが使用する第１クライアント装置にライブ配信するように構成された配信サーバ装置と、前記第１表示装置に表示されている前記動画に第１付加情報を表示させる一方で前記第１クライアント装置には前記第１付加情報を表示させないように構成されたサポーターコンピュータと、を備える。当該前記第１表示装置は、前記アクターによって使用されるものであってもよい。当該第１表示装置は、前記アクターが選択可能なオブジェクトを表示してもよい。
【0007】
一態様において、前記サポーターコンピュータは、第２操作入力に基づいて前記第１表示装置に表示されている前記動画及び前記第１クライアント装置に表示されている前記動画に第２付加情報を表示させるように構成される。
【0008】
一態様において、前記サポーターコンピュータは、第３操作入力に基づいて前記キャラクタオブジェクトの少なくとも一部を修正した修正キャラクタオブジェクトを生成させ、前記動画に前記修正キャラクタオブジェクトを含めるように構成される。
【0009】
一態様において、前記キャラクタオブジェクトは、前記アクターの顔の動きを示すフェイスモーションデータに基づいて動くように生成されるフェイス部を有し、前記配信サーバ装置は、前記第３操作入力に基づいて、前記フェイス部に第３付加情報を表示するように構成される。
【0010】
一態様において、前記キャラクタオブジェクトに関連づけて表示される装飾オブジェクトを記憶するストレージをさらに備え、前記サポーターコンピュータは、第４操作入力に基づいて前記装飾オブジェクトを前記動画に表示する際に前記キャラクタオブジェクトの少なくとも一部を隠すためのブラインドオブジェクトを表示するように構成される。
【0011】
一態様において、前記配信サーバ装置は、前記第１クライアント装置に加えて第２ユーザが使用する第２クライアント装置に前記動画をライブ配信するように構成され、前記第１クライアント装置は、第１タイプの装置であり、前記第２クライアント装置は、前記第１タイプの装置と異なる第２タイプの装置であり、前記サポータコンピュータは、前記第１クライアント装置において表示される前記動画の表示画像、及び、前記第２クライアント装置において表示される前記動画の表示画像を表示する第２表示装置を備える。
【0012】
一態様において、前記サポータコンピュータは、第５操作入力に基づいて前記第１ユーザへの前記動画の配信を禁止するように構成される。
【0013】
一態様は、一又は複数のコンピュータプロセッサがコンピュータ読み取り可能な命令を実行することにより実行される動画配信方法に関する。当該動画配信方法は、アクターの動きに基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画を第１表示装置及び第１ユーザが使用する第１クライアント装置にライブ配信する工程と、前記第１表示装置に表示されている前記動画に第１付加情報を表示させる一方で前記第１クライアント装置には前記第１付加情報を表示させない工程と、を備える。
【0014】
一態様による配信プログラムは、一又は複数のコンピュータプロセッサに、アクターの動きに基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画を第１表示装置及び第１ユーザが使用する第１クライアント装置にライブ配信する工程と、前記第１表示装置に表示されている前記動画に第１付加情報を表示させる一方で前記第１クライアント装置には前記第１付加情報を表示させない工程と、を実行させる。
【発明の効果】
【0015】
本発明の実施形態によれば、ライブ配信中に起こる不測の事態への対処を容易にする動画配信システムを提供できる。
【図面の簡単な説明】
【0016】
【図1】一実施形態による動画配信システムを示すブロック図である。
【図8】候補リストに含まれている装飾オブジェクトの中から所望の選択装飾オブジェクトを選択するための装飾オブジェクト選択画面の例を示す模式図である。
【図9】一実施形態においてサポーターコンピュータ４０のディスプレイ４４に表示される画像の例を示す図である。
【図14】一実施形態における動画配信処理の流れを示すフロー図である。
【図15】一実施形態において第１付加情報を表示する処理の流れを示すフロー図である。
【図16】一実施形態において第２付加情報を表示する処理の流れを示すフロー図である。
【図17】一実施形態において第３付加情報を表示する処理の流れを示すフロー図である。
【図18】一実施形態においてブラインドオブジェクトを表示する処理の流れを示すフロー図である。
【図19】一実施形態において配信禁止ユーザへの動画配信を禁止する処理の流れを示すフロー図である。
【発明を実施するための形態】
【0017】
以下、図面を適宜参照し、本発明の様々な実施形態を説明する。複数の図面において同一の又は類似する構成要素には同じ参照符号が付される。
【0018】
図１から図４を参照して、一実施形態による動画配信システムについて説明する。図１は、一実施形態による動画配信システム１を示すブロック図であり、図２は、動画配信システム１で配信される動画の制作が行われるスタジオの設備を模式的に示す模式図であり、図３及び図４は、動画配信システム１において記憶される情報を説明するための図である。
【0019】
動画配信システム１は、クライアント装置１０ａ～１０ｃと、サーバ装置２０と、スタジオユニット３０と、ストレージ６０と、を備える。クライアント装置１０ａ～１０ｃと、サーバ装置２０と、ストレージ６０とは、ネットワーク５０を介して相互に通信可能に接続されている。サーバ装置２０は、後述するように、キャラクタのアニメーションを含む動画を配信するように構成される。この動画に含まれるキャラクタは、仮想空間内でモーション制御されてもよい。
【0020】
この動画は、サーバ装置２０からクライアント装置１０ａ～１０ｃの各々に配信され得る。クライアント装置１０ａのユーザである第１視聴ユーザ、クライアント装置１０ｂのユーザである第２視聴ユーザ、及びクライアント装置１０ｃのユーザである第３視聴ユーザは、配信された動画を、各クライアント装置により視聴することができる。動画配信システム１は、３台よりも少ない数のクライアント装置を備えていてもよく、３台よりも多い数のクライアント装置を備えていてもよい。本明細書において、クライアント装置１０ａ～１０ｃ及びこれら以外のクライアント装置を互いから区別する必要がない場合には、これらを「クライアント装置」と総称することがある。
【0021】
クライアント装置１０ａ～１０ｃは、スマートフォンなどの情報処理装置である。クライアント装置１０ａ～１０ｃは、スマートフォン以外に、携帯電話機、タブレット端末、パーソナルコンピュータ、電子書籍リーダー、ウェアラブルコンピュータ、ゲーム用コンソール、及びこれら以外の動画を再生可能な各種情報処理装置であってもよい。クライアント装置１０ａ～１０ｃの各々は、コンピュータプロセッサ、メモリ、通信Ｉ／Ｆ、ディスプレイ、ジャイロセンサ等の各種センサを備えるセンサユニット、マイク等の集音装置、及び各種情報を記憶するストレージを備えていてもよい。
【0022】
視聴ユーザは、クライアント装置１０ａ～１０ｃの入力インタフェースを介して、配信された動画に関するメッセージを入力し、このメッセージをサーバ装置２０に投稿することができる。各視聴ユーザから投稿されたメッセージは、動画に重畳して表示されてもよい。これにより、視聴ユーザ間の交流が図られる。
【0023】
図示の実施形態において、サーバ装置２０は、コンピュータプロセッサ２１と、通信Ｉ／Ｆ２２と、ストレージ２３と、を備えている。
【0024】
コンピュータプロセッサ２１は、ストレージ２３又はそれ以外のストレージからオペレーティングシステムや様々な機能を実現する様々なプログラムをメモリにロードし、ロードしたプログラムに含まれる命令を実行する演算装置である。コンピュータプロセッサ２１は、例えば、ＣＰＵ、ＭＰＵ、ＤＳＰ、ＧＰＵ、これら以外の各種演算装置、又はこれらの組み合わせである。コンピュータプロセッサ２１は、ＡＳＩＣ、ＰＬＤ、ＦＰＧＡ、ＭＣＵ等の集積回路により実現されてもよい。図１においては、コンピュータプロセッサ２１が単一の構成要素として図示されているが、コンピュータプロセッサ２１は複数の物理的に別体のコンピュータプロセッサの集合であってもよい。本明細書において、コンピュータプロセッサ２１によって実行されるとして説明されるプログラム又は当該プログラムに含まれる命令は、単一のコンピュータプロセッサで実行されてもよいし、複数のコンピュータプロセッサにより分散して実行されてもよい。また、コンピュータプロセッサ２１によって実行されるプログラム又は当該プログラムに含まれる命令は、複数の仮想コンピュータプロセッサにより実行されてもよい。
【0025】
通信Ｉ／Ｆ２２は、ハードウェア、ファームウェア、又はＴＣＰ／ＩＰドライバやＰＰＰドライバ等の通信用ソフトウェア又はこれらの組み合わせとして実装される。サーバ装置２０は、通信Ｉ／Ｆ２２を介して、他の装置とデータを送受信することができる。
【0026】
ストレージ２３は、コンピュータプロセッサ２１によりアクセスされる記憶装置である。ストレージ２３は、例えば、磁気ディスク、光ディスク、半導体メモリ、又はデータを記憶可能な前記以外の各種記憶装置である。ストレージ２３には、様々なプログラムが記憶され得る。ストレージ２３に記憶され得るプログラム及び各種データの少なくとも一部は、サーバ装置２０とは物理的に別体のストレージ（例えば、ストレージ６０）に格納されてもよい。
【0027】
スタジオユニット３０の構成要素の多くは、例えば、図２に示されているスタジオルームＲに配されている。図示のように、スタジオルームＲにおいては、アクターＡ１及びアクターＡ２がパフォーマンスを行っている。スタジオユニット３０は、アクターＡ１及びアクターＡ２の動き及び表情を検出し、検出した情報をサーバ装置２０に出力するように構成されている。
【0028】
アクターＡ１及びアクターＡ２はいずれも、スタジオユニット３０に備えられる後述のセンサ群によって動きや表情がキャプチャされる対象である。アクターＡ１及びアクターＡ２は、例えば、パフォーマンスを行う人間、動物、または運動する物体である。アクターＡ１及びアクターＡ２は、例えば、自立運動可能なロボットであってもよい。スタジオルームＲ内のアクターの数は、１であってもよいし、３以上であってもよい。
【0029】
スタジオユニット３０は、アクターＡ１に装着される６つのモーションセンサ３１ａ～３１ｆと、アクターＡ１の左手に把持されているコントローラ３３ａと、アクターＡ１の右手に把持されているコントローラ３３ｂと、装着具３７ｂを介してアクターＡ１の頭部に取り付けられるカメラ３７ａと、を有する。スタジオユニット３０はまた、アクターＡ２に装着される６つのモーションセンサ３２ａ～３２ｆと、アクターＡ２の左手に把持されているコントローラ３４ａと、アクターＡ２の右手に把持されているコントローラ３４ｂと、装着具３８ｂを介してアクターＡ２の頭部に取り付けられるカメラ３８ａと、を有する。装着具３７ｂ及び装着具３８ｂの各々には、音声データを取得するためのマイクが取り付けられてもよい。このマイクは、アクターＡ１及びアクターＡ２の発話を音声データとして取得することができる。マイクは、装着具３７ｂ及び装着具３８ｂを介してアクターＡ１及びアクターＡ２に装着される装着型のマイクであってもよく、スタジオルームＲの床、壁、又は天井に設置される設置型のものであってもよい。スタジオユニット３０は、上記の構成要素に加えて、ベースステーション３５ａと、ベースステーション３５ｂと、トラッキングセンサ３６ａと、トラッキングセンサ３６ｂと、ディスプレイ３９と、を有する。スタジオルームＲとガラス窓を隔てた隣室には、サポーターコンピュータ４０が設置されている。サーバ装置２０は、サポーターコンピュータ４０が設置されている部屋と同じ部屋に設置されてもよい。
【0030】
モーションセンサ３１ａ～３１ｆ及びモーションセンサ３２ａ～３２ｆは、ベースステーション３５ａ及びベースステーション３５ｂと協働して、自らの位置及び向きを検出する。一実施形態において、ベースステーション３５ａ及びベースステーション３５ｂは、多軸レーザーエミッターである。ベースステーション３５ａは、同期用の点滅光を発した後に、例えば鉛直軸の周りでレーザー光を走査する。ベースステーション３５ｂは、例えば水平軸の周りでレーザー光を走査する。モーションセンサ３１ａ～３１ｆ及びモーションセンサ３２ａ～３２ｆはそれぞれ、ベースステーション３５ａ及びベースステーション３５ｂからの点滅光及びレーザー光の入射を検知する光センサーを複数備えてもよい。モーションセンサ３１ａ～３１ｆ及びモーションセンサ３２ａ～３２ｆはそれぞれ、点滅光の入射タイミングとレーザー光の入射タイミングとの時間差、各光センサーでの受光時間、各光センサーが検知したレーザー光の入射角度、及び必要に応じてこれら以外の情報を検出してもよい。モーションセンサ３１ａ～３１ｆ及びモーションセンサ３２ａ～３２ｆは、例えば、ＨＴＣ ＣＯＲＰＯＲＡＴＩＯＮから提供されているＶｉｖｅ Ｔｒａｃｋｅｒであってもよい。ベースステーション３５ａ及びベースステーション３５ｂは、例えば、ＨＴＣ ＣＯＲＰＯＲＡＴＩＯＮから提供されているベースステーションであってもよい。ベースステーションは３つ以上設けられてもよい。ベースステーションの位置は適宜変更してもよい。例えば、図２に示されているトラッキングセンサの検出対象の空間の上方の隅部に配されているベースステーションに加えて若しくは替えて、上方位置及び床面に近い下方位置に対をなすように配置されたベースステーションが設けられてもよい。
【0031】
モーションセンサ３１ａ～３１ｆ及びモーションセンサ３２ａ～３２ｆの各々において検出された検出情報（以下、「トラッキング情報」ということがある。）は、サーバ装置２０に送信される。この検出情報は、モーションセンサ３１ａ～３１ｆ及びモーションセンサ３２ａ～３２ｆの各々からサーバ装置２０に無線送信されてもよい。ベースステーション３５ａ及びベースステーション３５ｂは、一定のインターバルで点滅光の発光及びレーザー光の走査を行うので、各モーションセンサのトラッキング情報は、当該インターバルごとに更新される。このモーションセンサ３１ａ～３１ｆ及びモーションセンサ３２ａ～３２ｆによって検出されたトラッキング情報に基づいて、モーションセンサ３１ａ～３１ｆ及びモーションセンサ３２ａ～３２ｆの各々の位置及び向きが算出され得る。モーションセンサ３１ａ～３１ｆ及びモーションセンサ３２ａ～３２ｆの各々の位置及び向きは、例えば、サーバ装置２０において当該トラッキング情報に基づいて算出されてもよい。
【0032】
図示の実施形態において、アクターＡ１は、６つのモーションセンサ３１ａ～３１ｆを装着している。モーションセンサ３１ａ，３１ｂ，３１ｃ，３１ｄ，３１ｅ，及び３１ｆはそれぞれ、アクターＡ１の左手首、右手首、左足甲、右足甲、腰、及び頭頂に装着されている。モーションセンサ３１ａ～３１ｆは、装着具を介してアクターＡ１に装着されてもよい。アクターＡ２は、６つのモーションセンサ３２ａ～３２ｆを装着している。モーションセンサ３２ａ～３２ｆは、アクターＡ２に対してモーションセンサ３１ａ～３１ｆと同様の位置に装着され得る。図２に示されているモーションセンサ３１ａ～３１ｆ及びモーションセンサ３２ａ～３２ｆは例示である。モーションセンサ３１ａ～３１ｆは、アクターＡ１の様々な部位に装着され得るし、モーションセンサ３２ａ～３２ｆは、アクターＡ２の様々な部位に装着され得る。アクターＡ１及びアクターＡ２に装着されるモーションセンサの数は５以下であってもよいし７以上であってもよい。このように、アクターＡ１及びアクターＡ２の体の各部に装着されたモーションセンサ３１ａ～３１ｆ及びモーションセンサ３２ａ～３２ｆの位置及び向きを検出することにより、アクターＡ１及びアクターＡ２の体の動きを検出することができる。
【0033】
一実施形態においては、アクターＡ１及びアクターＡ２に装着される複数のモーションセンサの各々に多数の赤外ＬＥＤを搭載し、この赤外ＬＥＤからの光を、スタジオルームＲの床や壁に設けられた赤外線カメラで検知することで、当該モーションセンサの各々の位置及び向きを検出してもよい。赤外ＬＥＤに代えて可視光ＬＥＤを使用し、この可視光ＬＥＤからの光を可視光カメラで検出することで、当該モーションセンサの各々の位置及び向きを検出してもよい。このように、アクターに装着される複数のモーションセンサの各々に発光部（例えば、赤外ＬＥＤや可視光ＬＥＤ）を設け、この発光部からの光をスタジオルームＲ内に設けられた受光部（例えば、赤外線カメラや可視光カメラ）で検出することで、当該モーションセンサの各々の位置及び向きを検出してもよい。
【0034】
一実施形態においては、モーションセンサ３１ａ～３１ｆ及びモーションセンサ３２ａ～３２ｆに代えて、複数の反射マーカーを用いることができる。反射マーカーは、アクターＡ１及びアクターＡ２の各々に粘着テープなどにより貼付される。このように反射マーカーが貼付されたアクターＡ１及びアクターＡ２を撮影して撮影データを生成し、この撮影データを画像処理することにより、反射マーカーの位置及び向きを検出することができる。
【0035】
コントローラ３３ａ及びコントローラ３３ｂは、アクターＡ１の操作に応じたコントロール信号をサーバ装置２０に出力する。同様に、コントローラ３４ａ及びコントローラ３４ｂは、アクターＡ２の操作に応じたコントロール信号をサーバ装置２０に出力する。
【0036】
トラッキングセンサ３６ａ及びトラッキングセンサ３６ｂは、動画に含まれる仮想空間を構築するための仮想カメラの設定情報を定めるためのトラッキング情報を生成する。トラッキングセンサ３６ａ及びトラッキングセンサ３６ｂのトラッキング情報は、各々の三次元直交座標系での位置および各軸回りの角度として算出される。トラッキングセンサ３６ａの位置および向きは、操作者の操作に応じて変更されえる。トラッキングセンサ３６ａは、その位置および向きを示すトラッキング情報をトラッキング情報サーバ装置２０に送信する。同様に、トラッキングセンサ３６ｂの位置および向きは、操作者の操作に応じて設定される。トラッキングセンサ３６ｂは、その位置および向きを示すトラッキング情報をトラッキング情報サーバ装置２０に送信する。トラッキングセンサ３６ａ，３６ｂは、ジンバル又はスタビライザーによって支持されてもよい。ジンバルは、アクターやサポーターによって把持可能な形状に構成されてもよい。トラッキングセンサ３６ａ，３６ｂをジンバルまたはスタビライザーで支持することにより、手ぶれを抑制することが可能となる。
【0037】
カメラ３７ａは、上記のように、アクターＡ１の頭部に取り付けられている。例えば、カメラ３７ａは、アクターＡ１の顔を撮像できるように配置されている。カメラ３７ａは、アクターＡ１の顔を連続的に撮像し、アクターＡ１の顔の撮像データを取得する。同様に、カメラ３８ａは、アクターＡ２の頭部に取り付けられている。カメラ３８ａは、アクターＡ２の顔を撮像できるように配置されており、アクターＡ２の顔を連続的に撮像し、アクターＡ２の顔の撮像データを取得する。カメラ３７ａは、アクターＡ１の顔の撮像データをサーバ装置２０に送信し、カメラ３８ａは、アクターＡ１の顔の撮像データをサーバ装置２０に送信する。カメラ３７ａ及びカメラ３８ａは、人物の顔の奥行きを検出可能な３Ｄカメラであってもよい。
【0038】
ディスプレイ３９は、サポーターコンピュータ４０から受信した情報を表示するように構成される。サポーターコンピュータ４０からディスプレイ３９に送信される情報は、例えば、テキスト情報、画像情報、及びこれら以外の各種情報を含み得る。ディスプレイ３９は、アクターＡ１及びアクターＡ２によって視認可能な位置に配置される。ディスプレイ３９は、第１表示装置の例である。
【0039】
図示の実施形態において、サポーターコンピュータ４０は、スタジオルームＲの隣室に設置されている。サポーターコンピュータ４０が設置されている部屋とスタジオルームＲとはガラス窓によって隔てられているため、サポーターコンピュータ４０のオペレータ（本明細書では「サポーター」ということがある。）は、アクターＡ１及びアクターＡ２を視認できる。図示の実施形態においては、サポーターコンピュータ４０のオペレータとして、サポーターＢ１及びサポーターＢ２が在室している。本明細書においては、サポーターＢ１とサポーターＢ２とを互いに区別する必要がない場合には、サポーターＢ１及びサポーターＢ２「サポーター」と総称することがある。
【0040】
サポーターコンピュータ４０は、サポーターＢ１及びサポーターＢ２の操作に応じて、スタジオユニット３０の構成要素の設定を変更することができるように構成されてもよい。サポーターコンピュータ４０は、例えば、ベースステーション３５ａ及びベースステーション３５ｂによる走査インターバルの設定、トラッキングセンサ３６ａ及びトラッキングセンサ３６ｂの位置または向きの設定、及びこれら以外の各種機器の各種設定の変更を行うことができる。サポーターＢ１及びサポータＢ２の少なくとも一方は、サポーターコンピュータ４０にメッセージを入力し、当該入力されたメッセージをディスプレイ３９に表示することができる。
【0041】
図２に示されているスタジオユニット３０の構成要素及び機能は例示である。本発明に適用可能なスタジオユニット３０は、図示されていない様々な構成要素を備え得る。例えば、スタジオユニット３０は、プロジェクタを備えていてもよい。当該プロジェクタは、クライアント装置１０ａまたはそれ以外のクライアント装置に配信される動画をスクリーンＳに投影することができる。
【0042】
次に、一態様において、ストレージ２３に記憶される情報について説明する。図示の実施形態においては、ストレージ２３には、モデルデータ２３ａ、オブジェクトデータ２３ｂ、保有リスト２３ｃ、候補リスト２３ｄ、及び前記以外の配信動画の生成及び配信に必要な様々な情報が記憶される。
【0043】
モデルデータ２３ａは、キャラクタのアニメーションを生成するためのモデルデータである。モデルデータ２３ａは、３次元のアニメーションを生成するための３次元モデルデータであってもよいし、２次元のモデルデータを生成するための２次元モデルデータであってもよい。モデルデータ２３ａは、例えば、キャラクタの骨格を示すリグデータ（「スケルトンデータ」と呼ばれることもある。）と、キャラクタの表面の形状や質感を示す表面データと、を含む。モデルデータ２３ａには、互いに異なる複数のモデルデータを含むことができる。この複数のモデルデータは、互いに異なるリグデータを有していてもよいし、同じリグデータを有していてもよい。この複数のモデルデータは、互いと異なる表面データを有していてもよいし、同じ表面データを有していてもよい。図示の実施形態においては、アクターＡ１に対応するキャラクタオブジェクト及びアクターＡ２に対応するキャラクタオブジェクトを生成するために、モデルデータ２３ａは、互いに異なる少なくとも２種類のモデルデータを有する。このアクターＡ１に対応するキャラクタオブジェクト用のモデルデータとアクターＡ２に対応するキャラクタオブジェクト用のモデルデータとは、例えば、同じリグデータを有するが、異なる表面データを有していてもよい。
【0044】
オブジェクトデータ２３ｂは、動画を構成する仮想空間を構築するためのアセットデータを含む。オブジェクトデータ２３ｂは、動画を構成する仮想空間の背景を描画するためのデータ、動画に表示される各種物体を描画するためのデータ、及びこれら以外の動画に表示される各種オブジェクトを描画するためのデータが含まれる。オブジェクトデータ２３ａには、仮想空間におけるオブジェクトの位置を示すオブジェクト位置情報を含んでもよい。
【0045】
オブジェクトデータ２３ｂには、上記以外にも、クライアント装置１０ａ～１０ｃの視聴ユーザからの表示要求に基づいて動画に表示されるギフトオブジェクトが含まれ得る。ギフトオブジェクトには、エフェクトオブジェクトと、通常オブジェクトと、装飾オブジェクトと、が含まれ得る。視聴ユーザは、所望のギフトオブジェクトを購入することができる。購入可能なオブジェクトの数またはオブジェクトの購入金額に上限が設定されていてもよい。
【0046】
エフェクトオブジェクトは、配信動画の視聴画面全体の印象に影響を与えるオブジェクトであり、例えば紙吹雪を模したオブジェクトである。紙吹雪を模したオブジェクトは、視聴画面全体に表示されてもよく、これにより表示の前後における視聴画面全体の印象を変えることができる。エフェクトオブジェクトは、キャラクタオブジェクトと重複するように表示されることもあるが、キャラクタオブジェクトの特定の部位と関連付けられた表示はなされない点で装飾オブジェクトと異なっている。
【0047】
通常オブジェクトは、視聴ユーザからアクター（例えば、アクターＡ１またはアクターＡ２）へのデジタル的なギフトとなるオブジェクトであり、例えばぬいぐるみや花束を模したオブジェクトである。一態様において、通常オブジェクトは、キャラクタオブジェクトと接しないように動画の表示画面に表示される。一態様において、通常オブジェクトは、キャラクタオブジェクトと重複しないように動画の表示画面に表示される。通常オブジェクトは、仮想空間においてキャラクタオブジェクト以外のオブジェクトと重複するように表示されてもよい。通常オブジェクトは、キャラクタオブジェクトと重複するように表示されることもあるが、キャラクタオブジェクトの特定の部位と関連付けられた表示はなされない点で装飾オブジェクトと異なっている。一態様において、通常オブジェクトをキャラクタオブジェクトと重複して表示させる場合には、当該通常オブジェクトは、当該キャラクタオブジェクトの顔を含む頭部以外の部分と重複し、当該キャラクタオブジェクトの頭部とは重複しないように表示される。
【0048】
装飾オブジェクトは、キャラクタオブジェクトの特定の部位と関連付けて表示画面に表示されるオブジェクトである。一態様において、キャラクタオブジェクトの特定の部位と関連付けて表示画面に表示される装飾オブジェクトは、当該キャラクタオブジェクトの当該特定の部位に接するように表示画面に表示される。一態様において、キャラクタオブジェクトの特定の部位と関連付けて表示画面に表示される装飾オブジェクトは、当該キャラクタオブジェクトの当該特定の部位の一部又は全部を覆うように表示画面に表示される。
【0049】
装飾オブジェクトは、例えば、キャラクタオブジェクトに装着されるアクセサリー（カチューシャ、ネックレス、イヤリングなど）、衣服（Ｔシャツなど）、コスチューム、及びこれら以外のキャラクラオブジェクトに装着可能なオブジェクトである。装飾オブジェクトに対応するオブジェクトデータ２３ｂには、当該装飾オブジェクトがキャラクタオブジェクトのどの部位に関連付けられるかを示す装着位置情報が含まれてもよい。ある装飾オブジェクトの装着位置情報は、当該装飾オブジェクトがキャラクタオブジェクトのどの部位に装着されるかを示すことができる。例えば、装飾オブジェクトがカチューシャである場合には、当該装飾オブジェクトの装着位置情報は、当該装飾オブジェクトがキャラクタオブジェクトの「頭部」に装着されることを示してもよい。装飾オブジェクトがＴシャツである場合には、当該装飾オブジェクトの装着位置情報は、当該装飾オブジェクトがキャラクタオブジェクトの「胴部」に装着されることを示してもよい。
【0050】
ギフトオブジェクトの各々には、その種類に応じた表示時間が設定されていてもよい。一態様において、装飾オブジェクトの表示時間は、エフェクトオブジェクトの表示時間及び通常オブジェクトの表示時間よりも長く設定されていてもよい。例えば、装飾オブジェクトの表示時間は６０秒間に設定され、エフェクトオブジェクトの表示時間は５秒間に設定され、通常オブジェクトの表示時間は１０秒間に設定されてもよい。
【0051】
保有リスト２３ｃは、動画の視聴ユーザが保有しているギフトオブジェクトを示すリストである。保有リスト２３ｃの例が図３に示されている。図示のように、保有リスト２３ｃにおいては、視聴ユーザのアカウント情報（例えば、視聴ユーザのユーザＩＤ）と対応づけて、当該視聴ユーザが保有するギフトオブジェクトを特定するオブジェクトＩＤが記憶されている。この視聴ユーザは、例えば、クライアント装置１０ａ～クライアント装置１０ｃの第１視聴ユーザ～第３視聴ユーザが含まれる。
【0052】
候補リスト２３ｄは、視聴ユーザから表示要求がなされた装飾オブジェクトのリストである。後述するように、装飾オブジェクトを保有している視聴ユーザは、保有している装飾オブジェクトの表示要求を行うことができる。候補リスト２３ｄにおいては、装飾オブジェクトの表示要求を行った視聴ユーザのアカウント情報と対応付けて、当該装飾オブジェクトを特定するオブジェクトＩＤが記憶される。この候補リスト２３ｄは、配信者ごとに作成されてもよい。候補リスト２３ｄは、例えば、配信者（アクターＡ１、アクターＡ２、サポーターＢ１、及び／又はサポーターＢ２）を特定する配信者識別情報と対応付けて記憶されてもよい。
【0053】
次に、コンピュータプロセッサ２１により実現される機能についてより具体的に説明する。コンピュータプロセッサ２１は、配信プログラムに含まれるコンピュータ読み取り可能な命令を実行することにより、ボディモーションデータ生成部２１ａ、フェイスモーションデータ生成部２１ｂ、アニメーション生成部２１ｃ、動画生成部２１ｄ、動画配信部２１ｅ、表示要求処理部２１ｆ、装飾オブジェクト選択部２１ｇ、及びオブジェクト購入処理部２１ｈとして機能する。コンピュータプロセッサ２１により実現される機能の少なくとも一部は、動画配信システム１のコンピュータプロセッサ２１以外のコンピュータプロセッサにより実現されてもよい。コンピュータプロセッサ２１により実現される機能の少なくとも一部は、例えば、サポーターコンピュータ４０に搭載されているコンピュータプロセッサにより実現されてもよい。
【0054】
ボディモーションデータ生成部２１ａは、モーションセンサ３１ａ～３１ｆの各々により検出されたトラッキング情報に基づいて、アクターＡ１の体の各部位の第１ボディモーションデータを生成し、また、モーションセンサ３２ａ～３２ｆの各々により検出されたトラッキング情報に基づいて、アクターＡ２の体の各部位の位置及び向きのデジタル表現である第２ボディモーションデータを生成する。本明細書では、第１ボディモーションデータ及び第２ボディモーションデータを総称して単に「ボディモーションデータ」と呼ぶことがある。ボディモーションデータは、時間の経過に伴って随時生成される。例えば、ボディモーションデータは、所定のサンプリング時間間隔ごとに生成されてもよい。このように、ボディモーションデータは、アクターＡ１及びアクターＡ２の体の動きを時系列的にデジタルデータとして表現することができる。図示の実施形態においては、モーションセンサ３１ａ～３１ｆ及びモーションセンサ３２ａ～３２ｆは、アクターＡ１及びアクターＡ２の各々の左右の手足、腰、及び頭部に装着されているため、モーションセンサ３１ａ～３１ｆ及びモーションセンサ３２ａ～３２ｆにより検出されたトラッキング情報に基づいて、アクターＡ１及びアクターＡ２の概ね全身の位置及び向きを経時的にデジタル表現することが可能である。ボディモーションデータは、例えば、モデルデータ２３ａに含まれるリグデータを構成する骨（ボーン）の位置及び回転角度を規定することができる。
【0055】
フェイスモーションデータ生成部２１ｂは、カメラ３７ａの撮像データに基づいて、アクターＡ１の顔の動きのデジタル表現である第１フェイスモーションデータを生成し、また、カメラ３８ａの各々の撮像データに基づいて、アクターＡ２の顔の動きのデジタル表現である第２フェイスモーションデータを生成する。本明細書では、第１フェイスモーションデータ及び第２フェイスモーションデータを総称して単に「フェイスモーションデータ」と呼ぶことがある。フェイスモーションデータは、時間の経過に伴って随時生成される。例えば、フェイスモーションデータは、所定のサンプリング時間間隔ごとに生成されてもよい。このように、フェイスモーションデータは、アクターＡ２及びアクターＡ２の顔の動き（表情の変化）を時系列的にデジタル表現することができる。
【0056】
アニメーション生成部２１ｃは、ボディモーションデータ生成部２１ａによって生成されたボディモーションデータ及びフェイスモーションデータ生成部２１ｂによって生成されたフェイスモーションデータを、モデルデータ２３ａに含まれる所定のモデルデータに適用することにより、仮想空間内で動き、また、表情が変化するキャラクタオブジェクトのアニメーションを生成するように構成される。具体的には、アニメーション生成部２１ｃは、アクターＡ１に関する第１ボディモーションデータ及び第１フェイスモーションデータに基づいて、アクターＡ１の体及び表情の動きに同期して動くキャラクタオブジェクトのアニメーションを生成し、アクターＡ２に関する第２ボディモーションデータ及び第２フェイスモーションデータに基づいて、アクターＡ２の体及び表情の動きに同期して動くキャラクタオブジェクトのアニメーションを生成することができる。本明細書においては、アクターＡ１の動き及び表情に基づいて生成されたキャラクタオブジェクトを「第１キャラクタオブジェクト」といい、アクターＡ２の動き及び表情に基づいて生成されたキャラクタオブジェクトを「第２キャラクタオブジェクト」ということがある。
【0057】
動画生成部２１ｄは、オブジェクトデータ２３ｂを用いて仮想空間を構築し、この仮想空間と、アクターＡ１に対応する第１キャラクタオブジェクトのアニメーションと、アクターＡ２に対応する第２キャラクタオブジェクトのアニメーションと、を含む動画を生成する。第１キャラクタオブジェクトは、トラッキングセンサ３６ａに対するアクターＡ１の位置に合致するように仮想空間内に配置され、第２キャラクタオブジェクトは、トラッキングセンサ３６ａに対するアクターＡ２の位置に合致するように仮想空間内に配置される。したがって、トラッキングセンサ３６ａの位置または向きを変更することにより、仮想空間内における第１キャラクタオブジェクト及び第２キャラクタオブジェクトの位置及び向きを変化させることができる。
【0058】
一態様において、動画生成部２１ｄは、トラッキングセンサ３６ａのトラッキング情報に基づいて仮想空間を構築する。例えば、動画生成部２１ｄは、トラッキングセンサ３６ａのトラッキング情報に基づいて仮想カメラの設定情報（仮想空間内における位置、注視位置、注視方向、及び画角）を定め、この仮想カメラの設定情報に基づいて仮想空間全体のうちの描画領域を定め、この仮想空間の描画領域を表示するための動画情報を生成する。
【0059】
動画生成部２１ｄは、トラッキングセンサ３６ａのトラッキング情報に代えて、または、トラッキングセンサ３６ａのトラッキング情報に加えて、トラッキングセンサ３６ｂのトラッキング情報に基づいて、仮想空間内における第１キャラクタオブジェクト及び第２キャラクタオブジェクトの位置及び向き、並びに、仮想カメラの設定情報を定めるように構成されてもよい。
【0060】
動画生成部２１ｄは、生成した動画に、スタジオユニット３０のマイクから取得したアクターＡ１及びアクターＡ２の音声を合成することができる。
【0061】
以上のようにして、動画生成部２１ｄは、アクターＡ１の体及び表情の動きに同期して動く第１キャラクタオブジェクトのアニメーション、並びに、アクターＡ２の体及び表情の動きに同期して動く第２キャラクタオブジェクトのアニメーションを生成し、このアニメーションにアクターＡ１及びアクターＡ２の音声が合成された配信用の動画を生成する
ことができる。
ことができる。
【0062】
動画配信部２１ｅは、動画生成部２１ｄにおいて生成された動画を配信する。この動画は、ネットワーク５０を介してクライアント装置１０ａ～クライアント装置１０ｃ及びこれら以外のクライアント装置に配信される。動画配信部２１ｅは、動画の配信を要求したユーザのリスト（配信先リスト）を参照し、当該リストに含まれているユーザのクライアント装置に対して当該動画を配信する。後述するように、サポーターコンピュータ４０からの指示により、特定のユーザに対して特定の動画の配信が禁止されることがある。この場合には、動画の配信が禁止されたユーザ以外のユーザに対して当該動画が配信される。受信された動画は、クライアント装置１０ａ～クライアント装置１０ｃにおいて再生される。
【0063】
この動画は、スタジオルームＲ内に設置されているクライアント装置（不図示）に配信され、このクライアント装置から短焦点プロジェクタを介してスクリーンＳに投影されてもよい。また、この動画は、サポーターコンピュータ４０に配信されてもよい。これにより、サポーターＢ１及びサポーターＢ２は、配信されている動画の視聴画面を確認することができる。
【0064】
サーバ装置２０からクライアント装置１０ａに配信され、このクライアント装置１０ａにおいて再生されている動画の表示例が図５に示されている。図示のように、サーバ装置２０から配信された動画の表示画像７０は、クライアント装置１０ａのディスプレイに表示される。このクライアント装置１０ａに表示されている表示画像７０は、仮想空間内に、アクターＡ１に対応するキャラクタオブジェクト７１Ａと、アクターＡ２に対応するキャラクタオブジェクト７１Ｂと、テーブルを示すオブジェクト７２と、が含まれている。オブジェクト７２は、ギフトオブジェクトではなく、オブジェクトデータ２３ｂに含まれている仮想空間を構築するためのオブジェクトの一つである。キャラクタオブジェクト７１Ａは、アクターＡ１の第１ボディモーションデータ及び第１フェイスモーションデータをモデルデータ２３ａに含まれているアクターＡ１用のモデルデータに適用することにより生成される。キャラクタオブジェクト７１Ａは、第１ボディモーションデータ及び第１フェイスモーションデータに基づいてモーション制御される。キャラクタオブジェクト７１Ｂは、アクターＡ２の第２ボディモーションデータ及び第２フェイスモーションデータを、モデルデータ２３ａに含まれているアクターＡ２用のモデルデータに適用することにより生成される。キャラクタオブジェクト７１Ｂは、第２ボディモーションデータ及び第２フェイスモーションデータに基づいてモーション制御される。したがって、キャラクタオブジェクト７１Ａは、アクターＡ１の体及び表情の動きに同期して画面内で動くように制御され、キャラクタオブジェクト７１Ｂは、アクターＡ２の体及び表情の動きに同期して画面内で動くように制御される。
【0065】
上記のように、サーバ装置２０からの配信動画は、サポーターコンピュータ４０に配信されてもよい。サポーターコンピュータ４０に配信された動画は、サポーターコンピュータ４０において図５と同様に表示される。サポーターＢ１及びサポーターＢ２は、サポーターコンピュータ４０において再生されている動画を見て、スタジオユニット３０の構成要素の設定を変更することができる。一態様において、サポーターＢ１及びサポーターＢ２は、配信中の動画においてキャラクタオブジェクト７１Ａ及びキャラクタオブジェクト７１Ｂのアングルを変更したい場合には、トラッキングセンサ３６ａの向きの変更を指示する指示信号をサポーターコンピュータ４０からトラッキングセンサ３６ａに送信することができる。トラッキングセンサ３６ａは、当該指示信号に応じて、その向きを変更することができる。例えば、トラッキングセンサ３６ａは、スタンドにその軸周りにアクチュエータを内蔵した回動機構を介して回動可能に取り付けられており、トラッキングセンサ３６ａがその向きの変更を指示する指示信号を受信すると、当該指示信号に基づいて当該回動機構のアクチュエータが駆動され、当該指示信号に応じた角度だけトラッキングセンサ３６ａが回動されてもよい。一態様において、サポーターＢ１及びサポーターＢ２は、トラッキングセンサ３６ａからのトラッキング情報に代えて、トラッキングセンサ３６ｂからのトラッキング情報を用いるための指示をサポーターコンピュータ４０からトラッキングセンサ３６ａ及びトラッキングセンサ３６ｂに送信してもよい。トラッキングセンサ３６ａ及びトラッキングセンサ３６ｂは、アクターやサポーターによって移動可能に構成及び設置されてもよい。これにより、アクターまたはサポーターは、トラッキングセンサ３６ａ及びトラッキングセンサ３６ｂを手に持って移動させることができる。
【0066】
一態様において、サポーターＢ１及びサポーターＢ２は、サポーターコンピュータ４０にて再生されている動画を見てアクターＡ１またはアクターＡ２に対する指示が必要と判断した場合には、その指示を示すメッセージをサポーターコンピュータ４０に入力し、このメッセージをディスプレイ３９に出力することができる。例えば、サポーターＢ１及びサポーターＢ２は、このディスプレイ３９に表示されるメッセージを通じて、アクターＡ１またはアクターＡ２に対して立ち位置の変更を指示することができる。
【0067】
表示要求処理部２１ｆは、視聴ユーザのクライアント装置からギフトオブジェクトの表示要求を受け付け、当該表示要求に応じた処理を行う。各視聴ユーザは、自らのクライアント装置を操作することにより、ギフトオブジェクトの表示要求をサーバ装置２０に送信することができる。例えば、第１視聴ユーザは、クライアント装置１０ａを操作することにより、ギフトオブジェクトの表示要求をサーバ装置２０に送信することができる。ギフトオブジェクトの表示要求には、視聴ユーザのユーザＩＤと、表示を要求するオブジェクトを特定する識別情報（オブジェクトＩＤ）が含まれてもよい。
【0068】
上述のように、ギフトオブジェクトには、エフェクトオブジェクトと、通常オブジェクトと、装飾オブジェクトと、が含まれ得る。エフェクトオブジェクト及び通常オブジェクトは、第１オブジェクトの例である。また、エフェクトオブジェクトまたは通常オブジェクトの表示を要求する表示要求は、第２表示要求の例である。
【0069】
一態様において、表示要求処理部２１ｆは、視聴ユーザから特定のエフェクトオブジェクトの表示要求を受け付けると、当該表示要求に基づいて、表示が要求されたエフェクトオブジェクトを動画の表示画像７０に表示させるための処理を行う。例えば、紙吹雪に対応するエフェクトオブジェクトの表示要求がなされた場合には、表示要求処理部２１ｆは、図６に示すように、当該表示要求に基づいて紙吹雪を示すエフェクトオブジェクト７３を表示画像７０に表示させる。
【0070】
一態様において、表示要求処理部２１ｆは、視聴ユーザから特定の通常オブジェクトの表示要求を受け付けると、当該表示要求に基づいて、表示が要求された通常オブジェクトを動画７０に表示させるための処理を行う。例えば、熊のぬいぐるみを示す通常オブジェクトの表示要求がなされた場合には、表示要求処理部２１ｆは、図６に示すように、当該表示要求に基づいて熊のぬいぐるみを示す通常オブジェクト７４を表示画像７０に表示させる。
【0071】
通常オブジェクト７４の表示要求には、仮想空間内における当該通常オブジェクト７４の表示位置を指定する表示位置指定パラメータが含まれてもよい。この場合、表示要求処理部２１ｆは、仮想空間内の表示位置指定パラメータによって指定された位置に通常オブジェクト７４を表示することができる。例えば、表示位置指定パラメータによって、テーブルを示すオブジェクト７２の上を通常オブジェクト７４の表示位置として指定することができる。視聴ユーザは、表示位置指定パラメータを用いることにより、動画７０に含まれているキャラクタオブジェクト７１Ａ、キャラクタオブジェクト７１Ｂ、ギフトオブジェクト、及びこれら以外のオブジェクトの表示を見て、通常オブジェクトを表示したい位置を指定することができる。
【0072】
一態様において、通常オブジェクト７４は、動画の表示画像７０内で移動するように表示されてもよい。例えば、通常オブジェクト７４は、画面の上から下に向かって落下するように表示されてもよい。この場合、通常オブジェクト７４は、落下開始から動画７０を構成する仮想空間のフロアまで落下している間当該表示画像７０内に表示され、フロアに落下した後に当該表示画像７０から消滅してもよい。視聴ユーザは、落下する通常オブジェクト７４を落下開始時から落下終了時まで見ることができる。通常オブジェクト７４の画面内での移動方向は任意に設定され得る。例えば、通常オブジェクト７４は、動画７０の左から右へ、右から左へ、左上から左下へ、またはこれら以外の方向に移動するように表示画像７０において表示されてもよい。通常オブジェクト７４は、様々な軌道上を移動することができる。例えば、通常オブジェクト７４は、直線軌道上、円軌道上、楕円軌道上、螺旋軌道上、またはこれら以外の軌道上を移動することができる。視聴ユーザは、通常オブジェクトの表示要求に、表示位置指定パラメータに加えてまたは表示位置指定パラメータに代えて、通常オブジェクト７４の移動方向を指定する移動方向パラメータ及び通常オブジェクト７４が移動する軌道を指定する軌道パラメータの少なくとも一方を含めることができる。一実施形態において、エフェクトオブジェクト及び通常オブジェクトのうち、仮想空間における大きさが基準となる大きさより小さいもの（例えば、エフェクトオブジェクト７３の紙吹雪の紙片）は、キャラクタオブジェクト７１Ａ及びキャラクタオブジェクト７１Ｂに、その一部又は全部を重複させて表示してもよい。一実施形態において、エフェクトオブジェクト及び通常オブジェクトのうち、仮想空間における大きさが基準となる大きさより大きいもの（例えば、通常オブジェクト７４（くまのぬいぐるみ））は、キャラクタオブジェクトと重複しない位置に表示される。一実施形態において、エフェクトオブジェクト及び通常オブジェクトのうち、仮想空間における大きさが基準となる大きさより大きいもの（例えば、通常オブジェクト７４（くまのぬいぐるみ））は、キャラクタオブジェクト７１Ａまたはキャラクタオブジェクト７１Ｂの少なくとも一方と重複する場合には、当該重複して表示されるキャラクタオブジェクトの後ろに表示される。
【0073】
一態様において、表示要求処理部２１ｆは、視聴ユーザから特定の装飾オブジェクトの表示要求を受け付けると、当該表示要求に基づいて、表示が要求された装飾オブジェクトを候補リスト２３ｄに追加する。装飾オブジェクトの表示要求は、第１表示要求の例である。例えば、表示要求処理部２１ｆは、視聴ユーザから表示要求されている特定の装飾オブジェクトを識別する識別情報（オブジェクトＩＤ）を、当該視聴ユーザのユーザＩＤと対応付けて、候補リスト２３ｄに記憶することができる（図４参照）。装飾オブジェクトの表示要求が複数なされた場合には、当該複数の表示要求の各々について、表示要求を行った視聴ユーザのユーザＩＤと、当該視聴ユーザによって表示要求されている装飾オブジェクトの装飾オブジェクトＩＤとが対応付けて候補リスト２３ｄに記憶される。
【0074】
一態様において、装飾オブジェクト選択部２１ｇは、候補リスト２３ｄに含まれている装飾オブジェクトのうちの一又は複数が選択されたことに応じて、当該選択された装飾オブジェクトを動画の表示画像７０に表示させるための処理を行う。本明細書では、候補リスト２３ｄから選択された装飾オブジェクトを「選択装飾オブジェクト」と呼ぶことがある。
【0075】
候補リスト２３ｄからの装飾オブジェクトの選択は、例えば、サポーターＢ１及びサポーターＢ２がサポーターコンピュータ４０を操作することによってなされる。一態様において、サポーターコンピュータ４０には、装飾オブジェクト選択画面が表示される。図８は、一態様における装飾オブジェクト選択画面８０の例を示す。この装飾オブジェクト選択画面８０は、例えば、サポーターコンピュータ４０のディスプレイに表示される。装飾オブジェクト選択画面８０は、例えば、表形式で候補リスト２３ｄに含まれている複数の装飾オブジェクトの各々を表示する。図示のように、一態様における装飾オブジェクト選択画面８０は、装飾オブジェクトの種類を表示する第１列８１と、装飾オブジェクトの画像を表示する第２列８２と、装飾オブジェクトが関連付けられているキャラクタオブジェクトの部位を表示する第３列８３と、を有する。また、装飾オブジェクト選択画面８０には、各装飾オブジェクトを選択するための選択ボタン８４ａ～８４ｃが表示されている。このように、装飾オブジェクト選択画面８０には、選択装飾オブジェクトの候補となる装飾オブジェクトが表示される。
【0076】
サポーターＢ１及びサポーターＢ２は、この装飾オブジェクト選択画面８０に含まれている装飾オブジェクトのうちの一又は複数を選択することができる。例えば、サポーターＢ１及びサポーターＢ２は、選択ボタン８４ａを選択することにより、カチューシャを選択することができる。装飾オブジェクト選択部２１ｇによってカチューシャが選択されたことが検出されると、表示要求処理部２１ｆは、図７に示すように、選択されたカチューシャを示す選択装飾オブジェクト７５を動画の表示画面７０に表示させる。選択装飾オブジェクト７５は、キャラクタオブジェクトの特定の部位と関連付けて、表示画像７０に表示される。選択装飾オブジェクト７５は、キャラクタオブジェクトのうちの当該特定の部位に接するように表示されてもよい。例えば、カチューシャを示す選択７５は、キャラクタオブジェクトの頭部と対応付けられているため、図７に示されているように、キャラクタオブジェクト７１Ａの頭部に装着される。装飾オブジェクトは、キャラクタオブジェクトの当該特定部位の動きに付随して動くように、表示画面７０に表示されてもよい。例えば、カチューシャを装着したキャラクタオブジェクト７１Ａの頭部が動くと、あたかもカチューシャがキャラクタオブジェクト７１Ａの頭部に装着されているかのごとく、カチューシャを示す選択装飾オブジェクト７５もキャラクタオブジェクト７１Ａの頭部に付随して動く。
【0077】
選択装飾オブジェクト７５は、キャラクタオブジェクト７１Ａではなく、キャラクタオブジェクト７１Ｂに関連付けられて表示画面７０に表示されてもよい。選択装飾オブジェクト７５は、キャラクタオブジェクト７１Ａ及びキャラクタオブジェクト７１Ｂに関連付けられて表示画面７０に表示されてもよい。
【0078】
一実施形態において、装飾オブジェクト選択画面８０は、各装飾オブジェクトを保有するユーザ、又は、各装飾オブジェクトの表示要求を行ったユーザを特定可能な情報を含まないように構成されてもよい。これにより、装飾オブジェクトの選択の際に、選択者が特定のユーザを優遇することを防止できる。
【0079】
一実施形態において、装飾オブジェクト選択画面８０は、各装飾オブジェクトを保有するユーザ、又は、各装飾オブジェクトについて、当該装飾オブジェクトの表示要求を行ったユーザに関する情報を表示するようにしてもよい。例えば、各装飾オブジェクトについて、当該装飾オブジェクトの表示要求を行ったユーザがこれまでに装飾オブジェクトの表示要求を行った回数と選択された回数（例えば、これまでに装飾オブジェクトの表示要求を５回行ってそのうち２回は選択されたことを示す情報）、当該ユーザがキャラクタオブジェクト７１Ａ及びキャラクタオブジェクトＢの少なくとも一方の動画を視聴した視聴回数、当該ユーザが動画配信システム１における動画（キャラクタオブジェクト７１Ａ及びキャラクタオブジェクトＢの出演有無を問わない）の視聴回数、当該ユーザによるギフトオブジェクトの購入金額、当該ユーザによるオブジェクトの購入回数、当該ユーザが保有する動画配信システム１内で使用できるポイント、当該ユーザの動画配信システム１におけるレベル、及びこれら以外の各装飾オブジェクトの表示要求を行ったユーザに関する各種情報を表示してもよい。当該実施形態によれば、装飾オブジェクトの表示要求を行ったユーザのこれまでの動画配信システム１における行動や視聴履歴に基づいて、装飾オブジェクトの選択を行うことができる。
【0080】
一実施形態において、装飾オブジェクトの表示には、重複を排除するための制約が課されてもよい。例えば、キャラクタオブジェクト７１Ａに関し、その特定の部位に関連付けられた装飾オブジェクトが既に選択されている場合には、当該特定の部位に関連付けられた他の装飾オブジェクトの選択が禁止されてもよい。図７の実施形態に示されているように、キャラクタオブジェクト７１Bの「頭部」に関連付けられているカチューシャが既に選択されている場合には、「頭部」に関連付けられているそれ以外の装飾オブジェクト（例えば、頭部に関連付けられている「帽子」を表す装飾オブジェクト）は、装飾オブジェクト選択画面８０に表示されないか、または、当該帽子を表す装飾オブジェクトを選択するための選択ボタンが選択画面８０において選択不能とされてもよい。当該実施形態によれば、装飾オブジェクトがキャラクタオブジェクトの特定の部位に重複して表示されることを防止できる。
【0081】
装飾オブジェクト選択画面８０は、サポーターコンピュータ４０に代えて、または、サポーターコンピュータ４０に加えて、他の装置に表示されてもよい。例えば、装飾オブジェクト選択画面８０は、スタジオルームＲ内のディスプレイ３９及びスクリーンＳの少なくとも一方に表示されてもよい。この場合、アクターＡ１及びアクターＡ２が当該ディスプレイ３９又はスクリーンＳに表示された装飾オブジェクト選択画面８０に基づいて、所望の装飾オブジェクトを選択することができる。アクターＡ１及びアクターＡ２による装飾オブジェクトの選択は、例えば、コントローラ３３ａ、コントローラ３３ｂ、コントローラ３４ａ、またはコントローラ３４ｂを操作することによりなされ得る。
【0082】
一態様において、オブジェクト購入処理部２１ｈは、動画の視聴ユーザからの要求に応じて、当該動画に関連して購入可能な複数のギフトオブジェクトの各々の購入情報を当該視聴ユーザのクライアント装置（例えば、クライアント装置１０ａ）に送信する。各ギフトオブジェクトの購入情報には、当該ギフトオブジェクトの種類（エフェクトオブジェクト、通常オブジェクト、または装飾オブジェクト）、当該ギフトオブジェクトの画像、当該ギフトオブジェクトの価格、及びこれら以外のギフトオブジェクトの購入に必要な情報が含まれ得る。視聴ユーザは、クライアント装置１０ａに表示されているギフトオブジェクトの購入情報に基づいて、購入するギフトオブジェクトを選択することができる。購入対象のギフトオブジェクトの選択は、クライアント装置１０ａの操作により行われてもよい。購入対象のギフトオブジェクトが視聴ユーザによって選択されると、当該ギフトオブジェクトの購入要求がサーバ装置２０に送信される。オブジェクト購入処理部２１ｈは、当該購入要求に基づいて、決済処理を行う。この決済処理が完了すると、当該購入されたギフトオブジェクトは、当該視聴ユーザによって保有される。この場合、保有リスト２３ｃに、購入した視聴ユーザのユーザＩＤと対応づけて、購入されたギフトオブジェクトのオブジェクトＩＤが記憶される。
【0083】
購入可能なギフトオブジェクトは、動画ごとに異なっていてもよい。購入可能なギフトオブジェクトは、複数の動画において購入可能であってもよい。つまり、購入可能なギフトオブジェクトには、各動画に固有の固有ギフトオブジェクトと、複数の動画において購入可能な共通ギフトオブジェクトと、が含まれてもよい。例えば、紙吹雪を示すエフェクトオブジェクトは、複数の動画において購入可能な共通ギフトオブジェクトであってもよい。
【0084】
一態様においては、所定の動画を視聴中にエフェクトオブジェクトを購入した場合、当該エフェクトオブジェクトを購入するための決済処理が完了したことに応じて、当該購入対象のエフェクトオブジェクトが当該視聴中の動画に自動的に表示されてもよい。所定の動画を視聴中に通常オブジェクトを購入した場合、上記と同様に、当該通常オブジェクトを購入するための決済処理が完了したことに応じて、当該購入対象の通常ギフトオブジェクトが当該視聴中の動画に自動的に表示されてもよい。
【0085】
他の態様においては、購入対象のエフェクトオブジェクトについてオブジェクト購入処理部２１ｈにおける決済処理が完了したことに応じて、決済完了通知がクライアント装置１０ａに送信され、当該クライアント装置１０ａにおいて、購入されたエフェクトオブジェクトの表示要求を行うか否かを視聴ユーザに確認するための確認画面が表示されてもよい。視聴ユーザが、当該購入されたエフェクトオブジェクトについて表示要求を行うことを選択した場合には、当該購入されたエフェクトオブジェクトの表示を要求する表示要求が、当該視聴ユーザのクライアント装置から表示要求処理部２１ｆに送信され、表示要求処理部２１ｆにおいて、当該購入対象のエフェクトオブジェクトを動画７０に表示させる処理が行われてもよい。購入対象が通常オブジェクトの場合にも、上記と同様に、購入された通常オブジェクトの表示要求を行うか否かを視聴ユーザに確認するための確認画面がクライアント装置１０ａに表示されてもよい。
【0086】
次に、一実施形態におけるサポーターコンピュータ４０について説明する。一実施形態において、サポーターコンピュータ４０は、コンピュータプロセッサ４１と、通信Ｉ／Ｆ４２と、ストレージ４３と、ディスプレイ４４と、入力インタフェース４５と、を備える。
【0087】
コンピュータプロセッサ４１は、コンピュータプロセッサ２１と同様に、ＣＰＵ等の各種演算装置である。通信Ｉ／Ｆ４２は、通信Ｉ／Ｆ２２と同様に、他の装置と通信を行うための各種ドライバ、ソフトウェア、またはこれらの組み合わせである。ストレージ４３は、ストレージ２３と同様に、磁気ディスク等のデータを記憶可能な各種記憶装置である。ディスプレイ４４は、液晶ディスプレイ、有機ＥＬディスプレイ、無機ＥＬディスプレイ、又はこれら以外の画像を表示可能な任意の表示装置である。入力インタフェース４５は、マウス、キーボード等のサポーターからの入力を受け付ける任意の入力インタフェースである。ディスプレイ４４は、第２表示装置の例である。
【0088】
図９は、サポーターコンピュータ４０のディスプレイ４４に表示される画像の例を示す。図示の実施形態において、ディスプレイ４４に表示されている表示画像４６は、第１のタイプのクライアント装置（例えば、パーソナルコンピュータ）における動画の表示画面を表示する第１表示領域４７ａと、第２のタイプのクライアント装置（例えば、パーソナルコンピュータ）における動画の表示画面を表示する第２表示領域４７ｂと、複数の操作用アイコン４８と、を含んでいる。
【0089】
サポーターは、第１表示領域４７ａに表示されている動画をモニターすることにより、第１のタイプのクライアント装置に配信された動画が正常に表示されているかを確認することができ、同様に、第２表示領域４７ｂに表示されている動画をモニターすることにより、第２のタイプのクライアント装置に配信された動画が正常に表示されているかを確認することができる。
【0090】
操作用アイコン４８は、図示の実施形態においては、第１操作用アイコン４８ａ、第２操作用アイコン４８ｂ、第３操作用アイコン４８ｃ、第４操作用アイコン４８ｄ、及び第５操作用アイコン４８ｅを含む。サポーターは、入力インタフェース４５を介して、所望の操作用アイコンを選択することができる。サポーターによって第１操作用アイコン４８ａ、第２操作用アイコン４８ｂ、第３操作用アイコン４８ｃ、第４操作用アイコン４８ｄ、及び第５操作用アイコン４８ｅが選択されると、サポータコンピュータ４０によって第１操作入力、第２操作入力、第３操作入力、第４操作入力、及び第５操作入力がそれぞれ受け付けられる。
【0091】
次に、コンピュータプロセッサ４１により実現される機能についてより具体的に説明する。コンピュータプロセッサ４１は、所定のプログラムに含まれるコンピュータ読み取り可能な命令を実行することにより、付加情報表示部４１ａ及び配信管理部４１ｂとして機能する。コンピュータプロセッサ４１により実現される機能の少なくとも一部は、動画配信システム１のコンピュータプロセッサ４１以外のコンピュータプロセッサにより実現されてもよい。コンピュータプロセッサ４１により実現される機能の少なくとも一部は、例えば、コンピュータプロセッサ２１により実現されてもよい。
【0092】
付加情報表示部４１ａは、サポーターからの入力インタフェース４５を介した様々な操作入力に応じて、配信動画に様々な付加情報を付加するように構成される。
【0093】
一実施形態において、付加情報表示部４１ａは、第１操作用アイコン４８ａの選択によりサポーターコンピュータ４０において第１操作入力が受け付けられると、当該第１操作入力に基づいてディスプレイ３９に表示されている動画にメッセージ１０１を表示させる一方でクライアント装置にはメッセージ１０１を表示させないように構成される。メッセージ１０１は、第１付加情報の例である。
【0094】
図１０に、ディスプレイ３９に表示された動画の表示画像の例が示されている。図１０に示されている表示画像１００は、メッセージ１０１を含んでいる。表示画像１００は、メッセージ１０１を含む点以外は、同じタイミングで視聴ユーザのクライアント装置に配信及び表示されている動画の表示画像７０（図５参照）と、同じである。つまり、ディスプレイ３９に表示されている表示画像１００は、配信されている動画に、メッセージ１０１を付加することで構成されている。
【0095】
メッセージ１０１は、例えば、サポーターによって入力されたテキスト形式のメッセージである。メッセージ１０１は、テキスト形式情報に加えて、または、テキスト形式の情報に加えて画像情報を含んでもよい。メッセージ１０１は、アクターのパフォーマンスに関する指示、アクターの発言に関する指示、アクターの立ち位置に関する指示、及び前記以外の配信中の動画に関連する様々な指示や連絡事項を含むことができる。
【0096】
一実施形態においては、サポーターがサポーターコンピュータ４０において第１操作用アイコン４８ａを選択すると、メッセージ入力用のウィンドウがサポーターコンピュータ４０のディスプレイ４４に表示される。当該サポーターは、入力インタフェース４５を操作することにより、当該ウィンドウ内のメッセージ入力領域にメッセージを入力することができる。入力されたメッセージは、サポーターコンピュータ４０からディスプレイ３９に送信される。ディスプレイ３９及びクライアント装置１０ａ～１０ｃには、動画配信部２１ｅにより配信されている動画が表示されている。ディスプレイ３９には、図１０に示されているように、動画配信部２１ｅから配信されている動画の所定領域に、サポーターコンピュータ４０から受信したメッセージがメッセージ１０１として表示される。他方、クライアント装置１０ａ～１０ｃにおいて表示される動画には、メッセージ１０１またはこれに相当する情報は表示されない。当該実施形態によれば、クライアント装置の視聴ユーザによって視聴される動画に影響を与えずに、アクターまたはそれ以外のディスプレイ３９を視認可能な配信側のスタッフに対して、配信中の動画に関連する指示や連絡事項を伝達することができる。
【0097】
続いて、図１１ａ及び図１１ｂを参照して第２付加情報の表示について説明する。一実施形態において、付加情報表示部４１ａは、第２操作用アイコン４８ｂの選択によりサポーターコンピュータ４０において第２操作入力が受け付けられると、当該第２操作入力に基づいて、ディスプレイ３９に表示されている動画及びクライアント装置に表示されている動画に割り込み画像を表示させるように構成される。割り込み画像は、第２付加情報の例である。第２操作入力は、アクターＡ１のコントローラ３３ａもしくは３３ｂの操作に応じて、または、アクターＡ２のコントローラ３４ａもしくは３４ｂの操作に応じてサーバ装置２０またはサポーターコンピュータ４０に入力されてもよい。
【0098】
図１１ａには、第２操作入力が受け付けられた際にクライアント装置１０ａに表示される表示画像１１０ａの例が示されており、図１１ｂには、第２操作入力が受け付けられた際にディスプレイ３９に表示される表示画像１１０ｂの例が示されている。表示画像１１０ａ及び表示画像１１０ｂはいずれも、割り込み画像１１１を含んでいる。割り込み画像１１１は、配信中の動画の 上層のレイヤに設定される。これにより、動画を再生中のクライアント装置及びディスプレイ３９においては、割り込み画像１１１が画面表示される。クライアント装置に表示される割り込み画像１１１とディスプレイ３９に表示される割り込み画像１１１との間には、表示される機器の性能に応じて視覚上若干の差異が存在する可能性があるが、両者は実質的に同じ画像である。
【0099】
図示の実施形態において、割り込み画像１１１は、動画配信中に不測の事態が発生した際に、通常の仮想空間及びキャラクタオブジェクトを含む動画に代えて表示するための緊急表示用の画像である。サポーターは、例えば、スタジオルームＲで使用している機器の故障によりキャラクタオブジェクトのモーション制御に支障が発生した場合に、サポーターコンピュータ４０において第２操作用アイコン４８ｂを選択することができる。付加情報表示部４１ａは、第２操作用アイコン４８ｂが選択されたことに応じて、各クライアント装置及びディスプレイ３９に割り込み画像１１１を表示するための処理を行う。
【0100】
ディスプレイ３９に割り込み画像１１１が表示されている間に第１操作用アイコン４８ａの選択により第１操作入力が受け付けられると、付加情報表示部４１ａは、ディスプレイ３９において、割り込み画像１１１に重畳させてメッセージ１０１を表示させてもよい。
【0101】
上記実施形態によれば、動画の配信中に不測の事態が発生した場合に、通常の動画をそのまま配信し続けるのではなく、緊急表示用の割り込み画像１１１をクライアント装置及びディスプレイ３９に配信することができる。配信者側は、この割り込み画像１１１が表示されている間に、事態の収拾を図ることができる。
【0102】
続いて、図１２ａ及び図１２ｂを参照して第３付加情報の表示及び修正キャラクタオブジェクトの生成について説明する。一実施形態において、付加情報表示部４１ａは、第３操作用アイコン４８ｃの選択によりサポーターコンピュータ４０において第３操作入力が受け付けられると、修正キャラクタオブジェクトを生成し、当該修正キャラクタオブジェクトを含む動画を配信するための処理を行うように構成される。この第３操作入力は、アクターＡ１のコントローラ３３ａもしくは３３ｂの操作に応じて、または、アクターＡ２のコントローラ３４ａもしくは３４ｂの操作に応じてサーバ装置２０またはサポーターコンピュータ４０に入力されてもよい。
【0103】
図１２ａには、クライアント装置１０ａに表示されている表示画像１２０ａの別の例が示されており、図１２ｂには、クライアント装置１０ａに表示されている表示画像１２０ｂの例が示されている。図１２ａの表示画像１２０ａは、キャラクタオブジェクト７１Ｂを含んでおり、図１２ｂの表示画像１２０ａは、後述する修正キャラクタオブジェクト１７１Ｂを含んでいる。上記のように、キャラクタオブジェクト７１Ｂの表情は、アクターＡ２のフェイスモーションデータに基づいて、アクターＡ２の表情の動きに同期して変化するように制御される。本明細書においては、キャラクタオブジェクトのうち、フェイスモーションデータに基づいて変化する部位の全部または一部を「フェイス部」と呼ぶことがある。図示の実施形態においては、キャラクタオブジェクト７１Ｂの目の動きは、アクターＡ２の目の動きに同期して動くようにモーション制御が行われるので、キャラクタオブジェクト７１Ｂの両目を含む位置にフェイス部１２１が設定されている。フェイス部１２１は、キャラクタオブジェクト７１Ｂの顔全体を含むように設定されてもよい。
【0104】
図１２ａに示されている表示画像１２０ａにおいては、フェイス部１２１内に表示されているキャラクタオブジェクト７１Ｂの目の画像は、フェイスモーションデータをモデルデータに適用することにより生成されたものである。これに対して、図１２ｂに示されている表示画像１２０ｂにおいては、フェイス部１２１内に表示されている目の画像は、動画配信開始前から予め準備されていた嵌め込み画像１２２ｂである。嵌め込み画像１２２ｂは、ストレージ２３に記憶されていてもよい。嵌め込み画像１２２ｂは、第３付加情報の例である。
【0105】
一実施形態において、付加情報表示部４１ａは、第３操作入力が受け付けられると、キャラクタオブジェクト７１Ｂのフェイス部１２１に、嵌め込み画像１２２ｂを表示するように構成される。例えば、付加情報表示部４１ａは、第３操作入力が受け付けられると、アニメーション生成部２１ｃに対して修正指示を送信し、アニメーション生成部２１ｃは、付加情報表示部４１ａからの修正指示に基づいて、キャラクタオブジェクト７１Ｂのフェイス部１２１に、フェイスモーションデータに基づいて生成される画像ではなく嵌め込み画像１２２ｂを嵌め込むことで、修正キャラクタオブジェクト１７１Ｂのアニメーションを生成するように構成される。本明細書では、フェイス部１２１に、フェイスモーションデータに基づいて生成された画像ではなく、嵌め込み画像１２２ｂが嵌め込まれたキャラクタオブジェクトを修正キャラクタオブジェクトと呼ぶことがある。修正キャラクタオブジェクトは、アニメーション生成部２１ｃによって生成されたキャラクタオブジェクトの一部が修正されたオブジェクトである。上記の例では、アニメーション生成部２１ｃによって生成されたキャラクタオブジェクトの７１Ｂのフェイス部１２１に嵌め込み画像１２２ｂを嵌め込み表示することによって、修正キャラクタオブジェクト１７１Ｂのアニメーションが生成されている。
【0106】
フェイスモーションデータをモデルデータに適用してキャラクタオブジェクトの表情を変化させる処理は、プロセッサにとって処理負荷が高い。このため、キャラクタオブジェクトの表情がアクターの表情にタイムリーに追従できないことがある。音声や表情以外の動きは、アクターの発声や体の動きにタイムリーに追従できるため、キャラクタオブジェクトの表情がアクターの表情にタイムリーに追従できないと、視聴ユーザに違和感を与えてしまう。上記実施形態によれば、キャラクタオブジェクトの表情がアクターの表情にタイムリーに追従できない場合に、予め準備されている嵌め込み画像１２２ｂを組み込んだ修正キャラクタオブジェクトを生成し、この修正キャラクタオブジェクトを含む動画を配信することにより、キャラクタオブジェクトの表情がアクターの表情に追従できないことによる動画の品質の低下を防ぐことができる。
【0107】
ストレージ２３には、嵌め込み画像１２２ｂの候補として、複数の異なる種類の画像が記憶されていてもよい。サポーターコンピュータ４０のディスプレイ４４にこの嵌め込み画像１２２ｂの候補が表示され、この候補の中からサポーターによって選択された画像を嵌め込み画像１２２ｂとしてもよい。
【0108】
続いて、図１３を参照してブラインドオブジェクトの表示について説明する。一実施形態において、付加情報表示部４１ａは、第４操作用アイコン４８ｄの選択により第４操作入力が受け付けられると、装飾オブジェクトを装着するキャラクタオブジェクトの少なくとも一部を隠すためのブラインドオブジェクトを表示するように構成される。この第４操作入力は、アクターＡ１のコントローラ３３ａもしくは３３ｂの操作に応じて、または、アクターＡ２のコントローラ３４ａもしくは３４ｂの操作に応じてサーバ装置２０またはサポーターコンピュータ４０に入力されてもよい。
【0109】
図１３の実施形態では、選択画面８０においてキャラクタオブジェクト７１Ｂに装着させる装飾オブジェクトとしてＴシャツが選択されたことが想定されている。付加情報表示部４１ａは、キャラクタオブジェクト７１Ｂのうち、選択された装飾オブジェクトと対応づけられている部位を隠すようにブラインドオブジェクトを表示させることができる。図１３の表示画像１３０においては、キャラクタオブジェクト７１Ｂのうち、選択装飾オブジェクトであるＴシャツに対応づけられた胴部が少なくとも隠されるようにブラインドオブジェクト１３１が表示されている。
【0110】
続いて、配信禁止ユーザへの動画の配信禁止処理について説明する。一実施形態において、配信管理部４１ｂは、第５操作用アイコン４８ｅの選択により第５操作入力が受け付けられると、特定の視聴ユーザまたは特定のクライアント装置への動画の配信を禁止するための処理を行うように構成される。一実施形態において、動画の配信中に第５操作用アイコン４８ｅが選択されると、当該動画を視聴中のユーザの一覧が表示される。配信管理部４１ｂは、この一覧の中からサポーター又はアクターにより選択されたユーザに対する当該動画の配信を中止するための処理を行う。例えば、配信管理部４１ｂは、動画の配信先リストに、選択されたユーザ（配信禁止ユーザ）を識別するためのフラグを書き込むことができる。動画配信部２１ｅは、動画の配信先リストに含まれるユーザのうち、配信禁止ユーザを識別するフラグが付与されていないユーザに対して、当該動画を配信することができる。これにより、配信禁止ユーザに対する当該動画の配信が中止される。他の実施形態において、配信管理部４１ｂは、配信中の動画を視聴中のユーザの一覧の中からサポーター又はアクターにより選択されたユーザに対し、ユーザが通常利用できる機能の一部を利用不可能にするように構成されてもよい。例えば、配信管理部４１ｂは、不適切なメッセージを投稿したユーザに対して、メッセージの投稿を禁止するように構成されてもよい。メッセージの投稿を禁止されたユーザは、その禁止後も動画を継続して視聴することはできるが、当該動画に関するメッセージの投稿は行うことができなくなる。
【0111】
次に、図１４～図１９を参照して、一態様による動画配信処理について説明する。図１４は、一実施形態における動画配信処理の流れを示すフロー図であり、図１５は、一実施形態における第１付加情報を表示する処理の流れを示すフロー図であり、図１６は、一実施形態における第２付加情報を表示する処理の流れを示すフロー図であり、図１７は、一実施形態における第３付加情報を表示する処理の流れを示すフロー図であり、図１８は、一実施形態におけるブラインドオブジェクトを表示する処理の流れを示すフロー図であり、図１９は、一実施形態において配信禁止ユーザへの動画配信を禁止する処理の流れを示すフロー図である。
【0112】
まず、図１４を参照して、一実施形態における動画配信処理について説明する。当該動画配信処理においては、スタジオルームＲにおいてアクターＡ１及びアクターＡ２がパフォーマンスを行っていることが想定されている。まず、ステップＳ１１では、アクターＡ１及びアクターＡ２の体の動きのデジタル表現であるボディモーションデータと、アクターＡ１及びアクターＡ２の顔の動き（表情）のデジタル表現であるフェイスモーションデータと、が生成される。ボディモーションデータの生成は、例えば、上記のボディモーションデータ生成部２１ａで行われ、フェイスモーションデータの生成は、例えば、上記のフェイスモーションデータ生成部２１ｂで行われる。
【0113】
次に、ステップＳ１２において、アクターＡ１のボディモーションデータ及びフェイスモーションデータを、アクターＡ１用のモデルデータに適用することにより、アクターＡ１の体及び表情の動きに同期して動く第１キャラクタオブジェクトのアニメーションが生成される。同様に、アクターＡ２のボディモーションデータ及びフェイスモーションデータを、アクターＡ２用のモデルデータに適用することにより、アクターＡ２の体及び表情の動きに同期して動く第２キャラクタオブジェクトのアニメーションが生成される。このアニメーションの生成は、例えば、上記のアニメーション生成部２１ｃで行われる。
【0114】
次に、ステップＳ１３において、アクターＡ１に対応する第１キャラクタオブジェクトのアニメーションと、アクターＡ２に対応する第２キャラクタオブジェクトのアニメーションと、を含む動画を生成する。この動画には、アクターＡ１及びアクターＡ２の音声が合成されてもよい。第１キャラクタオブジェクトのアニメーション及び第２キャラクタオブジェクトのアニメーションは、仮想空間内に配置されてもよい。この動画の生成は、例えば、上記の動画生成部２１ｄで行われる。
【0115】
次に、ステップＳ１４に移行し、ステップＳ１３にて生成された動画が配信される。この動画は、ネットワーク５０を介してクライアント装置１０ａ～クライアント装置１０ｃ及びこれら以外のクライアント装置に配信される。この動画は、サポーターコンピュータ４０に配信され、また、スタジオルームＲ内のスクリーンＳに投影されてもよい。動画は、所定の配信期間にわたって継続して配信される。動画の配信期間は、例えば、３０秒間、１分間、５分間、１０分、３０分間、６０分間、１２０分間、及びこれら以外の任意の時間に定め得る。
【0116】
次に、ステップＳ１５に進み、動画の配信を終了させるための終了条件が成就したか否かが判定される。終了条件は、例えば、配信の終了時刻に達したこと、サポーターコンピュータ４０により配信を終了するための指示がなされたこと、またはこれら以外の条件である。終了条件が成就していなければステップＳ１１～Ｓ１４の処理が繰り返し実行され、アクターＡ１及びアクターＡ２の動きに同期したアニメーションを含む動画の配信が継続される。動画について終了条件が成就していると判定された場合には、当該動画の配信処理を終了する。
【0117】
次に、図１５をさらに参照して、動画の配信中に行われる第１付加情報の表示処理について説明する。動画の配信中に、ステップＳ２１において、第１操作入力がなされたか否かが判定される。例えば、サポーターコンピュータ４０において第１操作用アイコン４８ａが選択されると、第１操作入力がなされたと判断される。第１操作入力がなされた場合には、第１付加情報の表示処理はステップＳ２２へ進む。ステップＳ２２では、ディスプレイ３９に表示されている動画に第１付加情報の例であるメッセージ１０１が表示され、第１付加情報の表示処理は終了する。このとき、クライアント装置にはメッセージ１０１は表示されない。
【0118】
次に、図１６をさらに参照して、動画の配信中に行われる第２付加情報の表示処理について説明する。動画の配信中に、ステップＳ３１において、第２操作入力がなされたか否かが判定される。例えば、サポーターコンピュータ４０において第２操作用アイコン４８ｂが選択されると、第２操作入力がなされたと判断される。第２操作入力がなされた場合には、第２付加情報の表示処理はステップＳ３２へ進む。ステップＳ３２では、第２付加情報の例である割り込み画像１１１が、クライアント装置及びディスプレイ３９にそれぞれ表示され、第２付加情報の表示処理は終了する。
【0119】
次に、図１７をさらに参照して、動画の配信中に行われる第３付加情報の表示処理について説明する。動画の配信中に、ステップＳ４１において、第３操作入力がなされたか否かが判定される。例えば、サポーターコンピュータ４０において第３操作用アイコン４８ｃが選択されると、第３操作入力がなされたと判断される。第３操作入力がなされた場合には、第３付加情報の表示処理はステップＳ４２へ進む。ステップＳ４２では、第３付加情報の例である嵌め込み画像１２２ｂが、キャラクタオブジェクトのフェイス部に表示され、第３付加情報の表示処理は終了する。
【0120】
次に、図１８をさらに参照して、動画の配信中に行われるブラインドオブジェクトの表示処理について説明する。動画の配信中に、ステップＳ５１において、当該動画に登場するキャラクタオブジェクトに装着させる装飾オブジェクトの選択がなされたか否かが判定される。上記のように、キャラクタオブジェクトに装着される装飾オブジェクトは、候補リスト２３ｄに含まれている装飾オブジェクトの候補の中から選択され得る。装飾オブジェクトの選択処理は、例えば、上記の装飾オブジェクト選択部２１ｇにより実行される。
【0121】
ステップＳ５１において装飾オブジェクトが選択されたと判定された場合には、処理はステップＳ５２へ進む。ステップＳ５２では、第４操作入力がなされたか否かが判定される。例えば、サポーターコンピュータ４０において第４操作用アイコン４８ｄが選択されると、第４操作入力がなされたと判断される。第４操作入力がなされた場合には、ブラインドオブジェクトの表示処理はステップＳ５３へ進む。他の実施形態においては、候補リスト２３ｄから装飾オブジェクトの選択がなされたことをもって第４操作入力がなされたと判断してもよい。この場合、ステップＳ５２は省略され、ブラインドオブジェクトの表示処理はステップＳ５１からステップＳ５３に進む。
【0122】
ステップＳ５３では、ブラインドオブジェクト１３１が、キャラクタオブジェクトの少なくとも一部を隠すように表示される。例えば、ステップＳ５１で選択された装飾オブジェクトがＴシャツである場合には、このＴシャツと対応づけられているキャラクタオブジェクトの胴部を隠すようにブラインドオブジェクト１３１が動画に付加される。
【0123】
次に、図１９をさらに参照して、特定のユーザへ動画の配信を禁止するための配信禁止処理について説明する。動画の配信中に、ステップＳ６１において、第５操作入力がなされたか否かが判定される。例えば、サポーターコンピュータ４０において第５操作用アイコン４８ｅが選択されると、第５操作入力がなされたと判断される。
【0124】
第５操作入力がなされた場合には、配信禁止処理はステップＳ６２へ進む。ステップＳ６２では、当該動画の配信を禁止するユーザ（配信禁止ユーザ）が指定される。例えば、サポーターコンピュータ４０のディスプレイ４４に当該動画を視聴中のユーザのリストが表示され、このリストの中からサポーターにより選択されたユーザが配信禁止ユーザとして指定される。配信禁止ユーザを指定するための処理は、例えば、上記の配信管理部４１ｂにより実行される。
【0125】
次に、配信禁止処理はステップＳ６３へ進む。ステップＳ６３では、動画の配信先リストに含まれるユーザのうち配信禁止ユーザとして指定されていないユーザに対してのみ当該動画が配信される。この動画の配信処理は、例えば、上記の動画配信部２１ｅにより実行される。
【0126】
上記の実施形態における動画配信システム１によれば、ライブ配信中に起こる不測の事態への対処が容易になる。例えば、メッセージ１０１をクライアント装置には表示させずにディスプレイ３９に表示させることにより、視聴ユーザによって視聴される動画に影響を与えずに、アクターまたはそれ以外のディスプレイ３９を視認可能な配信側のスタッフに対して、配信中の動画に関連する指示や連絡事項を伝達することができる。
【0127】
他の実施形態によれば、動画の配信中に不測の事態が発生した場合に、通常の動画をそのまま配信し続けるのではなく、緊急表示用の割り込み画像１１１をクライアント装置及びディスプレイ３９に配信することができる。
【0128】
他の一実施形態によれば、キャラクタオブジェクトの表情がアクターの表情にタイムリーに追従できない場合であっても、予め準備されている嵌め込み画像１２２ｂを組み込んだ修正キャラクタオブジェクトを生成し、この修正キャラクタオブジェクトを含む動画を配信することにより、キャラクタオブジェクトの表情がアクターの表情に追従できないことによる動画の品質の低下を防ぐことができる。
【0129】
他の一実施形態によれば、一部の視聴ユーザが不適切なメッセージを投稿するなどの不適切な行動をとった場合でも、当該視聴ユーザへの動画の配信を中止することができる。
【0130】
本発明の実施形態は、上述した実施形態に限定されるものではなく、その要旨を逸脱しない範囲内で様々な変更が可能である。例えば、配信される動画は、スタジオルームＲ以外で撮影及び生成されてもよい。例えば、配信される動画を生成するための撮影は、アクターやサポーターの自宅で行われてもよい。
【0131】
本明細書において説明された処理手順、特にフロー図を用いて説明された処理手順においては、その処理手順を構成する工程（ステップ）の一部を省略すること、その処理手順を構成する工程として明示されていない工程を追加すること、及び／又は当該工程の順序を入れ替えることが可能であり、このような省略、追加、順序の変更がなされた処理手順も本発明の趣旨を逸脱しない限り本発明の範囲に含まれる。
【0132】
以下に、本願の原出願の出願当初の特許請求の範囲に記載された発明を付記する。
［１］
アクターの動きに基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画を第１ユーザが使用する第１クライアント装置にライブ配信するように構成された配信サーバ装置と、
第５操作入力に基づいて前記第１ユーザへの前記動画へのメッセージの投稿を禁止するように構成されたサポーターコンピュータと、
を備える動画配信システム。
［２］
前記サポーターコンピュータは、前記第５操作入力に応じて、前記動画を視聴中のユーザを示す配信先リストを表示し、
前記配信先リストから前記第１ユーザが選択された場合に、前記第１ユーザへの前記動画へのメッセージの投稿を禁止する、
［１］に記載の動画配信システム。
［３］
前記第１ユーザは、前記動画へのメッセージの投稿が禁止された後に前記動画を視聴することができる、
［１］又は［２］に記載の動画配信システム。
［４］
前記サポーターコンピュータは、前記第５操作入力に応じて、前記動画を視聴中のユーザを示す配信先リストを表示し、
前記配信先リストから前記第１ユーザが選択された場合に、前記第１ユーザへの前記動画の配信を中止する、
［１］又は［２］に記載の動画配信システム。
［５］
前記サポーターコンピュータは、第３操作入力に基づいて前記キャラクタオブジェクトの少なくとも一部を修正した修正キャラクタオブジェクトを生成させ、前記動画に前記修正キャラクタオブジェクトを含めるように構成される、
［１］から［４］のいずれかに記載の動画配信システム。
［６］
前記キャラクタオブジェクトは、前記アクターの顔の動きを示すフェイスモーションデータに基づいて動くように生成されるフェイス部を有し、
前記配信サーバ装置は、前記第３操作入力に基づいて
、前記フェイス部に第３付加情報を表示するように構成される、
［５］に記載の動画配信システム。
［７］
前記キャラクタオブジェクトに関連づけて表示される装飾オブジェクトを記憶するストレージをさらに備え、
前記サポーターコンピュータは、第４操作入力に基づいて前記装飾オブジェクトを前記動画に表示する際に前記キャラクタオブジェクトの少なくとも一部を隠すためのブラインドオブジェクトを表示するように構成される、
［１］から［６］のいずれかに記載の動画配信システム。
［８］
前記配信サーバ装置は、前記第１クライアント装置に加えて第２ユーザが使用する第２クライアント装置に前記動画をライブ配信するように構成され、
前記第１クライアント装置は、第１タイプの装置であり、
前記第２クライアント装置は、前記第１タイプの装置と異なる第２タイプの装置であり、
前記サポーターコンピュータは、前記第１クライアント装置において表示される前記動画の表示画像、及び、前記第２クライアント装置において表示される前記動画の表示画像を表示する第２表示装置を備える、
［１］から［７］のいずれかに記載の動画配信システム。
［９］
前記サポーターコンピュータは、第５操作入力に基づいて前記第１ユーザへの前記動画の配信を禁止するように構成される、
［１］から［８］のいずれかに記載の動画配信システム。
［１０］
一又は複数のコンピュータプロセッサがコンピュータ読み取り可能な命令を実行することにより実行される動画配信方法であって、
アクターの動きに基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画を第１ユーザが使用する第１クライアント装置にライブ配信する工程と、
サポーターコンピュータへの第５操作入力に基づいて前記第１ユーザへの前記動画へのメッセージの投稿を禁止する工程と、
を備える動画配信方法。
［１１］
一又は複数のコンピュータプロセッサに、
アクターの動きに基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画を第１ユーザが使用する第１クライアント装置にライブ配信する工程と、
サポーターコンピュータへの第５操作入力に基づいて前記第１ユーザへの前記動画へのメッセージの投稿を禁止する工程と、
を実行させる配信プログラム。
［１］
アクターの動きに基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画を第１ユーザが使用する第１クライアント装置にライブ配信するように構成された配信サーバ装置と、
第５操作入力に基づいて前記第１ユーザへの前記動画へのメッセージの投稿を禁止するように構成されたサポーターコンピュータと、
を備える動画配信システム。
［２］
前記サポーターコンピュータは、前記第５操作入力に応じて、前記動画を視聴中のユーザを示す配信先リストを表示し、
前記配信先リストから前記第１ユーザが選択された場合に、前記第１ユーザへの前記動画へのメッセージの投稿を禁止する、
［１］に記載の動画配信システム。
［３］
前記第１ユーザは、前記動画へのメッセージの投稿が禁止された後に前記動画を視聴することができる、
［１］又は［２］に記載の動画配信システム。
［４］
前記サポーターコンピュータは、前記第５操作入力に応じて、前記動画を視聴中のユーザを示す配信先リストを表示し、
前記配信先リストから前記第１ユーザが選択された場合に、前記第１ユーザへの前記動画の配信を中止する、
［１］又は［２］に記載の動画配信システム。
［５］
前記サポーターコンピュータは、第３操作入力に基づいて前記キャラクタオブジェクトの少なくとも一部を修正した修正キャラクタオブジェクトを生成させ、前記動画に前記修正キャラクタオブジェクトを含めるように構成される、
［１］から［４］のいずれかに記載の動画配信システム。
［６］
前記キャラクタオブジェクトは、前記アクターの顔の動きを示すフェイスモーションデータに基づいて動くように生成されるフェイス部を有し、
前記配信サーバ装置は、前記第３操作入力に基づいて
、前記フェイス部に第３付加情報を表示するように構成される、
［５］に記載の動画配信システム。
［７］
前記キャラクタオブジェクトに関連づけて表示される装飾オブジェクトを記憶するストレージをさらに備え、
前記サポーターコンピュータは、第４操作入力に基づいて前記装飾オブジェクトを前記動画に表示する際に前記キャラクタオブジェクトの少なくとも一部を隠すためのブラインドオブジェクトを表示するように構成される、
［１］から［６］のいずれかに記載の動画配信システム。
［８］
前記配信サーバ装置は、前記第１クライアント装置に加えて第２ユーザが使用する第２クライアント装置に前記動画をライブ配信するように構成され、
前記第１クライアント装置は、第１タイプの装置であり、
前記第２クライアント装置は、前記第１タイプの装置と異なる第２タイプの装置であり、
前記サポーターコンピュータは、前記第１クライアント装置において表示される前記動画の表示画像、及び、前記第２クライアント装置において表示される前記動画の表示画像を表示する第２表示装置を備える、
［１］から［７］のいずれかに記載の動画配信システム。
［９］
前記サポーターコンピュータは、第５操作入力に基づいて前記第１ユーザへの前記動画の配信を禁止するように構成される、
［１］から［８］のいずれかに記載の動画配信システム。
［１０］
一又は複数のコンピュータプロセッサがコンピュータ読み取り可能な命令を実行することにより実行される動画配信方法であって、
アクターの動きに基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画を第１ユーザが使用する第１クライアント装置にライブ配信する工程と、
サポーターコンピュータへの第５操作入力に基づいて前記第１ユーザへの前記動画へのメッセージの投稿を禁止する工程と、
を備える動画配信方法。
［１１］
一又は複数のコンピュータプロセッサに、
アクターの動きに基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画を第１ユーザが使用する第１クライアント装置にライブ配信する工程と、
サポーターコンピュータへの第５操作入力に基づいて前記第１ユーザへの前記動画へのメッセージの投稿を禁止する工程と、
を実行させる配信プログラム。
【符号の説明】
【0133】
１ 動画配信システム
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11a】
【図11b】
【図12a】
【図12b】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
