(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-12-18
(45)【発行日】2024-12-26
(54)【発明の名称】動画配信システム、動画配信方法及び動画配信プログラム
(51)【国際特許分類】
H04N 21/2668 20110101AFI20241219BHJP
H04N 21/258 20110101ALI20241219BHJP
H04N 21/239 20110101ALI20241219BHJP
H04N 21/2343 20110101ALI20241219BHJP
【FI】
H04N21/2668
H04N21/258
H04N21/239
H04N21/2343
(21)【出願番号】P 2023203854
(22)【出願日】2023-12-01
(62)【分割の表示】P 2021007165の分割
【原出願日】2019-08-29
【審査請求日】2023-12-01
(73)【特許権者】
【識別番号】504437801
【氏名又は名称】グリー株式会社
(74)【代理人】
【識別番号】100126572
【氏名又は名称】村越 智史
(72)【発明者】
【氏名】倉淵 彩
【審査官】醍醐 一貴
(56)【参考文献】
【文献】特許第6543403(JP,B1)
【文献】特開2012-209856(JP,A)
【文献】特開2019-130318(JP,A)
【文献】特開2018-171283(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 21/00-21/858
H04L 67/00-67/75
G06F 3/048-3/04895
A63F 13/00-13/98
(57)【特許請求の範囲】
【請求項1】
一又は複数のコンピュータプロセッサを備え、
前記一又は複数のコンピュータプロセッサは、コンピュータ読み取り可能な命令を実行することにより、
第1ユーザの動きに基づいて生成される第1キャラクタ、第2ユーザの動きに基づいて生成される第2キャラクタ、及び第1表示要求に基づいて前記第1キャラクタと対応付けて表示されている第1オブジェクトを含む共演動画を配信し、
前記共演動画において、第2表示要求に基づいて前記第1オブジェクトと同一のマッチングオブジェクトを前記第2キャラクタに対応付けて表示させる、
動画配信システム。
【請求項2】
前記第2キャラクタと対応付けて前記第1オブジェクトと同一のマッチングオブジェクトが表示されているか判定し、
前記第2キャラクタと対応付けて前記マッチングオブジェクトが表示されていないと判定された場合、前記共演動画を視聴している一又は複数の視聴ユーザに対して前記第2表示要求を行うことを促す、
請求項1に記載の動画配信システム。
【請求項3】
前記第2キャラクタと対応付けて前記第1オブジェクトと同一のマッチングオブジェクトが表示されているか判定し、
前記第2キャラクタと対応付けて前記マッチングオブジェクトが表示されていないと判定された場合、前記第1ユーザに対して前記第2表示要求を行うことを促す、
請求項1に記載の動画配信システム。
【請求項4】
前記第2キャラクタと対応付けて前記第1オブジェクトと同一のマッチングオブジェクトが表示されているか判定し、
前記第2キャラクタと対応付けて前記マッチングオブジェクトが表示されていないと判定された場合、前記第2ユーザに対して前記第2表示要求を行うことを促す、
請求項1に記載の動画配信システム。
【請求項5】
前記マッチングオブジェクトは、前記第1ユーザによって購入されたオブジェクトである、
請求項1から請求項4のいずれか1項に記載の動画配信システム。
【請求項6】
前記マッチングオブジェクトは、前記第2ユーザによって購入されたオブジェクトである、
請求項1から請求項4のいずれか1項に記載の動画配信システム。
【請求項7】
前記マッチングオブジェクトは、前記一又は複数の視聴ユーザによって購入されたオブジェクトである、
請求項2に記載の動画配信システム。
【請求項8】
前記第2表示要求は、前記第1表示要求とは異なる、
請求項1~7に記載の動画配信システム。
【請求項9】
前記共演動画において前記第2キャラクタに対応付けて前記マッチングオブジェクトが表示された場合に、前記第1ユーザに対して特典を与える、
請求項1から請求項8のいずれか1項に記載の動画配信システム。
【請求項10】
前記共演動画において前記第2キャラクタに対応付けて前記マッチングオブジェクトが表示された場合に前記第2ユーザに対して特典を与える、
請求項1から請求項8のいずれか1項に記載の動画配信システム。
【請求項11】
前記共演動画において前記第2キャラクタに対応付けて前記マッチングオブジェクトが表示された場合に前記共演動画を視聴している一又は複数の視聴ユーザに対して特典を与える、
請求項1から請求項7のいずれか1項に記載の動画配信システム。
【請求項12】
前記共演動画を視聴している一又は複数の視聴ユーザのうちの第1視聴ユーザから前記第2キャラクタに対応付けて前記マッチングオブジェクトを表示させる表示要求がなされたことに応じて前記マッチングオブジェクトが表示された場合に前記第1視聴ユーザに対して特典を与える、
請求項1から請求項8のいずれか1項に記載の動画配信システム。
【請求項13】
前記共演動画において前記第2キャラクタに対応付けて前記マッチングオブジェクトが表示された場合に、前記第1ユーザ、前記第2ユーザ、及び前記共演動画を視聴している一又は複数の視聴ユーザのそれぞれに対して特典を与える、
請求項1から請求項8のいずれか1項に記載の動画配信システム。
【請求項14】
前記共演動画は、前記第2ユーザから前記第1ユーザとの共演を申請する共演申請を受け付けたことに応じて生成される、
請求項1から請求項13のいずれか1項に記載の動画配信システム。
【請求項15】
前記第1オブジェクトは、前記第1キャラクタの装着部位に対応付けて表示され、
前記マッチングオブジェクトは、前記第2キャラクタの前記装着部位に対応付けて表示される、
請求項1から請求項14のいずれか1項に記載の動画配信システム。
【請求項16】
一又は複数のコンピュータプロセッサがコンピュータ読み取り可能な命令を実行することにより実行される動画配信方法であって、
第1ユーザの動きに基づいて生成される第1キャラクタ、第2ユーザの動きに基づいて生成される第2キャラクタ、及び第1表示要求に基づいて前記第1キャラクタと対応付けて表示される第1オブジェクトを含む共演動画を配信する工程と、
前記共演動画において、第2表示要求に基づいて前記第1オブジェクトと同一のマッチングオブジェクトを前記第2キャラクタに対応付けて表示させる工程と、
を備える、動画配信方法。
【請求項17】
一又は複数のコンピュータプロセッサに、
第1ユーザの動きに基づいて生成される第1キャラクタ、第2ユーザの動きに基づいて生成される第2キャラクタ、及び第1表示要求に基づいて前記第1キャラクタと対応付けて表示される第1オブジェクトを含む共演動画を配信する工程と、
前記共演動画において、第2表示要求に基づいて前記第1オブジェクトと同一のマッチングオブジェクトを、前記共演動画において前記第2キャラクタに対応付けて表示させる工程と、
を実行させる、動画配信プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本明細書における開示は、動画配信システム、動画配信方法及び動画配信プログラムに関する。本明細書における開示は、より具体的には、ユーザの動きに基づいて生成されるキャラクタを含む動画をライブ配信する動画配信システム、動画配信方法及び動画配信プログラムに関する。
【背景技術】
【0002】
従来から様々な動画配信サービスが知られている。近年では、配信ユーザの動きに基づいてキャラクタのアニメーションを生成し、かかるキャラクタのアニメーションを含む動画をライブ配信する動画配信システムが注目を集めている。このような動画配信システムは、例えば、特開2015-184689号公報(特許文献1)及び「長谷川 雄介,ヴァーチャルアイドル新時代の幕開け PROJECT MariA,CG WORLD,日本,株式会社ボーンデジタル,2017年11月10日,第231巻,pp.74-79」(非特許文献1)に開示されている。
【0003】
配信ユーザの動きに基づいて生成されたキャラクタを含む動画を配信する動画配信サービスとして、株式会社ドワンゴが提供する「バーチャルキャスト」が知られている。バーチャルキャストでは、ある配信ユーザが配信している動画に他のユーザのキャラクタが参加することで、二人の配信ユーザが各々のキャラクタを介して動画内で仮想的に共演することができる。
【0004】
動画を視聴する視聴ユーザからの要求に応じて、当該視聴ユーザが購入したギフトに対応するギフトオブジェクトを表示画面に表示させる動画配信システムも知られている。例えば、特開2012-120098号公報(特許文献2)に開示されている動画配信システムでは、視聴ユーザは、ギフトアイテムを購入し、この購入したギフトアイテムを配信ユーザに対してギフトとして提供することができる。ギフトは、視聴ユーザからの表示要求に応じて配信中の動画に表示される。ギフトの表示要求は、当該ギフトが視聴ユーザによって購入されたことに応じて自動的に生成されることもある。特許第6543403号(特許文献3)の明細書には、配信ユーザの動きに基づいて動くキャラクタと対応付けてギフティングされたオブジェクトを表示することが記載されている。
【先行技術文献】
【特許文献】
【0005】
【文献】特開2015-184689号公報
【文献】特開2012-120098号公報
【文献】特許第6543403号
【非特許文献】
【0006】
【文献】長谷川 雄介,ヴァーチャルアイドル新時代の幕開け PROJECT MariA,CG WORLD,日本,株式会社ボーンデジタル,2017年11月10日,第231巻,pp.74-79
【文献】株式会社ドワンゴ、"[バーチャルキャスト]凸について"、[online]、[2019年7月1日検索]、インターネット〈URL:https://qa.nicovideo.jp/faq/show/10740?category#id=718&site#domain=default〉
【発明の概要】
【発明が解決しようとする課題】
【0007】
共演動画においてホストユーザのキャラクタとゲストユーザのキャラクタとが共演する場合には、ホストユーザのキャラクタの外観は当該ホストユーザの設定によって定められ、ゲストユーザのキャラクタの外観は当該ゲストユーザの設定によって定められる。つまり、共演動画に含まれるキャラクタの画像は、共演者の各々によって独自に決められている。このため、従来の共演動画では統一感が表現しにくいという問題がある。
【0008】
本発明の目的は、上述した従来技術の問題の少なくとも一部を解決又は緩和する技術的な改善を提供することである。本発明のより具体的な目的の一つは、統一感が向上した共演動画を配信することができる動画配信システム、動画配信方法及び動画配信プログラムを提供することである。
【課題を解決するための手段】
【0009】
本発明の一態様は、一又は複数のコンピュータプロセッサを備える動画配信システムに関する。一態様において、前記一又は複数のコンピュータプロセッサは、コンピュータ読み取り可能な命令を実行することにより、第1ユーザの動きに基づいて生成される第1キャラクタ及び第2ユーザの動きに基づいて生成される第2キャラクタを含む共演動画を配信し、前記第1キャラクタと対応付けて第1オブジェクトを表示させ、前記第2キャラクタと対応付けて前記第1オブジェクトと同一のマッチングオブジェクトが表示されているか判定し、前記第2キャラクタと対応付けて前記マッチングオブジェクトが表示されていないと判定された場合に、前記共演動画において前記第2キャラクタに対応付けて前記第1オブジェクトと同一のマッチングオブジェクトを表示させる。
【0010】
本発明の一態様において、前記第2キャラクタに対応付けて表示された前記マッチングオブジェクトは、前記共演動画のみにおいて表示される。
【0011】
本発明の一態様による動画配信システムは、前記第2キャラクタと対応付けて前記マッチングオブジェクトが表示されていないと判定された場合に、前記第2キャラクタに対応付けて前記マッチングオブジェクトを表示させる表示要求を行うことを促し、前記表示要求に基づいて前記共演動画において前記第2キャラクタに対応付けて前記マッチングオブジェクトを表示させる。
【0012】
本発明の一態様による動画配信システムは、前記第2キャラクタと対応付けて前記マッチングオブジェクトが表示されていないと判定された場合、前記共演動画を視聴している一又は複数の視聴ユーザに対して前記第2キャラクタに対応付けて前記マッチングオブジェクトを表示させる表示要求を行うことを促す。
【0013】
本発明の一態様による動画配信システムは、前記第2キャラクタと対応付けて前記マッチングオブジェクトが表示されていないと判定された場合、前記第1ユーザに対して前記第2キャラクタに対応付けて前記マッチングオブジェクトを表示させる表示要求を行うことを促す。
【0014】
本発明の一態様による動画配信システムは、前記第2キャラクタと対応付けて前記マッチングオブジェクトが表示されていないと判定された場合、前記第2ユーザに対して前記第2キャラクタに対応付けて前記マッチングオブジェクトを表示させる表示要求を行うことを促す。
【0015】
本発明の一態様による動画配信システムは、前記共演動画において前記第2キャラクタに対応付けて前記マッチングオブジェクトが表示された場合に、前記第1ユーザに対して特典を与える。本発明の一態様による動画配信システムは、前記共演動画において前記第2キャラクタに対応付けて前記マッチングオブジェクトが表示された場合に、前記第2ユーザに対して特典を与える。本発明の一態様による動画配信システムは、前記共演動画を視聴している一又は複数の視聴ユーザのうちの第1視聴ユーザから前記第2キャラクタに対応付けて前記マッチングオブジェクトを表示させる表示要求がなされたことに応じて前記マッチングオブジェクトが表示された場合に前記第1視聴ユーザに対して特典を与える。本発明の一態様による動画配信システムは、前記共演動画において前記第2キャラクタに対応付けて前記マッチングオブジェクトが表示された場合に、前記第1ユーザ、前記第2ユーザ、及び前記共演動画を視聴している一又は複数の視聴ユーザのそれぞれに対して特典を与える。
【0016】
本発明の一態様において、前記共演動画は、前記第2ユーザから前記第1ユーザとの共演を申請する共演申請を受け付けたことに応じて生成される。
【0017】
本発明の一態様において、前記第1オブジェクトは、前記第1キャラクタの装着部位に対応付けて表示され、前記マッチングオブジェクトは、前記第2キャラクタの前記装着部位に対応付けて表示される。
【0018】
本発明の一態様は、一又は複数のコンピュータプロセッサがコンピュータ読み取り可能な命令を実行することにより実行される動画配信方法に関する。当該動画配信方法は、第1ユーザの動きに基づいて生成される第1キャラクタ、第2ユーザの動きに基づいて生成される第2キャラクタ、及び前記第1キャラクタと対応付けて表示される第1オブジェクトを含む共演動画を配信する工程と、前記第2キャラクタと対応付けて前記第1オブジェクトと同一のマッチングオブジェクトが表示されているか判定する工程と、前記第2キャラクタと対応付けて前記マッチングオブジェクトが表示されていないと判定された場合に、前記共演動画において前記第2キャラクタに対応付けて前記第1オブジェクトと同一のマッチングオブジェクトを表示させる工程と、備える。
【0019】
本発明の一態様は、動画配信プログラムに関する。当該動画配信プログラムは、一又は複数のコンピュータプロセッサに、第1ユーザの動きに基づいて生成される第1キャラクタ、第2ユーザの動きに基づいて生成される第2キャラクタ、及び前記第1キャラクタと対応付けて表示される第1オブジェクトを含む共演動画を配信する工程と、前記第2キャラクタと対応付けて前記第1オブジェクトと同一のマッチングオブジェクトが表示されているか判定する工程と、前記第2キャラクタと対応付けて前記マッチングオブジェクトが表示されていないと判定された場合に、前記共演動画において前記第2キャラクタに対応付けて前記第1オブジェクトと同一のマッチングオブジェクトを表示させる工程と、を実行させる。
【発明の効果】
【0020】
本発明の実施形態によれば、統一感が向上した共演動画を配信することができる動画配信システム、動画配信方法及び動画配信プログラムを提供することができる。
【図面の簡単な説明】
【0021】
【
図1】一実施形態による動画配信システムを示すブロック図である。
【
図2】
図1の動画配信システムで配信される動画を配信する配信ユーザ及び当該配信ユーザが使用している配信ユーザ装置を模式的に示す模式図である。
【
図3】
図1の動画配信システムにおいて記憶されるギフトオブジェクト情報を説明する図である。
【
図4】
図1の動画配信システムにおいて記憶される保有オブジェクト情報を説明する図である。
【
図5】
図1の動画配信システムにおいて記憶されるオブジェクト表示情報を説明する図である。
【
図6】一実施形態において視聴ユーザ装置10において表示される動画の画像の例を示す図である。
【
図7a】一実施形態において配信ユーザ装置20aに表示される動画の画像の例を示す図である。
【
図7b】一実施形態において配信ユーザ装置20bに表示される動画の画像の例を示す図である。
【
図8】一実施形態において視聴ユーザ装置10に表示される動画の画像の例を示す図である。
図8の画像には通常オブジェクトが表示されている。
【
図9】一実施形態において視聴ユーザ装置10に表示される動画の画像の例を示す図である。
図9の画像には装着オブジェクトが表示されている。
【
図10a】一実施形態において配信ユーザ装置20aに表示される動画の画像の例を示す図である。
【
図10b】一実施形態において配信ユーザ装置20bに表示される動画の画像の例を示す図である。
【
図11】一実施形態において視聴ユーザ装置10に表示される共演動画の画像の例を示す図である。
【
図12a】一実施形態において配信ユーザ装置20aに表示される共演動画の画像の例を示す図である。
【
図12b】一実施形態において配信ユーザ装置20bに表示される共演動画の画像の例を示す図である。
【
図13】一実施形態において視聴ユーザ装置10に表示される共演動画の画像の例を示す図である。
【
図14】一実施形態における動画配信処理の流れを示すフロー図である。
【
図15】一実施形態において共演動画を配信する処理の流れを示すフロー図である。
【
図16】一実施形態においてマッチングオブジェクトを表示する処理の流れを示すフロー図である。
【発明を実施するための形態】
【0022】
以下、図面を適宜参照し、本発明の様々な実施形態を説明する。複数の図面において同一の又は類似する構成要素には同じ参照符号が付される。
【0023】
図1及び
図2を参照して、一実施形態による動画配信システムについて説明する。
図1は、一実施形態による動画配信システム1を示すブロック図であり、
図2は、動画配信システム1で動画を配信するユーザUa,Ub及び当該ユーザUa,Ubが使用している配信ユーザ装置20a,20bを模式的に示す模式図である。配信ユーザ装置20aは、動画配信システム1において、ユーザUaの動きに基づいて生成されるキャラクタオブジェクトを含む動画を配信するための機能を有し、配信ユーザ装置20bは、動画配信システム1において、ユーザUbの動きに基づいて生成されるキャラクタオブジェクトを含む動画を配信するための機能を有する。
【0024】
詳しくは後述するように、動画配信システム1は、二人以上の配信ユーザのキャラクタオブジェクトを含む動画を生成し、当該動画を配信することができる。言い換えると、動画配信システム1においては、二人以上の配信ユーザが動画内で各々のキャラクタオブジェクトを介して仮想的に共演することができる。このように、二人以上の配信ユーザが各々のキャラクタオブジェクトを介して動画内で仮想的に共演している場合、その動画を「共演動画」と呼ぶ。本明細書においては、動画に含まれる配信ユーザのキャラクタオブジェクトを単に「キャラクタ」と呼ぶことがある。
【0025】
ユーザUa及びユーザUbはいずれも、動きに基づいて生成されるキャラクタを含む動画を配信する配信ユーザであるとともに、他の配信ユーザの動画を視聴する視聴ユーザでもある。本明細書では、視聴ユーザ装置10、配信ユーザ装置20a,20b、又はこれら以外の装置を使用して動画を視聴するユーザを視聴ユーザと呼ぶ。このため、配信ユーザ装置20a,20bは、動画配信システム1において配信される動画を視聴する機能を有していてもよい。
【0026】
ユーザUaは、ユーザUbとの共演を申請する共演申請を行うことができる。この共演申請が許可されると、ユーザUbのキャラクタとユーザUaのキャラクタとを含む共演動画が生成され、当該共演動画が配信される。ユーザUbが配信している動画にユーザUaが参加し、ユーザUbとユーザUaとが共演する場合、共演申請を行ってユーザUbと共演したユーザUaを「ゲストユーザ」と呼び、ゲストユーザが参加する動画を配信しているユーザUbを「ホストユーザ」と呼ぶことがある。ホストユーザ及びゲストユーザの概念は相対的なものである。例えば、上記の例とは逆に、ユーザUbがユーザUaに対して共演申請を送り、この共演申請に基づいてユーザUbがユーザUaの動画において共演する場合には、ユーザUaがホストユーザとなりユーザUbがゲストユーザとなる。本明細書においては、説明の便宜のために、ユーザUbからユーザUaに対してインビテーションが送信されることを想定する。つまり、ユーザUbがホストユーザでありユーザUaがゲストユーザであることを想定する。ただし、本明細書におけるユーザUaに関する説明は、可能な限りゲストユーザ一般に関する説明に拡張され得る。同様に、本明細書におけるユーザUbに関する説明は、可能な限りホストユーザ一般に関する説明に拡張され得る。例えば、本明細書において配信ユーザUaに関して説明している場合であってもその説明はゲストユーザ一般に関する説明と理解され得るし、配信ユーザUbに関する説明はホストユーザ一般に関する説明と理解され得る。
【0027】
動画配信システム1は、視聴ユーザ装置10と、配信ユーザ装置20a,20bと、サーバ装置60と、ストレージ70と、を備える。視聴ユーザ装置10と、配信ユーザ装置20と、サーバ装置60と、ストレージ70とは、ネットワーク50を介して相互に通信可能に接続されている。サーバ装置60は、後述するように、配信ユーザUa及び配信ユーザUbのキャラクタのアニメーションを含む動画を配信するように構成される。
【0028】
この動画は、サーバ装置60から視聴ユーザ装置10及び配信ユーザ装置20a,20bに配信される。配信された動画は、視聴ユーザ装置10のディスプレイに表示される。視聴ユーザ装置10のユーザである視聴ユーザは、配信された動画を視聴ユーザ装置10により視聴することができる。図面を簡潔するために
図1には視聴ユーザ装置10が1台だけ示されているが、動画配信システム1は、複数の視聴ユーザ装置を備えていてもよい。配信ユーザUa,Ubは、配信された動画を視聴することにより、動画中の動画を確認しながらパフォーマンスを行うことができる。
【0029】
図示の実施形態において、配信ユーザ装置20aは、コンピュータプロセッサ21aと、通信I/F22aと、ディスプレイ23aと、カメラ24aと、マイク25aと、を備えている。同様に、配信ユーザ装置20bは、コンピュータプロセッサ21bと、通信I/F22bと、ディスプレイ23bと、カメラ24bと、マイク25bと、を備えている。配信ユーザ装置20aと配信ユーザ装置20bとは同様の構成及び機能を有しているため、両者を特に区別する必要がない場合には、両者をまとめて配信ユーザ装置20と呼ぶことがあり、その構成要素もコンピュータプロセッサ21などと呼ぶことがある。
【0030】
コンピュータプロセッサ21は、ストレージからオペレーティングシステムや様々な機能を実現する様々なプログラムをメモリにロードし、ロードしたプログラムに含まれる命令を実行する演算装置である。コンピュータプロセッサ21は、例えば、CPU、MPU、DSP、GPU、これら以外の各種演算装置、又はこれらの組み合わせである。コンピュータプロセッサ21は、ASIC、PLD、FPGA、MCU等の集積回路により実現されてもよい。
図1においては、コンピュータプロセッサ21が単一の構成要素として図示されているが、コンピュータプロセッサ21は複数の物理的に別体のコンピュータプロセッサの集合であってもよい。
【0031】
通信I/F22は、ハードウェア、ファームウェア、又はTCP/IPドライバやPPPドライバ等の通信用ソフトウェア又はこれらの組み合わせとして実装される。配信ユーザ装置20は、通信I/F22を介して、他の装置とデータを送受信することができる。
【0032】
ディスプレイ23は、表示パネルと、タッチパネルと、を有する。タッチパネルは、プレイヤのタッチ操作(接触操作)を検出することができるように構成されている。タッチパネルは、プレイヤのタップ、ダブルタップ、ドラッグ等の各種タッチ操作を検出することができる。タッチパネルは、静電容量式の近接センサを備え、プレイヤの非接触操作を検出可能に構成されてもよい。
【0033】
カメラ24は、配信ユーザUa,Ubの顔を連続的に撮像し、配信ユーザUa,Ubの顔の撮像データを取得する。カメラ24により撮像された配信ユーザUa,Ubの顔の撮像データは、通信I/F22を介してサーバ装置60に送信される。カメラ24は、人物の顔の奥行きを検出可能な3Dカメラであってもよい。カメラ24は、配信ユーザUa,Ubの顔以外の部位、例えば、手、脚、手の指、又はこれら以外の部位を撮像して撮像データを取得しても良い。
【0034】
マイク25は、入力された音声を音声データに変換するように構成された集音装置である。マイク25は、配信ユーザUa,Ubの音声入力を取得することができるように構成され。マイク25により取得された配信ユーザUa,Ubの音声入力は音声データに変換され、この音声データが通信I/F22を介してサーバ装置60に送信される。
【0035】
視聴ユーザ装置10は、配信ユーザ装置20と同様の構成要素を備えてもよい。例えば、視聴ユーザ装置10は、コンピュータプロセッサ、通信I/F、ディスプレイ、及びカメラを備えてもよい。視聴ユーザ装置10は、所定のアプリケーションソフトウェアをダウンロード及びインストールすることにより、配信ユーザ装置20と同様の機能を奏してもよい。
【0036】
視聴ユーザ装置10及び配信ユーザ装置20は、スマートフォンなどの情報処理装置である。視聴ユーザ装置10及び配信ユーザ装置20は、スマートフォン以外に、携帯電話機、タブレット端末、パーソナルコンピュータ、電子書籍リーダー、ウェアラブルコンピュータ、ゲーム用コンソール、及びこれら以外の動画を再生可能な各種情報処理装置であってもよい。視聴ユーザ装置10及び配信ユーザ装置20の各々は、上記の構成要素以外に、ジャイロセンサ等の各種センサを備えるセンサユニット、及び各種情報を記憶するストレージを備えてもよい。
【0037】
次に、サーバ装置60について説明する。図示の実施形態において、サーバ装置60は、コンピュータプロセッサ61と、通信I/F62と、ストレージ63と、を備えている。
【0038】
コンピュータプロセッサ61は、ストレージ63又はその他のストレージからオペレーティングシステムや様々な機能を実現する様々なプログラムをメモリにロードし、ロードしたプログラムに含まれる命令を実行する演算装置である。コンピュータプロセッサ61は、例えば、CPU、MPU、DSP、GPU、これら以外の各種演算装置、又はこれらの組み合わせである。コンピュータプロセッサ61は、ASIC、PLD、FPGA、MCU等の集積回路により実現されてもよい。
図1においては、コンピュータプロセッサ21が単一の構成要素として図示されているが、コンピュータプロセッサ61は複数の物理的に別体のコンピュータプロセッサの集合であってもよい。
【0039】
通信I/F62は、ハードウェア、ファームウェア、又はTCP/IPドライバやPPPドライバ等の通信用ソフトウェア又はこれらの組み合わせとして実装される。サーバ装置60は、通信I/F62を介して、他の装置とデータを送受信することができる。
【0040】
ストレージ63は、コンピュータプロセッサ61によりアクセスされる記憶装置である。ストレージ63は、例えば、磁気ディスク、光ディスク、半導体メモリ、又はデータを記憶可能な前記以外の各種記憶装置である。ストレージ63には、様々なプログラムが記憶され得る。ストレージ63に記憶され得るプログラム及び各種データの少なくとも一部は、サーバ装置60とは物理的に別体のストレージ(例えば、ストレージ70)に格納されてもよい。
【0041】
本明細書において、コンピュータプロセッサ21又はコンピュータプロセッサ61によって実行されるとして説明されるプログラム又は当該プログラムに含まれる命令はそれぞれ、単一のコンピュータプロセッサで実行されてもよいし、複数のコンピュータプロセッサにより分散して実行されてもよい。また、コンピュータプロセッサ21又はコンピュータプロセッサ61によって実行されるプログラム又は当該プログラムに含まれる命令はそれぞれ、複数の仮想コンピュータプロセッサにより実行されてもよい。
【0042】
次に、ストレージ63に記憶されるデータについて説明する。図示の実施形態においては、ストレージ63には、モデルデータ63a、オブジェクトデータ63b、ギフトオブジェクト情報63c、保有オブジェクト情報63d、オブジェクト表示情報63e、及び前記以外の配信動画の生成及び配信に必要な様々なデータが記憶される。
【0043】
モデルデータ63aは、キャラクタのアニメーションを生成するためのモデルデータである。モデルデータ63aは、3次元のアニメーションを生成するための3次元モデルデータであってもよいし、2次元のモデルデータを生成するための2次元モデルデータであってもよい。モデルデータ63aは、例えば、キャラクタの顔及び顔以外の部分の骨格を示すリグデータ(「スケルトンデータ」と呼ばれることもある。)と、キャラクタの表面の形状や質感を示す表面データと、を含む。モデルデータ63aには、互いに異なる複数のモデルデータを含むことができる。この複数のモデルデータは、互いに異なるリグデータを有していてもよいし、同じリグデータを有していてもよい。この複数のモデルデータは、互いと異なる表面データを有していてもよいし、同じ表面データを有していてもよい。
【0044】
オブジェクトデータ63bは、動画を構成する仮想空間を構築するためのアセットデータを含む。オブジェクトデータ63bは、動画を構成する仮想空間の背景を描画するためのデータ、動画に表示される各種物体を描画するためのデータ、及びこれら以外の動画に表示される各種オブジェクトを描画するためのデータが含まれる。オブジェクトデータ63bには、仮想空間におけるオブジェクトの位置を示すオブジェクト位置情報を含んでもよい。
【0045】
ギフトオブジェクト情報63cは、ギフトオブジェクトを管理する情報である。ギフトオブジェクト情報63cの例が
図3に示されている。図示のように、ギフトオブジェクト63cにおいては、オブジェクトを識別するオブジェクト識別情報と対応づけて、当該オブジェクトの特徴を示すオブジェクト情報が記憶されている。あるオブジェクトのオブジェクト情報には、当該オブジェクトの画像を示す画像データ、当該オブジェクトの種類を示す種類データ、当該オブジェクトが後述する装着オブジェクトである場合にキャラクタへの装着位置を示す装着位置データ、当該オブジェクトの価格、及びこれら以外の当該オブジェクトを特徴付ける様々なデータが含まれ得る。
【0046】
一実施形態において、ギフトオブジェクトは、動画を視聴している視聴ユーザからのギフトの表示要求に基づいて当該動画に表示される。ギフトオブジェクトには、様々な種類がある。ギフトオブジェクトには、例えば、エフェクトギフトに対応するエフェクトオブジェクトと、通常ギフトに対応する通常オブジェクトと、装着ギフトに対応する装着オブジェクトと、メッセージギフトに対応するメッセージオブジェクトと、が含まれ得る。視聴ユーザは、所望のギフトを購入することができる。視聴ユーザと配信ユーザ(例えば、配信ユーザUa,Ub)との区別は、ユーザの行為に着目した区別である。例えば、動画配信システム1において、あるユーザが動画を視聴する場合には当該ユーザは視聴ユーザと呼ばれるが、そのユーザが動画を配信する場合には配信ユーザと呼ばれる。
【0047】
エフェクトギフトを示すエフェクトオブジェクトは、配信動画の視聴画面全体の印象に影響を与えるオブジェクトであり、例えば紙吹雪を模したオブジェクトである。紙吹雪を模したオブジェクトは、視聴画面全体に表示されてもよく、これにより表示の前後における視聴画面全体の印象を変えることができる。エフェクトオブジェクトは、キャラクタと重複するように表示されることもあるが、キャラクタの特定の部位と関連付けられずに表示される点で装着オブジェクトと異なっている。
【0048】
通常ギフトを示す通常オブジェクトは、視聴ユーザから配信ユーザ(例えば、配信ユーザUa,Ub)へのギフトを示すオブジェクトであり、例えばぬいぐるみ、花束、アクセサリ、又は前記以外のギフトやプレゼントに適した物品を模したオブジェクトである。一態様において、通常オブジェクトは、キャラクタと接しないように動画の表示画面に表示される。一態様において、通常オブジェクトは、キャラクタと重複しないように動画の表示画面に表示される。通常オブジェクトは、仮想空間においてキャラクタ以外のオブジェクトと重複するように表示されてもよい。通常オブジェクトは、キャラクタと重複するように表示されることもあるが、キャラクタの特定の部位と関連付けられた表示はなされない点で装着オブジェクトと異なっている。一態様において、通常オブジェクトをキャラクタと重複して表示させる場合には、当該通常オブジェクトは、当該キャラクタの顔を含む頭部以外の部分と重複し、当該キャラクタの頭部とは重複しないように表示される。一態様において、通常オブジェクトをキャラクタと重複して表示させる場合には、当該通常オブジェクトは、当該キャラクタの顔を含む上半身以外の部分と重複し、当該キャラクタの上半身とは重複しないように表示される。
【0049】
装着ギフトを示す装着オブジェクトは、キャラクタの特定の部位(装着部位)と関連付けて表示画面に表示されるオブジェクトである。一態様において、キャラクタの特定の部位と関連付けて表示画面に表示される装着オブジェクトは、当該キャラクタの当該特定の部位に接するように表示画面に表示される。一態様において、キャラクタの特定の部位と関連付けて表示画面に表示される装着オブジェクトは、当該キャラクタの当該特定の部位の一部又は全部を覆うように表示画面に表示される。特定の部位は、3次元座標空間における位置を示す3次元位置情報で特定されてもよいし、3次元座標空間の位置情報に関連付けられていてもよい。例えばキャラクタの頭部において、特定の部位は、頭部の前方左側、前方右側、後方左側、後方右側、中央前側、中央後側、左目、右目、左耳、右耳、及び髪全体という単位で定められてもよい。
【0050】
装着オブジェクトは、例えば、キャラクタに装着されるアクセサリ(カチューシャ、ネックレス、イヤリングなど)、衣服(Tシャツなど)、コスチューム、及びこれら以外のキャラクタに装着可能なオブジェクトである。装着オブジェクトに対応するギフトオブジェクト情報63cには、当該装着オブジェクトがキャラクタのどの部位に関連付けられるかを示す装着部位情報が含まれてもよい。ある装着オブジェクトの装着部位情報は、当該装着オブジェクトがキャラクタのどの部位に装着されるかを示すことができる。例えば、装着オブジェクトがカチューシャである場合には、当該装着オブジェクトの装着部位情報は、当該装着オブジェクトがキャラクタの「頭部」に装着されることを示してもよい。装着オブジェクトが装着される装着部位情報が3次元座標空間の位置として特定される場合には、当該装着部位情報は3次元座標空間における複数の位置と関連付けられてもよい。例えば「カチューシャ」を示す装着オブジェクトが装着される位置を示す装着部位情報は、キャラクタの「頭部後方左側」と「頭部後方右側」の2つの部位と関連付けられてもよい。つまり、「カチューシャ」を示す装着オブジェクトは、「頭部後方左側」及び「頭部後方右側」の両方に装着されてもよい。装着オブジェクトがTシャツである場合には、当該装着オブジェクトの装着部位情報は、当該装着オブジェクトがキャラクタの「胴部」に装着されることを示してもよい。
【0051】
装着部位が共通する2種類の装着オブジェクトは、時間を隔てて動画に表示される。すなわち、装着部位が共通する2種類の装着オブジェクトは、時間を隔ててキャラクタに装着される。言い換えると、装着部位が共通する2種類の装着オブジェクトは、キャラクタに同時には装着されない。例えば、カチューシャを示す装着オブジェクト及び帽子を示す装着オブジェクトに関し、装着部位としていずれも「頭部」が設定されている場合、カチューシャを示す装着オブジェクトと帽子を示す装着オブジェクトとは同時には表示されない。
【0052】
ギフトオブジェクトの各々には、その種類に応じた表示時間が設定されていてもよい。一態様において、装着オブジェクトの表示時間は、エフェクトオブジェクトの表示時間及び通常オブジェクトの表示時間よりも長く設定されていてもよい。例えば、装着オブジェクトの表示時間は60秒間に設定され、エフェクトオブジェクトの表示時間は5秒間に設定され、通常オブジェクトの表示時間は10秒間に設定されてもよい。
【0053】
保有オブジェクト情報63dは、動画配信システムのユーザ(視聴ユーザ及び配信ユーザ)が保有しているオブジェクトを示すリストである。保有オブジェクト情報63cの例が
図4に示されている。図示のように、保有オブジェクト情報63cにおいては、視聴ユーザのアカウント情報と対応づけて、当該視聴ユーザが保有するオブジェクトを特定するオブジェクトIDが記憶されている。視聴ユーザのアカウント情報は、例えば、当該視聴ユーザを特定するユーザIDである。視聴ユーザが保有するオブジェクトは、例えば、上述したギフトオブジェクトである。配信ユーザは、動画の配信中に当該動画に含まれるキャラクタに保有しているオブジェクトを装着させることができる。
【0054】
オブジェクト表示情報63eは、動画において配信ユーザのキャラクタと対応付けて表示されている装着オブジェクトを管理するための情報である。オブジェクト表示情報63dの例が
図5に示されている。図示のように、オブジェクト表示情報63dにおいては、動画を配信している配信ユーザのアカウント情報と対応づけて、当該動画に表示されているオブジェクトを特定するオブジェクトIDが記憶されている。オブジェクト表示情報63dにおいては、動画を配信している配信ユーザのアカウント情報と対応づけて、当該配信ユーザのキャラクタに対応付けて当該動画に表示されている装着オブジェクトを特定するオブジェクトIDが記憶されていてもよい。配信ユーザのアカウント情報は、例えば、当該配信ユーザを特定するユーザIDである。
【0055】
次に、コンピュータプロセッサ21a,21bにより実現される機能についてより具体的に説明する。コンピュータプロセッサ21aは、配信プログラムに含まれるコンピュータ読み取り可能な命令を実行することにより、フェイスモーションデータ生成部21a1として機能する。同様に、コンピュータプロセッサ21bは、配信プログラムに含まれるコンピュータ読み取り可能な命令を実行することにより、フェイスモーションデータ生成部21b1として機能する。コンピュータプロセッサ21a,21bにより実現される機能の少なくとも一部は、動画配信システム1のコンピュータプロセッサ21a,21b以外のコンピュータプロセッサにより実現されてもよい。コンピュータプロセッサ21a,21bにより実現される機能の少なくとも一部は、例えば、サーバ装置60に搭載されているコンピュータプロセッサ61により実現されてもよい。
【0056】
フェイスモーションデータ生成部21a1は、カメラ24aの撮像データに基づいて、配信ユーザUaの顔の動きのデジタル表現であるフェイスモーションデータを生成する。同様に、フェイスモーションデータ生成部21b1は、カメラ24bの撮像データに基づいて、配信ユーザUbの顔の動きのデジタル表現であるフェイスモーションデータを生成する。フェイスモーションデータは、時間の経過に伴って随時生成される。フェイスモーションデータは、所定のサンプリング時間間隔ごとに生成されてもよい。このように、フェイスモーションデータ生成部21a1にて生成されるフェイスモーションデータは、配信ユーザUaの顔の動き(表情の変化)を時系列的にデジタル表現することができ、フェイスモーションデータ生成部21b1にて生成されるフェイスモーションデータは、配信ユーザUbの顔の動き(表情の変化)を時系列的にデジタル表現することができる。フェイスモーションデータ生成部21a1,21b1にて生成されたフェイスモーションデータは、通信I/F22a,22bを介してサーバ装置60に送信される。
【0057】
配信ユーザ装置20においては、フェイスモーションデータ生成部21a1にて生成されるフェイスモーションデータに加えて、配信ユーザUa,Ubの体の顔以外の各部位の位置及び向きのデジタル表現であるボディモーションデータを生成してもよい。配信ユーザ装置20は、フェイスモーションデータに加えて、ボディモーションデータをサーバ装置60に送信してもよい。ボディモーションデータを生成するために、配信ユーザUa,Ubは、モーションセンサを装着してもよい。配信ユーザ装置20は、配信ユーザUa,Ubに装着されたモーションセンサの検出情報に基づいて、ボディモーションデータを生成することができるように構成されてもよい。ボディモーションデータは、所定のサンプリング時間間隔ごとに生成されてもよい。このように、ボディモーションデータは、配信ユーザUa,Ubの体の動きを時系列的にデジタルデータとして表現する。配信ユーザUa,Ubに装着されたモーションセンサの検出情報に基づくボディモーションデータの生成は、例えば、撮影スタジオで行われてもよい。撮影スタジオには、ベースステーションと、トラッキングセンサと、ディスプレイと、が備えられてもよい。ベースステーションは、多軸レーザーエミッターであってもよい。配信ユーザUa,Ubに装着されるモーションセンサは、例えば、HTC CORPORATIONから提供されているVive Trackerであってもよい。撮影スタジオに備えられるベースステーションは、例えば、HTC CORPORATIONから提供されているベースステーションであってもよい。また、撮影スタジオと別室には、サポーターコンピュータが設置されていてもよい。撮影スタジオのディスプレイは、サポートコンピュータから受信した情報を表示するように構成されてもよい。サーバ装置60は、サポーターコンピュータが設置されている部屋と同じ部屋に設置されてもよい。サポーターコンピュータが設置されている部屋と撮影スタジオとはガラス窓によって隔てられていてもよい。この場合、サポーターコンピュータのオペレータ(本明細書では「サポーター」ということがある。)は、配信ユーザUa,Ubを視認できる。サポーターコンピュータは、サポーターの操作に応じて、撮影スタジオに備えられた各種装置の設定を変更することができるように構成されてもよい。サポーターコンピュータは、例えば、ベースステーションによる走査インターバルの設定、トラッキングセンサの設定、及びこれら以外の各種機器の各種設定の変更を行うことができる。サポーターは、サポーターコンピュータにメッセージを入力し、当該入力されたメッセージを撮影スタジオのディスプレイに表示することができる。
【0058】
配信ユーザ装置20は、配信プログラム及び/又はそれ以外のプログラムをコンピュータプロセッサで実行することにより、フェイスモーションデータ生成部21a1以外の機能を実現してもよい。例えば、配信ユーザ装置20は、動画視聴用の視聴プログラムを実行することにより受信した動画を再生する機能を実現してもよい。配信プログラムと視聴プログラムとは、一つのアプリケーションソフトウェアにパッケージングされていてもよいし、別個のアプリケーションソフトウェアとして提供されてもよい。
【0059】
視聴ユーザ装置10は、配信ユーザ装置20と同様の機能を提供するように構成されてもよい。例えば、視聴ユーザ装置10は、動画視聴用の視聴プログラムを実行することにより受信した動画を再生する機能を実現してもよく、配信プログラムを実行することによりフェイスモーションデータ生成部21a1の機能と同様の機能を実現してもよい。
【0060】
次に、コンピュータプロセッサ61により実現される機能についてより具体的に説明する。コンピュータプロセッサ61は、配信プログラムに含まれるコンピュータ読み取り可能な命令を実行することにより、アニメーション生成部61a、動画生成部61b、動画配信部61c、ギフト要求処理部61d、ギフト購入処理部61e、共演申請処理部61f、判定部61g、マッチング処理部61h、及び特典付与部61iとして機能する。
【0061】
アニメーション生成部61aは、配信ユーザ装置20のフェイスモーションデータ生成部21a1によって生成されたフェイスモーションデータを、モデルデータ63aに含まれる所定のモデルデータに適用することにより、キャラクタのアニメーションを生成するように構成される。アニメーション生成部61aは、キャラクタの表情が当該フェイスモーションデータに基づいて変化するように、当該キャラクタのアニメーションを生成することができる。具体的には、アニメーション生成部61aは、配信ユーザUaに関するフェイスモーションデータに基づいて、配信ユーザUaの表情の動きに同期して動くキャラクタのアニメーションを生成することができる。同様に、アニメーション生成部61aは、配信ユーザUbに関するフェイスモーションデータに基づいて、配信ユーザUbの表情の動きに同期して動くキャラクタのアニメーションを生成することができる。
【0062】
配信ユーザ装置20から配信ユーザUa,Ubに関するボディモーションデータが提供される場合には、アニメーション生成部61aは、配信ユーザUa,Ubに関するボディモーションデータ及びフェイスモーションデータに基づいて、配信ユーザUa,Ubの体及び表情の動きに同期して動くキャラクタのアニメーションを生成することができる。
【0063】
動画生成部61bは、配信ユーザUaの動画を配信する場合には、オブジェクトデータ63bを用いて背景を示す背景画像を生成し、この背景画像と、配信ユーザUaに対応するキャラクタのアニメーションと、を含む動画を生成することができる。動画生成部61bは、生成した動画に、配信ユーザ装置20aから受信した音声データに基づいて生成される配信ユーザUaの音声を合成することができる。同様に、動画生成部61bは、配信ユーザUbの動画を配信する場合には、オブジェクトデータ63bを用いて背景を示す背景画像を生成し、この背景画像と、配信ユーザUbに対応するキャラクタのアニメーションと、を含む動画を生成することができる。動画生成部61bは、配信ユーザUa又は配信ユーザUbの要求に応じて、自らのキャラクタに対して保有しているオブジェクトを装着させることができる。装着させることができるオブジェクトは、例えば、上述した装着オブジェクトである。配信ユーザUa又は配信ユーザUbは、配信ユーザ装置20a又は配信ユーザ装置20bを操作することにより、動画の配信開始前又は配信開始後に、自らのキャラクタに装着オブジェクトを装着させるための表示要求をサーバ装置60に対して送信することができる。動画生成部61bは、この表示要求に基づいて配信ユーザ装置20a又は配信ユーザ装置20bのキャラクタに装着オブジェクトを装着させることができる。動画生成部61bは、生成した動画に、配信ユーザ装置20bから受信した音声データに基づいて生成される配信ユーザUbの音声を合成することができる。動画生成部61bによって生成される動画において、配信ユーザUa,Ubに対応するキャラクタは、背景画像に重畳して表示される。以上のようにして、動画生成部61bは、配信ユーザUa又は配信ユーザUbの表情の動きに同期して動くキャラクタのアニメーションを生成し、このアニメーションに配信ユーザUa又は配信ユーザUbの音声が合成された配信用の動画を生成することができる。配信ユーザUaのキャラクタ及び配信ユーザUbのキャラクタを両方とも含む共演動画については後述する。
【0064】
動画配信部61cは、動画生成部61bにおいて生成された動画を配信する。この動画は、ネットワーク50を介して視聴ユーザ装置10及びこれら以外の視聴ユーザ装置に配信される。生成された動画は、配信ユーザ装置20a,20bにも配信される。受信された動画は、視聴ユーザ装置10及び配信ユーザ装置20a,20bにおいて再生される。
【0065】
動画配信部61cから配信された動画の表示例を
図6、
図7a、及び
図7bに示す。これらの図では、配信ユーザUbが配信ユーザ装置20bを用いて、自らのキャラクタを含む動画を配信し、当該動画が視聴ユーザ装置10及び配信ユーザ装置20a,20bにおいて再生されていると想定している。
図7aにおいては、配信ユーザUaは、動画配信を行っておらず、別の配信ユーザである配信ユーザUbによって配信されている動画を視聴していると想定している。このため、
図6、
図7a~
図7bに関する説明においては、配信ユーザUaのことも視聴ユーザと呼ぶことがある。
図6は、視聴ユーザ装置10において再生されている動画の表示例を示し、
図7aは、配信ユーザ装置20aにおいて再生されている動画の表示例を示し、
図7bは、配信ユーザ装置20bにおいて再生されている動画の表示例を示す。
【0066】
図6に示されているように、視聴ユーザ装置10のディスプレイには、サーバ装置60から配信された動画の画像30が表示される。この視聴ユーザ装置10に表示されている画像30には、アニメーション生成部61aにより生成された配信ユーザUbのキャラクタ31と、ギフトボタン32と、評価ボタン33と、コメントボタン34と、コメント表示領域35と、が含まれている。
【0067】
図7aに示されているように、配信ユーザ装置20aのディスプレイには、サーバ装置60から配信された動画の画像40aが表示される。この画像40aには、画像30と同様に、配信ユーザUbのキャラクタ31と、ギフトボタン32と、評価ボタン33と、コメントボタン34と、コメント表示領域35と、が含まれている。これに加えて、画像40aには、配信ユーザUbが配信している動画において配信ユーザUbとの共演を申請するための共演申請ボタン36が含まれる。配信ユーザ装置20aは、例えば、視聴プログラムを含むアプリケーションソフトウェアを実行することにより、配信された動画の画像40aを表示することができる。
【0068】
図6に示されているように、一実施形態において、視聴ユーザ装置10の画像30には共演申請ボタン36が含まれない。例えば、視聴ユーザ装置10に配信プログラムを含むアプリケーションソフトウェアがダウンロードもしくはインストールされていない場合、及びは、視聴ユーザ装置10において配信プログラムを含むアプリケーションソフトウェアが起動されていない場合に、共演申請ボタン36が含まれないように視聴ユーザ装置10の画像30が生成される。他の実施形態では、視聴ユーザ装置10の画像30にも共演申請ボタン36を表示してもよい。例えば、視聴ユーザ装置10に配信プログラムを含むアプリケーションソフトウェアがダウンロードもしくはインストールされている場合、または、視聴ユーザ装置10において配信プログラムを含むアプリケーションソフトウェアが起動されている場合に、共演申請ボタン36が含まれるように視聴ユーザ装置10の画像30が生成される。
【0069】
キャラクタ31は、上記のように、配信ユーザUbのフェイスモーションデータをモデルデータ63aに含まれているモデルデータに適用することにより生成されているため、配信ユーザUbの表情の動きに同期してその表情が変化する。配信ユーザ装置20からボディモーションデータが提供される場合には、キャラクタ31は、その顔以外の部位も、配信ユーザUbの体の動きに同期して変化するように制御され得る。
【0070】
ギフトボタン32は、視聴ユーザ装置10への操作によって選択可能に画像30に表示されている。ギフトボタン32は、例えば、視聴ユーザ装置10のタッチパネルのうちギフトボタン32が表示されている領域へのタップ操作により選択され得る。一実施形態において、ギフトボタン32が選択されると、視聴中の動画を配信している配信ユーザ(ここでは、配信ユーザUbである。)にギフティングするギフトを選択するためのウィンドウが画像30に表示される。当該視聴ユーザは、当該ウィンドウに表示されているギフトの中からギフティング対象とするギフトを購入することができる。他の実施形態においては、ギフトボタン32が選択されたことに応じて、画像30に、購入済みのギフトの一覧を含むウィンドウが表示される。この場合、当該視聴ユーザは、当該ウィンドウに表示されているギフトの中からギフティング対象とするギフトを選択することができる。ギフティング又は購入可能なギフトには、エフェクトギフト、通常ギフト、装着ギフト、及びこれら以外のギフトが含まれ得る。
【0071】
評価ボタン33は、視聴ユーザ装置10を使用する視聴ユーザによって選択可能に画像30に表示されている。評価ボタン33は、例えば、視聴ユーザ装置10のタッチパネルのうち評価ボタン33が表示されている領域へのタップ操作により選択され得る。動画を視聴中の視聴ユーザによって評価ボタン33が選択されると、当該動画への肯定的な評価がなされたことを示す評価情報がサーバ装置60に送信されてもよい。サーバ装置60は、視聴ユーザ装置10及びこれ以外の視聴ユーザ装置からの評価情報を集計することができる。評価ボタン33の選択により、当該動画への否定的な評価がなされたことを示す評価情報がサーバ装置60に送信されてもよい。動画への肯定的な評価を示す評価情報をポジティブ評価情報と呼び、動画への否定的な評価がなされたことを示す評価情報をネガティブ評価情報と呼んでもよい。
【0072】
コメントボタン34は、ユーザによって選択可能に画像30に表示される。コメントボタン34が例えばタップ操作により選択されると、コメントを入力するためのコメント入力ウィンドウが画像30に表示される。視聴ユーザは、視聴ユーザ装置10又は配信ユーザ装置20aの入力機構を介してコメントを入力することができる。入力されたコメントは、視聴ユーザ装置10及び配信ユーザ装置20aからサーバ装置60に送信される。サーバ装置60は、視聴ユーザ装置10、配信ユーザ装置20a、及びこれら以外のユーザ装置からのコメントを受け付け、当該コメントを画像30内のコメント表示領域35に表示する。コメント表示領域35には、各ユーザから投稿されたコメントが、例えば時系列に表示される。コメント表示領域35は、画像30の一部の領域を占める。コメント表示領域35に表示可能なコメント数には上限がある。図示の例では、コメント表示領域35には3つまでコメントが表示され得る。コメント表示領域35に設定されている上限を超えたコメントの投稿がなされた場合には、投稿時間が古いコメントから順にコメント表示領域35から削除される。このため、受け付けるコメントの頻度が高くなるほどコメント領域35における各コメントの表示時間は短くなる。一実施形態においては、画像30にスクロールバーを設置し、このスクロールバーを操作してコメントをスクロールすることにより、コメント表示領域35から削除されたコメントが閲覧可能とされる。
【0073】
図7bに示されているように、配信ユーザ装置20bのディスプレイには、サーバ装置60から配信された動画の画像40bが表示される。この配信ユーザ装置20bに表示される画像40bには、配信ユーザUbに対応するキャラクタ31と、視聴ユーザによって表示要求がなされた装着ギフトを表示するための表示指示ボタン42a~42cと、コメント表示領域35と、が含まれている。配信ユーザ装置20bに表示される画像40bには、画像30及び画像40aと同じ背景画像、キャラクタ画像、及びコメントが含まれている。他方、画像40bは、ギフトボタン32、評価ボタン33、コメントボタン34、及び共演申請ボタン36を含んでおらず、表示指示ボタン42a~42cを含んでいる点で画像30及び画像40aと異なっている。
【0074】
表示指示ボタン42a~42cは、視聴ユーザから後述する装着ギフトを表示するための表示要求を受け付けたことに応じて表示画面40に表示される。図示の実施形態においては、画像40bに3つの表示指示ボタン42a~42cが表示されている。表示指示ボタン42a~42cの各々は、配信ユーザによって選択可能に表示画面40に表示される。表示指示ボタン42a~42cのいずれかが例えばタップ操作により選択されると、この選択された表示指示ボタンに対応する装着ギフトを表示するための操作が行われる。このように、表示指示ボタン42a~42cは、装着ギフトを配信中の動画に表示させる指示を行うための表示指示オブジェクトである。このため、本明細書においては、表示指示ボタン42a~42cを表示指示オブジェクト42a~42cと呼ぶことがある。また、表示指示オブジェクト42a~42cを互いに区別する必要がない場合には、単に表示指示オブジェクト42と呼ぶことがある。装着ギフトの表示の具体例については後述する。画像40bは、上記のサポーターコンピュータに表示されてもよい。表示指示オブジェクト42a~42cは、サポーターによる当該サポーターコンピュータの操作に応じて選択されてもよい。
【0075】
装着ギフトの表示を要求する表示要求が受け付けられるたびに、当該表示要求に対応する表示指示オブジェクト42が画像40bに追加される。画像40bに表示可能な表示指示オブジェクト42の数には上限がある。図示の実施形態では、画像40bに表示可能な表示指示オブジェクト42の上限数は3である。この場合、画像40bには、表示指示オブジェクトを3つ表示できる表示領域を有している。装着ギフトの表示要求を4以上受け付けた場合には、4番目以降の表示要求に対応する表示指示オブジェクト42は画像40bには表示されない。4番目に受け付けられた装着ギフトの表示要求に対応する表示指示オブジェクト42は、既に表示されている3つの表示指示オブジェクト42のうちのいずれかが選択されて、表示領域に空きができた場合に画像40bに表示される。
【0076】
ギフト要求処理部61dは、視聴ユーザからギフトの表示要求を受け付け、当該表示要求に応じたギフトオブジェクトを表示するための処理を行う。各視聴ユーザは、自らの視聴ユーザ装置を操作することにより、ギフトの表示要求をサーバ装置60に送信することができる。ギフトの表示要求には、視聴ユーザのユーザIDと、表示を要求するギフトを特定するギフト識別情報(ギフトID)及び/又は表示を要求するギフトに対応するギフトオブジェクトを特定するオブジェクト識別情報(オブジェクトID)と、が含まれてもよい。
【0077】
上述のように、ギフトを示すギフトオブジェクトには、エフェクトギフトに対応するエフェクトオブジェクトと、通常ギフトに対応する通常オブジェクトと、装着ギフトに対応する装着オブジェクトと、が含まれ得る。
【0078】
一態様において、ギフト要求処理部61dは、視聴ユーザから特定の通常ギフトの表示要求を受け付けると、当該表示要求に基づいて、表示が要求された通常ギフトを示す通常オブジェクトを動画に表示させるための処理を行う。例えば、バッグを示す通常ギフトの表示要求がなされた場合には、
図8に示すように、ギフト要求処理部61dにより当該表示要求に基づいてバッグを示す通常オブジェクト37aが画像30に表示される。同様に、熊のぬいぐるみを示す通常ギフトの表示要求がなされた場合には、
図8に示すように、ギフト要求処理部61dにより当該表示要求に基づいて熊のぬいぐるみを示す通常オブジェクト37bが画像30に表示される。図示を省略しているが、配信ユーザ装置20aにおける画像40a及び配信ユーザ装置20bにおける画像40bにも、画像30と同様に、通常オブジェクト37a,37bが表示される。
【0079】
一態様において、ギフト要求処理部61dは、視聴ユーザから特定のエフェクトギフトの表示要求を受け付けると、当該表示要求に基づいて、表示が要求されたエフェクトギフトに対応するエフェクトオブジェクトを動画の表示画像に表示させるための処理を行う。例えば、紙吹雪や花火を示すエフェクトギフトの表示要求がなされた場合には、ギフト要求処理部61dは、図当該表示要求に基づいて紙吹雪や花火を示すエフェクトギフトに対応するエフェクトオブジェクト(不図示)が画像30、画像40a、及び画像40bに表示される。
【0080】
通常ギフトの表示要求には、当該通常ギフトを示す通常オブジェクトの表示位置を指定する表示位置指定パラメータが含まれてもよい。この場合、ギフト要求処理部61dは、表示位置指定パラメータによって指定された位置に通常オブジェクトを表示することができる。キャラクタ31の表示位置及び表示範囲が定められている場合には、表示位置指定パラメータによって、当該キャラクタ31に対する相対的な位置が通常オブジェクトの表示位置として指定され得る。
【0081】
一態様において、通常オブジェクトは、動画の画像30内で移動するように表示されてもよい。例えば、通常オブジェクト37a,37bは、画面の上から下に向かって落下するように表示されてもよい。この場合、通常オブジェクト37a,37bは、落下開始から画像30の下端まで落下する間当該画像30内に表示され、画像30の下端に落下した後に当該画像30から消滅してもよい。通常オブジェクト37a,37bの画面内での移動方向は任意に設定され得る。例えば、通常オブジェクト37a,37bは、画像30において、左から右へ、右から左へ、左上から左下へ、またはこれら以外の方向に移動してもよい。通常オブジェクト37a,37bは、様々な軌道上を移動することができる。例えば、通常オブジェクト37a,37bは、直線軌道上、円軌道上、楕円軌道上、螺旋軌道上、またはこれら以外の軌道上を移動することができる。視聴ユーザは、通常オブジェクトの表示要求に、表示位置指定パラメータに加えてまたは表示位置指定パラメータに代えて、通常オブジェクト37a,37bの移動方向を指定する移動方向パラメータ及び通常オブジェクト37a,37bが移動する軌道を指定する軌道パラメータの少なくとも一方を含めることができる。一実施形態において、エフェクトオブジェクト及び通常オブジェクトのうち、仮想空間における大きさが基準となる大きさより小さいものは、キャラクタ31に、その一部又は全部を重複させて表示してもよい。一実施形態において、エフェクトオブジェクト及び通常オブジェクトのうち、画像30における大きさが基準となる大きさより大きいものは、キャラクタ31と重複しない位置に表示される。別の一実施形態において、エフェクトオブジェクト及び通常オブジェクトのうち、仮想空間における大きさが基準となる大きさより大きいものは、キャラクタ31の後ろに表示されてもよい。通常オブジェクト37a,37bは、画像40a及び画像40bにおいても上記のように移動するように表示されてもよい。
【0082】
一態様において、ギフト要求処理部61dは、視聴ユーザから特定の装着オブジェクトの表示要求を受け付けると、当該表示要求に基づいて、
図7bに示すように、配信ユーザ装置20における画像40bに表示指示オブジェクト42a~42cを表示する。この表示指示オブジェクト42a~42cの各々は、表示要求がなされた装着ギフトと対応付けられている。表示指示オブジェクト42a~42cのいずれかが選択されると、その選択された表示指示オブジェクトに対応付けられている装着ギフトが配信中の動画に表示される。例えば、表示指示オブジェクト42bに猫耳を模したカチューシャが対応付けられている場合に、表示指示オブジェクト42bが選択されると、ギフト要求処理部61dは、選択された表示指示オブジェクト42bに対応するカチューシャを示す装着オブジェクト38を配信中の動画に表示させる。カチューシャを示す装着オブジェクト38を含む動画の表示例が
図9及び
図10a~
図10bに示されている。また、
図10bに示されているように、選択された表示指示オブジェクト42bは、画像40bから削除される。
【0083】
装着オブジェクトは、キャラクタの特定の部位(装着部位)と関連付けて動画内に表示される。例えば、装着オブジェクトは、キャラクタの当該装着部位に接するように動画内に表示されてもよい。装着オブジェクト38は、キャラクタの当該装着部位に装着されるように動画内に表示されてもよい。一実施形態において、カチューシャを示す装着オブジェクト38は、キャラクタの頭部と対応付けられている。このため、
図9及び
図10a~
図10bに示されている表示例では、装着オブジェクト38がキャラクタ31の頭部に装着されている。装着オブジェクトは、キャラクタの当該装着部位の動きに付随して動くように動画の表示画面内に表示されてもよい。例えば、カチューシャを示す装着オブジェクト38を装着したキャラクタ31の頭部が動くと、あたかもカチューシャがキャラクタ31の頭部に装着されているかのごとく、カチューシャを示す装着オブジェクト38もキャラクタ31の頭部に付随して動く。
【0084】
上述したように、ギフトオブジェクト情報63cは、装着オブジェクトがキャラクタのどの部位に関連付けられるかを示す装着部位情報を含んでもよい。一態様において、ギフト要求処理部61dは、キャラクタに装着オブジェクトが装着されている場合には、当該装着オブジェクトの表示時間が経過するまでは、当該装着オブジェクトの装着部位情報が示す部位と同じ又は重複する部位に装着される他の装着オブジェクトの表示を禁止する。例えば、「頭部後方左側」及び「頭部後方右側」の両方に関連付けられたカチューシャと、「頭部後方左側」に関連付けられたヘアアクセサリとは、「頭部後方左側」が重複しているため、カチューシャが表示されている場合には、装着部位情報として「頭部後方左側」が設定されているヘアアクセサリの表示は禁止される。一方、「頭部後方左側」及び「頭部後方右側」に関連付けられたカチューシャと、「(頭部のうち)左耳」及び「(頭部のうち)右耳」に関連付けられたイヤリングは、キャラクタにおける装着部位が重複していないため、同時に装着することができる。
【0085】
一実施形態においては、装着部位が同じ又は重複する複数の装着オブジェクトの表示を禁止するために、表示が禁止される装着オブジェクトを表示するための表示指示オブジェクト42がディアクティベートされてもよい。
図7bに示されている実施形態において、表示指示オブジェクト42aは、装着部位情報として「頭部後方左側」が設定されたヘアアクセサリの表示を指示するためのオブジェクト(ボタン)であると想定する。この場合、このヘアアクセサリを示す装着オブジェクトは、キャラクタ31がカチューシャを示す装着オブジェクト38を装着中であるため、装着オブジェクト38がキャラクタ31に装着されている間は、動画への表示が禁止される。一実施形態においては、このヘアアクセサリを示す装着オブジェクトの動画への表示を禁止するために、当該ヘアアクセサリを示す装着オブジェクトに対応付けられている表示指示オブジェクト42aがディアクティベートされる。例えば、表示指示オブジェクト42aは、装着オブジェクト38がキャラクタ31に装着されている間、操作されても選択不能とされる。別の実施形態において、装着オブジェクト38がキャラクタ31に装着されている間、表示指示オブジェクト42aは、画像40bから消去される。ディアクティベートされた表示指示オブジェクト42aは、カチューシャの表示時間が経過したことに応じて、再びアクティベートされる。表示指示オブジェクト42aを再びアクティベートするために、例えば、選択不能とされていた表示指示オブジェクト42aが再び選択可能とされてもよいし、非表示となっていた表示指示オブジェクト42aを再び画像40bに表示させてもよい。
【0086】
ギフト要求処理部61dは、視聴ユーザからギフトの表示要求に応じたギフトオブジェクトを表示するための処理とともに、オブジェクト表示情報63eを更新する処理を行う。例えば、配信ユーザUbが配信している動画に装着オブジェクト38が表示されている場合には、オブジェクト表示情報63eにおいて配信ユーザUbを識別するユーザIDと対応付けて装着オブジェクト38aを識別するオブジェクトIDが記憶される。他の装着オブジェクトが表示された場合にも同様に、その表示された装着オブジェクトを識別するオブジェクトIDが配信ユーザUbのユーザIDと対応付けて記憶される。ギフト要求処理部61dは、動画に表示された装着オブジェクトが画面から消えた場合(当該装着オブジェクトが装着されなくなった場合)には、画面から消えた装着オブジェクトを識別するオブジェクトIDをオブジェクト表示情報63eから削除しても良い。
【0087】
一態様において、ギフト購入処理部61eは、動画の視聴ユーザからの要求に応じて、当該動画に関連して購入可能な複数のギフトオブジェクトの各々の購入情報を当該視聴ユーザの視聴ユーザ装置(例えば、視聴ユーザ装置10及び配信ユーザ装置20a)に送信する。各ギフトオブジェクトの購入情報には、当該ギフトオブジェクトの種類(エフェクトオブジェクト、通常オブジェクト、または装着オブジェクト)、当該ギフトオブジェクトの画像、当該ギフトオブジェクトの価格、及びこれら以外のギフトオブジェクトの購入に必要な情報が含まれ得る。視聴ユーザは、視聴ユーザ装置10又は配信ユーザ装置20aに表示されているギフトオブジェクトの購入情報に基づいて、購入するギフトオブジェクトを選択することができる。購入対象のギフトオブジェクトの選択は、視聴ユーザ装置10又は配信ユーザ装置20aの操作により行われてもよい。購入対象のギフトオブジェクトが視聴ユーザによって選択されると、当該ギフトオブジェクトの購入要求がサーバ装置60に送信される。ギフト購入処理部61eは、当該購入要求に基づいて、決済処理を行う。この決済処理が完了すると、当該購入されたギフトオブジェクトは、当該視聴ユーザによって保有される。ストレージ23に、ギフトを購入した視聴ユーザのユーザIDと対応づけて、購入されたギフトのギフトID(又は当該ギフトを示すギフトオブジェクトのギフトオブジェクトID)が記憶されてもよい。ギフトオブジェクトの購入は、くじ、ルートボックス、又はルーレットを利用して行われてもよい。つまり、視聴ユーザは、購入対象のギフトオブジェクトを特定せずに、くじ、ルートボックス、又はルーレットの購入を通じてギフトアイテムを取得しても良い。本明細書においては、購入対象のギフトオブジェクトを特定せずにギフトアイテムを得ることもギフトアイテムの「購入」に含められても良い。
【0088】
購入可能なギフトオブジェクトは、動画ごとに異なっていてもよい。購入可能なギフトオブジェクトは、複数の動画において購入可能であってもよい。つまり、購入可能なギフトオブジェクトには、各動画に固有の固有ギフトオブジェクトと、複数の動画において購入可能な共通ギフトオブジェクトと、が含まれてもよい。例えば、紙吹雪を示すエフェクトオブジェクトは、複数の動画において購入可能な共通ギフトオブジェクトであってもよい。
【0089】
一態様においては、所定の動画を視聴中にエフェクトオブジェクトを購入した場合、当該エフェクトオブジェクトを購入するための決済処理が完了したことに応じて、当該購入対象のエフェクトオブジェクトが当該視聴中の動画に自動的に表示されてもよい。所定の動画を視聴中に通常オブジェクトを購入した場合、上記と同様に、当該通常オブジェクトを購入するための決済処理が完了したことに応じて、当該購入対象の通常ギフトオブジェクトが当該視聴中の動画に自動的に表示されてもよい。
【0090】
他の態様においては、購入対象のエフェクトオブジェクトについてギフト購入処理部61eにおける決済処理が完了したことに応じて、決済完了通知が視聴ユーザ装置10に送信され、当該視聴ユーザ装置10において、購入されたエフェクトオブジェクトの表示要求を行うか否かを視聴ユーザに確認するための確認画面が表示されてもよい。視聴ユーザが、当該購入されたエフェクトオブジェクトについて表示要求を行うことを選択した場合には、当該購入されたエフェクトオブジェクトの表示を要求する表示要求が、当該視聴ユーザのクライアント装置からギフト要求処理部61dに送信され、ギフト要求処理部61dにおいて、当該購入対象のエフェクトオブジェクトを動画70に表示させる処理が行われてもよい。購入対象が通常オブジェクトの場合にも、上記と同様に、購入された通常オブジェクトの表示要求を行うか否かを視聴ユーザに確認するための確認画面が視聴ユーザ装置10に表示されてもよい。
【0091】
共演申請処理部61fは、一の配信ユーザに対して他の配信ユーザから共演申請があった場合に、当該共演申請に基づいて、当該一の配信ユーザと当該他の配信ユーザとが仮想的に共演する共演動画を生成する。以下では、配信ユーザUbのキャラクタ31を含む動画を視聴している配信ユーザUaから配信ユーザUbとの共演申請がなされるケースを想定して説明を行う。共演申請処理部61fは、配信ユーザUaからの共演申請だけでなく、様々な配信ユーザからの共演申請に基づいて共演動画を生成することができる。
【0092】
一実施形態において、共演申請処理部61fは、配信ユーザUaからの共演申請を受け付け、当該共演申請に応じて共演動画を生成する。配信ユーザUaは、配信ユーザ装置20aを操作することにより、共演申請をサーバ装置60に送信することができる。具体的には、配信ユーザ装置20aに表示されている共演申請ボタン36が選択されると、配信ユーザ装置20aからサーバ装置60に対して共演申請が送信される。共演申請ボタン36は、例えば、配信ユーザ装置20aのタッチパネルのうち共演申請ボタン36が表示されている領域へのタップ操作により選択され得る。共演申請ボタン36が選択されたことに応じて、配信ユーザ装置20aにおいて配信プログラムを含むアプリケーションソフトウェアが起動されてもよい。配信ユーザ装置20aから送信される共演申請には、配信ユーザUaを識別するユーザIDが含まれてもよい。共演申請ボタン36は、動画の配信時から表示されていてもよいし、配信ユーザUbが配信ユーザUaを招待したことに応じて表示されてもよい。配信ユーザUbは、サーバ装置60を介して又はサーバ装置60を介さずに、配信ユーザUaを共演に誘うためのインビテーションを配信ユーザ装置20bから配信ユーザ装置20aに対して送付しても良い。
【0093】
共演申請処理部61fは、配信ユーザ装置20aから共演申請を受け付けたことに応じて、当該共演申請を許可するか否かを決定してもよい。共演申請処理部61fは、共演申請を行った配信ユーザUaに関する様々な情報に基づいて共演可否を決定することができる。例えば、配信ユーザUaに対する他のユーザからの評価が所定の基準より高い場合に配信ユーザUaからの共演申請を許可することができ、逆に、配信ユーザUaに対する他のユーザからの評価が所定の基準よりも低い場合には配信ユーザUaからの共演申請を拒否することができる。また、配信ユーザUaからの共演申請を許可するか否かを配信ユーザUbに問い合わせ、その回答に応じて共演の可否を決定してもよい。
【0094】
一実施形態において、配信ユーザUaからの共演申請が許可された場合には、共演申請処理部61fは、配信ユーザUaと配信ユーザUbとが共演する共演動画を生成する。共演動画の生成のために、共演申請処理部61fは、配信ユーザUaから、当該配信ユーザUaのフェイスモーションデータ及び音声データを取得する。配信ユーザUaのフェイスモーションデータは、共演申請とともに配信ユーザ装置20aからサーバ装置60に送信されてもよいし、共演申請が許可された後にサーバ装置60からの要求に応じて配信ユーザ装置20aからサーバ装置60に送信されてもよい。配信ユーザUaの体の動きもアニメーションとして表現される場合には、配信ユーザUaのフェイスモーションデータとともにボディモーションデータがサーバ装置60に提供されてもよい。共演申請処理部61fは、配信ユーザUaからフェイスモーションデータが取得できない場合には、配信ユーザUaから音声データのみを取得してもよい。例えば、配信ユーザUaが使用する配信ユーザ装置20aがフェイスモーションデータ生成部21a1の機能またはこれ以外の動画配信のための機能を備えていない場合、当該機能がディスエーブルされている場合、及びこれら以外の場合には、共演申請処理部61fは、配信ユーザUaからフェイスモーションデータ(及びボディモーションデータ)を取得せず音声データを取得してもよい。
【0095】
一実施形態において、共演申請処理部61fは、配信ユーザUaのフェイスモーションデータに基づいて、配信ユーザUbのキャラクタ31を含む動画に、配信ユーザUaのキャラクタのアニメーションを追加することで、共演画像を生成する。配信ユーザUaのキャラクタのアニメーションは、アニメーション生成部61aにおいて、配信ユーザUaのフェイスモーションデータに基づいて生成されてもよい。配信ユーザUaのキャラクタのアニメーションは、配信ユーザUaのフェイスモーションデータをモデルデータ63aに含まれている配信ユーザUa用のモデルデータに適用することにより生成されてもよい。例えば、共演申請処理部61fは、配信ユーザUaのキャラクタのアニメーションを含むレイヤーを生成し、このレイヤーを配信ユーザUbのキャラクタ31を含む動画に重畳することで、配信ユーザUaのキャラクタ及び配信ユーザUbのキャラクタ31を含む共演動画を生成することができる。共演申請処理部61fは、配信ユーザUaからフェイスモーションデータ(及びボディモーションデータ)を取得せず音声データを取得した場合には、配信ユーザUbのキャラクタ31を含む動画に、配信ユーザUaから取得した音声データに基づいて生成される音声を重畳することで、配信ユーザUbのキャラクタ31と配信ユーザUaの音声とを含む共演動画を生成することができる。共演申請処理部61fは、モデルデータ63aとして配信ユーザUa用のモデルデータが設定されていない場合にも、配信ユーザUbのキャラクタ31を含む動画に、配信ユーザUaから取得した音声データに基づいて生成される音声を重畳することで、配信ユーザUbのキャラクタ31と配信ユーザUaの音声とを含む共演動画を生成することができる。このように、配信ユーザUaは、自らの音声により配信ユーザUbと共演することができる。
【0096】
共演申請処理部61fは、配信ユーザUaからフェイスモーションデータを取得できない場合に配信ユーザUaの音声と配信ユーザUbのキャラクタ31を含む共演動画を配信し、その後配信ユーザUaからフェイスモーションデータを取得したタイミングで、配信ユーザUaのフェイスモーションデータに基づいて配信ユーザUaのキャラクタを生成することで、配信ユーザUaのキャラクタ及び配信ユーザUbのキャラクタ31を含む共演動画を生成することができる。このように、共演申請処理部61fは、配信ユーザUaの音声と配信ユーザUbのキャラクタ31を含む共演動画を、配信ユーザUaのキャラクタ及び配信ユーザUbのキャラクタ31を含む共演動画に切り替えることができる。これとは逆に、共演申請処理部61fは、配信ユーザUaのキャラクタ及び配信ユーザUbのキャラクタ31を含む共演動画を、配信ユーザUaの音声と配信ユーザUbのキャラクタ31を含む共演動画に切り替えることができる。このように、音声による共演が行われている共演動画(「音声共演動画」と呼ぶことがある。)とキャラクタによる共演が行われている共演動画(「キャラクタ共演動画」と呼ぶことがある。)とは、交互に切り替え可能とされてもよい。
【0097】
生成された共演動画は、動画配信部61cにより配信される。共演動画は、配信ユーザ装置20a又は配信ユーザ装置20bで作成されてもよい。共演動画が配信ユーザ装置20aで生成される場合には、当該共演動画が配信ユーザ装置20aからサーバ装置60に送信され、サーバ装置60の動画配信部61cにより配信される。共演動画が配信ユーザ装置20bで生成される場合には、当該共演動画が配信ユーザ装置20bからサーバ装置60に送信され、サーバ装置60の動画配信部61cにより配信される。
【0098】
動画配信部61cから配信された共演動画の表示例を
図11及び
図12a~
図12bに示す。これらの図では、配信ユーザUbが配信している動画に対して配信ユーザUaが共演申請をして、その結果、配信ユーザUaのキャラクタ及び配信ユーザのキャラクタを含む共演動画が配信されており、配信ユーザUaは、
図10aに示されている画像を視聴中に共演申請ボタン36を選択したと想定されている。
【0099】
図11に示されているように、視聴ユーザ装置10のディスプレイには、サーバ装置60から配信された共演動画の画像130が表示される。この視聴ユーザ装置10に表示されている共演動画の画像130には、配信ユーザUbのキャラクタ31に加えて、配信ユーザUaのキャラクタ131が含まれている。配信ユーザUaのキャラクタ131は、上記のように、アニメーション生成部61a又は共演申請処理部61fにおいて生成される。共演動画の画像130は、
図6に示されている元の配信画像と同様に、ギフトボタン32と、評価ボタン33と、コメントボタン34と、コメント表示領域35と、を含んでいる。
【0100】
共演動画の画像130は、図示のとおり、横長に表示される。共演申請処理部61f又は動画配信部61cは、共演画像を配信する場合、横長の画像として配信する。これにより、視聴ユーザ装置10には、共演動画が横長の画像130として表示される。一実施形態においては、
図6に示されているように、元の動画(画像)が縦長だとしても、共演画像は横長に変換されて配信される。共演画像は、二人の配信ユーザのキャラクタを含むため、横長の画像とすることにより、二人分のキャラクタを重複なく表示しやすくなる。例えば、共演画像においては、視聴ユーザの視点で向かって左半分を元の配信ユーザ(ホストユーザ)のキャラクタに割り当てられる領域とし、右半分を共演申請を行った配信ユーザ(ゲストユーザ)のキャラクタに割り当てられる領域としてもよい。各配信ユーザへの領域の割り当ては、キャラクタ同士が重複しないように任意に定められてもよい。
【0101】
図12a及び
図12bに示されているように、配信ユーザ装置20aにはサーバ装置60から配信された共演動画の画像140aが表示され、配信ユーザ装置20bのディスプレイには当該共演動画の画像140bが表示される。この画像140a及び画像140bには、画像130と同じ背景画像、キャラクタ画像、及びコメントが含まれている。他方、画像140a及び画像140bは、ギフトボタン32、評価ボタン33、及びコメントボタン34を含んでおらず、表示指示ボタン42a,42c,42dを含んでいる点で画像130と異なっている。配信ユーザUa及び配信ユーザUbは、同じ共演画像において共演しているため、配信ユーザUaの配信ユーザ装置20aに表示されている画像140aと配信ユーザUbの配信ユーザ装置20bに表示されている画像140bとは同じであってもよい。画像140a及び画像140bも画像130と同様に、複数のキャラクタを重複なく配置するという観点から横長に表示されている。
図11及び
図12a~
図12bに示されている例では、
図11に示されている共演画像を視聴している視聴ユーザからイヤリングを示す装着ギフトの表示要求がなされ、その結果、当該表示要求に応じて配信ユーザ装置20a及び配信ユーザ装置20bの表示画像には、表示指示オブジェクト42dが追加されていると想定する。表示指示オブジェクト42dは、装着部位情報として「耳」が設定されたイヤリングの表示を指示するためのオブジェクト(ボタン)である。
【0102】
判定部61gは、共演動画においてホストユーザ及びゲストユーザの一方のキャラクタと対応付けてオブジェクトが表示されているときに、他方のキャラクタと対応付けて当該オブジェクトと同一のオブジェクトが表示されているかを判定する。よって、判定部61gは、ホストユーザ及びゲストユーザの一方のキャラクタが装着オブジェクトを装着しているときには、他方のキャラクタが同一の装着オブジェクトを装着しているか否かを判定することができる。判定部61gによる判定は、オブジェクト表示情報63eを参照して行われても良い。オブジェクト表示情報63eにおいては、上記のとおり、配信ユーザのアカウント情報と対応づけて動画において当該配信ユーザのキャラクタと対応付けて表示されている装着オブジェクトを特定するオブジェクトIDが記憶されている。したがって、オブジェクト表示情報63eに基づいて、ホストユーザのキャラクタ31に装着されている装着オブジェクト及びゲストユーザのキャラクタ131に装着されている装着オブジェクトを特定することができる。判定部61gは、オブジェクト表示情報63eに基づいて、ホストユーザとゲストユーザとが同じ装着オブジェクトを装着しているか否かを判定することができる。
【0103】
図11に表示されている共演動画を例に、判定部61gにおける判定の具体例について説明する。
図11に示されている共演動画の画像130においては、ホストユーザのキャラクタ31に対応付けて装着オブジェクト38が表示されている一方でゲストユーザのキャラクタ131に対応付けて表示されている装着オブジェクトは存在しない。したがって、判定部61gは、オブジェクト表示情報63eに基づいて、ホストユーザのキャラクタ31に対応づけて表示されている装着オブジェクト38がゲストユーザのキャラクタ131に対応付けて表示されていない(キャラクタ131には装着オブジェクト38が装着されていない)と判定する。判定部61gは、ホストユーザのキャラクタ31及びゲストユーザのキャラクタ131の少なくとも一方が複数の装着オブジェクトを装着している場合には、その複数の装着オブジェクトの各々について上記の判定を行うことができる。
【0104】
マッチング処理部61hは、判定部61gにおける判定結果に応じて、共演動画にマッチングオブジェクトを表示する。具体的には、判定部61gにおいてホストユーザ及びゲストユーザの一方のキャラクタが装着オブジェクトが表示されているときに他方のキャラクタに対応付けて当該装着オブジェクトと同一のオブジェクトが表示されていないと判定されたときに、当該他方のキャラクタに対応付けて当該一方のキャラクタに対応付けて表示されているオブジェクトと同一のマッチングオブジェクトを表示する処理を行う。
【0105】
図11及び
図13を参照して、マッチング処理部61hにおける処理の具体例について説明する。
図11に例示されている共演動画が配信されている場合、判定部61gにおいては、配信ユーザUb(ホストユーザ)のキャラクタ31に対応づけて表示されている装着オブジェクト38が配信ユーザUa(ゲストユーザ)のキャラクタ131に対応付けて表示されていないと判定される。この判定部61gにおける判定に基づいて、マッチング処理部61hは、装着オブジェクト38を装着していないゲストユーザのキャラクタ131に対応付けてマッチングオブジェクト138を表示させる。言い換えると、キャラクタ131にマッチングオブジェクト138を装着させる。マッチングオブジェクト138は、装着オブジェクト38と同一のオブジェクトである。図示の例では、装着オブジェクト38及びマッチングオブジェクト138はいずれも猫耳を模したカチューシャを示すオブジェクトである。装着オブジェクト38とマッチングオブジェクト138とは同じ装着オブジェクトであるから、同一のオブジェクトIDによって識別されてもよい。
【0106】
マッチング処理部61hは、マッチングオブジェクトの表示を要求する表示要求に基づいてマッチングオブジェクトを表示する処理を行っても良い。一実施形態において、マッチング処理部61hは、共演動画においてホストユーザのキャラクタ31に対応づけて表示されている装着オブジェクト38がゲストユーザのキャラクタ131に対応付けて表示されていないと判定された場合に、当該共演動画の視聴ユーザに対してマッチングオブジェクトの表示要求の送信を促す処理を行うことができる。例えば、共演動画を再生している視聴ユーザ装置10の画像130においてギフトボタン32を強調表示することができる。ギフトボタン32の強調表示は、例えば、ギフトボタン32の点滅、ギフトボタン32の色の変更、ギフトボタン32の大きさの変更、及び前記以外の態様でなされ得る。視聴ユーザに対してマッチングオブジェクトの表示要求を促す処理には様々な態様が考えられる。視聴ユーザに対してマッチングオブジェクトの表示要求を促す処理には、例えば、画像130においてキャラクタ31に装着されている装着オブジェクト38を強調表示する処理、画像130において装着オブジェクト38が一方のキャラクタのみに装着されていることを示すメッセージを表示する処理、これ以外のマッチングオブジェクトの表示要求を行うことを促すメッセージを表示する処理、及び前記以外の処理が含まれ得る。
【0107】
視聴ユーザは、視聴ユーザに対してマッチングオブジェクトの表示要求を促す処理がなされた場合に、視聴ユーザ装置10を操作してマッチングオブジェクトの表示要求をサーバ装置60に送信することができる。例えば、視聴ユーザは、ギフトボタン32を操作することにより装着オブジェクト38と同一のオブジェクトをギフティング対象のオブジェクトとして選択し、この選択したオブジェクト(マッチングオブジェクト)の表示要求をサーバ装置60に送信することができる。マッチングオブジェクトの表示要求には、表示対象のマッチングオブジェクトを識別するオブジェクトIDが含まれても良い。サーバ装置60において視聴ユーザ装置10からマッチングオブジェクトの表示要求が受け付けられると、ギフト要求処理部61dは、当該表示要求に基づいてマッチングオブジェクト138をキャラクタ131に対応付けて表示する。マッチングオブジェクト138は装着オブジェクトの一種であるから、マッチングオブジェクトの表示要求がなされたときに配信ユーザ装置20aに表示される画像140a及び配信ユーザ装置20bに表示される画像140bの少なくとも一方に当該マッチングオブジェクト138に対応付けられた表示指示オブジェクトが表示されてもよい。この場合、マッチングオブジェクト138に対応付けられた表示指示オブジェクトが選択されたことに応じて、マッチングオブジェクト138が共演動画に表示されてもよい。マッチングオブジェクト138は、表示指示オブジェクトの選択とは無関係に、マッチングオブジェクト138の表示要求がサーバ装置60において受け付けられたことに応じて共演動画に表示されてもよい。
【0108】
マッチングオブジェクト138の表示例が
図13に示されている。
図13は、キャラクタ131に対応付けてマッチングオブジェクト138が表示されている共演動画の画像の表示例を示す。
図13に示されているように、視聴ユーザ装置10において表示される共演動画130において、キャラクタ131に対応付けてマッチングオブジェクト138が表示される。配信ユーザ装置20aにおいて表示される画像140a及び配信ユーザ装置20bにおいて表示される画像140bにおいても同様にキャラクタ131に対応付けてマッチングオブジェクト138が表示される。図示のように、装着オブジェクト38及びマッチングオブジェクト138は、キャラクタ31及びキャラクタ131の同一の装着部位に装着される。具体的には、装着オブジェクト38及びマッチングオブジェクト138はそれぞれキャラクタ31の頭部及びキャラクタ131の頭部に対応付けて表示されている。
【0109】
他の実施形態において、マッチング処理部61hは、共演動画においてホストユーザのキャラクタ31に対応づけて表示されている装着オブジェクト38がゲストユーザのキャラクタ131に対応付けて表示されていないと判定された場合に、装着オブジェクト38を装着していないキャラクタ131のユーザ(配信ユーザUa)に対して、マッチングオブジェクトの表示要求の送信を行うことを促す処理を行うことができる。装着オブジェクト38を装着していないキャラクタ131のユーザである配信ユーザUaに対してマッチングオブジェクトの表示要求を促す処理には様々な態様が考えられる。配信ユーザUaに対してマッチングオブジェクトの表示要求を促す処理には、例えば、画像140aにおいてキャラクタ31に装着されている装着オブジェクト38を強調表示する処理、画像140aにおいて装着オブジェクト38が一方のキャラクタのみに装着されていることを示すメッセージを表示する処理、これ以外のマッチングオブジェクトの表示要求を行うことを促すメッセージを表示する処理、及び前記以外の処理が含まれ得る。配信ユーザUaは、配信ユーザUaに対してマッチングオブジェクトの表示要求を促す処理がなされた場合に、配信ユーザ装置20aを操作してマッチングオブジェクトの表示要求をサーバ装置60に送信することができる。動画生成部61bは、当該表示要求に基づいてマッチングオブジェクト138をキャラクタ131に対応付けて表示する。
【0110】
他の実施形態において、マッチング処理部61hは、共演動画においてホストユーザのキャラクタ31に対応づけて表示されている装着オブジェクト38がゲストユーザのキャラクタ131に対応付けて表示されていないと判定された場合に、装着オブジェクト38を装着しているキャラクタ31のユーザ(配信ユーザUb)に対して、マッチングオブジェクトの表示要求の送信を促す処理を行うことができる。装着オブジェクト38を装着しているキャラクタ31のユーザである配信ユーザUbに対してマッチングオブジェクトの表示要求を促す処理には様々な態様が考えられる。配信ユーザUbに対してマッチングオブジェクトの表示要求を促す処理には、例えば、画像140bにおいてキャラクタ31に装着されている装着オブジェクト38を強調表示する処理、画像140bにおいて装着オブジェクト38が一方のキャラクタのみに装着されていることを示すメッセージを表示する処理、これ以外のマッチングオブジェクトの表示要求を行うことを促すメッセージを表示する処理、及び前記以外の処理が含まれ得る。配信ユーザUbは、配信ユーザUbに対してマッチングオブジェクトの表示要求を促す処理がなされた場合に、配信ユーザ装置20bを操作してマッチングオブジェクトの表示要求をサーバ装置60に送信することができる。動画生成部61bは、当該表示要求に基づいてマッチングオブジェクト138をキャラクタ131に対応付けて表示する。
【0111】
共演動画においてマッチングオブジェクト138が表示されることにより、キャラクタ31及びキャラクタ131の両方が同じ装着オブジェクトを装着することになる。これにより共演動画の統一性が向上する。より具体的には、共演動画において、ホストユーザのキャラクタとゲストユーザのキャラクタとの外見の統一性が向上する。
【0112】
マッチングオブジェクト138は、視聴ユーザによる当該マッチングオブジェクト138の表示要求、配信ユーザUaによる表示要求、又は配信ユーザUbによる表示要求に基づいて共演動画において表示される。マッチングオブジェクト138は、当該共演動画のみにおいてキャラクタ131に装着可能とされてもよい。言い換えると、視聴ユーザによる当該マッチングオブジェクト138の表示要求、配信ユーザUaによる表示要求、又は配信ユーザUbによる表示要求に基づいて特定の共演動画において表示されたマッチングオブジェクト(例えば、マッチングオブジェクト138)は、他の動画によって利用することができない。
【0113】
特典付与部61iは、共演動画で共演しているユーザの一方のキャラクタと対応付けてマッチングオブジェクトが表示された場合に、その他方のユーザに対して特典を付与する。例えば、特典付与部61iは、
図11及び
図13に示されている例において、マッチングオブジェクト138がキャラクタ131に対応付けて表示された場合に、キャラクタ31のユーザである配信ユーザUbに対して特典を付与する。特典付与部61iは、マッチングオブジェクト138がキャラクタ131に対応付けて表示された場合に、キャラクタ131のユーザである配信ユーザUaに対して特典を付与してもよい。特典付与部61iは、マッチングオブジェクト138がキャラクタ131に対応付けて表示された場合に、及び共演動画を視聴している視聴ユーザに対して特典を付与しても良い。特典付与部61iは、共演動画を視聴している視聴ユーザの全てに対して特典を付与しても良いし、共演動画を視聴している視聴ユーザの一部に対してのみ特典を付与しても良い。特典付与部61iは、配信ユーザUa、配信ユーザUb、及び視聴ユーザのそれぞれに対して特典を付与しても良い。特典付与部61iは、共演動画を視聴している視聴ユーザのうち、マッチングオブジェクト138のギフティングを行った視聴ユーザに対してのみ特典を付与しても良い。特典付与部61iによって与えられる特典には、動画配信システム1によって提供される動画配信サービスにおいて使用可能なポイント、動画配信システム1以外の特定のプラットフォームで利用可能なポイント、ビットコイン等の暗号資産、他の配信ユーザ(例えば、配信ユーザUb)にギフティングするためのギフト、配信される動画に表示することが可能なオブジェクト、及びこれら以外の様々な特典を含み得る。
【0114】
次に、
図14~
図16を参照して、一態様による動画配信処理について説明する。
図14は、一実施形態における動画配信処理の流れを示すフロー図であり、
図15は、一実施形態において共演動画を配信する処理の流れを示すフロー図であり、
図16は、一実施形態においてマッチングオブジェクトを表示する処理の流れを示すフロー図である。これらの図を参照して説明される動画配信処理においては、配信ユーザUbが配信ユーザ装置20bを用いて取得したフェイスモーションデータに基づいて生成された動画が配信されており、この動画を視聴している配信ユーザUaから共演申請がなされることが想定されている。
【0115】
まず、ステップS11では、配信ユーザUbの顔の動き(表情)のデジタル表現であるフェイスモーションデータが生成される。フェイスモーションデータの生成は、例えば、配信ユーザ装置20bのフェイスモーションデータ生成部121bで行われる。配信ユーザ装置20bにおいては、配信ユーザUa,Ubからの音声入力に基づいて音声データが生成されてもよい。生成されたフェイスモーションデータ及び音声データは、サーバ装置60に送信される。
【0116】
次に、ステップS12において、配信ユーザ装置20bからのフェイスモーションデータが配信ユーザUb用のモデルデータに適用されることにより、配信ユーザUbの表情の動きに同期して動くキャラクタオブジェクト31のアニメーションが生成される。このアニメーションの生成は、例えば、上記のアニメーション生成部61aで行われる。
【0117】
次に、ステップS13において、配信ユーザUbのキャラクタオブジェクト31のアニメーションを含む動画が生成される。この動画には、配信ユーザUbの音声が合成されてもよい。キャラクタオブジェクト31のアニメーションは、背景画像に重畳して表示される。この動画の生成は、例えば、上記の動画生成部61bで行われる。
【0118】
次に、ステップS14に移行し、ステップS13にて生成された動画が配信される。この動画は、ネットワーク50を介して視聴ユーザ装置10及びこれら以外の視聴ユーザ装置並びに配信ユーザ装置に配信される。配信された動画が視聴ユーザ装置10において再生される場合には、例えば、
図5に示すような動画の画像が視聴ユーザ装置10に表示される。動画は、所定の配信期間にわたって継続して配信される。動画の配信期間は、例えば、30秒間、1分間、5分間、10分、30分間、60分間、120分間、及びこれら以外の任意の時間に定め得る。この動画の配信は、例えば、上記の動画配信部61cで行われる。
【0119】
次に、ステップS15に進み、動画の配信を終了させるための終了条件が成就したか否かが判定される。終了条件は、例えば、配信の終了時刻に達したこと、配信ユーザUbが配信ユーザ装置20bにおいて配信を終了するための操作を行ったこと、またはこれら以外の条件である。終了条件が成就していなければステップS11~S14の処理が繰り返し実行され、配信ユーザUbの動きに同期したアニメーションを含む動画、又は、配信ユーザUaとの共演が継続している場合には共演動画の配信が継続される。動画について終了条件が成就していると判定された場合には、当該動画の配信処理を終了する。
【0120】
次に、
図15を参照して、一実施形態における共演動画の配信処理について説明する。
図15は、一実施形態において共演動画を配信する処理の流れを示すフロー図である。
図15を参照して説明される共演動画の配信処理においては、配信ユーザUbのキャラクタオブジェクトを含む動画を視聴している配信ユーザUaから配信ユーザUbに対して共演申請がなされることが想定されている。共演動画の配信処理は、
図14に示されている動画の配信処理と並行して行われる。
【0121】
まず、配信ユーザUbのキャラクタオブジェクトを含む動画の配信中に、ステップS21において、配信ユーザUb以外のユーザから共演申請がなされたか否かが判定される。共演申請は、例えば、配信ユーザUaからなされる。配信ユーザUaによって共演申請がなされた場合には、処理はステップS22に進む。
【0122】
ステップS22では、共演を申請した配信ユーザUa及びそれ以外のユーザの中から一又は複数のゲストユーザが選定される。本実施形態では、配信ユーザUaがゲストユーザとして選定されたと想定する。この共演申請を許可するか否かの判定は、例えば、共演申請処理部61fにより行われる。
【0123】
ステップS22において、配信ユーザUaの共演申請が許可された場合には、処理はステップS23に進む。ステップS23では、配信ユーザUaのフェイスモーションデータに基づいて、配信ユーザUaのキャラクタオブジェクト131のアニメーションが生成される。そして、配信中の動画(配信ユーザUbのキャラクタオブジェクト31を含む動画)に、配信ユーザUaのキャラクタオブジェクト131のアニメーションを追加することで共演動画を生成する。ステップS22における処理は、例えば、上記の共演申請処理部61fで行われる。
【0124】
次に、処理は、ステップS24に移行する。ステップS24では、ステップS23にて生成された共演動画が配信される。この共演動画は、ネットワーク50を介して視聴ユーザ装置10及びこれら以外の視聴ユーザ装置並びに配信ユーザ装置に配信される。共演動画には、例えば、
図11及び
図12a~
図12bに示されているように、配信ユーザUaのキャラクタオブジェクト131のアニメーション及び配信ユーザUbのキャラクタオブジェクト31のアニメーションが含まれる。
【0125】
次に、処理は、ステップS25に移行する。ステップS25では、共演終了条件が満たされたか否かが判定される。例えば、ゲストユーザである配信ユーザUaのキャラクタオブジェクト131がノンアクティブ状態にある場合、共演ユーザ評価ポイントが所定の閾値以下になった場合、ホストユーザである配信ユーザUbから共演終了指示を受け付けた場合、又は共演動画の配信開始から所定時間以上が経過したことのいずれかの条件が満たされた場合に、共演終了条件が満たされたと判定される。共演終了条件が満たされた場合には、処理はステップS26に進む。
【0126】
ステップS26では、共演動画の配信を終了させるための処理が行われる。例えば、共演動画から、ゲストユーザである配信ユーザUaのキャラクタオブジェクト131が排除されることで、配信ユーザUaと配信ユーザUbとの共演を終了させる。共演が終了した場合でも、動画は継続して配信されてもよい。共演が終了した後に配信される動画には、配信ユーザUaのキャラクタオブジェクト131が含まれない。
【0127】
次に、
図16をさらに参照して、一実施系チアにおいてマッチングオブジェクトを表示する処理の流れを説明する。
図16を参照して説明されるマッチングオブジェクトの表示処理においては、
図11に示されているように、配信ユーザUbのキャラクタ31と配信ユーザUaのキャラクタ131とが共演している共演動画が配信されており、キャラクタ131は、キャラクタ31が装着している装着オブジェクト38を装着していないと想定されている。マッチングオブジェクトの表示処理は、
図15に示されている共演動画の配信処理と並行して行われてもよい。
【0128】
まず、ステップS31において、配信ユーザUbのキャラクタ31と配信ユーザUaのキャラクタ131とが共演している共演動画が配信される。共演動画の生成及び配信は、例えば、上記の共演申請処理部61f及び動画配信部61cにより行われる。
【0129】
次に、ステップS32において、共演動画で共演しているキャラクタ同士が同一の装着オブジェクトを装着しているか否かが判定される。ステップS32における判定処理は、例えば、上記の判定部61gによって行われる。共演動画においては、共演しているキャラクタの一方であるキャラクタ31が装着オブジェクト38を装着しているので、共演しているキャラクタの他方であるキャラクタ131が装着オブジェクト38を装着しているか否かが判定される。キャラクタ131が装着オブジェクト38と同一のオブジェクトを装着していれば、マッチングオブジェクトの表示処理は終了する。
図11に示されている例のようにキャラクタ131が装着オブジェクト38と同一のオブジェクトを装着していなければ、処理はステップS33に進む。
【0130】
ステップS33では、マッチングオブジェクトの表示要求が行われたか否かが判定される。マッチングオブジェクトの表示要求は、例えば、共演動画の視聴ユーザ、配信ユーザUa、又は配信ユーザUbによって行われる。ステップS33では、共演動画の視聴ユーザ、配信ユーザUa、及び配信ユーザUbのうちの少なくとも一人に対してマッチングオブジェクトの表示要求の送信を促す処理が行われてもよい。共演動画の視聴ユーザ、配信ユーザUa、又は配信ユーザUbは、このマッチングオブジェクトの表示要求の送信を促す処理に応じて、視聴ユーザ装置10、配信ユーザ装置20a、又は配信ユーザ装置20bを操作してマッチングオブジェクトの表示要求をサーバ装置60に送信することができる。マッチングオブジェクトの表示要求が行われたか否かの判定は、例えば、上記のマッチング処理部61hにおいて行われる。マッチングオブジェクトの表示要求がなされた場合には、処理はステップS34に進む。
【0131】
ステップS34では、マッチングオブジェクトを表示する表示処理が行われる。例えば、共演動画においてキャラクタ131と対応付けてマッチングオブジェクト138が表示される。以上により、共演動画において配信ユーザUbのキャラクタ31と配信ユーザUaのキャラクタ131とが同じ装着オブジェクトを装着することができる。
【0132】
図16に示されているマッチングオブジェクトの表示処理は、共演動画の配信中に繰り返し行われても良い。マッチングオブジェクトの表示処理においては、共演しているキャラクタ同士が同じ装着オブジェクトを装着していないと判定されたことに応じて自動的にマッチングオブジェクトを表示しても良い。このため、ステップS33は省略可能である。
【0133】
続いて、上記の実施形態が奏する作用効果の例について説明する。上記の一実施形態によれば、共演動画で共演しているキャラクタの各々に同一の装着オブジェクトを装着させることができる。例えば、共演動画においてキャラクタ31が装着オブジェクト38を装着しているときにキャラクタ131に装着オブジェクトと同一のマッチングオブジェクト138を装着させることができる。これにより、共演動画の統一性を向上させることができる。
【0134】
上記の一実施形態によれば、マッチングオブジェクトは、そのマッチングオブジェクトが表示された共演動画内でのみ利用可能とされる。一実施形態において、配信ユーザは、動画においてキャラクタと対応付けて表示されるオブジェクト(例えば、装着オブジェクト)を購入した上で動画に表示する。このため、自らが有償で購入したオブジェクトが共演相手となる他のユーザに対して無償で自由に利用可能な態様で与えられると、ユーザ間の公平性に欠けることになる。上記の一実施形態においては、共演動画において表示されるマッチングオブジェクトは、当該共演動画内でのみ利用可能であり、他の動画では利用できない。このように、マッチングオブジェクトの利用範囲を限定することで、共演動画における統一性を向上させつつ、動画配信システムのユーザ間における公平性も維持できる。
【0135】
上記の一実施形態によれば、視聴ユーザからの表示要求に基づいて、共演動画においてマッチングオブジェクトを表示することができる。よって、上記の一実施形態によれば、視聴ユーザによるマッチングオブジェクトのギフティングを促進することができる。視聴ユーザがマッチングオブジェクトを保有していない場合には、視聴ユーザはマッチングオブジェクトを購入した上でギフティングしてもよい。この場合、マッチングオブジェクトの購入も促進される。
【0136】
上記の一実施形態によれば、装着オブジェクトを装着しているキャラクタのユーザ(例えば、配信ユーザUb)からの表示要求に基づいて、共演動画においてマッチングオブジェクトを表示することができる。よって、上記の実施形態によれば、装着オブジェクトを保有していない又は装着オブジェクトの保有数が少ないユーザに、共演動画に出演するインセンティブを与えることができる。
【0137】
上記の一実施形態によれば、装着オブジェクトを装着していないキャラクタのユーザ(例えば、配信ユーザUa)からの表示要求に基づいて、共演動画においてマッチングオブジェクトを表示することができる。装着オブジェクトを装着していないキャラクタのユーザは、マッチングオブジェクトの表示要求を行うことを促された時点で当該マッチングオブジェクトを保有していない場合には、当該マッチングオブジェクトを購入した上で表示要求を行う。よって、上記の実施形態によれば、装着オブジェクトを装着していないキャラクタのユーザによるマッチングオブジェクトの購入を促進することができる。
【0138】
上記の一実施形態によれば、共演動画で共演している配信ユーザUa(ゲストユーザ)及び配信ユーザUb(ホストユーザ)のうちの配信ユーザUaのキャラクタと対応付けてマッチングオブジェクト138が表示された場合に、ホストユーザである配信ユーザUbに対して特典が付与される。よって、共演動画の配信を行う際に、装着オブジェクトを装着していることにより特典を得る機会が得られる。よって、共演動画への参加者(ホストユーザ及びゲストユーザ)に対して多くの装着オブジェクトを装着するインセンティブを与えることができる。これにより、装着オブジェクトの入手及び購入が促進される。
【0139】
上記の一実施形態によれば、共演動画で共演している配信ユーザUa及び配信ユーザUbのうちの配信ユーザUaのキャラクタと対応付けてマッチングオブジェクト138が表示された場合に、ゲストユーザである配信ユーザUaに対して特典が付与される。よって、共演動画においてゲストユーザとなることにより特典を得ることができるため、視聴ユーザに対して共演申請を行うことを促すことができる。
【0140】
上記の一実施形態によれば、共演動画を視聴している視聴ユーザのうち、マッチングオブジェクト138のギフティングを行った視聴ユーザに対して特典が付与される。これにより、視聴ユーザに対してマッチングオブジェクト138のギフティングを行うインセンティブを付与することができる。
【0141】
上記の一実施形態によれば、共演動画で共演している配信ユーザUa及び配信ユーザUbのうちの配信ユーザUaのキャラクタと対応付けてマッチングオブジェクト138が表示された場合に、配信ユーザUa、配信ユーザUb、及び視聴ユーザのそれぞれに対して特典を付与しても良い。これにより、共演動画に関与している全てのユーザに対して特典が付与されることになるから、特典付与後におけるギフティングやメッセージの送信が活発になり、共演動画における盛り上がりを演出することができる。
【0142】
上記の一実施形態によれば、マッチングオブジェクトは、共演相手が装着している当該マッチングオブジェクトと同一のオブジェクトと同じ装着部位に装着される。例えば、マッチングオブジェクト138は、装着オブジェクト38と同じ装着部位(すなわち、頭部)に装着される。これにより、共演動画における統一感をより向上させることができる。
【0143】
上記実施形態による動画配信システム1においては、配信ユーザUa,Ubは、スマートフォンなどのカメラを備えた配信ユーザ装置20により自らの表情に応じて動くキャラクタを含む動画を配信することができる。このように、動画配信システム1においては、配信ユーザUa,Ubが動画を配信するための設備が簡略化されているので、配信ユーザUa,Ubが参加しやすいプラットフォームが実現されている。
【0144】
本明細書において説明された処理手順、特にフロー図を用いて説明された処理手順においては、その処理手順を構成する工程(ステップ)の一部を省略すること、その処理手順を構成する工程として明示されていない工程を追加すること、及び/又は当該工程の順序を入れ替えることが可能であり、このような省略、追加、順序の変更がなされた処理手順も本発明の趣旨を逸脱しない限り本発明の範囲に含まれる。
【0145】
コンピュータプロセッサ61により実現される機能の少なくとも一部は、動画配信システム1のコンピュータプロセッサ61以外のコンピュータプロセッサにより実現されてもよい。コンピュータプロセッサ61により実現される機能の少なくとも一部は、例えば、配信ユーザ装置20のコンピュータプロセッサ21により実現されてもよく、視聴ユーザ装置10のコンピュータプロセッサにより実現されてもよい。具体的には、アニメーション生成部61a及び動画生成部61bの機能の一部又は全部は、配信ユーザ装置20において実行されてもよい。例えば、配信ユーザ装置20において生成された動画がサーバ装置60に送信され、サーバ装置60から視聴ユーザ装置10に配信されてもよい。
【0146】
配信ユーザUbのキャラクタ31を含む動画を視聴している配信ユーザUaから配信ユーザUbとの共演申請がなされる場合には、共演申請を行った配信ユーザUaのキャラクタ131のアニメーションは、サーバ装置60、配信ユーザUaの配信ユーザ装置20a、配信ユーザUbの配信ユーザ装置20b、視聴ユーザ装置10、又はこれら以外の装置で生成されてもよい。一つの例において、配信ユーザUaのキャラクタ131のアニメーションが配信ユーザUbの配信ユーザ装置20bで生成される場合には、配信ユーザUaの配信ユーザ装置20aから配信ユーザUbの配信ユーザ装置20bに対して、配信ユーザUaのフェイスモーションデータ及び音声データが送信される。配信ユーザ装置20bでは、配信ユーザ装置20aから受信した配信ユーザUaのフェイスモーションデータ及び音声データを配信ユーザUa用のモデルデータに適用することでキャラクタ131のアニメーションが生成される。この配信ユーザUa用のモデルデータは、サーバ装置60から配信ユーザ装置20aへ送信されてもよい。他の例において、配信ユーザUaのキャラクタ131のアニメーションが視聴ユーザ装置10で生成される場合には、配信ユーザUaの配信ユーザ装置20aから視聴ユーザ装置10に対して配信ユーザUaのフェイスモーションデータ及び音声データが送信され、配信ユーザUbの配信ユーザ装置20bから視聴ユーザ装置10に対して配信ユーザUbのフェイスモーションデータ及び音声データが送信される。視聴ユーザ装置10では、配信ユーザ装置20aから受信した配信ユーザUaのフェイスモーションデータ及び音声データを配信ユーザUa用のモデルデータに適用することでキャラクタ131のアニメーションが生成され、配信ユーザ装置20bから受信した配信ユーザUbのフェイスモーションデータ及び音声データを配信ユーザUb用のモデルデータに適用することでキャラクタ31のアニメーションが生成されてもよい。この配信ユーザUa用のモデルデータ及び配信ユーザUb用のモデルデータは、サーバ装置60から視聴ユーザ装置10へ送信されてもよい。このように、配信ユーザのキャラクタのアニメーション及び/又はキャラクタオブジェクトのアニメーションを含む共演動画は、動画配信システム1に含まれる任意の装置で生成され得る。キャラクタのアニメーションは、
図1に明示的に示されていない装置で生成されてもよい。キャラクタのアニメーションを生成する装置には、配信ユーザUaの配信ユーザ装置20aから配信ユーザUaのフェイスモーションデータ及び音声データが送信され、配信ユーザUbの配信ユーザ装置20bから配信ユーザUbのフェイスモーションデータ及び音声データが送信される。フェイスモーションに加えてボディモーションが送信されてもよい。
【0147】
また、生成された配信ユーザUaのキャラクタ131と配信ユーザUbの配信動画とキャラクタ31とを含む共演動画の生成は、サーバ装置60、配信ユーザUaの配信ユーザ装置20a、配信ユーザUbの配信ユーザ装置20b、又は視聴ユーザ装置10のいずれで行われてもよい。共演動画は、サーバ装置60、配信ユーザ装置20a、配信ユーザ装置20b、視聴ユーザ装置10、及びこれら以外の装置により分担して生成されてもよい。共演動画にギフトオブジェクトが含められる場合には、共演動画を生成する装置に対してサーバ装置60又はそれ以外の装置から当該ギフトオブジェクトを表示するためのデータが送信されてもよい。
【0148】
共演動画は、三人以上の配信ユーザのキャラクタを含んでもよい。つまり、三人以上の配信ユーザが、各々のキャラクタを利用して動画内で仮想的に共演してもよい。
【0149】
以下に、本願の原出願の出願当初の特許請求の範囲に記載された発明を付記する。
[1]
一又は複数のコンピュータプロセッサを備え、
前記一又は複数のコンピュータプロセッサは、コンピュータ読み取り可能な命令を実行することにより、
第1ユーザの動きに基づいて生成される第1キャラクタ及び第2ユーザの動きに基づいて生成される第2キャラクタを含む共演動画を配信し、
前記第1キャラクタと対応付けて表示されている第1オブジェクトと同一であり前記共演動画においてのみ利用可能なマッチングオブジェクトを、前記共演動画において前記第2キャラクタに対応付けて表示させる、
動画配信システム。
[2]
前記マッチングオブジェクトは、前記第1ユーザによって購入されたオブジェクトである、
[1]に記載の動画配信システム。
[3]
前記第2キャラクタと対応付けて前記第1オブジェクトと同一のマッチングオブジェクトが表示されているか判定し、
前記第2キャラクタと対応付けて前記マッチングオブジェクトが表示されていないと判定された場合に、前記第2キャラクタに対応付けて前記マッチングオブジェクトを表示させる表示要求を行うことを促し、
前記表示要求に基づいて前記共演動画において前記第2キャラクタに対応付けて前記マッチングオブジェクトを表示させる、
[1]又は[2]に記載の動画配信システム。
[4]
前記第2キャラクタと対応付けて前記マッチングオブジェクトが表示されていないと判定された場合、前記共演動画を視聴している一又は複数の視聴ユーザに対して前記第2キャラクタに対応付けて前記マッチングオブジェクトを表示させる表示要求を行うことを促す、
[3]に記載の動画配信システム。
[5]
前記第2キャラクタと対応付けて前記マッチングオブジェクトが表示されていないと判定された場合、前記第1ユーザに対して前記第2キャラクタに対応付けて前記マッチングオブジェクトを表示させる表示要求を行うことを促す、
[3]又は[4]に記載の動画配信システム。
[6]
前記第2キャラクタと対応付けて前記マッチングオブジェクトが表示されていないと判定された場合、前記第2ユーザに対して前記第2キャラクタに対応付けて前記マッチングオブジェクトを表示させる表示要求を行うことを促す、
[3]から[5]のいずれか1項に記載の動画配信システム。
[7]
前記共演動画において前記第2キャラクタに対応付けて前記マッチングオブジェクトが表示された場合に、前記第1ユーザに対して特典を与える、
[1]から[6]のいずれか1項に記載の動画配信システム。
[8]
前記共演動画において前記第2キャラクタに対応付けて前記マッチングオブジェクトが表示された場合に前記第2ユーザに対して特典を与える、
[1]から[6]のいずれか1項に記載の動画配信システム。
[9]
前記共演動画において前記第2キャラクタに対応付けて前記マッチングオブジェクトが表示された場合に前記共演動画を視聴している一又は複数の視聴ユーザに対して特典を与える、
[1]から[6]のいずれか1項に記載の動画配信システム。
[10]
前記共演動画を視聴している一又は複数の視聴ユーザのうちの第1視聴ユーザから前記第2キャラクタに対応付けて前記マッチングオブジェクトを表示させる表示要求がなされたことに応じて前記マッチングオブジェクトが表示された場合に前記第1視聴ユーザに対して特典を与える、
[1]から[6]のいずれか1項に記載の動画配信システム。
[11]
前記共演動画において前記第2キャラクタに対応付けて前記マッチングオブジェクトが表示された場合に、前記第1ユーザ、前記第2ユーザ、及び前記共演動画を視聴している一又は複数の視聴ユーザのそれぞれに対して特典を与える、
[1]から[6]のいずれか1項に記載の動画配信システム。
[12]
前記共演動画は、前記第2ユーザから前記第1ユーザとの共演を申請する共演申請を受け付けたことに応じて生成される、
[1]から[11]のいずれか1項に記載の動画配信システム。
[13]
前記第1オブジェクトは、前記第1キャラクタの装着部位に対応付けて表示され、
前記マッチングオブジェクトは、前記第2キャラクタの前記装着部位に対応付けて表示される、
[1]から[12]のいずれか1項に記載の動画配信システム。
[14]
一又は複数のコンピュータプロセッサがコンピュータ読み取り可能な命令を実行することにより実行される動画配信方法であって、
第1ユーザの動きに基づいて生成される第1キャラクタ、第2ユーザの動きに基づいて生成される第2キャラクタ、及び前記第1キャラクタと対応付けて表示される第1オブジェクトを含む共演動画を配信する工程と、
前記第1オブジェクトと同一であり前記共演動画においてのみ利用可能なマッチングオブジェクトを、前記共演動画において前記第2キャラクタに対応付けて表示させる工程と、
を備える動画配信方法。
[15]
一又は複数のコンピュータプロセッサに、
第1ユーザの動きに基づいて生成される第1キャラクタ、第2ユーザの動きに基づいて生成される第2キャラクタ、及び前記第1キャラクタと対応付けて表示される第1オブジェクトを含む共演動画を配信する工程と、
前記第1オブジェクトと同一であり前記共演動画においてのみ利用可能なマッチングオブジェクトを、前記共演動画において前記第2キャラクタに対応付けて表示させる工程と、
を実行させる動画配信プログラム。
【符号の説明】
【0150】
1 動画配信システム
10 視聴ユーザ装置
20a、20b 配信ユーザ装置
61a アニメーション生成部
61b 動画生成部
61c 動画配信部
61d ギフト要求処理部
61e ギフト購入処理部
61f 共演申請処理部
61g 判定部
61h マッチング処理部
61i 特典付与部