(58)【調査した分野】(Int.Cl.,DB名)
複数の前記第1のギフトの組合せが所定条件を満たしていない場合、前記組合せが前記所定条件を満たすための必要条件を示すコメント情報を複数の視聴ユーザの端末装置に対して送信する工程をさらに含む、請求項1乃至請求項3のいずれか一項に記載の動画処理方法。
或る視聴ユーザの端末装置から受信した前記要求信号に応答して、前記アバターオブジェクトの前記装着部位に対して前記第1のギフトが付与された旨、及び/又は前記アバターオブジェクトの前記装着部位に対して前記第1のギフトが装着された旨を示すコメント情報を複数の視聴ユーザの端末装置に対して送信する工程をさらに含む、請求項1乃至請求項4のいずれか一項に記載の動画処理方法。
前記組合せが前記所定条件を満たしたか否かに関する判定は、前記アバターオブジェクトの前記装着部位に対して付与された前記第1のギフトの種類と、前記第1のギフトの種類毎の付与数とを対応付けて記憶する参照テーブルに基づいて行われる、請求項1乃至請求項5のいずれか一項に記載の動画処理方法。
前記組合せが前記所定条件を満たした場合に、前記第2のギフトに対して前記動画において持続する持続時間を設定し、該持続時間が経過したときに前記第2のギフトを前記動画から消去する工程をさらに含む、請求項1乃至請求項6のいずれか一項に記載の動画処理方法。
前記受信工程及び前記生成工程が、前記視聴ユーザの端末装置及び/又は前記配信ユーザの端末装置に通信回線を介して接続されるサーバ装置により実行される、請求項1乃至請求項7のいずれか一項に記載の動画処理方法。
前記アバターオブジェクトの前記装着部位が、該アバターオブジェクトの一部分及び/又は該アバターオブジェクトから離れた部分にある、請求項1乃至請求項13のいずれか一項に記載の動画処理方法。
前記プロセッサが、中央処理装置(CPU)、マイクロプロセッサ又はグラフィックスプロセッシングユニット(GPU)である、請求項1乃至請求項14のいずれか一項に記載の動画処理方法。
前記プロセッサが、中央処理装置(CPU)、マイクロプロセッサ又はグラフィックスプロセッシングユニット(GPU)である、請求項17又は請求項18に記載のサーバ装置。
前記プロセッサが、中央処理装置(CPU)、マイクロプロセッサ又はグラフィックスプロセッシングユニット(GPU)である、請求項21又は請求項22に記載のコンピュータプログラム。
前記プロセッサが、中央処理装置(CPU)、マイクロプロセッサ又はグラフィックスプロセッシングユニット(GPU)である、請求項25又は請求項26に記載のコンピュータプログラム。
【発明を実施するための形態】
【0020】
以下、添付図面を参照して本発明の様々な実施形態を説明する。なお、図面において共通した構成要素には同一の参照符号が付されている。また、或る図面に表現された構成要素が、説明の便宜上、別の図面においては省略されていることがある点に留意されたい。さらにまた、添付した図面が必ずしも正確な縮尺で記載されている訳ではないということに注意されたい。さらにまた、アプリケーションという用語は、ソフトウェア又はプログラムと称呼されるものであってもよく、コンピュータに対する指令であって、ある種の結果を得ることができるように組み合わされたものであればよい。
【0021】
1.動画配信システムの構成
本件出願において開示される動画配信システム1は、簡潔にいえば、配信を行う配信ユーザが、その端末装置を用いて、この配信ユーザの動作に関するデータ及び/又は配信ユーザによって発せられた発話や歌唱に関する音声データに基づいて生成されたアバターオブジェクトのアニメーションを含む動画を、通信回線を介して、動画を視聴する視聴ユーザの端末装置へと配信することを可能にするものである。
【0022】
図1は、一実施形態に係る動画配信システム1の構成の一例を示すブロック図である。
図1に示すように、動画配信システム1は、通信回線(図示せず)に接続される複数の端末装置10と、通信回線に接続される1又はそれ以上のサーバ装置20と、を含むことができる。各端末装置10は、通信回線を介して、1又はそれ以上のサーバ装置20に接続される。
【0023】
なお、通信回線とは、携帯電話網、無線LAN、固定電話網、インターネット、イントラネット及び/又はイーサネット(登録商標)等をこれらに限定することなく含むことができる。
【0024】
1−1.端末装置10
図1に示すように、複数の端末装置10は、1又はそれ以上の配信ユーザの端末装置10(ここでは端末装置10A)と、1又はそれ以上の視聴ユーザの端末装置10(ここでは端末装置10B乃至10D)と、を含むことができる。各端末装置10は、共通した構成を有することにより、動画を配信するための端末装置(配信ユーザの端末装置10)及び動画を視聴するための端末装置(視聴ユーザの端末装置10)のいずれにもなり得るものである。
【0025】
各端末装置10は、配信ユーザの端末装置10として動作する場合には、インストールされた動画配信用アプリケーションを実行することにより、その配信ユーザの動作に関するデータ及び/又は配信ユーザによって発せられた発話や歌唱に関する音声データを取得し、取得したデータに従って変化させた仮想的なキャラクター(アバターオブジェクト)のアニメーションを含む動画を生成して、当該動画を通信回線を介してサーバ装置20(配信サーバ装置20C)に送信することができる。当該動画は、サーバ装置20(配信サーバ装置20C)により通信回線を介して、インストールされた動画視聴用アプリケーションを実行する、動画を受信するための端末装置10(視聴ユーザの端末装置10)に配信される。
【0026】
さらに、各端末装置10が配信ユーザの端末装置10として動作する場合において、サーバ装置20が、通信回線を介して、視聴ユーザの操作に基づいてこの配信ユーザ(アバターオブジェクト)の装着部位に対してギフト(第1のギフト)を付与すること(ギフティング)を要求する要求信号を、動画を視聴する視聴ユーザの端末装置10から受信すると、各端末装置10は、サーバ装置20(情報処理サーバ装置20B)から当該要求信号をサーバ装置20から受信して、アバターオブジェクトの装着部位に第1のギフトが装着された状態のアニメーションを含む動画を生成することができる。
【0027】
ところで、アバターオブジェクトの装着部位とは、アバターオブジェクトの頭、顔、首、右手、左手、腰、右足、左足、等のアバターオブジェクトの一部分、及び/又はアバターオブジェクトから離れた部分(頭上、足元、後ろ等、アバターオブジェクトを包囲する空間を含む)のことを意味する。
【0028】
なお、前述のギフティングに際し、アバターオブジェクトの装着部位に対して第1のギフトを付与することを要求する要求信号が複数(1つの視聴ユーザ端末装置10から複数の要求信号が発信される場合、及び複数の視聴ユーザ端末装置10から要求信号が発信される場合の両方を含む)発信される場合においては、配信ユーザの端末装置10は、サーバ装置20(情報処理サーバ装置20B)から、アバターオブジェクトの装着部位に対して第1のギフトと共通する特徴を有する第2のギフトが装着された状態のアニメーションを含む動画を生成することを要求する情報を受信して当該動画を生成することができる。
【0029】
なお、アバターオブジェクトの装着部位に対して第2のギフトが装着された状態のアニメーションを含む動画を生成するか否かについての判定方法については後述するが、当該判定は、後述するサーバ装置20(情報処理サーバ装置20B)で実行される。
【0030】
一方、各端末装置10は、動画を視聴するための端末装置(視聴ユーザの端末装置)として動作する場合には、インストールされた動画視聴用アプリケーションを実行することにより、配信ユーザの端末装置10により配信された動画を、サーバ装置20(配信サーバ装置20C)を介して受信することができる。
【0031】
さらに、各端末装置10は、視聴ユーザの端末装置として動作する場合には、動画視聴用アプリケーションを実行することにより、視聴ユーザの操作に基づいて配信ユーザ(アバターオブジェクト)の装着部位に対してギフト(第1のギフト)を付与することを要求する要求信号をサーバ装置20(ギフトAPIサーバ装置20A)に送信することができる。
【0032】
さらに、各端末装置10は、視聴ユーザの端末装置として動作する場合には、動画視聴用アプリケーションを実行することにより、視聴ユーザから配信ユーザ(アバターオブジェクト)に対するコメントに係る情報をサーバ装置20(コメントAPIサーバ装置20D)に送信することができる。
【0033】
なお、前述した動画配信用アプリケーション及び動画視聴用アプリケーションは、統合された1つのアプリケーションとして、又は、それぞれ別々のアプリケーションとして、各端末装置10にインストール及び実行されるものとすることができる。
【0034】
各端末装置10は、このような動作を実行することができる任意の端末装置であって、スマートフォン、タブレット、携帯電話(フィーチャーフォン)及び/又はパーソナルコンピュータ等を、これらに限定することなく含むことができるものである。
【0035】
1−2.サーバ装置20
図1に示すように、サーバ装置20は、後述する複数のサーバ装置が組み合わされた動画配信システムと呼ぶこともできる。
【0036】
サーバ装置20は、配信ユーザの端末装置10から送信された動画を各視聴ユーザの端末装置10に配信することができる。
【0037】
さらに、サーバ装置20は、アバターオブジェクトの装着部位に対してギフト(第1のギフト)を付与すること(ギフティング)を要求する要求信号を、各視聴ユーザの端末装置10から受信することができる。また当該要求信号に係る情報を、配信ユーザの端末装置10へ発信した上で、当該情報を受信した配信ユーザの端末装置10によって生成されるアバターオブジェクトの装着部位に当該ギフトが装着された状態のアニメーションを含む動画を受信することもできる。
【0038】
なお、前述のギフティングに際し、アバターオブジェクトの装着部位に対して第1のギフトを付与することを要求する要求信号が複数(1つの視聴ユーザ端末装置10から複数の要求信号が発信される場合、及び複数の視聴ユーザ端末装置10から要求信号が発信される場合の両方を含む)発信される場合においては、サーバ装置20は、アバターオブジェクトの装着部位に対して第2のギフトが装着された状態のアニメーションを含む動画を生成するか否かについて判定して、その当該動画を生成すると判定した場合には、当該動画を生成することを要求する情報を配信ユーザの端末装置10へ発信することができる。その上で、サーバ装置20は、配信ユーザの端末装置10から、アバターオブジェクトの装着部位に第2のギフトが装着された状態のアニメーションを含む動画を受信することができる。
【0039】
さらに、サーバ装置20は、視聴ユーザから配信ユーザ(アバターオブジェクト)に対するコメントに係る情報を、視聴ユーザの端末装置10から受信することができ、且つ当該コメントを同一の動画を視聴する視聴ユーザに対して配信することができる。
【0040】
このような動作を実行するために、サーバ装置20は、一実施形態において、相互に通信回線(図示しない無線回線及び/又は有線回線を含む)を介して接続された、ギフトAPIサーバ装置20A、情報処理サーバ装置20B、配信サーバ装置20C、及びコメントAPIサーバ装置20Dを含むことができる。
【0041】
ギフトAPIサーバ装置20Aは、視聴ユーザの操作に基づいてアバターオブジェクトの装着部位に対してギフト(第1のギフト)を付与すること(ギフティング)を要求する要求信号を、各視聴ユーザの端末装置10から受信することができる。この際、ギフトAPIサーバ装置20Aは、当該要求信号から、ギフティング行為がなされた視聴ユーザの識別情報(各視聴ユーザの端末装置10のシリアル番号や各視聴ユーザに付与されるID情報等)、ギフティングされたギフトに係る情報(アバターオブジェクトのいずれの装着部位に対応するどのようなギフトであるかの情報)、及びギフティング対象のアバターオブジェクトたる配信ユーザの識別情報(配信ユーザの端末装置10のシリアル番号や配信ユーザに付与されるID情報等)を少なくとも読み出して、読み出した情報を自動的に、又は情報処理サーバ装置20Bから問い合わせを受けたときに、情報処理サーバ装置20Bに送信することができる。
【0042】
情報処理サーバ装置20Bは、ギフトAPIサーバ装置20Aが読み出した情報を、自動的に、又は自ら問い合わせをして、当該情報をギフトAPIサーバ装置20Aから受信する。また、情報処理サーバ装置20Bは、配信ユーザ毎のテーブル(データベース)を有することができ、ギフトAPIサーバ装置20Aが読み出したギフトに係る情報を、各テーブルに格納することができる。
【0043】
さらにまた、情報処理サーバ装置20Bは、テーブルに格納されたギフトに係る情報を参照して、複数のギフティング行為(1人の視聴ユーザによる複数のギフティング行為、及び複数の視聴ユーザによる複数のギフティング行為の両方を含む)があった場合に、アバターオブジェクトの装着部位に対して第1のギフトと共通する特徴を有する第2のギフトが装着された状態のアニメーションを含む動画を生成するか否かについて判定することができる。なお、当該判定は、複数のギフティング行為(複数の第1のギフト)の組合せが予め設定された所定条件を満たすか否かによって判定される。
【0044】
さらにまた、情報処理サーバ装置20Bは、テーブルに格納されたギフトに係る情報を参照して、アバターオブジェクトの装着部位に第1のギフトが装着された状態のアニメーションを含む動画を生成することを要求する情報を、配信ユーザの端末装置10へ発信することができる。同様に、前述の判定によって、第2のギフトが装着された状態のアニメーションを含む動画を生成すると判定した場合においては、アバターオブジェクトの装着部位に第2のギフトが装着された状態のアニメーションを含む動画を生成することを要求する情報を、配信ユーザの端末装置10へ発信することができる。
【0045】
さらにまた、情報処理サーバ装置20Bは、テーブルに格納された視聴ユーザの識別情報及びギフトに係る情報を参照して、アバターオブジェクトの装着部位(配信ユーザ)に対して、どの視聴ユーザがどのようなギフトを付与したかに係る全て又は一部の情報をコメントAPIサーバ装置20Dに送信することができる。
【0046】
さらにまた、情報処理サーバ装置20Bは、複数のギフティング行為(複数の第1のギフト)の組合せが予め設定された所定条件を満たしていないと判定した場合、どのような組合せになれば当該所定条件を満たすかに係る必要条件を算出した上で、当該必要条件をコメントAPIサーバ装置20Dに送信することもできる。なお、ここでいう必要条件の詳細は後述する。
【0047】
配信サーバ装置20Cは、配信ユーザの端末装置10から送信された動画を、各視聴ユーザの端末装置10に配信することができる。
【0048】
また、配信サーバ装置20Cは、アバターオブジェクトの装着部位に第1のギフトが装着された状態のアニメーションを含む動画を配信ユーザの端末装置10から受信して、当該動画を各視聴ユーザの端末装置10に配信することができる。
【0049】
さらにまた、配信サーバ装置20Cは、アバターオブジェクトの装着部位に第2のギフトが装着された状態のアニメーションを含む動画を配信ユーザの端末装置10から受信して、当該動画を各視聴ユーザの端末装置10に配信することができる。
【0050】
コメントAPIサーバ装置20Dは、視聴ユーザの端末装置10から視聴ユーザのコメントを受信することができ、受信した当該コメントを、同一の動画を視聴している各視聴ユーザに対して配信することができる。
【0051】
また、コメントAPIサーバ装置20Dは、情報処理サーバ装置20Bから受信する、アバターオブジェクトの装着部位(配信ユーザ)に対してどの視聴ユーザがどんなギフトを付与したかに係る全て又は一部の情報に対応するコメントを、同一の動画を視聴している各視聴ユーザに対して配信することができる。
【0052】
さらにまた、コメントAPIサーバ装置20Dは、情報処理サーバ装置20Bから受信する、前述の必要条件に対応するコメントを、同一の動画を視聴している各視聴ユーザに対して配信することもできる。
【0053】
なお、
図1に示した例では、負荷を分散すること等を目的として、サーバ装置20が、ギフトAPIサーバ装置20A、情報処理サーバ装置20B、配信サーバ装置20C、及びコメントAPIサーバ装置20Dからなる4つのサーバ装置を有する構成が示されている。しかし、これら4つのサーバ装置のうちの少なくとも1つのサーバ装置が残りのサーバ装置のいずれかと統合されるようにしてもよい。
【0054】
2.各装置のハードウェア構成
次に、端末装置10及びサーバ装置20の各々が有するハードウェア構成の一例について説明する。
【0055】
2−1.端末装置10のハードウェア構成
各端末装置10のハードウェア構成例について
図2を参照して説明する。
図2は、
図1に示した端末装置10(サーバ装置20)のハードウェア構成の一例を模式的に示すブロック図である(なお、
図2において、括弧内の参照符号は、後述するようにサーバ装置20に関連して記載されたものである。)
【0056】
図2に示すように、各端末装置10は、主に、中央処理装置11と、主記憶装置12と、入出力インタフェイス装置13と、入力装置14と、補助記憶装置15と、出力装置16と、を含むことができる。これら装置同士は、データバス及び/又は制御バスにより接続されている。
【0057】
中央処理装置11は、「CPU」と称されるものであり、主記憶装置12に記憶されている命令及びデータに対して演算を行い、その演算の結果を主記憶装置12に記憶させるものである。さらに、中央処理装置11は、入出力インタフェイス装置13を介して、入力装置14、補助記憶装置15及び出力装置16等を制御することができる。端末装置10は、1又はそれ以上のこのような中央処理装置11を含むことが可能である。
【0058】
主記憶装置12は、「メモリ」と称されるものであり、入力装置14、補助記憶装置15及び通信回線30(サーバ装置20等)から、入出力インタフェイス装置13を介して受信した命令及びデータ、並びに、中央処理装置11の演算結果を記憶するものである。主記憶装置12は、RAM(ランダムアクセスメモリ)、ROM(リードオンリーメモリ)及び/又はフラッシュメモリ等をこれらに限定することなく含むことができる。
【0059】
補助記憶装置15は、主記憶装置12よりも大きな容量を有する記憶装置である。前述した特定のアプリケーション(動画配信用アプリケーション、動画視聴用アプリケーション等)やウェブブラウザ等を構成する命令及びデータ(コンピュータプログラム)を記憶しておき、中央処理装置11により制御されることにより、これらの命令及びデータ(コンピュータプログラム)を入出力インタフェイス装置13を介して主記憶装置12に送信することができる。補助記憶装置15は、磁気ディスク装置及び/又は光ディスク装置等をこれらに限定することなく含むことができる。
【0060】
入力装置14は、外部からデータを取り込む装置であり、タッチパネル、ボタン、キーボード、マウス及び/又はセンサ等をこれらに限定することなく含むものである。センサは、後述するように、1又はそれ以上のカメラ等及び/又は1又はそれ以上のマイク等を含むセンサをこれらに限定することなく含むことができる。
【0061】
出力装置16は、ディスプレイ装置、タッチパネル及び/又はプリンタ装置等をこれらに限定することなく含むことができる。
【0062】
このようなハードウェア構成にあっては、中央処理装置11が、補助記憶装置15に記憶された特定のアプリケーションを構成する命令及びデータ(コンピュータプログラム)を順次主記憶装置12にロードし、ロードした命令及びデータを演算することにより、入出力インタフェイス装置13を介して出力装置16を制御し、或いはまた、入出力インタフェイス装置13及び通信回線30(通信網30)を介して、他の装置(例えばサーバ装置20及び他の端末装置10等)との間で様々な情報の送受信を行うことができる。
【0063】
これにより、端末装置10は、インストールされた特定のアプリケーションを実行することにより、動画を生成するために必要な動作、動画を発信(配信)及び/又は受信するために必要な動作、ギフティング行為に必要な動作、コメントを発信するために必要な動作(その他、後に詳述する様々な動作を含む)を実行することができる。
【0064】
なお、端末装置10は、中央処理装置11に代えて又は中央処理装置11とともに、1又はそれ以上のマイクロプロセッサ、及び/又は、グラフィックスプロセッシングユニット(GPU)を含むものであってもよい。
【0065】
2−2.サーバ装置20のハードウェア構成
各サーバ装置20のハードウェア構成例について同じく
図2を参照して説明する。各サーバ装置20(ギフトAPIサーバ装置20A、情報処理サーバ装置20B、配信サーバ装置20C、及びコメントAPIサーバ装置20D)のハードウェア構成としては、例えば、前述した各端末装置10のハードウェア構成と同一のものを用いることが可能である。したがって、各サーバ装置20が有する構成要素に対する参照符号は、
図2において括弧内に示されている。
【0066】
図2に示すように、各サーバ装置20は、主に、中央処理装置21と、主記憶装置22と、入出力インタフェイス装置23と、入力装置24と、補助記憶装置25と、出力装置26と、を含むことができる。これら装置同士は、データバス及び/又は制御バスにより接続されている。
【0067】
中央処理装置21、主記憶装置22、入出力インタフェイス装置23、入力装置24、補助記憶装置25及び出力装置26は、それぞれ、前述した各端末装置10に含まれる、中央処理装置11、主記憶装置12、入出力インタフェイス装置13、入力装置14、補助記憶装置15及び出力装置16と略同一なものとすることができる。
【0068】
このようなハードウェア構成にあっては、中央処理装置21が、補助記憶装置25に記憶された特定のアプリケーションを構成する命令及びデータ(コンピュータプログラム)を順次主記憶装置22にロードし、ロードした命令及びデータを演算することにより、入出力インタフェイス装置23を介して出力装置26を制御し、或いはまた、入出力インタフェイス装置23及び通信回線30(通信網30)を介して、他の装置(例えば各端末装置10等)との間で様々な情報の送受信を行うことができる。
【0069】
これにより、サーバ装置20は、各配信ユーザの端末装置10により送信された動画を、各視聴ユーザの端末装置10に配信するために必要な動作、各視聴ユーザの端末装置10から発信されるギフティング行為を受信するために必要な動作、端末装置10に動画を生成させるために必要な要求情報を生成するために必要な動作、動画を発信(配信)及び/又は受信するために必要な動作等(後に詳述する様々な動作を含む)を実行することができる。
【0070】
なお、サーバ装置20は、中央処理装置21に代えて又は中央処理装置21とともに、1又はそれ以上のマイクロプロセッサ、及び/又は、グラフィックスプロセッシングユニット(GPU)を含むものであってもよい。
【0071】
3.各装置の機能
次に、端末装置10及びサーバ装置20の各々が有する機能の詳細の一例について説明する。
【0072】
3−1.端末装置10の機能
端末装置10の機能の一例について
図3を参照しつつ説明する。
図3は、
図1に示した端末装置10の機能の一例を模式的に示すブロック図である。
【0073】
図3に示すように、端末装置10は、主に、動画生成部100、表示部110、記憶部120、ユーザインタフェイス部130、ギフト記憶部140、及び通信部150を含むことができる。
【0074】
(1)動画生成部100
動画生成部100は、配信ユーザの動作に関するデータ及び/又は配信ユーザによって発せられた発話や歌唱に関する音声データに基づいて、この配信ユーザのアバターオブジェクトのアニメーションを含む動画を生成することができる。これを実現するために、動画生成部100は、例えば、取得部(図示せず)及び処理部(図示せず)を含むことができる。
【0075】
取得部は、配信ユーザの顔や手足等(体全体)に関するデータを取得する1又はそれ以上の第1のセンサ(図示せず)と、配信ユーザにより発せられた発話及び/又は歌唱に関する音声データを取得する1又はそれ以上の第2のセンサ(図示せず)と、を含むことができる。
【0076】
第1のセンサは、好ましい実施形態では、可視光線を撮像するRGBカメラと、近赤外線を撮像する近赤外線カメラと、を含むことができる。このようなカメラとしては、例えばiphone X(登録商標)のトゥルーデプス(True Depth)カメラに含まれたものを用いることが可能である。第2のセンサは、音声を記録するマイクロフォンを含むことができる。
【0077】
まず、第1のセンサに関して、取得部は、配信ユーザの顔や手足等に近接して配置された第1のセンサを用いて配信ユーザの顔や手足等を撮像する。これにより、取得部は、RGBカメラにより取得された画像をタイムコード(取得した時間を示すコード)に対応付けて単位時間にわたって記録したデータ(例えばMPEGファイル)を生成することができる。さらに、取得部は、近赤外線カメラにより取得された所定数(例えば51個)の深度を示す数値(例えば浮動小数点の数値)を上記タイムコードに対応付けて単位時間にわたって記録したデータ(例えばTSVファイル[データ間をタブで区切って複数のデータを記録する形式のファイル])を生成することができる。
【0078】
近赤外線カメラに関して、具体的には、ドットプロジェクタがドット(点)パターンをなす赤外線レーザーを配信ユーザの顔や手足に放射し、近赤外線カメラが、配信ユーザの顔や手足に投影され反射した赤外線ドットを捉え、このように捉えた赤外線ドットの画像を生成する。取得部は、予め登録されているドットプロジェクタにより放射されたドットパターンの画像と、近赤外線カメラにより捉えられた画像とを比較して、両画像における各ポイント(各特徴点)(例えば51個のポイント・特徴点の各々)における位置のずれを用いて各ポイント(各特徴点)の深度(各ポイント・各特徴点と近赤外線カメラとの間の距離)を算出することができる。取得部は、このように算出された深度を示す数値を上記のようにタイムコードに対応付けて単位時間にわたって記録したデータを生成することができる。
【0079】
次に、第2のセンサに関して、取得部は、配信ユーザに近接して配置された第2のセンサを用いて配信ユーザにより発せられた発話及び/又は歌唱に関する音声を取得する。これにより、取得部は、タイムコードに対応付けて単位時間にわたって記録したデータ(例えばMPEGファイル)を生成することができる。一実施形態では、取得部は、第1のセンサを用いて配信ユーザの顔や手足に関するデータを取得すると同時に、第2のセンサを用いて配信ユーザにより発せられた発話及び/又は歌唱に関する音声データを取得することができる。この場合には、取得部は、RGBカメラにより取得された画像と、第2のセンサを用いて配信ユーザにより発せられた発話及び/又は歌唱に関する音声データとを、同一のタイムコードに対応付けて単位時間にわたって記録したデータ(例えばMPEGファイル)を生成することができる。
【0080】
取得部は、このように生成した、配信ユーザの顔や手足等に関するデータ(MPEGファイル及びTSVファイル等)、及び/又は、配信ユーザにより発せられた発話及び/又は歌唱に関する音声データ(MPEGファイル等)を、処理部に出力することができる。
【0081】
なお、ここでは、第1のセンサがRGBカメラ及び赤外線カメラを含む場合について説明したが、第1のセンサは、例えば、(A)赤外線レーザーにより放射され配信ユーザの顔や手足等に反射した赤外線を検出するカメラ、(B)可視光線を撮像する複数のRGBカメラ、及び、(C)可視光線を撮像する単一のカメラ、のうちのいずれかを含むものであってもよい。上記(A)の場合には、取得部は、前述したものと同様の手法により、配信ユーザの顔や手足等における各特徴点について深度を算出することができる。上記(B)の場合には、取得部は、複数のRGBカメラにより撮像された複数の画像を用いて、配信ユーザの顔や手足等における各特徴点について奥行(深度)を計算することができる。上記(C)の場合には、取得部は、単一のカメラにより撮像された画像から、配信ユーザの顔や手足等における各特徴点の奥行(深度)を、ディープラーニング等を利用して算出することができる。また、上記(C)の場合には、取得部は、単一のカメラにより撮像された画像に対する分析処理(画像処理等)により、配信ユーザの顔や手足等における各特徴点の奥行(深度)を算出してもよい。
【0082】
処理部は、取得部からの、配信ユーザの顔や手足等に関するデータに基づいて、仮想的なキャラクター(アバターオブジェクト)のアニメーションを含む動画を生成することができる。アバターオブジェクトの動画自体については、処理部は、図示しないキャラクターデータ記憶部に記憶された様々な情報(例えば、ジオメトリ情報、ボーン情報、テクスチャ情報、シェーダ情報及びブレンドシェイプ情報等)を用いて、図示しないレンダリング部にレンダリングを実行させることにより、アバターオブジェクトの動画を生成することもできる。
【0083】
なお、配信ユーザの動作に関するデータ及び/又は配信ユーザによって発せられた発話や歌唱に関する音声データに基づいて、この配信ユーザのアバターオブジェクトのアニメーションを含む動画を生成するために、他の任意の周知な技術を利用することも可能である。
【0084】
ところで、動画生成部100は、後述する通信部150がアバターオブジェクトの装着部位に第1のギフト又は第2のギフトが装着された状態のアニメーションを含む動画を生成する旨の要求情報をサーバ装置20(情報処理サーバ装置20B)から受信すると、当該要求情報を通信部150から受信して、当該動画を生成することができる。この場合、動画生成部100は、前述のとおり詳述して生成されたアバターオブジェクトのアニメーションを含む動画に係るデータと、第1のギフト又は第2のギフトに係るデータ(アバターオブジェクトのどの装着部位にどのような形状・大きさ・色を有するギフトであるかに係るデータ)とを組合せて、アバターオブジェクトの装着部位に第1のギフト又は第2のギフトが装着された状態のアニメーションを含む動画を生成することができる。具体的には、第1のギフト及び第2のギフトに、アバターオブジェクトのどの装着部位に装着されるものであるかに関する情報(装着位置情報)を予め設定しておき、視聴ユーザからのギフティング又は後述する所定条件が満たされることを契機として、当該装着位置情報に基づく装着部位に、第1のギフト又は第2のギフトを動画上に表示させることができる。例えば、第1のギフトが「赤いランドセル」である場合には、装着位置情報は「背中」となり、「赤いランドセル」が視聴ユーザからギフティングされると、アバターオブジェクトの「背中」の少なくとも一部を覆うように(又は「背中」の少なくとも一部に接するように)、当該「赤いランドセル」を動画上に表示させる。同様に、第2のギフトが「虹色の大きなフォーク」である場合には、装着位置情報は「左手」(「右手」でもよい)となり、「左手」において後述の所定条件が満たされると、アバターオブジェクトの「左手」に接触するように(「左手」の一部を覆うように)、当該「虹色の大きなフォーク」を動画上に表示させる。なお、動画内のアバターオブジェクトの各装着部位の位置(位置情報)は、例えば、後述するモーションセンサ等のセンサによって検出されている。したがって、アバターオブジェクトの「背中」に「赤いランドセル」を表示させる場合には、その時点の「背中」の位置情報が参照された上で、当該「背中」に対応して「赤いランドセル」が動画上に表示されることとなる。また、表示された第1のギフト及び第2のギフトは、これらが表示される間(後述の持続時間)においては、装着されたアバターオブジェクトの装着部位の動きに付随して動くように動画上において表示されてもよい。このような、アバターオブジェクトの装着部位に第1のギフト又は第2のギフトが装着された状態のアニメーションを含む動画を生成する方法は、特許第6431233号明細書に記載の方法や、他の周知技術を用いることができる。
【0085】
(2)表示部110
表示部110は、動画(アバターオブジェクトの装着部位に第1のギフト又は第2のギフトが装着された状態のアニメーションを含む動画を含む)の配信及び/又は視聴に必要とされる様々な情報を表示することができる。例えば、表示部110は、配信される動画、受信した動画、及び/又は生成した動画等を、表示することができる。また、表示部110は、サーバ装置20から各端末装置10に配信される各種のコメントも、受信した動画とともに表示することができる。さらにまた、ギフト記憶部140に記憶されているギフト情報を、視聴ユーザの操作に応じて適宜表示することもできる。
【0086】
(3)記憶部120
記憶部120は、動画(アバターオブジェクトの装着部位に第1のギフト又は第2のギフトが装着された状態のアニメーションを含む動画を含む)の配信及び/又は視聴に必要とされる様々な情報を記憶することができる。
【0087】
(4)ユーザインタフェイス部130
ユーザインタフェイス部130は、動画(アバターオブジェクトの装着部位に第1のギフト又は第2のギフトが装着された状態のアニメーションを含む動画を含む)の配信及び/又は視聴に必要とされる様々な情報を、配信ユーザ又は視聴ユーザの操作を介して入力することができる。例えば、ユーザインタフェイス部130は、アバターオブジェクトに対するギフティングに係る視聴ユーザの操作(予め用意された複数の第1のギフトから所定のギフトを選択してアバターオブジェクトに付与するコマンドを選択する等の操作を含む)の内容を示す操作データを視聴ユーザから入力して、当該操作データを通信部150へ出力することができる。ここで、前述の操作データとは、例えば、視聴ユーザが配信ユーザに対してどのようなギフト(ギフトの種類)をギフティングしたかに係る情報を含むことができる。
【0088】
また、別の例として、ユーザインタフェイス部130は、視聴ユーザから1又は複数のギフティングがなされた場合に、当該ギフティングに対応するギフト(第1のギフト又は第2のギフト)をアバターオブジェクトの装着部位に装着させることについての問合せをサーバ装置20から受け付けたときに、当該問合せに対する回答に係る操作データを配信ユーザから入力して、当該操作データを通信部150へ出力することができる。
【0089】
(5)ギフト記憶部140
ギフト記憶部140は、動画配信用アプリケーション及び動画視聴用アプリケーションが端末装置10にインストールされると、これらのアプリケーションに予め設定されるギフト情報を記憶することができる。なお、ギフト情報とは、各ギフトの名称・形状・色等の識別情報、視聴ユーザがギフティングした場合に当該視聴ユーザに対して請求される各ギフトの金額等を含むことができる。
【0090】
(6)通信部150
通信部150は、動画(アバターオブジェクトの装着部位に第1のギフト又は第2のギフトが装着された状態のアニメーションを含む動画を含む)の配信及び/又は視聴に必要とされる様々な情報を、サーバ装置20との間において通信することができる。例えば、通信部150は、端末装置10が配信ユーザの端末装置10として動作する場合には、アバターオブジェクトの装着部位に第1のギフト又は第2のギフトが装着された状態のアニメーションを含む動画を生成する旨の要求情報をサーバ装置20(情報処理サーバ装置20B)から受信して、生成された当該動画をサーバ装置20(配信サーバ装置20C)に送信することができる。また、同じく端末装置10が配信ユーザの端末装置10として動作する場合であって、且つ視聴ユーザから1又は複数のギフティングがなされた場合に、当該ギフティングに対応するギフト(第1のギフト又は第2のギフト)をアバターオブジェクトの装着部位に装着させることについての問合せをサーバ装置20から受信して、当該問合せの情報を表示部110へ出力し、当該問合せに対する回答に係る操作データをユーザインタフェイス部130から受信して当該回答に係る情報をサーバ装置20に送信することができる。
【0091】
他方、通信部150は、端末装置10が視聴ユーザの端末装置10として動作する場合には、配信ユーザの端末装置10によって生成された動画をサーバ装置20から受信することができる。また、同じく端末装置10が視聴ユーザの端末装置10として動作する場合には、視聴ユーザから配信ユーザ(アバターオブジェクト)対するギフティングに係る情報、及び視聴ユーザから配信ユーザ(アバターオブジェクト)に対するコメントに係る情報をサーバ装置20(コメントAPIサーバ装置20D)に送信することができる。
【0092】
(7)スタジオユニット
前述の動画生成部100、表示部110、記憶部120、ユーザインタフェイス部130、ギフト記憶部140、及び通信部150を含むスタジオユニット(図示せず)を端末装置10として用いることもできる。
【0093】
スタジオユニットは、パーソナルコンピュータ等の情報処理装置により実装可能なものであって、前述した端末装置10及びサーバ装置20と同様に、主に、中央処理装置と、主記憶装置と、入出力インタフェイス装置と、入力装置と、補助記憶装置と、出力装置と、を含むことができる。これら装置同士は、データバス及び/又は制御バスにより接続されている。また、スタジオユニットは、インストールされた特定のアプリケーションを実行する情報処理装置として機能することにより、スタジオユニットが設置されたスタジオルーム(図示せず)に居る配信ユーザの動作に関するデータ及び/又は配信ユーザによって発せられた発話や歌唱に関するデータに基づいて、アバターオブジェクトのアニメーションを含む動画を生成することができる。
【0094】
スタジオユニットに含まれる動画生成部100の構成要素の多くは、スタジオルームに配される。また、スタジオルームにおいては、配信ユーザが種々のパフォーマンスを行い、スタジオユニットが、当該配信ユーザの動作、表情、及び発話(歌唱を含む)等を検出している。
【0095】
配信ユーザは、スタジオユニット(動画生成部100)に含まれる種々のセンサ群によって動作、表情、及び発話(歌唱を含む)等がキャプチャされる対象となっている。この場合において、配信ユーザは、必ずしも人間である必要はなく、例えば、自立運動可能なロボットであってもよい。また、スタジオルーム内の配信ユーザは、1であってもよいし、2以上であってもよい。
【0096】
スタジオユニットにおける動画生成部100は、配信ユーザに装着される種々のモーションセンサ(図示せず)と、配信ユーザの手に把持されるコントローラ(図示せず)と、装着具(図示せず)を介して配信ユーザの頭部に取付けられるカメラ(図示せず)と、を有することができる。また、スタジオユニットには、配信ユーザの音声データを取得するために、前述の装着具やスタジオルーム内のいずれかの場所(例えば、壁、床、天井等)にマイクが設けられている。さらに、スタジオユニットは、上記の構成に加えて、複数のベースステーション(図示せず)、トラッキングセンサ(図示せず)、及びディスプレイ(図示せず)を有することができる。
【0097】
前述のモーションセンサは、前述のベースステーションと協働して、配信ユーザの位置及び向きを検出することができる。一実施形態において、複数のベースステーションは、多軸レーザーエミッタ―であり、同期用の点滅光を発した後に、1つのベースステーションは例えば鉛直軸の周りでレーザー光を走査し、他のベースステーションは、例えば水平軸の周りでレーザー光を走査するように構成される。モーションセンサは、ベースステーションからの点滅光及びレーザー光の入射を検知する光センサを複数備え、点滅光の入射タイミングとレーザー光の入射タイミングとの時間差、各光センサでの受光時間、各光センサが検知したレーザー光の入射角度、等を検出することができる。モーションセンサは、例えば、HTC CORPORATIONから提供されているVive Trackerであってもよいし、ZERO C SEVEN Inc.から提供されているXsens MVN Analyzeであってもよい。
【0098】
スタジオユニットにおける動画生成部100は、モーションセンサにおいて算出された各モーションセンサの位置及び向きを示す検出情報を取得する。モーションセンサは、配信ユーザの手首、足甲、腰、頭頂等の部位に装着されることにより、モーションセンサの位置及び向きを検出することにより、配信ユーザの体の動きを検出することができる。
【0099】
一実施形態においては、複数のモーションセンサに多数の赤外LEDを搭載し、この赤外LEDからの光を、スタジオルームの床や壁に設けられた赤外線カメラで検知することで、当該モーションセンサの位置及び向きを検出してもよい。また、赤外LEDに代えて可視光LEDを使用し、この可視光LEDからの光を可視光カメラで検出することで、当該モーションセンサの位置及び向きを検出してもよい。
【0100】
一実施形態においては、モーションセンサに代えて、複数の反射マーカーを用いることもできる。反射マーカーは、配信ユーザに粘着テープ等により貼付される。このように反射マーカーが貼付された配信ユーザを撮影して撮影データを生成し、この撮影データを画像処理することにより、反射マーカーの位置及び向きを検出するような構成としてもよい。
【0101】
コントローラは、配信ユーザの操作に応じたコントロール信号を出力し、これを動画生成部100が取得する。
【0102】
トラッキングセンサは、動画に含まれる仮想空間を構築するための仮想カメラの設定情報を定めるためのトラッキング情報を生成する。当該トラッキング情報は、三次元直交座標系での位置及び各軸回りの角度として算出され、動画生成部100は当該トラッキング情報を取得する。
【0103】
配信ユーザの頭部に取付けられるカメラは、配信ユーザの顔を撮像できるように配置される。当該カメラは、配信ユーザの顔を連続的に撮像することで、配信ユーザの顔の撮像データを取得し、動画生成部100はこの撮像データを当該カメラから取得する。なお、当該カメラは、配信ユーザの顔の奥行きを検出可能な3Dカメラであってもよい。
【0104】
ディスプレイは表示部110として機能するものであり、配信ユーザによって視認可能な位置に配置され、配信ユーザは、各種情報を取得して動画生成部100によって生成された動画を、ディスプレイを通して視認することが可能となっている。
【0105】
スタジオユニットは、以上のとおり説明した構成要素に加えて、前述にて説明した記憶部120、ユーザインタフェイス部130、ギフト記憶部140、及び通信部150を同様に含む。また、以上のとおり説明したスタジオユニットの構成要素は一例であって、他に適用可能な様々な構成要素を含みうる。
【0106】
3−2.サーバ装置20の機能
サーバ装置20の機能の一例について
図4乃至
図7を参照しつつ説明する。
図4は、
図1に示したサーバ装置20の機能の一例を模式的に示すブロック図である。
図5は、データベース部230によって管理されるテーブルの一例を示す図である。
図6A乃至
図6Dは、データベース部230によって管理されるテーブルの一例を示す図であって、判定部240が判定する際のイメージを模式的に示す図である。
図7は、配信ユーザの端末装置10の表示部110に表示される確認画面の一例を示す図である。
【0107】
図4に示すように、サーバ装置20は、主に、記憶部200、通信部210、ギフト処理部220、データベース部230、判定部240、及びコメント処理部250を含むことができる。
【0108】
(1)記憶部200
記憶部200は、動画(アバターオブジェクトの装着部位に第1のギフト又は第2のギフトが装着された状態のアニメーションを含む動画を含む)の配信及び/又は視聴に必要とされる様々な情報を記憶することができる。
【0109】
(2)通信部210
通信部210は、動画(アバターオブジェクトの装着部位に第1のギフト又は第2のギフトが装着された状態のアニメーションを含む動画を含む)の配信及び/又は視聴に必要とされる様々な情報を、配信ユーザの端末装置10及び/又は視聴ユーザの端末装置10との間において通信することができる。例えば、通信部210は、動画(アバターオブジェクトの装着部位に第1のギフト又は第2のギフトが装着された状態のアニメーションを含む動画を含む)を、配信ユーザの端末装置10から受信して各視聴ユーザの端末装置10へ配信することができる。
【0110】
また、通信部210は、視聴ユーザから配信ユーザ(アバターオブジェクト)対するギフティングに係る情報、及び視聴ユーザから配信ユーザ(アバターオブジェクト)に対するコメントに係る情報を視聴ユーザの端末装置10から受信して、ギフティングに係る情報はギフト処理部220へ、コメントに係る情報はコメント処理部250へと各々出力する。
【0111】
さらにまた、通信部210は、アバターオブジェクトの装着部位に第1のギフト又は第2のギフトが装着された状態のアニメーションを含む動画を生成する旨の要求情報を配信ユーザの端末装置10へ送信することができる。
【0112】
さらにまた、視聴ユーザから複数のギフティングがなされた場合であって、且つ後述する判定部240によって第1のギフトの組合せが所定条件を満たすことが判定された場合、第2のギフトをアバターオブジェクトの装着部位に装着させることについて配信ユーザの確認を得るための問合せ(確認)に係る要求信号を配信ユーザの端末装置10へ送信し、当該問合せに対する回答に係る情報を配信ユーザの端末装置10から受信することもできる。
【0113】
(3)ギフト処理部220
ギフト処理部220は、通信部210からギフティングに係る情報(ギフティングに係る要求信号)が出力されると、ギフティング行為がなされた視聴ユーザの識別情報(各視聴ユーザの端末装置10のシリアル番号や各視聴ユーザに付与されるID情報等)、ギフティングされたギフト情報(アバターオブジェクトのいずれの装着部位に対応するどのようなギフトであるかの情報であって、各ギフトの名称・形状・色等の識別情報)、及びギフティング対象のアバターオブジェクトたる配信ユーザの識別情報(配信ユーザの端末装置10のシリアル番号や配信ユーザに付与されるID情報等)を少なくとも読み出して、読み出した情報を自動的に、又は問い合わせに応じてデータベース部230に格納する。
【0114】
(4)データベース部230
データベース部230は、ギフト処理部220が読み出した各種の情報を、自動的に、又はギフト処理部220に対して所定時間間隔で問い合わせすることで、ギフト処理部220から受信することができる。また、データベース部230は、
図5に示すように、配信ユーザ毎のテーブル(参照テーブル)を有しており、ギフト処理部220から受信した各種の情報を、対応する配信ユーザの各テーブルに格納する。
【0115】
次に、
図5を参照しつつ、テーブルに格納された情報の一例を説明する。
【0116】
データベース部230は、配信ユーザ毎のテーブル500を有するにあたり、各テーブル500には配信ユーザの識別情報501(例えば配信ユーザのID情報)が付与されている。さらに、データベース部230は、ギフト処理部220から受信した配信ユーザの識別情報501に応じて、対応するテーブルにギフティングされたギフト情報を順次(
図5においてはギフティングされた順が一例とされているが、例えばアバターオブジェクトに第1のギフトが装着された順でもよい)格納していく。
【0117】
さらに詳細に説明すると、まずアバターオブジェクトの装着部位にギフトが全く装着されていない状態(初期状態)から、
図5に示すような、「赤いランドセル」、「ダイヤの冠」、「銀のフォーク」、「黄金のハリセン」、「金の指輪」、及び「白のスニーカー」の順番で、1又は複数の視聴ユーザから第1のギフトに係るギフティングが実行された場合、アバターオブジェクトの装着部位には当該順番で各第1のギフトが装着される(アバターオブジェクトの装着部位に第1のギフトが装着されたアニメーションを含む動画が生成される)。したがって、データベース部230は、テーブル500において、「赤いランドセル」、「ダイヤの冠」、「銀のフォーク」、「黄金のハリセン」、「金の指輪」、及び「白のスニーカー」を、この順番(ギフティングされた順番又は装着された順番)で「装着済ギフト一覧」のボックス502に格納する。なお、
図5には記載されていないが、各第1のギフトに対応するアバターオブジェクトの装着部位に係る情報(「赤いランドセル」に対応するアバターオブジェクトの装着部位は「背中」)や、各第1のギフトをギフティングした視聴ユーザの識別情報(例えば視聴ユーザのID情報)を、各第1のギフトと対応するようにボックス502に格納(表示)させてもよい。
【0118】
次に、前述の6つの第1のギフトがアバターオブジェクトの装着部位に各々装着された状態から、さらに、「ダイヤの冠」、「銀のフォーク」、「銀の指輪」、「銅のナイフ」、「黒いリュックサック」、「白いランドセル」、「金のフォーク」、「金のめがね」、及び「銀のスプーン」の順番で、1又は複数の視聴ユーザからさらに第1のギフトに係るギフティングが実行される。この場合、これらのギフトに対応するアバターオブジェクトの装着部位には、既に前述の6つの第1のギフトが装着されている。つまり、「背中」には「赤いランドセル」、「頭」には「ダイヤの冠」、「左手」には「銀のフォーク」、「右手」には「黄金のハリセン」、「指」には「金の指輪」、「両足」には「白のスニーカー」が装着されているの。一方、「背中」にさらに「黒いリュックサック」、「指」には「銀の指輪」等、対応する装着部位が重複してしまう。このような場合、データベース部230は、少なくとも一時的に、さらにギフティングされた第1のギフトをギフティングされた順番で「未装着ギフト一覧」のボックス503に格納する。この場合、ボックス502と同様、対応するアバターオブジェクトの装着部位に係る情報や、各第1のギフトをギフティングした視聴ユーザの識別情報を、各第1のギフトと対応するようにボックス503に格納(表示)させてもよい。
【0119】
データベース部230は、前述のように格納した情報に基づいて、アバターオブジェクトの装着部位に対して付与された第1のギフトの種類と、第1のギフトの種類毎の付与数とを対応付けて記憶しているといえる。換言すれば、データベース部230は、装着部位毎に、どんな種類の第1のギフトがいくつ付与されたかについて、テーブル500を用いて管理(記憶)しており、管理(記憶)される情報は判定部240の問い合わせに応じて、当該判定部240にも出力される。
【0120】
なお、アバターオブジェクトに装着された第1のギフトは、アバターオブジェクトに装着された時点を起算して、所定時間経過(例えば、1分又は2分)すると、自動的に動画から消去されるように、動画配信用アプリケーション及び動画視聴用アプリケーショにおいて予め設定されている。したがって、仮に、前述の「赤いランドセル」がアバターオブジェクトに装着されてから所定時間経過した後に、「黒いリュックサック」がギフティングされると、「黒いリュックサック」はアバターオブジェクトに装着されることとなる(この場合、データベース230は、「黒いリュックサック」をボックス502に格納することとなる)。
【0121】
(5)判定部240
判定部240は、複数のギフティング行為(1人の視聴ユーザによる複数のギフティング行為、及び複数の視聴ユーザによる複数のギフティング行為の両方を含む)があった場合に、アバターオブジェクトの装着部位に対して第1のギフトと共通する特徴を有する第2のギフトが装着された状態のアニメーションを含む動画を生成するか否かについて判定する。この判定は、データベース部230が管理するテーブル500を参照して(データベース部230から出力される情報に基づいて)実行され、複数の第1のギフトの組合せが、動画配信用アプリケーション及び動画視聴用アプリケーショにおいて予め設定される所定条件を満たすか否かによって判定される。
【0122】
判定の例を、
図6A乃至
図6Dを参照しつつ説明する。
【0123】
図5を参照して前述したとおり、アバターオブジェクトの装着部位のうち「頭」に着目すると、既に「ダイヤの冠」が装着されている。この状態において、さらに「ダイヤの冠」がギフティングされる場合、第1のギフトの組合せは全く同一の「ダイヤの冠」が2つということになる(
図6A参照)。ここで、前述の所定条件の少なくとも一つが、同一の第1のギフトが2つ揃うことであった場合、「ダイヤの冠」が2つ揃うことが前述の所定条件を満たす。このような所定条件は、動画配信用アプリケーション及び動画視聴用アプリケーションにおいて予め任意に設定することができる。このように所定条件が満たされると、判定部240はアバターオブジェクトの「頭」において第1のギフトたる「ダイヤの冠」と共通する特徴を有する第2のギフトが装着された状態のアニメーションを含む動画を生成すると判定する。この場合の第2のギフトとしては、例えば、「大きなダイヤの冠」や「100カラットダイヤのティアラ」等、第1のギフトの大きさ、色、及び/又は少なくとも一部の形状が変化するものを適宜に採用することができる。
【0124】
次に、
図5を参照して前述したとおり、アバターオブジェクトの装着部位のうち「指」に着目すると、既に「金の指輪」が装着されている。この状態において、さらに「銀の指輪」がギフティングされる場合、第1のギフトの組合せは、「金の指輪」及び「銀の指輪」、ということになる(
図6B参照)。ここで、前述の所定条件の少なくとも一つが、色のみが異なる2つの第1のギフトが揃うことであった場合、当該組合せは所定条件を満たす。このように所定条件が満たされると、判定部240は
図6Aを参照しつつ説明した場合と同様、第1のギフトたる「金の指輪」と共通する特徴を有する「ダイヤの指輪」等の第2のギフトが装着された状態のアニメーションを含む動画を生成すると判定する。
【0125】
次に、
図5を参照して前述したとおり、アバターオブジェクトの装着部位のうち「背中」に着目すると、既に「赤いランドセル」が装着されている。この状態において、さらに「黒いリュックサック」及び「白いランドセル」がギフティングされる場合、第1のギフトの組合せは、「赤いランドセル」、「黒いリュックサック」及び「白いランドセル」、という3つの組合せになる(
図6C参照)。ここで、前述の所定条件の少なくとも一つが、「背中」に対して第1のギフトが3つ揃うことであった場合、当該組合せは所定条件を満たす。このように所定条件が満たされると、判定部240は
図6Aを参照しつつ説明した場合と同様、第1のギフトたる「赤いランドセル」と共通する特徴を有する第2のギフトが装着された状態のアニメーションを含む動画を生成すると判定する。この場合の第2のギフトとしては、例えば「大きな翼」等が設定される。このように、第1のギフトと第2のギフトの装着部位が共通することのみをもって、第2のギフトが第1のギフトと共通する特徴を有する、としてもよい。また、第2のギフトが第1のギフトと同じ色であること、同じ大きさであること、同じ種類の物品(同種類)であること、等も、第2のギフトが第1のギフトと共通する特徴を有する、ということができる。
【0126】
次に、
図5を参照して前述したとおり、アバターオブジェクトの装着部位のうち「左手」に着目すると、既に「銀のフォーク」が装着されている。この状態において、さらに「銀のフォーク」、「銅のナイフ」、「金のフォーク」、及び「銀のスプーン」がギフティングされる場合、第1のギフトの組合せは、2つの「銀のフォーク」、「銅のナイフ」、「金のフォーク」及び「銀のスプーン」、という合計5つの組合せになる(
図6D参照)。ここで、前述の所定条件の少なくとも一つが、「左手」において、金・銀・銅の色が揃い且つナイフ・フォーク・スプーンが揃うことであった場合、当該組合せは所定条件を満たす。このように所定条件が満たされると、判定部240は
図6Aを参照しつつ説明した場合と同様、第1のギフトたる「銀のフォーク」と共通する特徴を有する第2のギフトが装着された状態のアニメーションを含む動画を生成すると判定する。この場合の第2のギフトとしては、例えば「虹色の大きなフォーク」等が設定される。
【0127】
以上の例のように、前述の所定条件はどのようにも設定することができる。所定条件を平易(例えば、
図6Aや
図6Bを参照して説明した例、等)なものとすれば、多くの種類の第2のギフトを出現させることができるため、視聴ユーザによるギフティング意欲を刺激することができる。他方、所定条件を難解(例えば、
図6Dを参照しつ説明した例、等)なものとしても、視聴ユーザにとっては、どのような第1のギフトを組み合せれば第2のギフトが出現するのかという関心や好奇心が惹起される。したがって、視聴ユーザによるギフティング機会が増加する。
【0128】
ところで、判定部240は、複数の第1のギフトの組合せが所定条件を満たしていない場合においては、当該組合せが所定条件を満たすために必要な必要条件(所定条件を満たすために必要なギフトの種類や数、等)を算出することができる。判定部240は、設定された所定条件と複数の第1のギフトの組合せとを対比して、当該所定条件を満たすために、どのような第1のギフトがさらに追加でギフティングされる必要があるのか、という条件を算出する。算出された必要条件は、コメント処理部250へ出力される。ここで、必要条件の具体例を説明する。例えば、
図6Cを参照しつつ説明した前述の場合において、所定条件が前述のとおり「背中に対して第1のギフトが3つ揃うこと」であるとすると、視聴ユーザから「赤いランドセル」(装着済)と「黒いリュックサック」だけしかギフティングされていない場合、必要条件は「アバターオブジェクトの背中に対応する第1のギフトが1つ」となる。このような必要条件の場合、コメント処理部250からは、例えば「背中につけるギフトがあと1つあればギフトが変化するよ」といったようなコメント情報が動画に合成されて(動画上に表示されて)配信ユーザの端末装置10に送信される。また、
図6Dを参照しつつ説明した前述の場合において、所定条件が前述のとおり「左手に対して、金・銀・銅の色が揃い且つナイフ・フォーク・スプーンが揃うこと」であるとすると、視聴ユーザから「銀のフォーク」(装着済)、「金のフォーク」、及び「銀のスプーン」だけしかギフティングされていない場合、必要条件は「アバターオブジェクトの左手に対応する銅のナイフ」となる。このような必要条件の場合、コメント処理部250からは、例えば「銅のナイフのギフティング募集中!!」といったようなコメント情報が動画に合成されて(動画上に合成されて)配信ユーザの端末装置10に送信される。
【0129】
また、判定部240は、第1のギフトの組合せが所定条件を満たすと判定した場合、第2のギフトをアバターオブジェクトの装着部位に装着させる(アバターオブジェクトの装着部位に第2のギフトが装着されたアニメーションを含む動画を生成する)ことについて、配信ユーザの確認を得るための問い合わせに係る要求信号を通信部210に出力することができる。通信部210は当該要求信号を配信ユーザ(配信ユーザの端末装置10)へ送信し、当該問い合わせに対する回答に係る情報を配信ユーザの端末装置10から受信する。なお、この場合に、具体的には、
図7に示すような画面600が配信ユーザの端末装置10の表示部110に表示される。なお、
図7における「合成しますか?」とは、「第2のギフトをアバターオブジェクトに装着させますか?」との文言に置換することができる。このように、第2のギフトをアバターオブジェクトに装着させることについて、配信ユーザが了解した場合(
図7において、配信ユーザが「はい」を選択した場合)、第2のギフトが装着されたアバターオブジェクトの装着部位に対して視聴ユーザがさらにギフティングを行われたとしても、一定時間(後述の持続時間)当該ギフティングはアバターオブジェクトに反映されない旨を視聴ユーザに通知するために、例えば「もう合成できないぞ」や「既に第2のギフト装着中!!」といったようなコメント情報を、配信ユーザの端末装置10に送信するように、判定部240がコメント処理部250に対して指示してもよい。
【0130】
アバターオブジェクトに装着された第2のギフトに対しては、動画内において持続する(アバターオブジェクトの装着部位に第2のギフトが装着された状態のアニメーションを含む動画内において第2のギフトが存在する)持続時間(例えば、1分又は2分)が予め設定されており、当該持続時間が経過すると、第2のギフトが動画内から消去されるように、動画配信用アプリケーション及び動画視聴用アプリケーションにおいて設定されている。第2のギフトの持続時間は、第2のギフトがアバターオブジェクトの装着部位に装着された時点を起点にしてもよいし、所定条件を満たすために視聴ユーザによって実行された最後のギフティングの時点(所定条件が満たされた時点)を起点にしてもよい。また、第2のギフトが動画内から消去された直後のタイミングで視聴ユーザによるギフティングを惹起させるために、第2のギフトが動画内から消去される直前に、例えば「第2のギフトが消えちゃうから、新たなギフティング募集!!」といったようなコメント情報を、配信ユーザの端末装置10に送信するように、判定部240がコメント処理部250に対して指示してもよい。
【0131】
(6)コメント処理部250
コメント処理部250は、視聴ユーザから配信ユーザ(アバターオブジェクト)に対するコメント情報を、通信部210を介して視聴ユーザの端末装置10から受信することができ、視聴ユーザからの当該コメント情報を、同一の動画を視聴している各視聴ユーザに対して配信することができる。
【0132】
また、コメント処理部250は、データベース部230にて管理されるテーブル500を参照して、どの視聴ユーザがどんなギフトをアバターオブジェクトの装着部位にギフティングしたかに係る全て又は一部の情報に対応するコメント情報を作成して、当該コメント情報を同一の動画を視聴している各視聴ユーザに対して配信することもできる。
【0133】
さらにまた、コメント処理部250は、データベース部230にて管理されるテーブル500を参照して、アバターオブジェクトの装着部位に対して第1のギフト及び/又は第2のギフトが付与された旨及び/又は装着された旨を示すコメント情報を作成して、当該コメント情報を同一の動画を視聴している各視聴ユーザに対して配信することもできる。
【0134】
さらにまた、コメント処理部250は、判定部によって算出された前述の必要条件に対応するコメント情報を作成して、当該コメント情報を同一の動画を視聴している各視聴ユーザに対して配信することもできる。
【0135】
4.動画配信システム1の全体的な動作
次に、上記構成を有する動画配信システム1においてなされる全体的な動作について、
図8乃至
図11を参照して説明する。
図8は、
図1に示した動画配信システム1において行われる動作の一例を示すフロー図である。
図9は、配信ユーザのアバターオブジェクトのアニメーションを含む動画の一例を示す図である。
図10は、配信ユーザのアバターオブジェクトの装着部位に第1のギフトが装着された状態のアニメーションを含む動画の一例を示す図である。
図11は、配信ユーザのアバターオブジェクトの装着部位において、第1のギフトに代わって第2のギフトが装着されるイメージの一例を模式的に示す図である
【0136】
まず、ステップ(以下「ST」という。)300において、配信ユーザ(ここでは配信ユーザA)の操作に従って、その端末装置10(ここでは端末装置10A)が動画配信用アプリケーションを起動して実行する。
【0137】
次に、ST301において、端末装置10Aは、配信ユーザAの動作に関するデータ及び/又は配信ユーザによって発せられた発話や歌唱に関する音声データに基づいて配信ユーザAのアバターオブジェクトのアニメーションを含む動画を生成する。これにより、
図9に例示されるように、端末装置10Aの表示部110には、配信ユーザAのアバターオブジェクト400のアニメーションを含む動画401が表示される。
【0138】
さらに、端末装置10Aは、生成した動画401をサーバ装置20の配信サーバ装置20Cに送信する。配信サーバ装置20Cは、端末装置10Aから受信した動画を、動画視聴用アプリケーションを実行している各視聴ユーザの端末装置10に配信する。これにより、各視聴ユーザの端末装置10の表示部110にも、
図9に例示したような動画401が表示される。
【0139】
次に、ST302において、視聴ユーザの端末装置10は、ユーザインタフェイス部130に対する視聴ユーザの操作に基づいて、配信ユーザA(アバターオブジェクト400の装着部位)に対して第1のギフトを付与することを要求する要求信号をサーバ装置20(ギフトAPIサーバ装置20A)に発信する。
【0140】
次に、ST303において、視聴ユーザの端末装置10から第1のギフトに係る要求信号を受信したサーバ装置20(ギフトAPIサーバ装置20A)は、ギフティング行為がなされた視聴ユーザの識別情報、ギフティングされたギフトに係る情報、及びギフティング対象のアバターオブジェクトたる配信ユーザの識別情報を少なくとも読み出す。そして、読み出された各種の情報は、サーバ装置20における情報処理サーバ装置20B内のテーブルに格納される。
【0141】
次に、ST304にて、サーバ装置20(情報処理サーバ装置20B)は、ST303にてテーブルに情報が格納された時点において、配信ユーザAのアバターオブジェクト400の各装着部位に第1のギフトが既に装着されているか否かについて確認する。ST304において、視聴ユーザによってギフティングがなされたアバターオブジェクト400の装着部位が例えば「頭」であって、そのギフティングに係る情報がST303においてテーブルに格納された時点で、当該「頭」に第1のギフトが装着されていなければ、サーバ装置20(情報処理サーバ装置20B)は、ST304において「NO」と判断した上でST310に進むべく、当該アバターオブジェクト400の「頭」に視聴ユーザからギフティングされた第1のギフト(例えば、「ダイヤの冠」)が装着されたアニメーションを含む動画を生成する旨を要求する情報を配信ユーザAの端末装置10Aへ発信する。
【0142】
一方、ST304において、視聴ユーザによってギフティングがなされたアバターオブジェクト400の装着部位が例えば「頭」であって、そのギフティングに係る情報がST303においてテーブルに格納された時点で、当該「頭」に「ダイヤの冠」が既に装着されていれば、サーバ装置20(情報処理サーバ装置20B)は、当該「頭」に対して第1のギフト(「ダイヤの冠」)を付与する旨の要求信号が複数存在すると理解して、ST304において「YES」と判断した上で、後述するST320にて、第1のギフトの組合せに係る判定を実行する。
【0143】
次に、前述のとおりST304においてサーバ装置20が「NO」と判断した結果、配信ユーザAの端末装置10Aが、サーバ装置20(情報処理サーバ装置20B)から、アバターオブジェクト400の「頭」に視聴ユーザからギフティングされた第1のギフト(例えば、「ダイヤの冠」)が装着されたアニメーションを含む動画を生成する旨を要求する情報を受信すると、ST310にて、端末装置10Aが当該動画を生成する。これにより、
図10に例示されるように、端末装置10Aの表示部110には、配信ユーザAのアバターオブジェクト400の「頭」に「ダイヤの冠」たる第1のギフト410が装着されたアニメーションを含む動画402が表示される。なお、
図10における動画402には、同様のステップで、アバターオブジェクト400の「左手」に「銀のフォーク」たる第1のギフト420が装着されている一例が示されている。
【0144】
さらに、端末装置10Aは、生成した動画402をサーバ装置20の配信サーバ装置20Cに送信する。配信サーバ装置20Cは、ST311にて、端末装置10Aから受信した動画を、動画視聴用アプリケーションを実行している各視聴ユーザの端末装置10に配信する。これにより、各視聴ユーザの端末装置10の表示部110にも、
図10に例示したような動画402が表示されて、ST304においてサーバ装置が「NO」と判断された場合のステップが終了する。
【0145】
他方、前述のとおりST304においてサーバ装置20が「YES」と判断すると、第1のギフトの組合せが所定条件を満たすか否かについて、判定部240が判定することとなる。第1のギフトの組合せが所定条件を満たす場合(ST320にて「YES」の場合)、サーバ装置20(情報処理サーバ装置20Bの判定部240)は、ST321にて、配信ユーザAに対して、アバターオブジェクト400に第2のギフトを装着させてもよいかどうかの問い合わせ(確認)に係る情報を、配信ユーザAの端末装置10Aに発信する。この問い合わせに対して、配信ユーザAがOKである旨の回答を配信ユーザAの端末装置10Aからサーバ装置20へ送信すると、サーバ装置20(情報処理装置20B)は、アバターオブジェクト400の装着部位(例えば、「頭」)に第2のギフト(例えば、「100カラットダイヤのティアラ」)が装着されたアニメーションを含む動画を生成する旨を要求する情報を配信ユーザAの端末装置10Aへ発信する。ところで、第2のギフトの具体例について
図11を参照して補足すると、例えば、アバターオブジェクト400の「左手」に「銀のフォーク」たる第1のギフト420が装着されている場合に、所定条件が満たされると、「虹色の大きなフォーク」なる第2のギフト420Zが生成(合成)される。この場合、第1のギフト420と第2のギフト420Zは、対応するアバターオブジェクト400の装着部位が共通するだけでなく、特徴の一つである形状も共通する。このように、第1のギフト420と第2のギフト420Zとは、何らかの共通する特徴を有している。
【0146】
次に、ST322にて、配信ユーザAの端末装置10Aが、サーバ装置20(情報処理サーバ装置20B)から、アバターオブジェクト400の「頭」に第2のギフト(例えば、「100カラットダイヤのティアラ」)が装着されたアニメーションを含む動画を生成する旨を要求する情報を受信すると、端末装置10Aが当該動画(図示せず)を生成する。
【0147】
さらに、端末装置10Aは、生成した動画をサーバ装置20の配信サーバ装置20Cに送信する。配信サーバ装置20Cは、ST323にて、端末装置10Aから受信した動画を、動画視聴用アプリケーションを実行している各視聴ユーザの端末装置10に配信する。これにより、各視聴ユーザの端末装置10の表示部110にも、同様の動画が表示されて、ST304においてサーバ装置が「YES」と判断された場合であって且つST320において「YES」と判断された場合のステップが終了する。
【0148】
なお、ST320において、第1のギフトの組合せが所定条件を満たさない場合(ST320にて「NO」の場合)、サーバ装置20(情報処理サーバ装置20Bの判定部240)は、ST330にて、当該組合せが所定条件を満たすための必要な必要条件(所定条件を満たすために必要なギフトの種類や数、等)を算出する。さらに、算出された必要条件はコメント情報に変換されて、コメント処理部250を介して各視聴ユーザの端末装置10に配信される。これにより、各視聴ユーザの端末装置10の表示部110にも、同様のコメント情報が表示される。こうして、ST320において「NO」と判断された場合のステップが終了する。
【0149】
以上のステップは、視聴ユーザからギフティング行為がなされる度に実行される。したがって、あらゆるギフティング行為に対して、アバターオブジェクト400の各装着部位において、第1のギフト又は第2のギフトが装着されたアニメーションを含む動画を適時に生成及び配信することができる。
【0150】
5.変形例について
前述の一実施形態においては、動画(アバターオブジェクトの装着部位に第1のギフト又は第2のギフトが装着された状態のアニメーションを含む動画を含む)の生成は配信ユーザの端末装置10によって実行されていたが、別の実施形態では、例えば、サーバ装置20又は視聴ユーザの端末装置10によって実行されてもよい。また、配信ユーザの端末装置10、サーバ装置20、及び視聴ユーザの端末装置10の各々が動画の一部を生成して、最終的な動画が生成されてもよいし、これらの装置以外の装置がさらに動画の一部を生成してもよい。また、前述の別の実施形態においては、サーバ装置20及び/又は視聴ユーザの端末装置10にレンダリング部(図示せず)を設けておき、配信ユーザの端末装置10は、サーバ装置20及び/又は視聴ユーザの端末装置10が動画(アバターオブジェクトの装着部位に第1のギフト又は第2のギフトが装着された状態のアニメーションを含む動画を含む)を生成することができるように、例えば、第1のギフトに係る情報や第2のギフトに係る情報に加えて、配信ユーザの動作に関するデータ及び/又は配信ユーザによって発せられた発話や歌唱に関するデータのみを生成して、これらのデータをサーバ装置20及び/又は視聴ユーザの端末装置10へ送信するような構成としてもよい。
【0151】
このような構成を実現するために、サーバ装置20、視聴ユーザの端末装置10、及び配信ユーザの端末装置10の各機能は前述の一実施形態から適宜に変更される別の実施形態が採用されうる。例えば、一実施形態において動画生成部100は端末装置10に具備されていたが、サーバ装置20に具備されてもよいし、端末装置10でも視聴ユーザの端末装置10に具備されてもよい。
【0152】
また、ギフト情報を格納するテーブル500や当該テーブル500を参照して第1のギフトの組合せが所定条件を満たすか否かに係る判定は、前述の一実施形態においてはサーバ装置20における情報処理サーバ装置20Bによって実行されていたが、別の実施形態では、配信ユーザの端末装置10で実行されてもよい。これに伴って、前述の一実施形態において判定部240はサーバ装置20に具備されていたが、配信ユーザの端末装置10に具備されてもよい。
【0153】
さらにまた、前述の一実施形態においては、アバターオブジェクトの装着部位毎に付与される第1のギフトの組合せ(例えば、「頭」に付与される第1のギフトの組合せ)に基づいて、当該組合せが所定条件を満たすか否かを判定していたが、別の実施形態では、例えば、アバターオブジェクトの複数の装着部位に付与される複数の第1のギフトの組合せに基づいて、当該組合せが所定条件を満たすか否かを判定してもよい。具体的には、アバターオブジェクトの「頭」に付与される第1のギフトと「首」に付与される第1のギフトとの組合せや、アバターオブジェクトの「左手」に付与される第1のギフト、「右手」に付与される第1のギフト、「左足」に付与される第1のギフト、及び「右足」に付与される第1のギフトの組合せであってもよい。
【0154】
さらにまた、前述の所定条件は、別の実施形態においては、所定時間毎(例えば、日毎、週毎、月毎)に変化するように設定されてもよい。
【0155】
さらにまた、前述の一実施形態において
図11を参照して説明したように、第2のギフトは予め設定された第1のギフトの組合せに応じて予め決められたギフトが合成されるように設定されてもよいが、別の実施形態では、予め設定された第1のギフトの組合せに応じて、複数種類の第2のギフトが合成されるように設定し、且つ当該複数種類の第2のギフトから配信ユーザの選択によって決定された第2のギフトがアバターオブジェクトに装着されるように設定してもよい。
【0156】
したがって、様々な実施形態によれば、視聴ユーザによるギフティング機会を増加させる動画処理方法、サーバ装置及びコンピュータプログラムを提供することができる。
【0157】
6.様々な態様について
第1の態様に係る動画処理方法は、「コンピュータにより読み取り可能な命令を実行する一又は複数のプロセッサにより実行される動画処理方法であって、配信ユーザのアバターオブジェクトのアニメーションを含む動画を視聴する視聴ユーザの操作に基づいて生成され、前記アバターオブジェクトの装着部位に対して第1のギフトを付与することを要求する要求信号を、前記視聴ユーザの端末装置から通信回線を介して受信する受信工程と、複数の前記要求信号に基づいて前記アバターオブジェクトの前記装着部位に対して付与された複数の前記第1のギフトの組合せが所定条件を満たすことが判定された場合に、前記アバターオブジェクトの前記装着部位に前記第1のギフトと共通する特徴を有する第2のギフトが装着されたアニメーションを含む前記動画を生成する生成工程と、を含む」ものである。
【0158】
第2の態様に係る動画処理方法は、上記第1の態様において「前記アニメーションが前記配信ユーザの動作に基づいて生成される」ものである。
【0159】
第3の態様に係る動画処理方法は、上記第1の態様又は上記第2の態様において「前記第2のギフトは、前記第1のギフトの大きさ、色、及び/又は、少なくとも一部の形状が変化する」ものである。
【0160】
第4の態様に係る動画処理方法は、上記第1の態様から上記第3の態様のいずれかにおいて「複数の前記第1のギフトの組合せが所定条件を満たしていない場合、前記組合せが前記所定条件を満たすための必要条件を示すコメント情報を複数の視聴ユーザの端末装置に対して送信する工程をさらに含む」ものである。
【0161】
第5の態様に係る動画処理方法は、上記第1の態様から上記第4の態様のいずれかにおいて「或る視聴ユーザの端末装置から受信した前記要求信号に応答して、前記アバターオブジェクトの前記装着部位に対して前記第1のギフトが付与された旨、及び/又は前記アバターオブジェクトの前記装着部位に対して前記第1のギフトが装着された旨を示すコメント情報を複数の視聴ユーザの端末装置に対して送信する工程をさらに含む」ものである。
【0162】
第6の態様に係る動画処理方法は、上記第1の態様から上記第5の態様のいずれかにおいて「前記組合せが前記所定条件を満たしたか否かに関する判定は、前記アバターオブジェクトの前記装着部位に対して付与された前記第1のギフトの種類と、前記第1のギフトの種類毎の付与数とを対応付けて記憶する参照テーブルに基づいて行われる」ものである。
【0163】
第7の態様に係る動画処理方法は、上記第1の態様から上記第6の態様のいずれかにおいて「前記組合せが前記所定条件を満たした場合に、前記第2のギフトに対して前記動画において持続する持続時間を設定し、該持続時間が経過したときに前記第2のギフトを前記動画から消去する工程をさらに含む」ものである。
【0164】
第8の態様に係る動画処理方法は、上記第1の態様から上記第7の態様のいずれかにおいて「前記受信工程及び前記生成工程が、前記視聴ユーザの端末装置及び/又は前記配信ユーザの端末装置に通信回線を介して接続されるサーバ装置により実行される」ものである。
【0165】
第9の態様に係る動画処理方法は、上記第8の態様において「前記組合せが前記所定条件を満たしたことが、前記サーバ装置により判定される」ものである。
【0166】
第10の態様に係る動画処理方法は、上記第1の態様から上記第7の態様のいずれかにおいて「前記生成工程が、前記配信ユーザの端末装置により実行される」ものである。
【0167】
第11の態様に係る動画処理方法は、上記第10の態様において「前記組合せが前記所定条件を満たしたことが、前記サーバ装置又は前記配信ユーザの端末装置により判定される」ものである。
【0168】
第12の態様に係る動画処理方法は、上記第1の態様から上記第7の態様のいずれかにおいて「前記生成工程が、前記視聴ユーザの端末装置により実行される」ものである。
【0169】
第13の態様に係る動画処理方法は、上記第12の態様において「前記組合せが前記所定条件を満たしたことが、前記サーバ装置又は前記配信ユーザの端末装置により判定される」ものである。
【0170】
第14の態様に係る動画処理方法は、上記第1の態様から上記第13の態様のいずれかにおいて「前記アバターオブジェクトの前記装着部位が、該アバターオブジェクトの一部分及び/又は該アバターオブジェクトから離れた部分にある」ものである。
【0171】
第15の態様に係る動画処理方法は、上記第1の態様から上記第14の態様のいずれかにおいて「前記プロセッサが、中央処理装置(CPU)、マイクロプロセッサ又はグラフィックスプロセッシングユニット(GPU)である」ものである。
【0172】
第16の態様に係る動画処理方法は、上記第1の態様から上記第15の態様のいずれかにおいて「前記通信回線がインターネットを含む」ものである。
【0173】
第17の態様に係るサーバ装置は、「1又は複数のプロセッサを具備し、該プロセッサが、配信ユーザのアバターオブジェクトのアニメーションを含む動画を視聴する視聴ユーザの操作に基づいて生成され、前記アバターオブジェクトの装着部位に対して第1のギフトを付与することを要求する要求信号を、前記視聴ユーザの端末装置から通信回線を介して受信し、複数の前記要求信号に基づいて前記アバターオブジェクトの前記装着部位に対して付与された複数の前記第1のギフトの組合せが所定条件を満たすことが判定された場合に、前記アバターオブジェクトの前記装着部位に前記第1のギフトと共通する特徴を有する第2のギフトが装着されたアニメーションを含む前記動画を生成する」ものである。
【0174】
第18の態様に係るサーバ装置は、「1又は複数のプロセッサを具備し、該プロセッサが、配信ユーザのアバターオブジェクトのアニメーションを含む動画を視聴する視聴ユーザの操作に基づいて生成され、前記アバターオブジェクトの装着部位に対して第1のギフトを付与することを要求する要求信号を、前記視聴ユーザの端末装置から通信回線を介して受信し、複数の前記要求信号に基づいて前記アバターオブジェクトの前記装着部位に対して付与された複数の前記第1のギフトの組合せが所定条件を満たすことが判定された場合に、前記アバターオブジェクトの前記装着部位に前記第1のギフトと共通する特徴を有する第2のギフトに係る情報を、前記第2のギフトが装着されたアニメーションを含む前記動画を生成する前記視聴ユーザの端末装置又は前記配信ユーザの端末装置へ送信する」ものである。
【0175】
第19の態様に係るサーバ装置は、上記第17の態様又は上記第18の態様において「前記プロセッサが、中央処理装置(CPU)、マイクロプロセッサ又はグラフィックスプロセッシングユニット(GPU)である」ものである。
【0176】
第20の態様に係るサーバ装置は、上記第17の態様から上記第19の態様のいずれかにおいて「前記通信回線がインターネットを含む」ものである。
【0177】
第21の態様に係るコンピュータプログラムは、「1又は複数のプロセッサに実行されることにより、配信ユーザのアバターオブジェクトのアニメーションを含む動画を視聴する視聴ユーザの操作に基づいて生成され、前記アバターオブジェクトの装着部位に対して第1のギフトを付与することを要求する要求信号を、前記視聴ユーザの端末装置から通信回線を介して受信し、複数の前記要求信号に基づいて前記アバターオブジェクトの前記装着部位に対して付与された複数の前記第1のギフトの組合せが所定条件を満たすことが判定された場合に、前記アバターオブジェクトの前記装着部位に前記第1のギフトと共通する特徴を有する第2のギフトが装着されたアニメーションを含む前記動画を生成する、ように前記プロセッサを機能させる」ものである。
【0178】
第22の態様に係るコンピュータプログラムは、「1又は複数のプロセッサに実行されることにより、配信ユーザのアバターオブジェクトのアニメーションを含む動画を視聴する視聴ユーザの操作に基づいて生成され、前記アバターオブジェクトの装着部位に対して第1のギフトを付与することを要求する要求信号を、前記視聴ユーザの端末装置から通信回線を介して受信し、複数の前記要求信号に基づいて前記アバターオブジェクトの前記装着部位に対して付与された複数の前記第1のギフトの組合せが所定条件を満たすことが判定された場合に、前記アバターオブジェクトの前記装着部位に前記第1のギフトと共通する特徴を有する第2のギフトに係る情報を、前記第2のギフトが装着されたアニメーションを含む前記動画を生成する前記視聴ユーザの端末装置又はサーバ装置へ送信する、ように前記プロセッサを機能させる」ものである。
【0179】
第23の態様に係るコンピュータプログラムは、上記第21の態様又は上記第22の態様において「前記プロセッサが、中央処理装置(CPU)、マイクロプロセッサ又はグラフィックスプロセッシングユニット(GPU)である」ものである。
【0180】
第24の態様に係るコンピュータプログラムは、上記21の態様から上記23の態様のいずれかにおいて「前記通信回線がインターネットを含む」ものである。
【0181】
第25の態様に係るコンピュータプログラムは、「1又は複数のプロセッサに実行されることにより、配信ユーザのアバターオブジェクトのアニメーションを含む動画を視聴する視聴ユーザの操作に基づいて生成され、前記アバターオブジェクトの装着部位に対して第1のギフトを付与することを要求する要求信号を、通信回線を介して発信し、複数の前記要求信号に基づいて前記アバターオブジェクトの前記装着部位に対して付与された複数の前記第1のギフトの組合せが所定条件を満たすことが判定された場合に、前記アバターオブジェクトの前記装着部位に前記第1のギフトと共通する特徴を有する第2のギフトが装着されたアニメーションを含む前記動画を生成するために、前記第2のギフトに係る情報を配信ユーザの端末装置又はサーバ装置から受信する、ように前記プロセッサを機能させる」ものである。
【0182】
第26の態様に係るコンピュータプログラムは、「1又は複数のプロセッサに実行されることにより、配信ユーザのアバターオブジェクトのアニメーションを含む動画を視聴する視聴ユーザの操作に基づいて生成され、前記アバターオブジェクトの装着部位に対して第1のギフトを付与することを要求する要求信号を、通信回線を介して発信し、複数の前記要求信号に基づいて前記アバターオブジェクトの前記装着部位に対して付与された複数の前記第1のギフトの組合せが所定条件を満たすことが判定された場合に、前記アバターオブジェクトの前記装着部位に前記第1のギフトと共通する特徴を有する第2のギフトが装着されたアニメーションを含む前記動画を配信ユーザの端末装置又はサーバ装置から受信する、ように前記プロセッサを機能させる」ものである。
【0183】
第27の態様に係るコンピュータプログラムは、上記第25の態様又は上記第26の態様において「前記プロセッサが、中央処理装置(CPU)、マイクロプロセッサ又はグラフィックスプロセッシングユニット(GPU)である」ものである。
【0184】
第28の態様に係るコンピュータプログラムは、上記25の態様から上記27の態様のいずれかにおいて「前記通信回線がインターネットを含む」ものである。
【0185】
7.本件出願に開示された技術が適用される分野
本件出願に開示された技術は、例えば、次のような分野において適用することが可能なものである。
(1)アバターオブジェクトが登場するライブ動画を配信するアプリケーション・サービス
(2)文字及びアバターオブジェクトを用いてコミュニケーションすることができるアプリケーション・サービス(チャットアプリケーション、メッセンジャー、メールアプリケーション等)
【解決手段】 一実施形態に係る動画処理方法は、コンピュータにより読み取り可能な命令を実行する一又は複数のプロセッサにより実行される動画処理方法であって、配信ユーザのアバターオブジェクトのアニメーションを含む動画を視聴する視聴ユーザの操作に基づいて生成され、前記アバターオブジェクトの装着部位に対して第1のギフトを付与することを要求する要求信号を、前記視聴ユーザの端末装置から通信回線を介して受信する受信工程と、複数の前記要求信号に基づいて前記アバターオブジェクトの前記装着部位に対して付与された複数の前記第1のギフトの組合せが所定条件を満たすことが判定された場合に、前記アバターオブジェクトの前記装着部位に前記第1のギフトと共通する特徴を有する第2のギフトが装着されたアニメーションを含む前記動画を生成する生成工程と、を含むものである。