特開 2023-65288 情報処理プログラム及び情報処理システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023065288

(43)【公開日】2023-05-12

(54)【発明の名称】情報処理プログラム及び情報処理システム

(51)【国際特許分類】

   H04N 21/2665 20110101AFI20230502BHJP

   H04N 21/2343 20110101ALI20230502BHJP

   H04N 21/239 20110101ALI20230502BHJP

   G06T 19/00 20110101ALI20230502BHJP

   A63F 13/86 20140101ALI20230502BHJP

【ＦＩ】

H04N21/2665

H04N21/2343

H04N21/239

G06T19/00 300A

A63F13/86

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2022006589

(22)【出願日】2022-01-19

(31)【優先権主張番号】P 2021175620

(32)【優先日】2021-10-27

(33)【優先権主張国・地域又は機関】JP

(71)【出願人】

【識別番号】308033283

【氏名又は名称】株式会社スクウェア・エニックス

(74)【代理人】

【識別番号】100188662

【弁理士】

【氏名又は名称】浅見 浩二

(74)【代理人】

【識別番号】100177895

【弁理士】

【氏名又は名称】山田 一範

(72)【発明者】

【氏名】渡辺 泰仁

【テーマコード（参考）】

5B050

5C164

【Ｆターム（参考）】

5B050AA00

5B050BA09

5B050BA12

5B050BA13

5B050CA07

5B050CA08

5B050DA01

5B050EA04

5B050EA19

5B050EA26

5B050FA02

5B050FA12

5B050FA14

5C164FA06

5C164MA02S

5C164MA03S

5C164PA39

5C164SB02P

5C164SB29P

5C164SB41S

5C164SC04P

5C164SD12S

5C164UB90S

5C164YA11

(57)【要約】

【課題】動画配信においてアバターを用いた双方向のコミュニケーションを実現すること。
【解決手段】配信者を動画撮影した撮影動画データ配信者表示領域に表示し、配信者からの入力操作情報に基づいて操作可能な配信者アバターを配信者アバター表示領域に表示し、動画配信を受信して視聴するユーザそれぞれに対応づいたユーザアバターであってユーザの入力操作情報に基づいて操作可能なユーザアバターをユーザアバター表示領域に表示し、配信者表示領域と、配信者アバター表示領域と、ユーザアバター表示領域とを備えた動画配信画面を、動画配信を受信する端末に対して送信する。
【選択図】図３

【特許請求の範囲】

【請求項1】

動画配信者（以下、配信者）によるリアルタイムの動画配信の動画配信画面を制御する処理をサーバに実現させるための情報処理プログラムであって、
前記サーバに、
前記配信者を動画撮影した撮影動画データを配信者端末から受信して前記動画配信画面に設定した配信者表示領域に表示させる配信者表示機能と、
前記配信者からの入力操作情報に基づいて操作可能な配信者アバターを前記動画配信画面に設定した配信者アバター表示領域に表示させる配信者アバター表示機能と、
前記動画配信を受信して視聴するユーザそれぞれに対応づいたユーザアバターであって、ユーザ端末から送信されるユーザの入力操作情報に基づいて操作可能なユーザアバターを、前記動画配信画面に設定したユーザアバター表示領域に表示させるユーザアバター表示機能と、
前記配信者表示領域と、前記配信者アバター表示領域と、前記ユーザアバター表示領域とを備えた前記動画配信画面を、動画配信を受信する端末に対して送信する動画配信画面送信機能と
を実現させる情報処理プログラム。

【請求項2】

前記配信者アバター表示機能は、モーションキャプチャ手段に基づいて取得される前記配信者の身体動作を前記配信者からの入力操作情報として取得して前記配信者アバターの操作を制御し、その制御によって操作された前記配信者アバターを前記配信者アバター表示領域に表示させる
請求項１記載の情報処理プログラム。

【請求項3】

前記サーバに、
複数のユーザアバターの中なら前記配信者が選択した所定数のユーザアバターに対応づいているユーザに対して所定の特典を付与する特典付与機能を実現させる
請求項１又は請求項２記載の情報処理プログラム。

【請求項4】

前記配信者アバターと少なくとも一部の前記ユーザアバターとを同一の３次元仮想空間に配置した上で、前記配信者アバター表示機能及び前記ユーザアバター表示機能とを実現させる
請求項１から請求項３の何れか一つに記載の情報処理プログラム。

【請求項5】

前記サーバに、
動画配信画面の内容に同期させた同期信号を前記動画配信画面とともに前記ユーザ端末に対して送信する同期信号送信機能と、
前記同期信号に基づいて入力タイミングを判定した入力操作情報を前記ユーザ端末から受信し、前記入力操作情報に基づいて前記動画配信画面に含める演出内容を決定して演出処理を実行する演出処理機能とを実現させる
請求項１から請求項４の何れか一つに記載の情報処理プログラム。

【請求項6】

前記演出処理機能は、前記入力操作情報の内容に応じて前記演出内容を変化させる
請求項５記載の情報処理プログラム。

【請求項7】

通信ネットワークと、サーバと、配信者端末と、ユーザ端末とを備え、動画配信者（以下、配信者）によるリアルタイムの動画配信の動画配信画面を制御する処理を行うための情報処理システムであって、
前記配信者を動画撮影した撮影動画データを前記配信者端末から受信して前記動画配信画面に設定した配信者表示領域に表示させる配信者表示手段と、
前記配信者からの入力操作情報に基づいて操作可能な配信者アバターを前記動画配信画面に設定した配信者アバター表示領域に表示させる配信者アバター表示手段と、
前記動画配信を受信して視聴するユーザそれぞれに対応づいたユーザアバターであって、前記ユーザ端末から送信されるユーザの入力操作情報に基づいて操作可能なユーザアバターを、前記動画配信画面に設定したユーザアバター表示領域に表示させるユーザアバター表示手段と、
前記配信者表示領域と、前記配信者アバター表示領域と、前記ユーザアバター表示領域とを備えた前記動画配信画面を、動画配信を受信する端末に対して送信する動画配信画面送信手段と
を含む情報処理システム。

【請求項8】

前記サーバは、
動画配信画面の内容に同期させた同期信号を前記動画配信画面とともに前記ユーザ端末に対して送信する同期信号送信手段と、
前記同期信号に基づいて入力タイミングを判定した入力操作情報を前記ユーザ端末から受信し、前記入力操作情報に基づいて前記動画配信画面に含める演出内容を決定して演出処理を実行する演出処理手段とを含み、
前記ユーザ端末は、
前記同期信号を受信する同期信号受信手段と、
受信した前記同期信号に基づいて入力操作のタイミングを示す情報を前記動画配信画面に表示させて入力操作を受付け、入力操作が行われた場合、前記同期信号に基づいて入力操作のタイミングを判定する入力操作判定手段と、
前記入力操作について、タイミング情報を含む前記入力操作情報を生成して前記サーバに送信する入力操作情報送信手段とを含む
請求項７記載の情報処理システム。

【請求項9】

動画配信者（以下、配信者）によるリアルタイムの動画配信の動画配信画面を制御する処理を配信者端末に実現させるための情報処理プログラムであって、
前記配信者端末に、
前記配信者を動画撮影した撮影動画データを前記動画配信画面に設定した配信者表示領域に表示させる配信者表示機能と、
前記配信者からの入力操作情報に基づいて操作可能な配信者アバターを前記動画配信画面に設定した配信者アバター表示領域に表示させる配信者アバター表示機能と、
前記動画配信を受信して視聴するユーザそれぞれに対応づいたユーザアバターであって、ユーザ端末から送信されるユーザの入力操作情報に基づいて操作可能なユーザアバターを、前記動画配信画面に設定したユーザアバター表示領域に表示させるユーザアバター表示機能と、
前記配信者表示領域と、前記配信者アバター表示領域と、前記ユーザアバター表示領域とを備えた前記動画配信画面を、動画配信を受信する端末に対して送信する動画配信画面送信機能と
を実現させる情報処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態の少なくとも１つは、動画配信においてアバターを用いた双方向のコミュニケーションを実現するための情報処理プログラム及び情報処理システムに関する。

【背景技術】

【0002】

従来、通信ネットワークを介したユーザ間のコミュニケーションにおいて、ユーザの分身として機能するいわゆるアバターが用いられてきた。アバターは、簡易なアイコンで表現されるもののほか、人型のキャラクタなどによって表現されるものが存在する。アバターは、ユーザの好みに応じてカスタマイズ可能としている場合も多く、ユーザ毎にカスタマイズしたアバターによって個性を表現するともに、他者との区別を容易にする機能を担っている。

【0003】

ここで、例えば、特許文献１には、他のユーザの行動に少なくとも基づく所定のパラメータ（例えば、特別アイテムの提供数、親密度情報等）の値に応じてアバターの表示態様を変化させるようにすることで、ユーザ自身の行動のみに起因して表示態様が変化する場合と比較してアバターに対する興趣の低下を抑制し得る構成が開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１８－１２４９４０号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ところで、ＳＮＳやビデオゲームにおいてアバターが利用されてきたが、近年、動画配信をアバターによって行いたいというニーズが存在する。動画配信は、配信者が撮影した動画をサーバ経由で視聴者に提供する形態で実現されるが、近年は、視聴者からのコメントの送信や金銭に相当するポイントの寄付など、双方向のコミュニケーションが実現されつつある。動画配信における双方向のコミュニケーションの一態様としてアバターを用いたコミュニケーションが望まれている。

【0006】

本発明の少なくとも１つの実施形態の目的は、動画配信においてアバターを用いた双方向のコミュニケーションを実現するための情報処理プログラム及び情報処理システムを提供することである。

【課題を解決するための手段】

【0007】

非限定的な観点によると、本発明の一実施形態に係る情報処理プログラムは、動画配信者（以下、配信者）によるリアルタイムの動画配信の動画配信画面を制御する処理をサーバに実現させるための情報処理プログラムであって、前記サーバに、前記配信者を動画撮影した撮影動画データを配信者端末から受信して前記動画配信画面に設定した配信者表示領域に表示させる配信者表示機能と、前記配信者からの入力操作情報に基づいて操作可能な配信者アバターを前記動画配信画面に設定した配信者アバター表示領域に表示させる配信者アバター表示機能と、前記動画配信を受信して視聴するユーザそれぞれに対応づいたユーザアバターであって、ユーザ端末から送信されるユーザの入力操作情報に基づいて操作可能なユーザアバターを、前記動画配信画面に設定したユーザアバター表示領域に表示させるユーザアバター表示機能と、前記配信者表示領域と、前記配信者アバター表示領域と、前記ユーザアバター表示領域とを備えた前記動画配信画面を、動画配信を受信する端末に対して送信する動画配信画面送信機能とを実現させることを特徴とする。

【0008】

非限定的な観点によると、本発明の一実施形態に係る情報処理システムは、通信ネットワークと、サーバと、配信者端末と、ユーザ端末とを備え、動画配信者（以下、配信者）によるリアルタイムの動画配信の動画配信画面を制御する処理を行うための情報処理システムであって、前記配信者を動画撮影した撮影動画データを前記配信者端末から受信して前記動画配信画面に設定した配信者表示領域に表示させる配信者表示手段と、前記配信者からの入力操作情報に基づいて操作可能な配信者アバターを前記動画配信画面に設定した配信者アバター表示領域に表示させる配信者アバター表示手段と、前記動画配信を受信して視聴するユーザそれぞれに対応づいたユーザアバターであって、前記ユーザ端末から送信されるユーザの入力操作情報に基づいて操作可能なユーザアバターを、前記動画配信画面に設定したユーザアバター表示領域に表示させるユーザアバター表示手段と、前記配信者表示領域と、前記配信者アバター表示領域と、前記ユーザアバター表示領域とを備えた前記動画配信画面を、動画配信を受信する端末に対して送信する動画配信画面送信手段とを含むことを特徴とする。

【0009】

非限定的な観点によると、本発明の一実施形態に係る情報処理プログラムは、動画配信者（以下、配信者）によるリアルタイムの動画配信の動画配信画面を制御する処理を配信者端末に実現させるための情報処理プログラムであって、前記配信者端末に、前記配信者を動画撮影した撮影動画データを前記動画配信画面に設定した配信者表示領域に表示させる配信者表示機能と、前記配信者からの入力操作情報に基づいて操作可能な配信者アバターを前記動画配信画面に設定した配信者アバター表示領域に表示させる配信者アバター表示機能と、前記動画配信を受信して視聴するユーザそれぞれに対応づいたユーザアバターであって、ユーザ端末から送信されるユーザの入力操作情報に基づいて操作可能なユーザアバターを、前記動画配信画面に設定したユーザアバター表示領域に表示させるユーザアバター表示機能と、前記配信者表示領域と、前記配信者アバター表示領域と、前記ユーザアバター表示領域とを備えた前記動画配信画面を、動画配信を受信する端末に対して送信する動画配信画面送信機能とを実現させることを特徴とする。

【発明の効果】

【0010】

本願の各実施形態により１または２以上の不足が解決される。

【図面の簡単な説明】

【0011】

【図1】本発明の実施形態の少なくとも一つに対応する情報処理システムの構成の例を示すブロック図である。

【図2】本発明の実施形態の少なくとも一つに対応するサーバの構成を示すブロック図である。

【図3】本発明の実施形態の少なくとも一つに対応する情報処理の例を示すフローチャートである。

【図4】本発明の実施形態の少なくとも一つに対応する情報処理におけるサーバ側の動作の例を示すフローチャートである。

【図5】本発明の実施形態の少なくとも一つに対応する情報処理における配信者端末側の動作の例を示すフローチャートである。

【図6】本発明の実施形態の少なくとも一つに対応するサーバの構成を示すブロック図である。

【図7】本発明の実施形態の少なくとも一つに対応する情報処理の例を示すフローチャートである。

【図8】本発明の実施形態の少なくとも一つに対応するサーバの構成を示すブロック図である。

【図9】本発明の実施形態の少なくとも一つに対応する情報処理の例を示すフローチャートである。

【図10】本発明の実施形態の少なくとも一つに対応するサーバの構成を示すブロック図である。

【図11】本発明の実施形態の少なくとも一つに対応する情報処理の例を示すフローチャートである。

【図12】本発明の実施形態の少なくとも一つに対応するサーバの構成を示すブロック図である。

【図13】本発明の実施形態の少なくとも一つに対応する情報処理の例を示すフローチャートである。

【図14】本発明の実施形態の少なくとも一つに対応する情報処理における動画配信画面の一例を説明するための説明図である。

【図15】本発明の実施形態の少なくとも一つに対応するサーバの構成を示すブロック図である。

【図16】本発明の実施形態の少なくとも一つに対応するユーザ端末の構成を示すブロック図である。

【図17】本発明の実施形態の少なくとも一つに対応する情報処理の例を示すフローチャートである。

【図18】本発明の実施形態の少なくとも一つに対応する情報処理においてユーザ端末において表示させる動画配信画面の一例を説明するための説明図である。

【発明を実施するための形態】

【0012】

以下、本発明の実施形態の例について図面を参照して説明する。なお、以下で説明する各実施形態の例における各種構成要素は、矛盾等が生じない範囲で適宜組み合わせ可能である。また、ある実施形態の例として説明した内容については、他の実施形態においてその説明を省略している場合がある。また、各実施形態の特徴部分に関係しない動作や処理については、その内容を省略している場合がある。さらに、以下で説明する各種フローを構成する各種処理の順序は、処理内容に矛盾等が生じない範囲で順不同である。

【0013】

［第１の実施形態］
図１は、本発明の実施形態の少なくとも一つに対応する情報処理システムの構成の例を示すブロック図である。図１に示すように、情報処理システム１００は、情報処理サーバ１０（サーバ１０）と、情報処理システム１００において動画配信を行う動画配信者が使用する配信者端末２０と、情報処理システム１００のユーザが使用するユーザ端末（３０，３０１～３０Ｎ（Ｎは任意の整数）とを含む。なお、情報処理システム１００の構成はこれに限定されず、複数の配信者端末２０が同時に参加する構成としてもよいし、単一のユーザ端末を複数のユーザが使用する構成としてもよいし、複数のサーバを備える構成としてもよい。

【0014】

サーバ１０と配信者端末２０と複数のユーザ端末３０，３０１～３０Ｎは、それぞれインターネットなどの通信ネットワーク４０に接続されている。なお、図示しないが、配信者端末２０と複数のユーザ端末３０，３０１～３０Ｎは、通信業者によって管理される基地局と無線通信回線によるデータ通信を行うことによって、通信ネットワーク４０と接続する。

【0015】

情報処理システム１００は、サーバ１０と配信者端末２０と複数のユーザ端末３０，３０１～３０Ｎとを備えることにより、ユーザの操作に応じて各種処理を実行するための各種機能を実現する。

【0016】

サーバ１０は、情報処理システム１００の管理者によって管理され、配信者端末２０、複数のユーザ端末３０，３０１～３０Ｎに対して各種処理に関する情報を提供するための各種機能を有する。本例において、サーバ１０は、ＷＷＷサーバなどの情報処理装置によって構成され、各種情報を格納する記憶媒体を備える。サーバ１０の構成は、制御部や通信部などコンピュータとして各種処理を行うための一般的な構成を備えていれば特に限定されない。以下、サーバ１０のハードウェア構成の例について簡単に説明する。

【0017】

図１に示すように、サーバ１０は、ＣＰＵ（Central Processing Unit）１０１と、メモリ１０２と、記憶装置１０３とを少なくとも備える。

【0018】

ＣＰＵ１０１は、各種の演算および制御を行う中央処理装置である。また、サーバ１０がＧＰＵ（Graphics Processing Unit）を備える場合には、各種の演算および制御の一部をＧＰＵによって行うようにしてもよい。サーバ１０は、適宜メモリ１０２に読み出したデータを用いて動画配信の制御に必要な各種の情報処理をＣＰＵ１０１にて実行し、得られた処理結果を必要に応じて記憶装置１０３に記憶させる。

【0019】

記憶装置１０３は、各種情報を格納する記憶媒体としての機能を有する。記憶装置１０３の構成は特に限定されないが、配信者端末２０、複数のユーザ端末３０，３０１～３０Ｎそれぞれにかかる処理負荷を軽減させるといった観点から、動画配信の制御に必要な各種情報を全て記憶可能な構成であることが好ましい。このような例には、ＨＤＤやＳＳＤがある。ただし、各種情報を記憶する記憶部は、サーバ１０がアクセス可能な状態で記憶領域を備えていればよく、例えば専用の記憶領域をサーバ１０の外部に有する構成とされていてもよい。

【0020】

図２は、本発明の実施形態の少なくとも一つに対応するサーバの構成を示すブロック図である。この図２に示すサーバ１０Ａは、サーバの構成の一例を示すブロック図である。図２に示すように、サーバ１０Ａは、配信者表示部１１と、配信者アバター表示部１２と、ユーザアバター表示部１３と、動画配信画面送信部１４とを少なくとも備える。

【0021】

配信者表示部１１は、配信者を動画撮影した撮影動画データを配信者端末から受信して動画配信画面に設定した配信者表示領域に表示させる機能を有する。ここで、撮影動画データとは、配信者自身を撮影した動画データのことをいう。動画撮影を行うカメラ装置は、配信者端末２０が備えるものであってもよいし、外付けのカメラ装置であってもよい。また、動画配信画面とは、動画配信を視聴する際に実際に視聴される画面構成のことをいう。また、配信者表示領域とは、配信者を動画撮影した撮影動画データを表示するための領域であって動画配信画面の一部に設けられる領域のことをいう。この配信者表示部１１では、配信者端末２０から取得した撮影動画データを動画配信画面に設定した配信者表示領域に表示させるように制御を行う。なお、配信者による動画配信とは、配信者が主体となって実行される動画配信のことであり、リアルタイムの動画配信とは、予め録画しておいた動画データを再生する内容ではなく、配信者のリアルタイムの様子を撮影してそのまま視聴者であるユーザに対して配信するライブ形式の動画配信のことをいう。

【0022】

配信者アバター表示部１２は、配信者からの入力操作情報に基づいて操作可能な配信者アバターを動画配信画面に設定した配信者アバター表示領域に表示させる機能を有する。ここで、アバターとは、利用者の分身として機能する表示やキャラクタ等のオブジェクトのことをいう。また、配信者アバターとは、配信者に対応付けて登録されたアバターのことをいう。配信者アバターはどのようなものであってもよいが、配信者端末２０を介して入力される配信者からの入力操作情報に基づいて配信者アバターを操作可能であるものとする。配信者からの入力操作情報は、配信者端末２０に対して入力操作が可能なものであればどのようなものでもよく、例えば、マウス、キーボードなどの機器からの入力や、マイクによって取得した配信者の声による音声入力などが考えられる。また、配信者アバターに対する操作は、手を振る、歩く、ジャンプする、泣く笑うなどの表情を変化させる、吹き出しやアイコンを用いて感情を表現するなど、配信者アバターに何らかのアクションを実行させるものを想定している。また、配信者アバターに対する操作は、予め設定したプログラムに基づいて再生する曲に合わせたダンスを実行させるなどの複雑な操作を指示するものであってもよい。また、配信者アバター表示領域とは、配信者アバターを表示するための領域であって動画配信画面の一部に設けられる領域のことをいう。この配信者アバター表示部１２では、配信者アバターを動画配信画面に設定した配信者アバター表示領域に表示させるように制御を行う。

【0023】

ユーザアバター表示部１３は、動画配信を受信して視聴するユーザそれぞれに対応づいたユーザアバターであって、ユーザ端末から送信されるユーザの入力操作情報に基づいて操作可能なユーザアバターを、動画配信画面に設定したユーザアバター表示領域に表示させる機能を有する。ここで、ユーザアバターとは、動画配信を受信して視聴するユーザそれぞれに対応づいたアバターのことをいう。ユーザアバターはどのようなものであってもよいが、ユーザ端末３０を介して入力されるユーザからの入力操作情報に基づいてユーザアバターを操作可能であるものとする。ユーザからの入力操作情報は、ユーザ端末３０に対して入力操作が可能なものであればどのようなものでもよく、例えば、マウス、キーボードなどの機器からの入力や、マイクによって取得した配信者の声による音声入力などが考えられる。また、ユーザアバターに対する操作は、手を振る、歩く、ジャンプする、泣く笑うなどの表情を変化させる、吹き出しやアイコンを用いて感情を表現するなど、配信者アバターに何らかのアクションを実行させるものを想定している。また、ユーザアバターに対する操作は、予め設定したプログラムに基づいて再生する曲に合わせたダンスを実行させるなどの複雑な操作を指示するものであってもよい。また、ユーザアバター表示領域とは、ユーザアバターを表示するための領域であって動画配信画面の一部に設けられる領域のことをいう。このユーザアバター表示部１３では、ユーザアバターを動画配信画面に設定したユーザアバター表示領域に表示させるように制御を行う。

【0024】

動画配信画面送信部１４は、配信者表示領域と、配信者アバター表示領域と、ユーザアバター表示領域とを備えた動画配信画面を、動画配信を受信する端末に対して送信する機能を有する。配信者表示部１１の制御に基づいて生成された配信者表示領域、配信者アバター表示部１２の制御に基づいて生成された配信者アバター表示領域、ユーザアバター表示部１３の制御に基づいて生成されたユーザアバター表示領域を、予め設定した動画配信画面内の所定位置に対して配置して動画配信画面を生成して、動画配信を受信する端末に対して送信する。動画配信を受信する端末は、配信者端末２０とユーザ端末３０，３０１～３０Ｎが想定される。なお、配信者表示領域、配信者アバター表示領域およびユーザアバター表示領域は、それぞれが完全に独立した領域として動画配信画面内に設けられるものであってもよいし、相互の領域の一部又は全部を共有して動画配信画面内に設けられものであってもよい。

【0025】

配信者端末２０は、配信者によって管理され、例えば、パーソナルコンピュータ、携帯電話端末、タブレット端末、ＰＤＡ（Personal Digital Assistants）、携帯型ゲーム装置や所謂ウェアラブルデバイスなどの通信ネットワーク４０に接続可能なデバイスによって構成される。また、配信者は自信を撮影した撮影動画データを配信者端末２０を介してサーバ１０に送信する必要があるため、配信者端末２０がカメラ装置を備えているか、配信者端末２０に対して外付けのカメラ装置を接続して利用する必要がある。

【0026】

複数のユーザ端末３０，３０１～３０Ｎは、それぞれ、ユーザによって管理され、例えば、パーソナルコンピュータ、携帯電話端末、タブレット端末、ＰＤＡ（Personal Digital Assistants）、携帯型ゲーム装置や所謂ウェアラブルデバイスなどの通信ネットワーク４０に接続可能なデバイスによって構成される。また、ユーザ端末３０，３０１～３０Ｎは、サーバ１０から送信される動画配信画面を受信して表示するための表示部を備えている必要がある。

【0027】

また、配信者端末２０、複数のユーザ端末３０，３０１～３０Ｎは、それぞれ、通信ネットワーク４０に接続し、サーバ１０との通信を行うことにより各種処理を実行するためのハードウェア及びソフトウェアを備える。なお、配信者端末２０、複数のユーザ端末３０，３０１～３０Ｎそれぞれは、サーバ１０を介さずに互いに直接通信を行うこともできる構成とされていてもよい。

【0028】

次に、本例の情報処理システム１００（システム１００）の動作について説明する。

【0029】

図３は、本発明の実施形態の少なくとも一つに対応する情報処理の例を示すフローチャートである。以下、サーバ１０Ａと、配信者端末２０及び／又はユーザ端末３０とが、情報処理を実行する場合を例にして説明する。

【0030】

本例による情報処理は、例えば、配信者が動画配信を始めることをトリガーとして開始される。動画配信が開始されると、サーバ１０Ａは、先ず、配信者を動画撮影した撮影動画データを配信者表示領域に表示させる（ステップＳ１１）。次に、サーバ１０Ａは、配信者からの入力操作情報に基づいて操作可能な配信者アバターを配信者アバター表示領域に表示させる（ステップＳ１２）。次に、サーバ１０Ａは、ユーザの入力操作情報に基づいて操作可能なユーザアバターをユーザアバター表示領域に表示させる（ステップＳ１３）。次に、サーバ１０Ａは、配信者表示領域と、配信者アバター表示領域と、ユーザアバター表示領域とを備える動画配信画面を送信する（ステップＳ１４）。そして、配信者端末２０及び／又はユーザ端末３０は、動画配信画面を受信して、必要に応じて、所定の表示装置に対して動画配信画面を表示させて（ステップＳ１５）、処理を終了する。

【0031】

図４は、本発明の実施形態の少なくとも一つに対応する情報処理におけるサーバ側の動作の例を示すフローチャートである。ここでは、システム１００におけるサーバ１０Ａの動作について改めて説明する。

【0032】

動画配信が開始されると、サーバ１０Ａは、先ず、配信者を動画撮影した撮影動画データを配信者表示領域に表示させる（ステップＳ１０１）。次に、サーバ１０Ａは、配信者からの入力操作情報に基づいて操作可能な配信者アバターを配信者アバター表示領域に表示させる（ステップＳ１０２）。次に、サーバ１０Ａは、ユーザの入力操作情報に基づいて操作可能なユーザアバターをユーザアバター表示領域に表示させる（ステップＳ１０３）。そして、サーバ１０Ａは、配信者表示領域と、配信者アバター表示領域と、ユーザアバター表示領域とを備える動画配信画面を送信して（ステップＳ１０４）、処理を終了する。

【0033】

図５は、本発明の実施形態の少なくとも一つに対応する情報処理における配信者端末側の動作の例を示すフローチャートである。以下、配信者端末２０が、単体で情報処理を実行する場合を例にして説明する。なお、配信者端末２０の構成については、サーバ１０から各種情報を受信することを除きサーバ１０の構成と同様の機能を備えるものであるため、重複説明を避ける観点から記載を省略する。また、以下においては配信者端末２０において情報処理を実行する場合を例に説明を行うが、同様の情報処理をユーザ端末３０において実行するようにしてもよい。

【0034】

情報処理が開始されると、配信者端末２０は、先ず、配信者を動画撮影した撮影動画データを配信者表示領域に表示させる（ステップＳ２０１）。次に、配信者端末２０は、配信者からの入力操作情報に基づいて操作可能な配信者アバターを配信者アバター表示領域に表示させる（ステップＳ２０２）。次に、配信者端末２０は、ユーザの入力操作情報に基づいて操作可能なユーザアバターをユーザアバター表示領域に表示させる（ステップＳ２０３）。そして、配信者端末２０は、配信者表示領域と、配信者アバター表示領域と、ユーザアバター表示領域とを備える動画配信画面を送信して（ステップＳ２０４）、処理を終了する。

【0035】

以上に説明したように、第１の実施形態の一側面として、サーバ１０Ａが、配信者表示部１１と、配信者アバター表示部１２と、ユーザアバター表示部１３と、動画配信画面送信部１４とを備え、配信者を動画撮影した撮影動画データ配信者表示領域に表示し、配信者からの入力操作情報に基づいて操作可能な配信者アバターを配信者アバター表示領域に表示し、動画配信を受信して視聴するユーザそれぞれに対応づいたユーザアバターであってユーザの入力操作情報に基づいて操作可能なユーザアバターをユーザアバター表示領域に表示し、配信者表示領域と、配信者アバター表示領域と、ユーザアバター表示領域とを備えた動画配信画面を、動画配信を受信する端末に対して送信するようにしたので、動画配信においてアバターを用いた双方向のコミュニケーションを実現することが可能となる。

【0036】

すなわち、配信者の入力操作に基づいて操作可能な配信者アバターを表示させる配信者アバター表示領域と、ユーザの入力操作に基づいて操作可能なユーザアバターを表示させるユーザアバター表示領域とを動画配信画面に設けることで、それぞれのアバターをそれぞれが操作してコミュニケーションを図ることができる。また、配信者表示領域を設けているので、例えば、ユーザアバターに実行させたアクションを見た配信者の様子をユーザは観察することが可能であり、自身が操作したユーザアバターに対する配信者のリアクションを観察することも可能となる。

【0037】

［第２の実施形態］
図６は、本発明の実施形態の少なくとも一つに対応するサーバの構成を示すブロック図である。この図６を用いて、情報処理サーバ１０の例である情報処理サーバ１０Ｂ（サーバ１０Ｂ）について説明する。本例において、サーバ１０Ｂは、配信者表示部１１と、配信者アバター表示部１２Ｂと、ユーザアバター表示部１３と、動画配信画面送信部１４とを少なくとも備える。

【0038】

配信者アバター表示部１２Ｂは、モーションキャプチャ手段に基づいて取得される配信者の身体動作を配信者からの入力操作情報として取得して配信者アバターの操作を制御し、その制御によって操作された配信者アバターを配信者アバター表示領域に表示させる機能を有する。

【0039】

ここで、モーションキャプチャ手段とは、配信者の身体動作（モーション）を検出して入力操作情報として取得するための手段のことをいう。入力操作情報の対象となる配信者の身体動作を検出可能であればどのような手段であってもよい。一例としては、配信者をカメラ装置によって撮影した撮影動画データを画像解析することで配信者の身体動作を検出する手法や、配信者の身体の所定個所にセンサを取り付けて、センサの変位に基づいて配信者の身体動作を検出する手法などが考えられる。撮影動画データを画像解析する手法の場合、配信者表示領域に表示するために撮影した撮影動画データをそのまま用いる構成であってもよいし、モーションキャプチャ手段専用のカメラ装置を別途設けて撮影動画データを取得する構成であってもよい。配信者アバターへの操作は、配信者の所定の身体動作に予め何らかのアクションを対応付けて登録しておいて、登録したアクションを実行させる構成も考えられるし、配信者の身体動作と同じ動作を配信者アバターに実行させる構成も考えられる。この配信者アバター表示部１２Ｂでは、配信者の身体動作によって操作された配信者アバターを配信者アバター表示領域に表示させるようにする。

【0040】

図７は、本発明の実施形態の少なくとも一つに対応する情報処理の例を示すフローチャートである。以下、サーバ１０Ｂと、配信者端末２０及び／又はユーザ端末３０とが、情報処理を実行する場合を例にして説明する。なお、サーバ１０Ｂ、配信者端末２０及び／又はユーザ端末３０のそれぞれの動作を示すフローチャートについては、重複説明を避ける観点から記載を省略する。

【0041】

本例による情報処理は、例えば、配信者が動画配信を始めることをトリガーとして開始される。動画配信が開始されると、サーバ１０Ｂは、先ず、配信者を動画撮影した撮影動画データを配信者表示領域に表示させる（ステップＳ２１）。次に、サーバ１０Ｂは、配信者の身体動作に基づいて操作され得る配信者アバターを配信者アバター表示領域に表示させる（ステップＳ２２）。次に、サーバ１０Ｂは、ユーザの入力操作情報に基づいて操作可能なユーザアバターをユーザアバター表示領域に表示させる（ステップＳ２３）。次に、サーバ１０Ｂは、配信者表示領域と、配信者アバター表示領域と、ユーザアバター表示領域とを備える動画配信画面を送信する（ステップＳ２４）。そして、配信者端末２０及び／又はユーザ端末３０は、動画配信画面を受信して、必要に応じて、所定の表示装置に対して動画配信画面を表示させて（ステップＳ２５）、処理を終了する。

【0042】

以上に説明したように、第２の実施形態の一側面として、サーバ１０Ｂが、配信者表示部１１と、配信者アバター表示部１２Ｂと、ユーザアバター表示部１３と、動画配信画面送信部１４とを備え、このうちの配信者アバター表示部１２Ｂにおいて、モーションキャプチャ手段に基づいて取得される配信者の身体動作を配信者からの入力操作情報として取得して配信者アバターの操作を制御し、その制御によって操作された配信者アバターを配信者アバター表示領域に表示させるようにしたので、動画配信画面に表示される配信者アバターを配信者の身体動作に基づいて操作することが可能となる。

【0043】

すなわち、動画配信を視聴しているユーザからは、配信者表示領域に表示された配信者と、配信者アバター表示領域に表示される配信者アバターを同時に観察可能な状況において、配信者が何らかの身体動作を行っている様子と、その身体動作に基づいて操作される配信者アバターとを同時に観察することが可能となるため、配信者の身体動作によってリアルタイムに配信者アバターが操作されるところを観察でき、リアルタイムなコミュニケーションであることをより実感することが可能となる。

【0044】

［第３の実施形態］
図８は、本発明の実施形態の少なくとも一つに対応するサーバの構成を示すブロック図である。この図８を用いて、情報処理サーバ１０の例である情報処理サーバ１０Ｃ（サーバ１０Ｃ）について説明する。本例において、サーバ１０Ｃは、配信者表示部１１と、配信者アバター表示部１２と、ユーザアバター表示部１３と、動画配信画面送信部１４と、特典付与部１５とを少なくとも備える。

【0045】

特典付与部１５は、複数のユーザアバターの中なら配信者が選択した所定数のユーザアバターに対応づいているユーザに対して所定の特典を付与する機能を有する。

【0046】

ここで、特典とは、配信者の選択したユーザアバターに対応づいているユーザが何らかの恩恵を受ける処理のことをいう。特典は、その特典を付与されるユーザが何らかの恩恵を感じることができればどのような内容であってもよい。特典の一例としては、ユーザアバターが装着可能なアイテムの付与、ユーザアバターと配信者アバターとが同じ空間にて共演する権利の付与、ユーザに対して後日グッズを届ける特典などが考えられる。ユーザに対する特典付与のタイミングは適宜設定し得る事項である。

【0047】

図９は、本発明の実施形態の少なくとも一つに対応する情報処理の例を示すフローチャートである。以下、サーバ１０Ｃと、配信者端末２０及び／又はユーザ端末３０とが、情報処理を実行する場合を例にして説明する。なお、サーバ１０Ｃ、配信者端末２０及び／又はユーザ端末３０のそれぞれの動作を示すフローチャートについては、重複説明を避ける観点から記載を省略する。

【0048】

本例による情報処理は、例えば、配信者が動画配信を始めることをトリガーとして開始される。動画配信が開始されると、サーバ１０Ｃは、先ず、配信者を動画撮影した撮影動画データを配信者表示領域に表示させる（ステップＳ３１）。次に、サーバ１０Ｃは、配信者からの入力操作情報に基づいて操作可能な配信者アバターを配信者アバター表示領域に表示させる（ステップＳ３２）。次に、サーバ１０Ｃは、ユーザの入力操作情報に基づいて操作可能なユーザアバターをユーザアバター表示領域に表示させる（ステップＳ３３）。次に、サーバ１０Ｃは、配信者表示領域と、配信者アバター表示領域と、ユーザアバター表示領域とを備える動画配信画面を送信する（ステップＳ３４）。次に、配信者端末２０及び／又はユーザ端末３０は、動画配信画面を受信して、必要に応じて、所定の表示装置に対して動画配信画面を表示させる（ステップＳ３５）。そして、サーバ１０Ｃは、配信者からの特典付与対象の選択を受付け、対象となったユーザに特典を付与して（ステップＳ３６）、処理を終了する。

【0049】

以上に説明したように、第３の実施形態の一側面として、サーバ１０Ｃが、配信者表示部１１と、配信者アバター表示部１２と、ユーザアバター表示部１３と、動画配信画面送信部１４と、特典付与部１５とを備え、このうちの特典付与部１５において、複数のユーザアバターの中なら配信者が選択した所定数のユーザアバターに対応づいているユーザに対して所定の特典を付与するようにしたので、動画配信において配信者からユーザに対するコミュニケーション手段の１つとして特典の付与を利用することが可能となる。

【0050】

すなわち、動画配信におけるコミュニケーションの１つとして配信者による特典の付与を利用することが可能となる。

【0051】

［第４の実施形態］
図１０は、本発明の実施形態の少なくとも一つに対応するサーバの構成を示すブロック図である。この図１０を用いて、情報処理サーバ１０の例である情報処理サーバ１０Ｄ（サーバ１０Ｄ）について説明する。本例において、サーバ１０Ｄは、配信者表示部１１と、配信者アバター表示部１２Ｄと、ユーザアバター表示部１３Ｄと、動画配信画面送信部１４とを少なくとも備える。

【0052】

配信者アバター表示部１２Ｄは、予め定義された３次元仮想空間内に配信者アバターを配置し、所定の仮想カメラの撮影視点で３次元仮想空間をレンダリングした撮影画像データを配信者アバター表示領域に表示させる機能を有する。３次元仮想空間はどのようなものであってもよい。３次元仮想空間に配置される配信者アバターは、３次元モデルで構成されたものであることが好ましい。配信者の入力操作に基づいて操作し得る３次元モデルで構成された配信者アバターを３次元仮想空間に配置し、所定の仮想カメラの撮影視点で３次元仮想空間をレンダリングすることで、配信者アバターを配信者アバター表示領域に表示させるようにする。所定の仮想カメラによる撮影視点は、固定の視点であってもよいし、適宜撮影視点を変更し得る構成としてもよい。

【0053】

ユーザアバター表示部１３Ｄは、予め定義された３次元仮想空間内にユーザアバターを配置し、所定の仮想カメラの撮影視点で３次元仮想空間をレンダリングした撮影画像データをユーザアバター表示領域に表示させる機能を有する。３次元仮想空間はどのようなものであってもよい。３次元仮想空間に配置されるユーザアバターは、３次元モデルで構成されたものであることが好ましい。ユーザの入力操作に基づいて操作し得る３次元モデルで構成されたユーザアバターを３次元仮想空間に配置し、所定の仮想カメラの撮影視点で３次元仮想空間をレンダリングすることで、ユーザアバターをユーザアバター表示領域に表示させるようにする。所定の仮想カメラによる撮影視点は、固定の視点であってもよいし、適宜撮影視点を変更し得る構成としてもよい。

【0054】

また、配信者アバターと少なくとも一部のユーザアバターとを同一の３次元仮想空間に配置した上で、配信者アバター表示部１２Ｄ及びユーザアバター表示部１３Ｄにおける処理を実行するようにする。同一の３次元仮想空間を共有しつつも、配信者アバター表示領域に表示するための仮想カメラの撮影視点と、ユーザアバター表示領域に表示するための仮想カメラの撮影視点とを異ならせることで、同一の３次元仮想空間を異なる視点でレンダリングして表示することができる。また、同一の仮想空間を共有した状態でレンダリングした画像を配信者アバター表示領域に表示する場合、仮想カメラの撮影視点の方向によって配信者アバター表示領域にユーザアバターが表示され得る構成とすることもできる。

【0055】

図１１は、本発明の実施形態の少なくとも一つに対応する情報処理の例を示すフローチャートである。以下、サーバ１０Ｄと、配信者端末２０及び／又はユーザ端末３０とが、情報処理を実行する場合を例にして説明する。なお、サーバ１０Ｄ、配信者端末２０及び／又はユーザ端末３０のそれぞれの動作を示すフローチャートについては、重複説明を避ける観点から記載を省略する。

【0056】

本例による情報処理は、例えば、配信者が動画配信を始めることをトリガーとして開始される。動画配信が開始されると、サーバ１０Ｄは、先ず、配信者を動画撮影した撮影動画データを配信者表示領域に表示させる（ステップＳ４１）。次に、サーバ１０Ｄは、配信者からの入力操作情報に基づいて操作可能な配信者アバターを予め定義された３次元仮想空間内に配置し、所定の仮想カメラの撮影視点で３次元仮想空間をレンダリングした撮影画像データを配信者アバター表示領域に表示させる（ステップＳ４２）。次に、サーバ１０Ｄは、ユーザの入力操作情報に基づいて操作可能なユーザアバターを予め定義された３次元仮想空間内に配置し、所定の仮想カメラの撮影視点で３次元仮想空間をレンダリングした撮影画像データをユーザアバター表示領域に表示させる（ステップＳ４３）。次に、サーバ１０Ｄは、配信者表示領域と、配信者アバター表示領域と、ユーザアバター表示領域とを備える動画配信画面を送信する（ステップＳ４４）。そして、配信者端末２０及び／又はユーザ端末３０は、動画配信画面を受信して、必要に応じて、所定の表示装置に対して動画配信画面を表示させて（ステップＳ４５）、処理を終了する。

【0057】

以上に説明したように、第４の実施形態の一側面として、サーバ１０Ｄが、配信者表示部１１と、配信者アバター表示部１２Ｄと、ユーザアバター表示部１３Ｄと、動画配信画面送信部１４とを備え、このうちの配信者アバター表示部１２Ｄにおいて、予め定義された３次元仮想空間内に配信者アバターを配置し、所定の仮想カメラの撮影視点で３次元仮想空間をレンダリングした撮影画像データを配信者アバター表示領域に表示させるようにし、また、ユーザアバター表示部１３Ｄにおいて、予め定義された３次元仮想空間内にユーザアバターを配置し、所定の仮想カメラの撮影視点で３次元仮想空間をレンダリングした撮影画像データをユーザアバター表示領域に表示させるようにし、また、配信者アバターと少なくとも一部のユーザアバターとを同一の３次元仮想空間に配置した上で、配信者アバター表示部１２Ｄ及びユーザアバター表示部１３Ｄにおける処理を実行するようにしたので、動画配信において、配信者アバターとユーザアバターとが同一の３次元仮想空間を共有している一体感を得ることが可能となる。

【0058】

すなわち、同一の３次元仮想空間を共有してのイベント、例えば、３次元仮想空間におけるコンサートライブなどにおいて、配信者であるアーティストの配信者アバターとユーザアバターとが同一の３次元仮想空間でのライブイベントを共有していることによる一体感をユーザに提供することが可能となる。

【0059】

［第５の実施形態］
図１２は、本発明の実施形態の少なくとも一つに対応するサーバの構成を示すブロック図である。この図１２を用いて、情報処理サーバ１０の例である情報処理サーバ１０Ｚ（サーバ１０Ｚ）について説明する。本例において、サーバ１０Ｚは、配信者表示部１１Ｚと、配信者アバター表示部１２Ｚと、ユーザアバター表示部１３Ｚと、動画配信画面送信部１４Ｚとを少なくとも備える。

【0060】

配信者表示部１１Ｚは、配信者を動画撮影した撮影動画データを配信者端末から受信して動画配信画面に設定した配信者表示領域に表示させる機能を有する。ここで、撮影動画データとは、配信者自身を撮影した動画データのことをいう。動画撮影を行うカメラ装置は、配信者端末２０が備えるものであってもよいし、外付けのカメラ装置であってもよい。また、動画配信画面とは、動画配信を視聴する際に実際に視聴される画面構成のことをいう。また、配信者表示領域とは、配信者を動画撮影した撮影動画データを表示するための領域であって動画配信画面の一部に設けられる領域のことをいう。この配信者表示部１１Ｚでは、配信者端末２０から取得した撮影動画データを動画配信画面に設定した配信者表示領域に表示させるように制御を行う。なお、配信者による動画配信とは、配信者が主体となって実行される動画配信のことであり、リアルタイムの動画配信とは、予め録画しておいた度動画データを再生する内容ではなく、配信者のリアルタイムの様子を撮影してそのまま視聴者であるユーザに対して配信するライブ形式の動画配信のことをいう。

【0061】

配信者アバター表示部１２Ｚは、配信者からの入力操作情報に基づいて操作可能な配信者アバターを動画配信画面に設定した配信者アバター表示領域に表示させる機能を有する。ここで、アバターとは、利用者の分身として機能する表示やキャラクタ等のオブジェクトのことをいう。また、配信者アバターとは、配信者に対応付けて登録されたアバターのことをいう。配信者アバターはどのようなものであってもよいが、配信者端末２０を介して入力される配信者からの入力操作情報に基づいて配信者アバターを操作可能であるものとする。配信者からの入力操作情報は、配信者端末２０に対して入力操作が可能なものであればどのようなものでもよく、例えば、マウス、キーボードなどの機器からの入力や、マイクによって取得した配信者の声による音声入力などが考えられる。また、配信者アバターに対する操作は、手を振る、歩く、ジャンプする、泣く笑うなどの表情を変化させる、吹き出しやアイコンを用いて感情を表現するなど、配信者アバターに何らかのアクションを実行させるものを想定している。また、配信者アバターに対する操作は、予め設定したプログラムに基づいて再生する曲に合わせたダンスを実行させるなどの複雑な操作を指示するものであってもよい。また、配信者アバター表示領域とは、配信者アバターを表示するための領域であって動画配信画面の一部に設けられる領域のことをいう。この配信者アバター表示部１２Ｚでは、配信者アバターを動画配信画面に設定した配信者アバター表示領域に表示させるように制御を行う。

【0062】

また、配信者アバター表示部１２Ｚは、モーションキャプチャ手段に基づいて取得される配信者の身体動作を配信者からの入力操作情報として取得して配信者アバターの操作を制御し、その制御によって操作された配信者アバターを配信者アバター表示領域に表示させる機能を有する。

【0063】

ここで、モーションキャプチャ手段とは、配信者の身体動作（モーション）を検出して入力操作情報として取得するための手段のことをいう。入力操作情報の対象となる配信者の身体動作を検出可能であればどのような手段であってもよい。一例としては、配信者をカメラ装置によって撮影した撮影動画データを画像解析することで配信者の身体動作を検出する手法や、配信者の身体の所定個所にセンサを取り付けて、センサの変位に基づいて配信者の身体動作を検出する手法などが考えられる。撮影動画データを画像解析する手法の場合、配信者表示領域に表示するために撮影した撮影動画データをそのまま用いる構成であってもよいし、モーションキャプチャ手段専用のカメラ装置を別途設けて撮影動画データを取得する構成であってもよい。配信者アバターへの操作は、配信者の所定の身体動作に予め何らかのアクションを対応付けて登録しておいて、登録したアクションを実行させる構成も考えられるし、配信者の身体動作と同じ動作を配信者アバターに実行させる構成も考えられる。この配信者アバター表示部１２Ｚでは、配信者の身体動作によって操作された配信者アバターを配信者アバター表示領域に表示させるようにする。

【0064】

また、配信者アバター表示部１２Ｚは、予め定義された３次元仮想空間内に配信者アバターを配置し、所定の仮想カメラの撮影視点で３次元仮想空間をレンダリングした撮影画像データを配信者アバター表示領域に表示させる機能を有する。３次元仮想空間はどのようなものであってもよい。３次元仮想空間に配置される配信者アバターは、３次元モデルで構成されたものであることが好ましい。配信者の入力操作に基づいて操作し得る３次元モデルで構成された配信者アバターを３次元仮想空間に配置し、所定の仮想カメラの撮影視点で３次元仮想空間をレンダリングすることで、配信者アバターを配信者アバター表示領域に表示させるようにする。所定の仮想カメラによる撮影視点は、固定の視点であってもよいし、適宜撮影視点を変更し得る構成としてもよい。

【0065】

ユーザアバター表示部１３Ｚは、動画配信を受信して視聴するユーザそれぞれに対応づいたユーザアバターであって、ユーザ端末から送信されるユーザの入力操作情報に基づいて操作可能なユーザアバターを、動画配信画面に設定したユーザアバター表示領域に表示させる機能を有する。ここで、ユーザアバターとは、動画配信を受信して視聴するユーザそれぞれに対応づいたアバターのことをいう。ユーザアバターはどのようなものであってもよいが、ユーザ端末３０を介して入力されるユーザからの入力操作情報に基づいてユーザアバターを操作可能であるものとする。ユーザからの入力操作情報は、ユーザ端末３０に対して入力操作が可能なものであればどのようなものでもよく、例えば、マウス、キーボードなどの機器からの入力や、マイクによって取得した配信者の声による音声入力などが考えられる。また、ユーザアバターに対する操作は、手を振る、歩く、ジャンプする、泣く笑うなどの表情を変化させる、吹き出しやアイコンを用いて感情を表現するなど、配信者アバターに何らかのアクションを実行させるものを想定している。また、ユーザアバターに対する操作は、予め設定したプログラムに基づいて再生する曲に合わせたダンスを実行させるなどの複雑な操作を指示するものであってもよい。また、ユーザアバター表示領域とは、ユーザアバターを表示するための領域であって動画配信画面の一部に設けられる領域のことをいう。このユーザアバター表示部１３Ｚでは、ユーザアバターを動画配信画面に設定したユーザアバター表示領域に表示させるように制御を行う。

【0066】

また、ユーザアバター表示部１３Ｚは、予め定義された３次元仮想空間内にユーザアバターを配置し、所定の仮想カメラの撮影視点で３次元仮想空間をレンダリングした撮影画像データをユーザアバター表示領域に表示させる機能を有する。３次元仮想空間はどのようなものであってもよい。３次元仮想空間に配置されるユーザアバターは、３次元モデルで構成されたものであることが好ましい。ユーザの入力操作に基づいて操作し得る３次元モデルで構成されたユーザアバターを３次元仮想空間に配置し、所定の仮想カメラの撮影視点で３次元仮想空間をレンダリングすることで、ユーザアバターをユーザアバター表示領域に表示させるようにする。所定の仮想カメラによる撮影視点は、固定の視点であってもよいし、適宜撮影視点を変更し得る構成としてもよい。

【0067】

また、配信者アバターと少なくとも一部のユーザアバターとを同一の３次元仮想空間に配置した上で、配信者アバター表示部１２Ｚ及びユーザアバター表示部１３Ｚにおける処理を実行するようにしてもよい。同一の３次元仮想空間を共有しつつも、配信者アバター表示領域に表示するための仮想カメラの撮影視点と、ユーザアバター表示領域に表示するための仮想カメラの撮影視点とを異ならせることで、同一の３次元仮想空間を異なる視点でレンダリングして表示することができる。また、同一の仮想空間を共有した状態でレンダリングした画像を配信者アバター表示領域に表示する場合、仮想カメラの撮影視点の方向によって配信者アバター表示領域にユーザアバターが表示され得る構成とすることもできる。

【0068】

動画配信画面送信部１４Ｚは、配信者表示領域と、配信者アバター表示領域と、ユーザアバター表示領域とを備えた動画配信画面を、動画配信を受信する端末に対して送信する機能を有する。配信者表示部１１Ｚの制御に基づいて生成された配信者表示領域、配信者アバター表示部１２Ｚの制御に基づいて生成された配信者アバター表示領域、ユーザアバター表示部１３Ｚの制御に基づいて生成されたユーザアバター表示領域を、予め設定した動画配信画面内の所定位置に対して配置して動画配信画面を生成して、動画配信を受信する端末に対して送信する。動画配信を受信する端末は、配信者端末２０とユーザ端末３０，３０１～３０Ｎが想定される。なお、配信者表示領域、配信者アバター表示領域およびユーザアバター表示領域は、それぞれが完全に独立した領域として動画配信画面内に設けられるものであってもよいし、相互の領域の一部又は全部を共有して動画配信画面内に設けられものであってもよい。

【0069】

図１１は、本発明の実施形態の少なくとも一つに対応する情報処理の例を示すフローチャートである。以下、サーバ１０Ｚと、配信者端末２０及び／又はユーザ端末３０とが、情報処理を実行する場合を例にして説明する。なお、サーバ１０Ｚ、配信者端末２０及び／又はユーザ端末３０のそれぞれの動作を示すフローチャートについては、重複説明を避ける観点から記載を省略する。

【0070】

本例による情報処理は、例えば、配信者が動画配信を始めることをトリガーとして開始される。動画配信が開始されると、サーバ１０Ｚは、先ず、配信者を動画撮影した撮影動画データを配信者表示領域に表示させる（ステップＳ５１）。次に、サーバ１０Ｚは、配信者からの入力操作情報に基づいて操作可能な配信者アバターを予め定義された３次元仮想空間内に配置し、所定の仮想カメラの撮影視点で３次元仮想空間をレンダリングした撮影画像データを配信者アバター表示領域に表示させる（ステップＳ５２）。このとき配置する配信者アバターは、モーションキャプチャ手段に基づいて取得される配信者の身体動作によって操作し得るものとしてもよい。次に、サーバ１０Ｚは、ユーザの入力操作情報に基づいて操作可能なユーザアバターを予め定義された３次元仮想空間内に配置し、所定の仮想カメラの撮影視点で３次元仮想空間をレンダリングした撮影画像データをユーザアバター表示領域に表示させる（ステップＳ５３）。このとき、配信者アバターと少なくとも一部のユーザアバターとを同一の３次元仮想空間に配置するようにしてもよい。次に、サーバ１０Ｚは、配信者表示領域と、配信者アバター表示領域と、ユーザアバター表示領域とを備える動画配信画面を送信する（ステップＳ５４）。そして、配信者端末２０及び／又はユーザ端末３０は、動画配信画面を受信して、必要に応じて、所定の表示装置に対して動画配信画面を表示させて（ステップＳ５５）、処理を終了する。

【0071】

図１４は、本発明の実施形態の少なくとも一つに対応する情報処理における動画配信画面の一例を説明するための説明図である。この図１４は、動画配信画面内に、配信者表示領域と、配信者アバター表示領域と、ユーザアバター表示領域とを設けた状態を表している。この図１４の例では、配信者アバター表示領域と、ユーザアバター表示領域とが同じ空間であるような表示を行っている例であるが、これに限定されず、図１４における配信者表示領域と同様に、配信者アバター表示領域とユーザアバター表示領域についても表示枠によって領域を区切って設ける構成とすることも考えられる。この図１４に示すような動画配信画面に基づいて動画配信を実行している最中に、配信者は配信者アバターを操作し、ユーザはユーザアバターを操作することで、アバターを用いた双方向のコミュニケーションを実現できる。

【0072】

なお、配信者表示部１１Ｚは、モーションキャプチャ手段に基づいて取得される配信者の身体動作と同一の動きを行う第１アバターを配信者表示領域に表示させるものとし、配信者アバター表示部１２Ｚは、モーションキャプチャ手段に基づいて取得される配信者の身体動作を配信者からの入力操作情報として取得して配信者アバターの操作を制御し、その制御によって操作された第２アバターを配信者アバター表示領域に表示させる構成としてもよい。すなわち、配信者表示領域に対して配信者本人の顔を露出させるのではなく、配信者表示領域に第１アバターを表示させ、配信者アバター表示領域に表示させる第２アバターを第１アバターが操作しているようにしてもよい。これは、いわゆるVTuberがさらにそのアバターを用いるといった演出を実現するために利用することが可能である。

【0073】

また、複数のユーザアバターの中なら配信者が選択した所定数のユーザアバターに対応づいているユーザに対して所定の特典を付与できるようにしてもよい。動画配信において配信者からユーザに対するコミュニケーション手段の１つとして特典の付与を利用することが可能となる。特典の例としては、ユーザアバターが装着可能なアイテムの付与、ユーザアバターと配信者アバターとが同じ空間にて共演する権利の付与、ユーザに対して後日グッズを届ける特典などが考えられる。

【0074】

また、ユーザアバター表示部１３Ｚは、予め設定した所定数のユーザ分だけのユーザアバターをユーザアバター表示領域に表示させるものとしてもよい。すなわち、ユーザアバター表示領域に無制限にユーザアバターを表示させるのではなく、表示するユーザアバターの数に所定の制限をかけてもよい。表示するユーザアバターを決定する条件はどのようなものであってもよい。配信者からユーザに与えられる特典の一つとして、配信者に選択されたユーザアバターのみがユーザアバター表示領域に表示される構成とすることも可能である。また、配信者による動画配信を視聴するためのルームに入室可能な人数を制限できるような構成であってもよい。動画配信を視聴可能なユーザ数を制限して、入室できたユーザについてはユーザアバターを必ずユーザアバター表示領域に表示させるようにしてもよいし、動画配信を視聴可能なユーザ数を制限し、その中からさらにユーザアバター表示領域に表示させるユーザアバターを絞ってもよい。

【0075】

また、配信者アバター表示部１２は、配信者からの物品の指定又は撮影動画データの画像解析に基づいて配信者が所持する物品を特定し、特定した物品に相当する物品を配信者アバターに所持させる制御を実行した上で当該配信者アバターを配信者アバター表示領域に表示させるようにしてもよい。配信者と同じ物品を配信者アバターに持たせることで、配信者アバターであることを認識し易くなり、同じ物品を所持させる演出によってユーザの興味を惹きつけることが可能となる。

【0076】

また、配信者表示部１１Ｚは、配信者が複数存在する場合には配信者の人数分の配信者表示領域を設けるようにしてもよい。また、配信者アバター表示部１２Ｚは、複数の配信者のそれぞれに対応する配信者アバターを予め定義された同一の３次元仮想空間内に配置し、所定の仮想カメラの撮影視点で３次元仮想空間をレンダリングした撮影画像データを配信者アバター表示領域に表示させるようにしてもよい。すなわち、複数の配信者によって共同で動画配信を行う場合に、配信者表示領域は配信者毎に設けるが、同一の３次元仮想空間を共有した状態を１つの仮想カメラからの撮影視点にてレンダリングすることで、複数の配信者がいても配信者アバター表示領域は１つにして表示を行うことができる。これにより、複数の配信者による共同の動画配信であっても、配信者アバターは同一空間で共演している様子を表現することが可能となる。

【0077】

また、配信者及び／又はユーザが、自身に対応した配信者アバター又はユーザアバターに対する入力操作情報の一つとして音声入力による操作が可能な構成としてもよい。音声入力によって自身に対応した配信者アバター又はユーザアバターを操作することができれば、より簡単に配信者アバター又はユーザアバターの操作を実行することが可能となる。

【0078】

また、配信者アバターと少なくとも一部のユーザアバターとを同一の３次元仮想空間に配置し、かつ、配信者アバターとユーザアバターとは相手方に接触して何らかの作用を及ぼすことを可能としもよい。配信者アバターとユーザアバターについて相手に対して接触して何らかの作用を及ぼすことを可能にすることで、より一層コミュニケーションの幅が広がるという効果が得られる。

【0079】

また、ユーザ自身を撮影した撮影データを表示するためのユーザ表示領域を動画配信画面に設けるようにしてもよい。動画配信を視聴するユーザ全員についてユーザ表示領域に表示することが困難な場合も想定されるため、ユーザ表示領域に表示するユーザは、人数を制限するものであってもよいし、配信者が選択したユーザのみをユーザ表示領域に表示させるものであってもよい。

【0080】

以上に説明したように、第５の実施形態の一側面として、サーバ１０Ｚが、配信者表示部１１Ｚと、配信者アバター表示部１２Ｚと、ユーザアバター表示部１３Ｚと、動画配信画面送信部１４Ｚとを備え、配信者を動画撮影した撮影動画データ配信者表示領域に表示し、配信者からの入力操作情報に基づいて操作可能な配信者アバターを配信者アバター表示領域に表示し、動画配信を受信して視聴するユーザそれぞれに対応づいたユーザアバターであってユーザの入力操作情報に基づいて操作可能なユーザアバターをユーザアバター表示領域に表示し、配信者表示領域と、配信者アバター表示領域と、ユーザアバター表示領域とを備えた動画配信画面を、動画配信を受信する端末に対して送信するようにしたので、動画配信においてアバターを用いた双方向のコミュニケーションを実現することが可能となる。

【0081】

すなわち、配信者の入力操作に基づいて操作可能な配信者アバターを表示させる配信者アバター表示領域と、ユーザの入力操作に基づいて操作可能なユーザアバターを表示させるユーザアバター表示領域とを動画配信画面に設けることで、それぞれのアバターをそれぞれが操作してコミュニケーションを図ることができる。また、配信者表示領域を設けているので、例えば、ユーザアバターに実行させたアクションを見た配信者の様子をユーザは観察することが可能であり、自身が操作したユーザアバターに対する配信者のリアクションを観察することも可能となる。

【0082】

また、配信者アバター表示部１２Ｚにおいて、モーションキャプチャ手段に基づいて取得される配信者の身体動作を配信者からの入力操作情報として取得して配信者アバターの操作を制御し、その制御によって操作された配信者アバターを配信者アバター表示領域に表示させるようにしたので、動画配信画面に表示される配信者アバターを配信者の身体動作に基づいて操作することが可能となる。

【0083】

すなわち、動画配信を視聴しているユーザからは、配信者表示領域に表示された配信者と、配信者アバター表示領域に表示される配信者アバターを同時に観察可能な状況において、配信者が何らかの身体動作を行っている様子と、その身体動作に基づいて操作される配信者アバターとを同時に観察することが可能となるため、配信者の身体動作によってリアルタイムに配信者アバターが操作されるところを観察でき、リアルタイムなコミュニケーションであることをより実感することが可能となる。

【0084】

また、配信者アバター表示部１２Ｚにおいて、予め定義された３次元仮想空間内に配信者アバターを配置し、所定の仮想カメラの撮影視点で３次元仮想空間をレンダリングした撮影画像データを配信者アバター表示領域に表示させるようにし、また、ユーザアバター表示部１３Ｚにおいて、予め定義された３次元仮想空間内にユーザアバターを配置し、所定の仮想カメラの撮影視点で３次元仮想空間をレンダリングした撮影画像データをユーザアバター表示領域に表示させるようにし、また、配信者アバターと少なくとも一部のユーザアバターとを同一の３次元仮想空間に配置した上で、配信者アバター表示部１２Ｚ及びユーザアバター表示部１３Ｚにおける処理を実行するようにしたので、動画配信において、配信者アバターとユーザアバターとが同一の３次元仮想空間を共有している一体感を得ることが可能となる。

【0085】

すなわち、同一の３次元仮想空間を共有してのイベント、例えば、３次元仮想空間におけるコンサートライブなどにおいて、配信者であるアーティストの配信者アバターとユーザアバターとが同一の３次元仮想空間でのライブイベントを共有していることによる一体感をユーザに提供することが可能となる。

【0086】

［第６の実施形態］
図１５は、本発明の実施形態の少なくとも一つに対応するサーバの構成を示すブロック図である。この図１５を用いて、情報処理サーバ１０の例である情報処理サーバ１０Ｅ（サーバ１０Ｅ）について説明する。本例において、サーバ１０Ｅは、配信者表示部１１と、配信者アバター表示部１２Ｅと、ユーザアバター表示部１３Ｅと、動画配信画面送信部１４Ｅと、同期信号送信部１６と、演出処理部１７とを少なくとも備える。

【0087】

配信者アバター表示部１２Ｅは、配信者からの入力操作情報に基づいて操作可能な配信者アバターを動画配信画面に設定した配信者アバター表示領域に表示させる機能を有する。また、また、配信者アバター表示部１２Ｅは、後述する演出処理部１７によって決定された演出内容に応じて、配信者アバターに実行させる動作、モーションを変化させて表示させる機能を有する。

【0088】

ユーザアバター表示部１３Ｅは、動画配信を受信して視聴するユーザそれぞれに対応づいたユーザアバターであって、ユーザ端末から送信されるユーザの入力操作情報に基づいて操作可能なユーザアバターを、動画配信画面に設定したユーザアバター表示領域に表示させる機能を有する。また、ユーザアバター表示部１３Ｅは、後述する演出処理部１７によって決定された演出内容に応じて、配信者アバターに実行させる動作、モーションを変化させて表示させる機能を有する。この場合、演出処理部１７によって決定された演出内容に基づいてユーザアバターに実行させる動作、モーションは、ユーザの入力操作情報に基づく動作指示に優先して実行させるようにしてもよい。

【0089】

動画配信画面送信部１４Ｅは、配信者表示領域と、配信者アバター表示領域と、ユーザアバター表示領域とを備えた動画配信画面を、動画配信を受信する端末に対して送信する機能を有する。また、動画配信画面送信部１４Ｅは、後述する演出処理部１７によって決定された演出内容に応じて、動画配信画面を演出に基づいて変化させる機能を有する。

【0090】

同期信号送信部１６は、動画配信画面の内容に同期させた同期信号を動画配信画面とともにユーザ端末に対して送信する機能を有する。ここで、同期信号とは、動画配信画面に含まれる情報の何れかに同期させた信号のことをいう。動画配信画面に含まれる情報としては、音楽、動画などが考えられる。また、これらに限らず、同期させるためのトリガーとなる情報であればどのような情報であってもよい。ユーザ端末の通信環境によって動画配信画面を受信する時間にはばらつきが生じるため、ユーザによる入力操作が何れのタイミングで行われたかを判定するための基準が必要となる。そこで、動画配信画面に含まれる何らかの情報に同期させた同期信号を基準としてユーザによる入力操作のタイミングを判定すれば、ユーザ端末の通信環境に関わらず入力タイミングを判定することが可能となる。また、同期信号には、ユーザからの入力操作を受け付けるタイミングを指示する情報を含ませるようにしてもよい。また、同期信号には、演出処理条件が達成された場合に実行される演出処理の内容を示す情報を含ませるようにしてもよい。

【0091】

演出処理部１７は、同期信号に基づいて入力タイミングを判定した入力操作情報をユーザ端末から受信し、入力操作情報に基づいて動画配信画面に含める演出内容を決定して演出処理を実行する機能を有する。ここで、入力操作情報とは、ユーザ端末に対してユーザの入力操作が行われたか否かの情報を少なくとも含むものをいう。また、入力操作情報は、入力操作が行われた場合に入力のタイミングがどのようなタイミングであったかを示すタイミング情報を含むものであってもよい。この演出処理部１７では、入力操作情報が予め定めた所定の演出処理条件を満たす場合に、条件を満たした演出内容を動画配信画面に反映させる演出処理を実行する。演出内容はどのようなものであってもよい。一例としては、配信者アバターに所定のモーション（例えば、ダンス）を実行させる演出や、１以上のユーザアバターに所定のモーションを実行させる演出などが考えらえる。複数のユーザアバターに同時に同じモーションを実行させる演出も可能である。また、演出内容は、動画配信画面における配信者表示領域、配信者アバター表示領域及びユーザアバター表示領域ではなく、これら３つの領域以外の個所に対する演出であってもよい。例えば、３つの領域以外の個所に花火が上がる演出などが考えられる。なお、演出処理は、配信者アバター表示部１２Ｅに対して演出処理を実行させる手法、ユーザアバター表示部１３Ｅに対して演出処理を実行させる手法、演出処理部１７において演出処理を実行して動画配信画面を変更する手法など、どのような手法で実現されるものであってもよい。

【0092】

ここで、演出処理部１７における所定の演出処理条件は、どのようなものであってもよいが、例えば、入力操作情報の数の条件、入力操作情報のタイミングの条件、又はこれらの組み合わせの条件などが考えられる。入力操作情報の数の条件は、例えば、複数のユーザからの入力操作情報が所定数に達した場合に演出が実行されるという条件、あるいは、複数のユーザからの入力操作情報の数に応じて演出内容が変化するという条件が挙げられる。入力操作情報のタイミングの条件は、例えば、ユーザ端末において入力操作を受け付けるタイミングをユーザに対して示すようにして、理想的入力タイミングとユーザの入力タイミングとのずれの情報を入力操作情報に含めるようにし、入力タイミングのずれが所定の範囲内に収まっている場合に演出が実行されるという条件が挙げられる。入力操作情報の数の条件と入力操作情報のタイミングの条件の組み合わせについては、例えば、入力タイミングのずれが所定の範囲内に収まっている入力操作情報が所定数に達した場合に演出が実行されるという条件、あるいは、入力タイミングのずれが所定の範囲内に収まっている入力操作情報の数に応じて演出内容が変化するという条件が挙げられる。

【0093】

また、所定の演出処理条件と演出内容の組み合わせはどのようなものであってもよい。例えば、あるユーザ１一人に設定される演出処理条件と１つの演出内容を対応させて、そのユーザの演出処理条件達成に基づいて対応する演出内容について演出処理を実行するようにしてもよい。また、例えば、複数のユーザが関係する演出処理条件と１つの演出内容を対応させて、そのユーザの演出処理条件達成に基づいて対応する演出内容について演出処理を実行するようにしてもよい。なお、演出処理は、ダンスのモーションや、演出用のエフェクトは、音楽に合わせたタイミングでのみ再生されるようにしてもよい。また、演出処理は、所定のタイミングで受け付けた入力操作に基づいて、所与のタイミングで演出処理を反映させた動画配信画面を出力する構成となる。すなわち、ユーザの入力操作のタイミングと動画配信画面の出力のタイミングには一定の時間差が生じる。出力タイミングまでの時間差については意図的に設定することも可能であり、音楽におけるＡメロ、Ｂメロのタイミングにて受け付けた入力操作情報に基づいて、サビの再生時に演出処理を反映させた動画配信画面を出力するようにしてもよい。

【0094】

図１６は、本発明の実施形態の少なくとも一つに対応するユーザ端末の構成を示すブロック図である。この図１６を用いて、ユーザ端末３０の例について説明する。本例において、ユーザ端末３０は、同期信号受信部３１と、入力操作判定部３２と、入力操作情報送信部３３とを少なくとも備える。

【0095】

同期信号受信部３１は、サーバ１０Ｅから送信される同期信号を受信する機能を有する。受信した同期信号は、ユーザに対して入力操作のタイミングを提示するために用いられたり、ユーザによる入力操作のタイミングの判定の基準として用いられたりする。

【0096】

入力操作判定部３２は、受信した同期信号に基づいて入力操作のタイミングを示す情報を動画配信画面に表示させて入力操作を受付け、入力操作が行われた場合、同期信号に基づいて入力操作のタイミングを判定する機能を有する。ここで、入力操作のタイミングを示す情報は、少なくとも入力操作を受け付けていることをユーザに通知する内容を含む情報をいう。さらに、入力操作のタイミングを示す情報として、音楽や動画と同期させた同期信号に基づいて具体的な入力操作のタイミングをユーザに認識させるための表示等を含ませるようにしてもよい。また、入力操作のタイミングを示す情報の表示に加えて、演出内容をユーザに認識させるための情報を併せて表示させるようにしてもよい。そして、実際にユーザによる入力操作が行われた場合、同期信号に基づいて入力操作のタイミングを判定する。同期信号を用いることで、ユーザによる入力操作のタイミングが同期信号の何れのタイミングと一致するかによって入力タイミングを判定することが可能となる。

【0097】

入力操作情報送信部３３は、入力操作について、タイミング情報を含む入力操作情報を生成してサーバに送信する機能を有する。ここで、入力操作情報は、入力操作に関する情報であり、少なくとも入力操作のタイミング情報を含むものとする。なお、タイミング情報は、入力操作を受け付ける期間内において入力操作が行われたという大まかな情報であってもよいし、入力操作の理想的入力タイミングとの一致度（ずれ量）を正確に表した情報であってもよい。

【0098】

図１７は、本発明の実施形態の少なくとも一つに対応する情報処理の例を示すフローチャートである。以下、サーバ１０Ｅと、ユーザ端末３０とが、情報処理を実行する場合を例にして説明する。なお、サーバ１０Ｅ、ユーザ端末３０のそれぞれの動作を示すフローチャートについては、重複説明を避ける観点から記載を省略する。

【0099】

本例による情報処理は、例えば、配信者が動画配信を始めることをトリガーとして開始される。動画配信が開始されると、サーバ１０Ｅは、先ず、配信者を動画撮影した撮影動画データを配信者表示領域に表示させる（ステップＳ６１）。次に、サーバ１０Ｅは、配信者からの入力操作情報に基づいて操作可能な配信者アバターを配信者アバター表示領域に表示させる（ステップＳ６２）。次に、サーバ１０Ｅは、ユーザの入力操作情報に基づいて操作可能なユーザアバターをユーザアバター表示領域に表示させる（ステップＳ６３）。次に、サーバ１０Ｅは、配信者表示領域と、配信者アバター表示領域と、ユーザアバター表示領域とを備える動画配信画面を送信する（ステップＳ６４）。そして、ユーザ端末３０は、動画配信画面を受信して、必要に応じて、所定の表示装置に対して動画配信画面を表示させる（ステップＳ６５）。また、サーバ１０Ｅは、動画配信画面の内容に同期させた同期信号を動画配信画面とともに送信する（ステップＳ６６）。ユーザ端末３０は、入力操作のタイミングを示す情報を動画配信画面に表示させて入力操作を受け付ける（ステップＳ６７）。そして、ユーザ端末３０は、入力操作が行われた場合、同期信号に基づいて入力操作のタイミングを判定し、タイミング情報を含む入力操作情報を生成して送信する（ステップＳ６８）。次に、サーバ１０Ｅは、入力操作情報が演出処理条件を充足する場合、演出処理の実行を決定する（ステップＳ６９）。サーバ１０Ｅは、演出内容を反映させた動画配信画面を生成して送信する（ステップＳ７０）。そして、ユーザ端末３０は、動画配信画面を受信して、必要に応じて、所定の表示装置に対して動画配信画面を表示させて（ステップＳ７１）、情報処理を終了する。

【0100】

図１８は、本発明の実施形態の少なくとも一つに対応する情報処理においてユーザ端末において表示させる動画配信画面の一例を説明するための説明図である。この図１８は、動画配信画面内に、配信者表示領域と、配信者アバター表示領域と、ユーザアバター表示領域とを設けた状態を表しており、さらに、ユーザに入力操作のタイミングを認識させるための入力タイミング表示欄を設けた状態を表している。この図１８の例では、入力タイミング表示欄の内側を右から左に向かってマークＡ～Ｅが順次移動していき、左端の矢印部分に各マークが到達したときが入力の理想的入力タイミングであるものとする。これらマークＡ～Ｅのそれぞれが矢印部分に到達するタイミングは、同期信号に基づいて調整されており、例えば、音楽のリズムに合わせて理想的入力タイミングに到達する構成となっている。

【0101】

この図１８の例において、マークＡ～Ｅの何れかに対してユーザによる入力操作が行われると、ユーザの入力操作について理想的入力タイミングとの一致度を判定して、タイミング情報を含む入力操作情報を生成してサーバ１０Ｅに対して送信する。サーバ１０Ｅでは、入力操作情報が所定の演出処理条件を充足するか否かを判定して、充足する場合には演出処理の実行を決定する。実行する演出処理の内容は、例えば、マークＡ～Ｅの何れに対して入力操作が行われるかによって演出内容を変化させるようにしてもよい。また、マークＡ～Ｅのそれぞれに対応する演出内容をユーザが認識可能なように動画配信画面に対応する演出内容を表示するようにしてもよい。あるいは、マークＡ～Ｅの全てについて所定の入力誤差範囲内にて入力操作を実行できた場合に演出処理を実行する構成とすることも考えられる。また、複数のユーザに対して同様に入力操作を要求して、入力操作に関する条件を充足したユーザが所定数に達することを演出処理条件とすることも考えられる。演出内容の一例としては、配信者アバターに特別なダンスを実行させるといった演出が考えられる。

【0102】

なお、図１８の例では、入力タイミング表示欄の中に表示させる入力タイミングを示すためのマークＡ～Ｅを１段で表示しているが、これに限定されるものではない。例えば、入力タイミング表示欄の中に入力タイミングを示すマークを２段以上表示可能とし、何れの段のマークに対して入力操作を行うかによって演出を変化させるようにしてもよい。具体例としては、入力タイミングを示すマークを２段に表示させた状態において、上の段のマークに合わせて入力操作が行われるとユーザアバターが赤いサイリウムを振り、下の段のマークに合わせて入力操作が行われるとユーザアバターが緑のサイリウムを振るというように演出を変化させることが考えられる。また、入力タイミングを示すマークを２段に表示させた状態において、上の段のマークに合わせて入力操作が行われると配信者アバターが所定のダンスを実行し、下の段のマークに合わせて入力操作が行われると配信者アバターが上の段の場合とは異なる所定のダンスを実行するというように演出を変化させることが考えられる。

【0103】

以上に説明したように、第６の実施形態の一側面として、サーバ１０Ｅが、配信者表示部１１と、配信者アバター表示部１２Ｅと、ユーザアバター表示部１３Ｅと、動画配信画面送信部１４Ｅと、同期信号送信部１６と、演出処理部１７とを備え、このうちの同期信号送信部１６において、動画配信画面の内容に同期させた同期信号を動画配信画面とともにユーザ端末に対して送信するようにし、また、演出処理部１７において、同期信号に基づいて入力タイミングを判定した入力操作情報をユーザ端末から受信し、入力操作情報に基づいて動画配信画面に含める演出内容を決定して演出処理を実行するようにしたので、動画配信画面の内容に同期したタイミングでのユーザの入力操作に基づいて演出処理を実行して動画配信することでユーザ参加型のイベントを実現することが可能となる。

【0104】

すなわち、メタバースやゲームなどにおけるライブ配信を含む動画配信において、動画配信画面の内容に同期させた同期信号を基準としてユーザからの入力操作を要求し、かつ、入力タイミングの判定も行うようにすることで、ユーザ毎の通信環境の相違に関わらず、動画配信に含まれる音楽のリズムに合わせた入力操作を各ユーザが実行することが可能となる。このユーザ毎の入力操作情報を用いて演出処理を実行して動画配信画面を生成することで、視聴者も参加、協力することで、ダイナミックな演出によるライブ配信を配信者が気軽に実現することが可能となる。配信者アバターを演出処理の対象にすることに加え、聴衆側であるユーザアバターについても演出処理の対象とすることも可能であり、配信者アバターやユーザアバターのモーション及びステージ上のＣＧエフェクトなどを用いて、大規模なライブステージの演出を実現することが可能となる。また、入力操作のタイミングとして音楽のリズムに合わせることを求めるなどすれば、音楽のリズムに合わせて入力操作を行う音楽ゲーム的な楽しさを動画配信において提供することも可能となる。

【0105】

以上に説明したように、本願の各実施形態により１または２以上の不足が解決される。なお、夫々の実施形態による効果は、非限定的な効果または効果の一例である。

【0106】

なお、上述した各実施形態では、配信者端末２０、複数のユーザ端末３０，３０１～３０Ｎとサーバ１０は、自己が備える記憶装置に記憶されている各種制御プログラム（例えば、情報処理プログラム）に従って、上述した各種の処理を実行する。

【0107】

また、システム１００の構成は上述した各実施形態の例として説明した構成に限定されず、例えばユーザ端末が実行する処理として説明した処理の一部または全部をサーバ１０が実行する構成としてもよいし、サーバ１０が実行する処理として説明した処理の一部または全部を配信者端末２０、複数のユーザ端末３０，３０１～３０Ｎの何れか（例えば、ユーザ端末３０）が実行する構成としてもよい。また、サーバ１０が備える記憶部の一部または全部を配信者端末２０、複数のユーザ端末３０，３０１～３０Ｎの何れかが備える構成としてもよい。すなわち、システム１００における配信者端末２０、ユーザ端末３０及びサーバ１０の何れかが備える機能の一部または全部を、他の個所が担う構成としてもよい。

【0108】

また、プログラムが、上述した各実施形態の例として説明した機能の一部または全部を、通信ネットワークを含まない装置単体に実現させる構成としてもよい。

【0109】

［付記］
上述した実施形態の説明は、少なくとも下記発明を、当該発明の属する分野における通常の知識を有する者がその実施をすることができるように記載した。
［１］
動画配信者（以下、配信者）によるリアルタイムの動画配信の動画配信画面を制御する処理をサーバに実現させるための情報処理プログラムであって、
前記サーバに、
前記配信者を動画撮影した撮影動画データを配信者端末から受信して前記動画配信画面に設定した配信者表示領域に表示させる配信者表示機能と、
前記配信者からの入力操作情報に基づいて操作可能な配信者アバターを前記動画配信画面に設定した配信者アバター表示領域に表示させる配信者アバター表示機能と、
前記動画配信を受信して視聴するユーザそれぞれに対応づいたユーザアバターであって、ユーザ端末から送信されるユーザの入力操作情報に基づいて操作可能なユーザアバターを、前記動画配信画面に設定したユーザアバター表示領域に表示させるユーザアバター表示機能と、
前記配信者表示領域と、前記配信者アバター表示領域と、前記ユーザアバター表示領域とを備えた前記動画配信画面を、動画配信を受信する端末に対して送信する動画配信画面送信機能と
を実現させる情報処理プログラム。
［２］
前記配信者アバター表示機能は、モーションキャプチャ手段に基づいて取得される前記配信者の身体動作を前記配信者からの入力操作情報として取得して前記配信者アバターの操作を制御し、その制御によって操作された前記配信者アバターを前記配信者アバター表示領域に表示させる
［１］記載の情報処理プログラム。
［３］
前記配信者表示機能は、モーションキャプチャ手段に基づいて取得される前記配信者の身体動作と同一の動きを行う第１アバターを配信者表示領域に表示させるものとし、
前記配信者アバター表示機能は、モーションキャプチャ手段に基づいて取得される前記配信者の身体動作を前記配信者からの入力操作情報として取得して前記配信者アバターの操作を制御し、その制御によって操作された第２アバターを前記配信者アバター表示領域に表示させる
［１］又は［２］記載の情報処理プログラム。
［４］
前記サーバに、
複数のユーザアバターの中なら前記配信者が選択した所定数のユーザアバターに対応づいているユーザに対して所定の特典を付与する特典付与機能を実現させる
［１］から［３］の何れか一つに記載の情報処理プログラム。
［５］
前記ユーザアバター表示機能は、予め設定した所定数のユーザ分だけのユーザアバターを前記ユーザアバター表示領域に表示させる
［１］から［４］の何れか一つに記載の情報処理プログラム。
［６］
前記配信者アバター表示機能は、予め定義された３次元仮想空間内に前記配信者アバターを配置し、所定の仮想カメラの撮影視点で前記３次元仮想空間をレンダリングした撮影画像データを前記配信者アバター表示領域に表示させる
［１］から［５］の何れか一つに記載の情報処理プログラム。
［７］
前記ユーザアバター表示機能は、予め定義された３次元仮想空間内に前記ユーザアバターを配置し、所定の仮想カメラの撮影視点で前記３次元仮想空間をレンダリングした撮影画像データを前記ユーザアバター表示領域に表示させる
［１］から［６］の何れか一つに記載の情報処理プログラム。
［８］
前記配信者アバター表示機能は、前記配信者からの物品の指定又は前記撮影動画データの画像解析に基づいて前記配信者が所持する物品を特定し、特定した物品に相当する物品を前記配信者アバターに所持させる制御を実行した上で当該配信者アバターを前記配信者アバター表示領域に表示させる
［１］から［７］の何れか一つに記載の情報処理プログラム。
［９］
前記配信者表示機能は、前記配信者が複数存在する場合には前記配信者の人数分の前記配信者表示領域を設ける
［１］から［８］の何れか一つに記載の情報処理プログラム。
［１０］
前記配信者アバター表示機能は、複数の前記配信者のそれぞれに対応する配信者アバターを予め定義された同一の３次元仮想空間内に配置し、所定の仮想カメラの撮影視点で前記３次元仮想空間をレンダリングした撮影画像データを前記配信者アバター表示領域に表示させる
［９］記載の情報処理プログラム。
［１１］
前記配信者及び／又はユーザが、自身に対応した配信者アバター又はユーザアバターに対する入力操作情報の一つとして音声入力による操作が可能な構成として、前記配信者アバター表示機能及び前記ユーザアバター表示機能とを実現させる
［１］から［１０］の何れか一つに記載の情報処理プログラム。
［１２］
前記配信者アバターと少なくとも一部の前記ユーザアバターとを同一の３次元仮想空間に配置した上で、前記配信者アバター表示機能及び前記ユーザアバター表示機能とを実現させる
［１］から［１０］の何れか一つに記載の情報処理プログラム。
［１３］
前記配信者アバターと少なくとも一部の前記ユーザアバターとを同一の３次元仮想空間に配置し、かつ、前記配信者アバターと前記ユーザアバターとは相手方に接触して何らかの作用を及ぼすことを可能とした上で、前記配信者アバター表示機能及び前記ユーザアバター表示機能とを実現させる
［１］から［１０］の何れか一つに記載の情報処理プログラム。
［１４］
前記サーバに、
動画配信画面の内容に同期させた同期信号を前記動画配信画面とともに前記ユーザ端末に対して送信する同期信号送信機能と、
前記同期信号に基づいて入力タイミングを判定した入力操作情報を前記ユーザ端末から受信し、前記入力操作情報に基づいて前記動画配信画面に含める演出内容を決定して演出処理を実行する演出処理機能とを実現させる
［１］から［１３］の何れか一つに記載の情報処理プログラム。
［１５］
前記演出処理機能は、前記入力操作情報の内容に応じて前記演出内容を変化させる
［１４］記載の情報処理プログラム。
［１６］
［１］から［１５］のうち何れかに記載の情報処理プログラムが前記サーバに実現させる機能のうち少なくとも１つの機能を、当該サーバと通信可能なユーザ端末に実現させる情報処理プログラム。
［１７］
通信ネットワークと、サーバと、配信者端末と、ユーザ端末とを備え、動画配信者（以下、配信者）によるリアルタイムの動画配信の動画配信画面を制御する処理を行うための情報処理システムであって、
前記配信者を動画撮影した撮影動画データを前記配信者端末から受信して前記動画配信画面に設定した配信者表示領域に表示させる配信者表示手段と、
前記配信者からの入力操作情報に基づいて操作可能な配信者アバターを前記動画配信画面に設定した配信者アバター表示領域に表示させる配信者アバター表示手段と、
前記動画配信を受信して視聴するユーザそれぞれに対応づいたユーザアバターであって、前記ユーザ端末から送信されるユーザの入力操作情報に基づいて操作可能なユーザアバターを、前記動画配信画面に設定したユーザアバター表示領域に表示させるユーザアバター表示手段と、
前記配信者表示領域と、前記配信者アバター表示領域と、前記ユーザアバター表示領域とを備えた前記動画配信画面を、動画配信を受信する端末に対して送信する動画配信画面送信手段と
を含む情報処理システム。
［１８］
前記サーバが、前記配信者表示手段と、前記配信者アバター表示手段と、前記ユーザアバター表示手段と、前記動画配信画面送信手段とを含み、
前記配信者端末及びユーザ端末が、前記動画配信画面送信手段により送信された動画配信画面を表示装置の表示画面に出力する表示出力手段を含む
［１７］記載の情報処理システム。
［１９］
前記サーバは、
動画配信画面の内容に同期させた同期信号を前記動画配信画面とともに前記ユーザ端末に対して送信する同期信号送信手段と、
前記同期信号に基づいて入力タイミングを判定した入力操作情報を前記ユーザ端末から受信し、前記入力操作情報に基づいて前記動画配信画面に含める演出内容を決定して演出処理を実行する演出処理手段とを含み、
前記ユーザ端末は、
前記同期信号を受信する同期信号受信手段と、
受信した前記同期信号に基づいて入力操作のタイミングを示す情報を前記動画配信画面に表示させて入力操作を受付け、入力操作が行われた場合、前記同期信号に基づいて入力操作のタイミングを判定する入力操作判定手段と、
前記入力操作について、タイミング情報を含む前記入力操作情報を生成して前記サーバに送信する入力操作情報送信手段とを含む
［１７］又は［１８］記載の情報処理システム。
［２０］
動画配信者（以下、配信者）によるリアルタイムの動画配信の動画配信画面を制御する処理を配信者端末に実現させるための情報処理プログラムであって、
前記配信者端末に、
前記配信者を動画撮影した撮影動画データを前記動画配信画面に設定した配信者表示領域に表示させる配信者表示機能と、
前記配信者からの入力操作情報に基づいて操作可能な配信者アバターを前記動画配信画面に設定した配信者アバター表示領域に表示させる配信者アバター表示機能と、
前記動画配信を受信して視聴するユーザそれぞれに対応づいたユーザアバターであって、ユーザ端末から送信されるユーザの入力操作情報に基づいて操作可能なユーザアバターを、前記動画配信画面に設定したユーザアバター表示領域に表示させるユーザアバター表示機能と、
前記配信者表示領域と、前記配信者アバター表示領域と、前記ユーザアバター表示領域とを備えた前記動画配信画面を、動画配信を受信する端末に対して送信する動画配信画面送信機能と
を実現させる情報処理プログラム。
［２１］
動画配信者（以下、配信者）によるリアルタイムの動画配信の動画配信画面を制御する処理を行うための情報処理方法であって、
前記配信者を動画撮影した撮影動画データを配信者端末から受信して前記動画配信画面に設定した配信者表示領域に表示させる配信者表示処理と、
前記配信者からの入力操作情報に基づいて操作可能な配信者アバターを前記動画配信画面に設定した配信者アバター表示領域に表示させる配信者アバター表示処理と、
前記動画配信を受信して視聴するユーザそれぞれに対応づいたユーザアバターであって、ユーザ端末から送信されるユーザの入力操作情報に基づいて操作可能なユーザアバターを、前記動画配信画面に設定したユーザアバター表示領域に表示させるユーザアバター表示処理と、
前記配信者表示領域と、前記配信者アバター表示領域と、前記ユーザアバター表示領域とを備えた前記動画配信画面を、動画配信を受信する端末に対して送信する動画配信画面送信処理と
を含む情報処理方法。
［２２］
通信ネットワークと、サーバと、配信者端末と、ユーザ端末とを備える情報処理システムが、動画配信者（以下、配信者）によるリアルタイムの動画配信の動画配信画面を制御する処理を行うための情報処理方法であって、
前記配信者を動画撮影した撮影動画データを配信者端末から受信して前記動画配信画面に設定した配信者表示領域に表示させる配信者表示処理と、
前記配信者からの入力操作情報に基づいて操作可能な配信者アバターを前記動画配信画面に設定した配信者アバター表示領域に表示させる配信者アバター表示処理と、
前記動画配信を受信して視聴するユーザそれぞれに対応づいたユーザアバターであって、ユーザ端末から送信されるユーザの入力操作情報に基づいて操作可能なユーザアバターを、前記動画配信画面に設定したユーザアバター表示領域に表示させるユーザアバター表示処理と、
前記配信者表示領域と、前記配信者アバター表示領域と、前記ユーザアバター表示領域とを備えた前記動画配信画面を、動画配信を受信する端末に対して送信する動画配信画面送信処理と
を含む情報処理方法。
［２３］
動画配信者（以下、配信者）によるリアルタイムの動画配信の動画配信画面を制御する処理を行うための情報処理装置であって、
前記配信者を動画撮影した撮影動画データを配信者端末から受信して前記動画配信画面に設定した配信者表示領域に表示させる配信者表示部と、
前記配信者からの入力操作情報に基づいて操作可能な配信者アバターを前記動画配信画面に設定した配信者アバター表示領域に表示させる配信者アバター表示部と、
前記動画配信を受信して視聴するユーザそれぞれに対応づいたユーザアバターであって、ユーザ端末から送信されるユーザの入力操作情報に基づいて操作可能なユーザアバターを、前記動画配信画面に設定したユーザアバター表示領域に表示させるユーザアバター表示部と、
前記配信者表示領域と、前記配信者アバター表示領域と、前記ユーザアバター表示領域とを備えた前記動画配信画面を、動画配信を受信する端末に対して送信する動画配信画面送信部と
を備える情報処理装置。

【符号の説明】

【0110】

１０ 情報処理サーバ（サーバ）
１１、１１Ｚ 配信者表示部
１２、１２Ｂ、１２Ｄ、１２Ｚ 配信者アバター表示部
１３、１３Ｄ、１３Ｚ ユーザアバター表示部
１４、１４Ｚ 動画配信画面送信部
１５ 特典付与部
２０ 配信者端末
３０，３０１～３０Ｎ ユーザ端末
４０ 通信ネットワーク
１００ 情報処理システム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】