特許 7329209 情報処理システム、情報処理方法およびコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2023-08-09

(45)【発行日】2023-08-18

(54)【発明の名称】情報処理システム、情報処理方法およびコンピュータプログラム

(51)【国際特許分類】

   H04N 7/15 20060101AFI20230810BHJP

   H04N 21/258 20110101ALI20230810BHJP

   G06T 13/40 20110101ALI20230810BHJP

【ＦＩ】

H04N7/15 170

H04N21/258

G06T13/40

【請求項の数】 20

(21)【出願番号】P 2022097871

(22)【出願日】2022-06-17

【審査請求日】2022-06-17

【新規性喪失の例外の表示】特許法第３０条第２項適用 ２０２２年 １月２４日 インターネット上の公式サイトで公開 ｈｔｔｐｓ：／／ｒｅａｌｉｔｙ．ａｐｐ／ （Ａｎｄｒｏｉｄ用ダウンロードサイト） ｈｔｔｐｓ：／／ｐｌａｙ．ｇｏｏｇｌｅ．ｃｏｍ／ｓｔｏｒｅ／ａｐｐｓ／ｄｅｔａｉｌｓ？ｉｄ＝ｎｅｔ．ｗｒｉｇｈｔｆｌｙｅｒ．ｌｅ．ｒｅａｌｉｔｙ

【新規性喪失の例外の表示】特許法第３０条第２項適用 ２０２２年 ３月１４日 インターネット上のｉＯＳ用ダウンロードサイトで公開 ｈｔｔｐｓ：／／ｉｔｕｎｅｓ．ａｐｐｌｅ．ｃｏｍ／ｕｓ／ａｐｐ／ｒｅａｌｉｔｙ／ｉｄ１４０４１７６５６４？ｌ＝ｊａ＆ｌｓ＝１＆ｍｔ＝８

【早期審査対象出願】

(73)【特許権者】

【識別番号】504437801

【氏名又は名称】グリー株式会社

(74)【代理人】

【識別番号】110004015

【氏名又は名称】弁理士法人ＩＰｍａｒｃｈｅ

(74)【代理人】

【識別番号】100185971

【弁理士】

【氏名又は名称】高梨 玲子

(72)【発明者】

【氏名】早田 大起

【審査官】大西 宏

(56)【参考文献】

【文献】特開２０１３－００９０７３（ＪＰ，Ａ）

【文献】特開２０２０－１１９４２５（ＪＰ，Ａ）

【文献】国際公開第２０１５／０７９８６５（ＷＯ，Ａ１）

【文献】国際公開第２０１８／１５８８５２（ＷＯ，Ａ１）

【文献】国際公開第２０２２／０７９９３３（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１５

Ｈ０４Ｎ ２１／００ －２１／８５８

Ｇ０６Ｔ １１／６０ －１３／８０

(57)【特許請求の範囲】

【請求項1】

一又は複数のコンピュータプロセッサを備える情報処理システムであって、
前記一又は複数のコンピュータプロセッサは、
ユーザのユーザ端末から送信される、当該ユーザの動きに関する情報、音声に関する情報およびキャラクタオブジェクトに関する情報を含む、動画を生成するための情報を受信可能な受信部と、
前記受信部が受信した、前記動画を生成するための情報に基づいて、前記キャラクタオブジェクトを用いた複数のユーザ間におけるビデオチャットを実行させる実行部と、
前記ユーザ端末の状態を特定する特定部と、
前記特定部により特定された前記ユーザ端末の状態に応じて、当該ユーザ端末に対応する前記キャラクタオブジェクトの表示態様を変更する制御部と
を備え、
前記特定部は、前記受信部が前記ユーザ端末から前記ユーザの動きに関する情報を受信していない場合、または、前記受信部が受信した前記ユーザの動きに関する情報が第一の条件を満たす場合、前記ユーザ端末が第一の状態であると特定し、
前記制御部は、前記特定部が、前記ユーザ端末が第一の状態であると特定した場合における前記キャラクタオブジェクトの表示態様の変更として、前記キャラクタオブジェクトに前記ビデオチャットの画面を視ていない様子を表すためのオブジェクトを装着、および／または、前記キャラクタオブジェクトに前記ビデオチャットの画面を視ていない様子を表すための動作を適用させる情報処理システム。

【請求項2】

前記第一の条件は、前記受信部が、同じ動きに関する情報を所定期間受信し続けていること、または、動きが変化した場合にのみ送信される動きの変化量に関する情報を所定期間受信しないことであることを特徴とする請求項１に記載の情報処理システム。

【請求項3】

一又は複数のコンピュータプロセッサを備える情報処理システムであって、
前記一又は複数のコンピュータプロセッサは、
ユーザのユーザ端末から送信される、当該ユーザの動きに関する情報、音声に関する情報およびキャラクタオブジェクトに関する情報を含む、動画を生成するための情報を受信可能な受信部と、
前記受信部が受信した、前記動画を生成するための情報に基づいて、前記キャラクタオブジェクトを用いた複数のユーザ間におけるビデオチャットを実行させる実行部と、
前記ユーザ端末の状態を特定する特定部と、
前記特定部により特定された前記ユーザ端末の状態に応じて、当該ユーザ端末に対応する前記キャラクタオブジェクトの表示態様を変更する制御部と
を備え、
前記特定部は、前記受信部が前記ユーザ端末から前記音声に関する情報を受信していない場合、または、前記受信部が受信した前記音声に関する情報が第二の条件を満たす場合、前記ユーザ端末が第二の状態であると特定し、
前記制御部は、前記特定部が、前記ユーザ端末が第二の状態であると特定した場合における前記キャラクタオブジェクトの表示態様の変更として、前記キャラクタオブジェクトに発声していない様子を表すためのオブジェクトを装着、および／または、前記キャラクタオブジェクトに発声していない様子を表すための動作を適用させる情報処理システム。

【請求項4】

一又は複数のコンピュータプロセッサを備える情報処理システムであって、
前記一又は複数のコンピュータプロセッサは、
ユーザのユーザ端末から送信される、当該ユーザの動きに関する情報、音声に関する情報およびキャラクタオブジェクトに関する情報を含む、動画を生成するための情報を受信可能な受信部と、
前記受信部が受信した、前記動画を生成するための情報に基づいて、前記キャラクタオブジェクトを用いた複数のユーザ間におけるビデオチャットを実行させる実行部と、
前記ユーザ端末の状態を特定する特定部と、
前記特定部により特定された前記ユーザ端末の状態に応じて、当該ユーザ端末に対応する前記キャラクタオブジェクトの表示態様を変更する制御部と
を備え、
前記特定部は、前記受信部が、前記ユーザ端末において特定のアプリケーションが起動または表示されていることを示す情報を受信している場合、前記ユーザ端末が第三の状態であると特定し、
前記制御部は、前記特定部が、前記ユーザ端末が第三の状態であると特定した場合における前記キャラクタオブジェクトの表示態様の変更として、前記キャラクタオブジェクトに音楽を聴いている様子を表すためのオブジェクトを装着、および／または、前記キャラクタオブジェクトに音楽を聴いている様子を表すための動作を適用させる情報処理システム。

【請求項5】

前記特定部は、前記受信部が、前記ユーザ端末において音楽再生アプリ、動画再生アプリ、ゲームアプリまたは通話アプリを起動していることを示す情報を受信している場合、前記ユーザ端末が第三の状態であると特定することを特徴とする請求項４に記載の情報処理システム。

【請求項6】

一又は複数のコンピュータプロセッサを備える情報処理システムであって、
前記一又は複数のコンピュータプロセッサは、
ユーザのユーザ端末から送信される、当該ユーザの動きに関する情報、音声に関する情報およびキャラクタオブジェクトに関する情報を含む、動画を生成するための情報を受信可能な受信部と、
前記受信部が受信した、前記動画を生成するための情報に基づいて、前記キャラクタオブジェクトを用いた複数のユーザ間におけるビデオチャットを実行させる実行部と、
前記ユーザ端末の状態を特定する特定部と、
前記特定部により特定された前記ユーザ端末の状態に応じて、当該ユーザ端末に対応する前記キャラクタオブジェクトの表示態様を変更する制御部と
を備え、
前記特定部は、前記受信部が受信した前記音声に関する情報に含まれる前記ユーザによる発声以外の他の音声の音量が第一の値以上である場合、前記ユーザ端末が第四の状態であると特定し、
前記制御部は、前記特定部が、前記ユーザ端末が第四の状態であると特定した場合における前記キャラクタオブジェクトの表示態様の変更として、前記キャラクタオブジェクトにビデオチャットの音声を聞き辛く感じている様子を表すためのオブジェクトを装着、および／または、前記キャラクタオブジェクトがビデオチャットの音声を聞き辛く感じている様子を表すための動作を適用させる情報処理システム。

【請求項7】

前記特定部が、前記ユーザ端末が第四の状態であると特定した場合、
前記制御部は、前記他の音声の音量が第二の値以上である場合に、前記音声に関する情報を含めずに前記動画を生成することを特徴とする請求項６に記載の情報処理システム。

【請求項8】

前記受信部は、さらに、前記ユーザ端末から送信される指示情報を受信し、
前記制御部は、前記指示に応じて前記キャラクタオブジェクトの表示態様の変更を行うことを特徴とする請求項１から７のいずれか一項に記載の情報処理システム。

【請求項9】

一又は複数のコンピュータプロセッサに、
ユーザのユーザ端末から送信される、当該ユーザの動きに関する情報、音声に関する情報およびキャラクタオブジェクトに関する情報を含む、動画を生成するための情報を受信可能な受信ステップと、
前記受信ステップにおいて受信した、前記動画を生成するための情報に基づいて、前記キャラクタオブジェクトを用いた複数のユーザ間におけるビデオチャットを実行させる実行ステップと、
前記ユーザ端末の状態を特定する特定ステップと、
前記特定ステップにおいて特定された前記ユーザ端末の状態に応じて、当該ユーザ端末に対応する前記キャラクタオブジェクトの表示態様を変更する制御ステップと
を実行させ、
前記特定ステップでは、前記受信ステップにおいて前記ユーザ端末から前記ユーザの動きに関する情報を受信していない場合、または、前記受信ステップにおいて受信した前記ユーザの動きに関する情報が第一の条件を満たす場合、前記ユーザ端末が第一の状態であると特定し、
前記制御ステップでは、前記特定ステップにおいて、前記ユーザ端末が第一の状態であると特定した場合における前記キャラクタオブジェクトの表示態様の変更として、前記キャラクタオブジェクトに前記ビデオチャットの画面を視ていない様子を表すためのオブジェクトを装着、および／または、前記キャラクタオブジェクトに前記ビデオチャットの画面を視ていない様子を表すための動作を適用させる情報処理方法。

【請求項10】

情報処理装置が備える一又は複数のコンピュータプロセッサに、
ユーザの動きに関する情報、前記ユーザの音声に関する情報および前記ユーザのキャラクタオブジェクトに関する情報を含む、前記ユーザに係る動画を生成するための情報をサーバ装置に送信可能な送信ステップと、
他のユーザの動きに関する情報、前記他のユーザの音声に関する情報および前記他のユーザのキャラクタオブジェクトに関する情報を含む、前記他のユーザに係る動画を生成するための情報をサーバ装置から受信可能な受信ステップと、
前記ユーザに係る動画を生成するための情報、および、前記他のユーザに係る動画を生成するための情報に基づいて、前記ユーザおよび前記他のユーザのキャラクタオブジェクトを用いた複数のユーザ間におけるビデオチャットを実行させる実行ステップと、
前記情報処理装置の状態を特定する特定ステップと、
前記特定ステップにおいて特定された前記情報処理装置の状態に応じて、当該情報処理装置に対応する前記ユーザのキャラクタオブジェクトの表示態様を変更する制御ステップと
を実行させ、
前記特定ステップでは、前記ユーザの動きに関する情報を受信していない場合、または、前記ユーザの動きに関する情報が第一の条件を満たす場合、前記情報処理装置が第一の状態であると特定し、
前記制御ステップでは、前記特定ステップにおいて、前記情報処理装置が第一の状態であると特定した場合における前記ユーザのキャラクタオブジェクトの表示態様の変更として、前記ユーザのキャラクタオブジェクトに前記ビデオチャットの画面を視ていない様子を表すためのオブジェクトを装着、および／または、前記ユーザのキャラクタオブジェクトに前記ビデオチャットの画面を視ていない様子を表すための動作を適用させる情報処理方法。

【請求項11】

情報処理装置が備える一又は複数のコンピュータプロセッサに、
ユーザの動きに関する情報、前記ユーザの音声に関する情報および前記ユーザのキャラクタオブジェクトに関する情報を含む、前記ユーザに係る動画を生成するための情報をサーバ装置に送信可能な送信機能と、
他のユーザの動きに関する情報、前記他のユーザの音声に関する情報および前記他のユーザのキャラクタオブジェクトに関する情報を含む、前記他のユーザに係る動画を生成するための情報をサーバ装置から受信可能な受信機能と、
前記ユーザに係る動画を生成するための情報、および、前記他のユーザに係る動画を生成するための情報に基づいて、前記ユーザおよび前記他のユーザのキャラクタオブジェクトを用いた複数のユーザ間におけるビデオチャットを実行させる実行機能と、
前記情報処理装置の状態を特定する特定機能と、
前記特定機能において特定された前記情報処理装置の状態に応じて、当該情報処理装置に対応する前記ユーザのキャラクタオブジェクトの表示態様を変更する制御機能と
を実現させ、
前記特定機能は、前記ユーザの動きに関する情報を受信していない場合、または、前記ユーザの動きに関する情報が第一の条件を満たす場合、前記情報処理装置が第一の状態であると特定し、
前記制御機能は、前記特定機能により、前記情報処理装置が第一の状態であると特定した場合における前記ユーザのキャラクタオブジェクトの表示態様の変更として、前記ユーザのキャラクタオブジェクトに前記ビデオチャットの画面を視ていない様子を表すためのオブジェクトを装着、および／または、前記ユーザのキャラクタオブジェクトに前記ビデオチャットの画面を視ていない様子を表すための動作を適用させるコンピュータプログラム。

【請求項12】

一又は複数のコンピュータプロセッサに、
ユーザのユーザ端末から送信される、当該ユーザの動きに関する情報、音声に関する情報およびキャラクタオブジェクトに関する情報を含む、動画を生成するための情報を受信可能な受信ステップと、
前記受信ステップにおいて受信した、前記動画を生成するための情報に基づいて、前記キャラクタオブジェクトを用いた複数のユーザ間におけるビデオチャットを実行させる実行ステップと、
前記ユーザ端末の状態を特定する特定ステップと、
前記特定ステップにおいて特定された前記ユーザ端末の状態に応じて、当該ユーザ端末に対応する前記キャラクタオブジェクトの表示態様を変更する制御ステップと
を実行させ、
前記特定ステップでは、前記受信ステップにおいて前記ユーザ端末から前記音声に関する情報を受信していない場合、または、前記受信ステップにおいて受信した前記音声に関する情報が第二の条件を満たす場合、前記ユーザ端末が第二の状態であると特定し、
前記制御ステップでは、前記特定ステップにおいて、前記ユーザ端末が第二の状態であると特定した場合における前記キャラクタオブジェクトの表示態様の変更として、前記キャラクタオブジェクトに発声していない様子を表すためのオブジェクトを装着、および／または、前記キャラクタオブジェクトに発声していない様子を表すための動作を適用させる情報処理方法。

【請求項13】

情報処理装置が備える一又は複数のコンピュータプロセッサに、
ユーザの動きに関する情報、前記ユーザの音声に関する情報および前記ユーザのキャラクタオブジェクトに関する情報を含む、前記ユーザに係る動画を生成するための情報をサーバ装置に送信可能な送信ステップと、
他のユーザの動きに関する情報、前記他のユーザの音声に関する情報および前記他のユーザのキャラクタオブジェクトに関する情報を含む、前記他のユーザに係る動画を生成するための情報をサーバ装置から受信可能な受信ステップと、
前記ユーザに係る動画を生成するための情報、および、前記他のユーザに係る動画を生成するための情報に基づいて、前記ユーザおよび前記他のユーザのキャラクタオブジェクトを用いた複数のユーザ間におけるビデオチャットを実行させる実行ステップと、
前記情報処理装置の状態を特定する特定ステップと、
前記特定ステップにおいて特定された前記情報処理装置の状態に応じて、当該情報処理装置に対応する前記ユーザのキャラクタオブジェクトの表示態様を変更する制御ステップと
を実行させ、
前記特定ステップでは、前記音声に関する情報を受信していない場合、または、前記音声に関する情報が第二の条件を満たす場合、前記情報処理装置が第二の状態であると特定し、
前記制御ステップでは、前記特定ステップにおいて、前記情報処理装置が第二の状態であると特定した場合における前記ユーザのキャラクタオブジェクトの表示態様の変更として、前記ユーザのキャラクタオブジェクトに発声していない様子を表すためのオブジェクトを装着、および／または、前記ユーザのキャラクタオブジェクトに発声していない様子を表すための動作を適用させる情報処理方法。

【請求項14】

情報処理装置が備える一又は複数のコンピュータプロセッサに、
ユーザの動きに関する情報、前記ユーザの音声に関する情報および前記ユーザのキャラクタオブジェクトに関する情報を含む、前記ユーザに係る動画を生成するための情報をサーバ装置に送信可能な送信機能と、
他のユーザの動きに関する情報、前記他のユーザの音声に関する情報および前記他のユーザのキャラクタオブジェクトに関する情報を含む、前記他のユーザに係る動画を生成するための情報をサーバ装置から受信可能な受信機能と、
前記ユーザに係る動画を生成するための情報、および、前記他のユーザに係る動画を生成するための情報に基づいて、前記ユーザおよび前記他のユーザのキャラクタオブジェクトを用いた複数のユーザ間におけるビデオチャットを実行させる実行機能と、
前記情報処理装置の状態を特定する特定機能と、
前記特定機能において特定された前記情報処理装置の状態に応じて、当該情報処理装置に対応する前記ユーザのキャラクタオブジェクトの表示態様を変更する制御機能と
を実現させ、
前記特定機能は、前記音声に関する情報を受信していない場合、または、前記音声に関する情報が第二の条件を満たす場合、前記情報処理装置が第二の状態であると特定し、
前記制御機能は、前記特定機能が、前記情報処理装置が第二の状態であると特定した場合における前記ユーザのキャラクタオブジェクトの表示態様の変更として、前記ユーザのキャラクタオブジェクトに発声していない様子を表すためのオブジェクトを装着、および／または、前記ユーザのキャラクタオブジェクトに発声していない様子を表すための動作を適用させるコンピュータプログラム。

【請求項15】

一又は複数のコンピュータプロセッサに、
ユーザのユーザ端末から送信される、当該ユーザの動きに関する情報、音声に関する情報およびキャラクタオブジェクトに関する情報を含む、動画を生成するための情報を受信可能な受信ステップと、
前記受信ステップにおいて受信した、前記動画を生成するための情報に基づいて、前記キャラクタオブジェクトを用いた複数のユーザ間におけるビデオチャットを実行させる実行ステップと、
前記ユーザ端末の状態を特定する特定ステップと、
前記特定ステップにおいて特定された前記ユーザ端末の状態に応じて、当該ユーザ端末に対応する前記キャラクタオブジェクトの表示態様を変更する制御ステップと
を実行させ、
前記特定ステップでは、前記受信ステップにおいて、前記ユーザ端末において特定のアプリケーションが起動または表示されていることを示す情報を受信している場合、前記ユーザ端末が第三の状態であると特定し、
前記制御ステップでは、前記特定ステップにおいて、前記ユーザ端末が第三の状態であると特定した場合における前記キャラクタオブジェクトの表示態様の変更として、前記キャラクタオブジェクトに音楽を聴いている様子を表すためのオブジェクトを装着、および／または、前記キャラクタオブジェクトに音楽を聴いている様子を表すための動作を適用させる情報処理方法。

【請求項16】

情報処理装置が備える一又は複数のコンピュータプロセッサに、
ユーザの動きに関する情報、前記ユーザの音声に関する情報および前記ユーザのキャラクタオブジェクトに関する情報を含む、前記ユーザに係る動画を生成するための情報をサーバ装置に送信可能な送信ステップと、
他のユーザの動きに関する情報、前記他のユーザの音声に関する情報および前記他のユーザのキャラクタオブジェクトに関する情報を含む、前記他のユーザに係る動画を生成するための情報をサーバ装置から受信可能な受信ステップと、
前記ユーザに係る動画を生成するための情報、および、前記他のユーザに係る動画を生成するための情報に基づいて、前記ユーザおよび前記他のユーザのキャラクタオブジェクトを用いた複数のユーザ間におけるビデオチャットを実行させる実行ステップと、
前記情報処理装置の状態を特定する特定ステップと、
前記特定ステップにおいて特定された前記情報処理装置の状態に応じて、当該情報処理装置に対応する前記ユーザのキャラクタオブジェクトの表示態様を変更する制御ステップと
を実行させ、
前記特定ステップでは、前記情報処理装置において特定のアプリケーションが起動または表示されていることを示す情報を受信している場合、前記情報処理装置が第三の状態であると特定し、
前記制御ステップでは、前記特定ステップにおいて、前記情報処理装置が第三の状態であると特定した場合における前記ユーザのキャラクタオブジェクトの表示態様の変更として、前記ユーザのキャラクタオブジェクトに音楽を聴いている様子を表すためのオブジェクトを装着、および／または、前記ユーザのキャラクタオブジェクトに音楽を聴いている様子を表すための動作を適用させる情報処理方法。

【請求項17】

情報処理装置が備える一又は複数のコンピュータプロセッサに、
ユーザの動きに関する情報、前記ユーザの音声に関する情報および前記ユーザのキャラクタオブジェクトに関する情報を含む、前記ユーザに係る動画を生成するための情報をサーバ装置に送信可能な送信機能と、
他のユーザの動きに関する情報、前記他のユーザの音声に関する情報および前記他のユーザのキャラクタオブジェクトに関する情報を含む、前記他のユーザに係る動画を生成するための情報をサーバ装置から受信可能な受信機能と、
前記ユーザに係る動画を生成するための情報、および、前記他のユーザに係る動画を生成するための情報に基づいて、前記ユーザおよび前記他のユーザのキャラクタオブジェクトを用いた複数のユーザ間におけるビデオチャットを実行させる実行機能と、
前記情報処理装置の状態を特定する特定機能と、
前記特定機能において特定された前記情報処理装置の状態に応じて、当該情報処理装置に対応する前記ユーザのキャラクタオブジェクトの表示態様を変更する制御機能と
を実現させ、
前記特定機能は、前記情報処理装置において特定のアプリケーションが起動または表示されていることを示す情報を受信している場合、前記情報処理装置が第三の状態であると特定し、
前記制御機能は、前記特定機能により、前記情報処理装置が第三の状態であると特定した場合における前記ユーザのキャラクタオブジェクトの表示態様の変更として、前記ユーザのキャラクタオブジェクトに音楽を聴いている様子を表すためのオブジェクトを装着、および／または、前記ユーザのキャラクタオブジェクトに音楽を聴いている様子を表すための動作を適用させるコンピュータプログラム。

【請求項18】

一又は複数のコンピュータプロセッサに、
ユーザのユーザ端末から送信される、当該ユーザの動きに関する情報、音声に関する情報およびキャラクタオブジェクトに関する情報を含む、動画を生成するための情報を受信可能な受信ステップと、
前記受信ステップにおいて受信した、前記動画を生成するための情報に基づいて、前記キャラクタオブジェクトを用いた複数のユーザ間におけるビデオチャットを実行させる実行ステップと、
前記ユーザ端末の状態を特定する特定ステップと、
前記特定ステップにおいて特定された前記ユーザ端末の状態に応じて、当該ユーザ端末に対応する前記キャラクタオブジェクトの表示態様を変更する制御ステップと
を実行させ、
前記特定ステップでは、前記受信ステップにおいて受信した前記音声に関する情報に含まれる前記ユーザによる発声以外の他の音声の音量が第一の値以上である場合、前記ユーザ端末が第四の状態であると特定し、
前記制御ステップでは、前記特定ステップにおいて、前記ユーザ端末が第四の状態であると特定した場合における前記キャラクタオブジェクトの表示態様の変更として、前記キャラクタオブジェクトにビデオチャットの音声を聞き辛く感じている様子を表すためのオブジェクトを装着、および／または、前記キャラクタオブジェクトがビデオチャットの音声を聞き辛く感じている様子を表すための動作を適用させる情報処理方法。

【請求項19】

情報処理装置が備える一又は複数のコンピュータプロセッサに、
ユーザの動きに関する情報、前記ユーザの音声に関する情報および前記ユーザのキャラクタオブジェクトに関する情報を含む、前記ユーザに係る動画を生成するための情報をサーバ装置に送信可能な送信ステップと、
他のユーザの動きに関する情報、前記他のユーザの音声に関する情報および前記他のユーザのキャラクタオブジェクトに関する情報を含む、前記他のユーザに係る動画を生成するための情報をサーバ装置から受信可能な受信ステップと、
前記ユーザに係る動画を生成するための情報、および、前記他のユーザに係る動画を生成するための情報に基づいて、前記ユーザおよび前記他のユーザのキャラクタオブジェクトを用いた複数のユーザ間におけるビデオチャットを実行させる実行ステップと、
前記情報処理装置の状態を特定する特定ステップと、
前記特定ステップにおいて特定された前記情報処理装置の状態に応じて、当該情報処理装置に対応する前記ユーザのキャラクタオブジェクトの表示態様を変更する制御ステップと
を実行させ、
前記特定ステップでは、前記音声に関する情報に含まれる前記ユーザによる発声以外の他の音声の音量が第一の値以上である場合、前記情報処理装置が第四の状態であると特定し、
前記制御ステップでは、前記特定ステップにおいて、前記情報処理装置が第四の状態であると特定した場合における前記ユーザのキャラクタオブジェクトの表示態様の変更として、前記ユーザのキャラクタオブジェクトにビデオチャットの音声を聞き辛く感じている様子を表すためのオブジェクトを装着、および／または、前記ユーザのキャラクタオブジェクトがビデオチャットの音声を聞き辛く感じている様子を表すための動作を適用させる情報処理方法。

【請求項20】

情報処理装置が備える一又は複数のコンピュータプロセッサに、
ユーザの動きに関する情報、前記ユーザの音声に関する情報および前記ユーザのキャラクタオブジェクトに関する情報を含む、前記ユーザに係る動画を生成するための情報をサーバ装置に送信可能な送信機能と、
他のユーザの動きに関する情報、前記他のユーザの音声に関する情報および前記他のユーザのキャラクタオブジェクトに関する情報を含む、前記他のユーザに係る動画を生成するための情報をサーバ装置から受信可能な受信機能と、
前記ユーザに係る動画を生成するための情報、および、前記他のユーザに係る動画を生成するための情報に基づいて、前記ユーザおよび前記他のユーザのキャラクタオブジェクトを用いた複数のユーザ間におけるビデオチャットを実行させる実行機能と、
前記情報処理装置の状態を特定する特定機能と、
前記特定機能において特定された前記情報処理装置の状態に応じて、当該情報処理装置に対応する前記ユーザのキャラクタオブジェクトの表示態様を変更する制御機能と
を実現させ、
前記特定機能は、前記音声に関する情報に含まれる前記ユーザによる発声以外の他の音声の音量が第一の値以上である場合、前記情報処理装置が第四の状態であると特定し、
前記制御機能は、前記特定機能により、前記情報処理装置が第四の状態であると特定した場合における前記ユーザのキャラクタオブジェクトの表示態様の変更として、前記ユーザのキャラクタオブジェクトにビデオチャットの音声を聞き辛く感じている様子を表すためのオブジェクトを装着、および／または、前記ユーザのキャラクタオブジェクトがビデオチャットの音声を聞き辛く感じている様子を表すための動作を適用させるコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理システム、情報処理方法およびコンピュータプログラムに関する。

【背景技術】

【0002】

アクターの動きに基づいてキャラクタオブジェクトのアニメーションを生成し、かかるキャラクタオブジェクトのアニメーションを含む動画を配信する情報処理システムが知られている（例えば、特許文献１参照）。

【0003】

また、仮想空間を介してユーザとのビデオチャットを実行させるための技術も開発されている（例えば、特許文献２参照）。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１５－１８４６８９号公報

【文献】特開２０１６－１５２６１９号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

このような動画の配信およびビデオチャットに係る技術分野において、参加するユーザ間におけるコミュニケーションの活性化は重要な課題の一つである。

【0006】

本開示の目的は、上述した従来技術の課題の少なくとも一部を解決又は緩和する技術的な改善を提供することである。本開示のより具体的な目的の一つは、ユーザ間におけるコミュニケーションの活性化を図る情報処理システム、情報処理方法およびコンピュータプログラムを提供することにある。

【課題を解決するための手段】

【0007】

本開示における情報処理システムは、一又は複数のコンピュータプロセッサを備える情報処理システムであって、一又は複数のコンピュータプロセッサは、ユーザのユーザ端末から送信される、当該ユーザの動きに関する情報、音声に関する情報およびキャラクタオブジェクトに関する情報を含む、動画を生成するための情報を受信可能な受信部と、受信部が受信した、動画を生成するための情報に基づいて、キャラクタオブジェクトを用いた複数のユーザ間におけるビデオチャットを実行させる実行部と、ユーザ端末の状態を特定する特定部と、特定部により特定されたユーザ端末の状態に応じて、当該ユーザ端末に対応するキャラクタオブジェクトの表示態様を変更することを特徴とする。

【0008】

特定部は、受信部がユーザ端末からユーザの動きに関する情報を受信していない場合、または、受信部が受信したユーザの動きに関する情報が第一の条件を満たす場合、ユーザ端末が第一の状態であると特定することができる。

【0009】

第一の条件は、受信部が、同じ動きに関する情報を所定期間受信し続けていること、または、動きが変化した場合にのみ送信される動きの変化量に関する情報を所定期間受信しないこととすることができる。

【0010】

特定部が、ユーザ端末が第一の状態であると特定した場合、制御部は、キャラクタオブジェクトの表示態様の変更として、キャラクタオブジェクトに第一の特定のオブジェクトを装着、および／または、キャラクタオブジェクトに第一の特定の動作を適用させることができる。

【0011】

第一の特定のオブジェクトは、キャラクタオブジェクトがビデオチャットの画面を視ていない様子を表すためのオブジェクトであり、第一の特定の動作は、キャラクタオブジェクトがビデオチャットの画面を視ていない様子を表すための動作とすることができる。

【0012】

特定部は、受信部がユーザ端末から音声に関する情報を受信していない場合、または、受信部が受信した音声に関する情報が第二の条件を満たす場合、ユーザ端末が第二の状態であると特定することができる。

【0013】

特定部が、ユーザ端末が第二の状態であると特定した場合、制御部は、キャラクタオブジェクトの表示態様の変更として、キャラクタオブジェクトに第二の特定のオブジェクトを装着、および／または、キャラクタオブジェクトに第二の特定の動作を適用させることができる。

【0014】

第二の特定のオブジェクトは、キャラクタオブジェクトが発声していない様子を表すためのオブジェクトであり、第二の特定の動作は、キャラクタオブジェクトが発声していない様子を表すための動作とすることができる。

【0015】

特定部は、受信部が、ユーザ端末において特定のアプリケーションが起動または表示されていることを示す情報を受信している場合、ユーザ端末が第三の状態であると特定することができる。

【0016】

特定部は、受信部が、ユーザ端末において音楽再生アプリを起動していることを示す情報を受信している場合、ユーザ端末が第三の状態であると特定することができる。

【0017】

特定部が、ユーザ端末が第三の状態であると特定した場合、制御部は、キャラクタオブジェクトの表示態様の変更として、キャラクタオブジェクトに第三の特定のオブジェクトを装着、および／または、キャラクタオブジェクトに第三の特定の動作を適用させることができる。

【0018】

第三の特定のオブジェクトは、キャラクタオブジェクトが音楽を聴いている様子を表すためのオブジェクトであり、第三の特定の動作は、キャラクタオブジェクトが音楽を聴いている様子を表すための動作とすることができる。

【0019】

特定部は、受信部が受信した音声に関する情報に含まれるユーザによる発声以外の他の音声の音量が第一の値以上である場合、ユーザ端末が第四の状態であると特定することができる。

【0020】

特定部が、ユーザ端末が第四の状態であると特定した場合、制御部は、キャラクタオブジェクトの表示態様の変更として、キャラクタオブジェクトに第四の特定のオブジェクトを装着、および／または、キャラクタオブジェクトに第四の特定の動作を適用させることができる。

【0021】

第四の特定のオブジェクトは、キャラクタオブジェクトがビデオチャットの音声を聞き辛く感じている様子を表すためのオブジェクトであり、第四の特定の動作は、キャラクタオブジェクトがビデオチャットの音声を聞き辛く感じている様子を表すための動作とすることができる。

【0022】

特定部が、ユーザ端末が第四の状態であると特定した場合、制御部は、他の音声の音量が第二の値以上である場合に、音声に関する情報を含めずに動画を生成することができる。

【0023】

特定部は、受信部がユーザ端末からユーザの動きに関する情報を受信していないが音声に関する情報を受信している場合、ユーザ端末が第五の状態であると特定することができる。

【0024】

特定部が、ユーザ端末が第五の状態であると特定した場合、制御部は、キャラクタオブジェクトの表示態様の変更として、キャラクタオブジェクトに第五の動作を適用させることができる。

【0025】

第五の動作は、キャラクタオブジェクトの口を音声に関する情報に応じて動作させるものとすることができる。

【0026】

受信部は、さらに、ユーザ端末から送信されるユーザ端末の位置情報を受信し、特定部は、位置情報が所定の条件を満たす場合に、ユーザ端末が第六の状態であると特定することができる。

【0027】

特定部が、ユーザ端末が第六の状態であると特定した場合、制御部は、キャラクタオブジェクトの表示態様の変更として、位置情報に基づく移動速度に応じて、キャラクタオブジェクトに第六の特定のオブジェクトを装着、および／または、キャラクタオブジェクトに第六の特定の動作を適用させることができる。

【0028】

第六の特定のオブジェクトは、キャラクタオブジェクトが移動している様子を表すためのオブジェクトであり、第六の特定の動作は、キャラクタオブジェクトが移動している様子を表すための動作とすることができる。

【0029】

受信部は、さらに、ユーザ端末から送信される指示情報を受信し、制御部は、指示に応じてキャラクタオブジェクトの表示態様の変更を行うことができる。

【0030】

制御部は、キャラクタオブジェクトの表示態様の変更として、キャラクタオブジェクトに第七の特定のオブジェクトを装着、および／または、キャラクタオブジェクトに第七の特定の動作を適用させることができる。

【0031】

第七の特定のオブジェクトは、所定のテキストが表示されたオブジェクトであり、第七の特定の動作は、キャラクタオブジェクトの少なくとも一部を所定の間隔で動かす動作とすることができる。

【0032】

特定部は、受信部が受信した音声に関する情報に含まれるユーザによる発声の音量が所定の条件を満たす場合に、ユーザ端末が第八の状態であると特定することができる。

【0033】

特定部が、ユーザ端末が第八の状態であると特定した場合、制御部は、さらに、発声の音量に応じて、キャラクタオブジェクトに第八の特定のオブジェクトを装着、および／または、動画に第八の特定のオブジェクトを表示させることができる。

【0034】

本開示における情報処理方法は、一又は複数のコンピュータプロセッサに、ユーザのユーザ端末から送信される、当該ユーザの動きに関する情報、音声に関する情報およびキャラクタオブジェクトに関する情報を含む、動画を生成するための情報を受信可能な受信ステップと、受信ステップにおいて受信した、動画を生成するための情報に基づいて、キャラクタオブジェクトを用いた複数のユーザ間におけるビデオチャットを実行させる実行ステップと、ユーザ端末の状態を特定する特定ステップと、特定ステップにおいて特定された情報処理装置の状態に応じて、当該ユーザ端末に対応するキャラクタオブジェクトの表示態様を変更する制御ステップとを実行させることを特徴とする。

【0035】

本開示における情報処理方法は、情報処理装置が備える一又は複数のコンピュータプロセッサに、ユーザの動きに関する情報、音声に関する情報およびキャラクタオブジェクトに関する情報を含む、ユーザに係る動画を生成するための情報をサーバ装置に送信可能な送信ステップと、他のユーザの動きに関する情報、音声に関する情報およびキャラクタオブジェクトに関する情報を含む、他のユーザに係る動画を生成するための情報をサーバ装置から受信可能な受信ステップと、ユーザに係る動画を生成するための情報、および、他のユーザに係る動画を生成するための情報に基づいて、キャラクタオブジェクトを用いた複数のユーザ間におけるビデオチャットを実行させる実行ステップと、情報処理装置の状態を特定する特定ステップと、特定ステップにおいて特定された情報処理装置の状態に応じて、当該ユーザ端末に対応するキャラクタオブジェクトの表示態様を変更する制御ステップとを実行させることを特徴とする。

【0036】

本開示におけるコンピュータプログラムは、情報処理装置が備える一又は複数のコンピュータプロセッサに、ユーザの動きに関する情報、音声に関する情報およびキャラクタオブジェクトに関する情報を含む、ユーザに係る動画を生成するための情報をサーバ装置に送信可能な送信機能と、他のユーザの動きに関する情報、音声に関する情報およびキャラクタオブジェクトに関する情報を含む、他のユーザに係る動画を生成するための情報をサーバ装置から受信可能な受信機能と、ユーザに係る動画を生成するための情報、および、他のユーザに係る動画を生成するための情報に基づいて、キャラクタオブジェクトを用いた複数のユーザ間におけるビデオチャットを実行させる実行機能と、情報処理装置の状態を特定する特定機能と、特定機能において特定されたユーザ端末の状態に応じて、当該ユーザ端末に対応するキャラクタオブジェクトの表示態様を変更する制御機能とを実現させることを特徴とする。

【発明の効果】

【0037】

本開示によれば、上述した従来技術の課題の少なくとも一部を解決又は緩和する技術的な改善を提供することができる。具体的には、本開示によれば、ユーザ間におけるコミュニケーションの活性化を図る技術を提供することができる。

【図面の簡単な説明】

【0038】

【図1】本開示における情報処理システムの一例を示すシステム構成図である。

【図2】本開示における情報処理システムの一例を示すシステム構成図である。

【図3】本開示における情報処理システムの一例を示すシステム構成図である。

【図4】本開示におけるサーバ装置、配信ユーザ端末および視聴ユーザ端末のハードウェア構成の一例を示す構成図である。

【図5】ユーザ端末に表示される画面のイメージを示した概念図である。

【図6】ユーザ端末に表示される画面のイメージを示した概念図である。

【図7】ユーザ端末に表示される画面のイメージを示した概念図である。

【図8】ユーザ端末に表示される画面のイメージを示した概念図である。

【図9】ユーザ端末に表示される画面のイメージを示した概念図である。

【図10】ユーザ端末に表示される画面のイメージを示した概念図である。

【図11】ユーザ端末に表示される画面のイメージを示した概念図である。

【図12】ユーザ端末に表示される画面のイメージを示した概念図である。

【図13】ユーザ端末に表示される画面のイメージを示した概念図である。

【図14】ユーザ端末に表示される画面のイメージを示した概念図である。

【図15】ユーザ端末に表示される画面のイメージを示した概念図である。

【図16】ユーザ端末に表示される画面のイメージを示した概念図である。

【図17】ユーザ端末に表示される画面のイメージを示した概念図である。

【図18】ユーザ端末に表示される画面のイメージを示した概念図である。

【図19】ユーザ端末に表示される画面のイメージを示した概念図である。

【図20】ユーザ端末に表示される画面のイメージを示した概念図である。

【図21】ユーザ端末に表示される画面のイメージを示した概念図である。

【図22】ユーザ端末に表示される画面のイメージを示した概念図である。

【図23】ユーザ端末に表示される画面のイメージを示した概念図である。

【図24】本開示におけるサーバ装置の機能構成の一例を示す構成図である。

【図25】ユーザ端末に表示される画面のイメージを示した概念図である。

【図26】ユーザ端末に表示される画面のイメージを示した概念図である。

【図27】ユーザ端末に表示される画面のイメージを示した概念図である。

【図28】キャラクタオブジェクトに適用させるオブジェクトまたは動作のイメージを示した概念図である。

【図29】キャラクタオブジェクトに適用させるオブジェクトまたは動作のイメージを示した概念図である。

【図30】キャラクタオブジェクトに適用させるオブジェクトまたは動作のイメージを示した概念図である。

【図31】キャラクタオブジェクトに適用させるオブジェクトまたは動作のイメージを示した概念図である。

【図32】キャラクタオブジェクトに適用させるオブジェクトまたは動作のイメージを示した概念図である。

【図33】本開示における情報処理方法のフローの一例を示すフロー図である。

【図34】本開示におけるコンピュータプログラムを実現するための回路構成の一例を示す回路構成図である。

【図35】本開示におけるユーザ端末の機能構成の一例を示す構成図である。

【図36】本開示におけるユーザ端末における情報処理方法のフローの一例を示すフロー図である。

【図37】本開示におけるユーザ端末で実行されるコンピュータプログラムを実現するための回路構成の一例を示す回路構成図である。

【発明を実施するための形態】

【0039】

初めに、本開示の実施形態に係る情報処理システムの概要について図面を参照しながら説明する。

【0040】

本開示における情報処理システムは、一以上のクライアント装置およびサーバ装置を備える情報処理システムであって、一又は複数のコンピュータプロセッサを備える。

【0041】

各クライアント装置に表示される動画は、配信ユーザの動きに基づいて生成される３Ｄまたは２Ｄのキャラクタオブジェクトのアニメーションを含むものとして説明を行うが、これに限られるものではなく、配信ユーザの操作に応じて生成されるキャラクタオブジェクトのアニメーションを含むものとしてもよいし、配信ユーザ本人の画像を含むものとしてもよい。また、これらキャラクタオブジェクトや配信ユーザは表示されず、配信ユーザの声のみを含むものとしてもよい。

【0042】

ここで、配信ユーザは、映像および／または音声に関する情報を送信する側のユーザを意味するものとする。例えば、配信ユーザは、単独での動画配信、複数人が参加可能なコラボ配信、複数人が参加および／または視聴可能なビデオチャットまたはボイスチャット、複数人が参加および／または視聴可能な仮想空間上でのイベント（パーティなど）を主催または開催するユーザ、すなわち、これらをメインで実行するユーザであればよい。そのため、本開示における配信ユーザは、ホストユーザ、主催ユーザまたは開催ユーザなどと言い換えることもできる。

【0043】

一方で、視聴ユーザは、映像および／または音声に関する情報を受信する側のユーザを意味するものとする。ただし、視聴ユーザは上記情報を受信するのみならず、リアクションすることも可能なユーザとすることができる。例えば、視聴ユーザは、動画配信、コラボ配信を視聴するユーザ、または、ビデオチャット、ボイスチャットやイベントに参加および／またはこれらを視聴するユーザであればよい。そのため、本開示における視聴ユーザは、ゲストユーザ、参加ユーザ、リスナー、観覧ユーザ、応援ユーザなどと言い換えることもできる。

【0044】

また、本開示の実施形態における情報処理システムは、多くの人が同時に参加してキャラクタオブジェクト（アバタ）を通じた交流や仕事、遊びなどを実社会に近いレベルの自由な活動ができるデジタル世界であって、現実と仮想の隔たりを超えて社会活動ができる、次のインターネット空間（メタバース）を提供するために用いられることができる。

【0045】

このような空間において、ユーザのアバタはワールド内を自由に歩き回り、互いにコミュニケーションをとることが可能である。

【0046】

そして、かかる仮想空間にいる複数のアバタの中の一のアバタ（キャラクタオブジェクト）が、配信ユーザのキャラクタオブジェクトとして動画を配信できる構成としてもよい。すなわち、多対多のメタバースな仮想空間において一対多の動画配信を行うことができるものとしてもよい。

【0047】

このような空間において、配信ユーザと視聴ユーザとは特に区別されないものとすることができる。

【0048】

また、動画に表される空間は仮想空間であってもよいし、現実空間であってもよいし、これらが融合した拡張現実空間であってもよい。また、動画は、少なくとも所定の映像および配信ユーザの声を再生するカラオケ動画やゲーム実況動画のようなものであってもよいし、これらにキャラクタオブジェクトまたは配信ユーザの実画像を重畳して表示したものであってもよい。

【0049】

また、現実空間に配信ユーザが含まれる場合には、当該配信ユーザの実画像に当該配信ユーザの動きに基づいて生成されるキャラクタオブジェクトを重ねて表示させてもよい。また、現実空間の撮影画像に、ギフトオブジェクト等のアニメーションを重ねて表示してもよい。

【0050】

＜システム構成＞
図１に一例として示されるように、本開示に係る情報処理システム１０００は、１以上の視聴ユーザ端末１１００、および、これら視聴ユーザ端末１１００とネットワーク１２００を介して接続される、動画の配信スタジオ等に配置された情報処理装置（サポートコンピュータ）１３００を含むことができる。

【0051】

また、当該情報処理装置１３００は、インターネットを介して所定のサーバ装置と接続され、情報処理装置１３００で行われるべき処理の一部または全部は当該サーバ装置で行われるものとしてもよい。なお、かかるサーバ装置は、図２に示す情報処理装置２４００としてもよい。

【0052】

本明細書において、かかる情報処理システム１０００による配信を、スタジオ配信と呼ぶものとする。

【0053】

スタジオ配信において、配信ユーザ（アクター）の全身の動きは、配信ユーザに取り付けられたマーカをスタジオに備え付けられたカメラで撮影し、既知のモーションキャプチャ技術を用いてリアルタイムでキャラクタに反映させるものとする。

【0054】

また、本発明の情報処理システム１０００は、図２に一例として示される別の情報処理システム２０００と連携することができる。図２に示される情報処理システム２０００は、配信ユーザ端末２１００、１以上の視聴ユーザ端末２２００、および、これら配信ユーザ端末２１００および視聴ユーザ端末２２００とネットワーク２３００を介して接続される情報処理装置（サーバ装置）２４００を含むことができる。

【0055】

上記の例において、配信ユーザ端末２１００はスマートフォン等の情報処理端末とすることができる。本明細書において、かかる情報処理システム２０００による配信を、モバイル配信と呼ぶものとする。

【0056】

モバイル配信において、配信ユーザの顔の動きは、配信ユーザの顔を配信ユーザ端末２１００が備えるカメラで撮影し、既知のフェイストラッキング技術を用いてリアルタイムでキャラクタの顔に反映させるものとする。

【0057】

なお、モバイル配信における配信ユーザと視聴ユーザの区別は特になく、視聴ユーザはいつでもモバイル配信が可能であり、配信ユーザは他の配信ユーザの動画を視聴する場合には視聴ユーザとなりうる。

【0058】

上記情報処理システム１０００および情報処理システム２０００により生成される動画は、一例として、一の動画配信プラットフォームから、視聴ユーザへ配信することができる。

【0059】

また、いずれの配信においても、モーションをキャラクタに反映させてアニメーションを生成する処理および後述するギフトを表示する処理等は、配信ユーザ端末、視聴ユーザ端末、情報処理装置および他の装置により分担して行われてもよい。

【0060】

すなわち、ここでいう「配信」は、視聴ユーザの端末において動画を視聴可能とするための情報を送信することをいい、動画のレンダリングは情報処理装置１３００，２４００側で行われるものであってもよいし、配信ユーザ端末２１００，視聴ユーザ端末１１００，２２００側で行われるものであってもよい。

【0061】

具体的には、キャラクタオブジェクトのアニメーションを生成する（レンダリングする）端末または装置には、配信ユーザ端末または情報処理装置から、配信ユーザのフェイスモーションデータおよび音声データが送信される。また、フェイスモーションに加えてボディモーションが送信されてもよい。

【0062】

本開示において、アニメーションを生成する処理は配信ユーザ端末および視聴ユーザ端末のそれぞれで行うものとして説明を行うが、これに限られるものではない。

【0063】

そして、本開示における情報処理システムは、図１および図２に示した例のいずれの場合にも適用が可能である。そこで、本開示の実施形態における情報処理システム３０００は、図３に示されるように、配信ユーザ端末１００、視聴ユーザ端末２００、および、これら配信ユーザ端末１００および視聴ユーザ端末２００とネットワーク３００を介して接続可能なサーバ装置４００を備えるものとして説明を行う。

【0064】

配信ユーザ端末１００および視聴ユーザ端末２００は、例えば、基地局、移動体通信網、ゲートウェイおよびインターネットを介してサーバ装置４００と相互に接続される。配信ユーザ端末１００および視聴ユーザ端末２００とサーバ装置４００との間では、ハイパーテキスト転送プロトコル（Hypertext Transfer Protocol，HTTP）等の通信プロトコルに基づいて通信が行われる。また、配信ユーザ端末１００および視聴ユーザ端末２００とサーバ装置４００との間において、最初にＨＴＴＰ通信によりコネクションが確立され、その後は、ＨＴＴＰ通信よりも小コスト（通信負荷及び処理負荷が少ない）の双方向通信が行われるＷｅｂＳｏｃｋｅｔに基づいて通信が行われてもよい。なお、配信ユーザ端末１００および視聴ユーザ端末２００とサーバ装置４００との間の通信方式は、上述の方式に限定されず、本実施形態を実現できるものであれば、どのような通信方式の技術が用いられてもよい。

【0065】

配信ユーザ端末１００は、少なくとも上述した情報処理装置１３００または配信ユーザ端末２１００として機能するものであり、視聴ユーザ端末２００は、少なくとも上述した一以上の視聴ユーザ端末１１００，２２００として機能するものであり、サーバ装置４００は、少なくとも上述した所定のサーバ装置または情報処理装置２４００として機能するものである。

【0066】

本開示において配信ユーザ端末１００および視聴ユーザ端末２００は、スマートフォン（多機能電話端末）、タブレット端末、パーソナルコンピュータ、コンソールゲーム機、ヘッドマウントディスプレイ（ＨＭＤ）、眼鏡型のウェアラブル端末（ＡＲグラス等）等のウェアラブルコンピュータ、及びこれらの装置以外の動画を再生可能な情報処理装置とすることができる。また、これら端末は、単独で動作するスタンドアロン型の装置であってもよく、互いに各種のデータを送受信可能に接続された複数の装置から構成されるものであってもよい。

【0067】

＜ハードウェア構成＞
ここで、図４を用いて、配信ユーザ端末１００のハードウェア構成について説明する。配信ユーザ端末１００は、プロセッサ１０１と、メモリ１０２と、ストレージ１０３と、入出力インターフェース（入出力Ｉ／Ｆ）１０４と、通信インターフェース（通信Ｉ／Ｆ）１０５とを含む。各構成要素は、バスＢを介して相互に接続される。

【0068】

配信ユーザ端末１００は、プロセッサ１０１と、メモリ１０２と、ストレージ１０３と、入出力Ｉ／Ｆ１０４と、通信Ｉ／Ｆ１０５との協働により、本実施形態に記載される機能、方法を実現することができる。

【0069】

プロセッサ１０１は、ストレージ１０３に記憶されるプログラムに含まれるコード又は命令によって実現する機能、及び／又は、方法を実行する。プロセッサ１０１は、例えば、中央処理装置（ＣＰＵ）、ＭＰＵ（Micro Processing Unit）、ＧＰＵ（Graphics Processing Unit）、マイクロプロセッサ（microprocessor）、プロセッサコア（processor core）、マルチプロセッサ（multiprocessor）、ＡＳＩＣ（Application-Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）等を含み、集積回路（ＩＣ（Integrated Circuit）チップ、ＬＳＩ（Large Scale Integration））等に形成された論理回路（ハードウェア）や専用回路によって各実施形態に開示される各処理を実現してもよい。また、これらの回路は、１又は複数の集積回路により実現されてよく、各実施形態に示す複数の処理を１つの集積回路により実現されることとしてもよい。また、ＬＳＩは、集積度の違いにより、ＶＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩ等と呼称されることもある。

【0070】

メモリ１０２は、ストレージ１０３からロードしたプログラムを一時的に記憶し、プロセッサ１０１に対して作業領域を提供する。メモリ１０２には、プロセッサ１０１がプログラムを実行している間に生成される各種データも一時的に格納される。メモリ１０２は、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等を含む。

【0071】

ストレージ１０３は、プログラムを記憶する。ストレージ１０３は、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、フラッシュメモリ等を含む。

【0072】

通信Ｉ／Ｆ１０５は、ネットワークアダプタ等のハードウェアや通信用ソフトウェア、及びこれらの組み合わせとして実装され、ネットワーク３００を介して各種データの送受信を行う。当該通信は、有線、無線のいずれで実行されてもよく、互いの通信が実行できるのであれば、どのような通信プロトコルを用いてもよい。通信Ｉ／Ｆ１０５は、ネットワーク３００を介して、他の情報処理装置との通信を実行する。通信Ｉ／Ｆ１０５は、各種データをプロセッサ１０１からの指示に従って、他の情報処理装置に送信する。また、通信Ｉ／Ｆ１０５は、他の情報処理装置から送信された各種データを受信し、プロセッサ１０１に伝達する。

【0073】

入出力Ｉ／Ｆ１０４は、配信ユーザ端末１００に対する各種操作を入力する入力装置、及び、配信ユーザ端末１００で処理された処理結果を出力する出力装置を含む。入出力Ｉ／Ｆ１０４は、入力装置と出力装置が一体化していてもよいし、入力装置と出力装置とに分離していてもよい。

【0074】

入力装置は、ユーザからの入力を受け付けて、当該入力に係る情報をプロセッサ１０１に伝達できる全ての種類の装置のいずれか、又は、その組み合わせにより実現される。入力装置は、例えば、タッチパネル、タッチディスプレイ、キーボード等のハードウェアキーや、マウス等のポインティングデバイス、カメラ（画像を介した操作入力）、マイク（音声による操作入力）を含む。

【0075】

入力装置は、センサユニットを含むことができる。センサユニットは、ユーザの表情の変化を示すフェイスモーション、及びセンサユニットに対するユーザの身体の相対位置の変化を示すボディモーションを検出する１以上のセンサである。フェイスモーションは、瞬きや口の開閉等の動きを含む。センサユニットは、公知の物を使用することができる。センサユニットの一例は、ユーザに向かって照射された光がユーザの顔等に反射して返ってくるまでの飛行時間（Time of Flight）を測定検出するＴｏＦセンサ、ユーザの顔を撮影するカメラ及びカメラが撮影したデータを画像処理する画像処理部を含むものである。また、センサユニットは、可視光線を撮像するＲＧＢカメラと、近赤外線を撮像する近赤外線カメラとを含んでいてもよい。ＲＧＢカメラや近赤外線カメラは、例えば「ｉｐｈｏｎｅＸ（登録商標）」のトゥルーデプス（Ｔｒｕｅ Ｄｅｐｔｈ）、又は「ｉＰａｄ Ｐｒｏ（登録商標）」の「ＬＩＤＥＲ」や、スマートフォンに搭載されるその他のＴｏＦセンサを用いることが可能である。このカメラは、具体的には、ドットプロジェクタによってユーザの顔等に数万の不可視のドット（点）を投影する。そして、ドットパターンの反射光を検出し、分析して顔の深度マップを形成し、顔等の赤外線画像をキャプチャすることで、正確な顔データをキャプチャする。センサユニットの演算処理部は、深度マップと赤外線画像に基づいて各種の情報を生成し、その情報を登録済みの参照データと比較して、顔の各ポイントの深度（各ポイントと近赤外線カメラとの間の距離）や深度以外の位置のずれを算出する。

【0076】

また、センサユニットは、ユーザの顔だけでなく、手をトラッキングする（ハンドトラッキング）機能を有していてもよい。センサユニットは、加速度センサやジャイロセンサ等といった上記のセンサ以外のセンサ、をさらに含むものであってもよい。センサユニットは、上記のＴｏＦセンサや公知の他のセンサの検出結果に基づきユーザが存在する現実空間の物体を認識し、認識した物体を空間地図にマッピングする空間マッピング機能を有していてもよい。以下、フェイスモーションの検出データ及びボディモーションの検出データを特に区別しないで説明する場合には単に「トラッキングデータ」という。なお、センサユニットの画像処理部は、本発明の情報処理システムが具備可能な制御部が備えていてもよい。

【0077】

入力装置としての操作部は、ユーザ端末の種類に応じたものを用いることができる。操作部の一例は、ディスプレイと一体化されたタッチパネルや、ユーザ端末の筐体等に設けられた操作ボタン、キーボード、マウス、ユーザが手で操作するコントローラ等である。コントローラは、加速度センサ、ジャイロ等の慣性計測センサ（ＩＭＵ：Inertial Measurement Unit）等の公知の各種のセンサを内蔵していてもよい。また、操作部の他の一例は、ユーザの手の動き、目の動き、頭部の動き、視線の方向等を特定するトラッキング装置であってもよい。この態様では、例えば、ユーザの手の動きに基づいて、ユーザの指示を判定し、動画の配信を開始又は終了したり、メッセージや動画への評価、所定のオブジェクト（例えば後述するギフト）の表示要求等の各種操作を実行したりすることができる。なお、センサユニットがハンドトラック機能等の入力インターフェース機能も有する場合には、操作部は省略可能である。

【0078】

出力装置は、プロセッサ１０１で処理された処理結果を出力する。出力装置は、例えば、タッチパネル、スピーカ等を含む。

【0079】

また、本開示における視聴ユーザ端末２００およびサーバ装置４００についても、特筆すべき場合を除き、図４と同様のハードウェア構成で構成されることができる。

【0080】

続いて、本開示の実施形態における情報処理システムにより実現されるアプリケーションを起動したユーザ端末において実行可能な各種機能、および、表示される画面の遷移について図面を参照しながら説明する。

【0081】

図５は、動画の配信・視聴アプリケーションを起動した際にユーザ端末（ここでは未だユーザが視聴／配信を行うか否かは特定されない）に表示されるトップ画面Ｔ１０を示したものである。

【0082】

図５に示されるように、ユーザは、トップ画面Ｔ１０においておすすめタブＴ１１内で一覧表示されるおすすめの一以上の配信チャンネルＴ１２のサムネイル画像の中から一の配信チャンネル（配信枠、配信番組、配信動画などと呼ばれる）を選ぶことにより、当該一の配信チャンネルで再生される動画を視聴することができる。

【0083】

あるいは、ユーザは、特定の一の配信チャンネルの固定リンクへアクセスすることにより、当該特定の一の配信チャンネルで再生される動画を視聴することができる。かかる固定リンクは、フォロー中の配信ユーザからのお知らせ、または、他のユーザから送られたシェアの通知などにより得ることができる。

【0084】

このように、動画を視聴するユーザは視聴ユーザとなり、動画を視聴する端末は視聴ユーザ端末２００となる。

【0085】

また、図５に示すように、トップ画面Ｔ１０にはキャンペーンやイベントなどのお知らせの表示欄Ｔ１３が表示されてもよい。このお知らせの表示欄Ｔ１３は、スライド操作により他のお知らせへの表示の切り替えが可能である。

【0086】

そして、トップ画面Ｔ１０からは、フォロータブＴ１４、ゲームカテゴリを表示するためのゲームタブＴ１５、コラボ待ちの配信チャンネルを表示するためのコラボ待ちタブＴ１６、ビギナーの配信チャンネルを表示するためのビギナータブＴ１７が表示される。これらを選択することにより（タブを切り替えることにより）、トップ画面Ｔ１０からそれぞれ別の画面へと遷移する。

【0087】

なお、トップ画面Ｔ１０の上部枠のサービス名表示Ｔ１８および検索ボタンＴ１９については、遷移先の画面で固定して表示されたままとしてもよい。

【0088】

同様に、トップ画面Ｔ１０の下部枠のホームボタンＴ２０、メッセージボタンＴ２１、配信準備ボタンＴ２２、ガチャボタンＴ２３、プロフィールボタンＴ２４についても、遷移先の画面で固定して表示されたままとしてもよい。

【0089】

図５に示したトップ画面Ｔ１０等において、表示されているサムネイル画像Ｔ１２を選択したユーザは、上述したように動画を視聴する視聴ユーザとなり、配信準備ボタンＴ２２を選択したユーザは、動画を配信する配信ユーザとなりうる。

【0090】

一例として、図５に示したトップ画面Ｔ１０において配信準備ボタンＴ２２を選択すると、図６に示すアバタ設定画面Ｄ１０へと遷移する。そして、アバタ設定画面Ｄ１０において配信ボタンＤ１１を選択すると、図７に示す配信設定画面Ｄ２０へと遷移する。そして、配信設定画面Ｄ２０において配信開始ボタンＤ２５を選択すると、図８に示すアバタ配信画面Ｄ３０へと遷移する。

【0091】

続いて、動画の配信を開始するまでのフローの詳細について説明を行う。

【0092】

本開示における一又は複数のコンピュータプロセッサは、配信開始要求受付部と、配信設定部と、配信開始部とを備えることができる。

【0093】

配信開始要求受付部は、配信ユーザの配信ユーザ端末から、キャラクタオブジェクトのアニメーションを含む第一の動画の配信開始要求を受け付ける。

【0094】

ここでは、第一の動画は、キャラクタオブジェクトのアニメーションを含む動画のことをいう。なお、本明細書において、キャラクタオブジェクトのことを「アバタ」と呼ぶ場合がある。

【0095】

そして、上記配信開始要求は、上記動画配信プラットフォームにアクセスするための専用のアプリケーション（動画の配信・視聴アプリケーション）を起動したユーザ端末（後に配信ユーザ端末となる）に表示される上述したトップ画面から遷移したアバタ設定画面Ｄ１０等に配置される配信ボタンＤ１１を選択することにより、ユーザ端末から情報処理装置４００に送信されるものとすることができる。

【0096】

図６は、アバタ設定画面Ｄ１０の一例を示したものである。アバタ設定画面Ｄ１０には、キャラクタオブジェクトＣＯ、配信ボタンＤ１１、ガチャボタンＤ１２、着替えボタンＤ１３、フォトボタンＤ１４等が表示されることができる。

【0097】

ユーザによって着替えボタンＤ１３が選択されると、キャラクタオブジェクトＣＯの目、鼻、口、髪、アクセサリ、洋服、背景などの各種アバタパーツを選択するためのクローゼット画面が展開する。

【0098】

ユーザによってガチャボタンＤ１２が選択されると、上記アバタパーツを入手するための抽選画面が展開する。

【0099】

ユーザによってフォトボタンＤ１４が選択されると、キャラクタオブジェクトの静止画を撮影するための撮影画面が展開する。

【0100】

そして、ユーザによって配信ボタンＤ１１が選択されると、情報処理装置４００に対して配信開始要求が送信される。

【0101】

配信設定部は、配信開始要求受付部が受け付けた第一の動画の配信開始要求に応じて、第一の動画の配信設定を配信ユーザ端末１００からの指定に基づいて設定する。

【0102】

一例として、上記配信ボタンＤ１１が選択されると、配信ユーザ端末１００に表示される画面は、図６に示したアバタ設定画面Ｄ１０から図７に示す配信設定画面Ｄ２０へと遷移する。

【0103】

配信設定には、第一の動画のタイトルに関する設定、第一の動画への他のユーザの出演可否に関する設定、および、第一の動画へ出演可能な人数に関する設定、パスワードに関する設定の少なくとも一つが含まれることができる。

【0104】

これらの配信設定は、それぞれ図７におけるタイトル設定欄Ｄ２１、コラボ可否設定欄Ｄ２２、人数設定欄Ｄ２３、パスワード設定欄Ｄ２４において設定が可能である。なお、図７では、さらに、誰でもコラボ可否設定欄Ｄ２６、ＳＮＳ投稿可否欄Ｄ２７が表示されている。

【0105】

第一の動画のタイトルは、許容される上限までの文字数の範囲において配信ユーザが自由に決定することができるものである。なお、配信ユーザによる入力が無い場合には「〇〇〇の配信だよ♪」等の、キャラクタオブジェクト（配信ユーザ）の名前を含む、予め設定されたタイトルが自動的に決定されるものとしてもよい。

【0106】

第一の動画への他のユーザの出演可否は、配信ユーザが自由に決定することができるものである。可の場合には、他のユーザは配信ユーザに対して出演申請を行うことが可能であり、否の場合には、他のユーザは配信ユーザに対して出演申請を行うことができない。配信ユーザの動画に他のユーザが出演している状態を、本明細書では「コラボ」と呼ぶことがある。コラボについての詳細は後述する。

【0107】

第一の動画へ出演可能な人数は、前述した第一の動画への他のユーザの出演が可の場合にのみ設定が可能であり、許容される上限までの人数の範囲において配信ユーザが自由に決定することができるものである。

【0108】

パスワードは、前述した第一の動画への他のユーザの出演が可の場合にのみ任意で設定が可能であり、指定された桁数の数字を配信ユーザが自由に決定することができるものである。他のユーザが第一の動画への出演申請を行う際、かかるパスワードの入力が要求される。なお、誰でもコラボ可否設定欄Ｄ２６がＯＦＦの場合にのみ、パスワード設定欄Ｄ２４がアクティブとなる構成としてもよい。

【0109】

配信開始部は、配信設定部により設定された条件に基づいて、第一の動画に関する情報を、視聴ユーザの視聴ユーザ端末２００に配信する。

【0110】

かかる配信の開始指示は、図７に示した配信開始ボタンＤ２５の選択により送信される。

【0111】

一例として、配信開始部は、配信ユーザのキャラクタオブジェクトのアニメーションを含む動画（第一の動画）に関する情報を、視聴ユーザの視聴ユーザ端末２００に配信する（アバタ配信する）。

【0112】

第一の動画に関する情報には、例えばキャラクタオブジェクトの動作を示すモーション情報や、配信ユーザの音声情報や、他の視聴ユーザから送られたギフトを示すギフトオブジェクト情報などが含まれる。そして、ギフトオブジェクト情報は、少なくとも、ギフトオブジェクトの種類を特定するギフトオブジェクト識別情報と、ギフトオブジェクトが表示される位置を示す位置情報とを含む。

【0113】

そして、配信開始部は、上述した動画配信プラットフォームを介して動画をライブ配信することができる。

【0114】

図８は、配信ユーザ端末１００に表示されるアバタ配信画面Ｄ３０を示したものである。

【0115】

アバタ配信画面Ｄ３０には、キャラクタオブジェクトＣＯが表示される他、配信ユーザがコメントを入力するためのコメント入力ボタンＤ３１、画面の静止画を保存するためのフォトボタンＤ３２、後述するゲームをプレイするためのプレイ開始ボタンＤ３３、外部サービスにより提供される動画を視聴するための外部サービス連携ボタンＤ３４、アバタパーツを入手するためのガチャボタンＤ１２が表示されることができる。

【0116】

また、アバタ配信画面Ｄ３０の上部には累計視聴者数表示Ｄ３５、累計いいね数表示Ｄ３６、コラボ人数表示Ｄ３７、外部ＳＮＳへのシェアボタンＤ３８、ゲスト詳細ボタンＤ３９、ランキング表示ボタンＤ４０、設定ボタンＤ４１、音声のＯＮ／ＯＦＦを切り替えるための音声切替ボタンＤ４２が表示されることができる。また、配信を終了するための終了ボタンＤ４３も表示される。

【0117】

これらの表示およびボタンの詳細な説明は省略するが、設定ボタンＤ４１の選択により、配信設定画面Ｄ２０で設定した配信設定の変更を行うことが可能である。

【0118】

なお、図８は、配信設定画面Ｄ２０において、第一の動画への他のユーザの出演を可、第一の動画へ出演可能な人数を３人として配信を開始した例を示したものであるため、キャラクタオブジェクトＣＯは左下に寄った状態で表示されている。空いている空間には他のユーザのキャラクタオブジェクトが３人まで出演可能な状態である。

【0119】

以上が、本開示における発明のアバタ配信を行う際の画面遷移の説明である。

【0120】

続いて、配信ユーザが配信中にゲームを行う際の画面遷移について説明を行う。

【0121】

本開示における一又は複数のコンピュータプロセッサは、ゲーム要求受付部と、ゲーム動画配信部と、ゲーム表示処理部とを備えることができる。

【0122】

配信ユーザは、図８に示したようなアバタ配信の最中に、プレイ開始ボタンＤ３３を選択することによりゲームのプレイ開始要求を行うことが可能である。

【0123】

なお、プレイ開始ボタンＤ３３の選択により表示されるゲームは、本開示における情報処理システムにより実現されるアプリケーションに実装される専用のゲームであり、外部サービスにより提供される汎用的なゲームとは異なるものとすることができる。よって、本開示におけるゲーム配信は、外部サービスにより提供される汎用的なゲームのプレイ動画を配信ユーザの実況と共に配信するものとは区別されるものとしてもよい。

【0124】

あるいは、プレイ開始要求は、配信ユーザの配信ユーザ端末１００に表示される所定の画面に配置されるプレイ開始ボタンを選択することにより、配信ユーザ端末１００から情報処理装置４００に送信されるものとすることができる。

【0125】

図９は、上記所定の画面として、プレイ開始ボタンＧ１１が配置された画面Ｇ１０の一例を示したものである。図９に示す画面Ｇ１０は、本開示における情報処理システムにより実現されるアプリケーションを起動したユーザ端末に表示されるトップ画面Ｔ１０（図５）から、ゲームタブＴ１５の選択により遷移してきた画面である。

【0126】

画面Ｇ１０には、少なくとも、所定のゲームのプレイ開始要求を送信可能なプレイ開始ボタンＧ１１が表示される。

【0127】

そして、ゲーム要求受付部が所定のゲームのプレイ開始要求を受け付けた場合、ゲーム動画配信部は、第二の動画に関する情報を視聴ユーザ端末２００に配信する。

【0128】

ここで、第二の動画は、所定のゲームのプレイ動画である。本明細書において、かかる動画が視聴ユーザ端末２００の画面に表示されるよう配信を行うことを「ゲーム配信」と呼ぶ。

【0129】

また、ユーザは、本開示の発明により実現されるアプリケーションの起動後、ゲーム一覧画面およびゲーム詳細画面に配置されるプレイ開始オブジェクトを選択することにより、配信ユーザとして、第二の動画の配信開始要求を情報処理装置２４００に送信することができる。

【0130】

これらゲーム一覧画面またはゲーム詳細画面は、次に詳説する第一の画面である。

【0131】

すなわち、ゲーム表示処理部は、配信開始要求を送信可能な配信開始オブジェクト、所定のゲームのプレイ開始要求を送信可能なプレイ開始オブジェクト、および、所定のゲームのプレイ動画を配信中の動画のサムネイル画像を含む第一の画面の表示処理を行う。

【0132】

図９において示した画面Ｇ１０は、当該第一の画面のうちゲーム一覧画面に相当する。ゲーム一覧画面である第一の画面は、トップ画面Ｔ１０から、ゲームタブＴ１５の選択により遷移してきた画面である。

【0133】

かかる第一の画面には、配信開始オブジェクトとしての配信準備ボタンＴ２２、プレイ開始オブジェクトとしてのプレイ開始ボタンＧ１１、および、動画の配信チャンネルを示すサムネイル画像が含まれる。

【0134】

第一の画面には、プレイ可能な複数のゲームごとに、プレイ開始ボタンＧ１１、ゲームアイコンＧ１２、ゲーム名Ｇ１３、当該ゲームの配信チャンネルの総視聴者数Ｇ１４、そしてゲーム配信中の配信チャンネルのサムネイル画像を含む配信リストＧ１５がそれぞれ表示されている。

【0135】

なお、ここで表示される配信リストＧ１５に表示されるサムネイル画像の順序は、視聴ユーザによって表示を異ならせることができる。一例として、順序は、視聴ユーザがフォローしている、かつ、その視聴ユーザによる視聴回数が多い順、累計視聴者数が多い順、配信開始が古い順、の優先順位で並べられている。なお、この配信リストＧ１５のサムネイル画像は横スクロールにより表示範囲の変更が可能であるものとする。

【0136】

また、このゲーム一覧画面に表示されるゲームは、以下の優先度の上位１０タイトルを読み込むものとする。一例として、優先度は、ゲーム配信開始日時から４８時間以内、視聴ユーザが３０日以内で最後にプレイした日付の新しい順、期間ＩＤの優先度の高い順、期間ＩＤの降順、により定められている。

【0137】

この配信リストＧ１５は、他のタブの画面から戻ってきた場合、および、更新操作（Pull-to-Refresh）を行った際に更新されるものとする。

【0138】

そして、図１０は、第一の画面のうちゲーム詳細画面に相当する。ゲーム詳細画面である第一の画面は、図９に示したゲーム一覧画面に表示されたゲームアイコンＧ１２またはゲーム名Ｇ１３を選択することにより遷移してきた画面でＧ２０である。

【0139】

かかる第一の画面には、配信開始オブジェクトである配信準備ボタンＴ２２、プレイ開始オブジェクトであるプレイ開始ボタンＧ２１、および、動画の配信チャンネルを示すサムネイル画像が含まれる。

【0140】

また、第一の画面には、ゲームアイコンＧ２２、ゲーム名Ｇ２３、当該ゲームの配信チャンネルの総視聴者数Ｇ２４、そしてゲーム配信中の配信チャンネルのサムネイル画像を含む配信リストＧ２５がそれぞれ表示されている。

【0141】

なお、ここで表示される配信リストＧ２５に表示されるサムネイル画像の順序は、視聴ユーザによって表示を異ならせることができる。一例として、順序は、視聴ユーザがフォローしている、かつ、その視聴ユーザによる視聴回数が多い順、累計視聴者数が多い順、配信開始が古い順、の優先順位で並べられている。なお、この配信リストＧ２５のサムネイル画像は縦スクロールにより表示範囲の変更が可能であるものとする。

【0142】

この配信リストＧ２５は、他のタブの画面から戻ってきた場合、および、更新操作（Pull-to-Refresh）を行った際に更新されるものとする。

【0143】

上述したように、配信開始オブジェクト（配信準備ボタンＴ２２）またはプレイ開始オブジェクト（プレイ開始ボタンＧ１１，２１）を選択したユーザは、配信開始要求またはプレイ開始要求を行う配信ユーザとなる。

【0144】

また、サムネイル画像を選択したユーザは、第二の動画を視聴する視聴ユーザとなる。

【0145】

また、第一の画面は、スクロール操作が不可能な第一の領域と、スクロール操作が可能な第二の領域とを含む。

【0146】

ここでいう第一の画面は図１０に示す第一の画面とする。そして、第一の画面は、第一の領域Ｒ１と第二の領域Ｒ２とを含む。具体的には、第一の領域Ｒ１には、ゲームタイトルが表示され、第二の領域Ｒ２には上述したプレイ開始ボタンＧ２１、ゲームアイコンＧ２２、ゲーム名Ｇ２３、視聴者数Ｇ２４、そして配信リストＧ２５が表示されている。

【0147】

そして、第一の領域Ｒ１はスクロール操作が不可能な、表示画面上で固定表示される部分であり、第二の領域Ｒ２はユーザによってスクロール操作が可能な部分である。第二の領域Ｒ２をスクロールすることにより、ユーザは画面外に隠れたサムネイル画像を確認することができるようになる。

【0148】

ところが、第二の領域のスクロールによってプレイ開始ボタンＧ２１が画面外へ隠れてしまうおそれがあるため、本開示における表示処理部は、第二の領域Ｒ２に表示されたプレイ開始オブジェクト（プレイ開始ボタンＧ２１）の表示状態に応じて、第一の領域Ｒ１にプレイ開始オブジェクト（プレイ開始ボタンＧ２１）を表示させることができる。

【0149】

一例として、図１０ではプレイ開始ボタンＧ２１は第二の領域Ｒ２に表示されるが、図１１では第一の領域Ｒ１に表示される。すなわち、プレイ開始ボタンＧ２１の一部またはすべてが第二の領域Ｒ２に表示されなくなると、プレイ開始ボタンＧ２１が第一の領域に出現するようにしたものである。

【0150】

また、ゲーム表示処理部は、第二の領域Ｒ２に表示されたプレイ開始オブジェクトの表示状態に応じて、第一の領域Ｒ１にプレイ開始オブジェクトを段階的に表示させてもよい。

【0151】

かかる表現は、第二の領域Ｒ２のスクロール量に合わせてプレイ開始オブジェクトの透明度を変化させることにより実現することができる。

【0152】

一例として、スクロール量（単位はピクセル）０～５０をボタンの透明度０．０（完全に透明）～１．０（完全に不透明）に対応させる。すると、初期表示状態ではオブジェクトは完全に透明なので見えず、５０ピクセル以上スクロールするとオブジェクトが完全に表示されるようになる。その間（０～５０）はオブジェクトの透明度を線形に変化させるのが好ましい。なお、スクロール量の単位は論理ピクセルであって、ディスプレイの実際のピクセルとは異なってもよい。

【0153】

また、ゲーム要求受付部は、ゲーム動画配信部による第二の動画に関する情報の配信後、配信ユーザ端末１００からの所定のゲームのプレイ終了要求を受け付け可能であるものとする。

【0154】

プレイ終了要求は、ゲーム画面に配置された終了ボタンの選択により送信することができる。

【0155】

そして、ゲーム要求受付部が所定のゲームのプレイ終了要求を受け付けた場合、配信開始部は、第二の動画に関する情報の配信を終了し、第一の動画に関する情報を配信することができる。

【0156】

すなわち、ここで配信されるのは第一の動画の情報の一部ではなく、第一の動画の情報の全てである。

【0157】

そして、配信開始部が、第二の動画に関する情報の配信を終了し、第一の動画に関する情報を配信した場合に、視聴ユーザ端末２００に表示されるのは、第一の動画であるものとする。

【0158】

続いて、動画の視聴を開始するためのフローについて説明を行う。

【0159】

本開示における一または複数のプロセッサは、さらに、視聴受付部を備えることができる。

【0160】

視聴受付部は、ユーザからの動画の視聴要求を受け付ける。

【0161】

上記配信開始部は、視聴要求に応じて、ユーザの情報処理端末に、動画情報として映像および音声に関する情報を配信する。

【0162】

図１２は、視聴ユーザ端末２００に表示されるアバタ動画の視聴画面Ｖ１０を示した例である。

【0163】

視聴ユーザは、コメント入力欄Ｖ１１にテキストの入力を行い、送信ボタンＶ１２を押すことでコメントを投稿することができる。

【0164】

また、ギフトボタンＶ１３を押すことで視聴ユーザにはギフトの一覧（図１３の画面Ｖ３０）が表示され、選択により指定したギフトの表示要求を送信することができる。

【0165】

このとき、本開示における一又は複数のプロセッサは、判定部を備えることができる。判定部は、視聴ユーザ端末２００からギフトの表示要求があったか否かを判定する。

【0166】

表示要求には、ギフトオブジェクト情報が含まれることができる。ギフトオブジェクト情報は、少なくともギフトオブジェクトの種類を特定するギフトオブジェクト識別情報と、ギフトオブジェクトが表示される位置を示す位置情報とを含む。

【0167】

また、図１３に示されるように、ギフトは分類（無料（有料）ギフト、アクセサリ、応援グッズ、アピール、バラエティ等）ごとに分けて表示されることができる。

【0168】

ここで、有料ギフトとは、視聴ユーザが購入したマイコインの消費により購入可能なギフト（コインギフト）であり、無料ギフトとは、視聴ユーザが無料で入手したマイポイントの消費または消費なしで入手可能なギフト（ポイントギフト）である。

【0169】

なお、本出願において用いられる「ギフト」という用語は、「トークン（token）」という用語と同様の概念を意味する。したがって、「ギフト」という用語を「トークン（token）」という用語に置き換えて、本件出願に記載された技術を理解することも可能である。

【0170】

また、視聴ユーザは、いいねボタンＶ１４を押すことで好意を示す評価を投稿することができる。なお、いいねボタンＶ１４に加えて／代えて、否定的な評価やその他の感情を投稿するボタンを表示することも可能である。

【0171】

また、配信ユーザが配信設定で他のユーザの出演可否を可に設定している場合、コラボ申請ボタンＶ１５を選択することで動画への出演申請を送信することができる。

【0172】

また、視聴ユーザが未だフォローしていない配信ユーザが配信する動画の画面には、視聴ユーザが配信ユーザをフォローするためのフォローボタンＶ１６が表示される。このフォローボタンは、視聴ユーザが既にフォローしている配信ユーザが配信する動画の画面では、フォロー解除ボタンとして機能する。

【0173】

なお、この「フォロー」は視聴ユーザから視聴ユーザへ、配信ユーザから視聴ユーザへ、配信ユーザから配信ユーザへ行われるものであってもよい。ただし、フォローは一方向のみの関連付けとして管理され、逆方向の関連付けはフォロワーとして別に管理されるものとする。

【0174】

また、画面の静止画を保存するためのフォトボタンＶ２５も表示されることができる。

【0175】

また、視聴画面Ｖ１０には、応援ランキング表示ボタンＶ１７、シェアボタンＶ１８、ランキング表示ボタンＶ１９も表示される。

【0176】

応援ランキングは、配信ユーザを応援している視聴ユーザのランキングを表示するものであり、ランキングはギフトの額（ポイント／コイン）等に応じて算出されることができる。

【0177】

また、動画のシェアに関し、視聴ユーザはシェアボタンＶ１８を押すことでシェア可能なＳＮＳ（ソーシャル・ネットワーキング・サービス）一覧を確認し、選択により指定したＳＮＳの指定した場所に固定リンクを送信することができる。

【0178】

また、コラボ申請ボタンＶ１５を押すことで配信ユーザに対してコラボ配信をリクエストすることができる。コラボ配信とは、配信ユーザの配信動画に視聴ユーザのキャラクタオブジェクトを登場させることをいう。

【0179】

視聴画面Ｖ１０の上部には、配信ユーザアイコンＶ２１、配信ユーザ名（キャラクタオブジェクト名）Ｖ２２、累計視聴者数表示Ｖ２３、累計いいね数表示Ｖ２４が表示されることができる。

【0180】

また、視聴終了ボタンＶ２０を選択すると、視聴を終了するための画面が展開し、視聴終了要求を送信することができるようになる。

【0181】

かかる視聴を終了するための画面について、詳細に説明する。かかる画面は、「小窓音声配信」と呼ばれ、動画の映像は表示させに音声のみを再生する態様での視聴を行うためのものである。

【0182】

上記視聴終了ボタンＶ２０の選択は、動画の視聴終了要求として視聴受付部によって受け付けられる。

【0183】

このとき、配信開始部は、視聴終了要求に応じて、映像に関する情報の配信を終了する一方で、音声に関する情報の配信は終了させない。

【0184】

そして、ユーザ端末において、映像および音声に関する情報が配信されている場合には、ユーザ端末には映像が主画面に表示され、音声に関する情報のみが配信されている場合には、ユーザ端末には映像は表示されず動画を視聴中であることを示す副画面が表示されることを特徴とする。

【0185】

図１４は、上記副画面Ｖ５１が表示された画面Ｖ５０のイメージを示したものである。

【0186】

この副画面Ｖ５１が表示される際、バックに表示される主画面は動画を視聴する前の画面へと遷移する。例えば、おすすめタブから視聴枠へ移動した場合にはおすすめタブの表示へと戻り、フォロータブから視聴枠へ移動した場合にはフォロータブへと遷移する。

【0187】

この副画面Ｖ５１が表示されている場合、主画面での操作が可能となり、他の画面への遷移が可能となる。

【0188】

副画面Ｖ５１には、プロフィール画像、名前、タイトルおよび、音声が流れていることが視覚的に識別可能な音声アイコンが表示される。

【0189】

そして、副画面Ｖ５１に表示された終了アイコンＶ５２の選択により、視聴を完全に終了させることができる。

【0190】

なお、映像の表示の終了については、サーバ装置から情報は送信するものの端末側で表示をしないものとしてもよいし、サーバ装置から情報の送信自体を停止するものとしてもよい。

【0191】

かかる構成によれば、音声のみ聞きながら他の配信を探したり、他のユーザとのチャットを楽しんだりすることができるようになる。

【0192】

続いて、配信ユーザの動画に他のユーザが出演する「コラボ」について説明する。

【0193】

上述したとおり、視聴ユーザは、図１２に示すコラボ申請ボタンＶ１５を押すことで表示されるコラボ配信参加リクエストの確認画面を経て、上記動画への参加要求を送信することができる。

【0194】

本開示における一又は複数のコンピュータプロセッサが備えるコラボアバタ表示部は、受け付けた参加要求に応じて、当該参加要求を行った視聴ユーザの動きに基づいて生成されるキャラクタオブジェクトを動画に表示させる。

【0195】

図１５は、一例として、ホストユーザのキャラクタオブジェクトである第１のアバタＣＯ３が表示された動画に、ゲストユーザのキャラクタオブジェクトである第２のアバタＣＯ４が参加している場合の視聴または配信画面を示したものである。なお、図１５ではアバタ以外のオブジェクトの表示については省略されている。

【0196】

また、図１６に示すように、さらに、別の視聴ユーザの動きに基づいて生成されるキャラクタオブジェクトである第３のアバタＣＯ１が動画に参加してもよい。なお、図１６では第３のアバタＣＯ１が、第１のアバタＣＯ３およびＣＯ４のアバタＡ２の後方に配置されているが、３人が横一列に並ぶように配置されてもよい。また、アバタの配置位置は配信ユーザが指定できるようにしてもよい。

【0197】

図１７は、図５に示したトップ画面のフォロータブＴ１４の選択により表示される、相互フォロー関係を有するユーザの一覧画面Ｔ３０を示したものである。相互フォローとは、互いに相手のフォロワーとなっている関係をいう。

【0198】

この一覧画面Ｔ３０には、相互フォロー関係を有するユーザのプロフィール画像および名前が表示されている。

【0199】

図１７に示されるように、一覧画面Ｔ３０には、相互フォロー関係を有するユーザの各々に対して第一のオブジェクトＴ３１が表示されるものとする。また、第一のオブジェクトＴ３１とともに、チャットオブジェクトＴ３２が表示されるものとしてもよい。このチャットオブジェクトを選択することにより、第二ユーザとの個別のチャット画面へと遷移することができる。

【0200】

第一のオブジェクトＴ３１は、当該第一のオブジェクトＴ３１に関連付けられたユーザの端末に対して、所定の通知を送信する。

【0201】

所定の通知は、一例として、呼び出し通知とすることができる。

【0202】

続いて、本開示の実施形態におけるビデオチャットを実行するためのフローの詳細について説明を行う。

【0203】

一例として、ユーザは、個別のチャット画面またはグループのチャット画面からビデオチャットを実行することが可能である。

【0204】

これらのチャット画面は、例えば、トップ画面Ｔ１０（図５）のメッセージボタンＴ２１を選択することにより展開したチャット一覧画面Ｃ１０（図１８）から遷移することができる。

【0205】

図１８に示すチャット一覧画面Ｃ１０には、過去にメッセージ（チャット）の送信または受信を行ったことがあるユーザ（キャラクタオブジェクト）のアイコンまたはグループのアイコンが名前または名称とともに表示されている。なお、グループのアイコンはグループに参加するユーザ（キャラクタオブジェクト）のアイコンを含むものとすることができる。

【0206】

そして、ユーザは、上記チャット一覧画面Ｃ１０において一のユーザまたはグループを選択し、個人のチャット画面Ｃ２０（図１９）またはグループのチャット画面を開き、ビデオチャットボタンＣ２１を選択することによりビデオチャットを開始することができる。

【0207】

また、チャット一覧画面Ｃ１０の編集ボタンＣ１１を選択することにより表示されるチャット作成ボタンＣ１２またはグループ作成ボタンＣ１３を選択することにより（図２０）、チャット一覧画面Ｃ１０には表示されていないユーザまたはグループのチャット画面を作成することができる。

【0208】

図２１は、チャット作成ボタンＣ１２を選択した場合に展開するユーザ選択画面Ｃ３０であり、表示されているおすすめユーザまたは検索欄Ｃ３１を用いて検索されたユーザとのチャット画面が表示／生成される。生成されたチャット画面の構成は図１９に示したチャット画面Ｃ２０と同様であり、ビデオチャットボタンＣ２１を選択することによりビデオチャットを開始することができる。

【0209】

同様に、図２２は、グループ作成ボタンＣ１３を選択した場合に展開するグループ作成画面Ｃ４０である。ユーザは、ユーザ追加ボタンＣ４１を選択することにより自分以外のユーザをグループメンバとして追加することができる。追加できるグループメンバの数は一例として７名までとする。また、グループ名の設定もこの画面で行うことができる。

【0210】

グループが作成されると、グループのチャット画面Ｃ５０が表示される（図２３）。グループのチャット画面Ｃ５０においても、ビデオチャットボタンＣ５１を選択することによりビデオチャットを開始することができる。

【0211】

なお、上記チャット画面Ｃ２０は、フォロー一覧画面Ｔ３０（図１７）のチャットアイコンＴ３２から遷移することもできる。

【0212】

また、他のユーザのプロフィール画面にもチャットアイコンが配置されることができ、ユーザは多様なページからチャット画面へと遷移し、ビデオチャットを開始することができる。

【0213】

なお、ビデオチャットが開始されると、相手方へ通知が送信され、相手方は、かかる通知に応答することによりビデオチャットへと参加が可能となる。かかる通知の受け取り可否はユーザにより設定することができる。

【0214】

また、相互フォロー関係にあるユーザとのビデオチャットのみ実行できる構成としてもよい。このとき、相互フォロー関係にあるユーザが他のユーザとビデオチャット中であることを示すアイコンをフォロー一覧画面に表示し、かかるアイコンを選択することによりかかる開催中のビデオチャットに参加できる構成としてもよい。

【0215】

本開示におけるビデオチャットは、上述したコラボ配信を、特定のユーザのみが視聴できる機能であるということができる。ここでいう特定のユーザとは、ビデオチャットに参加しているユーザを指すものとする。

【0216】

続いて、本開示における実施形態にかかる情報処理システム３０００において実行可能な各種機能について図面を参照しながら説明する。

【0217】

なお、本実施形態においては、情報処理システム３０００が備える配信ユーザ端末１００が、ビデオチャットに参加するユーザのユーザ端末であるものとして説明を行うが、ビデオチャットを実行するに際して配信ユーザ端末１００と視聴ユーザ端末２００との区別は特にない。

【0218】

すなわち、本開示の実施形態にかかるビデオチャットは、上述したような動画を配信するシステムに組み込まれる機能の一部であってもよいし、アバタを用いたビデオチャットに特化した独立したシステムとしても実現可能である。

【0219】

本開示の実施形態にかかる情報処理システム３０００が備える一又は複数のコンピュータプロセッサは、図２４に示されるように、受信部４１０、実行部４２０、特定部４３０および制御部４４０を備える。

【0220】

受信部４１０は、ユーザのユーザ端末から送信される、当該ユーザの動きに関する情報、音声に関する情報およびキャラクタオブジェクトに関する情報を含む、動画を生成するための情報を受信可能である。

【0221】

なお、上述したアバタ配信における説明では、動画に関する情報（動画を生成するための情報）には、キャラクタオブジェクトの動作を示すモーション情報、配信ユーザの音声情報、他の視聴ユーザから送られたギフトを示すギフトオブジェクト情報などが含まれるものとして説明を行ったが、ここでは、少なくとも、ユーザの動きに関する情報、音声に関する情報およびキャラクタオブジェクトに関する情報が含まれるものとする。

【0222】

ユーザの動きに関する情報には、一例として、ユーザ端末が備える、または、ユーザ端末に接続されたカメラによって撮像されたユーザの少なくとも顔の動きに関する情報が含まれることができる。

【0223】

音声に関する情報には、一例として、ユーザ端末が備える、または、ユーザ端末に接続されたマイクによって収音されたユーザによる発声に応じた音声、および／または、当該ユーザによる発声以外の他の音声に関する情報が含まれることができる。

【0224】

他の音声とは、例えば、他のユーザの発声や環境音などである。発声がユーザによるものなのか、他のユーザによるものなのかについては公知の音声認識技術を用いることで識別することができる。また、環境音には、テレビの音、インターフォンの音、電話の呼び出し音、動物の鳴き声の音、駅のアナウンスの音、電車・車・バイク等の音、複数の人物の話し声の音などが含まれる。

【0225】

実行部４２０は、受信部４１０が受信した、動画を生成するための情報に基づいて、キャラクタオブジェクトを用いた複数のユーザ間におけるビデオチャットを実行させるものである。

【0226】

図２５は、ビデオチャットを実行中のビデオチャット画面ＶＣ１０のイメージの一例を示したものである。

【0227】

図２５は、４名のユーザがキャラクタオブジェクトＣＯ１，ＣＯ２，ＣＯ３，ＣＯ４を用いてビデオチャットに参加している例を示したものである。ビデオチャット画面ＶＣ１０は、参加人数に応じて表示枠が分割されるものとしてもよいし、一の画面に複数人が一緒に表示される構成としてもよい。

【0228】

図２５に示す例では、ビデオチャット画面ＶＣ１０が４つの表示枠に分割されている。かかる表示枠の数、形状、サイズ等については図示したものに限定されず、後述するユーザのユーザ端末の状態に応じてリアルタイムに変化するものであってもよい。

【0229】

また、ビデオチャットに参加するユーザは、ビデオチャットを開始する開始ユーザと開始されたビデオチャットに参加する参加ユーザで構成されることができる。図２５に示す例では、開始ユーザに対応するキャラクタオブジェクトＣＯ１が左上に表示されているが、これらユーザの表示場所については図示したものに限定されず、後述するユーザのユーザ端末の状態に応じてリアルタイムに変化するものであってもよい。

【0230】

開始ユーザのユーザ端末は、ビデオチャットの開始とともに上記動画を生成するための情報をサーバ装置に送信する。また、参加ユーザのユーザ端末は、ビデオチャットの開始の通知に応答し、ビデオチャットに参加する際に上記動画を生成するための情報をサーバ装置に送信するものとする。

【0231】

ユーザ端末はカメラによる撮像機能およびマイクによる収音機能するものであり、これらの機能により撮像／収音された画像／音声データが、ネットワークを介してサーバ装置に送信される。これらデータのサーバ装置への送信の可否は、ビデオチャット画面ＶＣ１０に表示されるビデオオブジェクトＶＣ１２およびマイクオブジェクトＶＣ１１がユーザ操作により選択されることにより切り替えることができる。

【0232】

あるいは、ビデオチャット画面ＶＣ１０に表示されるビデオオブジェクトＶＣ１２およびマイクオブジェクトＶＣ１１がユーザ操作により選択されることにより、ユーザ端末におけるこれら機能のオン／オフが切り替えられるものとしてもよい。

【0233】

また、退室オブジェクトＶＣ１３は、ビデオチャットから退室する際に用いられるものである。

【0234】

本実施形態においては、上述したサーバ装置への送信の可否およびユーザ端末における機能のオン／オフの両場合を含めて、カメラのオン／オフ、および／または、マイクのオン／オフが切り替えられるという表現を用いて説明を行う。

【0235】

また、ビデオオブジェクトＶＣ１２および／またはマイクオブジェクトＶＣ１１がユーザ操作により選択される場合のみならず、ユーザ操作に依らずに自動的にカメラのオン／オフ、および／または、マイクのオン／オフが切り替えられるものとすることもできる。例えば、ユーザ端末において表示される画面がビデオチャット画面ＶＣ１０なのか、別の画面なのかに応じて、ユーザ操作に依らずに自動的にカメラのオン／オフ、および／または、マイクのオン／オフを切り替える構成とすることができる。

【0236】

図２６は、キャラクタオブジェクトＣＯ１に対応するユーザ端末において、マイクがオフにされている場合の表示の例を示したものである。マイクオブジェクトＶＣ１１は斜線が付与されたオブジェクトＶＣ１４に変化するとともに、キャラクタオブジェクトＣＯ１に関連する位置にはマイクがオフであることを示すアイコンＶＣ１５が表示される。なお、マイクがオンの状態のキャラクタオブジェクトＣＯ２，ＣＯ３，ＣＯ４に関連する位置には、マイクがオンであることを示すアイコンＶＣ１６が表示されるものとしてもよい。

【0237】

そして、図２７は、キャラクタオブジェクトＣＯ１に対応するユーザ端末において、カメラがオフにされている場合の表示の一般的な例を示したものである。このとき、ビデオオブジェクトＶＣ１２は斜線が付与されたオブジェクトＶＣ１７に変化する。

【0238】

このように、一般的な例では、ユーザ端末においてカメラがオフにされている場合には、ユーザ（キャラクタオブジェクト）のプロフィールアイコンなどの別の画像が表示される。また、この別の画像は、マイクのオン／オフを問わずに常に同じものが表示されているのが一般的である。

【0239】

しかしながら、このような表示では現実のユーザの状態が分かり辛い。単にカメラをオフ（およびマイクをオフ）にしてビデオチャットを視聴するのみなのか、あるいは、ユーザが実際にユーザ端末の前からいなくなっているのかなど、現実のユーザの状態は多様であるが、これに対して上記のような一辺倒なプロフィールアイコンの表示では、会話が適切に成立せずに、ビデオチャットに参加するユーザ間におけるコミュニケーションが阻害されるおそれがある。

【0240】

また、キャラクタオブジェクトを用いたビデオチャット特有の問題点として、ユーザの動きに関する情報がなくともキャラクタオブジェクトを表示し続けることが可能であり、この場合においても、会話が適切に成立せずに、ビデオチャットに参加するユーザ間におけるコミュニケーションが阻害されるおそれがある。

【0241】

このようなビデオチャットに参加するユーザ間におけるコミュニケーションの阻害は、ユーザのビデオチャットへの参加意欲を低下させるおそれもあり、改善すべき課題の一つとなっている。

【0242】

そのため、本実施形態における特定部４３０は、ユーザ端末の状態を特定する。

【0243】

ここで、ユーザ端末の状態には、ユーザ端末を操作するユーザの状態も含まれるものとする。

【0244】

例えば、ユーザの状態は、主に、ビデオチャット画面を視ることができる／できない状態、音声を聞くことができる／できない状態、話すことができる／できない状態であるか等に分類され得る。

【0245】

このような状態には、ユーザ端末において本実施形態にかかるビデオチャットのアプリケーションとは異なるアプリケーションを実行することにより、ゲームをプレイしながら、音楽を再生しながら、または、動画を再生しながらビデオチャットをしている場合等が含まれる。

【0246】

また、上記状態には、本実施形態にかかるビデオチャットのアプリケーション内の他の画面を開きながらビデオチャットをしている場合等も含まれ得る。他の画面とは、例えば、キャラクタオブジェクトの洋服等を変更するクローゼット画面、ゲーム画面、メニュー画面、配信動画の視聴画面等が含まれる。

【0247】

また、上記状態には、ユーザの周囲の音がユーザの気を引いている場合等も含まれ得る。ユーザの周囲の音には、他のユーザの発声や環境音等が含まれる。

【0248】

本開示の実施形態において、これらの状態は、ユーザ端末の状態を特定することにより推定することができる。

【0249】

ユーザ端末の状態については、後述する実施例において第一の状態から第八の状態を例示して説明するが、ユーザ端末の状態はこれらの状態に限られるものではなく、生じ得る様々な状態に応じて後述する表示態様の変更を行うことができる。

【0250】

そして、本開示における制御部４４０は、特定部４３０により特定されたユーザ端末の状態に応じて、当該ユーザ端末に対応するキャラクタオブジェクトの表示態様を変更する。

【0251】

表示態様の変更には、キャラクタオブジェクトに他のオブジェクトを重畳または合成して表示させること、および、ユーザのモーショントラッキングに代えて予め用意された特定の動作をキャラクタオブジェクトに適用させることを含む。

【0252】

特定されたユーザ端末の状態に応じた表示態様の変更は、例えば、キャラクタオブジェクトを、ビデオチャット画面を視ることができない状態、音声を聞くことができない状態または話すことができない状態等を表現するためのオブジェクトを装着したキャラクタオブジェクトに変更すること、および、ユーザのモーションが適用された状態のキャラクタオブジェクトから、ビデオチャット画面を視ることができない状態、音声を聞くことができない状態または話すことができない状態等を表現するための動作を適用したキャラクタオブジェクトに変更することを含むものとする。

【0253】

以上の構成によれば、上述した従来技術の課題の少なくとも一部を解決又は緩和する技術的な改善を提供することができる。具体的には、ビデオチャット中のユーザの状況をキャラクタオブジェクトを介して他のユーザにわかりやすく表示することでコミニュケーションの行き違いを防止し、ユーザ間におけるコミュニケーションの活性化を図ることができる。

【0254】

特定部４３０は、受信部４１０がユーザ端末からユーザの動きに関する情報を受信していない場合、または、受信部４１０が受信したユーザの動きに関する情報が第一の条件を満たす場合、ユーザ端末が第一の状態であると特定することができる。

【0255】

受信部４１０がユーザ端末からユーザの動きに関する情報を受信していない場合には、ビデオがオフにされている場合、または、ビデオはオンの状態であるが、通信等が原因で受信部４１０が動きに関する情報を受信していない場合等が含まれる。

【0256】

また、受信部４１０が受信したユーザの動きに関する情報が第一の条件を満たす場合には、一例として、ユーザ端末におけるカメラがオンであり、ユーザの動きに関する情報は受信しているものの、動きがないと判断される場合等が含まれる。

【0257】

一例として、第一の条件は、受信部４１０が、同じ動きに関する情報を所定期間受信し続けていること、または、動きが変化した場合にのみ送信される動きの変化量に関する情報を所定期間受信しないことである。

【0258】

同じ動きとは、動いていないと判断される程度の動きである。かかる動きの程度については画像解析により判断するものとしてもよいし、動きを数値化することにより判断するものとしてもよい。また、ここでいう所定時間とは、例えば５分程度とすることができるが、これに限定されるものではなく、ユーザが設定できるものとしてもよい。

【0259】

また、ユーザ端末において、ユーザの動きが変化した場合にのみ動きの変化量を送信する場合においては、かかる変化量に関する情報を受信していないことが第一の条件となる。また、ここでいう所定時間とは、例えば５分程度とすることができるが、これに限定されるものではなく、ユーザが設定できるものとしてもよい。

【0260】

特定部４３０が、ユーザ端末が第一の状態であると特定した場合、制御部４４０は、キャラクタオブジェクトの表示態様の変更として、キャラクタオブジェクトに第一の特定のオブジェクトを装着、および／または、キャラクタオブジェクトに第一の特定の動作を適用させることができる。

【0261】

第一の特定のオブジェクトは、一例として、キャラクタオブジェクトがビデオチャットの画面を視ていない様子を表すためのオブジェクトとすることができる。

【0262】

キャラクタオブジェクトがビデオチャットの画面を視ていない様子を表すためのオブジェクトには、一例として、図２８に示されるようなお面オブジェクトやサングラスオブジェクトなど、少なくともキャラクタオブジェクトの目を覆うオブジェクトなどが含まれる。

【0263】

これら装着オブジェクトは、キャラクタオブジェクトの特定の部位に関連付けて表示されることができる。

【0264】

かかる特定の部位は、ユーザ端末の状態（ここでは第一の状態）に関する部位、例えば、キャラクタオブジェクトがビデオチャットの画面を視ていない様子を示す場合には、「視る」という行為に関する部位（例えば目や顔）とすることができる。

【0265】

第一の特定の動作は、キャラクタオブジェクトがビデオチャットの画面を視ていない様子を表すための動作である。

【0266】

キャラクタオブジェクトがビデオチャットの画面を視ていない様子を表すための動作には、一例として、手で目や顔を隠す動作などが含まれる。

【0267】

上記構成によれば、上述した従来技術の課題の少なくとも一部を解決又は緩和する技術的な改善を提供することができる。具体的には、ビデオチャット中のユーザの状況をキャラクタオブジェクトを介して他のユーザにわかりやすく表示することでコミニュケーションの行き違いを防止し、ユーザ間におけるコミュニケーションの活性化を図ることができる。

【0268】

また、上記構成によれば、フェイストラッキングに応じて目を動かすキャラクタオブジェクトを表示する場合に比べて、低負荷でかつバラエティーに富んだアバターを表示させることができるというメリットも生じる。

【0269】

ここで、上記特定部４３０をサーバ装置４００が備える構成の場合、サーバ装置４００は、キャラクタオブジェクトの表示態様を変更するための表示変更情報を生成し、当該表示変更情報をビデオチャットに参加するすべてのユーザのユーザ端末に送信することができる。そして、ユーザ端末において、かかる表示変更情報に基づく一のユーザに係るキャラクタオブジェクトの表示態様の変更が行われるものとすることができる。

【0270】

あるいは、上記特定部４３０をユーザ端末が備える構成の場合、一のユーザのユーザ端末は、キャラクタオブジェクトの表示態様を変更するための表示変更情報を生成し、当該表示変更情報をサーバ装置４００に送信し、サーバ装置４００が、当該表示変更情報をビデオチャットに参加する他のユーザのユーザ端末に送信することができる。そして、一のユーザのユーザ端末においては、自端末が保有する上記表示変更情報に基づいて、そして、他のユーザのユーザ端末においては、サーバ装置４００から受信した表示変更情報に基づいて、一のユーザに係るキャラクタオブジェクトの表示態様の変更が行われるものとすることができる。

【0271】

特定部４３０は、受信部４１０がユーザ端末から音声に関する情報を受信していない場合、または、受信部４１０が受信した音声に関する情報が第二の条件を満たす場合、ユーザ端末が第二の状態であると特定することができる。

【0272】

受信部４１０がユーザ端末から音声に関する情報を受信していない場合には、マイクがオフにされている場合、または、マイクはオンの状態であるが、通信等が原因で受信部４１０が音声に関する情報を受信していない場合等が含まれる。

【0273】

また、受信部４１０が受信した音声に関する情報が第二の条件を満たす場合には、一例として、ユーザ端末におけるマイクがオンであり、音声に関する情報は受信しているものの、ユーザの発声が所定時間ないと判断される場合等が含まれる。

【0274】

ユーザの発声がないとの判断は、音声解析により判断するものとしてもよいし、音声を数値化することにより判断するものとしてもよい。また、ここでいう所定時間とは、例えば５分程度とすることができるが、これに限定されるものではなく、ユーザが設定できるものとしてもよい。

【0275】

特定部４３０が、ユーザ端末が第二の状態であると特定した場合、制御部４４０は、キャラクタオブジェクトの表示態様の変更として、キャラクタオブジェクトに第二の特定のオブジェクトを装着、および／または、キャラクタオブジェクトに第二の特定の動作を適用させることができる。

【0276】

第二の特定のオブジェクトは、キャラクタオブジェクトが発声していない様子を表すためのオブジェクトとすることができる。

【0277】

キャラクタオブジェクトが発声していない様子を表すためのオブジェクトには、一例として、図２９に示されるような口チャックオブジェクトやマスクオブジェクトなど、少なくともキャラクタオブジェクトの口を覆うオブジェクトなどが含まれる。

【0278】

これら装着オブジェクトは、キャラクタオブジェクトの特定の部位に関連付けて表示されることができる。

【0279】

かかる特定の部位は、ユーザ端末の状態（ここでは第二の状態）に関する部位、例えば、キャラクタオブジェクトが発声していない様子を示す場合には、「話す」という行為に関する部位（例えば口）とすることができる。

【0280】

第二の特定の動作は、キャラクタオブジェクトが発声していない様子を表すための動作とすることができる。

【0281】

キャラクタオブジェクトが発声していない様子を表すための動作には、一例として、手で口を隠す動作などが含まれる。

【0282】

上記構成によれば、上述した従来技術の課題の少なくとも一部を解決又は緩和する技術的な改善を提供することができる。具体的には、ビデオチャット中のユーザの状況をキャラクタオブジェクトを介して他のユーザにわかりやすく表示することでコミニュケーションの行き違いを防止し、ユーザ間におけるコミュニケーションの活性化を図ることができる。

【0283】

また、上記構成によれば、フェイストラッキングに応じて口を動かすキャラクタオブジェクトを表示する場合に比べて、低負荷でかつバラエティーに富んだアバターを表示させることができるというメリットも生じる。

【0284】

特定部４３０は、受信部４１０が、ユーザ端末において特定のアプリケーションが起動または表示されていることを示す情報を受信している場合、ユーザ端末が第三の状態であると特定することができる。

【0285】

ユーザ端末において特定のアプリケーションが起動されているとは、ユーザ端末においてバックグラウンドまたはフォアグランドで特定のアプリケーションが起動している場合であり、ユーザ端末において特定のアプリケーションが表示されているとは、ユーザ端末においてフォアグランドで特定のアプリケーションが起動している場合である。

【0286】

特定のアプリケーションは、一例として、音楽再生アプリ、動画再生アプリ、ゲームアプリ、通話アプリ等とすることができる。

【0287】

なお、上記特定のアプリケーションの起動または表示により自動的にビデオがオフに切り替えられる構成においては、第三の状態は第一の状態に含まれ得る状態であるが、本例においては後述する表示態様の変更が優先的にまたは追加的に実行されるものとする。

【0288】

同様に、上記特定のアプリケーションの起動または表示により自動的にマイクがオフに切り替えられる構成においては、第三の状態は第二の状態に含まれ得る状態であるが、本例においては後述する表示態様の変更が優先的にまたは追加的に実行されるものとする。

【0289】

特定部４３０が、ユーザ端末が第三の状態であると特定した場合、制御部４４０は、キャラクタオブジェクトの表示態様の変更として、キャラクタオブジェクトに第三の特定のオブジェクトを装着、および／または、キャラクタオブジェクトに第三の特定の動作を適用させることができる。

【0290】

第三の特定のオブジェクトは、一例として、キャラクタオブジェクトがビデオチャットの画面を視ていない様子を表すためのオブジェクト、キャラクタオブジェクトが発声していない様子を表すためのオブジェクト、および、キャラクタオブジェクトがビデオチャットの音声を聞いていない様子を表すためのオブジェクトの少なくとも一のオブジェクトとすることができる。

【0291】

キャラクタオブジェクトがビデオチャットの画面を視ていない様子を表すためのオブジェクトおよびキャラクタオブジェクトが発声していない様子を表すためのオブジェクトについては上述した通りである。

【0292】

キャラクタオブジェクトがビデオチャットの音声を聞いていない様子を表すためのオブジェクトには、一例として、図３０に示されるようなイヤホンオブジェクトなど、少なくともキャラクタオブジェクトの耳を覆うオブジェクトなどが含まれる。

【0293】

かかる装着オブジェクトは、キャラクタオブジェクトの特定の部位に関連付けて表示されることができる。

【0294】

かかる特定の部位は、ユーザ端末の状態（ここでは第三の状態）に関する部位、例えば、キャラクタオブジェクトがビデオチャットの音声を聞いていない様子を示す場合には、「聞く」という行為に関する部位（例えば耳）とすることができる。

【0295】

第三の特定の動作は、一例として、キャラクタオブジェクトがビデオチャットの画面を視ていない様子を表すための動作、キャラクタオブジェクトが発声していない様子を表すための動作、および、キャラクタオブジェクトがビデオチャットの音声を聞いていない様子を表すための動作の少なくとも一の動作とすることができる。

【0296】

キャラクタオブジェクトがビデオチャットの画面を視ていない様子を表すための動作およびキャラクタオブジェクトが発声していない様子を表すための動作については上述した通りである。

【0297】

キャラクタオブジェクトがビデオチャットの音声を聞いていない様子を表すための動作には、一例として、手で耳を覆う動作などが含まれる。

【0298】

また、制御部４４０は、ユーザ端末において起動または表示されている特定のアプリケーションの種類に応じて、キャラクタオブジェクトの表示態様の変更を行うものとしてもよい。

【0299】

例えば、特定のアプリケーションが音楽再生アプリである場合、キャラクタオブジェクトが音楽を聴いているような表示となるように表示態様の変更を行う。

【0300】

具体的には、第三のオブジェクトとして、キャラクタオブジェクトにイヤホンオブジェクトやヘッドフォンオブジェクトを装着させたり、キャラクタオブジェクト付近に音符オブジェクトを表示させたり、第三の動作として、キャラクタオブジェクトに音楽に合わせてリズムをとる動作を適用させたりする。これらの適用は一つに限られず、複数のオブジェクトや動作をキャラクタオブジェクトに適用させることができる。

【0301】

あるいは、特定のアプリケーションが動画再生アプリである場合、キャラクタオブジェクトが動画（映画等）を視聴しているような表示となるように表示態様の変更を行う。

【0302】

具体的には、第三のオブジェクトとして、キャラクタオブジェクトにポップコーンオブジェクトやドリンクオブジェクトを装着させたり、キャラクタオブジェクト付近にスクリーンオブジェクトを表示させたり、第三の動作として、キャラクタオブジェクトに映画を観る動作を適用させたりする。これらの適用は一つに限られず、複数のオブジェクトや動作をキャラクタオブジェクトに適用させることができる。

【0303】

あるいは、特定のアプリケーションがゲームアプリである場合、キャラクタオブジェクトがゲームをプレイしているような表示となるように表示態様の変更を行う。

【0304】

具体的には、第三のオブジェクトとして、キャラクタオブジェクトにコントローラオブジェクトを装着させたり、キャラクタオブジェクト付近にゲーム機オブジェクトやモニタオブジェクトを表示させたり、第三の動作として、キャラクタオブジェクトにゲームをプレイする動作を適用させたりする。これらの適用は一つに限られず、複数のオブジェクトや動作をキャラクタオブジェクトに適用させることができる。

【0305】

あるいは、特定のアプリケーションが通話アプリである場合、キャラクタオブジェクトが通話をしているような表示となるように表示態様の変更を行う。

【0306】

具体的には、第三のオブジェクトとして、キャラクタオブジェクトに電話の受話器オブジェクトやスマートフォンオブジェクトを装着させたり、キャラクタオブジェクト付近に電話オブジェクトを表示させたり、第三の動作として、キャラクタオブジェクトに通話を行う動作を適用させたりする。これらの適用は一つに限られず、複数のオブジェクトや動作をキャラクタオブジェクトに適用させることができる。

【0307】

以上の構成によれば、ユーザの状況を、より具体的に他のユーザにわかりやすく表示することができるようになる。

【0308】

特定部４３０は、受信部４１０が受信した音声に関する情報に含まれるユーザによる発声以外の他の音声の音量が第一の値以上である場合、ユーザ端末が第四の状態であると特定することができる。

【0309】

他の音声とは、一例として、他のユーザの発声や環境音などである。発声がユーザによるものなのか、他のユーザによるものなのかについては公知の音声認識技術を用いることで識別することができる。また、環境音には、テレビの音、インターフォンの音、電話の呼び出し音、動物の鳴き声の音、駅のアナウンスの音、電車・車・バイク等の音、複数の人物の話し声の音などが含まれる。

【0310】

第一の値とはユーザによる発声の音量と同等かそれ以上の値とすることができる。

【0311】

このとき、本開示における一又は複数のコンピュータプロセッサは、さらに、音声判定部を備えることができる。音声判定部は、受信部４１０が受信した音声に関する情報に、他の音声が含まれるか否か、そして、ユーザによる発声以外の他の音声の音量が第一の値以上であるか否かを判定するものである。また、音声判定部は、上記他の音声の種類を解析するものとしてもよい。

【0312】

なお、第四の状態は、第一の状態、第二の状態および第三の状態に含まれ得る状態であるが、本例においては後述する表示態様の変更が優先的にまたは追加的に適用されるものとすることができる。

【0313】

特定部４３０が、ユーザ端末が第四の状態であると特定した場合、制御部４４０は、キャラクタオブジェクトの表示態様の変更として、キャラクタオブジェクトに第四の特定のオブジェクトを装着、および／または、キャラクタオブジェクトに第四の特定の動作を適用させることができる。

【0314】

第四の特定のオブジェクトは、キャラクタオブジェクトがビデオチャットの音声を聞き辛く感じている様子を表すためのオブジェクトとすることができる。

【0315】

キャラクタオブジェクトがビデオチャットの音声を聞き辛く感じている様子を表すためのオブジェクトには、一例として、耳栓オブジェクトなど、少なくともキャラクタオブジェクトの耳を覆うオブジェクトなどが含まれる。

【0316】

第四の特定の動作は、キャラクタオブジェクトがビデオチャットの音声を聞き辛い様子を表すための動作であるものとすることができる。

【0317】

キャラクタオブジェクトがビデオチャットの音声を聞き辛く感じている様子を表すための動作には、一例として、手で耳を覆う動作などが含まれる。

【0318】

また、制御部４４０は、音声判定部により解析された他の音声の種類に応じて、キャラクタオブジェクトの表示態様の変更を行うものとしてもよい。このときの表示態様の変更は、他の音声の音量に関わらず適用されるものとしてもよい。

【0319】

例えば、他の音声が駅における騒音である場合、キャラクタオブジェクトが音をうるさく感じているような、または、ビデオチャットの音声が聞こえていないような表示となるように表示態様の変更を行う。

【0320】

具体的には、第四のオブジェクトとして、キャラクタオブジェクトに騒音オブジェクトを装着させたり、キャラクタオブジェクトの近くに騒音オブジェクトを表示させたり、第四の動作として、キャラクタオブジェクトに耳をふさぐ動作を適用させたりする。これらの適用は一つに限られず、複数のオブジェクトや動作をキャラクタオブジェクトに適用させることができる。また、ここで表示される騒音オブジェクトは、他の音声から解析された種類に応じて決定されるものとすることもできる。例えば、他の音声がテレビの音である場合、騒音オブジェクトはテレビオブジェクトとなり、騒音の原因となる音の発生源を表すようなオブジェクトとすることができる。

【0321】

また、他の音声がインターフォンの音である場合、キャラクタオブジェクトが荷物を取りに行くような表示となるように表示態様の変更を行う。

【0322】

具体的には、第四のオブジェクトとして、キャラクタオブジェクトに荷物オブジェクトを装着させたり、キャラクタオブジェクトの近くに荷物オブジェクトを表示させたり、第四の動作として、キャラクタオブジェクトに荷物を取りに行く動作を適用させたりする。これらの適用は一つに限られず、複数のオブジェクトや動作をキャラクタオブジェクトに適用させることができる。

【0323】

あるいは、他の音声が動物（ペット）の鳴き声である場合、キャラクタオブジェクトがペットを気にするような／餌を与えるような表示となるように表示態様の変更を行う。

【0324】

具体的には、第四のオブジェクトとして、キャラクタオブジェクトにペットオブジェクトを装着させたり、キャラクタオブジェクトの近くにペットオブジェクトを表示させたり、第四の動作として、キャラクタオブジェクトにペットをなでるような動作や餌を与えるような動作を適用させたりする。これらの適用は一つに限られず、複数のオブジェクトや動作をキャラクタオブジェクトに適用させることができる。また、ここで表示されるペットオブジェクトおよび餌を表すオブジェクトは、鳴き声から解析された動物の種類に応じて決定されるものとすることもできる。

【0325】

あるいは、他の音声が子供の声である場合、キャラクタオブジェクトが子供を気にするような表示となるように表示態様の変更を行う。

【0326】

具体的には、第四のオブジェクトとして、キャラクタオブジェクトに子供オブジェクトを装着させたり、キャラクタオブジェクトの近くに子供オブジェクトを表示させたり、第四の動作として、キャラクタオブジェクトに子供をあやすような動作を適用させたりする。これらの適用は一つに限られず、複数のオブジェクトや動作をキャラクタオブジェクトに適用させることができる。また、ここで表示される子供オブジェクトは、声から解析された性別および／または年齢に応じて決定されるものとすることもできる。

【0327】

以上の構成によれば、ユーザの状況を、より具体的に他のユーザにわかりやすく表示することができるようになる。

【0328】

特定部４３０が、ユーザ端末が第四の状態であると特定した場合、制御部４４０は、他の音声の音量が第二の値以上である場合に、音声に関する情報を含めずに動画を生成することができる。

【0329】

第二の値は、上述した第一の値よりも大きな値であって、ユーザの音声がかき消されて聞こえないような音量を示す値であるものとする。かかる第二の値は、ユーザの音声の音量に応じて相対的に変更されるものであってもよいし、予め定められる絶対値としてもよい。

【0330】

このとき、上述した音声判定部は、さらに、受信部４１０が受信した音声に関する情報に含まれるユーザによる発声以外の他の音声の音量が第一の値または第二の値以上であるか否かを判定するものとする。

【0331】

なお、すべての音声に関する情報を含めないのではなく、他の音声に関する情報のみを含めずに動画を生成することも可能である。この場合は、公知のノイズキャンセル技術を適用することにより実現が可能である。

【0332】

以上の構成によれば、ビデオチャットにおけるユーザの音声をより聞き取り易くすることができる。

【0333】

特定部４３０は、受信部４１０がユーザ端末からユーザの動きに関する情報を受信していないが音声に関する情報を受信している場合、ユーザ端末が第五の状態であると特定することができる。

【0334】

かかる第五の状態は第一の状態に含まれ得る状態であるが、本実施例においては後述する表示態様の変更が優先的にまたは追加的に適用されるものとすることができる。

【0335】

なお、受信部４１０がユーザ端末からユーザの動きに関する情報を受信していないが音声に関する情報を受信している場合には、一例として、ユーザがビデオをオフ、かつ、マイクをオンの状態でビデオチャットにおいて発声している場合や、ビデオおよびマイクがオンの状態で動かずにビデオチャットにおいて発生している場合が含まれる。

【0336】

特定部４３０が、ユーザ端末が第五の状態であると特定した場合、制御部４４０は、キャラクタオブジェクトの表示態様の変更として、キャラクタオブジェクトに第五の動作を適用させることができる。

【0337】

第五の動作は、キャラクタオブジェクトの口を音声に関する情報に応じて動作させるものとすることができる。

【0338】

ユーザの動きに関する情報にはユーザの口の動きに関する情報が含まれるため、通常は、キャラクタオブジェクトの口の動きはユーザの口の動きがキャプチャされている。一方、本実施例においては、ユーザの動きに関する情報を得ていないという状況であるため、ユーザの音声に関する情報に基づいて、キャラクタオブジェクトの口を音声に同期させる（リップシンク）。かかるリップシンクの技術については公知の技術を適用することが可能である。

【0339】

なお、このとき、本開示における一又は複数のコンピュータプロセッサは、音声解析部を備えることができるものとする。

【0340】

以上の構成によれば、ユーザの動きに関する情報を取得していない場合であっても、キャラクタオブジェクトの口の動きを適切に制御することができるようになる。

【0341】

受信部４１０は、さらに、ユーザ端末から送信されるユーザ端末の位置情報を受信することができる。このとき、特定部４３０は、位置情報が所定の条件を満たす場合に、ユーザ端末が第六の状態であると特定する。

【0342】

位置情報に係る所定の条件とは、位置情報に基づいて算出される移動速度に基づくものとすることができる。位置情報が所定の条件を満たすとは、移動速度が所定の値以上である場合とすることができる。所定の値は、人間が走っていると認められる速度等とすることができるが、これに限られるものではない。

【0343】

かかる状態は、上述した第一の状態から第五の状態に含まれ得る状態であるが、本例においては後述する表示態様の変更が優先的に適用されるものとすることができる。

【0344】

特定部４３０が、ユーザ端末が第六の状態であると特定した場合、制御部４４０は、キャラクタオブジェクトの表示態様の変更として、位置情報に基づく移動速度に応じて、キャラクタオブジェクトに第六の特定のオブジェクトを装着、および／または、キャラクタオブジェクトに第六の特定の動作を適用させることができる。

【0345】

第六の特定のオブジェクトは、キャラクタオブジェクトが移動している様子を表すためのオブジェクトとすることができる。

【0346】

キャラクタオブジェクトが移動している様子を表すためのオブジェクトには、一例として、図３１に示されるような飛行機オブジェクト、電車オブジェクトや車オブジェクトなど、キャラクタオブジェクトが乗り物に乗っていることを示すオブジェクトが含まれる。

【0347】

これら装着オブジェクトは、キャラクタオブジェクトの特定の部位に関連付けて表示されることができる。

【0348】

かかる特定の部位は、ユーザ端末の状態（ここでは第六の状態）に関する部位、例えば、キャラクタオブジェクトが移動している様子を示す場合には、「移動」という行為に関する部位（例えば足や腰）とすることができる。

【0349】

第六の特定の動作は、キャラクタオブジェクトが移動している様子を表すための動作とすることができる。

【0350】

キャラクタオブジェクトが移動している様子を表すための動作には、一例として、図３１に示されるような走る動作等が含まれる。

【0351】

以上の構成によれば、ユーザの状況を、より具体的に他のユーザにわかりやすく表示することができるようになる。

【0352】

受信部４１０は、さらに、ユーザ端末から送信される指示情報を受信することができる。このとき、制御部４４０は、指示情報に含まれる指示に応じてキャラクタオブジェクトの表示態様の変更を行うものとする。

【0353】

上記指示情報は、具体的には、ユーザ端末に表示されたビデオオブジェクトＶＣ１２および／またはマイクオブジェクトＶＣ１１に対するユーザ操作により、カメラ機能および／またはマイク機能がオフにされた場合に追加的に表示される指示オブジェクトの選択により送信されるものとすることができる。

【0354】

かかる状態は、上述した第一の状態から第六の状態に含まれ得る状態であるが、本例においては後述する表示態様の変更が優先的に適用されるものとすることができる。

【0355】

制御部４４０は、キャラクタオブジェクトの表示態様の変更として、キャラクタオブジェクトに第七の特定のオブジェクトを装着、および／または、キャラクタオブジェクトに第七の特定の動作を適用させることができる。

【0356】

第七の特定のオブジェクトは、所定のテキストが表示されたオブジェクトとすることができる。

【0357】

所定のテキストが表示されたオブジェクトには、一例として、プラカードオブジェクトや看板オブジェクト等が含まれる。プラカードオブジェクトには、ユーザの状態を表す文字などが表示されるものとすることができる。ユーザの状態としては、例えば、「離席中」「ゲーム中」「移動中」などの文字が挙げられるが、これらに限られるものではない。

【0358】

第七の特定の動作は、キャラクタオブジェクトの少なくとも一部を所定の間隔で動かす動作とすることができる。

【0359】

キャラクタオブジェクトの少なくとも一部を所定の間隔で動かす動作には、一例として、キャラクタオブジェクトが瞬きをする動作、頷く動作、笑う動作等が含まれる。

【0360】

これら第七の特定のオブジェクトの装着、および／または、第七の特定の動作の適用は、上記指示オブジェクトの操作によりユーザが所望するものを選択できるものとしてもよい。

【0361】

このとき、第七の特定のオブジェクトには、上述した第一のオブジェクト、第二のオブジェクト、第三のオブジェクト、第四のオブジェクト、第五のオブジェクトおよび第六のオブジェクトのすべてが含まれるものとすることができる。そして、ユーザは、これらオブジェクトのそれぞれに対応する複数の指示オブジェクトの中から所望のオブジェクトを選択し、キャラクタオブジェクトに装着させることができる。

【0362】

同様に、第七の特定の動作には、上述した第一の特定の動作、第二の特定の動作、第三の特定の動作、第四の特定の動作、第五の特定の動作および第六の特定の動作のすべてが含まれるものとすることができる。そして、ユーザは、これら動作のそれぞれに対応する複数の指示オブジェクトの中から所望の動作を選択し、キャラクタオブジェクトに適用させることができる。

【0363】

以上の構成によれば、ユーザ自身の状況をより具体的にキャラクタオブジェクトを介して他のユーザにわかりやすく表示することができるようになる。

【0364】

特定部４３０は、受信部４１０が受信した音声に関する情報に含まれるユーザによる発声の音量が所定の条件を満たす場合に、ユーザ端末が第八の状態であると特定することができる。

【0365】

このとき、上述した音声判定部は、受信部４１０が受信した音声に関する情報に含まれるユーザによる発声の音声の音量が、所定の範囲外の値であるか否かを判定するものとする。

【0366】

ここでいう音量の所定範囲外とは、ビデオチャットにおけるユーザによる発声の音量として適切な範囲外をいうものとする。例えば、ユーザの声がビデオチャットの音声として大きすぎる場合や、ユーザの声が小さすぎる場合が上記適切な範囲外に該当する。かかる音量の値は、具体的に数値で定義されるものであってもよいし、他のユーザによる発声の音量、および／または、ユーザによる発声以外の他の音声の音量等に基づいて相対的に定められるものとしてもよい。

【0367】

そして、特定部４３０が、ユーザ端末が第八の状態であると特定した場合、制御部４４０は、発声の音量に応じて、キャラクタオブジェクトに第八の特定のオブジェクトを装着、および／または、動画に第八の特定のオブジェクトを表示させることができる。

【0368】

第八の特定のオブジェクトには、一例として、発声の音量を表すためのオブジェクト等が含まれる。

【0369】

発生の音量を表すためのオブジェクトは、具体的には、マイクオブジェクトやメガホンオブジェクト（図３２）、音量メータオブジェクトなどが挙げられるが、これらに限られるものではない。

【0370】

なお、マイクオブジェクトおよびメガホンオブジェクトのサイズは、発声の音量が大きい程大きいものとなるよう表示されるものとしてもよく、音量メータオブジェクトは、発声の音量に応じてメータが変化するものとしてもよい。

【0371】

そして、これら装着オブジェクトは、キャラクタオブジェクトの特定の部位（例えば口）に関連付けて表示されるものとしてもよいし、キャラクタオブジェクトの周囲に表示されるものとしてもよい。

【0372】

第八の特定の動作には、一例として、発声の音量を表すための動作等が含まれる。

【0373】

発生の音量を表すための動作は、具体的には、口に手を添えてメガホンのようにする動作や、口に人差し指を添えて秘密の話をする動作などが挙げられる。

【0374】

なお、上記音量メータオブジェクトについては、ユーザ端末が第八の状態でない場合にも画面に表示されるものとしてもよい。

【0375】

以上の構成によれば、ビデオチャットにおけるユーザの声の大小をキャラクタオブジェクトを介して他のユーザにわかりやすく表示することができるようになる。

【0376】

続いて、本開示の実施形態における情報処理方法について説明を行う。

【0377】

本開示の実施形態における情報処理方法は、一以上のユーザ端末およびサーバ装置４００を備える情報処理システム３０００において実行されることができるものである。

【0378】

本開示における情報処理方法は、図３３に一例として示されるように、情報処理システム３０００が備える一又は複数のコンピュータプロセッサに、受信ステップＳ４１０、実行ステップＳ４２０、特定ステップＳ４３０および制御ステップＳ４４０を実行させる。

【0379】

受信ステップＳ４１０では、ユーザのユーザ端末から送信される、当該ユーザの動きに関する情報、音声に関する情報およびキャラクタオブジェクトに関する情報を含む、動画を生成するための情報を受信することができる。かかる受信ステップＳ４１０は、上述した受信部４１０により実行されることができる。

【0380】

受信ステップＳ４１０は、サーバ側（サーバ装置４００）で実行されるものとすることができる。

【0381】

実行ステップＳ４２０では、受信ステップＳ４１０において受信した、動画を生成するための情報に基づいて、キャラクタオブジェクトを用いた複数のユーザ間におけるビデオチャットを実行させる。かかる実行ステップＳ４２０は、上述した実行部４２０により実行されることができる。

【0382】

実行ステップＳ４２０は、サーバ側（サーバ装置４００）で実行されるものとしてもよいし、クライアント側（ユーザ端末）で実行されるものであってもよい。

【0383】

特定ステップＳ４３０では、ユーザ端末の状態を特定する。かかる特定ステップＳ４３０は、上述した特定部４３０により実行されることができる。

【0384】

特定ステップＳ４３０は、サーバ側（サーバ装置４００）で実行されるものとしてもよいし、クライアント側（ユーザ端末）で実行されるものであってもよい。

【0385】

制御ステップＳ４４０では、特定ステップＳ４３０において特定されたユーザ端末の状態に応じて、当該ユーザ端末に対応するキャラクタオブジェクトの表示態様を変更する。かかる制御ステップＳ４４０は、上述した制御部４４０により実行されることができる。

【0386】

制御ステップＳ４４０は、サーバ側（サーバ装置４００）で実行されるものとしてもよいし、クライアント側（ユーザ端末）で実行されるものであってもよい。

【0387】

上記構成によれば、上述した従来技術の課題の少なくとも一部を解決又は緩和する技術的な改善を提供することができる。具体的には、ビデオチャット中のユーザの状況をキャラクタオブジェクトを介して他のユーザにわかりやすく表示することでコミニュケーションの行き違いを防止し、ユーザ間におけるコミュニケーションの活性化を図ることができる。

【0388】

続いて、本開示の実施形態におけるコンピュータプログラムについて説明を行う。

【0389】

本開示の実施形態におけるコンピュータプログラムは、一以上のユーザ端末およびサーバ装置４００を備える情報処理システム３０００において実行されることができるものである。

【0390】

本開示におけるコンピュータプログラムは、情報処理システム３０００が備える一又は複数のコンピュータプロセッサに、受信機能、実行機能、特定機能および制御機能を実現させる。

【0391】

受信機能は、ユーザのユーザ端末から送信される、当該ユーザの動きに関する情報、音声に関する情報およびキャラクタオブジェクトに関する情報を含む、動画を生成するための情報を受信することができる。

【0392】

実行機能は、受信機能により受信した、動画を生成するための情報に基づいて、キャラクタオブジェクトを用いた複数のユーザ間におけるビデオチャットを実行させる。

【0393】

特定機能では、ユーザ端末の状態を特定する。

【0394】

制御機能は、特定機能により特定されたユーザ端末の状態に応じて、当該ユーザ端末に対応するキャラクタオブジェクトの表示態様を変更する。

【0395】

上記機能は、図３４に示す受信回路１４１０、実行回路１４２０、特定回路および制御回路１４３０により実現されることができる。受信回路１４１０、実行回路１４２０、特定回路１４３０および制御回路１４４０は、それぞれ上述した受信部４１０、実行部４２０、特定部４３０および制御部４４０により実現されるものとする。各部の詳細については上述したとおりである。

【0396】

上記構成によれば、上述した従来技術の課題の少なくとも一部を解決又は緩和する技術的な改善を提供することができる。具体的には、ビデオチャット中のユーザの状況をキャラクタオブジェクトを介して他のユーザにわかりやすく表示することでコミニュケーションの行き違いを防止し、ユーザ間におけるコミュニケーションの活性化を図ることができる。

【0397】

続いて、本開示の実施形態における情報処理装置について説明を行う。情報処理装置は、上述した情報処理システム３０００におけるユーザ端末に相当するものである。

【0398】

情報処理装置は、一又は複数のコンピュータプロセッサを備える情報処理装置であって、当該一又は複数のコンピュータプロセッサは、図３５に示されるように、送信部１１０、受信部１２０、実行部１３０、特定部１４０および制御部１５０を備える。

【0399】

送信部１１０は、ユーザの動きに関する情報、音声に関する情報およびキャラクタオブジェクトに関する情報を含む、ユーザに係る動画を生成するための情報をサーバ装置に送信可能なものである。動画を生成するための情報については上述したとおりである。

【0400】

受信部１２０は、他のユーザの動きに関する情報、音声に関する情報およびキャラクタオブジェクトに関する情報を含む、他のユーザに係る動画を生成するための情報をサーバ装置４００から受信可能なものである。

【0401】

実行部１３０は、ユーザに係る動画を生成するための情報、および、他のユーザに係る動画を生成するための情報に基づいて、キャラクタオブジェクトを用いた複数のユーザ間におけるビデオチャットを実行させる。実行部１３０は上述した実行部４２０と同様の構成とすることができる。

【0402】

特定部１４０は、情報処理装置の状態を特定する。特定部１４０は上述した特定部４３０と同様の構成とすることができる。

【0403】

制御部１５０は、特定部１４０により特定されたユーザ端末の状態に応じて、当該ユーザ端末に対応するキャラクタオブジェクトの表示態様を変更する。制御部１５０は、上述した制御部４４０と同様の構成とすることができる。

【0404】

上記構成によれば、上述した従来技術の課題の少なくとも一部を解決又は緩和する技術的な改善を提供することができる。具体的には、ビデオチャット中のユーザの状況をキャラクタオブジェクトを介して他のユーザにわかりやすく表示することでコミニュケーションの行き違いを防止し、ユーザ間におけるコミュニケーションの活性化を図ることができる。

【0405】

続いて、本開示の実施形態における情報処理方法の一例について説明を行う。かかる情報処理方法は、上述した情報処理装置（ユーザ端末）において実行される情報処理方法である。

【0406】

本開示における情報処理方法は、図３６に一例として示されるように、情報処理装置が備える一又は複数のコンピュータプロセッサに、送信ステップＳ１１０、受信ステップＳ１２０、実行ステップＳ１３０、特定ステップＳ１４０および制御ステップＳ１５０を実行させることを特徴とする。

【0407】

送信ステップＳ１１０では、ユーザの動きに関する情報、音声に関する情報およびキャラクタオブジェクトに関する情報を含む、ユーザに係る動画を生成するための情報をサーバ装置に送信することができる。かかる送信ステップＳ１１０は、上述した送信部１１０により実行されることができる。

【0408】

受信ステップＳ１２０では、他のユーザの動きに関する情報、音声に関する情報およびキャラクタオブジェクトに関する情報を含む、他のユーザに係る動画を生成するための情報をサーバ装置から受信することができる。かかる受信ステップＳ１２０は、上述した受信部１２０により実行されることができる。

【0409】

実行ステップＳ１３０では、ユーザに係る動画を生成するための情報、および、他のユーザに係る動画を生成するための情報に基づいて、キャラクタオブジェクトを用いた複数のユーザ間におけるビデオチャットを実行させる。かかる実行ステップＳ１３０は、上述した実行部１３０により実行されることができる。

【0410】

特定ステップＳ１４０では、情報処理装置の状態を特定する。かかる特定ステップＳ１４０は、上述した特定部１４０により実行されることができる。

【0411】

制御ステップＳ１５０では、特定ステップにおいて特定されたユーザ端末の状態に応じて、当該ユーザ端末に対応するキャラクタオブジェクトの表示態様を変更する。かかる制御ステップＳ１６０は、上述した制御部１５０により実行されることができる。

【0412】

上記構成によれば、上述した従来技術の課題の少なくとも一部を解決又は緩和する技術的な改善を提供することができる。具体的には、ビデオチャット中のユーザの状況をキャラクタオブジェクトを介して他のユーザにわかりやすく表示することでコミニュケーションの行き違いを防止し、ユーザ間におけるコミュニケーションの活性化を図ることができる。

【0413】

最後に、本開示の実施形態におけるコンピュータプログラムについて説明を行う。かかるコンピュータプログラムは、上述した情報処理装置（ユーザ端末１００）において実行されるコンピュータプログラムである。

【0414】

本開示におけるコンピュータプログラムは、情報処理装置が備える一又は複数のプロセッサに、送信機能、受信機能、実行機能、特定機能および制御機能を実現させることを特徴とする。

【0415】

送信機能は、ユーザの動きに関する情報、音声に関する情報およびキャラクタオブジェクトに関する情報を含む、ユーザに係る動画を生成するための情報をサーバ装置に送信可能なものである。

【0416】

受信機能は、他のユーザの動きに関する情報、音声に関する情報およびキャラクタオブジェクトに関する情報を含む、他のユーザに係る動画を生成するための情報をサーバ装置から受信可能なものである。

【0417】

実行機能は、ユーザに係る動画を生成するための情報、および、他のユーザに係る動画を生成するための情報に基づいて、キャラクタオブジェクトを用いた複数のユーザ間におけるビデオチャットを実行させる。

【0418】

特定機能は、情報処理装置の状態を特定する。

【0419】

制御機能は、特定機能において特定されたユーザ端末の状態に応じて、当該ユーザ端末に対応するキャラクタオブジェクトの表示態様を変更する。

【0420】

上記機能は、図３７に示す送信回路１１１０、受信回路１１２０、実行回路１１３０、特定回路１１４０および制御回路１１５０により実現されることができる。送信回路１１１０、受信回路１１２０、実行回路１１３０、特定回路１１４０および制御回路１１５０は、それぞれ上述した送信部１１０、受信部１２０、実行部１３０、特定部１４０および制御部１５０により実現されるものとする。各部の詳細については上述したとおりである。

【0421】

上記構成によれば、上述した従来技術の課題の少なくとも一部を解決又は緩和する技術的な改善を提供することができる。具体的には、ビデオチャット中のユーザの状況をキャラクタオブジェクトを介して他のユーザにわかりやすく表示することでコミニュケーションの行き違いを防止し、ユーザ間におけるコミュニケーションの活性化を図ることができる。

【0422】

また、上述した実施形態に係るサーバ装置又は端末装置として機能させるために、コンピュータ又は携帯電話などの情報処理装置を好適に用いることができる。このような情報処理装置は、実施形態に係るサーバ装置又は端末装置の各機能を実現する処理内容を記述したプログラムを、情報処理装置の記憶部に格納し、情報処理装置のＣＰＵによって当該プログラムを読み出して実行させることによって実現可能である。

【0423】

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【0424】

また、実施形態に記載した手法は、計算機（コンピュータ）に実行させることができるプログラムとして、例えば磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ－ＲＯＭ、ＤＶＤ、ＭＯ等）、半導体メモリ（ＲＯＭ、ＲＡＭ、フラッシュメモリ等）等の記録媒体に格納し、また通信媒体により伝送して頒布することもできる。なお、媒体側に格納されるプログラムには、計算機に実行させるソフトウェア手段（実行プログラムのみならずテーブルやデータ構造も含む）を計算機内に構成させる設定プログラムをも含む。本装置を実現する計算機は、記録媒体に記録されたプログラムを読み込み、また場合により設定プログラムによりソフトウェア手段を構築し、このソフトウェア手段によって動作が制御されることにより上述した処理を実行する。なお、本明細書でいう記録媒体は、頒布用に限らず、計算機内部あるいはネットワークを介して接続される機器に設けられた磁気ディスクや半導体メモリ等の記憶媒体を含むものである。記憶部は、例えば主記憶装置、補助記憶装置、又はキャッシュメモリとして機能してもよい。

【符号の説明】

【0425】

１００ 配信ユーザ端末（ユーザ端末）
２００ 視聴ユーザ端末（ユーザ端末）
３００ ネットワーク
４００ サーバ装置
４１０ 受信部
４２０ 実行部
４３０ 特定部
４４０ 制御部

【要約】

【課題】 ユーザ間におけるコミュニケーションの活性化を図る。
【解決手段】 本開示における情報処理システムは、一又は複数のコンピュータプロセッサを備える情報処理システムであって、一又は複数のコンピュータプロセッサは、ユーザのユーザ端末から送信される、当該ユーザの動きに関する情報、音声に関する情報およびキャラクタオブジェクトに関する情報を含む、動画を生成するための情報を受信可能な受信部と、受信部が受信した、動画を生成するための情報に基づいて、キャラクタオブジェクトを用いた複数のユーザ間におけるビデオチャットを実行させる実行部と、ユーザ端末の状態を特定する特定部と、特定部により特定されたユーザ端末の状態に応じて、当該ユーザ端末に対応するキャラクタオブジェクトの表示態様を変更することを特徴とする。
【選択図】 図２５

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29】

【図30】

【図31】

【図32】

【図33】

【図34】

【図35】

【図36】

【図37】